TWI505260B - 頭戴式人眼追蹤系統 - Google Patents

頭戴式人眼追蹤系統 Download PDF

Info

Publication number
TWI505260B
TWI505260B TW102127317A TW102127317A TWI505260B TW I505260 B TWI505260 B TW I505260B TW 102127317 A TW102127317 A TW 102127317A TW 102127317 A TW102127317 A TW 102127317A TW I505260 B TWI505260 B TW I505260B
Authority
TW
Taiwan
Prior art keywords
image
capturing device
image capturing
head
user
Prior art date
Application number
TW102127317A
Other languages
English (en)
Other versions
TW201505021A (zh
Inventor
Yang Mang Ou
Jin Chern Chiou
ting wei Huang
Chun Cheng Hu
Jyun Wei Jhuang
Original Assignee
Univ Nat Chiao Tung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chiao Tung filed Critical Univ Nat Chiao Tung
Priority to TW102127317A priority Critical patent/TWI505260B/zh
Priority to CN201310597597.8A priority patent/CN104337496B/zh
Priority to US14/139,887 priority patent/US9213406B2/en
Publication of TW201505021A publication Critical patent/TW201505021A/zh
Application granted granted Critical
Publication of TWI505260B publication Critical patent/TWI505260B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

頭戴式人眼追蹤系統
本發明是有關於一種人眼追蹤系統，且特別是有關於一種頭戴式人眼追蹤系統。
目前人眼追蹤技術主要可區分為與人眼接觸的接觸式人眼追蹤技術以及未與人眼接觸的非接觸式人眼追蹤技術。接觸式人眼追蹤技術主要包括搜尋線圈法(Search Coil,SC)及眼電圖法(Electro-OculoGraphy,EOG)，而非接觸式人眼追蹤技術主要可區分為免頭戴式(Free-head)或頭戴式(Head-mount)人眼追蹤技術。
在接觸式人眼追蹤技術方面，以搜尋線圈法為例，使用者須配戴具有感應線圈的隱形眼鏡(contact lenses)。當使用者轉動眼球進而帶動鏡片時，感應線圈會因為磁通量變化產生感應電動勢，此電動勢大小即代表眼球偏轉的角度。至於眼電圖法，則是在人眼周圍貼附多個電極，並利用這些電極偵測眼球轉動所產生的電壓差來判斷眼球偏轉的角度。接觸式人眼追蹤技術的缺點是異物的接觸容易帶來人眼強烈的不舒適感，且其易受人眼及/或皮 膚分泌物的影響，而造成訊號干擾。
在免頭戴式人眼追蹤技術方面，國內外發展出螢幕搭配雙影像擷取裝置的眼部追蹤器(Eye trackers)。然而，現有的免頭戴式人眼追蹤技術仍須克服使用者頭部移動造成誤差的問題。此外，免頭戴式人眼追蹤技術尚有運算複雜及造價昂貴等問題。
相較之下，頭戴式人眼追蹤技術將影像擷取裝置與光源架設在使用者頭上，利用影像擷取裝置擷取的瞳孔影像推測注視位置，可排除使用者頭部移動造成的誤差。因此，頭戴式人眼追蹤系統能夠被廣泛地應用於生醫、醫療、交通及娛樂的產業中。然而，現有的頭戴式人眼追蹤技術因僅從眼睛資訊(瞳孔影像)去判別使用者的注視位置，因此容易出現誤判的情況發生。此外，現有的頭戴式人眼追蹤技術普遍有視線受到頭戴式人眼追蹤系統所遮蔽，而造成使用上不便的問題。
本發明提供一種頭戴式人眼追蹤系統，其可改善誤判的情況以及視線受遮蔽等問題。
本發明的一種頭戴式人眼追蹤系統，其包括第一光源、第一瞳孔影像擷取裝置、第一環境影像擷取裝置、第二環境影像擷取裝置、固定裝置以及影像辨別系統。第一光源發出第一光束以照亮使用者的第一眼。第一瞳孔影像擷取裝置配置在來自第一眼所反射的第一光束的傳遞路徑上，以擷取來自第一眼中的第一 瞳孔影像。第一環境影像擷取裝置適於擷取使用者前方的第一環境影像。第二環境影像擷取裝置適於擷取使用者前方的第二環境影像。固定裝置配置於使用者的頭上，以將第一光源、第一瞳孔影像擷取裝置、第一環境影像擷取裝置以及第二環境影像擷取裝置固定於使用者的第一眼的週圍。影像辨別系統適於將第一環境影像以及第二環境影像其中至少一者與第一瞳孔影像進行映對，以辨別出使用者注視的位置。
在本發明的一實施例中，上述的第一光源選自於可見光 光源或不可見光光源。
在本發明的一實施例中，上述的不可見光光源選自於紅 外光發光二極體(Infrared Light Emitting Diode,IR LED)或紫外光發光二極體(Ultraviolet Light Emitting Diode,UV LED)。
在本發明的一實施例中，上述的第一瞳孔影像擷取裝 置、第一環境影像擷取裝置以及第二環境影像擷取裝置分別選自於電荷耦合元件(Charge Coupled Device,CCD)、互補式金氧半導體(Complementary Metal-Oxide Semiconductor,CMOS)元件或紅外線攝影機(IR camera)。
在本發明的一實施例中，上述的第一瞳孔影像擷取裝 置、第一環境影像擷取裝置以及第二環境影像擷取裝置分別具有水平視角以及垂直視角，其中水平視角為40度以上且180以下，且垂直視角為55度以上且180以下。
在本發明的一實施例中，上述的固定裝置為眼鏡。眼鏡 包括鏡架以及固定於鏡架中的兩個鏡片。鏡架包括兩個鏡框部、第一連接部、兩個第二連接部以及兩個耳掛部，其中第一連接部連接兩個鏡框部，各第二連接部連接相鄰的耳掛部與鏡框部，且這些鏡片位於這些鏡框部中。第一環境影像擷取裝置以及第二環境影像擷取裝置配置於第一連接部上，且第一瞳孔影像擷取裝置配置於鄰近第一眼的耳掛部上，而第一光源配置於第一連接部、鄰近第一眼的第二連接部以及鄰近第一眼的耳掛部的其中一者上。
在本發明的一實施例中，上述的頭戴式人眼追蹤系統更包括第二光源以及第二瞳孔影像擷取裝置。第二光源發出第二光束以照亮使用者的第二眼。第二瞳孔影像擷取裝置配置在來自第二眼所反射的第二光束的傳遞路徑上，以擷取來自第二眼的第二瞳孔影像，其中固定裝置將第二光源以及第二瞳孔影像擷取裝置配置於第二眼的周圍，影像辨別系統適於將第一環境影像以及第二環境影像其中至少一者與第二瞳孔影像進行映對。
在本發明的一實施例中，上述的頭戴式人眼追蹤系統更包括資料儲存系統以及傳輸構件。資料儲存系統適於儲存第一瞳孔影像、第一環境影像以及第二環境影像，或者適於儲存影像辨別系統所辨別出的使用者所注視的位置。影像辨別系統所辨別出的使用者所注視的位置或是第一瞳孔影像、第一環境影像以及第二環境影像透過傳輸構件而傳遞至資料儲存系統。
基於上述，本發明的頭戴式人眼追蹤系統透過配置環境 影像擷取裝置以及瞳孔影像擷取裝置去擷取使用者前方的環境影像以及人眼的瞳孔影像，並透過將環境影像與瞳孔影像進行映對(mapping)，來降低誤判的情況。此外，透過設置兩個環境影像擷取裝置，本發明的頭戴式人眼追蹤系統可進一步取得環境中的物體與使用者間的距離資訊(即物體的遠近)，進而提升判別的精準度。另外，本發明的頭戴式人眼追蹤系統將光源以及影像擷取裝置固定於使用者的眼睛的週圍取代配置於使用者的前方，來改善視線受遮蔽的問題。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉 實施例，並配合所附圖式作詳細說明如下。
100、200‧‧‧頭戴式人眼追蹤系統
110‧‧‧第一光源
120‧‧‧第一瞳孔影像擷取裝置
130‧‧‧第一環境影像擷取裝置
140‧‧‧第二環境影像擷取裝置
150‧‧‧固定裝置
152‧‧‧鏡架
1521、1522‧‧‧鏡框部
1523‧‧‧第一連接部
1524、1525‧‧‧第二連接部
1526、1527‧‧‧耳掛部
154a、154b‧‧‧鏡片
160‧‧‧影像辨別系統
170‧‧‧資料儲存系統
180‧‧‧傳輸構件
210‧‧‧第二光源
220‧‧‧第二瞳孔影像擷取裝置
E1‧‧‧第一眼
E2‧‧‧第二眼
L11、L12、L13‧‧‧第一光束
L21、L22、L23‧‧‧第二光束
S1、S2‧‧‧表面
圖1是依照本發明的第一實施例的一種頭戴式人眼追蹤系統的側視示意圖。
圖2是依照本發明的第二實施例的一種頭戴式人眼追蹤系統的上視示意圖。
圖1是依照本發明的第一實施例的一種頭戴式人眼追蹤系統的側視示意圖。請參照圖1，本實施例的頭戴式人眼追蹤系統100包括第一光源110、第一瞳孔影像擷取裝置120、第一環境影 像擷取裝置130、第二環境影像擷取裝置140、固定裝置150以及影像辨別系統160，其中固定裝置150適於配置在使用者(未繪示)的頭上，以將第一光源110、第一瞳孔影像擷取裝置120、第一環境影像擷取裝置130以及第二環境影像擷取裝置140固定於使用者的第一眼E1的週圍。
固定裝置150可以是眼鏡、頭巾、帽子或頭套等適於將上述構件固定於頭上且適於自頭上取下的物品，以具有較佳的靈活性及便利性。在本實施例中，固定裝置150以眼鏡進行說明。 具體地，本實施例的眼鏡例如包括鏡架152以及固定於鏡架中的兩個鏡片154a、154b。進一步而言，鏡架152包括兩個鏡框部1521、1522、第一連接部1523、兩個第二連接部1524、1525以及兩個耳掛部1526、1527，其中第一連接部1523連接兩個鏡框部1521、1522，各第二連接部1524、1525連接相鄰的耳掛部1526、1527與鏡框部1521、1522。具體地，第二連接部1524連接相鄰的耳掛部1526與鏡框部1521，而第二連接部1525連接相鄰的耳掛部1527與鏡框部1522。並且，這些鏡片154a、154b位於這些鏡框部1521、1522中。
在本實施例中，第一環境影像擷取裝置130以及第二環境影像擷取裝置140例如是配置於第一連接部1523上，且第一瞳孔影像擷取裝置120例如是配置於鄰近第一眼E1的耳掛部1527上，而第一光源110例如是配置於第一連接部1523上與第一環境影像擷取裝置130以及第二環境影像擷取裝置140相對的表面。 然而，第一光源110、第一瞳孔影像擷取裝置120、第一環境影像擷取裝置130以及第二環境影像擷取裝置140的配置關係可視設計需求而定。舉例而言，在其他實施例中，第一光源110也可配置於鄰近第一眼E1的第二連接部1525上，或者是配置於鄰近第一眼E1的耳掛部1527上。也就是，第一光源110可配置於第一連接部1523、鄰近第一眼E1的第二連接部1525以及鄰近第一眼E1的耳掛部1527的其中一者上。
第一光源110適於照亮使用者的第一眼E1，以使第一瞳 孔影像擷取裝置120擷取來自第一眼E1中的第一瞳孔影像。具體地，第一光源110的設置能夠降低外界光線的強度對於第一瞳孔影像擷取裝置120擷取第一瞳孔影像的影響。透過第一光源110發出第一光束L11以照亮使用者的第一眼E1，第一瞳孔影像擷取裝置120能夠在外界光線不足的情況下(例如陰天、晚上或是電影院中等)擷取來自第一眼E1中的第一瞳孔影像。
第一光源110可以選自於可見光光源或不可見光光源， 其中可見光光源例如是選自於波長在可見光範圍下(例如是波長在400奈米以上且700奈米以下)的發光二極體，而不可見光光源例如是選自於紅外光發光二極體或紫外光發光二極體。特別是選用不可見光光源作為第一光源110時，可降低人眼對於第一光源110所發出的第一光束L11的可視性。並且，在第一光源110採用紅外光發光二極體時，透過在鏡片154b鄰近使用者的表面上形成紅外光濾鏡(IR filter)，可進一步提升第一瞳孔影像擷取裝置120 所接收到的第一瞳孔影像的對比度。
第一瞳孔影像擷取裝置120配置在來自第一眼E1所反射的第一光束L12的傳遞路徑上，以擷取來自第一眼E1中的第一瞳孔影像。在本實施例中，來自第一眼E1所反射的第一光束L12例如是經由鏡片154b的至少一次反射而傳遞至第一瞳孔影像擷取裝置120中。也就是，第一瞳孔影像擷取裝置120例如是配置在經由鏡片154b反射後的第一光束L13的傳遞路徑上。由於本實施例將第一瞳孔影像擷取裝置120固定於使用者的第一眼E1的週圍(如耳掛部1527上)取代配置於使用者的前方，因此本實施例能夠改善視線受遮蔽的問題。此外，透過使第一瞳孔影像經由鏡片154b的反射而傳遞至第一瞳孔影像擷取裝置120中，本實施例可降低第一瞳孔影像斜向入射至第一瞳孔影像擷取裝置120的角度，進而可降低校正誤差，並提升解析度。
第一瞳孔影像擷取裝置120可選自於電荷耦合元件、互補式金氧半導體元件或紅外線攝影機，其中第一瞳孔影像擷取裝置120具有水平視角以及垂直視角。由於人眼的視野相當寬廣，因此為準確取得第一眼E1中的第一瞳孔影像，本實施例的第一瞳孔影像擷取裝置120的水平視角為40度以上且180以下，且垂直視角為55度以上且180以下。
第一環境影像擷取裝置130適於擷取使用者前方的第一環境影像，而第二環境影像擷取裝置140適於擷取使用者前方的第二環境影像。舉例而言，第一環境影像擷取裝置130以及第二 環境影像擷取裝置140可分別選自於電荷耦合元件、互補式金氧半導體元件或紅外線攝影機。
在本實施例中，第一環境影像不同於第二環境影像。具體地，第一環境影像以及第二環境影像例如是分別由第一環境影像擷取裝置130以及第二環境影像擷取裝置140同步擷取的使用者前方的環境影像。然而，透過調變第一環境影像擷取裝置130以及第二環境影像擷取裝置140的配置關係，第一環境影像以及第二環境影像雖為拍攝相同物體的影像畫面，但兩者具有視角上的差異。藉此，本實施例可透過影像處理而取得使用者前方的物體的距離資訊(即物體距離使用者的遠近)，進而提升判別使用者的注視位置的精準度。
第一環境影像擷取裝置130以及第二環境影像擷取裝置140分別具有水平視角以及垂直視角。為了使第一環境影像擷取裝置130所擷取的第一環境影像以及第二環境影像擷取裝置140所擷取的第二環境影像較佳地與第一瞳孔影像映對，第一環境影像擷取裝置130以及第二環境影像擷取裝置140的水平視角較佳為40度以上且180以下，且垂直視角較佳為55度以上且180以下。
在本實施例中，第一瞳孔影像、第一環境影像以及第二環境影像可以是透過有線或無線傳輸的方式分別傳遞至影像辨別系統160。影像辨別系統160適於將第一環境影像以及第二環境影像其中至少一者與第一瞳孔影像進行映對，以辨別出使用者注視的位置，其中影像辨別系統160可以是嵌入式系統，如整合至行 動裝置中的晶片。或者，影像辨別系統160也可以是獨立出來藉由操作作業系統來辨別出使用者注視的位置。
另外，本實施例的頭戴式人眼追蹤系統100可進一步包括資料儲存系統170以及傳輸構件180，其中資料儲存系統170適於儲存第一瞳孔影像、第一環境影像以及第二環境影像，或者適於儲存影像辨別系統160所辨別出的使用者所注視的位置。舉例而言，當影像辨別系統160採用嵌入式系統時，資料儲存系統170可整合於嵌入式系統中，且可僅儲存影像辨別系統160所辨別出的使用者所注視的位置，以節省資料儲存系統170的儲存空間。或者，資料儲存系統170可以為雲端硬碟、隨身碟或硬碟，且上述的影像辨別系統160所辨別出的使用者所注視的位置或第一瞳孔影像、第一環境影像以及第二環境影像可透過傳輸構件180(例如是無線或有線的傳輸構件)而傳遞至資料儲存系統170。換言之，傳輸構件180可以視資料儲存系統170的型態而為無線或有線的傳輸構件。舉例而言，無線的傳輸構件例如是藍芽傳輸。
本實施例的頭戴式人眼追蹤系統100利用非侵入式(即頭戴式人眼追蹤系統100不與人眼直接接觸)的方法對眼睛(第一眼E1)進行追蹤，並且結合兩個對外的第一以及第二環境影像擷取裝置130、140來擷取使用者前方的環境影像，再利用影像辨別系統160將第一環境影像以及第二環境影像其中至少一者與第一瞳孔影像進行映對，從而辨別出的使用者所注視的位置。由於本實施例的頭戴式人眼追蹤系統100可改善誤判以及視線受遮蔽的情 況，且可透過取得環境中的物體與使用者間的距離資訊(即物體的遠近)，來提升判別的精準度，因此本實施例的頭戴式人眼追蹤系統100可具有廣大的應用範疇。舉例而言，本實施例的頭戴式人眼追蹤系統100若結合於電腦鼠標操控則可提供殘疾人士或是雙手不方便者一種便利的眼動追蹤控制系統。另一方面，本實施例的頭戴式人眼追蹤系統100也可透過辨別人眼軌跡去客觀地分析消費者的心理以及市場走向，或者是用於行車警告。再者，透過結合腦波量測，本實施例的頭戴式人眼追蹤系統100可進一步判斷使用者的身體、心理疾病對於人眼軌跡或專注力的影響。
須說明的是，上述實施例雖僅將環境影像與單眼的瞳孔影像進行映對，但本發明不限於此。以下將以圖2說明環境影像與雙眼的瞳孔影像進行映對的實施型態。
圖2是依照本發明的第二實施例的一種頭戴式人眼追蹤系統的上視示意圖。請參照圖2，本實施例的頭戴式人眼追蹤系統200與圖1中的頭戴式人眼追蹤系統100具有相似的構件、功效以及應用範疇。主要差異在於本實施例的頭戴式人眼追蹤系統200更包括第二光源210以及第二瞳孔影像擷取裝置220。此外，固定裝置150將第二光源210以及第二瞳孔影像擷取裝置220配置於第二眼E2的周圍。
在本實施例中，第二光源210例如是配置於第一連接部1523上，且第二瞳孔影像擷取裝置220例如是配置於耳掛部1526上，但本發明不限於此。在其他實施例中，第一光源110、第二光 源210、第一瞳孔影像擷取裝置120、第二瞳孔影像擷取裝置220、第一環境影像擷取裝置130以及第二環境影像擷取裝置140可視設計需求而定。舉例而言，第二光源210可配置於第一連接部1523、鄰近第二眼E2的第二連接部1524以及鄰近第二眼E2的耳掛部1526的其中一者上。並且，第二光源210與第一光源110可以是對稱地或非對稱地配置在固定裝置150上。
第二光源210發出第二光束L21以照亮使用者的第二眼E2。第二光源210可以選自於可見光光源或不可見光光源。特別是選用不可見光光源作為第二光源210時，可降低人眼對於第二光源210所發出的第二光束L21的可視性。並且，在第二光源210與第一光源110同樣採用紅外光發光二極體時，透過在鏡片154a、154b鄰近使用者的表面S1、S2上形成紅外光濾鏡，可進一步提升第一瞳孔影像以及第二瞳孔影像的對比度。
第二瞳孔影像擷取裝置220配置在來自第二眼E2所反射的第二光束L22的傳遞路徑上，以擷取來自第二眼E2的第二瞳孔影像。在本實施例中，來自第二眼E2所反射的第二光束L22例如是經由鏡片154a的至少一次反射而傳遞至第二瞳孔影像擷取裝置220中。也就是，第二瞳孔影像擷取裝置22例如是配置在經由鏡片154a反射後的第二光束L23的傳遞路徑上。由於本實施例將第二瞳孔影像擷取裝置220固定於使用者的第二眼E2的週圍(如耳掛部1526上)取代配置於使用者的前方，因此本實施例能夠改善視線受遮蔽的問題。此外，透過使第二瞳孔影像經由鏡片154a的 反射而傳遞至第二瞳孔影像擷取裝置220中，本實施例可降低第二瞳孔影像斜向入射至第二瞳孔影像擷取裝置220的角度，進而可降低校正誤差，並提升解析度。
第二瞳孔影像擷取裝置220可選自於電荷耦合元件、互 補式金氧半導體元件或紅外線攝影機，其中第二瞳孔影像擷取裝置220具有水平視角以及垂直視角。由於人眼的視野相當寬廣，因此為準確取得第二眼E2中的第二瞳孔影像，本實施例的第二瞳孔影像擷取裝置220的水平視角為40度以上且180以下，且垂直視角為55度以上且180以下。
在本實施例中，第二瞳孔影像可以是透過有線或無線傳輸的方式傳遞至影像辨別系統160。此外，影像辨別系統160適於將第一環境影像以及第二環境影像其中至少一者與第二瞳孔影像進行映對以辨別出使用者注視的位置。具體地，第一瞳孔影像以及第二瞳孔影像可以與第一環境影像以及第二環境影像其中至少一者進行映對。
另外，本實施例的頭戴式人眼追蹤系統200也可進一步包括資料儲存系統170以及傳輸構件180，其中傳輸構件180可將第一瞳孔影像、第二瞳孔影像、第一環境影像以及第二環境影像或是將映對後所辨別出使用者注視的位置傳遞至資料儲存系統170中，而傳遞的方法以及各構件的應用可參閱上述對應的內容，於此便不再贅述。
本實施例的頭戴式人眼追蹤系統200利用非侵入式(即頭 戴式人眼追蹤系統200不與人眼直接接觸)的方法對眼睛(第一眼E1以及第二眼E2)進行追蹤，並且結合兩個對外的第一以及第二環境影像擷取裝置130、140來擷取使用者前方的環境影像，再利用影像辨別系統160將第一環境影像以及第二環境影像其中至少一者與第一以及第二瞳孔影像進行映對，從而辨別出的使用者所注視的位置。由於本實施例的頭戴式人眼追蹤系統200可改善誤判以及視線受遮蔽的情況，且可透過取得環境中的物體與使用者間的距離資訊(即物體的遠近)，來提升判別的精準度，因此本實施例的頭戴式人眼追蹤系統200可具有廣大的應用範疇。舉例而言，本實施例的頭戴式人眼追蹤系統200若結合於電腦鼠標操控則可提供殘疾人士或是雙手不方便者一種便利的眼動追蹤控制系統。 另一方面，本實施例的頭戴式人眼追蹤系統200還可透過辨別人眼軌跡去客觀地分析消費者的心理以及市場走向，或者是用於行車警告。再者，透過結合腦波量測，本實施例的頭戴式人眼追蹤系統200可進一步判斷使用者的身體、心理疾病對於人眼軌跡或專注力的影響。
綜上所述，本發明的頭戴式人眼追蹤系統透過配置環境影像擷取裝置以及瞳孔影像擷取裝置去擷取使用者前方的環境影像以及人眼的瞳孔影像，並透過將環境影像與瞳孔影像進行映對，來降低誤判的情況。此外，透過設置兩個環境影像擷取裝置，本發明的頭戴式人眼追蹤系統可進一步取得環境中的物體與使用者間的距離資訊(即物體的遠近)，進而提升判別的精準度。另外， 本發明的頭戴式人眼追蹤系統將光源以及影像擷取裝置固定於使用者的眼睛的週圍取代配置於使用者的前方，來改善視線受遮蔽的問題。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧頭戴式人眼追蹤系統
110‧‧‧第一光源
120‧‧‧第一瞳孔影像擷取裝置
130‧‧‧第一環境影像擷取裝置
140‧‧‧第二環境影像擷取裝置
150‧‧‧固定裝置
152‧‧‧鏡架
1521、1522‧‧‧鏡框部
1523‧‧‧第一連接部
1524、1525‧‧‧第二連接部
1526、1527‧‧‧耳掛部
154a、154b‧‧‧鏡片
160‧‧‧影像辨別系統
170‧‧‧資料儲存系統
180‧‧‧傳輸構件
E1‧‧‧第一眼
L11、L12、L13‧‧‧第一光束

Claims (8)

  1. 一種頭戴式人眼追蹤系統，包括：一第一光源，發出一第一光束以照亮一使用者的一第一眼；一第一瞳孔影像擷取裝置，配置在來自該第一眼所反射的該第一光束的傳遞路徑上，以擷取來自該第一眼的一第一瞳孔影像；一第一環境影像擷取裝置，適於擷取該使用者前方的一第一環境影像；一第二環境影像擷取裝置，適於擷取該使用者前方的一第二環境影像；一固定裝置，配置於該使用者的頭上，以將該第一光源、該第一瞳孔影像擷取裝置、該第一環境影像擷取裝置以及該第二環境影像擷取裝置固定於該使用者的該第一眼的週圍；以及一影像辨別系統，適於將該第一環境影像以及該第二環境影像其中至少一者與該第一瞳孔影像進行映對，以辨別出該使用者注視的位置。
  2. 如申請專利範圍第1項所述的頭戴式人眼追蹤系統，其中該第一光源選自於一可見光光源或一不可見光光源。
  3. 如申請專利範圍第2項所述的頭戴式人眼追蹤系統，其中該不可見光光源選自於紅外光發光二極體或紫外光發光二極體。
  4. 如申請專利範圍第1項所述的頭戴式人眼追蹤系統，其中該第一瞳孔影像擷取裝置、該第一環境影像擷取裝置以及該第二環境影像擷取裝置分別選自於電荷耦合元件、互補式金氧半導體 元件或紅外線攝影機。
  5. 如申請專利範圍第1項所述的頭戴式人眼追蹤系統，其中該第一瞳孔影像擷取裝置、該第一環境影像擷取裝置以及該第二環境影像擷取裝置分別具有一水平視角以及一垂直視角，該水平視角為40度以上且180度以下，且該垂直視角為55度以上且180度以下。
  6. 如申請專利範圍第1項所述的頭戴式人眼追蹤系統，其中該固定裝置為一眼鏡，該眼鏡包括一鏡架以及固定於該鏡架中的兩個鏡片，該鏡架包括兩個鏡框部、一第一連接部、兩個第二連接部以及兩個耳掛部，其中該第一連接部連接兩個鏡框部，各該第二連接部連接相鄰的該耳掛部與該鏡框部，且該些鏡片位於該些鏡框部中，該第一環境影像擷取裝置以及該第二環境影像擷取裝置配置於該第一連接部上，且該第一瞳孔影像擷取裝置配置於鄰近該第一眼的該耳掛部上，而該第一光源配置於該第一連接部、鄰近該第一眼的該第二連接部以及鄰近該第一眼的該耳掛部的其中一者上。
  7. 如申請專利範圍第1項所述的頭戴式人眼追蹤系統，更包括：一第二光源，發出一第二光束以照亮該使用者的一第二眼；以及一第二瞳孔影像擷取裝置，配置在來自該第二眼所反射的該第二光束的傳遞路徑上，以擷取來自該第二眼的一第二瞳孔影 像，其中該固定裝置將該第二光源以及該第二瞳孔影像擷取裝置配置於該第二眼的周圍，該影像辨別系統適於將該第一環境影像以及該第二環境影像其中至少一者與該第二瞳孔影像進行映對。
  8. 如申請專利範圍第1項所述的頭戴式人眼追蹤系統，更包括：一資料儲存系統，適於儲存該第一瞳孔影像、該第一環境影像以及該第二環境影像，或者適於儲存該影像辨別系統所辨別出的該使用者所注視的位置；以及一傳輸構件，其中該影像辨別系統所辨別出的該使用者所注視的位置或是該第一瞳孔影像、該第一環境影像以及該第二環境影像透過該傳輸構件而傳遞至該資料儲存系統。
TW102127317A 2013-07-30 2013-07-30 頭戴式人眼追蹤系統 TWI505260B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102127317A TWI505260B (zh) 2013-07-30 2013-07-30 頭戴式人眼追蹤系統
CN201310597597.8A CN104337496B (zh) 2013-07-30 2013-11-22 头戴式人眼追踪系统
US14/139,887 US9213406B2 (en) 2013-07-30 2013-12-24 Head-mount eye tracking system with improved determination of gazing position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102127317A TWI505260B (zh) 2013-07-30 2013-07-30 頭戴式人眼追蹤系統

Publications (2)

Publication Number Publication Date
TW201505021A TW201505021A (zh) 2015-02-01
TWI505260B true TWI505260B (zh) 2015-10-21

Family

ID=52427202

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102127317A TWI505260B (zh) 2013-07-30 2013-07-30 頭戴式人眼追蹤系統

Country Status (3)

Country Link
US (1) US9213406B2 (zh)
CN (1) CN104337496B (zh)
TW (1) TWI505260B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI769481B (zh) * 2020-07-01 2022-07-01 大陸商業成科技（成都）有限公司 眼動追蹤裝置及應用其的電子裝置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US10572008B2 (en) 2014-02-21 2020-02-25 Tobii Ab Apparatus and method for robust eye/gaze tracking
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
KR102437104B1 (ko) * 2014-07-29 2022-08-29 삼성전자주식회사 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치
DE102015204283A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person
CN104834381B (zh) * 2015-05-15 2017-01-04 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
TWI580396B (zh) * 2015-06-01 2017-05-01 國立交通大學 視覺生理用頭戴式系統
TWI616186B (zh) * 2015-07-22 2018-03-01 國立交通大學 視調節微波動之量測系統及方法
GB2556588A (en) * 2015-11-25 2018-05-30 Google Llc Prism-based eye tracking
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
CN108701415B (zh) * 2016-02-25 2021-08-03 富士胶片株式会社 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
CN105929963B (zh) * 2016-05-11 2019-04-30 北京蚁视科技有限公司 一种用于追踪眼球位置的方法及检测装置
CN106419832B (zh) * 2016-08-22 2018-03-02 宁波远志立方能源科技有限公司 智能眼疾检测眼镜
US20180081434A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Eye and Head Tracking
US10388778B2 (en) * 2016-11-18 2019-08-20 Nexperia B.V. Low resistance and leakage device
CN108535866B (zh) * 2017-03-02 2019-11-05 腾讯科技（深圳）有限公司 虚拟现实眼镜
US11054886B2 (en) * 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
CN109814413A (zh) * 2017-11-21 2019-05-28 宏碁股份有限公司 头戴式显示设备、电子系统以及相关控制方法
IL275047B2 (en) 2017-12-19 2024-04-01 Telefonaktiebolaget L M Ericsson Publ Install a complex display in mind
TWI669537B (zh) * 2018-01-24 2019-08-21 宏碁股份有限公司 顯示裝置
CN109947268A (zh) * 2018-07-04 2019-06-28 湖北民族学院 一种可用于智能终端的多功能表情鼠标
CN110850594B (zh) * 2018-08-20 2022-05-17 余姚舜宇智能光学技术有限公司 头戴式可视设备及用于头戴式可视设备的眼球追踪系统
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11181978B2 (en) 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation
CN110389460B (zh) * 2019-06-25 2021-09-14 昆山龙腾光电股份有限公司 一种自动调光眼镜及其控制方法
CN112674713B (zh) * 2020-11-22 2021-10-08 青岛大学附属医院 昏暗环境瞳孔辨识系统
CN112716445A (zh) * 2020-11-25 2021-04-30 中国科学院深圳先进技术研究院 一种眼动追踪装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW299433B (en) * 1996-01-18 1997-03-01 Artificaial Parallax Electronics Corp Computer stereo displaying system and 2D image application method to vision depth
CN201503524U (zh) * 2009-09-25 2010-06-09 邱彤印 具影像立体化功能的液晶显示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4145122A (en) 1977-05-31 1979-03-20 Colorado Seminary Method and apparatus for monitoring the position of the eye
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US7515054B2 (en) * 2004-04-01 2009-04-07 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
SE529763C2 (sv) * 2005-10-10 2007-11-20 Tobii Technology Ab Ögonrörelseföljare med ett utökat omfång av arbetsavstånd
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
EP2499962B1 (en) * 2011-03-18 2015-09-09 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW299433B (en) * 1996-01-18 1997-03-01 Artificaial Parallax Electronics Corp Computer stereo displaying system and 2D image application method to vision depth
CN201503524U (zh) * 2009-09-25 2010-06-09 邱彤印 具影像立体化功能的液晶显示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI769481B (zh) * 2020-07-01 2022-07-01 大陸商業成科技（成都）有限公司 眼動追蹤裝置及應用其的電子裝置

Also Published As

Publication number Publication date
US20150035745A1 (en) 2015-02-05
CN104337496A (zh) 2015-02-11
US9213406B2 (en) 2015-12-15
CN104337496B (zh) 2016-11-23
TW201505021A (zh) 2015-02-01

Similar Documents

Publication Publication Date Title
TWI505260B (zh) 頭戴式人眼追蹤系統
US10126815B2 (en) Systems, devices, and methods for proximity-based eye tracking
JP5167545B2 (ja) 視点検出装置
JP6308940B2 (ja) 視線追跡シーン参照位置を識別するシステム及び方法
KR102205374B1 (ko) 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들
US10481403B2 (en) Contact lens with retinal camera
CN103293673B (zh) 集成显示器和眼动仪和虹膜识别仪的帽子
WO2018076202A1 (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
KR20180023983A (ko) 헤드 마운트 디스플레이
TW201405434A (zh) 瞳孔偵測裝置
TWI543745B (zh) 用於以逆反射進行瞳孔追蹤的光學陣列系統及方法
KR20130107981A (ko) 시선 추적 장치 및 방법
US11243607B2 (en) Method and system for glint/reflection identification
US10452911B2 (en) Gaze-tracking system using curved photo-sensitive chip
JP4500992B2 (ja) 三次元視点計測装置
US10288879B1 (en) Method and system for glint/reflection identification
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
US20180116506A1 (en) Eye tracking apparatus and image capture module thereof
ES2921299T3 (es) Método y sistema para la identificación de reflejos/reflexiones
JP2018028728A (ja) 眼部画像処理装置
TW202041001A (zh) 頭戴式顯示裝置以及其眼球追蹤裝置
CN203759720U (zh) 影像撷取模块
CN117706773A (zh) 显示装置及显示系统