TWI699671B - 減低眼球追蹤運算的方法和其眼動追蹤裝置 - Google Patents

減低眼球追蹤運算的方法和其眼動追蹤裝置 Download PDF

Info

Publication number
TWI699671B
TWI699671B TW107144750A TW107144750A TWI699671B TW I699671 B TWI699671 B TW I699671B TW 107144750 A TW107144750 A TW 107144750A TW 107144750 A TW107144750 A TW 107144750A TW I699671 B TWI699671 B TW I699671B
Authority
TW
Taiwan
Prior art keywords
frame
eye
subframe
scene
eye tracking
Prior art date
Application number
TW107144750A
Other languages
English (en)
Other versions
TW202022559A (zh
Inventor
簡韶逸
林裕盛
吳思儀
Original Assignee
國立臺灣大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學 filed Critical 國立臺灣大學
Priority to TW107144750A priority Critical patent/TWI699671B/zh
Priority to CN201910132835.5A priority patent/CN111309138B/zh
Priority to US16/298,985 priority patent/US11042216B2/en
Publication of TW202022559A publication Critical patent/TW202022559A/zh
Application granted granted Critical
Publication of TWI699671B publication Critical patent/TWI699671B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一種減低眼球追蹤運算的方法及其眼球追蹤裝置，利用攝像擷取幀的眼球或場景的部分幀來推估眼球移動的下個位置，如此可減少整個系統的運算和耗電。

Description

減低眼球追蹤運算的方法和其眼動追蹤裝置
本發明是關於一種眼球追蹤的運算方法及其裝置，尤其是關於一種減低眼球追蹤運算的方法及其裝置。
眼動技術是指通過測量眼睛的注視點的位置或者眼球相對頭部的運動而實現對眼球運動的追蹤。眼動儀是一種能夠獲取這兩個訊息的一種設備，這個獲取步驟就是眼球追蹤運算。目前眼動追蹤有多種方法，以非侵入方式者，例如通過視頻拍攝設備來獲取眼睛的位置；以侵入方式者，例如在眼睛中埋置眼動測定線圈或者使用微電極描記眼動電圖。另，一般眼動儀會包括一視線追蹤模組以執行對眼球運動的追蹤，以非侵入方式追蹤的視線追蹤模組通常配備眼攝像裝置(eye camera)和場景攝像裝置(scene camera)。眼攝像裝置是擷取配戴者的眼球影像，場景攝像裝置則是擷取配戴者所視的場景影像。
由於眼動儀通常是放置於眼睛周圍，故一般視線追蹤模組應具備低功耗、小面積、低延遲等特性以符合要求。
本發明提供一種針對省電需求設計之減低眼球追蹤運算的方法及其裝置，採用部分幀減少眼球追蹤的運算量，進而達到減少功耗而省電的目的。
本發明提供一種針對省電需求設計之減低眼球追蹤運算的方法及其裝置，部分幀的數據可由眼攝像裝置或場景攝像裝置或上述二者粹取得到，進而達到減少功耗而省電的目的。
依據上述，一種減低眼球追蹤運算的方法，包括: 擷取包括一眼球影像的一第一眼球幀和一場景幀；對該第一眼球幀和該場景幀分別執行物件偵測(object detection)以分別取得該第一眼球幀的一第一子幀和該場景幀的一第二子幀；及運算該第一子幀和該第二子幀二者至少之一以得到一眼球估計位置；。
一實施例中，減低眼球追蹤運算的方法包括依據該眼球估計位置擷取包括該眼球影像的一第二眼球幀。
一實施例中，該第一子幀的數據量少於該第一眼球幀的數據量，且該第二子幀的數據量少於該場景幀的數據量。
一實施例中，對該第一眼球幀和該場景幀分別執行物件偵測的步驟是包括以感興趣區域(region of interest, ROI)方式粹取出該第一子幀和該第二子幀二者至少之一。
一實施例中，運算該第一子幀和該第二子幀二者至少之一的步驟是利用一反向投影矩陣運算得到該眼球估計位置。
一實施例中，運算該第一子幀和該第二子幀二者至少之一的步驟是利用近似運算得到該眼球估計位置。
一實施例中，該第一子幀包括該眼球影像。
一實施例中，該場景幀包括一重點區域影像且該第二子幀包括該重點區域影像。
依據上述， 一種應用上述減低眼球追蹤運算的方法的眼動追蹤裝置，包括擷取該第一眼球幀的一眼攝像裝置及擷取該場景幀的一場景攝像裝置。
依據上述， 一種應用上述減低眼球追蹤運算的方法的眼動追蹤裝置，包括擷取該第一眼球幀和該第二眼球幀的一眼攝像裝置及擷取該場景幀的一場景攝像裝置。
圖1為本案之減低眼球追蹤運算的方法實施例的流程示意圖。圖2為本案應用減低眼球追蹤運算的方法之一眼動追蹤裝置和其應用環境方位的立體示意圖。圖3為眼動追蹤裝置實施例運算第一眼球幀畫面示意圖。圖4為眼動追蹤裝置實施例運算場景幀畫面示意圖。圖5為眼動追蹤裝置實施例得到的第二眼球幀畫面示意圖。請參考圖1、圖2、圖3、圖4和圖5，本案之減低眼球追蹤運算的方法，由配備有眼攝像裝置22和場景攝像裝置24的眼動追蹤裝置20執行。首先，眼攝像裝置22和場景攝像裝置24分別擷取一第一眼球幀13(first eyeball frame)和一場景幀15(scene frame)(步驟2)。
一般而言，眼動追蹤裝置20配戴於配戴者的眼睛5前方，眼攝像裝置22和配戴者的眼睛之間存在一距離，眼攝像裝置22攝像時擷取到的第一眼球幀13包括配戴者的一眼球影像31和眼球影像31周遭的臉部影像33。對於運算眼球追蹤而言，第一眼球幀13中的臉部影像33的數據是多餘的，只有眼球影像31的數據才有意義。另一方面，場景攝像裝置24是擷取配戴者前方的場景7影像，其所擷取到的場景幀15通常包括配戴者感興趣的重點區域影像51和配戴者相對較不感興趣的影像53。重點區域影像51所出現的位置大多是配戴者關注之處，因此，配戴者的視線移動和重點區域影像51是息息相關者。相形之下，配戴者對於較不感興趣的影像53並不關注，配戴者的後續視線移動與此則較無關聯。
是以，減少幀的數據運算量將有助於減低眼動追蹤裝置20的運算時間和耗電。續參考圖1、圖2、圖3、圖4和圖5，本案的減低眼球追蹤運算的方法對第一眼球幀13和場景幀15分別執行物件偵測(object detection)以分別取得第一眼球幀13的一第一子幀35和場景幀15的第二子幀55(步驟4)。於此實施例中，第一子幀35的數據量少於第一眼球幀13的數據量，但必包括眼球影像31。其次，第二子幀55的數據量少於場景幀15的數據量，但必包括重點區域影像51。又，執行物件偵測的方法，舉例但不限地，例如以感興趣區域(region of interest, ROI)方式、分別自第一眼球幀13和場景幀15粹取出第一子幀35和第二子幀55。
續參考圖1、圖2、圖3、圖4和圖5，本案的第一子幀35和第二子幀55可各自單獨地或組合地被運算以得到一眼球估計位置(步驟6)。以單獨運算第一子幀35來說，是利用前一幀眼睛的二維/三維近似推估為現在幀(第二眼球幀)眼睛所在的位置，捨棄掉前一幀(第一子幀35)中非眼睛影像的臉部影像33，數據量的減低有助於推估現在幀眼睛的運算時間，同時減低運算耗電量。其次，以單獨運算第二子幀55來說，重點區域影像51通常是配戴者感興趣的位置，即是配戴者的眼睛可能注視的方向，故將包括重點區域影像51的第二子幀55利用適當的反向運算，例如反向投影矩陣的運算，可以推估配戴者的眼球在相對於眼攝像裝置22的哪個位置。又，若同時依據第一子幀35和第二子幀55的運算來得到眼球估計位置，可得到更精確和精準的結果，同時達到減低運算耗電量的目的。之後，眼攝像裝置22可依據上述眼球估計位置擷取包括眼球影像的一第二眼球幀(步驟8)。此時，此第二眼球幀57，例如近似第一子幀35的範圍，必包括眼球估計位置的影像58，第二眼球幀的數據量可以等於或少於第一眼球幀13。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
2、4、6、8       步驟 5     眼睛 7     場景 13 第一眼球幀 15   場景幀 20   眼動追蹤裝置 22   眼攝像裝置 24   場景攝像裝置 31   眼球影像 33   臉部影像 35   第一子幀 51   重點區域影像 53   影像 55   第二子幀 57  第二眼球幀 58 眼球估計位置的影像
圖1為本案之減低眼球追蹤運算的方法實施例的流程示意圖。
圖2為本案應用減低眼球追蹤運算的方法之一眼動追蹤裝置和其應用環境方位的立體示意圖。
圖3為眼動追蹤裝置實施例運算第一眼球幀畫面示意圖。
圖4為眼動追蹤裝置實施例運算場景幀畫面示意圖。
圖5為眼動追蹤裝置實施例得到的第二眼球幀畫面示意圖。
2、4、6、8 步驟

Claims (10)

  1. 一種減低眼球追蹤運算的方法，包括：擷取包括一眼球影像的一第一眼球幀和一場景幀；對該第一眼球幀和該場景幀分別執行物件偵測(object detection)以分別取得該第一眼球幀的一第一子幀和該場景幀的一第二子幀；及運算該第一子幀和該第二子幀二者至少之一以得到一眼球估計位置。
  2. 如請求項1所述的減低眼球追蹤運算的方法，更包括依據該眼球估計位置擷取包括該眼球影像的一第二眼球幀。
  3. 如請求項1所述的減低眼球追蹤運算的方法，其中，該第一子幀的數據量少於該第一眼球幀的數據量，且該第二子幀的數據量少於該場景幀的數據量。
  4. 如請求項1所述的減低眼球追蹤運算的方法，其中，對該第一眼球幀和該場景幀分別執行物件偵測的步驟是包括以感興趣區域(region of interest,ROI)方式粹取出該第一子幀和該第二子幀二者至少之一。
  5. 如請求項1所述的減低眼球追蹤運算的方法，其中，運算該第一子幀和該第二子幀二者至少之一的步驟是利用一反向投影矩陣運算得到該眼球估計位置。
  6. 如請求項1所述的減低眼球追蹤運算的方法，其中，運算該第一子幀和該第二子幀二者至少之一的步驟是利用近似運算得到該眼球估計位置。
  7. 如請求項1所述的減低眼球追蹤運算的方法，其中，該第一子幀包括該眼球影像。
  8. 如請求項1所述的減低眼球追蹤運算的方法，其中，該場景幀包括一重點區域影像且該第二子幀包括該重點區域影像。
  9. 一種應用請求項1所述的減低眼球追蹤運算的方法的眼動追蹤裝置，包括：擷取該第一眼球幀的一眼攝像裝置；以及擷取該場景幀的一場景攝像裝置。
  10. 一種應用請求項2所述的減低眼球追蹤運算的方法的眼動追蹤裝置，包括：擷取該第一眼球幀和該第二眼球幀的一眼攝像裝置；以及擷取該場景幀的一場景攝像裝置。
TW107144750A 2018-12-12 2018-12-12 減低眼球追蹤運算的方法和其眼動追蹤裝置 TWI699671B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107144750A TWI699671B (zh) 2018-12-12 2018-12-12 減低眼球追蹤運算的方法和其眼動追蹤裝置
CN201910132835.5A CN111309138B (zh) 2018-12-12 2019-02-21 降低眼球追踪运算的方法和其眼动追踪装置
US16/298,985 US11042216B2 (en) 2018-12-12 2019-03-11 Eye-tracking method and device for reducing operating workload

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107144750A TWI699671B (zh) 2018-12-12 2018-12-12 減低眼球追蹤運算的方法和其眼動追蹤裝置

Publications (2)

Publication Number Publication Date
TW202022559A TW202022559A (zh) 2020-06-16
TWI699671B true TWI699671B (zh) 2020-07-21

Family

ID=71071126

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107144750A TWI699671B (zh) 2018-12-12 2018-12-12 減低眼球追蹤運算的方法和其眼動追蹤裝置

Country Status (3)

Country Link
US (1) US11042216B2 (zh)
CN (1) CN111309138B (zh)
TW (1) TWI699671B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI261785B (en) * 2004-02-19 2006-09-11 Chung Shan Inst Of Science Eye ball tracking method
US20140184775A1 (en) * 2012-12-06 2014-07-03 Eyefluence, Inc. Eye tracking wearable devices and methods for use
TW201508552A (zh) * 2013-06-25 2015-03-01 Microsoft Corp 透過深度相機的眼動追蹤
US20160029883A1 (en) * 2013-03-28 2016-02-04 Eye Tracking Analysts Ltd Eye tracking calibration
WO2017202640A1 (en) * 2016-05-24 2017-11-30 Harman Becker Automotive Systems Gmbh Eye tracking
TW201812521A (zh) * 2016-07-21 2018-04-01 忠穩 羅 根據使用者的興趣顯示內容之具有眼動追蹤之互動式顯示系統

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7331671B2 (en) * 2004-03-29 2008-02-19 Delphi Technologies, Inc. Eye tracking method based on correlation and detected eye movement
JP5828167B2 (ja) * 2011-03-30 2015-12-02 株式会社国際電気通信基礎技術研究所 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
WO2014188727A1 (ja) * 2013-05-22 2014-11-27 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
US9086582B1 (en) * 2014-08-20 2015-07-21 David Kind, Inc. System and method of providing custom-fitted and styled eyewear based on user-provided images and preferences
JP2017176302A (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム
KR101643724B1 (ko) * 2016-04-29 2016-07-29 세종대학교산학협력단 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치
WO2018035160A1 (en) * 2016-08-15 2018-02-22 The Regents Of The University Of California Bio-sensing and eye-tracking system
CN113128449A (zh) * 2017-08-09 2021-07-16 北京市商汤科技开发有限公司 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI261785B (en) * 2004-02-19 2006-09-11 Chung Shan Inst Of Science Eye ball tracking method
US20140184775A1 (en) * 2012-12-06 2014-07-03 Eyefluence, Inc. Eye tracking wearable devices and methods for use
US20160029883A1 (en) * 2013-03-28 2016-02-04 Eye Tracking Analysts Ltd Eye tracking calibration
TW201508552A (zh) * 2013-06-25 2015-03-01 Microsoft Corp 透過深度相機的眼動追蹤
WO2017202640A1 (en) * 2016-05-24 2017-11-30 Harman Becker Automotive Systems Gmbh Eye tracking
TW201812521A (zh) * 2016-07-21 2018-04-01 忠穩 羅 根據使用者的興趣顯示內容之具有眼動追蹤之互動式顯示系統

Also Published As

Publication number Publication date
TW202022559A (zh) 2020-06-16
US20200192471A1 (en) 2020-06-18
CN111309138A (zh) 2020-06-19
CN111309138B (zh) 2023-05-30
US11042216B2 (en) 2021-06-22

Similar Documents

Publication Publication Date Title
CN104978548B (zh) 一种基于三维主动形状模型的视线估计方法与装置
CN109074681B (zh) 信息处理装置、信息处理方法和程序
Plopski et al. Corneal-imaging calibration for optical see-through head-mounted displays
JP6454851B2 (ja) ３次元上の注視点の位置特定アルゴリズム
CN107277375B (zh) 一种自拍方法和移动终端
CN110855972B (zh) 图像处理方法以及电子设备和存储介质
WO2015026645A1 (en) Automatic calibration of scene camera for optical see-through head mounted display
TWI507729B (zh) 頭戴式視覺輔助系統及其成像方法
US11749024B2 (en) Graphics processing method and related eye-tracking system
CN104978077B (zh) 一种交互方法及系统
WO2019015249A1 (zh) 基于虚拟现实的图像显示方法和装置、虚拟现实头盔设备
WO2020034672A1 (zh) 一种确定图像中用户的感兴趣区域的方法及装置
EP3710983A1 (en) Pose correction
EP4206979A1 (en) Virtual reality system foveated rendering method and system based on single eyeball tracking
TWI699671B (zh) 減低眼球追蹤運算的方法和其眼動追蹤裝置
Deligianni et al. Patient-specific bronchoscope simulation with pq-space-based 2D/3D registration
CN109961473A (zh) 双眼定位方法及装置、电子设备和计算机可读存储介质
TWI674518B (zh) 眼球追蹤的校正方法和其裝置
TW201923653A (zh) 壓力之評價方法
CN114049670A (zh) 图像处理方法、装置、电子设备及存储介质
Kim et al. AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays
Kim et al. [poster] dotwarp: Dynamic object timewarping for video see-through augmented reality
US20240103618A1 (en) Corrected Gaze Direction and Origin
Strokanev et al. Photoplethysmography system for video of face using eulerian video magnification
JP2022064063A (ja) 情報処理装置、撮像装置、評価方法、及び評価プログラム