TW202020627A - 眼球追蹤的校正方法和其裝置 - Google Patents

眼球追蹤的校正方法和其裝置 Download PDF

Info

Publication number
TW202020627A
TW202020627A TW107142362A TW107142362A TW202020627A TW 202020627 A TW202020627 A TW 202020627A TW 107142362 A TW107142362 A TW 107142362A TW 107142362 A TW107142362 A TW 107142362A TW 202020627 A TW202020627 A TW 202020627A
Authority
TW
Taiwan
Prior art keywords
eye tracking
eye
scene
feature information
correction
Prior art date
Application number
TW107142362A
Other languages
English (en)
Other versions
TWI674518B (zh
Inventor
簡韶逸
張嘉洋
吳思儀
Original Assignee
國立臺灣大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學 filed Critical 國立臺灣大學
Priority to TW107142362A priority Critical patent/TWI674518B/zh
Priority to CN201910130674.6A priority patent/CN111240464B/zh
Priority to US16/299,012 priority patent/US10915169B2/en
Application granted granted Critical
Publication of TWI674518B publication Critical patent/TWI674518B/zh
Publication of TW202020627A publication Critical patent/TW202020627A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一種眼球追蹤的校正方法及其裝置，提供非預先設計好之校正用途的場景幀並分析此場景幀以取得該場景幀的一顯著特徵資訊，利用該顯著特徵資訊來進行眼球追蹤運算的校正，可應用於起始校正或配戴眼球追蹤裝置時的動態校正。

Description

眼球追蹤的校正方法和其裝置
本發明是關於一種眼球追蹤的運算方法及其裝置，尤其是關於一種眼球追蹤的校正方法及其裝置。
眼動技術是指通過測量眼睛的注視點的位置或者眼球相對頭部的運動而實現對眼球運動的追蹤。一般眼動儀會包括一視線追蹤模組以執行對眼球運動的追蹤，以非侵入方式追蹤的視線追蹤模組通常配備眼攝像裝置(eye camera)和場景攝像裝置(scene camera)。眼攝像裝置是擷取配戴者的眼球影像，場景攝像裝置則是擷取配戴者所視的場景影像，其中，因為避免擋住使用者的視線，故眼攝像裝置和眼球位置不能完全對應，因而導致誤差的產生，從而衍生校正的需求。
台灣專利號I617948揭露一種用於眼部追蹤的校正模組，其包含的圖像生成器在一校正路徑上顯示一供使用者注視的游標動畫，游標動畫上的游標係沿著該校正路徑移動，並連續透過攝像裝置擷取使用者的眼部影像以記錄使用者的複數個眼部注視方向後取得使用者的眼部注視方向組成的一校正資訊座標序列來進行校正。此種技術是應用於免頭戴式眼部追蹤技術，而一般穿戴式眼球追蹤技術的校正則是透過預先設計好的標記來進行校正，或是利用眼球的三維資訊來進行校正。
本發明提供一種眼球追蹤的校正方法及其裝置，應用於穿戴式裝置的初次配戴的起始校正或配戴中的動態校正，以消除眼攝像裝置和眼球位置的偏置關係所產生的誤差。
本發明提供一種眼球追蹤的校正方法及其裝置，利用非預先設計的圖像或標記來校正眼攝像裝置和眼球位置的偏置關係所產生的誤差。
依據上述，一種眼球追蹤的校正方法，包括: 提供一場景幀；分析該場景幀以取得該場景幀的一顯著特徵資訊；及依據該顯著特徵資訊來校正一眼球追蹤運算。
一實施例中，該場景幀由一場景攝像裝置擷取以及由一電腦的一影像資訊二者至少之一提供。
一實施例中，分析該場景幀的步驟包括以感興趣區域(region of interest, ROI)方式或顯著影像偵測方式取得該顯著特徵資訊。
一實施例中，校正該眼球追蹤運算的步驟更包括接收一眼球幀並依據該眼球幀和該顯著特徵資訊來進行校正。
依據上述， 一種執行上述的眼球追蹤的校正方法的校正模組，包括接收該場景幀和輸出該顯著特徵資訊的一偵測單元以及運算來自該偵測單元的該顯著特徵資訊的一運算單元。
一實施例中，偵測模組以感興趣區域方式或顯著影像偵測方式取得該顯著特徵資訊。
一實施例中，該運算單元更包括接收一眼球幀並依據該眼球幀和該顯著特徵資訊以輸出一校正資料。
依據上述， 一種包括上述的校正模組的眼動追蹤晶片，包括一眼球追蹤模組依據該顯著特徵資訊來校正該眼球追蹤運算。
圖1為本案之眼球追蹤的校正方法應用的穿戴式裝置的立體示意圖。穿戴式裝置配備有眼攝像裝置22和場景攝像裝置24，為一眼動追蹤裝置20。一般而言，眼動追蹤裝置20配戴於配戴者的眼睛5前方，眼攝像裝置22和配戴者的眼睛之間存在一距離，眼攝像裝置22擷取眼球幀。場景攝像裝置24是擷取配戴者前方的場景影像作為場景幀。要說明的是，本實施例雖以自然場景做說明，也可以是在虛擬實境和擴增實境的系統上，本案不以此為限。
圖2為本案之眼球追蹤的校正方法實施例的流程示意圖。請參考圖2，本案之眼球追蹤的校正方法，首先，提供一場景幀(步驟2)。於本發明中，此場景幀係指使用者的眼睛所看到的畫面，例如一實際存在的自然場景；而在虛擬實境(Visual Reality, VR)系統中，眼睛所看到的畫面是一電腦靜態繪圖或動態視頻之一，通常由電腦控制投影或輸出的影像視頻以供使用者觀看；而在擴增實境(Augmented Reality, AR)系統中，眼睛所看到的畫面則是指自然場景，如圖1中所示，通常由場景攝像裝置24擷取使用者視野(field of view, FOV)範圍內的場景，其可以包含固定或移動中的實際物體或結合虛擬的物體，要說明的是，此處的場景幀並非被刻意設計為校正用途的標記，例如十字標記等。
圖3為本案之眼球追蹤的校正方法實施例之顯著特徵資訊的示意圖。參考圖1、圖2和圖3，接著，分析該場景幀以取得該場景幀的一顯著特徵資訊(步驟4)。於本發明中，分析該場景幀可以透過物件偵測的方法，舉例但不限地，例如以感興趣區域(region of interest, ROI)方式或是顯著影像偵測(salient object detection)方式，取得有關該場景幀的顯著特徵資訊。感興趣區域(ROI)方式或是顯著影像偵測方式所得到的顯著特徵資訊通常是使用者感興趣的物件或位置，一般也是使用者的眼球會追蹤的位置，此資訊在本發明中是用來作為校正誤差的資料。舉例來說，使用者目睹一車輛12行經一火災現場14的附近，則場景攝像裝置24擷取到的場景幀10則可以包含車輛12和火災現場14及其他背景。而透過顯著影像偵測方式取得一顯著影像圖30(saliency map)則包括車輛顯著影像32和火災現場顯著影像 34。
續參考圖1、圖2和圖3，之後，依據該場景幀的顯著特徵資訊來校正一眼球追蹤運算(步驟6)。於本發明中，場景幀的顯著特徵資訊: 顯著影像圖30的車輛顯著影像32和火災現場顯著影像34用來做為眼球追蹤之誤差分析的全部校正資料，其可單獨作為校正資料來對眼球追蹤演算進行校正。舉例來說，當使用者久未使用具有眼球追蹤的穿戴裝置一段時間後或初次戴上應用本發明的校正方法的裝置後，裝置可在沒有校正處理的前提下，直接應用上述本案的方法取得的場景幀10的顯著特徵資訊來校正眼球追蹤運算。可以選擇的，其他利用眼攝像裝置22擷取影像幀以進行過校正的情形下，本案的場景幀10的顯著特徵資訊可和該已經進行過的校正資料合併一起做為誤差分析所需的校正資料，進而校正眼球追蹤運算。是以，當使用者持續配戴具有眼球追蹤的穿戴裝置時，本案可透過場景攝像裝置24隨時動態持續擷取的場景幀10，即，使用者的眼球注視的畫面，搭配眼攝像裝置擷取的眼睛影像來重新或動態地校正。
是以，一般眼球追蹤使用預先設計好的圖像，此預先設計好的圖像是為校正刻意設計的圖像。相較於此種預先設計好的圖像，本發明採用場景攝像裝置(scene camera)所擷取的場景幀為依據，利用偵測方法取得使用者感興趣的區域或物件的顯著影像資訊，並將此些顯著影像資訊做為誤差分析的依據，進而作為校正眼球追蹤的全部或一部分資料，如此的方式無須預先儲存一專門為了校正的圖像。另一方面，由於本發明的校正方法採用場景攝像裝置所擷取的場景幀的顯著影像資料，故可於使用者配戴使用的期間進行動態校正，使得使用者在配戴期間的眼球追蹤演算的準確性可持續地改善和優化，無須等到脫下後重新配戴時再重新校正。
圖4為本案之眼球追蹤的校正方法實施例之應用模組的方塊示意圖。參考圖1、圖3和圖4，應用上述實施例的模組可被編入一晶片中以軟硬體實現，主要包括一偵測單元42和一運算單元44。偵測單元42接收場景幀10，透過物件偵測的方法分析場景幀10後得到並輸出顯著影像圖30(顯著影像資訊)給運算單元44，其中場景幀10可以是來自場景攝像裝置所擷取的，或是由電腦提供的影像資訊結合場景攝像裝置所擷取的，或是僅由電腦所提供的影像資訊。運算單元44依據顯著影像資訊或更結合來自眼攝像裝置22的影像資訊45以進行誤差分析後得到校正資料47。運算單元44的校正資料47可被送至眼球追蹤模組48進行校正眼球追蹤的運算。可以理解的，應用本案的校正方法的模組亦可整合於眼球追蹤模組中，或是和眼球追蹤模組一起整合於一晶片中。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
5:眼睛2、4、6:步驟10:場景幀12:車輛14:火災現場20:眼動追蹤裝置22:眼攝像裝置24:場景攝像裝置30:顯著影像圖32:車輛顯著影像34:火災現場顯著影像42:偵測單元44:運算單元45:影像資訊47:校正資料48:眼球追蹤模組
圖1為本案之眼球追蹤的校正方法應用的穿戴式裝置的立體示意圖。
圖2為本案之眼球追蹤的校正方法實施例的流程示意圖。
圖3為本案之眼球追蹤的校正方法實施例之顯著特徵資訊的示意圖(包括彩色圖式)。
圖4為本案之眼球追蹤的校正方法實施例之應用模組的方塊示意圖。
2、4、6:步驟

Claims (8)

  1. 一種眼球追蹤的校正方法，包括:                    提供一場景幀；                    分析該場景幀以取得該場景幀的一顯著特徵資訊；及                   依據該顯著特徵資訊來校正一眼球追蹤運算。
  2. 如請求項1所述的眼球追蹤的校正方法，其中，該場景幀由一場景攝像裝置擷取以及由一電腦的一影像資訊二者至少之一提供。
  3. 如請求項1所述的眼球追蹤的校正方法，其中，分析該場景幀的步驟包括以感興趣區域(region of interest, ROI)方式或顯著影像偵測方式取得該顯著特徵資訊。
  4. 如請求項1所述的眼球追蹤的校正方法，其中，校正該眼球追蹤運算的步驟更包括接收一眼球幀並依據該眼球幀和該顯著特徵資訊來進行校正。
  5. 一種執行請求項1所述的眼球追蹤的校正方法的校正模組，包括接收該場景幀和輸出該顯著特徵資訊的一偵測單元以及運算來自該偵測單元的該顯著特徵資訊的一運算單元。
  6. 如請求項5所述的校正模組，其中，該偵測模組以感興趣區域方式或顯著影像偵測方式取得該顯著特徵資訊。
  7. 如請求項5所述的校正模組，其中，該運算單元更包括接收一眼球幀並依據該眼球幀和該顯著特徵資訊以輸出一校正資料。
  8. 一種包括請求項5所述的校正模組的眼動追蹤晶片，包括一眼球追蹤模組依據該顯著特徵資訊來校正該眼球追蹤運算。
TW107142362A 2018-11-28 2018-11-28 眼球追蹤的校正方法和其裝置 TWI674518B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107142362A TWI674518B (zh) 2018-11-28 2018-11-28 眼球追蹤的校正方法和其裝置
CN201910130674.6A CN111240464B (zh) 2018-11-28 2019-02-21 眼球追踪的校正方法和其装置
US16/299,012 US10915169B2 (en) 2018-11-28 2019-03-11 Correcting method and device for eye-tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107142362A TWI674518B (zh) 2018-11-28 2018-11-28 眼球追蹤的校正方法和其裝置

Publications (2)

Publication Number Publication Date
TWI674518B TWI674518B (zh) 2019-10-11
TW202020627A true TW202020627A (zh) 2020-06-01

Family

ID=69023795

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107142362A TWI674518B (zh) 2018-11-28 2018-11-28 眼球追蹤的校正方法和其裝置

Country Status (3)

Country Link
US (1) US10915169B2 (zh)
CN (1) CN111240464B (zh)
TW (1) TWI674518B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652155A (zh) * 2020-06-04 2020-09-11 北京航空航天大学 一种人体运动意图的识别方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
JP2004023734A (ja) * 2002-06-20 2004-01-22 Canon Inc 画像撮影装置および方法
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
JP4568024B2 (ja) * 2004-05-17 2010-10-27 日本放送協会 眼球運動測定装置、及び眼球運動測定プログラム
CN101382941A (zh) * 2008-10-23 2009-03-11 浙江大学 基于眼球跟踪的网络视频个性化搜索方法
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
CN101872237B (zh) * 2009-04-23 2012-04-18 由田新技股份有限公司 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
US9141875B2 (en) * 2010-05-26 2015-09-22 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
CN102012742A (zh) * 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
KR102056221B1 (ko) * 2013-07-12 2019-12-16 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치
CN104331150B (zh) * 2014-10-07 2018-03-06 张锋知 基于眼球追踪的银行员工业务辅助的方法和系统
TWI617948B (zh) * 2015-07-24 2018-03-11 由田新技股份有限公司 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體
US20170293799A1 (en) * 2016-04-07 2017-10-12 Tobii Ab Image sensor for vision based human computer interaction
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN107991775B (zh) * 2016-10-26 2020-06-05 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
US10572009B2 (en) * 2017-05-22 2020-02-25 Htc Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN107403353A (zh) * 2017-06-22 2017-11-28 非常云智慧科技（常州）有限公司 一种基于增强现实的比价信息获取方法及装置
CN107656613B (zh) * 2017-09-08 2020-12-18 国网智能科技股份有限公司 一种基于眼动追踪的人机交互系统及其工作方法
CN108279496B (zh) * 2018-02-09 2021-02-19 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
US20190324528A1 (en) * 2018-04-20 2019-10-24 Microsoft Technology Licensing, Llc Adjusting gaze point based on determined offset adjustment
TWI637289B (zh) * 2018-05-18 2018-10-01 緯創資通股份有限公司 基於眼球追蹤的顯示控制系統

Also Published As

Publication number Publication date
US10915169B2 (en) 2021-02-09
CN111240464B (zh) 2023-05-30
US20200167957A1 (en) 2020-05-28
CN111240464A (zh) 2020-06-05
TWI674518B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
JP7136875B2 (ja) 眼の特徴を用いる眼ポーズ識別
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
US9947141B2 (en) Method of image processing for an augmented reality application
CN108958473B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
US9196093B2 (en) Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium
KR102291461B1 (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
JP6454851B2 (ja) ３次元上の注視点の位置特定アルゴリズム
US7808524B2 (en) Vision-based augmented reality system using invisible marker
US10373334B2 (en) Computer program, object tracking method, and object tracking device
US20100053555A1 (en) Method and apparatus for tracking eye movement
CN111488775B (zh) 注视度判断装置及方法
US20150309567A1 (en) Device and method for tracking gaze
WO2020090316A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200098136A1 (en) Information processing device, information processing method, and program
JPWO2020071029A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US20230047470A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
TWI674518B (zh) 眼球追蹤的校正方法和其裝置
JP2015201734A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
Kim et al. AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays
JP5068711B2 (ja) 物体形状認識システム及び物体形状認識方法
TWI699671B (zh) 減低眼球追蹤運算的方法和其眼動追蹤裝置