WO2017211066A1 - 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 - Google Patents

基于虹膜与瞳孔的用于头戴式设备的视线估计方法 Download PDF

Info

Publication number
WO2017211066A1
WO2017211066A1 PCT/CN2016/111600 CN2016111600W WO2017211066A1 WO 2017211066 A1 WO2017211066 A1 WO 2017211066A1 CN 2016111600 W CN2016111600 W CN 2016111600W WO 2017211066 A1 WO2017211066 A1 WO 2017211066A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
iris
dimensional
center
human eye
Prior art date
Application number
PCT/CN2016/111600
Other languages
English (en)
French (fr)
Inventor
秦华标
费舒
Original Assignee
华南理工大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华南理工大学 filed Critical 华南理工大学
Priority to US15/770,354 priority Critical patent/US10353465B2/en
Publication of WO2017211066A1 publication Critical patent/WO2017211066A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Definitions

  • the present invention relates to the field of line-of-sight tracking technology in a human-computer interaction mode, and in particular to a line-of-sight estimation method for a head-mounted device based on an iris and a pupil.
  • Sight Tracking Technology has the advantages of high precision, easy to use, good stability and low interference to users. Therefore, the gaze tracking technology has broad application prospects in many fields such as medical aided diagnosis, assisted devices for the disabled, advertising and market analysis, and daily human-computer interaction.
  • augmented reality is more and more deeply into people's lives. How to combine gaze tracking technology with augmented reality and construct real-time interactive visual augmented reality has become the focus of people's attention.
  • Augmented Reality enhances the real-world information around the user through three-dimensional registration technology, thereby achieving a "seamless" integration of real-world information and virtual world information, giving users a surreal sensory experience.
  • the gaze tracking technology combined with the augmented reality can not only track the user's line of sight direction, but also obtain the user's interest area in the scene, and can also reflect the augmented reality.
  • the combination of virtual and real systems wherein the augmented reality system based on the head-mounted display with the line-of-sight tracking function has a strong image of the human eye captured by the infrared camera to track the line of sight direction, the line of sight shifting the angle of view, playing music, and opening the video.
  • the augmented reality effect has important research significance and has attracted wide attention in recent years.
  • the structure of the head-mounted gaze tracking system is unique.
  • the design of the head-mounted line-of-sight tracking system provides a new way of thinking for the field of line-of-sight tracking technology.
  • How to avoid large-scale rotation of the head from the study of estimating the position of the fixation point The effect is transformed into researching how to more easily and accurately track human eye motion information in a narrow space of the head mounted system to obtain the direction of the human eye.
  • accurately extracting near-infrared light The eye movement characteristics that characterize the line of sight and the establishment of a simple and efficient line-of-sight mapping model have become two key tasks in the research of head-mounted line-of-sight tracking systems.
  • the extraction effect should meet the requirements of high precision and real-time.
  • the camera is closer to the human eye, and the captured human eye image is clear, but uneven illumination may cause differences in the definition of the human eye image; in addition, due to the influence of the mirror in the system, The image of the human eye captured by the camera is deformed, and when the angle of rotation of the eyeball is large, part of the eye movement feature is blocked by the eyelid or the eyelashes so that the contour is incomplete or a false contour is generated.
  • most of the eye movement feature extraction algorithms extract the pupil features and combine the corneal reflection spots or the inner and outer corners of the eye.
  • the purpose is to obtain the gaze point position by using the extracted eye movement feature.
  • the position of the camera and the human eye is relatively fixed, and the movement of the head does not affect the calculation of the gaze point, but the user often desires to wear and is convenient to use when using the system.
  • the two-dimensional mapping model algorithm is simple, and it is not necessary to know the position information of the system equipment and the user in advance, but in order to establish a two-dimensional mapping equation, it is often necessary to use multiple infrared light sources or more screen calibration points;
  • the three-dimensional mapping model algorithm is complex.
  • the invention discloses a method for estimating a line of sight for a head-mounted device based on an iris and a pupil.
  • the method only utilizes a single camera and a single infrared light source and a central calibration point in the four average regions of the screen, through the extracted eye movement 2
  • Dimensional center features model the pupil and iris in three-dimensional space, establish a three-dimensional line-of-sight direction vector and combine the line-of-sight direction angle information to estimate the position of the human eye.
  • the invention fully considers the characteristics of the head-mounted device application, and ensures the accuracy of the gaze point estimation under the head-mounted device, and greatly reduces the complexity of the overall structure of the system and the calibration process.
  • the object of the invention is achieved at least by one of the following technical solutions.
  • a method for estimating a line of sight for a head-mounted device based on an iris and a pupil the method only requires a single camera and a single infrared source and a central calibration point in the four average areas of the screen, and specifically includes the following steps:
  • Eye movement feature extraction In the head-mounted device, the human eye is closer to the screen and the camera. For the human eye image captured by the camera under near-infrared light, the idea of acquiring the eye movement feature contour and then locating the eye movement feature center is adopted. For the segmented pupil and iris feature regions, the two-dimensional center parameters of the pupil and the iris are obtained by edge detection and ellipse fitting algorithm;
  • step (1) includes:
  • a template matching algorithm is used to initially locate the right eye region
  • the OTSU algorithm is combined with the histogram peak search threshold compensation algorithm to realize the automatic segmentation of the pupil region, and the maximum connected region search algorithm is used to eliminate the noise agglomeration on the pupil binary image, and the Sobel edge is utilized.
  • the pupil edge is obtained by detection, and finally the pupil center parameter information is obtained by the RANSAC ellipse fitting algorithm;
  • the pupil feature extraction center is used as the center of the ROI region to determine the iris region of interest, and the digital morphology is combined with the histogram iterative algorithm to obtain the iris binary image, because the upper and lower edges of the iris are more susceptible to eyelids and The occlusion of the eyelashes, so the vertical edge information of the iris is obtained by Sobel vertical edge detection, and the iris center parameter information is obtained by ellipse fitting.
  • step (2) includes:
  • step b Divide the gaze screen into four equal-sized areas and set a calibration point at the center of each area, and substitute the two-dimensional center coordinate of the pupil and the known pupil depth information value, that is, the distance from the three-dimensional center of the pupil to the optical center of the camera.
  • step a obtaining a three-dimensional coordinate parameter of the pupil
  • the iris depth information value is calculated by using the screen calibration point coordinates and the pupil three-dimensional coordinates obtained in step b, and then the iris two-dimensional center coordinates and iris depth are obtained.
  • the information value is substituted into the formula described in step a to obtain the iris three-dimensional coordinate parameter.
  • step (3) includes:
  • the extracted two-dimensional center coordinates of the pupil are compared with the two-dimensional center of the pupil corresponding to the four calibration points to locate the human eye gaze area;
  • the pupil center and the iris center are not collinear in the two-dimensional plane, and the two-dimensional center coordinates of the pupil and the iris are used to obtain the eye angle estimation angle information;
  • step (2) calculate the three-dimensional coordinates of the pupil center and the iris center in the gaze area, obtain the pupil-iris three-dimensional line of sight direction vector, and combine the line of sight to estimate the angle information to obtain the final human eye gaze point position.
  • the step (1) includes:
  • the human eye image is obtained from the camera, and the right eye region is located by using the template matching algorithm.
  • the pupil segmentation threshold is determined by using the OTSU combined with the histogram peak search threshold compensation algorithm.
  • the image connected region search algorithm is used to eliminate the noise agglomerates in the pupil binary image.
  • the pupil edge is obtained by Sobel edge detection, and the pupil center parameter information is obtained by RANSAC ellipse fitting.
  • the pupil center is taken as the pupil center.
  • the center of the ROI region determines the region of interest of the iris.
  • the digital morphology is combined with the histogram iterative algorithm to obtain the iris binary image. After the vertical edge detection of the iris is obtained by Sobel vertical edge detection, the iris center parameter information is obtained by ellipse fitting.
  • step (2) includes:
  • step (1) to extract the pupil and iris two-dimensional center coordinates when the human eye respectively looks at the four calibration points; use Zhang Zhengyou plane calibration
  • the method calibrates the internal parameters of the camera, and obtains the scaling factor parameter of the image pixel coordinate system to the camera coordinate system conversion formula; substitutes the pupil two-dimensional center coordinate and the known pupil depth information value into the formula to obtain the pupil three-dimensional coordinate parameter;
  • the geometric similarity of the line of sight direction on the iris plane and the screen using the acquired three-dimensional pupil center and screen calibration point coordinates to calculate the iris depth information value, and substituting it with the iris two-dimensional center coordinate to obtain the iris three-dimensional center coordinate information .
  • step (3) includes:
  • the two-dimensional center coordinates of the pupil extracted by step (1) are compared with the two-dimensional center of the pupil corresponding to the four calibration points to locate the human eye gaze area; according to the pupil center and the iris center in three dimensions
  • the principle that the center of the pupil and the center of the iris are not collinear in the two-dimensional plane is obtained.
  • the angle information of the human eye is estimated by using the two-dimensional center coordinates of the pupil and the iris; the angle of view is estimated and the three-dimensional line of sight of the pupil-iris
  • the vector is combined to obtain the final human eye gaze location.
  • Accurate and rapid eye movement feature extraction is the basis for ensuring the performance of all aspects of the line of sight tracking system. At present, most of the feature extraction algorithms are extracted from the pupil center combined with the Pulchin spot or the inner and outer corners of the eye as the eye movement feature. Under the head-mounted line-of-sight tracking system, the infrared light source and the mirror will make the human eye image unevenly contrast and make the human eye The image is deformed, resulting in the extracted eye movement features not reflecting the true human eye movement changes.
  • the invention selects the characteristics of pupil and iris stability as the eye movement feature of the line-of-sight tracking of the head-mounted device, and adopts the idea of acquiring the eye movement feature contour and then locating the eye movement feature center, and combining the histogram peak search threshold based on the traditional OTSU algorithm.
  • the compensation algorithm realizes the accurate segmentation of the pupil region.
  • the histogram segmentation threshold is obtained by the histogram iterative algorithm.
  • the pupil and iris center feature parameters are extracted by Sobel edge detection and RANSAC ellipse fitting algorithm respectively, which satisfies the head-mounted line-of-sight tracking system for eye movement. Feature extraction accuracy and real-time requirements.
  • the invention fully considers that the relative position and distance of the human eye and the gaze screen and the camera remain unchanged under the head-mounted gaze tracking system, and only uses a single camera and a single infrared light source and four calibration points of a designated area on the screen.
  • a novel three-dimensional line-of-sight mapping model based on pupil and iris is proposed.
  • the three-dimensional space of the pupil and iris is modeled by the extracted two-dimensional center feature of the eye movement, and the three-dimensional line of sight direction vector is established and combined with the line of sight angle information to estimate the position of the human eye. .
  • This mapping model is universal for different users. While ensuring the accuracy of the gaze point estimation of the head-mounted gaze tracking system, the overall structure of the system and the complexity of the calibration process are greatly reduced.
  • FIG. 1 is an overall frame diagram of a gaze mapping model established in an embodiment of the present invention.
  • FIG. 2 is a distribution diagram of screen observation points (4 calibration points and 16 fixation points) in the embodiment of the present invention.
  • the invention uses a head-mounted device to fix the camera and the infrared light source in the vicinity of the head, wherein the resolution of the camera for acquiring the human eye image is 640*480, the power of the infrared camera is 3W, and the wavelength is 850 mm.
  • the specific implementation steps of the iris-and pupil-based line-of-sight mapping model for the head-mounted device are as follows:
  • Step 1 The eyes look at the four calibration points of the screen to extract the eye movement feature information
  • Step 2 Modeling the pupil and iris eye movement features in three dimensions
  • Step 3 The eye looks at the 16 gaze points of the screen, and estimates the position of the gaze point using the established three-dimensional gaze mapping model.
  • step one The specific implementation steps of step one are:
  • Fig. 2 are the center points in the four equal areas of the screen.
  • the infrared light source is closer to the human eye, and the camera captures only the human eye image instead of the entire human face, but the gaze tracking algorithm of the present invention is based on the monocular data information, and therefore, the present invention is extracting Before the eye movement feature, the template of the right eye is first used to locate the right eye region.
  • the present invention first uses median filtering technology to the human eye.
  • the image is pre-processed to eliminate some of the noise around the eyes, and to obtain a human eye image with more detailed pupil area details.
  • the present invention uses the maximum inter-class variance algorithm (OTSU algorithm) to obtain the initial threshold of the pupil area segmentation, according to The characteristics of the human eye image histogram are compensated by the histogram peak search threshold compensation algorithm to obtain the final pupil segmentation threshold, and the pupil region and the background region are automatically segmented to obtain the pupil region segmentation binary image.
  • OSU algorithm maximum inter-class variance algorithm
  • Infrared illumination will produce a reflected spot on the cornea.
  • the reflected spot will appear on the outside of the pupil, inside the pupil, and at the pupil boundary, especially when the reflected spot appears on the pupil boundary.
  • the effect is that the pupil-divided binary image produces a depression at the reflected spot rather than a complete ellipse.
  • the present invention uses Sobel edge detection algorithm to extract the vertical and horizontal edges of the pupil, respectively, and selects the longest edge in both directions as the result of pupil edge extraction, as a subsequent pupil ellipse fitting. A set of valid edge points.
  • the two-dimensional central feature parameters of the final pupil are obtained through continuous iteration.
  • the pupil region is located in the iris region. Therefore, in order to eliminate the influence of other regions of the face on the iris feature extraction after accurately extracting the pupil center, the present invention first uses the pupil center as the iris region of interest.
  • the center of the iris region is initially positioned with the appropriate length as the side length of the rectangle of the region of interest.
  • the present invention uses a histogram equalization algorithm to nonlinearly stretch the image to increase the iris. The difference between the area and the background grayscale.
  • the iris segmentation threshold is located between the pupil segmentation threshold and the pixel grayscale maximum value, the iris segmentation binary image is acquired by the histogram iteration method using the determined pupil segmentation threshold as the starting point.
  • the present invention uses the Sobel vertical edge detection operator to extract the vertical edge of the iris.
  • the RANSAC ellipse fitting algorithm is used to perform ellipse fitting on the iris to obtain the two-dimensional central characteristic parameters of the iris.
  • step two The specific implementation steps of step two are:
  • the conversion formula of the human eye image pixel coordinate system to the camera coordinate system is:
  • the coordinates (u, v) represent the number of columns and the number of rows of the pixel points of the human eye image in the image array, and (dx, dy) respectively represent the physical dimensions of each pixel on the horizontal axis and the vertical axis, (u 0 , v 0 ) represents the image main point, f is the camera focal length, and (X c , Y c , Z c ) represents the three-dimensional position coordinates of the eye movement feature in the camera coordinate system, and Z c is the depth information, indicating that the human eye is three-dimensionally centered along the camera The distance from the optical axis to the optical center of the camera.
  • the present invention uses the Zhang Zhengyou plane calibration method to calculate the internal parameters of the camera by using the 20 black and white plane checkerboard images taken by the camera at different angles and distances, and obtains all known features in the process of establishing the line of sight mapping model. Parameter information.
  • the three-dimensional modeling of eye movement characteristics is the key to the establishment of 3D line-of-sight mapping model.
  • the three-dimensional center coordinates of the pupil and iris are obtained by the two-dimensional center coordinates of the eye movement feature, and the three-dimensional line of sight direction vector is constructed to estimate the position of the fixation point. It can be seen from the formula in step 1 that at this time, to obtain the three-dimensional coordinates of the pupil and iris eye movement features, it is also necessary to know the depth information Z c1 and Z c2 of the pupil and iris three-dimensional position relative to the camera coordinate system.
  • the change in the position of the pupil and the iris center can be approximated as two
  • the depth information Z c1 and Z c2 of the two remain unchanged. Therefore, after the camera is calibrated by the camera to obtain the parameters in the camera, in order to reduce the error of the gaze point estimation, the gaze screen is divided into four small areas of equal size, and then the three-dimensional space is modeled for the eye movement feature, respectively, and the human eye gaze is obtained.
  • the pupil and iris three-dimensional coordinates of the central point in a small area.
  • the camera captures the human eye image of the four calibration points respectively, and uses the eye movement feature extraction algorithm under near-infrared light to obtain the coordinates of the two-dimensional central pixel position of the four pupils;
  • the direction of the line of sight of the human eye can be approximated as the direction of the line connecting the center of the three-dimensional pupil with the center of the iris. Therefore, after obtaining the three-dimensional center coordinates of the pupil, it is necessary to calculate the three-dimensional center coordinates of the iris in order to obtain the direction of the line of sight. Since the iris plane is located in front of the pupil plane, the iris depth information is not equal to the pupil depth information. According to the geometric similarity principle of the pupil center in the iris plane and the screen plane projection, the following formula can be obtained:
  • d is the distance from the pupil plane to the screen
  • (x, y) is the coordinates of the fixation point on the screen
  • (u 2 , v 2 ) is the pixel position of the iris two-dimensional center in the human eye image
  • (X c1 , Y c1 , Z c1 ) represents the three-dimensional coordinates of the pupil that have been acquired in 2.1
  • (X c2 , Y c2 , Z c2 ) is the desired three-dimensional center coordinate of the iris.
  • the iris depth information value can be first calculated by the known screen fixation point coordinates, the corresponding pupil three-dimensional center coordinates, and the pupil depth information value, and the values can be obtained by substituting the values into the above two formulas.
  • the three-dimensional coordinates of the iris can be first calculated by the known screen fixation point coordinates, the corresponding pupil three-dimensional center coordinates, and the pupil depth information value, and the values can be obtained by substituting the values into the above two formulas.
  • step three the specific implementation steps of step three are:
  • the human eye separately looks at the 16 gaze points on the screen, and compares the extracted two-dimensional center coordinates of the pupil with the two-dimensional center coordinates of the pupil corresponding to the four calibration points to locate the human eye gaze area. In order to narrow the range of the gaze area, the accuracy of the gaze point position estimation is improved.
  • the gaze point area is positioned, according to the formula in step 2.1, since the pupil depth information and the iris depth information remain unchanged when the human eye rotates, when the human eye rotates to cause the pupil and the iris three-dimensional center position to move, the corresponding pupil and The two-dimensional center of the iris also changes in the image plane. Therefore, the three-dimensional center coordinates of the pupil and iris at this time can be obtained by the following formula:
  • (u, v) is the two-dimensional center coordinate of the pupil (iris) corresponding to the calibration point in the gaze area
  • (u', v') is the two-dimensional center coordinate of the pupil (iris) corresponding to the gaze point
  • (X c , Y c ) is the three-dimensional central coordinate component of the pupil (iris) corresponding to the calibration point in the gaze area
  • (X' c , Y' c ) is the three-dimensional center coordinate of the pupil (iris) corresponding to the required gaze point.
  • a rotating circle in 3D space maps to a 2D space and represents an elliptical contour. Therefore, when the human eye looks at an object in the space and causes the eyeball to rotate, there is a mutual representation relationship between the three-dimensional line of sight direction, the three-dimensional center of the pupil, and the two-dimensional center of the pupil. Therefore, the two-dimensional center coordinates of the pupil can be passed.
  • v) obtain the angle value of the line of sight deviating from the xy plane, the formula is as follows;
  • the angle of rotation of the eyeball changes within a certain range.
  • the pupil two-dimensional mapping ellipse The size and shape are the same.
  • the second eye movement feature (Iris 2D center coordinates) is needed to construct the pupil-iris compensation vector to eliminate the interference angle opposite to the true line of sight.
  • the calculation formula is as follows:
  • the direction of the line of sight passes through the line connecting the three-dimensional center of the pupil and the three-dimensional center of the iris, and then intersects with the screen to obtain the position of the fixation point.
  • the projection vector of the line-of-sight direction vector on the xy plane is first calculated. Combined with the angle information of the line of sight direction, the position of the final screen fixation point can be obtained.
  • the calculation formula is as follows:
  • (X c1 , Y c1 , Z c1 ) is the three-dimensional central coordinate of the pupil
  • (X c2 , Y c2 , Z c2 ) is the three-dimensional central coordinate of the iris
  • d is the distance from the pupil plane to the plane of the screen
  • ⁇ is the angle direction information of the line of sight.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

基于虹膜与瞳孔的用于头戴式设备的视线估计方法，只利用单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，通过提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模，建立三维视线方向向量并结合视线方向角度信息，从而估计人眼注视点的位置。这充分考虑了头戴式设备应用的特点，在保证头戴式设备下注视点估计精度的同时，极大地减小了系统整体结构和标定过程的复杂度，为头戴式设备下的视线跟踪提供了一种精度高、复杂度低的解决方法。

Description

基于虹膜与瞳孔的用于头戴式设备的视线估计方法 技术领域
本发明涉及人机交互方式中的视线跟踪技术领域，具体涉及基于虹膜与瞳孔的用于头戴式设备的视线估计方法。
背景技术
视线跟踪技术作为最新颖的人机交互方式，具有精度高、简单易用、稳定性好以及对用户干扰性小等优点。因此，视线跟踪技术在医学辅助诊断、残疾人辅助设备、广告与市场分析以及日常人机交互等多个领域具有广阔的应用前景。此外，增强现实越来越深入到人们的生活，如何将视线跟踪技术与增强现实相结合，构建实时交互的视觉化增强现实成为人们越来越关注的焦点。
增强现实AR(Augmented Reality)是对用户周围真实世界中的现实信息通过三维注册技术进行增强，从而达到真实世界信息与虚拟世界信息的“无缝”集成，带给用户超现实的感官体验。为了给增强现实系统提供一种简单、高效且双向的交互方式，将视线跟踪技术与增强现实相结合，不仅能够跟踪用户的视线方向，获取用户在场景中的感兴趣区域，还可以体现增强现实系统虚实结合的特点，其中，具有视线跟踪功能的基于头戴式显示器的增强现实系统通过红外摄像头捕获的人眼图像以跟踪视线方向，视线转移视角、播放音乐以及打开视频等操作，拥有很强的增强现实的效果，具有重要的研究意义，近年来引起了广泛的关注。
头戴式视线跟踪系统的结构具有特殊性，当人眼注视空间某一物体且头部自由转动时，人眼与注视屏幕以及摄像头之间的相对位置和距离始终保持不变，无需考虑头部转动对注视点估计的影响，因此，头戴式视线跟踪系统的设计为视线跟踪技术领域的研究提供了一种新的思路，从研究估计注视点位置的过程中如何避免头部大范围转动的影响转换为研究如何在头戴式系统狭小的空间内更加简单精确地跟踪人眼运动信息以获取人眼视线方向。综上所述，精确地提取近红外光 下表征视线方向的眼动特征以及建立简单高效的视线映射模型成为头戴式视线跟踪系统研究中两大关键的任务。
对于眼动特征的提取，其提取效果应该满足精度高和实时性强的要求。在头戴式视线跟踪系统中，摄像头距离人眼较近，所捕获的人眼图像清晰，但光照不均会造成人眼图像在清晰度上的差异；此外，由于系统中反射镜的影响，摄像头所捕获的人眼图像会产生形变，且当眼球转动角度较大时，部分眼动特征会受到眼睑或睫毛的遮挡以致轮廓不完整或产生虚假轮廓。目前的眼动特征提取算法大多提取瞳孔特征并结合角膜反射光斑或眼睛内外角点，为提取准确表征视线方向的眼动特征，这些算法往往计算复杂，无法保证眼动特征提取的实时性。因此，如何在近红外光下快速、准确地提取眼动特征是头戴式视线跟踪系统的技术难点之一。
对于视线映射模型的建立，其目的是利用提取的眼动特征获取注视点位置。在头戴式视线跟踪系统中，摄像头与人眼位置相对固定，头部运动并不会对注视点的计算造成影响，但用户在使用系统时往往希望佩戴简单且使用方便。在目前的视线映射模型中，二维映射模型算法简单，无需预先知道系统设备和用户的位置信息，但为建立二维映射方程，往往需要利用多个红外光源或较多的屏幕标定点；而三维映射模型算法复杂，为了获得眼睛三维中心与屏幕注视点的映射关系，需要复杂的立体摄像机或多个摄像机采集人眼图像，整个视线跟踪系统硬件复杂。因此，如何在保证注视点估计高精度的同时，只利用单摄像头和单红外光源建立标定过程简单的视线映射模型时头戴式视线跟踪系统中存在的主要技术难点。
发明内容
本发明公开了基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只利用单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，通过提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模，建立三维视线方向向量并结合视线方向角度信息，从而估计人眼注视点的位置。本发明充分考虑了头戴式设备应用的特点，在保证头戴式设备下注视点估计精度的同时，极大地减小了系统整体结构和标定过程的复杂度。
本发明的目的至少通过以下技术方案之一实现。
基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只需要单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，具体包括如下步骤:
(1)眼动特征提取：头戴式设备中人眼距离屏幕以及摄像头较近，对摄像头捕获的近红外光下的人眼图像，采用先获取眼动特征轮廓再定位眼动特征中心的思路，对于分割的瞳孔和虹膜特征区域，利用边缘检测、椭圆拟合算法获取瞳孔和虹膜的二维中心参数；
(2)眼动特征三维空间建模：人眼与屏幕以及摄像机的相对位置和距离始终保持不变，同时瞳孔和虹膜并不位于同一平面且虹膜位于瞳孔前方；根据图像像素坐标系到摄像机坐标系的转换公式，将人眼观察屏幕四个区域内中心标定点时摄像机捕获的人眼二维图像信息与标定点位置信息相结合，对眼动特征向量进行三维空间建模得到三维视线映射模型，即获得人眼注视四个区域中心标定点时的瞳孔和虹膜三维中心坐标参数；
(3)注视点位置估计：当人眼注视屏幕上任意一点时，将二维人眼图像中提取的瞳孔以及虹膜中心参数与四个标定点的二维中心相比较以定位人眼注视区域，利用已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点的位置。
进一步地，所述步骤(1)包括：
a.对于输入的人眼图像，采用模板匹配算法对右眼区域进行初定位；
b.对于瞳孔中心特征提取部分，首先采用OTSU算法结合直方图峰值搜索阈值补偿算法实现对瞳孔区域的自动分割，并采用最大连通区域搜索算法消除瞳孔二值图像上的噪声团块，利用Sobel边缘检测获得瞳孔边缘，最后通过RANSAC椭圆拟合算法获取瞳孔中心参数信息；
c.对于虹膜中心特征提取部分，以瞳孔特征提取中心作为ROI区域的中心确定虹膜感兴趣区域，利用数字形态学结合直方图迭代算法获取虹膜二值图像，由于虹膜的上下边缘较易受到眼睑和睫毛的遮挡，因此利用Sobel垂直边缘检测获取虹膜垂直边缘信息后，通过椭圆拟合获得虹膜中心参数信息。
进一步地，所述步骤(2)包括：
a.摄像机内参数标定，采用张正友平面标定法，利用固定位置的摄像头拍摄的不同角度和距离下的棋盘图像对摄像机的内参数进行标定，以获取物体二维图像坐标系到摄像机坐标系转换公式中的缩放因子参数信息；
b.将注视屏幕分成大小相等的四个区域并在每个区域的中心设置一个标定点，将瞳孔二维中心坐标和已知的瞳孔深度信息值即瞳孔三维中心到摄像机光心的距离代入到步骤a所述的公式中，获得瞳孔三维坐标参数；
c.根据人眼视线方向下虹膜平面以及视线在屏幕投影后的几何相似性，利用屏幕标定点坐标和步骤b获取的瞳孔三维坐标计算虹膜深度信息值，再将虹膜二维中心坐标和虹膜深度信息值代入到步骤a所述的公式中，获得虹膜三维坐标参数。
进一步地，所述步骤(3)包括：
a.当人眼注视屏幕上任意一点时，将提取的瞳孔二维中心坐标与四个标定点对应的瞳孔二维中心相比较以定位人眼注视区域；
b.根据瞳孔中心和虹膜中心在三维空间中不共点，引起瞳孔中心和虹膜中心在二维平面不共线的特点，利用瞳孔和虹膜二维中心坐标获取人眼视线估计角度信息；
c.利用步骤(2)已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点位置。
进一步优化实施地，所述步骤(1)中包括：
从摄像机中获取人眼图像，利用模版匹配算法对右眼区域进行定位；对于定位好的右眼区域，为了获得精确的瞳孔中心参数信息，采用OTSU结合直方图峰值搜索阈值补偿算法确定瞳孔分割阈值，采用图像连通区域搜索算法消除瞳孔二值图像中的噪声团块，利用Sobel边缘检测获得瞳孔边缘，再通过RANSAC椭圆拟合获取瞳孔中心参数信息；当准确提取瞳孔特征参数后，以瞳孔中心作为ROI区域的中心确定虹膜感兴趣区域，利用数字形态学结合直方图迭代算法获取虹膜二值图像，采用Sobel垂直边缘检测获取虹膜垂直边缘信息后，通过椭圆拟合获得虹膜中心参数信息。
进一步优化实施地，所述步骤(2)中包括：
将注视屏幕分成大小相等的四个区域并在每个区域的中心设置一个标定点，利用步骤(1)提取人眼分别注视四个标定点时的瞳孔和虹膜二维中心坐标；利用张正友平面标定法对摄像机的内参数进行标定，获取图像像素坐标系到摄像机坐标系转换公式中的缩放因子参数；将瞳孔二维中心坐标和已知的瞳孔深度信息值代入公式中获取瞳孔三维坐标参数；根据视线方向在虹膜平面和屏幕上投影的几何相似性，利用已经获取的瞳孔三维中心和屏幕标定点坐标计算虹膜深度信息值，并将其和虹膜二维中心坐标代入公式中获取虹膜三维中心坐标信息。
进一步优化实施地，所述步骤(3)中包括：
当人眼注视屏幕任意一点时，将利用步骤(1)提取的瞳孔二维中心坐标与四个标定点对应的瞳孔二维中心相比较以定位人眼注视区域；根据瞳孔中心和虹膜中心在三维空间中不共点，引起瞳孔中心和虹膜中心在二维平面不共线的原理，利用瞳孔和虹膜二维中心坐标获取人眼视线估计角度信息；将视线估计角度信息与瞳孔－虹膜三维视线方向向量结合以获得最终人眼注视点位置。
与现有技术相比，本发明的优点与积极效果在于：
1、精确、快速的眼动特征提取。精确的眼动特征提取是视线跟踪系统各方面性能得以保证的基础。目前的特征提取算法大多是提取瞳孔中心结合普尔钦斑点或眼睛内外角点作为眼动特征，在头戴式视线跟踪系统下，红外光源以及反射镜会使人眼图像对比度不均匀并使人眼图像发生形变，导致提取的眼动特征不能反映真实的人眼运动变化。本发明选取瞳孔和虹膜稳定的特征作为头戴式设备视线跟踪的眼动特征，采用先获取眼动特征轮廓再定位眼动特征中心的思路，在传统OTSU算法的基础上结合直方图峰值搜索阈值补偿算法实现对瞳孔区域的精确分割，利用直方图迭代算法获取虹膜区域分割阈值，采用Sobel边缘检测以及RANSAC椭圆拟合算法分别提取瞳孔和虹膜中心特征参数，满足头戴式视线跟踪系统对于眼动特征提取精度和实时性的要求。
2、精确、高效的视线映射模型建立。视线跟踪系统的最终目的是利用建立的视线映射模型估计人眼注视点位置。在目前的视线映射模型中，二维视线映射模型方法简单，在头部静止不动时拥有较高的注视点估计精度，但此映射模型的建立需要多个红外光源或较多的标定点的辅助；三维视线映射模型方法复杂，为直接利用眼睛三维信息获取精确的注视点估计位置，往往需要多个 摄像头和多个红外光源的相互配合使用，以上两种视线映射模型均在一定程度上增加了系统的复杂度，在头戴式视线跟踪系统的应用上存在限制。本发明充分考虑头戴式视线跟踪系统下人眼与注视屏幕以及摄像头的相对位置和距离始终保持不变这一特点，只利用单摄像头和单红外光源以及屏幕上指定区域的四个标定点，提出新颖的基于瞳孔和虹膜的三维视线映射模型，利用提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模，建立三维视线方向向量并结合视线角度信息，从而估计人眼注视点位置。此映射模型对于不同的用户具有普适性，在保证头戴式视线跟踪系统注视点估计精度的同时，极大地减小了系统整体结构和标定过程的复杂度。
附图说明
图1是本发明实施方式中视线映射模型建立的整体框架图。
图2是本发明实施方式中屏幕观测点(4个标定点和16个注视点)的分布图。
具体实施方式
下面结合附图和实例对本发明的具体实施方式作进一步说明，但本发明的实施和保护不限于此。
本发明利用头戴式设备将摄像头以及红外光源固定在头部附近，其中，获取人眼图像的摄像头分辨率为640*480，红外摄像头的功率为3W，波长为850mm。
如图1，基于虹膜与瞳孔的用于头戴式设备的视线映射模型建立的具体实施步骤如下：
步骤一：眼睛注视屏幕四个标定点，提取眼动特征信息；
步骤二：对瞳孔和虹膜眼动特征进行三维空间建模；
步骤三：眼睛注视屏幕16个注视点，利用已经建立的三维视线映射模型估计注视点位置。
其中，步骤一的具体实施步骤为：
1、观测者佩戴头戴式设备后，眼睛依次注视前方屏幕上的四个标定点，其标定点分布图如图2所示，分别为屏幕四个相等区域内的中心点。
2、在眼睛注视标定点时提取眼动特征信息：对于每个标定点，分别提取瞳孔中心和虹膜中心作为眼动特征信息，其具体实施步骤为：
2.1单眼区域定位
头戴式视线跟踪系统中，红外光源距离人眼较近，摄像头捕获的只是人眼图像，而非整张人脸，但本发明的视线跟踪算法的基于单眼数据信息，因此，本发明在提取眼动特征前首先利用模版匹配算法对右眼区域进行定位。
2.2瞳孔中心特征提取
a.近红外光下的人眼图像中暗瞳效应明显，瞳孔区域呈现出明显的黑色团块的特点，为了消除图像噪声对瞳孔特征提取的影响，本发明首先利用中值滤波技术对人眼图像进行预处理，消除眼睛周围部分噪声，获取瞳孔区域细节更加明显的人眼图像。
b.头戴式视线跟踪系统下的人眼图像中，瞳孔区域特征明显但与其它区域对比度不均匀，因此，本发明利用最大类间方差算法(OTSU算法)获取瞳孔区域分割初步阈值后，根据人眼图像直方图的特点，通过直方图峰值搜索阈值补偿算法对初步分割阈值做一个补偿以获取最终的瞳孔分割阈值，将瞳孔区域与背景区域自动分割，获取瞳孔区域分割二值图像。
c.红外光照会在角膜上产生反射光斑，当眼球转动时，反射光斑会出现在瞳孔外部、瞳孔内部以及瞳孔边界三个位置上，尤其是当反射光斑出现在瞳孔边界上时会对瞳孔分割造成影响，导致瞳孔分割二值图像在反射光斑处产生凹陷，而非一个完整的椭圆。为了获取有效瞳孔边缘信息，本发明采用Sobel边缘检测算法分别提取瞳孔的竖直和水平边缘，并在两个方向上分别选取最长的边缘作为瞳孔边缘提取的结果，作为后续瞳孔椭圆拟合的有效边缘点集。
d.采用RANSAC椭圆拟合算法，通过不断的迭代获取最终瞳孔二维中心特征参数。
2.3虹膜中心特征提取
a.在近红外人眼图像中，瞳孔区域位于虹膜区域内，因此，当准确地提取瞳孔中心之后，为了消除面部其他区域对虹膜特征提取的影响，本发明首先以瞳孔中心作为虹膜感兴趣区域的中心，以适当的长度作为感兴趣区域矩形的边长对虹膜区域进行初定位。
b.为使虹膜区域中的像素值占据较大的灰度范围且分布均匀，使虹膜区域具有较高的对比度，本发明采用直方图均衡化算法对图像进行非线性拉伸，以增大虹膜区域与背景灰度之间的差别。
c.由于虹膜分割阈值位于瞳孔分割阈值与像素灰度最大值之间，因此，以已经确定的瞳孔分割阈值为起点，采用直方图迭代的方法获取虹膜分割二值图像。
d.与瞳孔区域在人眼图像中所占比例相比，虹膜区域所占比例较大且其上下眼睑易受眼睑和睫毛的遮挡，因此，本发明利用Sobel垂直边缘检测算子提取虹膜垂直边缘，并利用RANSAC椭圆拟合算法对虹膜进行椭圆拟合，获取虹膜二维中心特征参数。
其中，步骤二的具体实施步骤为：
1、摄像机内参数标定
摄像机捕获人眼图像后，其人眼图像像素坐标系到摄像机坐标系的转换公式为：
Figure PCTCN2016111600-appb-000001
其中，坐标(u,v)表示人眼图像像素点在图像数组中所在的列数和行数，(dx,dy)分别表示每个像素在横轴和纵轴的物理尺寸，(u0,v0)表示图像主点，f为摄像机焦距，而(Xc,Yc,Zc)表示在摄像机坐标系下眼动特征三维位置坐标，Zc为深度信息，表示人眼三维中心沿摄像机光轴到摄像机光心的距离。头戴式设备下，摄像头始终位于屏幕的正前方，人脸始终正对摄像机，无法通过瞳孔在平面内的不断移动来对摄像机的内参数进行标定。根据这一特点，本发明采用张正友平面标定法，利用摄像头拍摄的不同角度和距离下的20幅黑白相间的平面棋盘图像来计算摄像机的内参数，获取视线映射模型建立过程中的所有已知的参数信息。
2、眼动特征三维空间建模
眼动特征三维空间建模是三维视线映射模型建立的关键，通过眼动特征二维中心坐标来获取瞳孔和虹膜的三维中心坐标，构建三维视线方向向量以估计注视点位置。由步骤1中的公式可知，此时要获取瞳孔和虹膜眼动特征的三维坐标还需要知道瞳孔和虹膜三维位置相对于摄像机坐标系的深度信息Zc1和Zc2。由于头戴式视线跟踪系统中，头部相对于屏幕和摄像头的距离和位置始终保持不变，因此，当人眼注视屏幕上任意一点时，瞳孔和虹膜中心位置的变化可近似表示为在两个小矩形平面内的移动，两者的深度信息Zc1和Zc2始终保持不变。因此，本发明经过摄像机标定 获取摄像机内参数后，为减小注视点估计的误差，将注视屏幕分成大小相等的四个小区域后对眼动特征进行三维空间建模，分别获取人眼注视每个小区域内中心点的瞳孔和虹膜三维坐标。
2.1瞳孔三维坐标获取
将步骤1中的公式进行变形可以得到如下公式：
(u1-u0)×Zc1＝fx×Xc1
(v1-v0)×Zc1＝fy×Yc1
其中，(fx,fy)以及(u0,v0)为摄像机内参数，(u1,v1)为瞳孔二维中心在人眼图像中的像素点位置，而(Xc1,Yc1,Zc1)表示所要求取的瞳孔三维坐标。根据头戴式设备的特点，当人眼注视屏幕不同位置导致瞳孔中心变化时，假设瞳孔深度信息的值等于人脸平面到摄像头光心的距离，其数值已知且始终保持不变。其瞳孔眼动特征三维空间坐标获取过程如下：
1)将注视屏幕分成大小相等的的四个区域并在每一个区域内的中心位置设立一个标定点；
2)摄像机捕获人眼分别注视四个标定点的人眼图像，利用近红外光下眼动特征提取算法获取四个瞳孔二维中心像素点位置坐标；
3)将瞳孔二维中心坐标和瞳孔深度信息以及摄像机内参数分别代入上述两个公式中，即可获得瞳孔三维坐标。
2.2虹膜三维坐标获取
人眼视线方向可近似表示为经过三维瞳孔中心与虹膜中心的连线方向，因此，当获得瞳孔三维中心坐标后，为了获得视线方向还需要计算虹膜三维中心坐标。由于虹膜平面位于瞳孔平面的前方，虹膜深度信息并不等于瞳孔深度信息。根据瞳孔中心在虹膜平面以及屏幕平面投影的几何相似性原理可以得到如下公式：
Figure PCTCN2016111600-appb-000002
Figure PCTCN2016111600-appb-000003
Figure PCTCN2016111600-appb-000004
其中，d表示瞳孔平面距屏幕的距离，(x,y)为屏幕上注视点的坐标，(u2,v2)为虹膜二维中心在人眼图像中的像素点位置，(Xc1,Yc1,Zc1)表示2.1中已经获取的瞳孔三维坐标，而(Xc2,Yc2,Zc2)为所要求取的虹膜三维中心坐标。因此，通过上述公式，即可通过已知的屏幕注视点坐标、对应的瞳孔三维中心坐标以及瞳孔深度信息值首先计算出虹膜深度信息值，将其值代入上述下面的两个公式中即可获得虹膜三维坐标。
其中，步骤三的具体实施步骤为：
1、人眼注视区域定位：
人眼分别注视屏幕上的16个注视点，将提取的瞳孔二维中心坐标与四个标定点对应的瞳孔二维中心坐标相比较以定位人眼注视区域。以缩小注视区域范围，提高注视点位置估计的精度。完成注视点区域定位后，根据步骤二2.1中的公式，由于人眼转动时瞳孔深度信息与虹膜深度信息保持不变，当人眼转动导致瞳孔和虹膜三维中心位置移动时，其相应的瞳孔和虹膜二维中心也在图像平面中发生变化，因此，此时的瞳孔和虹膜三维中心坐标可通过如下公式获得：
Figure PCTCN2016111600-appb-000005
Figure PCTCN2016111600-appb-000006
其中，(u,v)为定位注视区域内标定点对应的瞳孔(虹膜)二维中心坐标，(u',v')为注视点对应的瞳孔(虹膜)二维中心坐标；(Xc,Yc)为定位注视区域内标定点对应的瞳孔(虹膜)三维中心坐标分量，而(X'c,Y'c)为所要求取的注视点对应的瞳孔(虹膜)三维中心坐标。
2、视线估计角度信息获取：
根据三维空间到二维空间的映射原理，三维空间内一个旋转的圆形映射到二维空间表现为一个椭圆轮廓。因此，当人眼注视空间某一物体以致眼球转动时，其三维视线方向、瞳孔三维中心以及瞳孔二维中心三者之间存在着相互表示的关系，因此，可以通过瞳孔二维中心坐标(u,v)获取视线偏离x-y平面的角度值，公式如下所示；
Figure PCTCN2016111600-appb-000007
由于人眼在观察位于前方空间区域内的物体时，其眼球转动的角度变化在一定的范围内，当偏离z轴的角度相同而偏离x-y平面的角度相差180度时，其瞳孔二维映射椭圆的大小和形状相同，此时，需要利用第二个眼动特征(虹膜二维中心坐标)来构建瞳孔－虹膜补偿向量以剔除其中与真实视线方向相反的干扰角度，其计算公式如下所示：
Figure PCTCN2016111600-appb-000008
Figure PCTCN2016111600-appb-000009
其中，(u,v)表示瞳孔二维中心坐标，
Figure PCTCN2016111600-appb-000010
表示虹膜二维中心坐标。将补偿角度与获取的两个角度信息做比较，选取与视线补偿角度最为接近的角度作为最终获取的视线估计角度信息值。
3、注视点位置计算：
当人眼注视屏幕上任意一点时，其视线方向经瞳孔三维中心和和虹膜三维中心的连线后与屏幕交叉获得注视点位置，此时首先计算出视线方向向量在x-y平面上的投影向量，再结合视线方向的角度信息即可获得最终屏幕注视点的位置，其计算公式如下所示：
Figure PCTCN2016111600-appb-000011
(Yc1-y)＝(Xc1-x)·tan(φ)
其中，(Xc1,Yc1,Zc1)为瞳孔三维中心坐标，(Xc2,Yc2,Zc2)为虹膜三维中心坐标，d为瞳孔平面到屏幕平面的距离，φ为视线方向角度信息。因此，通过步骤三中第一步获得的瞳孔三维中心和虹膜三维中心，结合视线方向角度信息以及瞳孔到屏幕的距离，即可准确地求取屏幕注视带你位置坐标，在保证注视点估计精度的同时，极大地减小了系统结构和标定过程的复杂度。

Claims (4)

  1. 基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只需要单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，其特征在于包括如下步骤:
    (1)眼动特征提取：头戴式设备中人眼距离屏幕以及摄像头较近，对摄像头捕获的近红外光下的人眼图像，采用先获取眼动特征轮廓再定位眼动特征中心的思路，对于分割的瞳孔和虹膜特征区域，利用边缘检测、椭圆拟合算法获取瞳孔和虹膜的二维中心参数；
    (2)眼动特征三维空间建模：人眼与屏幕以及摄像机的相对位置和距离始终保持不变，同时瞳孔和虹膜并不位于同一平面且虹膜位于瞳孔前方；根据图像像素坐标系到摄像机坐标系的转换公式，将人眼观察屏幕四个区域内中心标定点时摄像机捕获的人眼二维图像信息与标定点位置信息相结合，对眼动特征向量进行三维空间建模得到三维视线映射模型，即获得人眼注视四个区域中心标定点时的瞳孔和虹膜三维中心坐标参数；
    (3)注视点位置估计：当人眼注视屏幕上任意一点时，将二维人眼图像中提取的瞳孔以及虹膜中心参数与四个标定点的二维中心相比较以定位人眼注视区域，利用已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点的位置。
  2. 根据权利要求1所述的基于虹膜与瞳孔的用于头戴式设备的视线估计方法，其特征在于所述步骤(1)包括：
    a.对于输入的人眼图像，采用模板匹配算法对右眼区域进行初定位；
    b.对于瞳孔中心特征提取部分，首先采用OTSU算法结合直方图峰值搜索阈值补偿算法实现对瞳孔区域的自动分割，并采用最大连通区域搜索算法消除瞳孔二值图像上的噪声团块，利用Sobel边缘检测获得瞳孔边缘，最后通过RANSAC椭圆拟合算法获取瞳孔中心参数信息；
    c.对于虹膜中心特征提取部分，以瞳孔特征提取中心作为ROI区域的中心确定虹膜感兴趣区域，利用数字形态学结合直方图迭代算法获取虹膜二值图像，由于虹膜的上下边缘较易受到眼睑和睫毛的遮挡，因此利用Sobel垂直边缘检测获取虹膜垂直边缘信息后，通过椭圆拟合获得虹膜中 心参数信息。
  3. 根据权利要求1所述的基于虹膜与瞳孔的用于头戴式设备的视线估计方法，其特征在于所述步骤(2)包括：
    a.摄像机内参数标定，采用张正友平面标定法，利用固定位置的摄像头拍摄的不同角度和距离下的棋盘图像对摄像机的内参数进行标定，以获取物体二维图像坐标系到摄像机坐标系转换公式中的缩放因子参数信息；
    b.将注视屏幕分成大小相等的四个区域并在每个区域的中心设置一个标定点，将瞳孔二维中心坐标和已知的瞳孔深度信息值即瞳孔三维中心到摄像机光心的距离代入到步骤a所述的公式中，获得瞳孔三维坐标参数；
    c.根据人眼视线方向下虹膜平面以及视线在屏幕投影后的几何相似性，利用屏幕标定点坐标和步骤b获取的瞳孔三维坐标计算虹膜深度信息值，再将虹膜二维中心坐标和虹膜深度信息值代入到步骤a所述的公式中，获得虹膜三维坐标参数。
  4. 根据权利要求1所述的基于虹膜与瞳孔的用于头戴式设备的视线估计方法，其特征在于所述步骤(3)包括：
    a.当人眼注视屏幕上任意一点时，将提取的瞳孔二维中心坐标与四个标定点对应的瞳孔二维中心相比较以定位人眼注视区域；
    b.根据瞳孔中心和虹膜中心在三维空间中不共点，引起瞳孔中心和虹膜中心在二维平面不共线的特点，利用瞳孔和虹膜二维中心坐标获取人眼视线估计角度信息；
    c.利用步骤(2)已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点位置。
PCT/CN2016/111600 2016-06-08 2016-12-23 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 WO2017211066A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/770,354 US10353465B2 (en) 2016-06-08 2016-12-23 Iris and pupil-based gaze estimation method for head-mounted device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610409586.6 2016-06-08
CN201610409586.6A CN106056092B (zh) 2016-06-08 2016-06-08 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Publications (1)

Publication Number Publication Date
WO2017211066A1 true WO2017211066A1 (zh) 2017-12-14

Family

ID=57170745

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/111600 WO2017211066A1 (zh) 2016-06-08 2016-12-23 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Country Status (3)

Country Link
US (1) US10353465B2 (zh)
CN (1) CN106056092B (zh)
WO (1) WO2017211066A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956590A (zh) * 2019-11-04 2020-04-03 中山市奥珀金属制品有限公司 一种虹膜图像的去噪装置、方法及存储介质
CN111443804A (zh) * 2019-12-27 2020-07-24 安徽大学 基于视频分析的注视点轨迹描述方法及其系统
CN112069986A (zh) * 2020-09-04 2020-12-11 江苏慧明智能科技有限公司 高龄老人眼动机器视觉跟踪方法及装置
CN112528713A (zh) * 2019-09-19 2021-03-19 北京七鑫易维信息技术有限公司 一种注视点估计方法、系统、处理器及设备
CN113591658A (zh) * 2021-07-23 2021-11-02 深圳全息信息科技发展有限公司 一种基于距离感应的护眼系统
CN113903079A (zh) * 2020-07-06 2022-01-07 北京理工大学 一种基于集成化微小型头戴式系统的视线估计方法
CN114638879A (zh) * 2022-03-21 2022-06-17 四川大学华西医院 一种医用的瞳孔大小测量系统

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
JP6751324B2 (ja) * 2016-09-14 2020-09-02 株式会社デンソーアイティーラボラトリ 虹彩検出装置、虹彩検出方法、およびプログラム
CN108108013A (zh) * 2016-11-25 2018-06-01 深圳纬目信息技术有限公司 一种视线追踪方法
CN108334187A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种带有红外光源和摄像头的头戴式显示设备
CN108334160A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种带有虹膜识别的头戴式显示设备
CN108334188A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种带有眼控的头戴式显示设备
US10275648B2 (en) * 2017-02-08 2019-04-30 Fotonation Limited Image processing method and system for iris recognition
CN106843492B (zh) * 2017-02-08 2023-08-29 大连海事大学 一种多人视点校准系统及方法
WO2018215053A1 (en) * 2017-05-23 2018-11-29 Brainlab Ag Determining the relative position between a point cloud generating camera and another camera
CN107390864B (zh) * 2017-06-19 2021-05-04 广东数相智能科技有限公司 基于眼球轨迹追踪的网络调研方法、电子设备及存储介质
CN107329593B (zh) * 2017-06-28 2020-10-09 歌尔科技有限公司 一种vr手柄定位方法及装置
CN109300105A (zh) * 2017-07-25 2019-02-01 上海中科顶信医学影像科技有限公司 毛孔检测方法、系统、设备及存储介质
CN109299634A (zh) * 2017-07-25 2019-02-01 上海中科顶信医学影像科技有限公司 斑检测方法、系统、设备及存储介质
CN107773248A (zh) * 2017-09-30 2018-03-09 优视眼动科技（北京）有限公司 眼动仪及图像处理方法
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法
CN107833251B (zh) * 2017-11-13 2020-12-04 京东方科技集团股份有限公司 瞳孔定位装置和方法、虚拟现实设备的显示驱动器
CN108182377A (zh) * 2017-11-21 2018-06-19 合肥工业大学 基于摄影测量技术的人眼视线检测方法及装置
CN109872378A (zh) * 2017-12-04 2019-06-11 上海聚虹光电科技有限公司 基于红外摄像头的表情图像眼部映射方法
CN108334810B (zh) * 2017-12-25 2020-12-11 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
CN109978810B (zh) * 2017-12-26 2024-03-12 南通罗伯特医疗科技有限公司 痣的检测方法、系统、设备及存储介质
CN108280403B (zh) * 2017-12-27 2020-08-04 北京七鑫易维信息技术有限公司 确定瞳孔位置的方法和装置
CN110032271B (zh) * 2018-01-12 2020-07-24 京东方科技集团股份有限公司 对比度调节装置及其方法、虚拟现实设备及存储介质
CN108898102B (zh) * 2018-06-29 2021-02-02 上海小蚁科技有限公司 关注商品的确定方法及装置、存储介质、终端
CN108985210A (zh) * 2018-07-06 2018-12-11 常州大学 一种基于人眼几何特征的视线追踪方法及系统
CN110758237A (zh) * 2018-07-27 2020-02-07 深圳富泰宏精密工业有限公司 电子装置及行车安全提醒方法
CN109375765B (zh) * 2018-08-31 2020-10-09 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
TWI703348B (zh) 2018-12-06 2020-09-01 宏達國際電子股份有限公司 影像處理系統及影像處理方法
CN111353506A (zh) * 2018-12-24 2020-06-30 北京三星通信技术研究有限公司 自适应的视线估计方法和设备
CN109656373B (zh) * 2019-01-02 2020-11-10 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质
CN109766818B (zh) * 2019-01-04 2021-01-26 京东方科技集团股份有限公司 瞳孔中心定位方法及系统、计算机设备及可读存储介质
CN109815913B (zh) * 2019-01-28 2022-12-20 安徽大学 基于眼动信息的视觉增强感知系统及其方法
CN109857254B (zh) * 2019-01-31 2020-06-05 京东方科技集团股份有限公司 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质
WO2020209491A1 (en) * 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN112051918B (zh) * 2019-06-05 2024-03-29 京东方科技集团股份有限公司 人眼注视计算方法及人眼注视计算系统
US11181978B2 (en) * 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation
CN110490235B (zh) * 2019-07-23 2021-10-22 武汉大学 一种面向2d图像的车辆对象视点预测与三维模型恢复方法及装置
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品
CN110493523B (zh) * 2019-08-27 2021-03-16 Oppo广东移动通信有限公司 图像显示方法、装置、终端及存储介质
CN110568930B (zh) * 2019-09-10 2022-05-17 Oppo广东移动通信有限公司 注视点校准方法及相关设备
CN110658918B (zh) * 2019-09-25 2023-12-12 京东方科技集团股份有限公司 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN110807427B (zh) * 2019-11-05 2024-03-01 中航华东光电（上海）有限公司 一种视线追踪方法、装置、计算机设备和存储介质
JP6725121B1 (ja) * 2019-11-13 2020-07-15 株式会社スワローインキュベート 視線検出方法、視線検出装置、及び制御プログラム
CN111178189B (zh) * 2019-12-17 2024-04-09 北京无线电计量测试研究所 一种网络学习辅助方法和系统
CN111176447A (zh) * 2019-12-25 2020-05-19 中国人民解放军军事科学院国防科技创新研究院 一种融合深度网络和几何模型的增强现实眼动交互方法
CN111429526B (zh) * 2020-03-23 2023-04-14 中国人民解放军海军特色医学中心 一种基于四分法逐层分割九点定位的视线追踪标定方法
CN111429316A (zh) * 2020-03-23 2020-07-17 宁波视科物电科技有限公司 一种基于增强现实眼镜的在线学习专注力检测系统及方法
CN111428634B (zh) * 2020-03-23 2023-06-27 中国人民解放军海军特色医学中心 一种采用六点法分块模糊加权的人眼视线追踪定位方法
CN111311995A (zh) * 2020-03-23 2020-06-19 宁波视科物电科技有限公司 一种基于增强现实技术的远程教学系统及教学方法
CN113760083A (zh) * 2020-06-01 2021-12-07 张也弛 操作者目光在终端设备屏幕上落点位置的确定方法及装置
CN112162629A (zh) * 2020-09-11 2021-01-01 天津科技大学 基于外接矩形的实时瞳孔定位方法
TWI750818B (zh) * 2020-09-24 2021-12-21 宏達國際電子股份有限公司 動態調整使用者界面方法、電子裝置及電腦可讀儲存媒體
CN114428547A (zh) * 2020-10-29 2022-05-03 北京七鑫易维信息技术有限公司 视线追踪方法、装置、设备及存储介质
CN112329643B (zh) * 2020-11-06 2021-06-04 重庆第二师范学院 一种学习效率检测方法、系统、电子设备及介质
CN112274153A (zh) * 2020-11-11 2021-01-29 西安工业大学 一种基于视线追踪的操控员反应时测定方法
CN112435347A (zh) * 2020-11-23 2021-03-02 济南浪潮高新科技投资发展有限公司 一种增强现实的电子书阅读系统及方法
CN112257696B (zh) * 2020-12-23 2021-05-28 北京万里红科技股份有限公司 视线估计方法及计算设备
CN112541975B (zh) * 2020-12-24 2024-03-12 华南理工大学 基于三维头部的头戴产品视野计算方法
CN112860059A (zh) * 2021-01-08 2021-05-28 广州朗国电子科技有限公司 一种基于眼球追踪的图像识别方法、设备及存储介质
CN112597972A (zh) * 2021-01-27 2021-04-02 张鹏 一种视线追踪装置及系统及方法
CN113160508B (zh) * 2021-02-28 2022-06-21 宁波工程学院 一种基于人工智能的房车夜间安防系统及方法
CN112926536B (zh) * 2021-04-06 2024-04-16 科大讯飞股份有限公司 变形瞳孔定位方法、装置以及设备
CN113158879B (zh) * 2021-04-19 2022-06-10 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN113255476B (zh) * 2021-05-08 2023-05-19 西北大学 一种基于眼动追踪的目标跟踪方法、系统及存储介质
CN113469936B (zh) * 2021-05-08 2023-10-03 温州医科大学 人眼白内障检测系统及晶状体三维模型图像重建方法
CN113160260B (zh) * 2021-05-08 2024-05-07 哈尔滨理工大学 一种头眼双通道智能人机交互系统及运行方法
CN113052921B (zh) * 2021-05-18 2021-10-15 北京科技大学 一种三维视线跟踪系统的系统标定方法
CN113342161B (zh) * 2021-05-27 2022-10-14 常州工学院 一种基于近眼相机的视线追踪方法
CN113633257B (zh) * 2021-07-29 2023-12-05 佛山市第一人民医院（中山大学附属佛山医院） 基于虚拟现实的前庭功能检查方法、系统、设备及介质
CN114099129B (zh) * 2021-11-23 2024-03-19 杭州叁伟医疗科技有限公司 一种用于高压氧眼部治疗仪的自动控制方法及设备
CN114099985B (zh) * 2021-11-29 2024-01-26 苏州宣嘉光电科技有限公司 通过识别图像特征调节光源模块的装置
CN114511655B (zh) * 2022-02-16 2022-11-04 深圳市恒必达电子科技有限公司 一种带气味复现的vr/ar体感装置和气味形成系统
CN114582008A (zh) * 2022-03-03 2022-06-03 北方工业大学 一种基于双波段的活体虹膜检测方法
CN114299600A (zh) * 2022-03-10 2022-04-08 天津市九米九视光技术有限公司 一种视功能检查、训练中的智能反馈方法
CN114779925A (zh) * 2022-03-22 2022-07-22 天津理工大学 一种基于单目标的视线交互方法及装置
CN114979483B (zh) * 2022-05-24 2023-05-05 河南工业贸易职业学院 一种基于数字摄像机的焦点跟踪方法
CN114898440A (zh) * 2022-05-30 2022-08-12 京东方科技集团股份有限公司 液晶光栅的驱动方法及显示装置、其显示方法
CN115359548B (zh) * 2022-07-22 2023-07-18 吉林大学第一医院 一种手持式智能瞳孔检测装置及检测方法
CN115270093A (zh) * 2022-07-28 2022-11-01 上海闻泰电子科技有限公司 身份校验方法、装置、电子设备以及存储介质
CN116704589A (zh) * 2022-12-01 2023-09-05 荣耀终端有限公司 一种注视点估计方法、电子设备和计算机可读存储介质
CN117727087B (zh) * 2024-02-07 2024-05-03 浙江环玛信息科技有限公司 基于虚拟现实的视点校准方法、装置及认知推断系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901485A (zh) * 2010-08-11 2010-12-01 华中科技大学 3d自由头动式视线跟踪系统
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN105094337A (zh) * 2015-08-19 2015-11-25 华南理工大学 一种基于虹膜和瞳孔的三维视线估计方法
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
US20160026246A1 (en) * 2014-04-10 2016-01-28 Samsung Electronics Co., Ltd. Eye gaze tracking method and apparatus and computer-readable recording medium
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
AU2015255652B2 (en) * 2014-05-09 2018-03-29 Google Llc Systems and methods for using eye signals with secure mobile communications
CN105335115A (zh) * 2014-07-28 2016-02-17 北京三星通信技术研究有限公司 头戴式视线跟踪装置
US10241569B2 (en) * 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN101901485A (zh) * 2010-08-11 2010-12-01 华中科技大学 3d自由头动式视线跟踪系统
US20160026246A1 (en) * 2014-04-10 2016-01-28 Samsung Electronics Co., Ltd. Eye gaze tracking method and apparatus and computer-readable recording medium
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
CN105094337A (zh) * 2015-08-19 2015-11-25 华南理工大学 一种基于虹膜和瞳孔的三维视线估计方法
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528713A (zh) * 2019-09-19 2021-03-19 北京七鑫易维信息技术有限公司 一种注视点估计方法、系统、处理器及设备
CN110956590A (zh) * 2019-11-04 2020-04-03 中山市奥珀金属制品有限公司 一种虹膜图像的去噪装置、方法及存储介质
CN110956590B (zh) * 2019-11-04 2023-11-17 张杰辉 一种虹膜图像的去噪装置、方法及存储介质
CN111443804A (zh) * 2019-12-27 2020-07-24 安徽大学 基于视频分析的注视点轨迹描述方法及其系统
CN111443804B (zh) * 2019-12-27 2022-08-19 安徽大学 基于视频分析的注视点轨迹描述方法及其系统
CN113903079A (zh) * 2020-07-06 2022-01-07 北京理工大学 一种基于集成化微小型头戴式系统的视线估计方法
CN112069986A (zh) * 2020-09-04 2020-12-11 江苏慧明智能科技有限公司 高龄老人眼动机器视觉跟踪方法及装置
CN113591658A (zh) * 2021-07-23 2021-11-02 深圳全息信息科技发展有限公司 一种基于距离感应的护眼系统
CN114638879A (zh) * 2022-03-21 2022-06-17 四川大学华西医院 一种医用的瞳孔大小测量系统

Also Published As

Publication number Publication date
US10353465B2 (en) 2019-07-16
CN106056092B (zh) 2019-08-20
US20190121427A1 (en) 2019-04-25
CN106056092A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
WO2017211066A1 (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US11030455B2 (en) Pose recognition method, device and system for an object of interest to human eyes
CN106796449B (zh) 视线追踪方法及装置
Valenti et al. Combining head pose and eye location information for gaze estimation
Itoh et al. Interaction-free calibration for optical see-through head-mounted displays based on 3d eye localization
CN106168853B (zh) 一种自由空间头戴式视线跟踪系统
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和系统
Nishino et al. The world in an eye [eye image interpretation]
Wang et al. Real time eye gaze tracking with kinect
CN103366157B (zh) 一种人眼视线距离的判断方法
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
WO2019010959A1 (zh) 用于确定视线的方法、设备和计算机可读存储介质
US20220100268A1 (en) Eye tracking device and a method thereof
JP4936491B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
JP2014194617A (ja) 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
Reale et al. Pointing with the eyes: Gaze estimation using a static/active camera system and 3D iris disk model
CN112069986A (zh) 高龄老人眼动机器视觉跟踪方法及装置
Chi et al. 3-D gaze-estimation method using a multi-camera-multi-light-source system
CN111524175A (zh) 非对称式多摄像头的深度重建及眼动追踪方法及系统
CN110909571B (zh) 一种高精度面部识别空间定位方法
Nitschke et al. I see what you see: point of gaze estimation from corneal images
CN113158879A (zh) 基于匹配特征的三维注视点估计及三维眼动模型建立方法
Nitschke Image-based eye pose and reflection analysis for advanced interaction techniques and scene understanding
CN116597488A (zh) 一种基于Kinect数据库的人脸识别方法
Xia et al. IR image based eye gaze estimation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16904514

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 08/04/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16904514

Country of ref document: EP

Kind code of ref document: A1