WO2018036134A1 - 具有视线追踪功能的终端、确定使用者视点的方法及装置 - Google Patents

具有视线追踪功能的终端、确定使用者视点的方法及装置 Download PDF

Info

Publication number
WO2018036134A1
WO2018036134A1 PCT/CN2017/075706 CN2017075706W WO2018036134A1 WO 2018036134 A1 WO2018036134 A1 WO 2018036134A1 CN 2017075706 W CN2017075706 W CN 2017075706W WO 2018036134 A1 WO2018036134 A1 WO 2018036134A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
emitting diode
light emitting
frequency band
camera
Prior art date
Application number
PCT/CN2017/075706
Other languages
English (en)
French (fr)
Inventor
金娇英
林涛
刘迎春
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2018036134A1 publication Critical patent/WO2018036134A1/zh
Priority to US16/281,894 priority Critical patent/US10929659B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the embodiment of the invention provides a terminal with a line of sight tracking function and determines the user.
  • Method and device for viewpoint The technical solution is as follows:
  • the time at which the first light is emitted is the same as the time at which the second light is emitted, the time for the camera to obtain the bright image and the dark image is saved, and the line of sight of the user is improved. Real time.
  • a passable frequency band of the filter unit may be combined with any one of the at least two light emitting diodes 3
  • the frequency band is the same, and when the area of the filter unit that can pass a certain frequency band is larger and the distribution is more uniform, the more light the camera 2 collects into a certain frequency band, the higher the quality of the acquired image, and the terminal uses The accuracy of the person's line of sight is higher.
  • the filter unit 21 when the number of the filter units 21 included in the mask filter layer is larger, and the distribution is more uniform, the camera 2 can collect the light of the reflected first light-emitting diode 31. The more you get, the better the quality of the captured image.
  • the view point may be a specific coordinate value.
  • the view point may also be other position information indicating the current gaze of the user, which is not specifically limited in the embodiment of the present invention.
  • the device for gaze tracking provided by the above embodiment is only illustrated by the division of each functional module in the line of sight tracking. In actual applications, the function distribution may be completed by different functional modules as needed. The internal structure of the terminal is divided into different functional modules to complete all or part of the functions described above.
  • the Sight Tracking device and the Sight Tracking Method embodiment are provided in the same concept, and the specific implementation process is described in detail in the method embodiment, and details are not described herein again.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

一种具有视线追踪功能的终端、确定使用者视点的方法及装置，属于电子信息技术领域。该具有视线追踪功能的终端包括：机体（1）、摄像头（2）和至少两个发光二极管（3），该摄像头（2）和该至少两个发光二极管（3）安装在该机体（1）上，该终端可以通过该至少两个发光二极管（3）发射光线，确保当该使用者处于不同角度时都可以通过发射的光线照射到使用者的眼睛，当该光线经过使用者的眼睛发生反射之后，该终端可以通过该摄像头（2）采集经反射后的光线，获取该使用者的眼部图像，进而基于该眼部图像，对该使用者的视线进行追踪，提高了视线追踪的成功率。

Description

具有视线追踪功能的终端、确定使用者视点的方法及装置
本申请要求于2016年08月22日提交中国专利局、申请号为201610701368.X、发明名称为“具有视线追踪功能的终端、确定使用者视点的方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及电子信息技术领域，特别涉及一种具有视线追踪功能的终端、确定使用者视点的方法及装置。
背景技术
在使用者与外界的交互过程中，使用者的视线通常能够直观自然地反映出使用者感兴趣的对象、目的和需求，因而对使用者的视线追踪可以被应用到多个方面，包括市场分析(广告/包装设计、商场购物等)，使用者体验测试(网站/软件设计、电子游戏等)，以及使用者意图及心理动机分析(人机交互、精神障碍疾病、认知心理学等)，因此，亟需一种视线追踪方法。
现有技术中，如图1所示，视线追踪系统包括终端1和摄像头2，该终端1中设置有光源12。如图2所示，当光源12发出光线照射使用者的眼睛3时，该使用者的眼睛3可以对该光线进行反射，因此，当通过调用该摄像头2采集该使用者的眼睛3反射出的该光线的反射光线，从而得到该使用者的眼部图像，该眼部图像中包括该使用者瞳孔的像和该光源12在使用者眼睛3上的反射点进入摄像头所形成的像，因此，该视线追踪设备对获取到的眼部图像进行处理，以确定该眼部图像中的瞳孔位置信息和反射点位置信息，基于确定的瞳孔位置信息和反射点位置信息，通过预设的眼球几何模型估算得到使用者的视线方向，根据该视线方向确定使用者的视点，该视点为该使用者当前注视的位置信息，从而对使用者的视线进行追踪。
然而，由于使用者在使用该视线追踪设备时，可能会处于该终端1的不同角度，因此，当该使用者所处的角度发生改变时，该光源12可能无法照射至用户的眼睛3，从而导致该摄像头2无法获取使用者的眼部图像，降低了对使用者进行视线追踪的成功率和可靠性。
发明内容
为了解决现有技术中无法获取使用者的眼部图像，降低了对使用者进行视线追踪的成功率和可靠性的问题，本发明实施例提供了一种具有视线追踪功能的终端、确定使用者视点的方法及装置。所述技术方案如下：
第一方面，提供了一种具有视线追踪功能的终端，所述终端包括：
机体，摄像头，至少两个发光二极管，所述摄像头和所述至少两个发光二极管安装在所述机体上；
其中，所述发光二极管用于发射光线，所述摄像头用于采集经反射后的所述光线。
需要说明的是，该摄像头和该至少两个发光二极管可以安装在该终端的机体的同一侧， 以确保该至少两个发光二极管发出的光线都可以照射到使用者的眼睛。
还需要说明的是，该至少两个发光二极管还可以用其它光源代替，本发明实施例对此不做具体限定。
在本发明实施例中，该终端的机体安装有至少两个发光二极管和摄像头，因此，该终端可以通过该至少两个发光二极管发射光线，确保当该使用者处于不同角度时都可以通过发射的光线照射到用户的眼睛，当该光线经过使用者的眼睛发生反射之后，该终端可以通过该摄像头采集经反射后的光线，获取该使用者的眼部图像，进而基于该眼部图像，对该使用者的视线进行追踪，提高了视线追踪的成功率。
可选地，所述至少两个发光二极管包括第一发光二极管和第二发光二极管，其中，所述第一发光二级管的频段与所述第二发光二极管的频段不同，所述第一发光二极管与所述摄像头的距离比所述第二发光二极管与所述摄像头的距离短。
其中，当第一发光二极管与该摄像头之间的距离越近，第一发光二极管所发出的光线越接近该摄像头的光心的轴线，从而确保该摄像头可以通过采集反射的第一发光二极管的光线获取得到使用者眼部的亮瞳图像。第二发光二极管可以远离该摄像头，从而确保该摄像头可以通过采集反射的第二发光二极管的光线获取得到使用者眼部的暗瞳图像。
需要说明的是，在实际应用中，为了确保该摄像头通过采集反射的第一发光二极管的光线从而获取得到该亮瞳图像，通过采集反射的第二发光二极管的光线从而获取得到暗瞳图像，第一发光二极管、第二发光二极管与该摄像头之间还可以是其它的位置关系，本发明实施例对此不做具体限定。
还需要说明的是，由于第一发光二极管与第二发光二极管的频段不同，所以当第一发光二极管和第二发光二极管同时发光时，也可以基于第一发光二极管的频段和第二发光二极管的频段，通过过滤分别得到第一发光二极管发出的光线和第二发光二极管发出的光线，也即是，当第一发光二极管和第二发光二极管同时发光时，也能够分别获取得到亮瞳图像和暗瞳图像，从而提高了该终端对视线追踪的成功率。
在本发明实施例中，由于第一发光二极管和第二发光二极管的频段不同，且第一发光二极管与该摄像头的距离比第二发光二极管与该摄像头的距离短，所以，该终端可以同时通过第一发光二极管和第二发光二极管发光，从而获取得到亮瞳图像和暗瞳图像，提高了获取亮瞳图像和暗瞳图像效率，进而提高了对使用者进行视线追踪的效率，增强了视线追踪的实时性和成功率。
可选地，所述摄像头包括掩膜滤波层，所述掩膜滤波层包括至少两个滤片单元；
其中，所述第一发光二极管的频段与所述至少两个滤片单元中的一个滤片单元的可通过频段相同，所述第二发光二极管的频段与所述至少两个滤片单元中的另一个滤片单元的可通过频段相同。
需要说明的是，以第一发光二极管为例，由于第一发光二极管的频段与该至少两个滤片单元中的一个滤片单元的可通过频段相同，因此，该滤片可以将除第一发光二极管的频段之外其它所有频段的光线过滤掉，从而确保该摄像头能够准确地采集反射的第一发光二极管的光线，获取到亮瞳图像，提高了对使用者进行视线追踪的成功率。
还需要说明的是，对于该至少两个滤片单元中的每个滤片单元，该滤片单元可以包括至少一个滤片，且该至少一个滤片的可通过频率相同。
在本发明实施例中，该终端可以通过包括有至少两个滤片单元的掩膜滤波层，能够在第一发光二极管和第二发光二极管同时发光时，分别采集反射的第一发光二极管的光线和第二发光二极管的光线，从而同时获取得到亮瞳图像和暗瞳图像，提高了获取亮瞳图像和暗瞳图像效率和成功率，进而提高了增强了视线追踪的实时性和成功率。
可选地，该至少两个滤片单元在该掩膜滤波层中均匀排列。
需要说明的是，当可通过某一频段的滤片单元排列越均匀时，该摄像头采集到的该频段的光线越均匀，所获取的图像的质量越好，进而该终端对使用者的视线进行追踪的精度越高。
可选地，所述至少两个发光二极管还包括第三发光二极管，其中，所述第三发光二极管的频段与所述第一发光二极管的频段、所述第二发光二极管的频段均不相同，所述第一发光二极管与所述摄像头的距离比所述第三发光二极管与所述摄像头的距离短。
需要说明的是，在另一种可能的实现方式中，第三发光二极管的频段与第二发光二极管的频段相同。
在本发明实施例中，由于第一发光二极管与该摄像头的距离比第三发光二极管与该摄像头的距离短，且由于第一发光二极管与该摄像头的距离比第二发光二极管与该摄像头的距离短，确保了当该使用者处于不同的角度，该终端都可以通过采集反射的第二发光二极管的光线和第三发光二极管的光线，获取暗瞳图像，提高了获取暗瞳图像的成功率，也即是提高了对该使用者的视线进行追踪的成功率。
可选地，所述摄像头包括掩膜滤波层，所述掩膜滤波层包括至少三个滤片单元；
其中，所述第一发光二极管的频段与所述至少三个滤片单元中的一个滤片单元的可通过频段相同，所述第二发光二极管的频段与所述至少三个滤片单元中的另一个滤片单元的可通过频段相同，所述第三发光二极管的频段与所述至少三个滤片单元中的另一个滤片单元的可通过频段相同。
需要说明的是，由于第一发光二极管的频段、第二发光二极管的频段和第三发光二极管的频段分别与该至少三个滤片单元中的一个滤片单元的可通过频段相同，确保了能够准确地采集反射的第一发光二极管、第二发光二极管或第三发光二极管的光线，提高了获取亮瞳图像和暗瞳图像的成功率。
在本发明实施例中，由于该摄像头的掩膜滤波层包括有至少三个滤片单元，因此能够准确地采集反射的第一发光二极管、第二发光二极管或第三发光二极管的光线，且当该第一发光二极管、第二发光二极管或第三发光二极管同时发光时，该终端也可以快速准确地同时对反射的第一发光二极管、第二发光二极管或第三发光二极管的光线进行采集，保证获取亮瞳图像和暗瞳图像的成功率和效率。
可选地，所述至少两个发光二极管包括四个发光二极管，分别为第四发光二极管，第五发光二级管，第六发光二极管、第七发光二极管，
其中，在全部的发光二级管与所述摄像头的距离中，所述第四发光二级管与所述摄像头的距离最短，所述第四发光二极管的频段与所述第五发光二极管的频段、所述第六发光二极管的频段和所述第七发光二极管的频段均不相同。
需要说明的是，第四发光二极管与该摄像头之间的位置关系可以和第一发光二极管与该摄像头之间的关系类似。
还需要说明的是，该摄像头可以通过采集反射的第四发光二极管的光线，获取到亮瞳图像，通过采集反射的第五发光二极管、第六发光二极管或者第七发光二极管的光线，获取得到暗瞳图像。
在本发明实施例中，由于该终端可以通过采集反射的第五发光二极管、第六发光二极管或者第七发光二极管的光线，获取得到暗瞳图像，提高了获取得到暗瞳图像的成功率，进而提高了对该使用者进行视线追踪的成功率。
可选地，所述摄像头在所述机体的左上角，所述第四发光二极管在所述机体的左上角，所述第五发光二极管在所述机体的右上角，所述第六发光二极管在所述机体的左下角，所述第七发光二极管在所述机体的右下角。
需要说明的是，将该摄像头、第四发光二极管、第五发光二级管、第六发光二极管和第七发光二极管设置该机体的四个角中，可以避免对使用者正常使用该终端的过程造成干扰。
还需要说明的是，在实际应用中，该摄像头、第四发光二极管、第五发光二级管、第六发光二极管和第七发光二极管还可以设置在该机体的其它位置，本发明实施例对此不做具体限定。
在本发明实施例中，将该摄像头和第四发光二极管设置在机体左上角，将第五发光二极管、第六发光二极管和第七发光二极管分别设置在该机体的三个角中，既能够保证设置的摄像头和发光二级管不对使用者正常使用该终端的过程造成干扰，也保证了该终端可以通过该摄像头获取到亮瞳图像和暗瞳图像，提高了对使用者视线进行追踪的成功率。
可选地，所述第五发光二极管的频段、所述第六发光二极管的频段分别和所述第七发光二极管的频段相同；
所述摄像头包括掩膜滤波层，所述掩膜滤波层包括两个滤片单元，其中，所述第四发光二极管的频段与所述两个滤片单元中的一个滤片单元的可通过频段相同，所述第五发光二极管的频段与所述两个滤片单元中的另一个滤片单元的可通过频段相同。
在本发明实施例中，由于第五发光二极管、第六发光二极管和第七发光二极管的频段相同，因此该掩膜滤波层可以包括两个滤片单元，在该掩膜滤波层的面积不变的情况下，每个滤片单元的面积相对较大，能够增加通过的对应频段的光线，从而提高获取的亮瞳图像和暗瞳图像的质量，进而提高对使用者的视线进行追踪的准确性。
可选地，所述第六发光二极管的频段与所述第五发光二极管的频段不同，所述第五发光二极管的频段与所述第七发光二极管的频段相同；
所述述摄像头包括掩膜滤波层，所述掩膜滤波层包括三个滤片单元，其中，所述第四发光二极管的频段与所述三个滤片单元中的一个滤片单元的可通过频段相同，所述第五发光二极管的频段与所述三个滤片单元中的另一个滤片单元的可通过频段相同，所述第六发光二极管的频段与所述三个滤片单元中的另一个滤片单元的可通过频段相同。
需要说明的是，在另一种可能的实现方式中，第六发光二极管与第五发光二极管的频段相同，第五发光二极管的频段与第七发光二极管的频段相同，或者，在另一种可能的实现方式中，第六发光二极管与第七发光二极管的频段相同，第六发光二极管的频段与第五发光二极管的频段不同。
在本发明实施例中，由于第五发光二极管与第七发光二极管的频段相同，且第五发光 二极管的频段与第六发光二极管的频段不同，因此，第六发光二极管发出的光线受到干扰时，该终端还可以通过采集反射的第五发光二极管或第七发光二极管的光线，从而获取得到暗瞳图像，提高了获取暗瞳图像的成功率，进而也提高了对该使用者进行视线追踪的成功率。
可选地，所述至少两个发光二极管均为红外发光二极管，所述摄像头为红外摄像头。
在本发明实施例中，由于该至少两个发光二极管可以为红外发光二极管，该摄像头可以为红外摄像头，因此，避免了该至少两个发光二极管发出的光线对该使用者的视觉造成干扰或损伤，提高了该终端对使用者的视线进行追踪的安全性。
第二方面，提供了一种确定终端的使用者的视点的方法，所述方法包括：
通过第一光源发出第一光线，通过第二光源发出第二光线，其中，所述第一光线的频段与所述第二光线的频段不同，所述第一光源与摄像头的距离比所述第二光源与所述摄像头的距离短，所述摄像头包括掩膜滤波层，所述第一光源、所述第二光源和所述摄像头均在终端上；
通过所述摄像头根据第一滤波光线获取第一图像，所述第一滤波光线是反射后的第一光线经过所述掩膜滤波层后的光线；
通过所述摄像头根据第二滤波光线获取第二图像，所述第二滤波光线是反射后的第二光线经过所述掩膜滤波层后的光线；
根据所述第一图像和所述第二图像确定使用者的视点。
其中，第一光源的数目和第二光源的数目可以是一个，也可以是多个，本发明实施例对此不做具体限定。
需要说明的是，当第一光源的数目为多个时，多个第一光源的频段相同，当第二光源的数目为多个时，多个第二光源的频段可以不同。
在本发明实施例中，该终端能够通过该终端上的第一光源发出第一光线，通过该终端上的第二光源发出第二光线，由于第一光源与该终端上的摄像头的距离比第二光源与摄像头的距离短，所以可以通过该摄像头根据反射后的第一光线经过该摄像头的掩膜滤波层后的第一滤波光线，获得第一图像，且第一图像为亮瞳图像，根据反射后的第二光线经过该掩膜滤波层后的第二滤波光线，获取得到第二图像，且第二图像为暗瞳图像，从而根据亮瞳图像和暗瞳图像确定该使用者的视点，提高了对使用者的视线进行追踪的准确率。
可选地，当第二光源的数目有多个时，可以通过轮询的方式在该多个第二光源中选择至少一个第二光源。
其中，可以基于该多个第二光源在该终端上的位置进行轮询，也可以是基于该多个第二光源的频段进行轮询，当然在实际应用中，还可以通过其它方式进行轮询，本发明实施例对此不做具体限定。
可选地，所述根据所述第一图像和所述第二图像确定使用者的视点，包括：
根据所述第一图像和所述第二图像确定所述使用者的瞳孔位置信息和反射点位置信息；
根据所述瞳孔位置信息、所述反射点位置信息和预设的眼球几何模型确定所述使用者的视点。
其中，瞳孔位置信息为与第一图像和第二图像中该使用者瞳孔的位置有关的信息，反射点位置信息为第二图像中，第二光源在该使用者眼睛上的反射点进入该摄像头形成的像的位置有关的信息。
需要说明的是，该预设的眼球几何模型可以预先根据角膜反射和角膜折射原理确定。
在本发明实施例中，由于可以通过确定第一图像和第二图像之间的差分图像，从而快速准确地确定该使用者瞳孔的位置信息，进而对第二图像进行处理确定反射点位置信息，再基于预设的眼球几何模型确定该使用者的视点，提高了对该使用者进行视线追踪的效率和实时性。
可选地，通过所述第一光源发出所述第一光线的时刻和通过所述第二光源发出所述第二光线的时刻相同。
在本发明实施例中，由于发出第一光线的时刻与发出第二光线的时刻相同，因此，节省了该摄像头获取亮瞳图像和暗瞳图像的时间，提高了对该使用者的视线进行追踪的实时性。
第三方面，提供了一种确定终端的使用者的视点的装置，所述确定终端的使用者的视点的装置具有实现上述第二方面中确定终端的使用者的视点的方法行为的功能。该确定终端的使用者的视点的装置包括至少一个模块，该至少一个模块用于实现上述第二方面所提供的确定终端的使用者的视点的方法。
第四方面，提供了一种确定终端的使用者的视点的装置，所述确定终端的使用者的视点的装置的结构中包括处理器和存储器，所述存储器用于存储支持确定终端的使用者的视点的装置执行上述确定终端的使用者的视点的方法的程序，以及存储用于实现该确定终端的使用者的视点的方法所涉及的数据，该数据包括第一图像和第二图像等。所述处理器被配置为用于执行所述存储器中存储的程序。所述确定终端的使用者的视点的装置还可以包括通信总线，该通信总线用于该处理器与存储器之间建立连接。
第五方面，提供了一种计算机存储介质，用于储存为上述确定终端的使用者的视点的装置所用的计算机软件指令，或存储用于执行上述第三方面和第四方面为确定终端的使用者的视点的装置所设计的程序。
上述本发明实施例第三到第五方面所获得的技术效果与第二方面中对应的技术手段获得的技术效果近似，在这里不再赘述。
本发明实施例提供的技术方案带来的有益效果是：在本发明实施例中，该终端包括机体、安装在该机体上的摄像头和至少两个发光二极管，由于该至少两个发光二极管均可以发射光线，确保了当该使用者处于不同角度时该摄像头均能够采集到反射的光线，提高了获取该使用者的眼部图像的成功率，从而提高了对该使用者的视线进行追踪的成功率。
附图说明
图1是现有技术提供的一种视线追踪系统的示意图；
图2是现有技术提供的一种视线追踪原理的示意图；
图3是本发明实施例提供的一种具有视线追踪功能的终端的示意图；
图4是本发明实施例提供的另一种具有视线追踪功能的终端的示意图；
图5是本发明实施例提供的又一种具有视线追踪功能的终端的示意图；
图6是本发明实施例提供的又一种具有视线追踪功能的终端的示意图；
图7是本发明实施例提供的一种掩膜滤波层示意图；
图8是本发明实施例提供的另一种掩膜滤波层示意图；
图9是本发明实施例提供的又一种掩膜滤波层示意图；
图10是本发明实施例提供的又一种掩膜滤波层示意图；
图11是本发明实施例提供的又一种掩膜滤波层示意图；
图12是本发明实施例提供的又一种掩膜滤波层示意图；
图13是本发明实施例提供的又一种掩膜滤波层示意图；
图14是本发明实施例提供的又一种掩膜滤波层示意图；
图15是本发明实施例提供的一种确定终端的使用者的视点的方法的流程图；
图16是本发明实施例提供的一种确定终端的使用者的视点的装置结构示意图；
图17是本发明实施例提供的一种确定模块结构示意图；
图18是本发明实施例提供的另一种确定终端的使用者的视点装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图3是本发明实施例提供的一种具有视线追踪功能的终端的示意图，参见图3，该终端包括：机体1，摄像头2，至少两个发光二极管3，该摄像头2和该至少两个发光二极管3安装在该机体1上，其中，该发光二极管3用于发射光线，该摄像头2用于采集经反射后的该光线。
其中，该至少两个发光二极管3能够发出光线，当该光线照射至使用者的眼睛，使用者的眼睛会反射该光线，因此，可以通过该摄像头2采集反射的光线，从而对使用者的视线进行追踪。
需要说明的是，为了确保该摄像头2能够采集到经过使用者眼睛反射后的该至少两个发光二极管3的光线，该摄像头2和该至少两个发光二极管3可以设置在该机体1的同一侧。
还需要说明的是，当该至少两个发光二极管3的数目越多时，在使用者处于不同角度的情况下该摄像头2采集到反射后的光线的成功率越高，通过该终端进行视线追踪的成功率也越高。
还需要说明的是，该终端可以是手机、平板电脑等终端，当然，在实际应用中，该终端还可以是其它需要对使用者进行视线追踪的终端，本发明实施例对此不做具体限定。
另外，在实际应用中，该至少两个发光二极管3还可以用其它光源代替，本发明实施例对此不做具体限定。
需要说明的是，对于该至少两个发光二极管3中的每个发光二极管，该发光二极管可以是任意频段的发光二极管，也即是，该发光二极管可以发出任一频段的光线，本发明实 施例对此不做具体限定。
还需要说明的是，在实际应用中，对于该至少两个发光二极管3中的每个发光二极管，该发光二极管可以为任意频率的发光二极管，也即是，该发光二极管可以发出任一频率的光线。
进一步地，为了避免该至少两个发光二极管3发出的光线对使用者的正常视觉造成干扰或损伤，该至少两个发光二极管3可以均为红外发光二极管，相应地，该摄像头可以为红外摄像头。
下面针对该终端的各个部分进行详细说明：
至少两个发光二极管3
参见图4，该至少两个发光二极管3包括第一发光二极管31和第二发光二极管32，其中，该第一发光二级管31的频段与该第二发光二极管32的频段不同，该第一发光二极管31与该摄像头2的距离比该第二发光二极管32与该摄像头2的距离短。
其中，由于第一发光二极管31与该摄像头2的距离比第二发光二极管32与该摄像头2的距离短，因此，第一发光二极管31靠近该摄像头2，第一发光二极31的光线经使用者的眼球角膜表面反射后靠近该摄像头2的光心所在的轴线，所以会有较多的反射光线进入该摄像头2，当该摄像头2采集反射后的第一发光二极管31的光线时，可以获取使用者眼部的亮瞳图像。第二发光二极管32远离该摄像头2，第二发光二极管32的光线经使用者的眼球角膜表面反射后远离该摄像头2的光线所在的轴线，所以会有较少的反射光线进入该摄像头2，当该摄像头2采集反射后的第二发光二极管32的光线，可以获取使用者眼部的暗瞳图像。
其中，该摄像头2的光心可以为该摄像头2的镜头的中心。
需要说明的是，该亮瞳图像和该暗瞳图像中的每个图像均可以为包括使用者眼部的灰度图像，该亮瞳图像中使用者眼睛的瞳孔处是明亮的，而该暗瞳图像中使用者眼睛的瞳孔处是灰暗的。
还需要说明的是，当第一发光二极管31越靠近该摄像头2时，第一发光二极管31发出的光线经使用者的眼睛反射后的光线越接近于该摄像头2的光心的轴线，通过该摄像由2获取得到的亮瞳图像的质量越好，进而该终端对使用者的视线进行追踪的精度越高，比如，第一发光二极管31可以与该摄像头2紧紧相邻，或者，第一发光二极管31可以与该摄像头2位于同一轴线上。
参见图5，该至少两个发光二极管3还包括第三发光二极管33，其中，该第三发光二极管33的频段与该第一发光二极管31的频段、该第二发光二极管33的频段33均不相同，该第一发光二极31与该摄像头2的距离比该第三发光二极管33与该摄像头2的距离短。
其中，由前述可知，该第一发光二极管31与该摄像头2的距离比该第二发光二极管32与该摄像头2的距离短，因此，当该至少两个发光二极管3还包括第三发光二极管33，且第一发光二极31与该摄像头2的距离比该第三发光二极管33与该摄像头2的距离短时，与第二发光二极管32以及第三发光二极管33相比，第一发光二极管31最靠近该摄像头2。
需要说明的是，当该终端还包括第三发光二极管33时，确保了当该使用者处于不同角度时也能获取到暗瞳图像，提高了获取暗瞳图像的成功率，进而提高了对使用者的视线进行追踪的成功率。
还需要说明的是，在另一种可能的实现方式中，第三发光二极管33与第二发光二极管32的频段可以相同。
参见图6，该至少两个发光二极管3包括四个发光二极管，分别为第四发光二极管34，第五发光二级管35，第六发光二极管36、第七发光二极管37，其中，在全部的发光二级管与该摄像头2的距离中，该第四发光二级管34与该摄像头2的距离最短，该第四发光二极管34的频段与该第五发光二极管35的频段、该第六发光二极管36的频段和该第七发光二极管37的频段均不相同。
在一种可能的实现方式中，该摄像头2在该机体1的左上角，该第四发光二极管34在该机体1的左上角，该第五发光二极管35在该机体1的右上角，该第六发光二极管36在该机体1的左下角，该第七发光二极管37在该机体1的右下角。
掩膜滤波层
参见图7，为了采集反射后的第一发光二极管31和第二发光二极管32的光线，该摄像头2包括掩膜滤波层，该掩膜滤波层包括至少两个滤片单元，其中，该第一发光二极管31的频段与该至少两个滤片单元中的一个滤片单元21的可通过频段相同，该第二发光二极管32的频段与该至少两个滤片单元中的另一个滤片单元22的可通过频段相同。
其中，由于第一发光二极管31的可通过频段与滤片单元21的可通过频段相同，因此，滤片单元21可以过滤掉处第一发光二极管31的频段之外其它所有频段的光线，相应地，滤片单元22可以过滤掉处第二发光二极管32的频段之外其它所有频段的光线，且由于该滤片单元21和该滤片单元22是该掩膜滤波层包括的至少两个滤片单元中的滤波单元，因此，该摄像头可以同时采集到经过反射的第一发光二极管31的光线和经过反射的第二发光二极管32的光线。
需要说明的是，对于该掩膜滤波层中包括的至少两个滤片单元中每个滤片单元，该滤片单元的可通过频段可以与该至少两个发光二极管3中任一个发光二极管的频段相同，且当可通过某一频段的滤片单元的面积越大、分布越均匀时，该摄像头2采集到某一频段的光线越多，获取到的图像质量越高，进而该终端对使用者的视线进行追踪的精度越高。以滤片单元21为例，当该掩膜滤波层中包括的滤片单元21的数目越多时，且分布越均匀时，该摄像头2所能采集到经过反射后的第一发光二极管31的光线越多，获取的亮瞳图像的质量越高。
还需要说明的是，对于该至少两个滤片单元中的每个滤片单元，该滤片单元可以包括至少一个滤片，且该至少一个滤片的可通过频段相同。
还需要说明的是，为了提高暗瞳图像的质量，滤片单元22的面积可以大于滤片单元21的面积，且该掩膜滤波层可以如图8-10任一所示，当然，在实际应用中，该掩膜滤波层中滤片单元21和滤片单元22还可以有其它分布方式，本发明实施例对此不做具体限定。
另外，在另一种可能的实现方式中，当第一发光二极管31或第二发光二极管32发出的是某一频率的光线时，该掩膜滤波层包括至少两个滤片单元，其中，该第一发光二极管31的频率与该至少两个滤片单元中的一个滤片单元21的可通过频率相同，该第二发光二极管32的频率与该至少两个滤片单元中的另一个滤片单元22的可通过频率相同。
进一步地，当该终端通过该摄像头获取到该亮瞳图像和该暗瞳图像后，可以根据该亮瞳图像和该暗瞳图像确定使用者的瞳孔位置信息和反射点位置信息，根据该瞳孔位置信息、 该反射点位置信息和预设的眼球几何模型，确定使用者的视线方向，进而确定使用者视点，以对使用者的视线进行追踪。
参见图11，为了同时采集经使用者眼睛反射后的该至少一个发光二极管3的光线，进而同时获取亮瞳图像和暗瞳图像，从而减少对使用者进行视线追踪的延时，该摄像头2包括掩膜滤波层，该掩膜滤波层包括至少三个滤片单元，其中，该第一发光二极管31的频段与该至少三个滤片单元中的一个滤片单元21的可通过频段相同，该第二发光二极管32的频段与该至少三个滤片单元中的另一个滤片单元22的可通过频段相同，该第三发光二极管33的频段与该至少三个滤片单元中的另一个滤片单元23的可通过频段相同。
其中，参见图12，在另一种可能的实现方式中，该掩膜滤波层可以包括多个滤片单元21、多个滤片单元22和多个滤片单元23。
需要说明的是，当第三发光二极管33与第二发光二极管32的频段相同时，该掩膜滤波层可以不包括滤片单元23。
参见图13，为了同时采集经使用者眼睛反射后的该至少一个发光二极管3的光线，进而同时获取亮瞳图像和暗瞳图像，从而减少对使用者进行视线追踪的延时，该摄像头2包括掩膜滤波层，该掩膜滤波层包括至少四个滤片单元，其中，该第四发光二极管34的频段与该至少四个滤片单元中的一个滤片单元24的可通过频段相同，该第五发光二极管35的频段与该至少四个滤片单元中的一个滤片单元25的可通过频段相同，该第六发光二极管36的频段与该至少四个滤片单元中的一个滤片单元26的可通过频段相同，该第七发光二极管37的频段与该至少四个滤片单元中的一个滤片单元27的可通过频段相同。
其中，参见图14，该掩膜滤波层可以包括多个滤片单元24、多个滤片单元25、多个滤片单元26和多个滤片单元27。
需要说明的是，该第五发光二极管35的频段、第六发光二极管36的频段和第七发光二极管37的频段可以全部相同，也可以不同，比如，在另一种可能的实现方式中，该第五发光二极管35的频段、该第六发光二极管36的频段分别和该第七发光二极管37的频段相同，相应地，该摄像头2包括掩膜滤波层，该掩膜滤波层包括两个滤片单元，其中，该第四发光二极管34的频段与该两个滤片单元中的一个滤片单元的可通过频段相同，该第五发光二极管的35频段与该两个滤片单元中的另一个滤片单元的可通过频段相同。在另一种可能的实现方式中，第六发光二极管36的频段与该第五发光二极管35的频段不同，该第五发光二极管35的频段与该第七发光二极管37的频段相同，相应地，该述摄像头2包括掩膜滤波层，该掩膜滤波层包括三个滤片单元，其中，该第四发光二极管34的频段与该三个滤片单元中的一个滤片单元的可通过频段相同，该第五发光二极管35的频段与该三个滤片单元中的另一个滤片单元的可通过频段相同，该第六发光二极管36的频段与该三个滤片单元中的又一个滤片单元的可通过频段相同。本发明实施例对此不做具体限定。
还需要说明的是，上述第一发光二极管31、第二发光二极管32、第三发光二极管33、第四光二极管34、第五发光二极管35、第六发光二极管36和第七发光二极管37仅为对该至少两个发光二极管进行示例性说明，本发明实施例对该至少两个发光二极管的数目不作具体限定。
还需要说明的是，该掩膜滤波层包括的滤片单元的频段与该至少两个发光二极管的频段一一对应。
在本发明实施例中，首先，该终端包括机体、安装在该机体上的摄像头和至少两个发光二极管，由于该至少两个发光二极管均可以发射光线，确保了当该使用者处于不同角度时该摄像头均能够采集到反射的光线，提高了获取该使用者的眼部图像的成功率，从而提高了对该使用者的视线进行追踪的成功率。其次，由于该至少两个发光二极管包括第一发光二极管和第二发光二极管，第一发光二极管与该摄像头的距离近于第二发光二极管与该摄像头的距离，所以反射后的第一发光二极管的光线靠近该摄像头的光心的轴线，反射后的第二发光二极管的光线远离该摄像头的光心的轴线，且第一发光二极管与第二发光二极管的频段不同，而该摄像头包括的掩膜滤波层中包括至少两个滤片单元，一个滤片单元的可通过频段与第一发光二极管的频段相同，另一个滤片单元的可通过频段与第二发光二极管的频段相同，因此，该终端可以通过该摄像头同时获取亮瞳图像和暗瞳图像，从而减少了获取图像时间，降低了对使用者进行视线追踪的延时，提高了视线追踪的精度。最后，该至少两个发光二极管均为红外二极管，该摄像头为红外摄像头，避免了该至少两个发光二极管发出的光线对使用者的视觉造成干扰或损伤，提高了安全性。
图15为本发明实施例提供的一种确定终端的使用者的视点的方法，参见图15，该方法可以用于上述任一种具有视线追踪功能的终端中，该方法包括：
步骤1501：该终端通过第一光源发出第一光线，通过第二光源发出第二光线，其中，该第一光线的频段与该第二光线的频段不同，该第一光源与摄像头的距离比该第二光源与该摄像头的距离短，该摄像头包括掩膜滤波层，该第一光源、该第二光源和该摄像头均在终端上。
其中，该终端可以每间隔预设时长，执行步骤1501中通过第一光源发出第一光线和通过第二光源发出第二光线的操作。
需要说明的是，该预设时长可以由该终端在通过第一光源发出第一光线，通过第二光源发出第二光线之前设定，且当该预设时长越短，对该使用者进行视线追踪的实时性和准确性越高。
进一步地，为了减少追踪使用者视线所用的时间，进而提高对使用者进行视线追踪的实时性，该终端通过该第一光源发出该第一光线的时刻和通过该第二光源发出该第二光线的时刻相同。
进一步地，由于第二光源的数目可能有多个，因此，当第二光源的数目为多个时，该终端可以在通过第二光源发出第二光线之前，在多个第二光源中确定至少一个第二光源。
其中，该终端可以通过下述两种可能的实现方式，在该多个第二光源中确定该至少一个第二光源：第一种可能的实现方式，为了确保当该使用者处于不同角度时，该终端也能够获取到暗瞳图像，提高视线追踪的成功率，该终端基于该多个第二光源在该终端的位置，选择至少一个位置的第二光源，将选择的第二光源确定为该至少一个第二光源；第二种可能的实现方式，该终端选择至少一种频段的第二光源，将选择的第二光源确定为该至少一个第二光源。当然，在实际应用中，该终端还可以通过其它可能的实现方式在该多个第二光源中选择该至少一个第二光源，本发明实施例对此不做具体限定。
还需要说明的是，该终端在每次选择设置在至少一个位置的第二光源或者选择与至少一种频段的第二光源时，可以是随机选择，也可以通过轮询的方式选择，当然，在实际应 用中，该终端还可以通过其它方式选择，本发明实施例对此不做具体限定。
例如，该终端的右上角、右下角和左下角均设置有第二光源，该终端在本次通过第二光源发出第二光线之前，将设置在右上角的第二光源确定为该至少一个第二光源；在本次之后第一次通过第二光源发出第二光线之前，可以将设置在右下角的第二光源确定为该至少一个第二光源；在本次之后第二次通过第二光源发出第二光线之前，将设置在左下角的第二光源确定为该至少一个第二光源。
步骤1502：该终端通过该摄像头根据第一滤波光线获取第一图像，该第一滤波光线是反射后的第一光线经过该掩膜滤波层后的光线。
需要说明的是，由于第一光线为第一光源发出的光线，且第一光源与摄像头的距离比第二光源与该摄像头的距离短，因此，该终端通过该摄像头根据第一滤波光线获取的第一图像为该使用者眼部的亮瞳图像。
其中，该终端通过该摄像头根据第一滤波光线获取第一图像的操作可以为：该终端通过该摄像头曝光，获取该摄像头当前拍摄范围内的图像数据，基于该摄像头包括的掩膜滤波层中与第一光线频段相同的滤片单元的排列方式，从该摄像头的传感器中获取与第一滤波光线对应的图像数据，基于与第一滤波光线对应的图像数据，生成该亮瞳图像。
需要说明的是，为了确保该终端通过该摄像头能够根据第一滤波光线准确地获取第一图像，该终端通过该摄像头曝光的时刻与通过第一光源发出第一光线的时刻相同，当然，在实际应用中，该终端通过该摄像头曝光的时刻也可以是与通过第一光源发出第一光线的时刻相差特定时长，本发明实施例对此不做具体限定。
还需要说明的是，该特定时长可以由该终端在通过该摄像头曝光之前确定。
步骤1503：该终端通过该摄像头根据第二滤波光线获取第二图像，该第二滤波光线是反射后的第二光线经过该掩膜滤波层后的光线。
其中，由于第二光线为第二光源发出的光线，且第一光源与摄像头的距离比第二光源与该摄像头的距离短，因此，该终端通过该摄像头根据第二滤波光线获取的第二图像为该使用者眼部的暗瞳图像。
需要说明的是，该终端通过该摄像头根据第二滤波光线获取第二图像的操作与该终端通过该摄像头根据第一滤波光线获取第一图像的操作相似，本发明实施例不再一一赘述。
还需要说明的是，该终端通过该摄像头曝光的时刻也可以与通过第二光源发出第二光线的时刻相同，或者，该终端通过该摄像头曝光的时刻与通过第二光源发出第二光线的时刻相差该特定时长。
进一步地，由于该终端可能同时通过至少一个第二光源发出光线，从而同时发出至少一种频段的第二光线，因此，在步骤1503中，该终端可能获取到至少一个暗瞳图像。
另外，由前述可知，该终端通过该第一光源发出该第一光线的时刻和通过该第二光源发出该第二光线的时刻相同，因此，当该终端同时通过第一光源发出第一光线，通过第二光源发出第二光线时，该终端也可以同时执行步骤1302和1503的操作，从而同时获取第一图像和第二图像，以提高对该使用者的视线进行追踪的实时性。
步骤1504：该终端根据该第一图像和该第二图像确定使用者的视点。
由于该视点为该使用者的眼睛当前注视的位置信息，当该使用者的眼睛当前注视位置不同时，同一光源在经眼球反射后进入该摄像头所成的像的位置也是不同的，而第一图像 为亮瞳图像，第二图像为暗瞳图像，且该亮瞳图像和该暗瞳图像均为与该使用者眼睛对光线进行反射有关的图像，所以可以根据该第一图像和该第二图像确定使用者的视点。
需要说明的是，该视点可以是一个具体的坐标值，当然，在实际应用中，该视点还可以是其它能够表示该使用者当前注视的位置信息，本发明实施例对此不做具体限定。
其中，该终端根据该第一图像和该第二图像确定使用者的视点的操作可以为：该终端根据该第一图像和该第二图像确定该使用者的瞳孔位置信息和反射点位置信息，根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型确定该使用者的视点。
需要说明的是，由于该亮瞳图像中使用者眼睛的瞳孔部位是明亮的，而该暗瞳图像中每张暗瞳图像中使用者眼睛的瞳孔部位是灰暗的，因此，该亮瞳图像和该暗瞳图像中与瞳孔部位对应的像素值也会存在较大差距，而与其他部位对应的像素值则基本相同，所以可以对该亮瞳图像和该暗瞳图像的像素值进行差分，得到差分图像，该差分图像中明亮的位置即为瞳孔位置，因此，该终端可以确定该第一图像和第二图像的差分图像，基于该差分图像确定该瞳孔位置信息，对第二图像进行图像处理，确定第二图像中该使用者眼睛反射的第二光线的反射点位置信息。
还需要说明的是，对第一图像和第二图像进行差分的方法可以参考相关技术，本发明实施例不再一一赘述。
其中，该终端可以在根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型确定该使用者的视点之前，基于角膜反射和角膜折射原理设定该眼球几何模型。
需要说明的是，该终端可以根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型估算得到该使用者的视线方向，基于该视线方向确定该使用者的视点。
需要说明的是，该终端基于角膜反射和角膜折射原理设定该眼球几何模型的方法，以及根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型估算得到该使用者的视线方向，基于该视线方向确定该使用者的视点方法，可以参考相关技术，本发明实施例对此不再一一赘述。
进一步地，当该终端获取到至少一个第二图像时，该终端可以在该至少一个第二图像中随机选择一个第二图像，根据第一图像和选择的第二图像确定一个瞳孔位置信息和一个反射点位置信息，从而确定该使用者的视点，当然，为了提高对该使用者的视线进行追踪的准确率，该终端也可以根据第一图像和该至少一个第二图像，确定一个瞳孔位置信息和至少一个反射点位置信息，从而根据一个瞳孔位置信息和该至少一个反射点位置信息确定该使用者的视点。
在本发明实施例中，该终端能够通过该终端上的第一光源发出第一光线，通过该终端上的第二光源发出第二光线，由于第一光源与该终端上的摄像头的距离比第二光源与摄像头的距离短，所以可以通过该摄像头根据反射后的第一光线经过该摄像头的掩膜滤波层后的第一滤波光线，获得第一图像，且第一图像为亮瞳图像，根据反射后的第二光线经过该掩膜滤波层后的第二滤波光线，获取得到第二图像，且第二图像为暗瞳图像，从而根据亮瞳图像和暗瞳图像确定该使用者的视点，提高了对使用者的视线进行追踪的准确率。其次，由于第一光线与第二光线的频段不同，且摄像头包括掩膜滤波层，所以该终端可以同时通过第一光源发出第一光线，通过第二光源发出第二光线，从而同时获取得到第一图像和第二图像，减少了获取图像的时间，提高了对使用者的视线进行追踪的实时性。
图16是本发明实施例提供的一种确定终端的使用者的视点装置的结构示意图，该确定终端的使用者的视点装置可以由软件、硬件或者两者的结合实现成为终端的部分或者全部，该终端可以为图3-6任一所示的终端。该确定终端的使用者的视点装置可以包括：发出模块161、第一获取模块162、第二获取模块163和确定模块164，发出获取模块161用于执行图15实施例中的步骤1501，第一获取模块162用于执行图15实施例中的步骤1502，第二获取模块163用于执行图15实施例中的步骤1503以及该确定模块164用于执行图15实施例中的步骤1504。
可选地，参见图17，确定模块164包括：
第一确定单元1641，用于根据该第一图像和该第二图像确定该使用者的瞳孔位置信息和反射点位置信息；
第二确定单元1642，根据该瞳孔位置信息、该反射点位置信息和预设的眼球几何模型确定该使用者的视点
可选地，该发出模块161发出该第一光线的时刻和发出该第二光线的时刻相同。
在本发明实施例中，该终端能够通过该终端上的第一光源发出第一光线，通过该终端上的第二光源发出第二光线，由于第一光源与该终端上的摄像头的距离比第二光源与摄像头的距离短，所以可以通过该摄像头根据反射后的第一光线经过该摄像头的掩膜滤波层后的第一滤波光线，获得第一图像，且第一图像为亮瞳图像，根据反射后的第二光线经过该掩膜滤波层后的第二滤波光线，获取得到第二图像，且第二图像为暗瞳图像，从而根据亮瞳图像和暗瞳图像确定该使用者的视点，提高了对使用者的视线进行追踪的准确率。
需要说明的是：上述实施例提供的视线追踪的装置在视线追踪时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视线追踪装置与视线追踪方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图18为是本发明实施例提供的一种确定终端的使用者的视点装置的结构示意图。该终端主要包括有一个或者一个以上处理核心的处理器181、包括有一个或一个以上计算机可读存储介质的存储器182以及通信总线183等。本领域技术人员可以理解，图18中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，本发明实施例对此不做限定。
其中，该处理器181是该终端的控制中心，该处理器181可以一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。其中，该处理器181可以通过运行或执行存储在存储器182内的软件程序和/或模块，以及调用存储在存储器182内的数据，来实现图15中实施例所提供的确定终端的使用者的视点方法。
其中，该存储器182可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器(random access memory，RAM))或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器 (Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由集成电路存取的任何其它介质，但不限于此。存储器182可以是独立存在，通过通信总线183与处理器182相连接。存储器182也可以和处理器181集成在一起。
另外，上述通信总线183可包括一通路，在上述处理器181和存储器182之间传送信息。
在本发明实施例中，该终端能够通过该终端上的第一光源发出第一光线，通过该终端上的第二光源发出第二光线，由于第一光源与该终端上的摄像头的距离比第二光源与摄像头的距离短，所以可以通过该摄像头根据反射后的第一光线经过该摄像头的掩膜滤波层后的第一滤波光线，获得第一图像，且第一图像为亮瞳图像，根据反射后的第二光线经过该掩膜滤波层后的第二滤波光线，获取得到第二图像，且第二图像为暗瞳图像，从而根据亮瞳图像和暗瞳图像确定该使用者的视点，提高了对使用者的视线进行追踪的准确率。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))、或者半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

  1. 一种具有视线追踪功能的终端，其特征在于，所述终端包括：
    机体，摄像头，至少两个发光二极管，所述摄像头和所述至少两个发光二极管安装在所述机体上；
    其中，所述发光二极管用于发射光线，所述摄像头用于采集经反射后的所述光线。
  2. 根据权利要求1所述的终端，其特在在于，所述至少两个发光二极管包括第一发光二极管和第二发光二极管，其中，所述第一发光二级管的频段与所述第二发光二极管的频段不同，所述第一发光二极管与所述摄像头的距离比所述第二发光二极管与所述摄像头的距离短。
  3. 根据权利要求2所述的终端，其特征在于，所述摄像头包括掩膜滤波层，所述掩膜滤波层包括至少两个滤片单元；
    其中，所述第一发光二极管的频段与所述至少两个滤片单元中的一个滤片单元的可通过频段相同，所述第二发光二极管的频段与所述至少两个滤片单元中的另一个滤片单元的可通过频段相同。
  4. 根据权利要求2所述的终端，其特征在于，所述至少两个发光二极管还包括第三发光二极管，其中，所述第三发光二极管的频段与所述第一发光二极管的频段、所述第二发光二极管的频段均不相同，所述第一发光二极管与所述摄像头的距离比所述第三发光二极管与所述摄像头的距离短。
  5. 根据权利要求4所述的终端，其特征在于，所述摄像头包括掩膜滤波层，所述掩膜滤波层包括至少三个滤片单元；
    其中，所述第一发光二极管的频段与所述至少三个滤片单元中的一个滤片单元的可通过频段相同，所述第二发光二极管的频段与所述至少三个滤片单元中的另一个滤片单元的可通过频段相同，所述第三发光二极管的频段与所述至少三个滤片单元中的又一个滤片单元的可通过频段相同。
  6. 根据权利要求1所述的终端，其特征在于，所述至少两个发光二极管包括四个发光二极管，分别为第四发光二极管，第五发光二级管，第六发光二极管、第七发光二极管；
    其中，在全部的发光二级管与所述摄像头的距离中，所述第四发光二级管与所述摄像头的距离最短，所述第四发光二极管的频段与所述第五发光二极管的频段、所述第六发光二极管的频段和所述第七发光二极管的频段均不相同。
  7. 根据权利要求6所述的终端，其特征在于，所述摄像头在所述机体的左上角，所述第四发光二极管在所述机体的左上角，所述第五发光二极管在所述机体的右上角，所述第六发光二极管在所述机体的左下角，所述第七发光二极管在所述机体的右下角。
  8. 根据权利要求6或7所述的终端，其特征在于，所述第五发光二极管的频段、所述第六发光二极管的频段分别和所述第七发光二极管的频段相同；
    所述摄像头包括掩膜滤波层，所述掩膜滤波层包括两个滤片单元，其中，所述第四发光二极管的频段与所述两个滤片单元中的一个滤片单元的可通过频段相同，所述第五发光二极管的频段与所述两个滤片单元中的另一个滤片单元的可通过频段相同。
  9. 根据权利要求6或7所述的终端，其特征在于，所述第六发光二极管的频段与所述第五发光二极管的频段不同，所述第五发光二极管的频段与所述第七发光二极管的频段相同；
    所述述摄像头包括掩膜滤波层，所述掩膜滤波层包括三个滤片单元，其中，所述第四发光二极管的频段与所述三个滤片单元中的一个滤片单元的可通过频段相同，所述第五发光二极管的频段与所述三个滤片单元中的另一个滤片单元的可通过频段相同，所述第六发光二极管的频段与所述三个滤片单元中的又一个滤片单元的可通过频段相同。
  10. 如权利要求1-9任一所述的终端，其特征在于，所述至少两个发光二极管均为红外发光二极管，所述摄像头为红外摄像头。
  11. 一种确定终端的使用者的视点的方法，其特征在于，所述方法包括：
    通过第一光源发出第一光线，通过第二光源发出第二光线，其中，所述第一光线的频段与所述第二光线的频段不同，所述第一光源与摄像头的距离比所述第二光源与所述摄像头的距离短，所述摄像头包括掩膜滤波层，所述第一光源、所述第二光源和所述摄像头均在终端上；
    通过所述摄像头根据第一滤波光线获取第一图像，所述第一滤波光线是反射后的第一光线经过所述掩膜滤波层后的光线；
    通过所述摄像头根据第二滤波光线获取第二图像，所述第二滤波光线是反射后的第二光线经过所述掩膜滤波层后的光线；
    根据所述第一图像和所述第二图像确定使用者的视点。
  12. 根据权利要求11所述的确定终端的使用者的视点的方法，其特征在于，所述根据所述第一图像和所述第二图像确定使用者的视点，包括：
    根据所述第一图像和所述第二图像确定所述使用者的瞳孔位置信息和反射点位置信息；
    根据所述瞳孔位置信息、所述反射点位置信息和预设的眼球几何模型确定所述使用者的视点。
  13. 根据权利要求11或12所述的确定终端的使用者的视点的方法，其特征在于，通过所述第一光源发出所述第一光线的时刻和通过所述第二光源发出所述第二光线的时刻相同。
  14. 一种确定终端的使用者的视点的装置，其特征在于，所述装置包括：
    发出模块，用于通过第一光源发出第一光线，通过第二光源发出第二光线，
    其中，所述第一光线的频段与所述第二光线的频段不同，所述第一光源与摄像头的距离比所述第二光源与所述摄像头的距离短，所述摄像头包括掩膜滤波层，所述第一光源、所述第二光源和所述摄像头均在终端上；
    第一获取模块，用于通过所述摄像头，根据第一滤波光线获取第一图像，所述第一滤波光线是反射后的第一光线经过所述掩膜滤波层后的光线；
    第二获取模块，用于通过所述摄像头，根据第二滤波光线获取第二图像，所述第二滤波光线是反射后的第二光线经过所述掩膜滤波层后的光线；
    确定模块，用于根据所述第一图像和所述第二图像确定使用者的视点。
  15. 根据权利要求14所述的确定终端的使用者的视点的装置，其特征在于，所述确定模块包括：
    第一确定单元，用于根据所述第一图像和所述第二图像确定所述使用者的瞳孔位置信息和反射点位置信息；
    第二确定单元，用于根据所述瞳孔位置信息、所述反射点位置信息和预设的眼球几何模型确定所述使用者的视点。
  16. 根据权利要求14或15所述的确定终端的使用者的视点的装置，其特征在于，所述发出模块通过所述第一光源发出所述第一光线的时刻和通过所述第二光源发出所述第二光线的时刻相同。
PCT/CN2017/075706 2016-08-22 2017-03-06 具有视线追踪功能的终端、确定使用者视点的方法及装置 WO2018036134A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/281,894 US10929659B2 (en) 2016-08-22 2019-02-21 Terminal with line-of-sight tracking function, and method and apparatus for determining point of gaze of user

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610701368.X 2016-08-22
CN201610701368.XA CN106339085B (zh) 2016-08-22 2016-08-22 具有视线追踪功能的终端、确定使用者视点的方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/281,894 Continuation US10929659B2 (en) 2016-08-22 2019-02-21 Terminal with line-of-sight tracking function, and method and apparatus for determining point of gaze of user

Publications (1)

Publication Number Publication Date
WO2018036134A1 true WO2018036134A1 (zh) 2018-03-01

Family

ID=57824320

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/075706 WO2018036134A1 (zh) 2016-08-22 2017-03-06 具有视线追踪功能的终端、确定使用者视点的方法及装置

Country Status (3)

Country Link
US (1) US10929659B2 (zh)
CN (1) CN106339085B (zh)
WO (1) WO2018036134A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339085B (zh) * 2016-08-22 2020-04-21 华为技术有限公司 具有视线追踪功能的终端、确定使用者视点的方法及装置
CN107085680B (zh) * 2017-04-18 2019-10-11 宇龙计算机通信科技(深圳)有限公司 一种操作终端的方法及装置
CN107301231A (zh) * 2017-06-26 2017-10-27 腾讯科技（深圳）有限公司 页面开启耗时的测试方法及测试系统
CN107515466B (zh) 2017-08-14 2019-11-26 华为技术有限公司 一种眼球追踪系统和眼球追踪方法
CN108762511B (zh) * 2018-06-14 2020-08-25 北京七鑫易维信息技术有限公司 一种光源控制方法及装置
CN109144250B (zh) * 2018-07-24 2021-12-21 北京七鑫易维信息技术有限公司 一种位置调节的方法、装置、设备及存储介质
CN109246302A (zh) * 2018-09-13 2019-01-18 徐州新南湖科技有限公司 一种基于手机壳的app主题调整方法及系统
CN110245607B (zh) * 2019-06-13 2021-09-14 Oppo广东移动通信有限公司 眼球追踪方法及相关产品
CN111258453A (zh) 2020-01-15 2020-06-09 京东方科技集团股份有限公司 一种触控面板、其制作方法及显示装置
EP3882686B1 (en) * 2020-03-19 2024-03-06 Aptiv Technologies Limited Optical system and method for monitoring a vehicle driver's eye gaze
CN116301301A (zh) * 2021-12-20 2023-06-23 华为技术有限公司 眼动追踪装置和眼动追踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901485A (zh) * 2010-08-11 2010-12-01 华中科技大学 3d自由头动式视线跟踪系统
CN104834381A (zh) * 2015-05-15 2015-08-12 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
US20150227197A1 (en) * 2014-02-10 2015-08-13 Sony Corporation Information processing apparatus, information processing method, and program
CN105676565A (zh) * 2016-03-30 2016-06-15 武汉虹识技术有限公司 一种虹膜识别镜头、装置及方法
CN106339085A (zh) * 2016-08-22 2017-01-18 华为技术有限公司 具有视线追踪功能的终端、确定使用者视点的方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097738A2 (en) * 2005-01-26 2007-08-30 Wollf Robin Q Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
CN102496005A (zh) * 2011-12-03 2012-06-13 辽宁科锐科技有限公司 基于眼球特征的审讯辅助研判分析系统
US9004687B2 (en) * 2012-05-18 2015-04-14 Sync-Think, Inc. Eye tracking headset and system for neuropsychological testing including the detection of brain damage
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking
CN104113680B (zh) * 2013-04-19 2019-06-28 北京三星通信技术研究有限公司 视线跟踪系统及方法
CN106132284B (zh) * 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
CN106663183B (zh) * 2013-11-27 2020-04-24 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901485A (zh) * 2010-08-11 2010-12-01 华中科技大学 3d自由头动式视线跟踪系统
US20150227197A1 (en) * 2014-02-10 2015-08-13 Sony Corporation Information processing apparatus, information processing method, and program
CN104834381A (zh) * 2015-05-15 2015-08-12 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
CN105676565A (zh) * 2016-03-30 2016-06-15 武汉虹识技术有限公司 一种虹膜识别镜头、装置及方法
CN106339085A (zh) * 2016-08-22 2017-01-18 华为技术有限公司 具有视线追踪功能的终端、确定使用者视点的方法及装置

Also Published As

Publication number Publication date
CN106339085B (zh) 2020-04-21
CN106339085A (zh) 2017-01-18
US20190188469A1 (en) 2019-06-20
US10929659B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
WO2018036134A1 (zh) 具有视线追踪功能的终端、确定使用者视点的方法及装置
JP6845295B2 (ja) 目追跡でのグレアに対処すること
CN113729611B (zh) 使用眼球中心位置的眼睛追踪
US9962078B2 (en) Gaze tracking variations using dynamic lighting position
US9904051B2 (en) Systems, devices, and methods for laser eye tracking
US9473696B2 (en) Gaze detection apparatus, gaze detection computer program, and display apparatus
CN106062776B (zh) 偏振的视线跟踪
US10278576B2 (en) Behind-eye monitoring using natural reflection of lenses
US20140055342A1 (en) Gaze detection apparatus and gaze detection method
KR102525126B1 (ko) 홍채 카메라를 포함하는 전자 장치
KR102548199B1 (ko) 전자 장치 및 전자 장치의 시선 추적 방법
CN107209551A (zh) 通过眼具的注视跟踪
US11243607B2 (en) Method and system for glint/reflection identification
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
WO2017112310A1 (en) Facial contour recognition for identification
CN113646689A (zh) 头戴式显示器的场内光源的排除区域
US20200187774A1 (en) Method and system for controlling illuminators
CN113661472A (zh) 头戴式显示器的场内光源的主动控制
JP2014061085A (ja) 瞳孔部分を近似する楕円の検出を行う方法
KR100960269B1 (ko) 눈동자 시선 추정 장치 및 추정 방법
US10136047B2 (en) Focusing method and device for image shooting
JP2018120299A (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
CN114578940A (zh) 一种控制方法、装置和电子设备
CN117765621A (zh) 活体检测方法、装置及存储介质
CN116665292A (zh) 注视信息确定方法、装置、眼动设备、待观测对象及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17842560

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17842560

Country of ref document: EP

Kind code of ref document: A1