WO2021175180A1 - 视线确定方法、装置、电子设备和计算机可读存储介质 - Google Patents

视线确定方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
WO2021175180A1
WO2021175180A1 PCT/CN2021/078404 CN2021078404W WO2021175180A1 WO 2021175180 A1 WO2021175180 A1 WO 2021175180A1 CN 2021078404 W CN2021078404 W CN 2021078404W WO 2021175180 A1 WO2021175180 A1 WO 2021175180A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
pixel
gradient
center
area
Prior art date
Application number
PCT/CN2021/078404
Other languages
English (en)
French (fr)
Inventor
黄俊文
吴晓东
叶雁勇
Original Assignee
广州虎牙科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广州虎牙科技有限公司 filed Critical 广州虎牙科技有限公司
Publication of WO2021175180A1 publication Critical patent/WO2021175180A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Definitions

  • the purpose of the present disclosure includes, for example, providing a line of sight determination method, device, electronic device, and computer-readable storage medium to obtain the line of sight direction of the target object.
  • the gradient amplitude of the first pixel may be the arithmetic square root of the sum of the square value of the first gray gradient and the square value of the second gray gradient.
  • the gradient threshold of the first eye region may be used to determine the gradient vector of the first pixel. Determine whether the gradient amplitude of the first pixel point is greater than or equal to the gradient threshold; if so, determine that the first gradient vector is (0, 0); if not, then according to the first gray gradient, The second gray gradient and the gradient amplitude are used to obtain the first gradient vector.
  • the pupil center is the point with the smallest gray value in the first eye area;
  • the first eye area is the gray image area determined according to the detection image and at least four key points of the orbit;
  • the eye orbit center is the point of the first eye area Center point.
  • the first eye area is in a rectangular coordinate system as
  • FIG. 5 is a schematic flowchart of another method for determining a line of sight provided by an embodiment of the present disclosure.
  • the foregoing S324 may include:
  • the first dot product value between the second pixel and the first pixel is determined; for the second pixel, the first pixel is traversed.
  • the current dot product value of the second pixel can be obtained; when the current dot product value of each pixel in the first eye area is obtained, determine the corresponding pixel with the largest current dot product value
  • the coordinates are the center of the pupil of the first eye.
  • the processing module 42 is further configured to determine the line of sight direction of the first eye according to the center of the pupil and the center of the eye socket.
  • ⁇ 1, 2, 3, 4 ⁇ , ⁇ ⁇ characterizes the degree of deviation of the line of sight of the first eye to the ⁇ th side, and ⁇ is the correction factor.

Abstract

本公开提供一种视线确定方法、装置、电子设备和计算机可读存储介质，涉及互联网直播领域。该方法包括：根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；眼眶关键点为根据检测图像的多个人脸关键点中符合第一预设条件的人脸关键点；根据至少四个眼眶关键点，确定第一眼睛的瞳孔中心和眼眶中心；根据瞳孔中心和眼眶中心，确定第一眼睛的视线方向。在目标对象的第一眼睛中选取至少四个眼眶关键点，获取该至少四个眼眶关键点确定的第一眼睛的瞳孔中心和眼眶中心，确定第一眼睛的视线方向，相较于现有技术进行瞳孔检测，减少了计算量，相较于使用深度学习算法，降低了对硬件资源的要求，提高了视线确定的效率。

Description

视线确定方法、装置、电子设备和计算机可读存储介质
相关申请的交叉引用
本公开要求于2020年03月02日提交中国专利局的申请号为202010137655.9、名称为“视线确定方法、装置、电子设备和计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开涉及互联网直播领域，具体而言，涉及一种视线确定方法、装置、电子设备和计算机可读存储介质。
背景技术
随着移动设备的更新换代和通信技术的迅速发展，依赖于互联网的直播平台如雨后春笋般蓬勃发展，而对于直播来说，通过主播与观看人员的互动能显著提高直播的趣味性。
在主播和观看人员的互动中添加检测目标对象视线的功能，是一种直播中增加互动的方式。为了获取目前一般通过先精确检测目标对象的瞳孔位置，在得到瞳孔位置后，通过使用深度学习算法或外接其它设备，以便得到目标对象的视线方向。精确检测目标对象的瞳孔位置在各步骤均会引入误差，且每个步骤都需要调整或选择相关参数，计算过程复杂，最后得到的瞳孔位置误差较大；另外，使用深度学习算法通常有着较大的计算量或较高的设备要求，因而一般难以满足大多数视频直播场景实时、轻量的要求；此外，外接其它设备精度很高，但对外接设备的依赖使其难以适用于大多数视频直播场景。实际上，当前大多数视频直播场景并不要求非常高的视线方向估计精准性，为获取目标对象的视线方向，专门设计深度学习算法和外接设备的成本过高。
发明内容
有鉴于此，本公开的目的例如包括提供一种视线确定方法、装置、电子设备和计算机可读存储介质，以获取目标对象的视线方向。
本公开实施例采用的技术方案如下：
在可选的一个或多个实施方式中，本公开提供一种视线确定方法，所述方法可包括：根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；所述第一眼睛可为所述目标对象的任一只眼睛，所述眼眶关键点可为根据所述检测图像的多个人脸关键点中符合第一预设条件的人脸关键点。根据所述至 少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心；其中，所述瞳孔中心可为第一眼睛区域中，灰度值最小的点；所述第一眼睛区域可为根据所述检测图像和所述至少四个眼眶关键点确定的灰度图像区域；所述眼眶中心可为所述第一眼睛区域的中心点。可根据所述瞳孔中心和所述眼眶中心，确定所述第一眼睛的视线方向。
在可选的一个或多个实施方式中，所述根据所述至少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心，可包括：根据所述检测图像，获取所述至少四个眼眶关键点组成的第一区域；将所述第一区域进行灰度处理，以获取所述第一眼睛区域；将所述第一眼睛区域的中心点作为所述眼眶中心；确定所述第一眼睛区域中的灰度值最小点，可将所述灰度值最小点作为所述瞳孔中心。
在可选的一个或多个实施方式中，所述第一眼睛区域可处于直角坐标系中，所述确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心，可包括：根据第一像素点的坐标和第二像素点的坐标，确定第一坐标向量；其中，所述第一像素点可为所述第一眼睛区域的任一像素点，所述第二像素点可为所述第一眼睛区域中除所述第一像素点的任一像素点，所述第一坐标向量可表征所述第二像素点的坐标相对于所述第一像素点的坐标的位移矢量。根据所述第一像素点的第一梯度向量和所述第一坐标向量，确定所述第二像素点的第一点积值；所述第一梯度向量可表征所述第一像素点在所述第一眼睛区域中的灰度变化量。遍历所述第一眼睛区域的所有像素点，获取所述第二像素点的当前点积值；所述当前点积值可为所述第二像素点与所述第一眼睛区域的所有像素点的点积值之和。确定所述第一眼睛区域中当前点积值最大的像素点为所述瞳孔中心。
在可选的一个或多个实施方式中，在所述根据所述第一像素点的第一梯度向量和所述第一坐标向量，确定所述第二像素点的第一点积值之前，所述确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心，还可包括：获取所述第一像素点的第一灰度梯度和第二灰度梯度；其中，所述第一梯度可为所述第一像素点在所述直角坐标系的横坐标方向的灰度梯度，所述第二灰度梯度可为所述第一像素点在所述直角坐标系的纵坐标方向的灰度梯度。获取所述第一像素点的梯度幅值；所述梯度幅值可为所述第一灰度梯度的平方值与所述第二灰度梯度的平方值的和的算术平方根。获取所述第一眼睛区域的梯度阈值；所述梯度阈值可用于确定第一像素点的梯度向量。判断所述第一像素点的梯度幅值是否大于或等于所述梯度阈值；若是，则确定所述第一梯度向量为(0，0)；若否，则根据所述第一灰度梯度、第二灰度梯度和所述梯度幅值，获取所述第一梯度向量。
在可选的一个或多个实施方式中，所述第一眼睛区域可为矩形区域，所述矩形区域可包括第一边、第二边、第三边和第四边，所述根据所述瞳孔中心和所述眼眶中心，确定所述第一眼睛的视线方向，可包括：获取所述眼眶中心到所述第一边、第二边、第三边、第四边的距离，依次记为d 1、d 2、d 3、d 4。获取所述瞳孔中心到所述第一边、第二边、第三边、第四边的距离，依次记为d′ 1、d′ 2、d′ 3、d′ 4。可 通过以下公式获取所述视线方向：
Figure PCTCN2021078404-appb-000001
其中，α∈{1，2，3，4}，θ α表征所述第一眼睛的视线向第α边的偏移程度，∈为校正因子。
在可选的一个或多个实施方式中，本公开提供一种视线确定装置，可包括：获取模块和处理模块。所述获取模块可配置成根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；所述第一眼睛可为所述目标对象的任一只眼睛，所述眼眶关键点可为根据所述检测图像的多个人脸关键点中符合第一预设条件的人脸关键点。所述处理模块可配置成根据所述至少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心；其中，所述瞳孔中心可为第一眼睛区域中，灰度值最小的点；所述第一眼睛区域可为根据所述检测图像和所述至少四个眼眶关键点确定的灰度图像区域；所述眼眶中心可为所述第一眼睛区域的中心点。所述处理模块还可配置成根据所述瞳孔中心和所述眼眶中心，确定所述第一眼睛的视线方向。
在可选的一个或多个实施方式中，所述处理模块还可配置成根据所述检测图像，获取所述至少四个眼眶关键点组成的第一区域；所述处理模块还可配置成将所述第一区域进行灰度处理，以获取所述第一眼睛区域；所述处理模块还可配置成将所述第一眼睛区域的中心点作为所述眼眶中心；所述处理模块还可配置成确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心。
在可选的一个或多个实施方式中，所述第一眼睛区域可处于直角坐标系中，所述处理模块还可配置成根据第一像素点的坐标和第二像素点的坐标，确定第一坐标向量；其中，所述第一像素点可为所述第一眼睛区域的任一像素点，所述第二像素点可为所述第一眼睛区域中除所述第一像素点的任一像素点，所述第一坐标向量可表征所述第二像素点的坐标相对于所述第一像素点的坐标的位移矢量。所述处理模块还可配置成根据所述第一像素点的第一梯度向量和所述第一坐标向量，确定所述第二像素点的第一点积值；所述第一梯度向量可表征所述第一像素点在所述第一眼睛区域中的灰度变化量。所述处理模块还可配置成遍历所述第一眼睛区域的所有像素点，获取所述第二像素点的当前点积值；所述当前点积值可为所述第二像素点与所述第一眼睛区域的所有像素点的点积值之和。所述处理模块还可配置成确定所述第一眼睛区域中当前点积值最大的像素点为所述瞳孔中心。
在可选的一个或多个实施方式中，所述获取模块还可配置成获取所述第一像素点的第一灰度梯度和第二灰度梯度；其中，所述第一灰度梯度可为所述第一像素点在所述直角坐标系的横坐标方向的灰度梯度，所述第二灰度梯度可为所述第一像素点在所述直角坐标系的纵坐标方向的灰度梯度。所述获取模块还可配置成获取所述第一像素点的梯度幅值；所述梯度幅值可为所述第一灰度梯度的平方值与所述第二灰度梯度的平方值的和的算术平方根。所述获取模块还可配置成获取所述第一眼睛区域的梯度阈值；所 述梯度阈值可配置成确定第一像素点的梯度向量。所述处理模块还可配置成判断所述第一像素点的梯度幅值是否大于或等于所述梯度阈值；所述处理模块还可配置成所述梯度幅值大于或等于所述梯度阈值时，确定所述第一梯度向量为(0，0)；所述处理模块还可配置成所述梯度幅值小于所述梯度阈值时，根据所述第一灰度梯度、第二灰度梯度和所述梯度幅值，获取所述第一梯度向量。
在可选的一个或多个实施方式中，所述第一眼睛区域可为矩形区域，所述矩形区域可包括第一边、第二边、第三边和第四边。所述获取模块还可配置成获取所述眼眶中心到所述第一边、第二边、第三边、第四边的距离，依次记为d 1、d 2、d 3、d 4。所述获取模块还可配置成获取所述瞳孔中心到所述第一边、第二边、第三边、第四边的距离，依次记为d′ 1、d′ 2、d′ 3、d′ 4。所述处理模块还可配置成通过以下公式获取所述视线方向：
Figure PCTCN2021078404-appb-000002
其中，α∈{1，2，3，4}，θ α表征所述第一眼睛的视线向第α边的偏移程度，∈为校正因子。
在可选的一个或多个实施方式中，本公开提供一种电子设备，可包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现上述实施方式中任一项所述的方法。
在可选的一个或多个实施方式中，电子设备还包括通信接口，所述通信接口可配置成与其他节点设备进行信令或数据的通信，所述存储器、所述处理器和所述通信接口相互之间可直接或间接地电性连接，以实现数据的传输或交互。
在可选的一个或多个实施方式中，本公开提供一种计算机可读存储介质，其上可存储有计算机程序，所述计算机程序被处理器执行时可实现上述实施方式中任一项所述的方法。
相较于现有技术，本公开提供一种视线确定方法、装置、电子设备和计算机可读存储介质，涉及互联网直播领域。所述方法可包括：根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；所述第一眼睛可为所述目标对象的任一只眼睛，所述眼眶关键点可为根据所述检测图像的多个人脸关键点中符合第一预设条件的人脸关键点；根据所述至少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心；其中，所述瞳孔中心可为第一眼睛区域中，灰度值最小的点；所述第一眼睛区域可为根据所述检测图像和所述至少四个眼眶关键点确定的灰度图像区域；所述眼眶中心可为所述第一眼睛区域的中心点；根据所述瞳孔中心和所述眼眶中心，确定所述第一眼睛的视线方向。在目标对象的第一眼睛中可选取至少四个眼眶关键点，获取该至少四个眼眶关键点确定的第一眼睛的瞳孔中心和眼眶中心，确定第一眼睛的视线方向，相较于现有技术进行瞳孔检测，减少了计算量，相较于使用深度学习算法，降低了对 硬件资源的要求，提高了视线确定的效率。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开实施例提供的一种电子设备的结构示意图；
图2为本公开实施例提供的一种视线确定方法的流程示意图；
图3为本公开实施例提供的一种“68点人脸关键点”的人脸关键点示意图；
图4为本公开实施例提供的另一种视线确定方法的流程示意图；
图5为本公开实施例提供的另一种视线确定方法的流程示意图；
图6为本公开实施例提供的另一种视线确定方法的流程示意图；
图7为本公开实施例提供的一种第一眼睛区域的示意图；
图8为本公开实施例提供的一种视线确定装置的方框示意图。
图标：视线确定装置-40，获取模块-41，处理模块-42，电子设备-60，存储器-61，处理器-62，通信接口-63。
具体实施方式
下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且， 术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前采用的瞳孔位置检测方案虽然有很多种，但是其一般分为以下几个步骤：利用开源计算机视觉(Open Source Computer Vision，OpenCV)库提供的检测器，先检测出目标对象的眼睛区域；利用边缘检测算法，提取眼睛区域的区域边缘特征；根据区域边缘特征和霍夫变换(Hough Transform)检测眼睛的圆心，并将该圆心作为目标对象的瞳孔位置。
应理解，在现有的瞳孔位置检测方案中，需要通过多个组件(如OpenCV库、边缘检测算法、区域边缘特征和霍夫变换)来检测瞳孔位置，每个组件都会引入计算误差，且每个步骤都需要调整和选择参数，其实现瞳孔位置的检测对硬件资源的要求较高、效率较低、速度较慢。
为了至少解决上述问题和背景技术提出的不足，本公开实施例提供一种视线确定方法，应用于电子设备，请参见图1，图1为本公开实施例提供的一种电子设备的结构示意图。该电子设备60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块，如本公开实施例所提供的视线确定方法对应的程序指令/模块，处理器62通过执行存储在存储器61内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本公开中该电子设备60可以具有多个通信接口63。
其中，存储器61可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器62可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备60可以实现本公开提供的任一种视线确定方法。该电子设备60可以是，但不限于，手机、 平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。
下面在图1示出的电子设备60的基础上，本公开提供一种视线确定方法，请参见图2，图2为本公开实施例提供的一种视线确定方法的流程示意图，该视线确定方法包括：
S31，根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点。
该第一眼睛为目标对象的任一只眼睛，眼眶关键点为根据检测图像的多个人脸关键点中符合第一预设条件的人脸关键点。以目标对象是人为例，第一眼睛可以是人的左眼或右眼；若目标对象是宠物狗，第一眼睛可以是其左眼或右眼，本申请提供的视线确定方法不对直播的目标对象进行限定。
为了便于理解上述的眼眶关键点，以“68点人脸关键点”为例，可以选取“68点人脸关键点”中与第一眼睛对应的至少四个人脸关键点，以将该第一眼睛对应的人脸关键点作为眼眶关键点。应理解，选取眼眶关键点还可以使用第三方提供的人脸关键点检测算法，或是开发者自研的算法，只要人眼部位存在符合以上定义的关键点均可以使用，如“Stasm 77关键点”等人脸关键点检测算法。
S32，根据至少四个眼眶关键点，确定第一眼睛的瞳孔中心和眼眶中心。
其中，该瞳孔中心为第一眼睛区域中，灰度值最小的点；第一眼睛区域为根据检测图像和至少四个眼眶关键点确定的灰度图像区域；该眼眶中心为第一眼睛区域的中心点。
应理解，上述的眼眶中心不仅可以是由至少四个眼眶关键点计算得到的，还可以是通过两只眼睛的至少八个眼眶关键点得到的，还可以是通过将目标对象的所有人脸关键点进行拟合得到的；在一些可能的实施例中，人脸关键点检测算法给出的眼眶关键点可能抖动明显，进行目标对象的视线确定时，可以根据实际情况对目标对象的眼眶关键点进行平滑，以便减少眼眶关键点的抖动，提高视线方向确定的准确性。
可以预见的，第一眼睛区域可以是矩形图像区域，也可以是具有更多边的图像区域，其具体形状是根据至少四个眼眶关键点进行确定的。
S33，根据瞳孔中心和眼眶中心，确定第一眼睛的视线方向。
可以理解的，上述的步骤仅给出了针对一只眼睛的视线方向确定的示例，本公开提供的视线确定方法还可以对目标对象的多只眼睛进行同时检测。由于本公开提供的视线确定方法不需要使用深度学习算法，对目标对象的多个人脸关键点进行多次迭代或机器学习以便确定瞳孔中心和眼眶中心，因而本公开实施例提供的视线确定方法所需的计算量较小，对于电子设备的硬件资源要求并不高，因此可以应用于具有多个目标对象的直播场景中；例如，在直播中开启了多个可视化窗口，每个可视化窗口都可以有一个或多个目标对象，运用本公开实施例提供的视线确定方法可以有效的检测目标对象的视线方向。
在目标对象的第一眼睛中选取至少四个眼眶关键点，获取该至少四个眼眶关键点确定的第一眼睛的瞳孔中心和眼眶中心，确定第一眼睛的视线方向，相较于现有技术进行瞳孔检测，减少了计算量；相较于使用深度学习算法，降低了对硬件资源的要求，提高了视线确定的效率。
为了便于理解上述视线确定方法中的人脸关键点和眼眶关键点，请参见图3，图3为本公开实施例提供的一种“68点人脸关键点”的人脸关键点示意图，“1～68”均为人脸关键点，其中，“36～41”为左眼的眼眶关键点，“42～47”为右眼的眼眶关键点。例如，当第一眼睛为左眼时，可以筛选“36～41”中的“37”、“38”、“40”、“41”四个人脸关键点作为第一眼睛的四个眼眶关键点，进而实现上述的视线确定方法。
目前的技术方案中，针对目标对象的视线方向确定，很多采用的是瞳孔中心和人脸边缘或眼眶边缘结合的方案来实现的，但是其存在计算量大的弊端，为了解决上述问题，在图2的基础上，本公开实施例给出一种可能的视线确定方法，请参见图4，图4为本公开实施例提供的另一种视线确定方法的流程示意图。上述的S32可以包括：
S321，根据检测图像，获取至少四个眼眶关键点组成的第一区域。
应理解，该第一区域可以是矩形区域，也可以是具有更多边的区域，在目标对象为宠物狗时，第一区域还可能是一个椭圆形区域或圆形区域。
S322，将第一区域进行灰度处理，以获取第一眼睛区域。
该第一眼睛区域的形状和上述的第一区域是一致的，两者的区别在于第一眼睛区域是进行灰度处理后的图像区域。例如，当获取到目标对象的检测图像时，截取检测图像的第一眼睛附近的区域(第一区域)，以第一区域是具有红、绿、蓝(Red Green Blue，RGB)三个色彩通道的图像，可以利用OpenCV函数将第一区域的RGB图像转换为灰度图，以便得到第一眼睛区域。
S323，将第一眼睛区域的中心点作为眼眶中心。
上述眼眶中心可以是第一眼睛区域的多条对角线相交点，也可以是通过拟合第一眼睛区域的多条边得到的中心点。例如，当第一眼睛区域为矩形时，可以选取矩形区域的两条对角线的相交点作为眼眶中心；当第一眼睛区域是类圆形或类椭圆时，可以将拟合得到的区域中心点作为眼眶中心。
S324，确定第一眼睛区域中的灰度值最小点，将灰度值最小点作为瞳孔中心。
可以理解的，该灰度值最小点是第一眼睛区域(灰度图像区域)中计算得到的灰度最小值对应的像素点，灰度值的计算可以是多种多样的。
应理解，对于眼球位置中第一眼睛区域(灰度图像区域)的像素点，越接近瞳孔中心，其灰度值越 低；因此，将灰度值最小点作为瞳孔中心可以提高视线方向确定的准确性。
对于上述的视线确定方法，由于利用人脸关键点信息是直接截取眼球位置的图像帧(第一区域)，正常情况下，第一区域的图像尺寸很小，因而其所需的计算量也很小，本公开实施例提供的视线确定方法不需要使用图像边缘这样的纹理特征，因此本公开实施例提供的视线确定方法对低分率的图像帧进行视线方向确定具有较高的可靠性。
为了便于理解上述的视线确定方法，请继续参见图3示出的多个人脸关键点，当上述至少四个眼眶关键点为图3示出的左眼的“37”、“38”、“40”、“41”四个人脸关键点时，第一区域为“37”、“38”、“40”、“41”四个人脸关键点对应围成的矩形图像区域，第一眼睛区域为将第一区域灰度化后的区域，眼眶中心即为该矩形图像区域(第一区域)的中心点(如矩形图像区域中两条对角线的交点)，瞳孔中心则为灰度化的矩形图像区域(第一眼睛区域)中灰度值最小点。
在可选的实施例中，对于获取第一眼睛区域中各个像素点的灰度值，以及确定第一眼睛的瞳孔中心，在图4的基础上，以第一眼睛区域处于直角坐标系中为例，请参见图5，图5为本公开实施例提供的另一种视线确定方法的流程示意图。上述的S324可以包括：
S324a，根据第一像素点的坐标和第二像素点的坐标，确定第一坐标向量。
其中，第一像素点为第一眼睛区域的任一像素点，第二像素点为第一眼睛区域中除第一像素点的任一像素点，第一坐标向量表征第二像素点的坐标相对于第一像素点的坐标的位移矢量。
应理解，上述的第一像素点是上述至少四个眼眶关键点确定的第一眼睛区域中的任一像素点；在一种可能的情况中，由于第一眼睛区域处于直角坐标系中，因此上述至少四个眼眶关键点也在直角坐标系中，每个眼眶关键点都对应了一个像素点坐标，上述的第一像素点可以是上述至少四个眼眶关键点中任意一个眼眶关键点对应的像素点，第二像素点亦然。
例如，假设上述的第一像素点的坐标为(1，1)，那么上述的第二像素点可以为除(1，1)外的任意像素点，若第二像素点为(3，2)，则上述的第一坐标向量为(-2，-1)。
S324h，根据第一像素点的第一梯度向量和第一坐标向量，确定第二像素点的第一点积值。
该第一梯度向量表征第一像素点在第一眼睛区域中的灰度变化量。例如，该梯度向量可以是(0，0)、(0，1)等，其根据第一像素点在第一眼睛区域种的灰度变化量来确定。对于上述的第一点积值，假设第一像素点的坐标为(x1，y1)，第二像素点的坐标为(C x1，C y1)，则第一坐标向量(d x1，d y1)为：
d x1＝x1-C x1
d y1＝y1-C y1
记第一梯度向量为(G x1，G y1)，则第一点积值Prod1为：
Prod1＝d x1·G x1+d y1·G y1
应理解，上述获取第一点积值的计算方式仅为本公开实施例给出的一种可能的实现方式，不代表对本公开的限定：在一些可能的实施方式中，第一坐标向量的方向也可以与上述相反。在另一些可能的实施方式中，可以选取一个标准值，对上述的第一坐标向量和第一梯度向量进行归一化处理后，再进行第一点积值的计算。
S324i，遍历第一眼睛区域的所有像素点，获取第二像素点的当前点积值。
该当前点积值为第二像素点与第一眼睛区域的所有像素点的点积值之和。应理解，对于第二像素点对应的坐标来说，其需要与第一眼睛区域中的所有像素点坐标进行点积，继而获取第二像素点的当前点积值。需要注意的是，可以对所有像素点与第二像素点的点积值进行筛选，如去除点积值为负的无效点积值，这样可以避免第二像素点的灰度误差。
S324j，确定第一眼睛区域中当前点积值最大的像素点为瞳孔中心。
可以理解的，越接近瞳孔中心的像素点对应的灰度值越低，故第一眼睛区域(灰度图像区域)的灰度梯度方向交汇于灰度值最小点，换句话说，第一眼睛区域中灰度梯度方向相交最多的像素点就是灰度值最小点；应理解，第一眼睛区域中灰度梯度方向相交最多的像素点，该像素点对应的当前点积值越大；综上，第一眼睛区域中当前点积值最大的像素点为第一眼睛的瞳孔中心。
应理解，通过获取第一坐标向量和第一像素点的第一梯度向量，确定第二像素点与第一像素点之间的第一点积值；对第二像素点来说，遍历第一眼睛区域的所有像素点，可以获取到第二像素点的当前点积值；当获取到第一眼睛区域中每个像素点的当前点积值后，确定当前点积值最大的像素点对应的坐标为第一眼睛的瞳孔中心。由于第一眼睛区域具有的像素点数量远小于目标对象的人脸照或全身照的像素点数量，因此本公开实施例提供的实现确定方法计算量较小，所需的硬件资源要求较低；对于互联网直播场景来说，本公开实施例相较于现有技术能够满足直播的实时性和低硬件资源要求的需求。
梯度向量表征像素点在第一眼睛区域中的灰度变化量，现有的视线确定方案中并未对其进行设计，都是使用传统的计算方案，而传统的计算方案中都是预设一个梯度阈值，对与预设梯度阈值匹配的灰度梯度进行计算，继而获取像素点的梯度向量，其存在需要手动调整参数的情况。在可选的实施例中，为了解决上述问题，在图5的基础上，给出一种获取梯度向量可能的视实现方式，请参见图6，图6为本公开实施例提供的另一种视线确定方法的流程示意图。在上述的S324h之前，上述的S324还可以包括：
S324b，获取第一像素点的第一灰度梯度和第二灰度梯度。
其中，第一梯度为第一像素点在直角坐标系的横坐标方向的灰度梯度，第二灰度梯度为第一像素点在直角坐标系的纵坐标方向的灰度梯度。
例如，假设第一眼睛区域为I(x，y)，I(x，y)中具有N个像素点，N为大于或等于1的正整数，第i个像素点的坐标为(x i，y i)，i∈(1，2，3，...，N)，记第i个像素点的第一灰度梯度为G xi(x i，y i)：
Figure PCTCN2021078404-appb-000003
记第i个像素点的第二灰度梯度为G yi(x i，y i)：
Figure PCTCN2021078404-appb-000004
应理解，上述的灰度梯度也可以选择更大或更小的附近坐标来计算。
S324c，获取第一像素点的梯度幅值。
该梯度幅值为第一灰度梯度的平方值与第二灰度梯度的平方值的和的算术平方根。例如，记第i个像素点的梯度幅值为G mi(x i，y i)：
Figure PCTCN2021078404-appb-000005
应理解，上述第一像素点的梯度幅值表征的是第一像素点在第一眼睛区域的灰度梯度变化量。
S324d，获取第一眼睛区域的梯度阈值。
该梯度阈值用于确定第一像素点的梯度向量。例如，记第一眼睛区域的梯度阈值为T g：
Figure PCTCN2021078404-appb-000006
其中，σ为超参数，可以选择20～80之间的任意数值，也可以根据视线确定的实际需求进行调整；std为第一眼睛区域中所有梯度幅值G mi(x i，y i)的梯度均值，mean为第一眼睛区域中所有梯度幅值G mi(x i，y i)的梯度标准差；h、w分别为第一眼睛区域(灰度图像区域)的长、宽。
S324e，判断第一像素点的梯度幅值是否大于或等于梯度阈值。
S324f，若是，则确定第一梯度向量为(0，0)。
例如，对于第i个像素点(x i，y i)，若G mi(x i，y i)≥T g，则置第i个像素点(x i，y i)的梯度向量为(0，0)。
S324g，若否，则根据第一灰度梯度、第二灰度梯度和梯度幅值，获取第一梯度向量。
例如，对于第i个像素点(x i，y i)，若G mi(x i，y i)＜T g，则对第i个像素点(x i，y i)的梯度幅值G mi(x i，y i)进行归一化，以获取第i个像素点(x i，y i)的梯度向量(G xi，G yi)：
Figure PCTCN2021078404-appb-000007
Figure PCTCN2021078404-appb-000008
应理解，上述对第i个像素点(x i，y i)的梯度进行归一化，可以去除在第一眼睛区域中未与第i个像素点(x i，y i)相交的灰度梯度的影响，提高瞳孔中心获取的准确性，继而提高视线方向确定的准确性。
例如，当使用归一化后第i个像素点(x i，y i)的梯度向量(G xi，G yi)进行上述的当前点积值计算时，也对第i个像素点(x i，y i)的坐标向量进行归一化处理，并遍历归一化后的梯度向量和坐标向量获取第i个像素点(x i，y i)的当前点积值S(x i，y i)，在第一眼睛区域中S(x i，y i)最大值所在位置，为第一眼睛的瞳孔中心，输出瞳孔中心的坐标(x 0，y 0)为：
Figure PCTCN2021078404-appb-000009
其中，h、w分别为第一眼睛区域(灰度图像区域)的长、宽。
可以预见的，由于视频输入信号一般具有输入噪声，为减少该输入噪声造成的抖动，可以对上述输出的瞳孔中心进行后处理；后处理的主要目的是平滑、减小抖动，可根据实际需求选用卡尔曼滤波器、指数平滑、Savitzky-Golay滤波器等方法对算法输出的结果序列进行平滑处理；一般情况下，应用指数 平滑已能满足基本需求，得到一个较好的瞳孔中心结果。
现有技术的视线确定一般需要使用深度学习算法或是外接设备，进而获取目标对象的视线方向，其计算量较大，成本较高，在互联网直播场景中，其并不要求非常高的准确率，使用过高的成本不适用于互联网直播场景。在可选的实施例中，为了解决上述问题，在图6的基础上，以第一眼睛区域是矩形区域，矩形区域包括第一边、第二边、第三边和第四边为例，上述的S323可以包括：
获取眼眶中心到第一边、第二边、第三边、第四边的距离，依次记为d 1、d 2、d 3、d 4。
获取瞳孔中心到第一边、第二边、第三边、第四边的距离，依次记为d′ 1、d′ 2、d′ 3、d′ 4。
视线方向可以通过以下公式计算：
Figure PCTCN2021078404-appb-000010
其中，α∈{1，2，3，4}，θ α表征第一眼睛的视线向第α边的偏移程度，∈为校正因子。
应理解，对大部分关键点检测算法，当头部转向大于一定角度时，目标对象的眼眶中心点常有偏移，而在偏移中，以目标对象的水平方向偏移居多，为矫正目标对象头部的水平偏移，此处引入校正因子∈，∈与目标对象的头部转向角度相关，其可以根据具体算法调整；例如，使用头部转向角度与∈的线行映射关系即可满足互联网直播的需求。可以预见的是，还可以引入目标对象的头部在垂直方向的校正因子，单独使用任一方向的校正因子或者结合多个方向进行组合校正均在本公开的保护范围内，此处不再赘述。
为了便于理解上述视线确定方法中的各个距离和视线方向，下面在图3示出的“37”、“38”、“40”、“41”四个眼眶关键点基础上，请参见图7，图7为本公开实施例提供的一种第一眼睛区域的示意图。图7中，“37”、“38”、“40”、“41”确定的灰度图像区域为第一眼睛区域，图7示出的“O”为眼眶中心点，图7示出的“P”为瞳孔中心点，“O”到第一边、第二边、第三边、第四边的距离依次为d 1、d 2、d 3、d 4，“P”到第一边、第二边、第三边、第四边的距离依次为d′ 1、d′ 2、d′ 3、d′ 4；根据上述视线方向θ α的计算公式，即可获取第一眼睛的视线方向。
另外，由于本公开实施例提供的视线确定方法中，可以复用人脸关键点信息，不需要引入额外的人脸特征检测，因而本公开所提供的视线确定方法计算量小、速度快，视线确定方法对应占用的硬件资源小，可以应用在移动端或具有较少硬件资源的电子设备上，更为方便的应用在实时的视频直播场景中，满足了视线确定的轻量化要求。
为了实现上述任一实施例提供的视线确定方法，本公开提供一种视线确定装置，以便执行上述实施 例中各个方法的步骤。请参见图8，图8为本公开实施例提供的一种视线确定装置的方框示意图。该视线确定装置40包括：获取模块41和处理模块42。
获取模块41用于根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点。第一眼睛为目标对象的任一只眼睛，眼眶关键点为根据检测图像的多个人脸关键点中符合第一预设条件的人脸关键点。
处理模块42用于根据至少四个眼眶关键点，确定第一眼睛的瞳孔中心和眼眶中心。其中，瞳孔中心为第一眼睛区域中，灰度值最小的点。第一眼睛区域为根据检测图像和至少四个眼眶关键点确定的灰度图像区域。眼眶中心为第一眼睛区域的中心点。
处理模块42还用于根据瞳孔中心和眼眶中心，确定第一眼睛的视线方向。
应理解，获取模块41和处理模块42可以协同实现上述的S31～S33及其可能的子步骤。
在可选的实施例中，处理模块42还用于根据检测图像，获取至少四个眼眶关键点组成的第一区域。处理模块42还用于将第一区域进行灰度处理，以获取第一眼睛区域。处理模块42还用于将第一眼睛区域的中心点作为眼眶中心。处理模块42还用于确定第一眼睛区域中的灰度值最小点，将灰度值最小点作为瞳孔中心。
应理解，处理模块42可以实现上述的S321～S324及其可能的子步骤。
在可选的实施例中，第一眼睛区域处于直角坐标系中，处理模块42还用于根据第一像素点的坐标和第二像素点的坐标，确定第一坐标向量。其中，第一像素点为第一眼睛区域的任一像素点，第二像素点为第一眼睛区域中除第一像素点的任一像素点，第一坐标向量表征第二像素点的坐标相对于第一像素点的坐标的位移矢量。处理模块42还用于根据第一像素点的第一梯度向量和第一坐标向量，确定第二像素点的第一点积值。第一梯度向量表征第一像素点在第一眼睛区域中的灰度变化量。处理模块42还用于遍历第一眼睛区域的所有像素点，获取第二像素点的当前点积值。当前点积值为第二像素点与第一眼睛区域的所有像素点的点积值之和。处理模块42还用于确定第一眼睛区域中当前点积值最大的像素点为瞳孔中心。
应理解，处理模块42可以实现上述的S324a、S324h、S324i、S324j及其可能的子步骤。
在可选的实施例中，获取模块41还用于获取第一像素点的第一灰度梯度和第二灰度梯度。其中，第一灰度梯度为第一像素点在直角坐标系的横坐标方向的灰度梯度，第二灰度梯度为第一像素点在直角坐标系的纵坐标方向的灰度梯度。获取模块41还用于获取第一像素点的梯度幅值。梯度幅值为第一灰度梯度的平方值与第二灰度梯度的平方值的和的算术平方根。获取模块41还用于获取第一眼睛区域的 梯度阈值。梯度阈值用于确定第一像素点的梯度向量。处理模块42还用于判断第一像素点的梯度幅值是否大于或等于梯度阈值。处理模块42还用于梯度幅值大于或等于梯度阈值时，确定第一梯度向量为(0，0)。处理模块42还用于梯度幅值小于梯度阈值时，根据第一灰度梯度、第二灰度梯度和梯度幅值，获取第一梯度向量。
应理解，处理模块42可以实现上述的S324b～S324g及其可能的子步骤。
在可选的实施例中，第一眼睛区域为矩形区域，矩形区域包括第一边、第二边、第三边和第四边。获取模块41还用于获取眼眶中心到第一边、第二边、第三边、第四边的距离，依次记为d 1、d 2、d 3、d 4。获取模块41还用于获取瞳孔中心到第一边、第二边、第三边、第四边的距离，依次记为d′ 1、d′ 2、d′ 3、d′ 4。处理模块42还用于通过以下公式获取视线方向：
Figure PCTCN2021078404-appb-000011
其中，α∈{1，2，3，4}，θ α表征第一眼睛的视线向第α边的偏移程度，∈为校正因子。
在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备执行本公开各个实施例所述方法的全部或部分步骤，该电子设备可以是，但不限于手机、平板电脑、可穿戴设备、车载设备、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)设备、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上 网本、个人数字助理(Personal Digital Assistant，PDA)等。而前述的存储介质包括：U盘、移动硬盘、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
应理解，在电子设备获取到目标对象的视线方向后，还可以发送给其它电子设备使用获取到的视线方向；例如，手机将目标对象的视线方向发送给个人计算机，手机还可以将目标对象的视线方向发送给显示屏，以使显示屏通过文字或图像的形式显示目标对象的视线方向。
综上所述，本公开提供一种视线确定方法、装置、电子设备和计算机可读存储介质，涉及互联网直播领域。该视线确定方法包括：根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；第一眼睛为目标对象的任一只眼睛，眼眶关键点为根据检测图像的多个人脸关键点中符合第一预设条件的人脸关键点；根据至少四个眼眶关键点，确定第一眼睛的瞳孔中心和眼眶中心；其中，瞳孔中心为第一眼睛区域中，灰度值最小的点；第一眼睛区域为根据检测图像和至少四个眼眶关键点确定的灰度图像区域；眼眶中心为第一眼睛区域的中心点；根据瞳孔中心和眼眶中心，确定第一眼睛的视线方向。在目标对象的第一眼睛中选取至少四个眼眶关键点，获取该至少四个眼眶关键点确定的第一眼睛的瞳孔中心和眼眶中心，确定第一眼睛的视线方向，相较于现有技术进行瞳孔检测，减少了计算量，相较于使用深度学习算法，降低了对硬件资源的要求，提高了视线确定的效率。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
工业实用性
本公开所涉及的视线确定方法、装置、电子设备和计算机可读存储介质能够减少计算量，降低对硬件资源的要求，提高视线确定的效率。
此外，可以理解的是，本公开的视线确定方法、装置、电子设备和计算机可读存储介质是可以重现的，并且可以用在多种工业应用中。例如，本申请的视线确定方法、装置、电子设备和计算机可读存储介质可以用于需要对目标对象的视线进行确定的任何应用。

Claims (15)

  1. 一种视线确定方法，其特征在于，所述方法包括：
    根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；所述第一眼睛为所述目标对象的任一只眼睛，所述眼眶关键点为根据所述检测图像的多个人脸关键点中符合第一预设条件的人脸关键点；
    根据所述至少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心；
    其中，所述瞳孔中心为第一眼睛区域中，灰度值最小的点；所述第一眼睛区域为根据所述检测图像和所述至少四个眼眶关键点确定的灰度图像区域；所述眼眶中心为所述第一眼睛区域的中心点；
    根据所述瞳孔中心和所述眼眶中心，确定所述第一眼睛的视线方向。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述至少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心，包括：
    根据所述检测图像，获取所述至少四个眼眶关键点组成的第一区域；
    将所述第一区域进行灰度处理，以获取所述第一眼睛区域；
    将所述第一眼睛区域的中心点作为所述眼眶中心；
    确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心。
  3. 根据权利要求2所述的方法，其特征在于，所述第一眼睛区域处于直角坐标系中，所述确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心，包括：
    根据第一像素点的坐标和第二像素点的坐标，确定第一坐标向量；
    其中，所述第一像素点为所述第一眼睛区域的任一像素点，所述第二像素点为所述第一眼睛区域中除所述第一像素点的任一像素点，所述第一坐标向量表征所述第二像素点的坐标相对于所述第一像素点的坐标的位移矢量；
    根据所述第一像素点的第一梯度向量和所述第一坐标向量，确定所述第二像素点的第一点积值；所述第一梯度向量表征所述第一像素点在所述第一眼睛区域中的灰度变化量；
    遍历所述第一眼睛区域的所有像素点，获取所述第二像素点的当前点积值；所述当前点积值为所述第二像素点与所述第一眼睛区域的所有像素点的点积值之和；
    确定所述第一眼睛区域中当前点积值最大的像素点为所述瞳孔中心。
  4. 根据权利要求3所述的方法，其特征在于，在所述根据所述第一像素点的第一梯度向量和所述第一坐标向量，确定所述第二像素点的第一点积值之前，所述确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心，还包括：
    获取所述第一像素点的第一灰度梯度和第二灰度梯度；
    其中，所述第一梯度为所述第一像素点在所述直角坐标系的横坐标方向的灰度梯度，所述第二灰度梯度为所述第一像素点在所述直角坐标系的纵坐标方向的灰度梯度；
    获取所述第一像素点的梯度幅值；所述梯度幅值为所述第一灰度梯度的平方值与所述第二灰度梯度的平方值的和的算术平方根；
    获取所述第一眼睛区域的梯度阈值；所述梯度阈值用于确定第一像素点的梯度向量；
    判断所述第一像素点的梯度幅值是否大于或等于所述梯度阈值；
    若是，则确定所述第一梯度向量为(0，0)；
    若否，则根据所述第一灰度梯度、第二灰度梯度和所述梯度幅值，获取所述第一梯度向量。
  5. 根据权利要求1-4任一项所述的方法，其特征在于，所述第一眼睛区域为矩形区域，所述矩形区域包括第一边、第二边、第三边和第四边，所述根据所述瞳孔中心和所述眼眶中心，确定所述第一眼睛的视线方向，包括：
    获取所述眼眶中心到所述第一边、第二边、第三边、第四边的距离，依次记为d 1、d 2、d 3、d 4；
    获取所述瞳孔中心到所述第一边、第二边、第三边、第四边的距离，依次记为d′ 1、d′ 2、d′ 3、d′ 4；
    通过以下公式获取所述视线方向：
    Figure PCTCN2021078404-appb-100001
    其中，α∈{1，2，3，4}，θ α表征所述第一眼睛的视线向第α边的偏移程度，ε为校正因子。
  6. 一种视线确定装置，其特征在于，包括：获取模块和处理模块；
    所述获取模块，配置成根据目标对象的检测图像，获取第一眼睛的至少四个眼眶关键点；所述第一眼睛为所述目标对象的任一只眼睛，所述眼眶关键点为根据所述检测图像的多个人脸关键点中符合第一 预设条件的人脸关键点；
    所述处理模块，配置成根据所述至少四个眼眶关键点，确定所述第一眼睛的瞳孔中心和眼眶中心；
    其中，所述瞳孔中心为第一眼睛区域中，灰度值最小的点；所述第一眼睛区域为根据所述检测图像和所述至少四个眼眶关键点确定的灰度图像区域；所述眼眶中心为所述第一眼睛区域的中心点；
    所述处理模块还配置成根据所述瞳孔中心和所述眼眶中心，确定所述第一眼睛的视线方向。
  7. 根据权利要求6所述的装置，其特征在于，所述处理模块还配置成根据所述检测图像，获取所述至少四个眼眶关键点组成的第一区域；
    所述处理模块还配置成将所述第一区域进行灰度处理，以获取所述第一眼睛区域；
    所述处理模块还配置成将所述第一眼睛区域的中心点作为所述眼眶中心；
    所述处理模块还配置成确定所述第一眼睛区域中的灰度值最小点，将所述灰度值最小点作为所述瞳孔中心。
  8. 根据权利要求7所述的装置，其特征在于，所述第一眼睛区域处于直角坐标系中，所述处理模块还配置成根据第一像素点的坐标和第二像素点的坐标，确定第一坐标向量；
    其中，所述第一像素点为所述第一眼睛区域的任一像素点，所述第二像素点为所述第一眼睛区域中除所述第一像素点的任一像素点，所述第一坐标向量表征所述第二像素点的坐标相对于所述第一像素点的坐标的位移矢量；
    所述处理模块还配置成根据所述第一像素点的第一梯度向量和所述第一坐标向量，确定所述第二像素点的第一点积值；所述第一梯度向量表征所述第一像素点在所述第一眼睛区域中的灰度变化量；
    所述处理模块还配置成遍历所述第一眼睛区域的所有像素点，获取所述第二像素点的当前点积值；所述当前点积值为所述第二像素点与所述第一眼睛区域的所有像素点的点积值之和；
    所述处理模块还配置成确定所述第一眼睛区域中当前点积值最大的像素点为所述瞳孔中心。
  9. 根据权利要求8所述的装置，其特征在于，所述获取模块还配置成获取所述第一像素点的第一灰度梯度和第二灰度梯度；
    其中，所述第一灰度梯度为所述第一像素点在所述直角坐标系的横坐标方向的灰度梯度，所述第二灰度梯度为所述第一像素点在所述直角坐标系的纵坐标方向的灰度梯度；
    所述获取模块还配置成获取所述第一像素点的梯度幅值；所述梯度幅值为所述第一灰度梯度的平方 值与所述第二灰度梯度的平方值的和的算术平方根；
    所述获取模块还配置成获取所述第一眼睛区域的梯度阈值；所述梯度阈值用于确定所述第一像素点的梯度向量。
  10. 根据权利要求9所述的装置，其特征在于，所述处理模块还配置成判断所述第一像素点的梯度幅值是否大于或等于所述梯度阈值。
  11. 根据权利要求10所述的装置，其特征在于，所述处理模块还配置成：若所述梯度幅值大于或等于所述梯度阈值，则确定所述第一梯度向量为(0，0)；若所述梯度幅值小于所述梯度阈值，则根据所述第一灰度梯度、所述第二灰度梯度和所述梯度幅值，获取所述第一梯度向量。
  12. 根据权利要求6至11中的任一项所述的装置，其特征在于，所述第一眼睛区域为矩形区域，所述矩形区域包括第一边、第二边、第三边和第四边；
    所述获取模块还配置成获取所述眼眶中心到所述第一边、第二边、第三边、第四边的距离，依次记为d 1、d 2、d 3、d 4；
    所述获取模块还配置成获取所述瞳孔中心到所述第一边、第二边、第三边、第四边的距离，依次记为d′ 1、d′ 2、d′ 3、d′ 4；
    所述处理模块还配置成通过以下公式获取所述视线方向：
    Figure PCTCN2021078404-appb-100002
    其中，α∈{1，2，3，4}，θ α表征所述第一眼睛的视线向第α边的偏移程度，ε为校正因子。
  13. 一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-5任一项所述的方法。
  14. 根据权利要求13所述的电子设备，其特征在于，所述电子设备还包括通信接口，所述通信接口配置成与其他节点设备进行信令或数据的通信，所述存储器、所述处理器和所述通信接口相互之间直接或间接地电性连接，以实现数据的传输或交互。
  15. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法。
PCT/CN2021/078404 2020-03-02 2021-03-01 视线确定方法、装置、电子设备和计算机可读存储介质 WO2021175180A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010137655.9A CN111368717B (zh) 2020-03-02 2020-03-02 视线确定方法、装置、电子设备和计算机可读存储介质
CN202010137655.9 2020-03-02

Publications (1)

Publication Number Publication Date
WO2021175180A1 true WO2021175180A1 (zh) 2021-09-10

Family

ID=71210307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/078404 WO2021175180A1 (zh) 2020-03-02 2021-03-01 视线确定方法、装置、电子设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111368717B (zh)
WO (1) WO2021175180A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946221A (zh) * 2021-11-03 2022-01-18 广州繁星互娱信息科技有限公司 眼部驱动控制方法和装置、存储介质及电子设备
CN115984950A (zh) * 2022-12-28 2023-04-18 北京字跳网络技术有限公司 视线检测方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368717B (zh) * 2020-03-02 2023-07-04 广州虎牙科技有限公司 视线确定方法、装置、电子设备和计算机可读存储介质
CN113420721B (zh) * 2021-07-21 2022-03-29 北京百度网讯科技有限公司 标注图像关键点的方法和装置
CN113766133B (zh) * 2021-09-17 2023-05-26 维沃移动通信有限公司 视频录制方法及装置
CN114257824B (zh) * 2021-11-25 2024-03-19 广州方硅信息技术有限公司 直播显示方法、装置、存储介质及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140055342A1 (en) * 2012-08-21 2014-02-27 Fujitsu Limited Gaze detection apparatus and gaze detection method
CN104809458A (zh) * 2014-12-29 2015-07-29 华为技术有限公司 一种瞳孔中心定位方法及装置
CN106326880A (zh) * 2016-09-08 2017-01-11 电子科技大学 瞳孔中心点定位方法
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108734086A (zh) * 2018-03-27 2018-11-02 西安科技大学 基于眼部区域生成网络的眨眼频率和视线估计方法
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质
CN111368717A (zh) * 2020-03-02 2020-07-03 广州虎牙科技有限公司 视线确定方法、装置、电子设备和计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977622B (zh) * 2017-11-30 2021-10-26 西安科锐盛创新科技有限公司 基于瞳孔特征的眼睛状态检测方法
CN109409298A (zh) * 2018-10-30 2019-03-01 哈尔滨理工大学 一种基于视频处理的视线追踪方法
CN110363133B (zh) * 2019-07-10 2021-06-01 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN110555426A (zh) * 2019-09-11 2019-12-10 北京儒博科技有限公司 视线检测方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140055342A1 (en) * 2012-08-21 2014-02-27 Fujitsu Limited Gaze detection apparatus and gaze detection method
CN104809458A (zh) * 2014-12-29 2015-07-29 华为技术有限公司 一种瞳孔中心定位方法及装置
CN106326880A (zh) * 2016-09-08 2017-01-11 电子科技大学 瞳孔中心点定位方法
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108734086A (zh) * 2018-03-27 2018-11-02 西安科技大学 基于眼部区域生成网络的眨眼频率和视线估计方法
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质
CN111368717A (zh) * 2020-03-02 2020-07-03 广州虎牙科技有限公司 视线确定方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENGYANG WU; SRIVIGNESH RAJENDRAN; TARRENCE VAN AS; JOELLE ZIMMERMANN; VIJAY BADRINARAYANAN; ANDREW RABINOVICH: "EyeNet: A Multi-Task Network for Off-Axis Eye Gaze Estimation and User Understanding", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 24 August 2019 (2019-08-24), 201 Olin Library Cornell University Ithaca, NY 14853, XP081469148 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946221A (zh) * 2021-11-03 2022-01-18 广州繁星互娱信息科技有限公司 眼部驱动控制方法和装置、存储介质及电子设备
CN115984950A (zh) * 2022-12-28 2023-04-18 北京字跳网络技术有限公司 视线检测方法、装置、电子设备及存储介质
CN115984950B (zh) * 2022-12-28 2024-03-12 北京字跳网络技术有限公司 视线检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111368717B (zh) 2023-07-04
CN111368717A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
WO2021175180A1 (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
US11107232B2 (en) Method and apparatus for determining object posture in image, device, and storage medium
US20240078646A1 (en) Image processing method, image processing apparatus, and non-transitory storage medium
WO2020199906A1 (zh) 人脸关键点检测方法、装置、设备及存储介质
US9946954B2 (en) Determining distance between an object and a capture device based on captured image data
CN111435438A (zh) 适于增强现实、虚拟现实和机器人的图形基准标记识别
CN109523581B (zh) 一种三维点云对齐的方法和装置
WO2019137038A1 (zh) 注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质
WO2021258588A1 (zh) 一种人脸图像识别方法、装置、设备及存储介质
WO2019042419A1 (zh) 图像跟踪点获取方法、设备及存储介质
US20140240310A1 (en) Efficient approach to estimate disparity map
US11361587B2 (en) Age recognition method, storage medium and electronic device
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
WO2019232834A1 (zh) 人脸亮度调整方法、装置、计算机设备及存储介质
CN112991180B (zh) 图像拼接方法、装置、设备以及存储介质
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
US20220215507A1 (en) Image stitching
US11922720B2 (en) Perspective distortion correction on faces
JP7297989B2 (ja) 顔生体検出方法、装置、電子機器及び記憶媒体
US11462052B2 (en) Image processing device, image processing method, and recording medium
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN112634366A (zh) 位置信息的生成方法、相关装置及计算机程序产品
CN116912467A (zh) 图像拼接方法、装置、设备及存储介质
TWI749821B (zh) 圖像特徵比對處理方法與系統
CN111062874B (zh) 文本图像显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21765457

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21765457

Country of ref document: EP

Kind code of ref document: A1