WO2011038527A1 - 一种注视点检测方法及其装置 - Google Patents

一种注视点检测方法及其装置 Download PDF

Info

Publication number
WO2011038527A1
WO2011038527A1 PCT/CN2009/001105 CN2009001105W WO2011038527A1 WO 2011038527 A1 WO2011038527 A1 WO 2011038527A1 CN 2009001105 W CN2009001105 W CN 2009001105W WO 2011038527 A1 WO2011038527 A1 WO 2011038527A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
camera
reference table
gaze point
screen
Prior art date
Application number
PCT/CN2009/001105
Other languages
English (en)
French (fr)
Inventor
庄珑鹏
Original Assignee
阿尔卡特朗讯
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿尔卡特朗讯 filed Critical 阿尔卡特朗讯
Priority to CN200980159898.4A priority Critical patent/CN102473033B/zh
Priority to JP2012531204A priority patent/JP5474202B2/ja
Priority to KR1020127010876A priority patent/KR101394719B1/ko
Priority to EP20090849935 priority patent/EP2485118A4/en
Priority to US13/496,565 priority patent/US20120169596A1/en
Priority to PCT/CN2009/001105 priority patent/WO2011038527A1/zh
Publication of WO2011038527A1 publication Critical patent/WO2011038527A1/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • Embodiments of the present invention relate to the field of image processing, and in particular, to a gaze point detection method and apparatus based on face detection and image measurement. Background technique
  • the movement of the hand is limited for some reason, such as physical disability or trauma, so the above cursor movement can become difficult or even impossible.
  • the activity of the hand is normal, in some special cases, it is desirable to perform the above-described cursor movement without using a hand, or to reduce the movement distance of the hand as much as possible.
  • An aspect of the present invention provides a gaze point detecting apparatus for calculating a gaze point of a user on a screen, the apparatus comprising: a camera for capturing a face image of a user; a reference table obtaining unit, configured to acquire a reference table that refers to a relationship between the face image and the direction of the line of sight of the user; and a calculation unit that performs image measurement according to the face image of the user captured by the camera, and searches a reference table in the reference table acquisition unit to calculate the user The gaze point on the screen.
  • the reference table obtaining unit includes at least one of the following: a reference table building unit, The reference table is constructed according to at least one reference face image of the user captured by the camera; and a reference table storage unit in which the already constructed reference table is stored.
  • the calculation unit includes: a line-of-sight direction calculation unit that measures a distance between a midpoint between the two pupils of the user in the user's face image and the camera according to the position of the camera, and calculates a line of sight direction of the user by searching the reference table;
  • the fixation point calculation unit calculates the gaze point of the user on the screen according to the position of the camera, the distance between the midpoint between the user's two pupils and the camera, and the direction of the user's line of sight.
  • the gaze point detecting device further comprises: a cursor moving unit, after the gaze point is calculated, if the gaze point is located within the screen, the cursor moving unit moves the cursor on the screen to the gaze point.
  • the cursor movement unit does not move the cursor if the distance between the fixation point and the current cursor is less than a predefined value.
  • the fixation point detecting means further comprises: an attachment unit for performing an operation at the cursor position.
  • the accessory unit includes at least one of a mouse, a keyboard, a touch pad, a handle, and a remote controller.
  • Another aspect of the present invention provides a gaze point detecting method for calculating a gaze point of a user on a screen, the method comprising the following steps: a reference table obtaining step of acquiring a reference face image and a user's line of sight direction The reference table of relationships; the gaze point calculation step, using the camera to capture the user's face image, performing image measurements and looking up a reference table to calculate the user's gaze point on the screen.
  • the reference table obtaining step comprises: acquiring at least one reference face image of the user using the camera to construct a reference table including a relationship between the reference face image and the direction of the user's line of sight; or directly acquiring the already constructed reference table.
  • the gaze point calculation step comprises: measuring a distance between a midpoint between the two pupils of the user in the user's face image and the camera according to the position of the camera, and calculating a line of sight direction of the user by searching the reference table; and according to the camera The position, the distance between the user's two pupils and the camera, and the user's line of sight, calculate the user's gaze point on the screen.
  • the gaze point detecting method further comprises: after calculating the gaze point, if the gaze point is located within the screen, moving the cursor on the screen to the gaze point.
  • the distance between the fixation point and the current cursor is less than a predefined value, the cursor is not moved.
  • the predefined value can be set as needed.
  • Yet another aspect of the present invention provides a multi-screen computer having a plurality of screens surrounding a user, the multi-screen computer including the gaze point detecting device of the present invention.
  • FIG. 1 is a block diagram showing an embodiment of a gaze point detecting apparatus according to the present invention
  • FIG. 2b is a flowchart showing sub-steps of the fixation point detection method of FIG. 2a
  • FIG. 3 is a diagram showing a reference face in an exemplary coordinate system Schematic diagram of the image
  • FIG. 4 is a schematic diagram of an exemplary facial image
  • Figure 5a is a schematic diagram showing different face directions
  • Figure 5b is a coded diagram showing different face directions
  • Figure 6a is a schematic diagram showing an eyeball model in different directions
  • Figure 6b is a schematic diagram showing the relationship between the vertical angle and the horizontal angle of the eyeball model in the exemplary coordinate system
  • Figure 7 is a schematic diagram showing the relationship between the projection circle radius and the cone apex angle
  • Figure 8 is a diagram showing the angle between the projection of the camera and the user on the image ( ⁇ 'B') and the X-axis (A., C ');
  • Figure 9 is a schematic diagram showing gaze point detection in accordance with the present invention.
  • Figure 10 is a block diagram showing an example of an eye direction table
  • Fig. 11 is a block diagram showing one example of a projected circle radius-cone apex table. detailed description
  • FIG. 1 is a block diagram showing an embodiment of a fixation point detecting apparatus 100 according to the present invention.
  • the fixation point detecting apparatus 100 includes a camera 102, a reference table acquisition unit 104, and a calculation unit 106.
  • the camera 102 can be a conventional camera in the art for capturing a facial image of a user.
  • the reference table acquisition unit 104 is configured to acquire a reference table including a relationship between the reference face image and the direction of the user's line of sight.
  • the calculation unit 106 can calculate the line of sight direction of the user through the reference table, and then calculate the gaze point of the user on the screen 108.
  • a 3-axis coordinate system as shown in Fig. 3 can be established, the origin of which is located in the upper left corner of the screen. From the perspective of the computer user, the axis extending from left to right along the upper edge of the screen is the X axis, and the axis extending from the top to the bottom along the left side of the screen is the Y axis, and perpendicular to the screen from the far side (the screen). The axis extending to the near (user end) is the Z axis.
  • the camera 102 is mounted at a point A of coordinates ( Xl , y h 0). As shown in Figure 4, point B is the midpoint between the two pupils of the user.
  • the AB distance is the distance between point A (the position of the camera) and point B.
  • the pupil distance is the distance between the centers of the two pupils of the user in the image.
  • the plane Pb refers to a plane perpendicular to the straight line AB where the point B is located.
  • the Yb axis is the line of intersection between the vertical plane where the line AB is located and the plane Pb
  • the Xb axis is a line perpendicular to the Yb axis in the plane Pb.
  • the distance between point A and point B can be detected according to the size of the face image or the related component distance.
  • a reference face image is introduced. As shown in FIG. 3, the reference face image refers to when the user's face is directly in front of the camera, and the distance between A and B is D. (The distance between the camera and the midpoint of the two pupils) The image captured by the camera. Since there may be a relative error, the more the number of reference face images, the smaller the relative error, and the more accurate the detection result. For example, two reference face images are introduced, one of which has an AB distance of D.
  • the center of each pupil can be positioned so that the distance P between the point B and the center of the two pupils can be obtained, as shown in FIG. If the user's face image is at a distance of D. The reference face image, then the distance between the centers of the two pupils is the reference pupil distance P. . If the user's face image is a reference face image of distance, then the distance between the centers of the two pupils is the reference pitch P!.
  • the reference table includes an eyeball direction table and a projected circle radius-cone top angle table, which will be described in detail below with reference to Figs.
  • Figure 5a shows the possible face directions. According to the different orientation of the face, the face orientation is roughly divided into nine directions, and different face directions are encoded, as shown in Fig. 5b.
  • the contour of the user's eye pupil can be determined simultaneously.
  • the user's eyeball can be regarded as a sphere, and the pupil can be regarded as a circle on the surface of the eyeball. Also, the pupil will point directly to the gaze point on the screen.
  • Figure 6a shows an eyeball model with 2 different eyeball directions. As shown in Figure 6a, when the user looks in a different direction, the pupil changes direction with the eye. In the image obtained by the camera, the contour of the pupil changes from one ellipse to another. Based on the contour of the pupil and the direction of the face, the angle of rotation of each eyeball can be obtained, including:
  • ⁇ ⁇ refers to the angle between the pupil direction and the Yb axis
  • the table includes at least five columns of information: the first column represents the index; the second column represents the vertical rotation angle ⁇ ⁇ iller; the third column represents the horizontal rotation angle list 4 The corresponding approximate facial direction is shown; and the fifth column includes images relating to the pupil contour of the eye (pupil) after vertical and horizontal rotation.
  • the values of the second column ( ⁇ Ver) and the third column ( ⁇ Hor ) vary between 0. 0- and 180. 0. As shown in Figure 6b, ⁇ ⁇ and ⁇ H . The value of r must satisfy point 0 on the spherical surface.
  • Eye direction in the range table is shown in Figure 6 the camera side facing the spherical surface (i.e., the negative direction of the Z axis-axis) corresponding to the sample points on 9 ⁇ and ⁇ ⁇ ", and the camera can see the pupil Bian The contour of the sample.
  • the default angle increment is 0.1 degrees.
  • Figure 10 only shows the table contents of the pupil at point M, point ⁇ [, point Q and point Q' (where the index column should be an integer value increment in the actual implementation, such as 1, 2, 3, etc., For the convenience of writing, write I M , I N , I Q , etc.).
  • the table is used as follows: After obtaining the eye image, extract the outline of the left eye (or right eye) and find the most suitable contour from the table to obtain the following angle: 9 V . ⁇ , ⁇ character or - L (or ⁇ Ver . R , ⁇ Hor _ B ) 0 From the table we can see the points symmetrical around the center of the sphere in Figure 6b, such as point Q and point Q ', seen by the camera The pupil contour is the same, which needs to be added and judged by the direction of the face. In actual operation, according to the positional relationship of the user with respect to the camera 102, and the size of the screen, the user may be at an angle e. v The range of n ⁇ increases the interpolation density, which is helpful for improving the accuracy of the results.
  • FIG. 11 shows the relationship of all possible apex angles and the radius of the projected circle for a certain type of camera cone.
  • the distance units used in the table are pixels, which can be converted into other units.
  • the radius of the projected circle ranges from 0 to R MAX .
  • R MM is the furthest distance from the center of the image to the corner of the image.
  • the contents of the table can be set according to different cameras, because different cameras have different resolutions, focal lengths and wide angles.
  • the recommended projection radius radius increment is 5 pixels. The smaller the granularity, the more accurate the result, but the more time it takes to perform the calculations and the number of comparisons.
  • the projection circle radius shown in Fig. 11 - the cone top angle table is in units of 10 pixels, the camera is 20 Q pixels, and the maximum viewing angle of the camera is 40 degrees (20 degrees left and right).
  • the interpolation density is increased for the angle corresponding to the position where the user is often located (that is, the apex angle of the cone), which is helpful for improving the accuracy of the result.
  • the reference table acquisition unit 104 includes a reference table construction unit 1042 that is captured by the camera 102 with a distance D. And the reference face image, construct the eye direction table and the projection circle radius-cone apex table described above.
  • the reference table acquisition unit 104 may further include a reference table storage unit 1044. If the reference table has been constructed and saved in the reference table storage unit 1044, the reference table acquisition unit 104 can directly read therefrom. Further, the reference table constructed by the reference table construction unit 1042 can be stored in the reference table storage unit 1044.
  • the calculation unit 106 may include a line of sight direction calculation unit 1062 and a fixation point calculation unit.
  • the line-of-sight direction calculating unit 1062 measures the distance between the midpoint between the two pupils of the user in the user's face image and the camera according to the position of the camera, and calculates the line-of-sight direction of the user by searching the reference table. Specifically, the line-of-sight direction calculating unit 1062 detects the general direction of the user's face, the outline of the user's eyes and pupils, and the pupil distance P using a mature face detection/recognition algorithm such as OpenCV. Use the distance? , reference distance P. And to calculate the AB distance L.
  • the Di Stance and the Image Size have the following relationship:
  • the line-of-sight direction calculating unit 1062 further calculates the angles (1 and 3. Specifically, ⁇ is the line ⁇ in the plane 2, the angle between the ⁇ and the X-axis, where ⁇ is the vertical projection point on the plane ⁇ 2, and B is two The midpoint between the pupils (as shown in Figure 9.) Since plane 2 is parallel to plane 1, this angle a is the same as the projection angle a in the camera image.
  • Figure 8 shows the points within the image. ' , ⁇ ' and angle a ' , they satisfy:
  • a 0 , B , Xsin(a') B'C (8)
  • the line-of-sight direction calculation unit 1062 can search in the projection circle radius-cone apex table to find its projection circle radius value and length ⁇ . 'B' matches the most suitable line. Thus, the apex angle of the cone in the same row is the angle 0. Then, the line-of-sight direction calculation unit 1062 calculates the coordinates of the point B. Using the previously obtained result, when point B is at the lower left of the Ao point (viewing the image angle from the front, as shown in Fig. 9, the same below), the coordinates of point B can be calculated according to the following equation (x 3 , y 3 , z 3 ) :
  • the gaze direction calculation unit 1062 calculates the eyeball rotation angle. Specifically, according to the image of the camera, the contour of the pupil of the left eye is detected, and the most suitable contour is found from the above-mentioned eye direction table, combined with the direction of the face, thereby obtaining the vertical of the eyeball relative to the Yb axis. Turn the angle ⁇ H. Rt and horizontal rotation angle ⁇ H relative to the Xb axis. Rt . The right eye ⁇ v er - R , 6 folk. ⁇ can also be obtained in the same procedure.
  • the line-of-sight direction calculating unit 1062 calculates the direction of the user's line of sight:
  • the direction of the above line of sight is relative to the Xb axis and the Yb axis in the plane Pb, and needs to be further converted into an angle with respect to the X axis and the Y axis.
  • the line-of-sight direction calculating unit 1062 calculates the angle ⁇ ⁇ between the horizontal axis Xb axis of the plane Pb and the horizontal axis X-axis of the plane P1 and the angle ⁇ ⁇ ⁇ between the Yb axis and the vertical axis Y-axis of the plane PI. As shown in 9, they satisfy:
  • the line-of-sight direction calculating unit 1062 can calculate the final ⁇ Ver-Final and ⁇ Hor-Final ⁇
  • the fixation point calculation unit 1064 calculates the fixation point of the user on the screen 108 based on the position of the camera, the distance between the midpoint between the user's two pupils and the camera, and the direction of the user's line of sight. Specifically, the gaze point calculation unit 1064 calculates the coordinates of the fixation point D on the screen 108 by using the vertex and the - Hor-Final 7 calculated by the gaze direction calculation unit 1062 in accordance with the following equation: 74):
  • the fixation point detecting device 100 may further include a cursor moving unit 112.
  • the cursor moving unit 112 judges whether or not the cursor needs to be moved. Move the cursor to the fixation point if needed. Otherwise, the cursor is not moved.
  • there may be some deviation between the true gaze point and the calculated gaze point D due to the accuracy of the calculation and other factors.
  • the concept of a gaze area is introduced here, which is a circular area on the screen centered on the point D (the calculated gaze point) with a predefined length G as a radius. Therefore, whenever a new gaze point D is obtained, the cursor is not moved when the gaze point is outside the displayable range of the screen. Furthermore, as long as the distance between the current cursor and point D is less than the predefined value G, the cursor does not move. Conversely, move the cursor to the fixation point D.
  • the fixation point detecting device 100 may further include an accessory unit 110.
  • the user can perform operations at the cursor using one or more of the attached units, such as the mouse, keyboard, touch pad, handle, and remote control. For example, the user can click or double-click with the mouse, or use the handle or remote control to perform various key operations.
  • the method begins at S20.
  • preparatory work is performed.
  • the preparation work includes: collecting a reference face image on the camera, obtained in this embodiment with a distance D. And the reference face image.
  • the reference face image is crucial for the user's face detection/recognition.
  • the distance between the midpoints of the two pupils is obtained as the reference pupil distance P.
  • oh the distance between the midpoints of the two pupils.
  • determine the location of the camera which is the coordinates of point A ( ⁇ , ⁇ , 0).
  • step S24 gaze point detection is performed.
  • the specific steps of this fixation point detection are shown in Figure 2b. Specifically, at S241, the face of the user, the pupil contour, and the pupil distance P are detected. In S243, what is the distance used? , reference distance ⁇ and? To calculate the AB distance L. At step S245, - angles 0 and 3 are obtained. At step S247, the coordinates of point B are calculated. Thereafter, in step S249, the eyeball rotation angle is calculated.
  • the contour of the pupil of the left eye is detected, and the most suitable contour is found from the above-mentioned eye direction table, combined with the direction of the face, thereby obtaining the eyeball relative to the Yb axis.
  • the vertical rotation angle ⁇ ⁇ ⁇ ⁇ with respect to the horizontal axis of the rotation angle ⁇ "or - Lo right eye ⁇ Ver _ R, ⁇ ⁇ " - ⁇ can be obtained following the same steps.
  • calculate the direction of the user's line of sight calculate the direction of the user's line of sight.
  • step S251 the coordinates (, y 4 , 0) of the fixation point D on the screen 108 are calculated based on the calculated direction of the user's line of sight.
  • step S26 it is optionally judged at step S26 whether or not the cursor needs to be moved. If necessary, the cursor is moved to the fixation point in step S28. Otherwise, the cursor is not moved. Thereafter, the method flow may return to step S24 to perform gaze point detection cyclically. If the method is terminated, the method ends at S30.
  • the present invention provides a gaze point detection method and apparatus based on face detection and image measurement.
  • a user's gaze point on the screen is calculated, and the cursor can be used. Move to this area.
  • the possible gaze area can be calculated and the cursor is moved into the area, after which the user manually moves the cursor to the desired precise position, which greatly shortens the actual moving distance of the user and reduces the time.
  • the calculation load of the fixation point detecting device can be realized by intentionally setting a large predefined radius G according to the actual device accuracy.
  • the detection method and apparatus of the present invention can also be applied to a multi-screen computer having a plurality of screens surrounding a user.
  • the specific implementation is: When there are multiple screens, determine the individual screens The orientation and its angular relationship with the plane of the camera.
  • the above-described principle of the present invention is utilized, and by calculating the intersection of the line of sight extension line and the associated plane, the point of gaze is finally obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Description

种注视点检测方法及其装置 技术领域
本发明的实施例涉及图像处理领域， 具体涉及一种基于脸部检测 和图像测量的注视点检测方法和装置。 背景技术
随着图像处理技术的不断发展， 在当今的视频显示屏 （例如台式 计算机或膝上计算机的屏幕， 或电视机的屏幕， 等等） 上， 当用户希 望将光标从屛幕上的某个区域移动到其他区域时， 该用户通常需要使 用附属设备 （例如鼠标或触摸板， 或是遥控器） 来完成该动作。
然而， 对于某些用户来说， 手的活动由于某些原因而受到限制， 例如生理上的残疾或受到外伤， 因而上述光标移动会变得艰难甚至无 法实现。 另外， 即使手的活动功能正常， 在某些特殊情况下， 也希望 无需用手便能够执行上述的光标移动， 或者尽可能地减少手的移动距 离。
除此之外， 即使不移动光标， 某些应用也需要检测用户在显示屏 上的注视点， 以便进行后续的处理和操作。
如今， 摄像头不断普及、 成熟脸部检测算法的不断涌现， 使得基 于摄像头的视频图像的检测变得可行。 为此， 需要一种利用摄像头的 注视点检测技术， 以检测用户在显示屏上的注视点。 发明内容
本发明的一个方面提供了一种注视点检测装置， 用于计算用户在 屏幕上的注视点， 所述装置包括： 摄像头， 用于捕获用户的脸部图像; 参考表获取单元， 用于获取包括参考脸部图像与用户视线方向之间的 关系的参考表； 以及计算单元， 根据摄像头所捕获的用户的脸部图像 来执行图像测量， 并査找参考表获取单元中的参考表， 以计算用户在 屏幕上的注视点。
优选地， 参考表获取单元包括以下至少一项： 参考表构建单元， 根据摄像头所捕获的用户的至少一个参考脸部图像来构建参考表； 以 及参考表存储单元， 其中存储有已经构建好的参考表。
优选地，计算单元包括：视线方向计算单元，根据摄像头的位置， 测量用户脸部图像中用户的两个瞳孔之间的中点与摄像头的距离， 并 通过查找参考表计算用户的视线方向； 以及注视点计算单元， 根据摄 像头的位置、 用户的两个瞳孔之间的中点与摄像头的距离以及用户的 视线方向， 计算用户在屏幕上的注视点。
优选地， 注视点检测装置还包括： 光标移动单元， 在计算出注视 点后， 如果该注视点位于屏幕之内， 则光标移动单元将屏幕上的光标 移动到注视点。
优选地， 如果注视点与当前光标之间的距离小于预定义值， 则光 标移动单元不移动光标。
优选地， 注视点检测装置还包括： 附属单元， 用于在光标位置处 执行操作。 优选地， 附属单元包括鼠标、 键盘、 触摸板、 手柄和遥控 器中至少一项。
本发明的另一方面提供了一种注视点检测方法， 用于计算用户在 屏幕上的注视点， 所述方法包括如下步骤： 参考表获取步骤， 获取包 括参考脸部图像与用户视线方向之间的关系的参考表； 注视点计算步 骤， 使用摄像头捕获用户的脸部图像， 执行图像测量并查找参考表， 以计算用户在屏幕上的注视点。
优选地， 参考表获取步骤包括： 使用摄像头获取用户的至少一个 参考脸部图像， 以构建包括参考脸部图像与用户视线方向之间的关系 的参考表； 或者直接获取已经构建好的参考表。
优选地， 注视点计算步骤包括： 根据摄像头的位置， 测量用户脸 部图像中用户的两个瞳孔之间的中点与摄像头的距离， 并通过查找参 考表计算用户的视线方向； 以及根据摄像头的位置、 用户的两个瞳孔 之间的中点与摄像头的距离以及用户的视线方向， 计算用户在屏幕上 的注视点。
优选地， 注视点检测方法还包括： 在计算出注视点后， 如果该注 视点位于屏幕之内， 则将屏幕上的光标移动到注视点。 优选地， 如果注视点与当前光标之间的距离小于预定义值， 则不 移动光标。 优选地， 可以根据需要来设置所述预定义值。
本发明的又一方面提供了一种多屏幕计算机， 具有围绕用户的多 个屏幕， 该多屏幕计算机包括本发明的注视点检测装置。 附图说明
通过下文结合附图的详细描述， 本发明的上述和其他特征将会变 得更加明显， 其中- 图 1是示出了根据本发明的注视点检测装置的实施例的框图； 图 2a是示出了根据本发明的注视点检测方法的实施例的流程图； 图 2b是示出了图 2a中注视点检测方法的子步骤的流程图； 图 3是示出示例性坐标系中的参考脸部图像的示意图；
图 4是示例性的脸部图像的示意图；
图 5a是示出了不同的脸部方向的示意图；
图 5b是示出了不同的脸部方向的编码图；
图 6a是示出了不同方向的眼球模型的示意图；
图 6b是示出了在示例性坐标系中的眼球模型的垂直夹角和水平 夹角之间关系的示意图；
图 7是示出了投影圆半径和圆锥体顶角的关系示意图；
图 8是示出摄像头与用户的连线在图像上的投影 （Α。' B ' ) 和 X 轴 （A。， C ' ) 的夹角的示意图；
图 9是示出了根据本发明的注视点检测的原理图；
图 10是示出了眼球方向表的一个示例的框图； 以及
图 11是示出了投影圆半径-圆锥体顶角表的一个示例的框图。 具体实施方式
下面， 通过结合附图对本发明的具体实施例的描述， 本发明的原 理和实现将会变得明显。 应当注意的是， 本发明不应局限于下文所述 的具体实施例。
图 1是示出了根据本发明的注视点检测装置 100的实施例的框图。 如图 1所示，该注视点检测装置 100包括摄像头 102、参考表获取单元 104 和计算单元 106。 摄像头 102可以是本领域中的常规摄像头， 用于捕获 用户的脸部图像。参考表获取单元 104用于获取包括参考脸部图像与用 户视线方向之间的关系的参考表。计算单元 106可以通过该参考表来计 算用户的视线方向， 继而计算出用户在屏幕 108上的注视点。
下面， 作为示例， 参照图 3- 9来说明参考脸部图像和参考表的一 种具体实现， 以及注视点检测装置 100中各个组件的操作。
为了进行定位和计算， 可建立如图 3所示的 3轴坐标体系， 该坐 标体系的原点位于屏幕的左上角。 从计算机用户的角度来说， 沿着屏 幕的上边沿从左向右延伸的轴是 X轴，沿着屏幕的左边沿从上向下延伸 的轴是 Y轴， 而垂直于屏幕从远（屏幕端）至近（用户端）延伸的轴是 Z轴。 摄像头 102安装在坐标为（Xl， yh 0)的点 A处。 如图 4所示， 点 B 是用户的两个瞳孔之间的中点。 AB距离是点 A (摄像头的位置） 与点 B 的距离。 瞳距是图像中用户的两个瞳孔的中心之间的距离。
例如， 假设屏幕处于平面 1 (Pi ) 中， 而摄像头 102的正面与平面
1平行。 并且， 假定点 B处于与平面 1平行的平面 2 (p2 ) 或平面 3 (p3 ) 中。 如图 9所示， 平面 Pb指的是点 B所在的、 垂直于直线 AB的平面。 在 平面 Pb里， Yb轴是直线 AB所在的铅直平面与平面 Pb的交叉线， Xb轴是 平面 Pb内垂直于 Yb轴的一条直线。
基于 "越远越小， 越近越大" 的原理， 可以根据脸部图像的大小 或有关的分量距离来检测点 A与点 B之间的距离。 为了进行该测量， 引 入参考脸部图像。如图 3中所示，参考脸部图像是指当用户的脸部位于 摄像头正前方、 并且 A与 B之间的距离为 D。 （摄像头和两个瞳孔的中点 之间的距离） 时摄像头所捕获的图像。 由于可能存在相对误差， 所以 参考脸部图像的数目越多就可以减小相对误差， 检测结果就越精确。 例如， 引入两个参考脸部图像， 其中一个 AB距离为 D。， 而另一个 A B 距离较短， 为 D 为了获得参考脸部图像， 应当把摄像头 102设置在坐 标体系中具有坐标（Xl， y,, 0)的点 A处， 而且用户应当位于适当的位 置，以确保点 B (两眼之间的中点，如图 4所示。位于坐标系中的（x^ y!, zo) 或 (x,， yi, z 处， 并且 (Xl， yh ZQ)和（Xl， y„ Zl)应当满足如下等式： z0 - 0 = Do (1)
ζ, - Ο ^ ϋ, (2)
当使用脸部检测 /识别算法检测用户脸部时， 可以对每个瞳孔的 中心进行定位， 从而可以获得点 B和两个瞳孔的中心之间的距离 P， 如图 4中所示。 如果用户的脸部图像是距离为 D。的参考脸部图像， 那 么两个瞳孔的中心之间的距离是参考瞳距 P。。 如果用户的脸部图像是 距离为 的参考脸部图像， 那么两个瞳孔的中心之间的距离是参考瞳 距 P!。
在本实施例中， 参考表包括眼球方向表和投影圆半径-圆锥体顶 角表， 下面参考图 10和 11对其进行详细描述。
当用户看向屏幕中的不同区域时， 用户可能会转动头部以使得脸 部直接地（或几乎直接地）面向该区域。 图 5a示出了可能的脸部方向。 根据脸部的不同朝向， 在此大致把脸部朝向划分为 9个方向， 并对不 同的脸部方向进行编码， 具体编码如图 5b所示。
当捕获到用户的脸部后， 可以同时确定用户的眼睛瞳孔的轮廓。 在本实施例中， 可以把用户的眼球看作球体， 而把瞳孔看作眼球表面 上的圆圈。并且， 瞳孔会直接朝向屏幕上的注视点。 图 6a示出了具有 2 个不同眼球方向的眼球模型。 如图 6a所示， 当用户向不同的方向看去 时， 瞳孔会随着眼睛而改变方向。 在摄像头所获得图像中， 瞳孔的轮 廓会从一种椭圆形变为另一种椭圆形。 基于瞳孔的轮廓和脸部方向， 可以得到每一个眼球的转动角度， 包括：
左眼球的垂直转动角度： e VB^，
左眼球的水平转动角度： e„。n，
右眼球的垂直转动角度： e V(^，
右眼球的水平转动角度： e„„_R。
此处的 Θ ^是指瞳孔方向与 Yb轴的夹角， 而 Θ„„是指瞳孔方向与 Xb轴的夹角。为了提高眼球方向计算的性能以获得上述 4个角度， 即 Θ nr- Θ NOR.L , Θ VOR.R , Θ Hor.R j 引入眼球方向表以列出所有可能的眼球方 向及其转动角度。参考图 10， 该表至少包括 5列信息： 第 1列表示索引； 第 2列表示垂直转动角度 θ ν„; 第 3列表示水平转动角度 第 4列表 示对应的大致脸部方向； 以及第 5列包括眼睛（瞳孔）经过垂直和水平 转动后的瞳孔轮廓有关的图像。第 2列（ Θ Ver)和第 3列（ Θ Hor)的值在 0. 0- 至 180. 0·之间变化。 如图 6b所示， Θ ^和 Θ H。r的取值必须满足点 0处于 球面上。眼球方向表的取值范围就是图 6 所示球面上面向摄像头一侧 (也就是 Z轴负轴方向） 上的采样点对应的 9 ^和 Θ Η„， 以及摄像头 所看到的瞳孔在该釆样点的轮廓图形。 采样点越密集， e v。^a e H。Jt 量就越小， 结果就越精确， 但是执行的负荷也越大。 默认的角度的增 量是 0. 1度。作为示例， 图 10仅示出了瞳孔在点 M， 点^[， 点 Q和点 Q' 时的表格内容（其中索引列在实际实现中应该为整数值递增， 如 1， 2 , 3等， 此处为表述方便， 写成 IM， IN， IQ等）。
该表的使用过程如下： 在获得眼睛图像之后， 提取左眼（或右眼） 的轮廓， 并从该表中找出最适合的轮廓， 从而获得如下角度： 9 V。^， Θ„or-L (或 Θ Ver.R, Θ Hor_B)0从表中我们可以看出在围绕图 6b中球心点对 称的点， 比如点 Q和点 Q ' ， 摄像头所看到的瞳孔轮廓是一样的， 这 就需要通过脸部方向来加与判断。 在实际操作过程中， 可以根据用户 相对于摄像头 102的位置关系，以及屏幕的大小，对用户可能处在得角 度 e v。 n Θ 的范围加大插值密度， 这对于提高结果的精度有帮助。
对于摄像头 102来说， 位于一个圆锥体侧面上的所有点都会被投 影到摄像头的图像中的一个圆上。 因此， 一旦获知摄像头的图像中的 圆的半径， 就可以确定圆锥体的顶角， 如图 7所示。为了更好地描述圆 锥体的顶角， 图 11示出了对于某一种摄像头圆锥体所有可能的顶角以 及投影圆的半径的关系。 表中采用的距离单位是像素， 可以折算成其 它的单位。 投影圆的半径值的范围是从 0到 RMAX。 RMM是从图像中心到图 像的一角的最远距离。 表中的内容可以根据不同的摄像头来设置， 因 为不同的摄像头具有不同的分辨率、 焦距和广角。 建议的投影圆半径 增量的粒度是 5个像素。该粒度越小， 结果就越精确， 但是执行时的需 要的计箅、 比较的次数也越多。 作为示例， 图 11所示的投影圆半径- 圆锥体顶角表采用 1 0个像素为单位， 摄像头的 是 2 0 Q像素， 摄 像头的最大视角为 40度 （左右各 2 0度）。
在实际操作过程中， 可以根据用户相对于摄像头 102的位置关系， 对用户经常所在的位置对应的夹角 （也就是圆锥体的顶角）加大插值 密度， 这对于提高结果的精度有帮助。
在本实施例中， 参考表获取单元 104包括参考表构建单元 1042， 其利用摄像头 102捕获的具有距离 D。和 的参考脸部图像， 构建上文所 述的眼球方向表和投影圆半径-圆锥体顶角表。另外，参考表获取单元 104还可以包括参考表存储单元 1044。如果参考表已经构建好并保存在 参考表存储单元 1044中， 那么参考表获取单元 104直接从中读取即可。 此外， 参考表构建单元 1042所构建的参考表可以存储到参考表存储单 元 1044中。
计算单元 106可以包括视线方向计算单元 1062和注视点计算单元
1064。 其中， 视线方向计算单元 1062根据摄像头的位置， 测量用户脸 部图像中用户的两个瞳孔之间的中点与摄像头的距离， 并通过查找参 考表计算用户的视线方向。 具体地， 视线方向计算单元 1062使用成熟 的脸部检测 /识别算法， 例如 OpenCV, 来检测用户脸部的大致方向、用 户的眼睛和瞳孔的轮廓以及瞳距 P。 使用瞳距？、 参考瞳距 P。和 来计 算 AB距离 L。 视距（Di stance)和目标图像大小 （Image Size )具有如 下关系：
视距 X图像大小 常数 （3)
因此， AB距离 L和瞳距 P满足如下等式：
LxP«D0xP0 (4)
Figure imgf000009_0001
为了提高结果的精度， 将等式 （4) 和 （5 ) 合并， 得到-
Figure imgf000009_0002
视线方向计算单元 1062进一步计算角度 (1和3。 具体地， α是平 面 2中线 Α。Β与 X轴的夹角， 其中 Α。是点 Α在平面 Ρ2上的垂直投射点， B是 两个瞳孔之间的中点 （如图 9所示）。 由于平面 2与平面 1平行， 因此该 角度 α与摄像头图像中的投影角 α， 相同。
α = α ' (7)
图 8示出了图像内的点 Α。' ， Β ' 和角度 a ' ， 它们满足：
A0 ,B, Xsin(a')=B'C (8) A。， B， 和 B' C 表示图像中这些点之间的长度。 因此， 角度 α， 的值是. - a'=arcsin(B'C7 Ao'B') (9)
在获得摄像头的图像中 Α。' B' 的长度后，视线方向计算单元 1062 可在投影圆半径-圆锥体顶角表中进行搜索，找到其投影圆半径值与长 度 Α。' B' 匹配的最适合的行。这样， 同一行中的圆锥体的顶角便是角 度 0。然后， 视线方向计算单元 1062计算点 B的坐标。利用先前得到的 结果， 当 B点处于 Ao点的左下方时（从正面查看图象角度，如图 9所示， 下同）， 可以按照如下等式来计算点 B的坐标 (x3，y3， z3) :
x3= X i+Lxsin( ) xcos(a) (10)
y3= yi+Lxsin( ) xsin(a) (11)
Figure imgf000010_0001
当 B点处于 AQ点的右方（包括右上、 右下）时， 等式（10) 中的 加号要变成减号， 当 B点处于 Ao点的上方 （包括左上、 右上） 时， 等 式 （11 ) 中的加号要变成减号。
接下来， 视线方向计算单元 1062计算眼球转动角度。 具体地， 根 据摄像头的图像， 检测左眼的瞳孔的轮廓， 并从上文提到的眼球方向 表中找出最适合的轮廓， 结合脸部的方向， 从而获得眼球的相对于 Yb 轴的垂直转动角 Θ H。rt和相对于 Xb轴的水平转动角度 Θ H。rt。 右眼的 Θ ver-R , 6„。^也可以按照相同的步骤获得。
然后， 视线方向计算单元 1062计算用户视线的方向：
0Ver = (0Ver-L+0Ver-R 2 (13)
ΘΗΟΓ = ( ΘΗΟΙ· e+Hor-R)/2 (14)
上述视线的方向是相对于平面 Pb内的 Xb轴和 Yb轴而言的， 需要进 一步转换成相对于 X轴和 Y轴的角度。 为此， 视线方向计算单元 1062 计算出平面 Pb的水平轴 Xb轴与平面 P1的水平轴 X轴的夹角 δ ^以及 Yb 轴与平面 PI的垂直轴 Y轴的夹角 δ ν„。 如图 9所示， 它们满足：
xcos(a)] I [Lxcos (β)] (15)
Figure imgf000010_0002
xsin(a)] I [Lxcos (β)] (16)
所以可以得出 δ Η。^Β δ ν„:
Figure imgf000011_0001
Lxsin(p) xcos(a) I [Lxcos (β)] } (17)
5Ver=arctan{ Lxsin( ) xsin(a) I [Lxcos (β)] } (18)
结合之前的得出的 Θ ^和 Θ Hor, 视线方向计算单元 1062可以计算 出最终的 Θ Ver-Final和 Θ Hor-Final ί
Figure imgf000011_0002
之后， 注视点计算单元 1064根据摄像头的位置、 用户的两个瞳孔 之间的中点与摄像头的距离以及用户的视线方向，计算用户在屏幕 108 上的注视点。具体地，注视点计算单元 1064利用视线方向计算单元 1062 计算出的 e Ver-Final和 Θ Hor-Final 7 按照下式来计算屏幕 108上的注视点 D的 坐标 74, 0)：
Lo丄 xcos(P) (21)
Figure imgf000011_0003
y4=L。/Tan(eVer_Finai) xcos(9H。r_Finai)+y3 (23)
可选地， 注视点检测装置 100还可以包括光标移动单元 112。 光标 移动单元 112判断是否需要移动光标。如果需要，则将光标移动到注视 点。否则， 不移动光标。优选地， 由于计算精度以及其他因素的影响， 真实的注视点和计算的注视点 D之间可能存在一定偏差。为了容许这种 偏差， 这里引入注视区域的概念， 该区域是指以点 D (计算出来的注视 点） 为中心、 以预定义的长度 G为半径、 在屏幕上的圆形区域。 因此， 每当获得新的注视点 D时，当注视点处于屏幕可显示范围之外时，不移 动光标。 此外， 只要当前的光标和点 D之间的距离小于预定义的值 G， 则光标不会发生移动。 反之， 将光标移动到注视点 D。
可选地， 该注视点检测装置 100还可以包括附属单元 110。 用户可 以使用附属单元， 如鼠标、 键盘、 触摸板、 手柄和遥控器中的一项或 几项， 在光标处执行操作。 例如， 用户可以使用鼠标进行单击或双击 操作， 也可以使用手柄或遥控器来执行各种按键操作。
接下来， 结合附图 2&和213 描述根据本发明实施例的注视点检测 方法的各个步骤。
如图 2a所示， 方法在 S20开始。 在步骤 S22处， 执行准备工作。 该准备工作包括： 在摄像头上收 集参考脸部图像， 在此实施例中获取具有距离 D。和 的参考脸部图像。 参考脸部图像对于用户的脸部检测 /识别来说至关重要。在确定了参考 脸部图像之后， 获取两个瞳孔的中点之间的距离作为参考瞳距 P。和 Ρ。 然后，构建上文提到的眼球方向表以及投影圆半径-圆锥体顶角表。或 者， 如果两个表巳经构建好并保存在参考表存储单元里， 那么直接读 取即可。 最后， 确定摄像头所在位置， 即点 A的坐标 （Χι，Υι, 0)。
在步骤 S24处， 执行注视点检测。 图 2b中示出了该注视点检测的 具体步骤。 具体地， 在 S241 , 检测用户的脸部、 瞳孔轮廓以及瞳距 P。 在 S243， 使用瞳距？、 参考瞳距^和？,来计算 AB距离 L。 在步骤 S245，- 获得角度 0和3。 在步骤 S247， 计算点 B的坐标。 之后， 在步骤 S249， 计算眼球转动角度。 如上文所述， 根据摄像头的图像， 检测左眼的瞳 孔的轮廓， 并从上文提到的眼球方向表中找出最适合的轮廓， 结合脸 部的方向，从而获得眼球的相对于 Yb轴的垂直转动角 Θ Η ^Β相对于 轴的水平转动角度 Θ„or-Lo右眼的 Θ Ver_R, θ Η„-κ也可以按照相同的步骤 获得。 然后， 计算用户视线的方向。 最后， 在步骤 S251， 根据计算得 到的用户的视线方向来计算屏幕 108上的注视点 D的坐标 ( ， y4, 0)。
当上述注视点检测步骤 S24执行完毕后， 参考图 2a， 可选地在步 骤 S26处判断是否需要移动光标。 如果需要， 则在步骤 S28将光标移动 到注视点。否则， 不移动光标。 之后， 该方法流程可回到步骤 S24， 循 环地执行注视点检测。 如果终止该方法， 则该方法在 S30处结束。
综上所述， 本发明提供了一种基于脸部检测和图像测量的注视点 检测方法和装置， 通过检测用户的脸部方向和眼球方向， 计算出用户 在屏幕上的注视点，可以将光标移动到该区域。根据计算精度的需要， 可以计算出可能的注视区域， 并将光标移到该区域中， 之后由用户手 动地将光标移动到期望的精确位置， 这使得用户的实际移动距离大大 缩短， 同时减轻了注视点检测装置的计算负荷。 上述方案可以通过根 据实际的装置精度有意地设置较大的预定义半径 G而实现。
此外， 本发明的检测方法和装置还可用于具有围绕用户的多个屏 幕的多屏幕计算机。 具体实现是： 当有多个屏幕时， 确定各个屏幕的 方位以及其和摄像头所在平面的夹角关系。 当检测到用户视线时， 利 用本发明的上述原理， 并通过计算视线延长线和相关平面的相交点， 最终得出注视点。
尽管以上已经结合本发明的优选实施例示出了本发明， 但是本领 域的技术人员将会理解， 在不脱离本发明的精神和范围的情况下， 可 以对本发明进行各种修改、 替换和改变。 因此， 本发明不应由上述实 施例来限定， 而应由所附权利要求及其等价物来限定。
I I

Claims

权 利 要 求
1. 一种注视点检测装置， 用于计算用户在屏幕上的注视点， 所 述装置包括：
摄像头， 用于捕获用户的脸部图像；
参考表获取单元， 用于获取包括参考脸部图像与用户视线方向之 间的关系的参考表； 以及
计算单元， 根据摄像头所捕获的用户的脸部图像来执行图像测 量， 并查找参考表获取单元中的参考表， 以计算用户在屏幕上的注视 点。
2. 根据权利要求 1所述的注视点检测装置， 其中， 参考表获取单 元包括以下至少一项：
参考表构建单元， 根据摄像头所捕获的用户的至少一个参考脸部 图像来构建参考表； 以及
参考表存储单元， 其中存储有已经构建好的参考表。
3. 根据权利要求 1所述的注视点检测装置， 其中，计算单元包括： 视线方向计算单元， 根据摄像头的位置， 测量用户脸部图像中用 户的两个瞳孔之间的中点与摄像头的距离， 并通过査找参考表计算用 户的视线方向； 以及
注视点计算单元， 根据摄像头的位置、 用户的两个瞳孔之间的中 点与摄像头的距离以及用户的视线方向，计算用户在屏幕上的注视点。
4. 根据权利要求 1所述的注视点检测装置， 还包括： 光标移动单 元， 在计算出注视点后， 如果该注视点位于屏幕之内， 则光标移动单 元将屛幕上的光标移动到注视点。
5. 根据权利要求 4所述的注视点检测装置， 其中， 如果注视点与 当前光标之间的距离小于预定义值， 则光标移动单元不移动光标。
6. 根据权利要求 4或 5所述的注视点检测装置， 还包括： 附属单 元， 用于在光标位置处执行操作。
7. 根据权利要求 6所述的注视点检测装置， 其中， 附属单元包括 鼠标、 键盘、 触摸板、 手柄和遥控器中至少一项。
8. 一种注视点检测方法， 用于计算用户在屏幕上的注视点， 所 述方法包括如下步骤：
参考表获取步骤， 获取包括参考脸部图像与用户视线方向之间的 关系的参考表；
注视点计算步骤， 使用摄像头捕获用户的脸部图像， 执行图像测 量并查找参考表， 以计算用户在屏幕上的注视点。
9. 根据权利要求 8所述的方法， 其中， 参考表获取步骤包括： 使用摄像头获取用户的至少一个参考脸部图像， 以构建包括参考 脸部图像与用户视线方向之间的关系的参考表； 或者
直接获取已经构建好的参考表。
10. 根据权利要求 8所述的方法， 其中， 注视点计算步骤包括： 根据摄像头的位置， 测量用户脸部图像中用户的两个瞳孔之间的 中点与摄像头的距离， 并通过查找参考表计算用户的视线方向； 以及 根据摄像头的位置、 用户的两个瞳孔之间的中点与摄像头的距离 以及用户的视线方向， 计算用户在屏幕上的注视点。
11. 根据权利要求 8所述的方法， 还包括： 在计算出注视点后， 如果该注视点位于屏幕之内， 则将屏幕上的光标移动到注视点。
12. 根据权利要求 11所述的方法， 其中： 如果注视点与当前光标 之间的距离小于预定义值， 则不移动光标。
13. 根据权利要求 12所述的方法， 其中， 可以根据需要来设置所 述预定义值。
14. 一种多屏幕计算机， 具有围绕用户的多个屏幕， 所述多屏幕 计算机包括如权利要求 1-7中任意一项所述的注视点检测装置。
PCT/CN2009/001105 2009-09-29 2009-09-29 一种注视点检测方法及其装置 WO2011038527A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN200980159898.4A CN102473033B (zh) 2009-09-29 2009-09-29 一种注视点检测方法及其装置
JP2012531204A JP5474202B2 (ja) 2009-09-29 2009-09-29 顔検出および画像測定に基づいて注視点を検出する方法および装置
KR1020127010876A KR101394719B1 (ko) 2009-09-29 2009-09-29 주시점을 검출하는 방법, 장치 및 다중 스크린 컴퓨터
EP20090849935 EP2485118A4 (en) 2009-09-29 2009-09-29 METHOD FOR DETECTING VISUALIZATION POINTS AND CORRESPONDING APPARATUS
US13/496,565 US20120169596A1 (en) 2009-09-29 2009-09-29 Method and apparatus for detecting a fixation point based on face detection and image measurement
PCT/CN2009/001105 WO2011038527A1 (zh) 2009-09-29 2009-09-29 一种注视点检测方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2009/001105 WO2011038527A1 (zh) 2009-09-29 2009-09-29 一种注视点检测方法及其装置

Publications (1)

Publication Number Publication Date
WO2011038527A1 true WO2011038527A1 (zh) 2011-04-07

Family

ID=43825476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2009/001105 WO2011038527A1 (zh) 2009-09-29 2009-09-29 一种注视点检测方法及其装置

Country Status (6)

Country Link
US (1) US20120169596A1 (zh)
EP (1) EP2485118A4 (zh)
JP (1) JP5474202B2 (zh)
KR (1) KR101394719B1 (zh)
CN (1) CN102473033B (zh)
WO (1) WO2011038527A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210742A (ja) * 2012-03-30 2013-10-10 Fujitsu Ltd 情報処理装置、情報処理方法、および情報処理プログラム
CN103455298A (zh) * 2013-09-06 2013-12-18 深圳市中兴移动通信有限公司 一种外来数据显示方法和外来数据显示设备
CN103870097A (zh) * 2012-12-12 2014-06-18 联想(北京)有限公司 信息处理的方法及电子设备
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
WO2016115872A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN108986766A (zh) * 2014-01-15 2018-12-11 麦克赛尔株式会社 信息显示终端以及信息显示方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140053115A1 (en) * 2009-10-13 2014-02-20 Pointgrab Ltd. Computer vision gesture based control of a device
KR101699922B1 (ko) * 2010-08-12 2017-01-25 삼성전자주식회사 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법
US8433710B2 (en) 2010-09-09 2013-04-30 Ebay Inc. Sizing content recommendation system
KR101231510B1 (ko) * 2010-10-11 2013-02-07 현대자동차주식회사 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
US20140111452A1 (en) * 2012-10-23 2014-04-24 Electronics And Telecommunications Research Institute Terminal and method of controlling touch operations in the terminal
JP6157165B2 (ja) * 2013-03-22 2017-07-05 キヤノン株式会社 視線検出装置及び撮像装置
CN105190515A (zh) 2013-05-08 2015-12-23 富士通株式会社 输入装置以及输入程序
CN103413467A (zh) * 2013-08-01 2013-11-27 袁苗达 可控强制引导型自主学习系统
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
EP4250738A3 (en) * 2014-04-22 2023-10-11 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
JP6346018B2 (ja) * 2014-07-18 2018-06-20 国立大学法人静岡大学 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム
CN105183169B (zh) * 2015-09-22 2018-09-25 小米科技有限责任公司 视线方向识别方法及装置
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
CN106123819B (zh) * 2016-06-29 2018-07-24 华中科技大学 一种注意力焦点测量方法
CN106325505B (zh) * 2016-08-17 2019-11-05 传线网络科技（上海）有限公司 基于视点跟踪的控制方法和装置
EP3305176A1 (en) 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
CN106444404A (zh) * 2016-10-29 2017-02-22 深圳智乐信息科技有限公司 一种控制方法及系统
CN106569467A (zh) * 2016-10-29 2017-04-19 深圳智乐信息科技有限公司 基于移动终端选择场景的方法及系统
CN106444403A (zh) * 2016-10-29 2017-02-22 深圳智乐信息科技有限公司 一种智能家居场景设置和控制的方法及系统
CN107003744B (zh) * 2016-12-01 2019-05-10 深圳前海达闼云端智能科技有限公司 视点确定方法、装置和电子设备
CN106791794A (zh) * 2016-12-30 2017-05-31 重庆卓美华视光电有限公司 一种显示设备、图像处理方法及装置
CN107392120B (zh) * 2017-07-06 2020-04-14 电子科技大学 一种基于视线估计的注意力智能监督方法
CN109993030A (zh) * 2017-12-29 2019-07-09 上海聚虹光电科技有限公司 基于数据统计的注视点预测模型建立方法
CN108874127A (zh) * 2018-05-30 2018-11-23 北京小度信息科技有限公司 信息交互方法、装置、电子设备及计算机可读存储介质
CN109947253B (zh) * 2019-03-25 2020-06-19 京东方科技集团股份有限公司 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
WO2021029117A1 (ja) * 2019-08-09 2021-02-18 富士フイルム株式会社 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム
CN112445328A (zh) * 2019-09-03 2021-03-05 北京七鑫易维信息技术有限公司 映射控制方法及装置
CN111736698A (zh) * 2020-06-23 2020-10-02 中国人民解放军63919部队 一种手动辅助定位的视线指点方法
CN112541400A (zh) 2020-11-20 2021-03-23 小米科技(武汉)有限公司 基于视线估计的行为识别方法及装置、电子设备、存储介质
CN112434595A (zh) * 2020-11-20 2021-03-02 小米科技(武汉)有限公司 行为识别方法及装置、电子设备、存储介质
CN112804504B (zh) * 2020-12-31 2022-10-04 成都极米科技股份有限公司 画质调整方法、装置、投影仪及计算机可读存储介质
TWI768704B (zh) 2021-02-05 2022-06-21 宏碁股份有限公司 計算關注焦點的方法及電腦程式產品
CN113627256B (zh) * 2021-07-09 2023-08-18 武汉大学 基于眨眼同步及双目移动检测的伪造视频检验方法及系统
CN117017235A (zh) * 2023-10-09 2023-11-10 湖南爱尔眼视光研究所 一种视觉认知检测方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19819961A1 (de) * 1998-05-05 1999-11-11 Dirk Kukulenz Automatische Blickpunktanalyse mit Methoden der Bilderkennung zur Computersteuerung
US20050200806A1 (en) * 2004-03-12 2005-09-15 Honda Motor Co., Ltd. Line-of-sight detection method and apparatus therefor
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101326546A (zh) * 2005-12-27 2008-12-17 松下电器产业株式会社 图像处理装置
JP2009042956A (ja) * 2007-08-08 2009-02-26 Hitachi Ltd 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
CN101419672A (zh) * 2008-12-03 2009-04-29 中国科学院计算技术研究所 一种同步采集人脸图像和注视视角的装置及方法
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09251342A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
AU2211799A (en) * 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
JP2000089905A (ja) * 1998-09-14 2000-03-31 Sony Corp ポインティングデバイス
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19819961A1 (de) * 1998-05-05 1999-11-11 Dirk Kukulenz Automatische Blickpunktanalyse mit Methoden der Bilderkennung zur Computersteuerung
US20050200806A1 (en) * 2004-03-12 2005-09-15 Honda Motor Co., Ltd. Line-of-sight detection method and apparatus therefor
CN101326546A (zh) * 2005-12-27 2008-12-17 松下电器产业株式会社 图像处理装置
CN101489467A (zh) * 2006-07-14 2009-07-22 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
JP2009042956A (ja) * 2007-08-08 2009-02-26 Hitachi Ltd 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
CN101419672A (zh) * 2008-12-03 2009-04-29 中国科学院计算技术研究所 一种同步采集人脸图像和注视视角的装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2485118A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013210742A (ja) * 2012-03-30 2013-10-10 Fujitsu Ltd 情報処理装置、情報処理方法、および情報処理プログラム
CN103870097A (zh) * 2012-12-12 2014-06-18 联想(北京)有限公司 信息处理的方法及电子设备
CN103455298A (zh) * 2013-09-06 2013-12-18 深圳市中兴移动通信有限公司 一种外来数据显示方法和外来数据显示设备
CN108986766A (zh) * 2014-01-15 2018-12-11 麦克赛尔株式会社 信息显示终端以及信息显示方法
CN108986766B (zh) * 2014-01-15 2021-08-17 麦克赛尔株式会社 信息显示终端以及信息显示方法
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
CN104461005B (zh) * 2014-12-15 2018-01-02 东风汽车公司 一种车载屏幕开关控制方法
WO2016115872A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法

Also Published As

Publication number Publication date
EP2485118A4 (en) 2014-05-14
EP2485118A1 (en) 2012-08-08
CN102473033A (zh) 2012-05-23
KR101394719B1 (ko) 2014-05-15
CN102473033B (zh) 2015-05-27
KR20120080215A (ko) 2012-07-16
JP2013506209A (ja) 2013-02-21
US20120169596A1 (en) 2012-07-05
JP5474202B2 (ja) 2014-04-16

Similar Documents

Publication Publication Date Title
WO2011038527A1 (zh) 一种注视点检测方法及其装置
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
JP5728009B2 (ja) 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
US9778748B2 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
EP2950180B1 (en) Method for determining screen display mode and terminal device
US11042732B2 (en) Gesture recognition based on transformation between a coordinate system of a user and a coordinate system of a camera
US20120206333A1 (en) Virtual touch apparatus and method without pointer on screen
US20030004678A1 (en) System and method for providing a mobile input device
US9280204B2 (en) Method and apparatus for tracking user's gaze point using mobile terminal
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
JP5798183B2 (ja) ポインティング制御装置とその集積回路、およびポインティング制御方法
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
JP2017188766A (ja) カメラを備える電子機器、撮影映像の補正方法および記憶媒体
WO2014029229A1 (zh) 一种显示控制方法、装置及终端
WO2017147748A1 (zh) 一种可穿戴式系统的手势控制方法以及可穿戴式系统
WO2019033322A1 (zh) 手持式控制器、跟踪定位方法以及系统
JP2012238293A (ja) 入力装置
TW201430720A (zh) 手勢辨識模組及手勢辨識方法
TWI499938B (zh) 觸控系統
WO2018171363A1 (zh) 一种位置信息确定方法、投影设备和计算机存储介质
JP6124862B2 (ja) ポインティング・ジェスチャに応じたアクションをする方法、会議支援システム、およびコンピュータ・プログラム
JP6643825B2 (ja) 装置及び方法
JP2015149036A (ja) タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム
JP6124863B2 (ja) ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム
US11734940B2 (en) Display apparatus, display method, and non-transitory recording medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980159898.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09849935

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13496565

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012531204

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20127010876

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2009849935

Country of ref document: EP