WO2012020760A1 - 注視点検出方法及び注視点検出装置 - Google Patents

注視点検出方法及び注視点検出装置 Download PDF

Info

Publication number
WO2012020760A1
WO2012020760A1 PCT/JP2011/068164 JP2011068164W WO2012020760A1 WO 2012020760 A1 WO2012020760 A1 WO 2012020760A1 JP 2011068164 W JP2011068164 W JP 2011068164W WO 2012020760 A1 WO2012020760 A1 WO 2012020760A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
subject
cameras
sight
line
Prior art date
Application number
PCT/JP2011/068164
Other languages
English (en)
French (fr)
Inventor
嘉伸 海老澤
Original Assignee
国立大学法人静岡大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人静岡大学 filed Critical 国立大学法人静岡大学
Priority to US13/814,800 priority Critical patent/US9135708B2/en
Priority to JP2012528685A priority patent/JP5915981B2/ja
Priority to EP11816424.3A priority patent/EP2604180A4/en
Publication of WO2012020760A1 publication Critical patent/WO2012020760A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • the present invention relates to a gaze point detection method and a gaze point detection apparatus for detecting a gaze point of a subject on a predetermined plane based on the subject's image.
  • the center of the pupil and the corneal reflection point are obtained by causing the subject to gaze at a camera whose position is known and one point on the display screen whose position is known.
  • the function for calculating the gaze direction of the subject is corrected from the distance
  • the line-of-sight detection method disclosed in Patent Document 3 below is a method for simultaneously detecting the line of sight of both eyes using two cameras. Also in this method, it is necessary to make the subject look at the specified point in order to calibrate the visual line detection result.
  • JP 2005-185431 A Japanese Patent Laid-Open No. 2005-230049 JP 2005-198743 A
  • the gaze detection result is corrected by causing the subject to see the specified point, the burden on the subject increases. Also, when targeting infants, disabled persons, autistic patients, and the like, it is assumed that concentration cannot be maintained, and depending on the person, the accuracy of the line-of-sight calibration may be reduced.
  • the present invention has been made in view of such a problem, and even when targeting all people, a gaze point detection method capable of realizing high-precision gaze point detection while reducing the burden on subjects. And a gaze point detection device.
  • a gaze point detection method uses two or more cameras and a light source provided outside the openings of the two or more cameras to convert a face image of a subject into a bright pupil image and a dark pupil image. And a vector r from the corneal reflection point of the subject to the pupil on the plane perpendicular to the reference line connecting the camera and the pupil, based on the face image generation step generated as follows and the respective face images from two or more cameras.
  • the line-of-sight direction calculation step calculated by step (a), the parameter correction step for correcting the function f so that the line-of-sight directions calculated corresponding to two or more cameras are close, and the function f corrected by the parameter correction step are
  • a gazing point detection step of detecting a gazing point on the predetermined plane of the subject by calculating the direction of the sight line using the equation (1) and obtaining an intersection point of the sight line on the predetermined plane.
  • a gazing point detection device is a gazing point detection device that detects a gazing point on a predetermined plane of a target person based on a face image of the target person.
  • an image processing unit that controls the face image of the subject to be generated as a bright pupil image and a dark pupil image, and the image processing unit is based on each face image from two or more cameras.
  • the vector r from the corneal reflection point of the subject to the pupil on the plane perpendicular to the reference line connecting the camera and the pupil is calculated, and two units are obtained based on the respective vector r corresponding to two or more cameras.
  • the following equation using the function f (1); ⁇ f (
  • the function f is corrected so that the direction of the line of sight calculated corresponding to two or more cameras is close, and using the corrected function f, the direction of the line of sight is calculated using the above equation (1).
  • the point of gaze on the predetermined plane of the subject is detected by calculating the intersection point of the line of sight on the predetermined plane.
  • the face image of the subject is generated as a bright pupil image and a dark pupil image by two or more cameras and a light source outside the opening, and each face image is generated.
  • the vector r from the subject's corneal reflection point to the pupil is calculated based on the above, and the angle ⁇ with respect to the reference line of the subject's line of sight is calculated by applying each vector r to the function f.
  • the function f is corrected so that the directions of the respective lines of sight calculated in this way are close to each other, and after the direction of the line of sight is calculated using the function f, a predetermined value is obtained based on the direction of the line of sight.
  • a gazing point on the plane is detected.
  • the gazing point detection method and the gazing point detection apparatus can realize high-precision gazing point detection while reducing the burden on subjects even when targeting all people.
  • FIG. 3 It is a perspective view which shows the gazing point detection apparatus which is one suitable embodiment of this invention. It is a top view of the light source attached to the opening of the stereo camera of FIG. It is a figure which shows the positional relationship of the coordinate system set with the gazing point detection apparatus of FIG. It is a figure for demonstrating the gaze point detection procedure by the gaze point detection apparatus of FIG. It is a figure which shows the gaze point detected by the left and right stereo cameras of FIG. 3 is a graph showing a function f2 for calculating an angle of a line-of-sight vector set in the image processing apparatus of FIG.
  • the gaze point detection device of the present invention is a device that detects a gaze point on a monitor screen of an information processing terminal such as a personal computer based on a face image of a subject.
  • FIG. 1 is a perspective view showing a gazing point detection apparatus 1 which is a preferred embodiment of the present invention. As shown in the figure, the gazing point detection device 1 is provided outside the imaging lens of the two stereo cameras 2a and 2b that capture the face image of the subject A and the openings of the respective stereo cameras 2a and 2b.
  • the display device 8 is disposed so as to face the target person A and connected to the image processing device 7.
  • the light emitting circuit 4, the synchronization signal generator 5, and the delay circuit 6 constitute a control circuit for controlling the operations of the stereo cameras 2a and 2b and the light sources 3a and 3b.
  • Stereo cameras 2a and 2b generate image data by capturing the face of the subject A.
  • NTSC system cameras which are one of interlace scan systems are used.
  • one frame of image data obtained 30 frames per second is composed of an odd field composed of odd-numbered horizontal pixel lines and an even field composed of even-numbered horizontal pixel lines excluding odd fields.
  • the odd field image and the even field image are alternately captured at 1/60 second intervals. Specifically, in one frame, the pixel lines in the odd field and the pixel lines in the even field are generated alternately.
  • One stereo camera 2a receives a vertical synchronizing signal (VD signal) from the synchronizing signal generator 5, and the other stereo camera 2b is delayed from the synchronizing signal generator 5 via the delay circuit 6.
  • VD signal vertical synchronizing signal
  • FIG. 2 shows a plan view of the light sources 3a and 3b.
  • the light sources 3a and 3b are for irradiating illumination light toward the face of the subject A, and have a structure in which a plurality of two types of light emitting elements 11 and 12 are embedded in a ring-shaped pedestal 10. Yes.
  • the light emitting element 11 is a semiconductor light emitting element (LED) having a center wavelength of output light of 850 nm, and is arranged on the pedestal part 10 in a ring shape at equal intervals along the edges of the openings 9a and 9b.
  • LED semiconductor light emitting element
  • the light emitting element 12 is a semiconductor light emitting element having a center wavelength of output light of 950 nm, and is arranged on the pedestal portion 10 adjacent to the outside of the light emitting element 11 in a ring shape at equal intervals. That is, the distance of the light emitting element 12 from the optical axes of the cameras 2 a and 2 b is set to be larger than the distance of the light emitting element 11 from the optical axis. At this time, each light emitting element 11 and 12 is provided on the base part 10 so that illumination light may be emitted along the optical axis of the cameras 2a and 2b.
  • These light emitting elements 11 and 12 can be independently controlled in light emission timing by the light emitting circuit 4. Specifically, the light emission timing is controlled so that the light emitting elements 11 and 12 emit light alternately in accordance with the shutter timing of the cameras 2a and 2b synchronized with the VD signal output from the synchronization signal generator 5.
  • the control circuit when illumination light is irradiated from the light emitting element 11 of the light source 3a to the left and right eyeballs B of the subject A, a bright pupil image is generated in the eyeball B, and the light emitting element 12 moves to the eyeball B.
  • a dark pupil image is generated in the eyeball B. This is because when the illumination light having a wavelength shorter than 900 nm is received, the pupil appears brighter than when the illumination light having a wavelength longer than 900 nm is received, and the illumination light for the eyeball B is further away from the optical axis of the camera. This is due to the nature of the pupil appearing darker when the light enters from. As a result, the bright and dark pupil images of the eyeball B are reflected in the odd and even fields generated by the stereo cameras 2a and 2b, respectively.
  • the image processing device 7 processes the image data output from the two stereo cameras 2a and 2b. Specifically, the image processing device 7 separates one frame of image data output from the stereo cameras 2a and 2b into an odd field and an even field. For example, this odd field image data (odd image data) is a bright pupil image, and even field image data (even image data) is a dark pupil image. Since these image data have effective pixels only in the odd field or even field, the image processing device 7 embeds the luminance average of the pixel lines of the adjacent effective pixels in the pixel values between the lines. Bright pupil image data and dark pupil image data are generated.
  • the image processing device 7 repeatedly detects the left and right pupils of the subject A using the bright pupil image data and the dark pupil image data. That is, a difference image between bright pupil image data and dark pupil image data is generated, a window is set based on the position of the pupil detected in the previous pupil detection process, and the pupil is searched within the range of the window. Specifically, the image processing apparatus 7 binarizes the difference image with a threshold value determined by the P-tile method, and then performs isolated point removal and labeling, and the connected components of the labeled pixels are connected.
  • a pupil candidate is selected from shape parameters such as the area, size, area ratio, squareness, and pupil feature amount that are likely to be pupils. Further, from among the connected components of the selected pupil candidates, those having a predetermined relationship between the two pupil candidates are determined as the left and right pupils, and the center coordinates of the left and right pupils in the image data are calculated.
  • the image processing device 7 also detects the positions of the left and right corneal reflection points of the subject A for the bright pupil image data and the dark pupil image data. That is, a window centered on the detected pupil is set, image data in which only the window range is increased in resolution is created, and corneal reflection is detected from the image data. Specifically, a threshold value for binarization is determined by the P tile method, a binarized image is created from the image, labeling is performed, and a portion whose area is not more than a certain value is selected.
  • the image processing device 7 gives a separability filter to the center coordinates of the selected portion, obtains a feature amount obtained by multiplying the separability and the luminance, and if the value is equal to or less than a certain value, it is not corneal reflection. Judge. Further, the image processing device 7 calculates the movement amount of the corneal reflection in the bright pupil image data and the dark pupil image data, and sets the movement amount as the difference position correction amount. The image processing device 7 shifts the difference position correction amount so that the corneal reflection positions of the bright pupil image data and the dark pupil image data coincide with each other, adds the luminance of the image data, and sets the luminance centroid coordinates to the corneal reflection coordinates. And decide.
  • the image processing device 7 calculates the three-dimensional positions of the left and right pupils of the subject A from the pupil center coordinates detected based on the image data output from the two stereo cameras 2a and 2b. At this time, the image processing device 7 measures the three-dimensional coordinates of the left and right pupils by a stereo method.
  • the stereo method measures the internal parameters such as the focal length of the camera lens, image center, and pixel size, and external parameters such as the camera position and orientation in advance, and shoots the object using multiple stereo cameras. In some cases, the position of a point in space is determined using the internal and external parameters based on the coordinates of the point in the image.
  • a coordinate system as shown in FIG. 3 is used.
  • World coordinate system shown in FIG. (X W, Y W, Z W) is two stereo cameras 2a, the coordinate system origin O W is positioned for example at the center of the screen of the display unit 8 to be shared by 2b, a camera
  • the coordinate system (X, Y, Z) is a coordinate system in which the origin C is the optical center of the cameras 2a and 2b, and the Z axis is parallel to the optical axis drawn perpendicularly to the image plane from the optical center.
  • the image coordinate system (X G , Y G ) is a coordinate system that is parallel to the XY plane along the image plane on which the image sensor is placed, and has an intersection point (image center) between the optical axis and the image plane as the origin Ci.
  • the projection point (X d , Y d ) on the image coordinate system when using the cameras 2a, 2b is an ideal projection point (X u , Y u ) due to image distortion. ). Therefore, in order to accurately perform the three-dimensional position measurement using the stereo method, it is necessary to previously acquire calibration data in which the correspondence between the world coordinates of the target point P and the image coordinates is recorded.
  • the translation vector of the camera coordinate system with respect to the world coordinates as external parameters and the rotation matrix of the camera coordinate system with respect to the world coordinate system, the focal length as the internal parameters, the image center coordinates, the scale A coefficient, a lens distortion coefficient, an image sensor interval, and the like are acquired in advance and stored in the image processing device 7.
  • the image processing device 7 calculates a relational expression between the pupil center coordinates in the image coordinate system detected based on the output data from the two stereo cameras 2a and 2b and the pupil center coordinates in the world coordinate system as calibration data. Get while referring to. Next, the image processing device 7 obtains the three-dimensional position coordinates in the world coordinate system of the pupil of the subject A from the two relational expressions. Similarly, the image processing apparatus 7 can obtain the three-dimensional positions of the left and right pupils of the subject A.
  • the image processing device 7 detects the gaze point of the subject on the display device 8 using the detected positions of the left and right corneal reflection points of the subject A and the positions of the left and right pupil centers.
  • a gaze point detection procedure by the image processing apparatus 7 will be described with reference to FIGS. 4 and 5.
  • the image processing device 7 calculates a vector r 0 from the corneal reflection point G to the pupil center P on the image plane S G. Then, the vector r 0 is converted into a vector r converted to the actual size using the camera magnification determined from the distance OP (vector calculation step). At this time, each camera 2a, 2b is considered as a pinhole model, and it is assumed that the corneal reflection point G and the pupil center P are on a plane parallel to the virtual viewpoint plane X′-Y ′. That is, the image processing apparatus 7 calculates the relative coordinates of the pupil center P and the corneal reflection point G as a vector r on a plane that is parallel to the virtual viewpoint plane and includes the three-dimensional coordinates of the pupil P.
  • the image processing apparatus 7 uses the function f 1 using the coefficient ⁇ for the angle ⁇ formed between the reference line OP and the line of sight vector of the subject A, that is, the vector PT connecting the pupil center P and the gazing point T.
  • ⁇ f 1 (
  • ) k ⁇
  • a preset initial value is used as the coefficient k.
  • Such calculation of the angles ⁇ and ⁇ is performed by assuming that the vector r on the plane where the pupil center P exists is enlarged on the virtual viewpoint plane and corresponds to the gaze point of the subject A as it is. More specifically, it is assumed that the angle ⁇ of the subject A's line of sight PT with respect to the reference line OP has a linear relationship between the pupil center and the corneal reflection distance
  • the coefficient k differs depending on each subject A and the left and right eyeballs, it is necessary to perform calibration.
  • the image processing apparatus 7 corrects the coefficient k as follows (parameter correction step).
  • the correction of the coefficient k is performed by obtaining the coefficient k for each frame based on 100 frames of continuous image data and setting the average of these as the final coefficient k.
  • the image processing device 7 uses the left and right stereo cameras 2a and 2b, and uses one pupil on each virtual viewpoint plane X L ⁇ Y L and X R ⁇ Y R. fixation point from P V T VL, seek a T VR. Then, the image processing apparatus 7 uses the two gazing points T VL and T VR and the origins O VL and O VR of the virtual viewpoint plane as points T ′ VL and T ′ VL on the projected virtual viewpoint plane X′-Y ′, respectively. Project to T ′ VR , O ′ VL and O ′ VR . Then, the image processing apparatus 7 calculates a distance
  • the projected virtual viewpoint plane X′-Y ′ has an average inclination with respect to the inclinations of the two virtual viewpoint planes X L ⁇ Y L and X R ⁇ Y R , and the intersection angle between the two planes
  • the distance from the pupil P V may be set to any distance.
  • the image processing apparatus 7 is corrected by the coefficient k from an initial value k 0 performs a binary search. Specifically, the coefficient k is changed by adding an addition value to the initial value k 0, and a distance
  • the image processing device 7 determines the line-of-sight vector of the subject A at a desired timing, and obtains the intersection between the line-of-sight vector and the display screen of the display device 8.
  • the final gaze point Q of the target person A is detected (gaze point detection step).
  • the image processing apparatus 7 uses the midpoint T ′ of the two gazing points T ′ VL and T ′ VR obtained using the calibrated coefficient k as the gazing point on the projection virtual viewpoint plane, and the pupil center A vector PT ′ connecting P and the viewpoint T ′ is a line-of-sight vector.
  • the image processing device 7 calculates the intersection point between the line-of-sight vector PT ′ and the plane along the display screen as the gazing point Q. However, such a gazing point Q may be detected on a predetermined plane other than the display screen. Thereafter, the image processing apparatus 7 displays the calculated gazing point Q on the display screen with a marker.
  • the image processing device 7 can also add the following calibration procedure in order to increase the accuracy of the gaze point to be detected.
  • the image processing device 7 calculates the gaze point origin correction amount simultaneously with the binary search of the coefficient k by the automatic calibration method.
  • the image processing apparatus 7 displays a single index (specified point) at an arbitrary position on the display screen and causes the subject A to gaze at the index, and the gaze point T on the projection virtual viewpoint plane. 'Detect.
  • the difference between the detected gazing point T ′ and the point where the coordinates of the index are projected on the projection virtual viewpoint plane is calculated as the correction amount ⁇ Q.
  • the image processing device 7 can correct the gazing point Q to be detected by shifting the gazing point Q to be detected by correcting the gazing point T ′ detected each time using the correction amount ⁇ Q.
  • the image processing apparatus 7 detects the gaze point in a state where the target person A is gazing at one index, and then uses the above equation (3) based on the gaze point and the position of the index. Both determination of the value of k and calculation of the correction amount ⁇ Q may be performed.
  • the image processing apparatus 7 uses a two-point calibration procedure using two indices, in addition to correcting the origin of the gazing point, the distance
  • the image processing apparatus 7 first determines the coefficient k 1 by the binary search (automatic calibration) while displaying the first index in the center of the display screen and gazing at the subject A, and 1
  • the origin correction amount ⁇ Q is calculated by the point calibration procedure.
  • the image processing apparatus 7 replaces the above formula (3) with the following formula (4); Is used to calculate the angle ⁇ formed by the line-of-sight vector PT.
  • the image processing apparatus 7 displays the second index at the center upper end on the display screen and causes the subject A to pay attention to the size of the vector r at this time
  • the target person is provided with the two stereo cameras 2a and 2b and the light sources 3a and 3b outside the openings 9a and 9b.
  • a face image of A is generated as a bright pupil image and a dark pupil image, and a vector r from the corneal reflection point of the subject to the pupil is calculated based on each face image, and each vector r is converted into functions f 1 and f 2. Is applied, the angle ⁇ of the line of sight of the subject A with respect to the reference line is calculated.
  • the functions f 1 and f 2 are corrected so that the directions of the respective lines of sight calculated using the two stereo cameras 2a and 2b are close to each other, and the line of sight is calculated using the functions f 1 and f 2.
  • a gazing point Q on the display screen is detected based on the direction of the line of sight.
  • a vector r on a plane that includes the three-dimensional coordinates of the pupil and is perpendicular to the reference line of the stereo cameras 2a and 2b is obtained based on the face images of the two stereo cameras 2a and 2b. Since the calculation is performed, the line-of-sight angle ⁇ can be calculated more accurately based on the pupil position of the subject A and the corneal reflection point.
  • the gazing point detection apparatus 1 obtains an intersection with the line of sight on the virtual viewpoint plane corresponding to the two stereo cameras 2a and 2b, projects the two intersection points on a predetermined projection virtual viewpoint plane,
  • the functions f 1 and f 2 are corrected so that the intersection points are close to each other on the projection virtual viewpoint plane.
  • the functions f 1 and f 2 can be corrected by evaluating the distance between the two projection points so that the line-of-sight directions detected by the two stereo cameras 2a and 2b are close.
  • the gazing point detection apparatus 1 uses the function f 1 to detect the line-of-sight direction from the vector r, the correction process of the function f 1 is simplified and instantly high-precision gazing point detection is possible. become.
  • the gazing point detection apparatus 1 can add a one-point calibration procedure, it is possible to further correct the gazing point detection shift caused by the structure of the human eyeball caused only by automatic calibration.
  • the gazing point detection apparatus 1 can also add a two-point calibration procedure, the function f 1 is changed to the function f 2 in consideration of the case where the relationship between the vector r and the line-of-sight angle ⁇ exhibits nonlinearity. Therefore, even when the angle of the line of sight increases with respect to the reference line of the camera, high-precision gaze point detection is realized.
  • the present invention is not limited to the embodiment described above.
  • the function f used to detect the line-of-sight angle ⁇ from the vector r connecting the corneal reflection point and the pupil center can be substituted with various functions.
  • the function f may be determined as follows.
  • the image processing device 7 obtains the midpoint T ′ from the two gazing points T ′ VL and T ′ VR detected by the left and right stereo cameras 2a and 2b using the above-described automatic calibration procedure. Then, the image processing device 7 obtains vectors T 1 and T 2 from the projection points O ′ VL and O ′ VR (FIG. 5) on the projection virtual viewpoint plane toward the middle point T ′.
  • (6) And the following formula (7); k g 1 ⁇ 1 (
  • are the magnitudes of the vector r detected by the respective cameras 2a and 2b
  • g 1 is a mapping from the virtual viewpoint plane of each camera to the projected virtual viewpoint plane.
  • G 1 ⁇ 1 is its inverse mapping function. In this way, the image processing apparatus 7 acquires two values of k when detecting a single point of gaze.
  • the image processing apparatus 7 changes the gazing point of the subject A by repeating such processing, so that the size of
  • the image processing apparatus 7 uses a function for calculating the line-of-sight angle ⁇ from the vector r from the corneal reflection point to the center of the pupil as an unknown function in which the coefficient k changes according to the magnitude
  • ⁇ f 3 (
  • ) k (
  • the image processing apparatus 7 uses the value of the coefficient k obtained for various values of
  • the image processing device 7 detects two gazing points T ′ VL and T ′ VR using the left and right stereo cameras 2a and 2b using the equation (8). As a result, the image processing apparatus 7 can accurately calculate the gazing point Q on the display screen in consideration of the nonlinear relationship between the vector r and the angle ⁇ .
  • the image processing apparatus 7 measures the three-dimensional coordinates of the pupil of the subject A using the stereo method based on the image data obtained by the stereo cameras 2a and 2b.
  • the optical time-of-flight distance image sensor may be used as a camera, and the three-dimensional coordinates of the pupil may be calculated using distance information output from the camera.
  • stereo cameras 2a and 2b digital cameras such as a CCD camera and a CMOS camera may be used.
  • the gazing point detection apparatus 1 includes two stereo cameras 2a and 2b, three or more cameras and a light source corresponding to each camera may be provided. In this case, the gazing point detection apparatus 1 may operate so as to correct the gaze direction detection function corresponding to each camera so that the gaze directions calculated using the respective cameras are close to each other. Good.
  • the invention according to the above aspect further includes a pupil coordinate detection step of detecting a three-dimensional coordinate of the subject's pupil based on each face image by two or more cameras, and the vector calculation step includes a three-dimensional pupil It is preferable to calculate a vector r on a plane containing the coordinates and perpendicular to the camera reference line. In this case, the line-of-sight angle ⁇ can be calculated more accurately based on the pupil position of the subject and the corneal reflection point.
  • an intersection point with a line of sight on each virtual viewpoint plane that includes the positions of two or more cameras and is perpendicular to the reference line is obtained, and the intersection point is projected onto a predetermined projection virtual viewpoint plane, and then the intersection point It is also preferable to correct the function f so that is close to the projected virtual viewpoint plane. In this way, the function f can be corrected by evaluating the distance between the two projection points so that the direction of the line of sight detected by two or more cameras is close.
  • the parameter correction step by changing the gaze point of the subject and calculating the parameter k when each vector r is changed variously, the parameter k is set to the magnitude
  • a gaze point is detected when the target person gazes at one specified point on the predetermined plane, and on the predetermined plane of the line of sight based on the deviation between the specified point and the gaze point. It is also preferable to correct the intersection point. In this case, it is possible to further correct the detection shift of the gazing point caused only by the automatic calibration.
  • a gaze point is detected when the target person gazes at two or more specified points on a predetermined plane, and in the parameter correction step, based on the deviation between the specified point and the gaze point. It is also preferable to further correct the function f. In this way, the function f can be corrected in consideration of the case where the relationship between the vector r and the line-of-sight angle ⁇ exhibits non-linearity, and more accurate gaze point detection is realized.
  • the vector calculation step it is also preferable to detect the pupil position of the subject by taking the difference between the bright pupil image and the dark pupil image. With this configuration, the pupil position of the subject can be easily detected.
  • the present invention uses the gazing point detection method and the gazing point detection apparatus for use, and can realize high-precision gazing point detection while reducing the burden on the subject even when targeting all people.
  • SYMBOLS 1 Gaze point detection apparatus, 2a, 2b ... Stereo camera, 3a, 3b ... Light source, 4 ... Light emission circuit (control circuit), 5 ... Synchronization signal generator (control circuit), 6 ... Delay circuit (control circuit), 7 DESCRIPTION OF SYMBOLS ... Image processing apparatus (image processing part), 8 ... Display apparatus (predetermined plane), 9a, 9b ... Aperture, A ... Subject, G ... Cornea reflection point, P ... Pupil center, OP ... Reference line, PT ... Line of sight , Q: gaze point, ⁇ : angle of gaze.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

　この注視点検出装置１は、対象者Ａの顔画像を取得する２台のステレオカメラ２ａ，２ｂと、ステレオカメラ２ａ，２ｂの開口部９ａ，９ｂの外側に設けられた光源３ａ，３ｂと、制御回路４，５，６と、画像処理装置７とを備え、画像処理装置７は、顔画像に基づいてステレオカメラ２ａ，２ｂの基準線に垂直な平面上における対象者Ａの角膜反射点から瞳孔までのベクトルｒを計算し、ベクトルｒを基に基準線それぞれに対する対象者Ａの視線の角度θを、関数ｆ１を用いて計算し、２台のステレオカメラ２ａ，２ｂに対応して計算された視線の方向が近くなるように、関数ｆ１を補正して視線の方向を計算することによって、対象者Ａの表示画面上の注視点Ｑを検出する。

Description

注視点検出方法及び注視点検出装置
　本発明は、対象者の画像に基づいて所定平面上の対象者の注視点を検出する注視点検出方法及び注視点検出装置に関するものである。
　従来から、非接触で被験者の視線もしくは注視点を検出する装置が、ヒューマンインタラクションの分野で重要視されている。高精度の視線検出技術が実用化されれば、例えば、ドライバーの監視、商品の興味の度合いの調査、重度身体障害者のパーソナルコンピュータへのデータ入力などの様々な用途に適用できる。
　下記特許文献１，２に開示された視線検出方法では、位置が既知であるカメラと、位置が既知であるディスプレイ画面上の１点とを被験者に注視させることによって、瞳孔の中心と角膜反射点との間の距離｜ｒ｜から被験者の視線方向を計算するための関数を補正して、その補正した関数を用いて視線方向を検出する。このような視線検出方法によれば、被験者の頭部が移動しても高精度の視線検出が可能である。また、下記特許文献３に開示された視線検出方法は、２台のカメラを用いて両眼の視線を同時に検出するための方法である。この方法においても、視線検出結果を較正するために被験者に規定点を見させる必要がある。
特開２００５－１８５４３１号公報 特開２００５－２３００４９号公報 特開２００５－１９８７４３号公報
　しかしながら、規定点を被験者に見させることによって視線検出結果を補正する場合には、被験者に対する負担が増大する。また、幼児、障害者や自閉症患者等を対象とした場合には集中力が維持できないことも想定され、人によっては視線較正の精度が低下してしまう場合もあった。
　そこで、本発明は、かかる課題に鑑みて為されたものであり、万人を対象にした場合であっても、被験者に対する負担を低減しつつ高精度の注視点検出を実現できる注視点検出方法及び注視点検出装置を提供することを目的とする。
　本発明の一側面に係る注視点検出方法は、２台以上のカメラ及び２台以上のカメラの開口部外側に設けられた光源を用いて、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成する顔画像生成ステップと、２台以上のカメラによるそれぞれの顔画像に基づいて、カメラと瞳孔とを結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルｒを計算するベクトル計算ステップと、２台以上のカメラに対応するそれぞれのベクトルｒを基に、２台以上のカメラの基準線それぞれに対する対象者の視線の角度θを、関数ｆを用いて下記式（１）；
θ＝ｆ（｜ｒ｜）　　…（１）
によって計算する視線方向計算ステップと、２台以上のカメラに対応して計算された視線の方向が近くなるように、関数ｆを補正するパラメータ補正ステップと、パラメータ補正ステップによって補正された関数ｆを用いて、上記式（１）を用いて視線の方向を計算し、視線の所定平面上の交点を求めることによって対象者の所定平面上の注視点を検出する注視点検出ステップと、を備える。
　或いは、本発明の別の側面に係る注視点検出装置は、対象者の顔画像に基づいて、該対象者の所定平面上の注視点を検出する注視点検出装置であって、対象者の顔画像を取得する２台以上のカメラと、２台以上のカメラの開口部外側に設けられた光源と、カメラ及び光源を制御する制御回路と、２台以上のカメラから出力された画像信号を処理する画像処理部とを備え、制御回路は、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成するように制御し、画像処理部は、２台以上のカメラによるそれぞれの顔画像に基づいて、カメラと瞳孔とを結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルｒを計算し、２台以上のカメラに対応するそれぞれのベクトルｒを基に、２台以上のカメラの基準線それぞれに対する対象者の視線の角度θを、関数ｆを用いて下記式（１）；
θ＝ｆ（｜ｒ｜）　　…（１）
によって計算し、２台以上のカメラに対応して計算された視線の方向が近くなるように、関数ｆを補正し、補正した関数ｆを用いて、上記式（１）を用いて視線の方向を計算し、視線の所定平面上の交点を求めることによって対象者の所定平面上の注視点を検出する。
　このような注視点検出方法及び注視点検出装置によれば、２台以上のカメラ及びその開口部外側の光源によって対象者の顔画像が明瞳孔画像及び暗瞳孔画像として生成され、それぞれの顔画像を基に対象者の角膜反射点から瞳孔までのベクトルｒが計算され、それぞれのベクトルｒを関数ｆに適用することによって、対象者の視線の基準線に対する角度θが計算される。さらに、このようにして計算されたそれぞれの視線の方向が互いに近くなるように、関数ｆが補正され、その関数ｆを用いて視線の方向が計算された後に、その視線の方向を基に所定平面上の注視点が検出される。これにより、対象者が意識することなく視線方向を算出するための関数に関する自動補正が実行されるので、対象者の負担が軽減されるとともに、高精度の注視点検出が可能になる。
　本発明の一側面に係る注視点検出方法及び注視点検出装置によれば、万人を対象にした場合であっても、被験者に対する負担を低減しつつ高精度の注視点検出を実現できる。
本発明の好適な一実施形態である注視点検出装置を示す斜視図である。 図１のステレオカメラの開口に取り付けられた光源の平面図である。 図１の注視点検出装置で設定される座標系の位置関係を示す図である。 図１の注視点検出装置による注視点検出手順を説明するための図である。 図１の左右のステレオカメラによって検出された注視点を示す図である。 図１の画像処理装置に設定される視線ベクトルの角度を算出するための関数ｆ２を示すグラフである。
　以下、図面を参照しつつ本発明に係る注視点検出方法及び注視点検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
　（注視点検出装置の構成）
　まず、本発明にかかる注視点検出装置を実施するための注視点検出装置の構成について、図面を参照しながら説明する。本発明の注視点検出装置は、対象者の顔画像を基にパーソナルコンピュータ等の情報処理端末のモニター画面上の注視点を検出する装置である。
　図１は、本発明の好適な一実施形態である注視点検出装置１を示す斜視図である。同図に示すように、注視点検出装置１は、対象者Ａの顔画像を撮像する２台のステレオカメラ２ａ，２ｂと、それぞれのステレオカメラ２ａ，２ｂの開口部の撮像レンズの外側に設けられた光源３ａ，３ｂと、光源３ａ，３ｂの給電用の発光回路（制御回路）４と、ステレオカメラ２ａ，２ｂに入力する同期信号を生成する同期信号発生器（制御回路）５と、同期信号を遅延させるための遅延回路（制御回路）６と、ステレオカメラ２ａ，２ｂの生成した画像信号を処理するパーソナルコンピュータ等の画像処理装置（画像処理部）７と、ステレオカメラ２ａ，２ｂの上方において対象者Ａに対向するように配置され、画像処理装置７に接続されたディスプレイ装置８とを備えている。これらの発光回路４、同期信号発生器５、及び遅延回路６は、ステレオカメラ２ａ，２ｂ及び光源３ａ，３ｂの動作を制御するための制御回路を構成する。
　ステレオカメラ２ａ，２ｂは、対象者Ａの顔面を撮像することによって画像データを生成する。このステレオカメラ２ａ，２ｂとしては、インターレーススキャン方式の１つであるＮＴＳＣ方式のカメラを用いる。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと奇数フィールドを除く偶数番目の水平画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影されて生成される。具体的には、１フレーム内では、奇数フィールドの画素ラインと偶数フィールドの画素ラインとが交互に並ぶように生成される。
　この一方のステレオカメラ２ａには、同期信号発生器５から垂直同期信号（ＶＤ信号）が入力され、他方のステレオカメラ２ｂには、同期信号発生器５から遅延回路６を経由して遅延された垂直同期信号（ＶＤ信号）が入力されることにより、２つのステレオカメラ２ａ，２ｂの撮影タイミングが互いにずらされる。
　また、このステレオカメラ２ａ，２ｂの対物レンズが収容された円形状の開口部９ａ，９ｂの外側には、それぞれ、光源３ａ，３ｂが固定されている。図２には、光源３ａ，３ｂの平面図を示している。光源３ａ，３ｂは、対象者Ａの顔に向けて照明光を照射するためのものであり、リング状の台座部１０に２種類の発光素子１１，１２が複数埋め込まれた構造を有している。この発光素子１１は、出力光の中心波長が850nmの半導体発光素子（ＬＥＤ）であり、台座部１０上において開口部９ａ，９ｂの縁に沿って等間隔でリング状に配設されている。また、発光素子１２は、出力光の中心波長が950nmの半導体発光素子であり、台座部１０上において発光素子１１の外側に隣接して等間隔にリング状に配設されている。すなわち、発光素子１２のカメラ２ａ，２ｂの光軸からの距離は、発光素子１１の光軸からの距離よりも大きくなるように設定されている。このとき、それぞれの発光素子１１，１２は、カメラ２ａ，２ｂの光軸に沿って照明光を出射するように台座部１０上に設けられている。
　これらの発光素子１１，１２は、発光回路４によって、それぞれ独立に発光タイミングを制御可能にされる。具体的には、同期信号発生器５から出力されるＶＤ信号に同期したカメラ２ａ，２ｂのシャッタタイミングに合わせて、発光素子１１，１２が交互に発光するように、発光タイミングが制御される。
　このような制御回路の動作により、光源３ａの発光素子１１から対象者Ａの左右の眼球Ｂに照明光が照射されると、眼球Ｂにおいて明瞳孔像が生成され、発光素子１２から眼球Ｂに照明光が照射されると、眼球Ｂにおいて暗瞳孔像が生成される。これは、波長が900nmより短い照明光を受ける場合は、波長が900nmより長い照明光を受ける場合に比較して瞳孔が明るく映る、眼球Ｂへの照明光がカメラの光軸からより離れた位置から入射した場合は瞳孔がより暗く映るという性質によるものである。その結果、ステレオカメラ２ａ，２ｂの生成する奇数フィールド及び偶数フィールドには、それぞれ、眼球Ｂの明瞳孔画像及び暗瞳孔画像が反映される。
　画像処理装置７は、２台のステレオカメラ２ａ，２ｂから出力された画像データを処理する。具体的には、画像処理装置７は、ステレオカメラ２ａ，２ｂから出力された１フレームの画像データを、奇数フィールドと偶数フィールドとに分離する。例えば、この奇数フィールドの画像データ（奇数画像データ）は明瞳孔画像となっており、偶数フィールドの画像データ（偶数画像データ）は暗瞳孔画像となっている。これらの画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、画像処理装置７は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像データ及び暗瞳孔画像データを生成する。
　さらに、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データを用いて、対象者Ａの左右の瞳孔の検出を繰り返し行う。すなわち、明瞳孔画像データと暗瞳孔画像データの差分画像を生成し、前回の瞳孔検出処理で検出された瞳孔の位置を基にウィンドウを設定し、そのウィンドウの範囲内で瞳孔の探索を行う。具体的には、画像処理装置７は、差分画像に対してＰタイル法によって決定された閾値で２値化を行った後、孤立点除去及びラベリングを行い、ラベルづけされた画素の連結成分の中から、瞳孔らしい面積、サイズ、面積比、正方形度、及び瞳孔特徴量等の形状パラメータから瞳孔候補を選択する。さらに、選択された瞳孔候補の連結成分の中から、２つの瞳孔候補の関係が所定の関係にあるものを左右の瞳孔として決定し、画像データにおける左右の瞳孔の中心座標を算出する。
　また、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データを対象にして、対象者Ａの左右の角膜反射点の位置も検出する。すなわち、検出した瞳孔を中心としたウィンドウを設定し、そのウィンドウ範囲のみを高分解像度化した画像データを作成し、その画像データから角膜反射を検出する。具体的には、Ｐタイル法によって２値化の閾値を決定し、その画像から２値化画像を作成し、ラベリングを行い、面積が一定以下である部分を選択する。ここで、画像処理装置７は、選択した部分の中心座標に対し、分離度フィルタを与え、分離度と輝度とを掛けた特徴量を求め、その値が一定値以下であれば角膜反射ではないと判断する。さらに、画像処理装置７は、明瞳孔画像データと暗瞳孔画像データにおいて、角膜反射の移動量を計算し、その移動量を差分位置補正量とする。そして、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データの角膜反射位置が一致するように差分位置補正量分だけずらし、画像データの輝度を足し算し、輝度重心座標を角膜反射の座標と決定する。
　さらに、画像処理装置７は、２台のステレオカメラ２ａ，２ｂから出力された画像データを元に検出した瞳孔中心座標から、対象者Ａの左右の瞳孔の３次元位置を計算する。この際、画像処理装置７は、ステレオ法によって左右の瞳孔の３次元座標を計測する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに画像中の点の座標を基に、内部パラメータ及び外部パラメータを用いてその点の空間上の位置を決定する方法である。
　なお、画像処理装置７がステレオ法を用いて瞳孔の３次元座標を計算する際には、図３に示すような座標系を用いる。同図に示す世界座標系（ＸＷ，ＹＷ，ＺＷ）は、２台のステレオカメラ２ａ，２ｂで共有する原点ＯＷが例えばディスプレイ装置８の画面中央に位置する座標系であり、カメラ座標系（Ｘ，Ｙ，Ｚ）は、その原点Ｃがカメラ２ａ，２ｂの光学中心とされ、Ｚ軸が光学中心から画像面に垂直に引いた光軸と平行とされた座標系であり、画像座標系（ＸＧ，ＹＧ）は、撮像素子が置かれる画像面に沿ってＸＹ平面と平行にされ、光軸と画像面の交点（画像中心）を原点Ｃｉとする座標系である。点Ｐが目標点の座標とすると、カメラ２ａ，２ｂを用いた際の画像座標系への投影点（Ｘｄ，Ｙｄ）は、画像のゆがみにより理想的な投影点（Ｘｕ，Ｙｕ）からずれることになる。従って、ステレオ法を用いた３次元位置計測を精度良く行うためには、目標点Ｐの世界座標とその画像座標の対応づけを記録したキャリブレーションデータを予め取得する必要がある。例えば、このようなキャリブレーションデータとしては、外部パラメータとしての世界座標に対するカメラ座標系の平行移動ベクトル及び世界座標系に対するカメラ座標系の回転行列や、内部パラメータとしての焦点距離、画像中心座標、スケール係数、レンズひずみ係数、撮像素子間隔等が予め取得されて、画像処理装置７に記憶される。
　そして、画像処理装置７は、２台のステレオカメラ２ａ，２ｂからの出力データを元に検出した画像座標系における瞳孔中心座標と、世界座標系における瞳孔中心座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、画像処理装置７は、２つの関係式から対象者Ａの瞳孔の世界座標系における３次元位置座標を求める。同様にして、画像処理装置７は、対象者Ａの左右の瞳孔の３次元位置を求めることができる。
　また、画像処理装置７は、検出した対象者Ａの左右の角膜反射点の位置、及び左右の瞳孔中心の位置とを用いて、ディスプレイ装置８上の対象者の注視点を検出する。以下に、図４及び図５を参照しながら、画像処理装置７による注視点の検出手順について説明する。
　（自動較正法による注視点検出手順）
　ここでは、図４に示すように、検出した瞳孔の３次元位置Ｐを元に、カメラ２ａ，２ｂの開口部９ａ，９ｂの中心を原点Ｏとし、その原点Ｏと瞳孔Ｐを結ぶ基準線ＯＰを法線とする仮想視点平面Ｘ’－Ｙ’を設定する。
　まず、画像処理装置７は、画像面ＳＧにおける角膜反射点Ｇから瞳孔中心Ｐまでのベクトルｒ０を算出する。そして、ベクトルｒ０を、距離ＯＰから求められたカメラの拡大率を用いて実寸に換算したベクトルｒに変換する（ベクトル計算ステップ）。このとき、各カメラ２ａ，２ｂをピンホールモデルと考え、角膜反射点Ｇと瞳孔中心Ｐとが、仮想視点平面Ｘ’－Ｙ’と平行な平面上にあると仮定している。つまり、画像処理装置７は、仮想視点平面と平行であって瞳孔Ｐの３次元座標を含む平面上において、瞳孔中心Ｐと角膜反射点Ｇの相対座標をベクトルｒとして算出している。
　その後、画像処理装置７は、対象者Ａの仮想視点平面上の注視点Ｔに関して、直線ＯＴの水平軸Ｘ’に対する傾きφを、ベクトルｒの画像面上の水平軸ＸＧに対する傾きφ’と等しいとして求める。さらに、画像処理装置７は、対象者Ａの視線ベクトル、すなわち、瞳孔中心Ｐと注視点Ｔを結ぶベクトルＰＴと、基準線ＯＰとの成す角θを、係数ｋを使った関数ｆ１を用いて、下記式（３）；
θ＝ｆ１（｜ｒ｜）＝ｋ×｜ｒ｜　　…（３）
によって計算する（視線方向計算ステップ）。
　ここで、係数ｋは予め設定された初期値が使用される。このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上のベクトルｒを仮想視点平面上で拡大したものがそのまま対象者Ａの注視点に対応するとみなすことにより行われている。より詳しくは、対象者Ａの視線ＰＴの基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離｜ｒ｜との間で線形関係を有すると仮定している。ただし、上記係数ｋは、各対象者Ａや左右の眼球によって異なるため較正を行う必要がある。
　そこで、画像処理装置７は、次のようにして係数ｋを補正する（パラメータ補正ステップ）。係数ｋの補正は、連続する１００フレームの画像データを基に、１フレーム毎に係数ｋを求めて、それらの平均を最終的な係数ｋとすることにより行われる。
　具体的には、図５に示すように、画像処理装置７は、左右のステレオカメラ２ａ，２ｂを用いて、それぞれの仮想視点平面ＸＬ－ＹＬ，ＸＲ－ＹＲ上の１つの瞳孔ＰＶからの注視点ＴＶＬ，ＴＶＲを求める。そして、画像処理装置７は、２つの注視点ＴＶＬ，ＴＶＲと、仮想視点平面の原点ＯＶＬ，ＯＶＲとを、それぞれ、投影仮想視点平面Ｘ’－Ｙ’上の点Ｔ’ＶＬ，Ｔ’ＶＲ，Ｏ’ＶＬ，Ｏ’ＶＲに投影する。そして、画像処理装置７は、投影仮想視点平面上の２つの注視点間の距離｜Ｔ’ＶＬＴ’ＶＲ｜を計算する。ここで、投影仮想視点平面Ｘ’－Ｙ’とは、２つの仮想視点平面の原点ＯＶＬ，ＯＶＲと瞳孔ＰＶとを結ぶ線によって形成される角ＯＶＬＰＶＯＶＲの２等分線に垂直な平面であって、瞳孔ＰＶからの距離が瞳孔ＰＶから２つの仮想視点平面までの距離の和に設定された平面である。なお、投影仮想視点平面Ｘ’－Ｙ’は、２つの仮想視点平面ＸＬ－ＹＬ，ＸＲ－ＹＲの傾きに対して平均的な傾きを有し、両平面との間の交差角が同時に小さくなる平面であれば角ＯＶＬＰＶＯＶＲの２等分線に垂直な平面に限られるものではなく、瞳孔ＰＶからの距離は任意の距離に設定されてよい。
　次に、画像処理装置７は、係数ｋを初期値ｋ０から二分探索を行うことにより補正する。詳細には、係数ｋを初期値ｋ０に加算値を加算することにより変化させ、その都度投影仮想視点平面上の２つの注視点間の距離｜Ｔ’ＶＬＴ’ＶＲ｜を計算し、距離｜Ｔ’ＶＬＴ’ＶＲ｜が最小となる係数ｋを探索する。これによって、２台のカメラ２ａ，２ｂによって求められた２つの注視点が所定平面上で近くなるように係数ｋが補正される結果、２台のカメラ２ａ，２ｂを使用して計算される視線ベクトルの方向も近くなる。
　このように求めた係数ｋを用いて、画像処理装置７は、所望のタイミングにおいて、対象者Ａの視線ベクトルを決定し、その視線ベクトルとディスプレイ装置８の表示画面との交点を求めることによって、最終的な対象者Ａの注視点Ｑを検出する（注視点検出ステップ）。具体的には、画像処理装置７は、較正した係数ｋを用いて求めた２つの注視点Ｔ’ＶＬ，Ｔ’ＶＲの中点Ｔ’を、投影仮想視点平面上の注視点とし、瞳孔中心Ｐと視点Ｔ’を結ぶベクトルＰＴ’を視線ベクトルとする。次に、画像処理装置７は、視線ベクトルＰＴ’と表示画面に沿った平面との交点を注視点Ｑとして算出する。ただし、このような注視点Ｑは、表示画面以外の予め定められた所定平面上で検出されてもよい。その後、画像処理装置７は、算出した注視点Ｑを表示画面上にマーカで表示させる。
　以上が画像処理装置７による注視点検出手順であるが、画像処理装置７は、検出する注視点の精度を上げるために、次のような較正手順を追加することもできる。
　（１点較正手順）
　上記式（３）を用いて対象者Ａの視線ベクトルＰＴの成す角θを求める際には、対象者Ａがカメラ２ａ，２ｂの開口部９ａ，９ｂを注視したときに瞳孔中心と角膜反射との距離｜ｒ｜が零になると想定している。しかしながら、人間の眼球の構造上、対象者Ａがカメラ２ａ，２ｂを見たときには角膜反射点と瞳孔中心は一致しない場合も多い。そこで、画像処理装置７は、この現象に起因する注視点のずれの補正を行う。
　すなわち、画像処理装置７は、自動較正法による係数ｋの二分探索と同時に、注視点の原点補正量の算出を行う。まず、画像処理装置７は、表示画面上の任意の位置に１点の指標（規定点）を表示させて対象者Ａにその指標を注視させた状態で、投影仮想視点平面上の注視点Ｔ’を検出する。次に、検出した注視点Ｔ’と指標の座標を投影仮想視点平面上に投影した点との差分が補正量ΔＱとして算出される。画像処理装置７は、この補正量ΔＱを用いて、その都度検出する注視点Ｔ’を補正することによって、検出する注視点Ｑを誤差分だけシフトして補正することができる。
　なお、画像処理装置７は、対象者Ａに１点の指標を注視させた状態で注視点を検出した後に、その注視点と指標の位置とに基づいて、上記式（３）を用いた係数ｋの値の決定と、補正量ΔＱの算出の両方を行ってもよい。
　（２点較正手順）
　また、画像処理装置７は、２つの指標を用いた２点較正手順によって、注視点の原点補正に加えて、瞳孔中心と角膜反射との距離｜ｒ｜と視線ベクトルＰＴの成す角θとの関係が非線形関係になることによる注視点検出誤差も補正することができる。
　詳細には、画像処理装置７は、まず、１つ目の指標を表示画面上の中央に表示させて対象者Ａに注視させながら、二分探索による係数ｋ１の決定（自動較正）、及び１点較正手順による原点補正量ΔＱの算出を行う。このとき、画像処理装置７は、上記式（３）に代えて下記式（４）；
Figure JPOXMLDOC01-appb-M000001
 を用いて、視線ベクトルＰＴの成す角θを算出する。上記式（４）中、｜ｒＢ｜，θＢは、１点目の指標を表示させたときに検出されたベクトルの大きさ｜ｒ｜及び角度θであり、点（｜ｒＢ｜，θＢ）を基点として、ベクトルの大きさ｜ｒ｜の変化に対する角度θの変化が異なるような関係が設定され、角度θが大きいときの両者の関係における非線形成分が考慮されている（図６）。
　次に、画像処理装置７は、２つ目の指標を表示画面上の中央上端に表示させて対象者Ａに注視させながら、画像データを基にこのときのベクトルｒの大きさ｜ｒＳ｜を検出し、既定の指標点から求まる視線ベクトルＰＴの成す角θＳを用いて、下記式（５）；
Figure JPOXMLDOC01-appb-M000002
 により、係数ｋ２を算出する。以降、画像処理装置７は、決定した係数ｋ１，ｋ２を基に関数ｆ２を補正し、その関数ｆ２を用いてベクトルｒから視線ベクトルＰＴの成す角θを導くようにする。
　以上説明した注視点検出装置１及び注視点検出装置１を用いた注視点検出方法によれば、２台のステレオカメラ２ａ，２ｂ及びその開口部９ａ，９ｂの外側の光源３ａ，３ｂによって対象者Ａの顔画像が明瞳孔画像及び暗瞳孔画像として生成され、それぞれの顔画像を基に対象者の角膜反射点から瞳孔までのベクトルｒが計算され、それぞれのベクトルｒを関数ｆ１，ｆ２に適用することによって、対象者Ａの視線の基準線に対する角度θが計算される。さらに、２台のステレオカメラ２ａ，２ｂを用いて計算されたそれぞれの視線の方向が互いに近くなるように、関数ｆ１，ｆ２が補正され、その関数ｆ１，ｆ２を用いて視線の方向が計算された後に、その視線の方向を基に表示画面上の注視点Ｑが検出される。これにより、対象者Ａが意識することなく視線方向を算出するための関数ｆ１，ｆ２に関する自動補正が実行されるので、対象者Ａの負担が軽減されるとともに、高精度の注視点検出が可能になる。
　また、注視点検出装置１では、２台のステレオカメラ２ａ，２ｂによるそれぞれの顔画像に基づいて、瞳孔の３次元座標を含みステレオカメラ２ａ，２ｂの基準線に垂直な平面上におけるベクトルｒが計算されるので、対象者Ａの瞳孔位置及び角膜反射点を基に、視線の角度θをより正確に計算することができる。
　また、注視点検出装置１では、２台のステレオカメラ２ａ，２ｂに対応する仮想視点平面上における視線との交点を求め、２つの交点を所定の投影仮想視点平面上に投影した後、２つの交点が投影仮想視点平面上で近くなるように関数ｆ１，ｆ２が補正される。こうすれば、２台のステレオカメラ２ａ，２ｂによって検出される視線の方向が近くなるように、２つの投影点間の距離を評価して関数ｆ１，ｆ２を補正することができる。
　さらに、注視点検出装置１では、ベクトルｒから視線方向を検出するために関数ｆ１を使用しているので、関数ｆ１の補正処理が単純化され、即座に高精度の注視点検出が可能になる。
　またさらに、注視点検出装置１では、１点較正手順が追加可能にされているので、自動較正のみによって生じる人間の眼球の構造に起因した注視点の検出ずれをさらに補正することができる。
　また、注視点検出装置１では、２点較正手順も追加可能にされているので、ベクトルｒと視線の角度θとの関係が非線形性を示す場合も考慮して関数ｆ１を関数ｆ２を用いて補正することができ、視線の角度がカメラの基準線に対して大きくなった場合でも高精度な注視点検出が実現される。
　なお、本発明は、前述した実施形態に限定されるものではない。例えば、本発明の注視点検出方法においては、角膜反射点と瞳孔中心を結ぶベクトルｒから視線の角度θを検出する為に使用する関数ｆは、様々な関数で代用することもできる。
　例えば、本発明の変形例にかかる注視点検出方法においては、次のようにして関数ｆを決定しても良い。
　すなわち、画像処理装置７は、上述した自動較正手順を用いて左右のステレオカメラ２ａ，２ｂによって検出された２つの注視点Ｔ’ＶＬ，Ｔ’ＶＲから中点Ｔ’を求める。そして、画像処理装置７は、投影仮想視点平面上の投影点Ｏ’ＶＬ，Ｏ’ＶＲ（図５）から中点Ｔ’に向かうベクトルＴ１，Ｔ２を求める。
　次に、画像処理装置７は、下記式（６）；
ｋ＝ｇ１ －１（｜Ｔ１｜）／｜ｒ１｜　　　…（６）
及び、下記式（７）；
ｋ＝ｇ１ －１（｜Ｔ２｜）／｜ｒ２｜　　　…（７）
を用いて、それぞれの係数ｋの値を求める。ここで、｜ｒ１｜，｜ｒ２｜は、それぞれのカメラ２ａ，２ｂによって検出されたベクトルｒの大きさであり、ｇ１は、各カメラの仮想視点平面から投影仮想視点平面への写像関数であり、ｇ１ －１は、その逆写像関数である。このようにして、画像処理装置７は、１点の注視点の検出時に２つのｋの値を取得する。中点Ｔ’が実際の注視点位置に近いと考えられるので、このような処理を繰り返すことで、対象者Ａの注視点を変化させることにより画像処理装置７は、｜ｒ｜の大きさが様々に変化した状態での係数ｋの値を得ることができる。
　その後、画像処理装置７は、角膜反射点から瞳孔中心までのベクトルｒから視線の角度θを計算するための関数が、係数ｋをベクトルｒの大きさ｜ｒ｜に応じて変化する未知関数として、下記式（８）；
θ＝ｆ３（｜ｒ｜）＝ｋ（｜ｒ｜）×｜ｒ｜　　…（８）
で与えられるものと仮定する。そして、画像処理装置７は、前述した方法で様々な｜ｒ｜の値に対して得られた係数ｋの値を用いて、非線形関数で回帰することによって、関数ｋ（｜ｒ｜）を｜ｒ｜を変数とした多項式もしくは他の適切な非線形式として求める。さらに、画像処理装置７は、式（８）を用いて、左右のステレオカメラ２ａ，２ｂを用いて２つの注視点Ｔ’ＶＬ，Ｔ’ＶＲを検出する。これにより、画像処理装置７は、ベクトルｒと角度θとの間の非線形関係をも考慮した状態で、表示画面上の注視点Ｑを精度良く算出することができる。
　また、画像処理装置７はステレオカメラ２ａ，２ｂによって得られた画像データを基に、対象者Ａの瞳孔の３次元座標をステレオ法を用いて計測していたが、特開２００５－２３００４９号公報に記載されたように、光飛行時間型距離イメージセンサをカメラとして用いて、そのカメラから出力される距離情報を用いて瞳孔の３次元座標を算出してもよい。
　また、ステレオカメラ２ａ，２ｂとしては、ＣＣＤカメラ、ＣＭＯＳカメラ等のデジタルカメラを用いてもよい。
　また、注視点検出装置１には、２台のステレオカメラ２ａ，２ｂが備えられているが、３台以上のカメラと、それぞれのカメラに対応する光源とが設けられていてもよい。この場合、注視点検出装置１は、それぞれのカメラを用いて計算された視線の方向が互いに近くなるように、それぞれのカメラに対応する視線方向検出用の関数を補正するように動作してもよい。
　上記の側面に係る発明では、２台以上のカメラによるそれぞれの顔画像に基づいて、対象者の瞳孔の３次元座標を検出する瞳孔座標検出ステップをさらに備え、ベクトル計算ステップでは、瞳孔の３次元座標を含みカメラの基準線に垂直な平面上におけるベクトルｒを計算する、ことが好ましい。この場合、対象者の瞳孔位置及び角膜反射点を基に、視線の角度θをより正確に計算することができる。
　また、パラメータ補正ステップでは、２台以上のカメラの位置を含み基準線に垂直なそれぞれの仮想視点平面上における視線との交点を求め、交点を所定の投影仮想視点平面上に投影した後、交点が投影仮想視点平面上で近くなるように関数ｆを補正する、ことも好ましい。こうすれば、２台以上のカメラによって検出される視線の方向が近くなるように、２つの投影点間の距離を評価して関数ｆを補正することができる。
　さらに、視線方向計算ステップでは、対象者の視線の角度θを、パラメータｋを用いて下記式（２）；
θ＝ｋ×｜ｒ｜　　…（２）
によって計算し、パラメータ補正ステップでは、パラメータｋを補正する、ことも好ましい。このような構成を採れば、関数ｆの補正処理が単純化され、即座に高精度の注視点検出が可能になる。
　またさらに、パラメータ補正ステップでは、対象者の注視点を変化させることにより、それぞれのベクトルｒを様々変化させたときのパラメータｋを算出することによって、パラメータｋをベクトルｒの大きさ｜ｒ｜の関数として求め、注視点検出ステップでは、当該関数及び式（２）を用いて視線の方向を計算する、ことも好ましい。このようにすれば、視線方向がカメラの光軸から大きくずれた場合であっても、視線方向を高精度に検出することができる。
　さらにまた、注視点検出ステップでは、所定平面上の１点の規定点を対象者に注視させた際の注視点を検出し、規定点と注視点とのずれに基づいて、視線の所定平面上の交点を補正する、ことも好ましい。この場合、自動較正のみによって生じる注視点の検出ずれをさらに補正することができる。
　また、注視点検出ステップでは、所定平面上の２点以上の規定点を対象者に注視させた際の注視点をそれぞれ検出し、パラメータ補正ステップでは、規定点と注視点とのずれに基づいて、関数ｆをさらに補正する、ことも好ましい。こうすれば、ベクトルｒと視線の角度θとの関係が非線形性を示す場合も考慮して関数ｆを補正することができ、より高精度な注視点検出が実現される。
　さらに、ベクトル計算ステップでは、明瞳孔画像及び暗瞳孔画像の差分を取ることによって、対象者の瞳孔位置を検出する、ことも好ましい。かかる構成を採れば、対象者の瞳孔位置が容易に検出される。
　本発明は、注視点検出方法及び注視点検出装置を使用用途とし、万人を対象にした場合であっても、被験者に対する負担を低減しつつ高精度の注視点検出を実現できるものである。
　１…注視点検出装置、２ａ，２ｂ…ステレオカメラ、３ａ，３ｂ…光源、４…発光回路（制御回路）、５…同期信号発生器（制御回路）、６…遅延回路（制御回路）、７…画像処理装置（画像処理部）、８…ディスプレイ装置（所定平面）、９ａ，９ｂ…開口部、Ａ…対象者、Ｇ…角膜反射点、Ｐ…瞳孔中心、ＯＰ…基準線、ＰＴ…視線、Ｑ…注視点、θ…視線の角度。

Claims (9)

  1. 　２台以上のカメラ及び前記２台以上のカメラの開口部外側に設けられた光源を用いて、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成する顔画像生成ステップと、
    　前記２台以上のカメラによるそれぞれの顔画像に基づいて、前記カメラと瞳孔とを結ぶ基準線に垂直な平面上における前記対象者の角膜反射点から前記瞳孔までのベクトルｒを計算するベクトル計算ステップと、
    　前記２台以上のカメラに対応するそれぞれの前記ベクトルｒを基に、前記２台以上のカメラの基準線それぞれに対する前記対象者の視線の角度θを、関数ｆを用いて下記式（１）；
    θ＝ｆ（｜ｒ｜）　　…（１）
    によって計算する視線方向計算ステップと、
    　前記２台以上のカメラに対応して計算された視線の方向が近くなるように、前記関数ｆを補正するパラメータ補正ステップと、
    　前記パラメータ補正ステップによって補正された前記関数ｆを用いて、上記式（１）を用いて前記視線の方向を計算し、前記視線の所定平面上の交点を求めることによって前記対象者の前記所定平面上の注視点を検出する注視点検出ステップと、
    を備えることを特徴とする注視点検出方法。
  2. 　前記２台以上のカメラによるそれぞれの顔画像に基づいて、前記対象者の瞳孔の３次元座標を検出する瞳孔座標検出ステップをさらに備え、
    　前記ベクトル計算ステップでは、前記瞳孔の３次元座標を含み前記カメラの基準線に垂直な平面上における前記ベクトルｒを計算する、
    ことを特徴とする請求項１記載の注視点検出方法。
  3. 　前記パラメータ補正ステップでは、前記２台以上のカメラの位置を含み前記基準線に垂直なそれぞれの仮想視点平面上における前記視線との交点を求め、前記交点を所定の投影仮想視点平面上に投影した後、前記交点が投影仮想視点平面上で近くなるように前記関数ｆを補正する、
    ことを特徴とする請求項１又は２記載の注視点検出方法。
  4. 　前記視線方向計算ステップでは、前記対象者の視線の角度θを、パラメータｋを用いて下記式（２）；
    θ＝ｋ×｜ｒ｜　　…（２）
    によって計算し、
    　前記パラメータ補正ステップでは、前記パラメータｋを補正する
    ことを特徴とする請求項１～３のいずれか１項に記載の注視点検出方法。
  5. 　前記パラメータ補正ステップでは、前記対象者の注視点を変化させることにより、それぞれの前記ベクトルｒを様々変化させたときのパラメータｋを算出することによって、パラメータｋをベクトルｒの大きさ｜ｒ｜の関数として求め、
    　前記注視点検出ステップでは、当該関数及び前記式（２）を用いて前記視線の方向を計算する、
    ことを特徴とする請求項４に記載の注視点検出方法。
  6. 　前記注視点検出ステップでは、前記所定平面上の１点の規定点を前記対象者に注視させた際の前記注視点を検出し、前記規定点と前記注視点とのずれに基づいて、前記視線の所定平面上の交点を補正する、
    ことを特徴とする請求項１～５のいずれか１項に記載の注視点検出方法。
  7. 　前記注視点検出ステップでは、前記所定平面上の２点以上の規定点を前記対象者に注視させた際の前記注視点をそれぞれ検出し、
    　前記パラメータ補正ステップでは、前記規定点と前記注視点とのずれに基づいて、前記関数ｆをさらに補正する、
    ことを特徴とする請求項１～６のいずれか１項に記載の注視点検出方法。
  8. 　前記ベクトル計算ステップでは、明瞳孔画像及び暗瞳孔画像の差分を取ることによって、前記対象者の瞳孔位置を検出する、
    ことを特徴とする請求項１～７のいずれか１項に記載の注視点検出方法。
  9. 　対象者の顔画像に基づいて、該対象者の所定平面上の注視点を検出する注視点検出装置であって、
    　前記対象者の顔画像を取得する２台以上のカメラと、
    　前記２台以上のカメラの開口部外側に設けられた光源と、
    　前記カメラ及び光源を制御する制御回路と、
    　前記２台以上のカメラから出力された画像信号を処理する画像処理部とを備え、
    　前記制御回路は、前記対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成するように制御し、
    　前記画像処理部は、
    　前記２台以上のカメラによるそれぞれの前記顔画像に基づいて、前記カメラと瞳孔とを結ぶ基準線に垂直な平面上における前記対象者の角膜反射点から前記瞳孔までのベクトルｒを計算し、
    　前記２台以上のカメラに対応するそれぞれの前記ベクトルｒを基に、前記２台以上のカメラの基準線それぞれに対する前記対象者の視線の角度θを、関数ｆを用いて下記式（１）；
    θ＝ｆ（｜ｒ｜）　　…（１）
    によって計算し、
    　前記２台以上のカメラに対応して計算された視線の方向が近くなるように、前記関数ｆを補正し、
    　補正した前記関数ｆを用いて、上記式（１）を用いて前記視線の方向を計算し、前記視線の所定平面上の交点を求めることによって前記対象者の前記所定平面上の注視点を検出する、
    ことを特徴とする注視点検出装置。
PCT/JP2011/068164 2010-08-09 2011-08-09 注視点検出方法及び注視点検出装置 WO2012020760A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/814,800 US9135708B2 (en) 2010-08-09 2011-08-09 Gaze point detection method and gaze point detection device
JP2012528685A JP5915981B2 (ja) 2010-08-09 2011-08-09 注視点検出方法及び注視点検出装置
EP11816424.3A EP2604180A4 (en) 2010-08-09 2011-08-09 Gaze point detection method and gaze point detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010178782 2010-08-09
JP2010-178782 2010-08-09

Publications (1)

Publication Number Publication Date
WO2012020760A1 true WO2012020760A1 (ja) 2012-02-16

Family

ID=45567722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/068164 WO2012020760A1 (ja) 2010-08-09 2011-08-09 注視点検出方法及び注視点検出装置

Country Status (4)

Country Link
US (1) US9135708B2 (ja)
EP (1) EP2604180A4 (ja)
JP (1) JP5915981B2 (ja)
WO (1) WO2012020760A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013183873A (ja) * 2012-03-07 2013-09-19 Jvc Kenwood Corp 診断支援装置
JP2014068933A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 診断支援装置および診断支援方法
WO2014073645A1 (ja) 2012-11-12 2014-05-15 アルプス電気株式会社 生体情報計測装置及びそれを用いた入力装置
WO2014188727A1 (ja) * 2013-05-22 2014-11-27 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
CN105358045A (zh) * 2013-07-09 2016-02-24 斯玛特艾公司 眼凝视成像
EP2857939A4 (en) * 2012-05-25 2016-09-14 Univ Shizuoka Nat Univ Corp PUPIL IDENTIFICATION METHOD, HORNHAUS REFLECTOR IDENTIFICATION METHOD, MINOR RECOGNITION METHOD AND PUPIL TRACKING METHOD
JP2016185375A (ja) * 2016-06-28 2016-10-27 株式会社Ｊｖｃケンウッド 診断支援装置、診断支援方法および診断支援プログラム
JP2017102688A (ja) * 2015-12-01 2017-06-08 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
US9898816B2 (en) 2012-09-28 2018-02-20 JVC Kenwood Corporation Diagnosis assisting apparatus and method for assisting diagnosis
JP2018028728A (ja) * 2016-08-15 2018-02-22 国立大学法人静岡大学 眼部画像処理装置
EP3187100A4 (en) * 2014-08-29 2018-05-09 Alps Electric Co., Ltd. Line-of-sight detection device
JP2019017491A (ja) * 2017-07-12 2019-02-07 国立大学法人静岡大学 画像特徴追跡方法、視線追跡方法及び注視点追跡方法
US10417782B2 (en) 2014-08-22 2019-09-17 National University Corporation Shizuoka University Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
US10496166B2 (en) 2016-04-12 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Eye tracking device and eye tracking method
US10572730B2 (en) 2016-04-13 2020-02-25 Panasonic Intellectual Property Management Co., Ltd. Visual line measuring device and visual line measuring method
JP2021536609A (ja) * 2018-08-31 2021-12-27 アイウェア・テク・ソシエテ・アノニム 注視点推定方法及びシステム
WO2024157647A1 (ja) * 2023-01-23 2024-08-02 キヤノン株式会社 測定装置、測定方法、およびプログラム

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9329683B2 (en) * 2010-12-08 2016-05-03 National University Corporation Shizuoka University Method for detecting point of gaze and device for detecting point of gaze
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US8860660B2 (en) 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US20130169532A1 (en) * 2011-12-29 2013-07-04 Grinbath, Llc System and Method of Moving a Cursor Based on Changes in Pupil Position
US20140085198A1 (en) 2012-09-26 2014-03-27 Grinbath, Llc Correlating Pupil Position to Gaze Location Within a Scene
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9179833B2 (en) * 2013-02-28 2015-11-10 Carl Zeiss Meditec, Inc. Systems and methods for improved ease and accuracy of gaze tracking
EP3015075B1 (en) 2013-06-28 2018-12-19 JVC Kenwood Corporation Diagnosis assistance device and diagnosis assistance method
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US9652034B2 (en) * 2013-09-11 2017-05-16 Shenzhen Huiding Technology Co., Ltd. User interface based on optical sensing and tracking of user's eye movement and position
KR101847756B1 (ko) * 2013-11-09 2018-04-10 선전 구딕스 테크놀로지 컴퍼니, 리미티드 광학 눈 추적
CN106663183B (zh) 2013-11-27 2020-04-24 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
EP3134850B1 (en) 2014-04-22 2023-06-14 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
WO2015190204A1 (ja) 2014-06-09 2015-12-17 国立大学法人静岡大学 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
GR1008670B (el) * 2014-07-03 2016-02-03 Ιωαννης Μηνα Ασλανης-Ασλανιδης Συσκευη οφθαλμικης ιχνηλατησης κατα την αναγνωση
JP6360752B2 (ja) * 2014-08-29 2018-07-18 アルプス電気株式会社 照明撮像装置
JP2016049261A (ja) * 2014-08-29 2016-04-11 アルプス電気株式会社 照明撮像装置および視線検出装置
JP6346525B2 (ja) 2014-08-29 2018-06-20 アルプス電気株式会社 視線検出装置
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN108351519A (zh) 2015-02-17 2018-07-31 赛尔米克实验室公司 用于在可穿戴式平视显示器中进行适眼区扩大的系统、设备和方法
KR102369792B1 (ko) * 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
US10175488B2 (en) 2015-05-04 2019-01-08 North Inc. Systems, devices, and methods for spatially-multiplexed holographic optical elements
CA2984138A1 (en) 2015-05-28 2016-12-01 Thalmic Labs Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
DE102015110456B4 (de) * 2015-06-29 2017-02-09 Hochschule Für Technik Und Wirtschaft Des Saarlandes Purkinjemeter und Verfahren zur automatischen Auswertung
CA2996721A1 (en) 2015-09-04 2017-03-09 Thalmic Labs Inc. Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
JP2017062598A (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017059285A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
CN105551024B (zh) * 2015-12-07 2019-02-26 西安诺瓦电子科技有限公司 Led显示屏逐点校正用区域定位判断方法及其应用
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
CA3020631A1 (en) 2016-04-13 2017-10-19 Thalmic Labs Inc. Systems, devices, and methods for focusing laser projectors
US9655504B1 (en) * 2016-05-26 2017-05-23 Dental Smartmirror, Inc. Autoclavable intraoral mirror with an integrated camera, and applications thereof
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
US10459221B2 (en) 2016-08-12 2019-10-29 North Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
US9898082B1 (en) * 2016-11-01 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for eye tracking
US10345596B2 (en) 2016-11-10 2019-07-09 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
WO2018098579A1 (en) 2016-11-30 2018-06-07 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10663732B2 (en) 2016-12-23 2020-05-26 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10437073B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
US20180356885A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
JP6971686B2 (ja) * 2017-08-02 2021-11-24 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
US10901216B2 (en) 2017-10-23 2021-01-26 Google Llc Free space multiple laser diode modules
JP7046347B2 (ja) * 2017-12-06 2022-04-04 国立大学法人静岡大学 画像処理装置及び画像処理方法
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US10564716B2 (en) 2018-02-12 2020-02-18 Hong Kong Applied Science and Technology Research Institute Company Limited 3D gazing point detection by binocular homography mapping
CN108369744B (zh) * 2018-02-12 2021-08-24 香港应用科技研究院有限公司 通过双目单应性映射的3d注视点检测
US10671890B2 (en) * 2018-03-30 2020-06-02 Tobii Ab Training of a neural network for three dimensional (3D) gaze prediction
SE542553C2 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
KR102641117B1 (ko) 2019-08-26 2024-02-27 삼성전자주식회사 영상을 증강하는 방법 및 장치
CN113139892B (zh) * 2020-01-19 2024-06-25 株式会社理光 一种视线轨迹的计算方法、装置及计算机可读存储介质
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN114680889A (zh) * 2022-03-08 2022-07-01 中国石油大学(北京) 钻井作业人员的不安全行为识别方法和装置
CN117351074B (zh) * 2023-08-31 2024-06-11 中国科学院软件研究所 基于头戴式眼动仪和深度相机的视点位置检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185431A (ja) 2003-12-25 2005-07-14 National Univ Corp Shizuoka Univ 視線検出方法および視線検出装置
JP2005198743A (ja) 2004-01-14 2005-07-28 National Univ Corp Shizuoka Univ 三次元視点計測装置
JP2005230049A (ja) 2004-02-17 2005-09-02 National Univ Corp Shizuoka Univ 距離イメージセンサを用いた視線検出装置
JP2008071162A (ja) * 2006-09-14 2008-03-27 Toyota Motor Corp 視線先推定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005063114A1 (ja) * 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
JP2008125619A (ja) * 2006-11-17 2008-06-05 National Univ Corp Shizuoka Univ 瞳孔検出装置及び瞳孔検出方法
US7810926B2 (en) * 2009-02-15 2010-10-12 International Business Machines Corporation Lateral gaze angle estimation using relative eye separation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185431A (ja) 2003-12-25 2005-07-14 National Univ Corp Shizuoka Univ 視線検出方法および視線検出装置
JP2005198743A (ja) 2004-01-14 2005-07-28 National Univ Corp Shizuoka Univ 三次元視点計測装置
JP2005230049A (ja) 2004-02-17 2005-09-02 National Univ Corp Shizuoka Univ 距離イメージセンサを用いた視線検出装置
JP2008071162A (ja) * 2006-09-14 2008-03-27 Toyota Motor Corp 視線先推定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2604180A4
YUKI KONDO ET AL. (SHIZUOKA UNIVERSITY, FACULTY OF ENGINEERING): "Stereo Camera o Riyo shita 3 Jigen Chushi Ichi Kenshutsu System", VIEW VISION GIJUTSU NO JITSURIYO WORKSHOP KOEN RONBUNSHU, vol. 2009, 3 December 2009 (2009-12-03), pages 343 - 348, XP008171757 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013183873A (ja) * 2012-03-07 2013-09-19 Jvc Kenwood Corp 診断支援装置
EP2857939A4 (en) * 2012-05-25 2016-09-14 Univ Shizuoka Nat Univ Corp PUPIL IDENTIFICATION METHOD, HORNHAUS REFLECTOR IDENTIFICATION METHOD, MINOR RECOGNITION METHOD AND PUPIL TRACKING METHOD
US9514538B2 (en) 2012-05-25 2016-12-06 National University Corporation Shizuoka University Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
US9898816B2 (en) 2012-09-28 2018-02-20 JVC Kenwood Corporation Diagnosis assisting apparatus and method for assisting diagnosis
US10832401B2 (en) 2012-09-28 2020-11-10 JVC Kenwood Corporation Diagnosis assisting apparatus and method for assisting diagnosis
JP2014068933A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 診断支援装置および診断支援方法
WO2014073645A1 (ja) 2012-11-12 2014-05-15 アルプス電気株式会社 生体情報計測装置及びそれを用いた入力装置
WO2014188727A1 (ja) * 2013-05-22 2014-11-27 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
JPWO2014188727A1 (ja) * 2013-05-22 2017-02-23 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
US10379609B2 (en) 2013-05-22 2019-08-13 National University Corporation Kobe University Line-of-sight measurement device, line-of-sight measurement method and line-of-sight measurement program
CN105358045A (zh) * 2013-07-09 2016-02-24 斯玛特艾公司 眼凝视成像
US10417782B2 (en) 2014-08-22 2019-09-17 National University Corporation Shizuoka University Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
EP3187100A4 (en) * 2014-08-29 2018-05-09 Alps Electric Co., Ltd. Line-of-sight detection device
JP2017102688A (ja) * 2015-12-01 2017-06-08 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
US10496166B2 (en) 2016-04-12 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Eye tracking device and eye tracking method
US10572730B2 (en) 2016-04-13 2020-02-25 Panasonic Intellectual Property Management Co., Ltd. Visual line measuring device and visual line measuring method
JP2016185375A (ja) * 2016-06-28 2016-10-27 株式会社Ｊｖｃケンウッド 診断支援装置、診断支援方法および診断支援プログラム
JP2018028728A (ja) * 2016-08-15 2018-02-22 国立大学法人静岡大学 眼部画像処理装置
JP2019017491A (ja) * 2017-07-12 2019-02-07 国立大学法人静岡大学 画像特徴追跡方法、視線追跡方法及び注視点追跡方法
JP7116978B2 (ja) 2017-07-12 2022-08-12 国立大学法人静岡大学 画像特徴追跡方法、視線追跡方法及び注視点追跡方法
JP2021536609A (ja) * 2018-08-31 2021-12-27 アイウェア・テク・ソシエテ・アノニム 注視点推定方法及びシステム
WO2024157647A1 (ja) * 2023-01-23 2024-08-02 キヤノン株式会社 測定装置、測定方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2012020760A1 (ja) 2013-10-28
JP5915981B2 (ja) 2016-05-11
EP2604180A4 (en) 2017-07-05
US20130188834A1 (en) 2013-07-25
EP2604180A1 (en) 2013-06-19
US9135708B2 (en) 2015-09-15

Similar Documents

Publication Publication Date Title
JP5915981B2 (ja) 注視点検出方法及び注視点検出装置
JP5858433B2 (ja) 注視点検出方法及び注視点検出装置
JP6963820B2 (ja) 視線検出装置
JP6646361B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6548171B2 (ja) 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
US8371693B2 (en) Autism diagnosis support apparatus
JP5167545B2 (ja) 視点検出装置
JP5415948B2 (ja) 視線検出装置及び視線検出方法
JP6631951B2 (ja) 視線検出装置及び視線検出方法
JP6324119B2 (ja) 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム
JP2016099759A (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
JP6452236B2 (ja) 眼球識別装置及び眼球識別方法
JP7046347B2 (ja) 画像処理装置及び画像処理方法
JP6346018B2 (ja) 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
JP6780161B2 (ja) 視線検出装置及び視線検出方法
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
US20130321608A1 (en) Eye direction detecting apparatus and eye direction detecting method
CN115191931A (zh) 斜视检测方法、设备及计算机可读存储介质
JP2016049258A (ja) 照明撮像装置及びそれを備えた視線検出装置
JP2023063760A (ja) 識別装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11816424

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012528685

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011816424

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13814800

Country of ref document: US