WO2008007781A1 - Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle - Google Patents

Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle Download PDF

Info

Publication number
WO2008007781A1
WO2008007781A1 PCT/JP2007/064011 JP2007064011W WO2008007781A1 WO 2008007781 A1 WO2008007781 A1 WO 2008007781A1 JP 2007064011 W JP2007064011 W JP 2007064011W WO 2008007781 A1 WO2008007781 A1 WO 2008007781A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
feature
line
sight
gaze direction
Prior art date
Application number
PCT/JP2007/064011
Other languages
English (en)
French (fr)
Inventor
Sotaro Tsukizawa
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to JP2008524862A priority Critical patent/JP5137833B2/ja
Priority to CN2007800265320A priority patent/CN101489467B/zh
Priority to DE602007009990T priority patent/DE602007009990D1/de
Priority to US12/373,582 priority patent/US8406479B2/en
Priority to EP07790791A priority patent/EP2042079B1/en
Publication of WO2008007781A1 publication Critical patent/WO2008007781A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a gaze direction detection device and a gaze direction detection method for detecting a gaze direction of a person.
  • the gaze recognition device described in Patent Document 1 uses a stereo camera to photograph a person (hereinafter referred to as "subject") whose gaze direction is to be detected, analyze the photographed image, The center of the examiner's pupil and the three-dimensional positions of the eyes and the corners of one eye are detected. Next, on the assumption that the eyes and the corners of the eye are located on the outer spherical surface of the eyeball, the three-dimensional position of the center of the eyeball of the subject is specified based on the position of the eyes, the position of the corner of the eye and the eyeball radius. Then, a vector starting from the center of the eyeball and ending at the center of the pupil is calculated as a vector indicating the eye direction of the subject.
  • the gaze direction detecting device described in Patent Document 2 analyzes an image of a subject photographed by a stereo camera, and detects a plane passing through the center of the subject's pupil and the contour of the subject's pupil. Find the 3D position. Then, the direction of the line passing through the center of the pupil among the normal lines of the plane through which the outline of the pupil passes is detected as the gaze direction of the subject.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2003-15816
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2004-255074
  • An object of the present invention is to provide a gaze direction detection device and a gaze direction detection method capable of obtaining a highly accurate gaze direction detection result without particularly performing calibration for each subject.
  • the gaze direction detection device of the present invention calculates the three-dimensional position of the center of the subject's face to be detected in the gaze direction from the three-dimensional positions of two face parts positioned symmetrically. And a reference position calculation means for calculating the center position of the left and right pupil centers, and the center position in the left and right direction of the subject's left and right pupil centers is calculated as a feature position.
  • a gaze direction feature quantity calculating unit that calculates a deviation amount of the feature position with respect to the reference position in the left-right direction as a gaze direction feature quantity, and the gaze direction of the subject is determined based on the gaze direction feature quantity. It adopts a configuration comprising gaze direction calculation means for calculating.
  • the gaze direction detection method of the present invention uses, as a reference position, the three-dimensional position of the center of the subject's face, which is the target of gaze direction detection, from the three-dimensional positions of two face parts positioned symmetrically.
  • a feature calculation step for calculating, as a feature position, a center position in the left-right direction of the left and right pupil centers of the subject from the three-dimensional position of the left and right pupil centers, and the reference in the left-right direction
  • a line-of-sight direction feature amount calculating step for calculating a shift amount of the feature position with respect to a position as a line-of-sight direction feature amount
  • a line-of-sight direction calculating step for calculating the line-of-sight direction of the subject based on the line-of-sight direction feature amount It was made to have.
  • the invention's effect [0010]
  • the three-dimensional position of the center of the left and right pupils and the three-dimensional position of two face parts positioned symmetrically such as the eyes can be obtained with high detection accuracy and the detection accuracy varies from person to person.
  • the direction of the line of sight of the subject can be detected from such parameters that there are few. In other words, it is possible to obtain a highly accurate gaze direction detection result without particularly performing calibration for each subject.
  • FIG. 1 is a block diagram showing a configuration of a gaze direction detection device according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing a flow of gaze direction detection processing by the gaze direction detection device in the first embodiment of the present invention.
  • FIG. 3 is an explanatory diagram showing an example of a stereo image pair acquired by the image input unit in Embodiment 1 of the present invention.
  • FIG. 4 is an explanatory diagram showing the relationship of parameters regarding the line-of-sight direction vector in Embodiment 1 of the present invention.
  • FIG. 5 is a block diagram showing a configuration of a line-of-sight direction detection device according to Embodiment 2 of the present invention.
  • FIG. 6 is a flowchart showing the flow of gaze direction detection processing by the gaze direction detection device in Embodiment 2 of the present invention.
  • FIG. 7 is an explanatory diagram showing the relationship of parameters regarding the line-of-sight direction vector in Embodiment 2 of the present invention.
  • FIG. 8 is a block diagram showing a configuration of a gaze direction detecting device according to a third embodiment of the present invention.
  • FIG. 9 is a flowchart showing the flow of gaze direction detection processing by the gaze direction detection device in Embodiment 3 of the present invention.
  • FIG. 10 is an explanatory diagram showing the relationship between parameters relating to the line-of-sight direction vector in Embodiment 3 of the present invention.
  • FIG. 11 is a block diagram showing a configuration of a gaze direction detection device according to Embodiment 4 of the present invention.
  • FIG. 12 is a flowchart showing a flow of gaze direction detection processing by the gaze direction detection device according to Embodiment 4 of the invention.
  • FIG. 13 is an explanatory diagram showing the relationship between parameters relating to a line-of-sight direction vector in Embodiment 4 of the present invention.
  • FIG. 14 is a block diagram showing a configuration of a gaze direction detecting device according to Embodiment 5 of the present invention.
  • FIG. 15 is a diagram showing an example of contents of a selection information table in Embodiment 5 of the present invention. The flowchart which shows the flow of a gaze direction detection process by the gaze direction detection apparatus in Embodiment 5 of invention.
  • FIG. 17 is a block diagram showing a configuration of a gaze direction detection device according to Embodiment 6 of the present invention.
  • FIG. 18 is a flowchart showing a flow of gaze direction detection processing by the gaze direction detection device according to Embodiment 6 of the present invention.
  • FIG. 19 is a diagram showing an example of the content of weight information in the sixth embodiment of the present invention.
  • FIG. 20 is a diagram showing another example of the contents of the weight information in the sixth embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of the gaze direction detecting apparatus according to Embodiment 1 of the present invention.
  • the gaze direction detection device 100 according to the present embodiment is provided in an alarm device that warns the driver of the occurrence of an accident, for example, looking away, and detects the gaze direction of the driver. It is a device for.
  • the detection of the gaze direction is to detect a vector whose direction is the same as the vector starting from the subject's eye and ending at the gaze target of the subject (hereinafter referred to as “gaze vector”). It shows that.
  • the gaze direction detection device 100 includes an image input unit 110, a face detection unit 120, a face part detection unit 130, a three-dimensional position calculation unit 140, a head posture estimation unit 150, a feature calculation unit 160, And a gaze direction calculation unit 170.
  • the image input unit 110 includes a first imaging unit 111, a second imaging unit 112, and a synchronization unit 113
  • a gaze direction calculation unit 170 includes a gaze feature projection unit 171, a gaze direction feature amount calculation unit 172, and A line-of-sight vector calculation unit 173 is included.
  • the image input unit 110 captures an image of a subject, inputs an image, and outputs the input image to the face detection unit 120 and the three-dimensional position calculation unit 140.
  • the first imaging unit 111 and the second imaging unit 112 are each provided with an image sensor (not shown), and images the subject at different positions.
  • An image sensor can be, for example, a lens and a CCD (charge coupled device) or CMOS (complement ary metal oxide semiconductor).
  • internal parameters that define the relationship between the input image and the imaging position of the first imaging unit 111 and the second imaging unit 112, and external parameters that define the imaging position of the first imaging unit 111 and the second imaging unit 112.
  • the internal parameter includes a focal length, an image center coordinate, a pixel size, and a lens distortion coefficient
  • the external parameter includes a translation vector and a rotation matrix.
  • the synchronization unit 113 performs control so that imaging is performed at a timing when the first imaging unit 111 and the second imaging unit 112 are synchronized. That is, the image input unit 110 functions as a stereo camera, and a set of two images captured at approximately the same time by the first imaging unit 111 and the second imaging unit 112 (hereinafter referred to as “stereo image pair” t). Is output. Note that when the above-described CCD or CMOS is used as the image sensor, the image input unit 110 functions as a digital stereo camera.
  • the face detection unit 120 detects an image area of the subject's face (hereinafter simply referred to as “face” t) from the image input by the image input unit 110, and the face image area ( The face area information indicating the “face area” t) is output to the face part detection unit 130 together with the image in which the face area is detected in the stereo image pair.
  • the face part detection unit 130 is positioned symmetrically with respect to the face from the image input by the face detection unit 120 based on the face area information similarly input by the face detection unit 120 with respect to the center of the face.
  • the parts to be detected (hereinafter referred to as “face parts”) are detected. That is, the facial part detection unit 130 detects an image corresponding to the facial part.
  • the facial parts are, for example, the eyes, the corners of the eyes, the nostrils, the corners of the eyes, the eyebrows, and the buttocks. Further, the facial part detection unit 130 detects the left and right pupil centers (image corresponding to the pupil center) of the subject based on the detected facial parts (image corresponding to the facial parts). Then, the facial part detection unit 130 outputs, to the three-dimensional position calculation unit 140, the facial part two-dimensional position information indicating the two-dimensional position of each detected facial part and pupil center in the image in which the face area is detected. To do.
  • the three-dimensional position calculation unit 140 is a stereo image pair input from the image input unit 110, face part two-dimensional position information input from the face part detection unit 130, and the known image input unit 110 described above. The three-dimensional position of each face part is calculated based on the internal parameters and external parameters. Then, the three-dimensional position calculation unit 140 is a face indicating the three-dimensional position of each face part. The component three-dimensional position information is output to the head posture estimation unit 150 and the feature calculation unit 160.
  • the head posture estimation unit 150 uses a face part direction vector (hereinafter referred to as a “face front vector”) from the face part 3D position information input from the 3D position calculation unit 140. ) Is acquired as a head posture parameter indicating the posture of the subject's head (hereinafter simply referred to as “head”). Specifically, the head posture estimation unit 150 calculates a plane passing through the three-dimensional position of each of three or more face parts including two face parts corresponding to the left and right, and calculates the normal vector of the plane as Acquired as a head posture parameter. Then, the head posture estimation unit 150 outputs the acquired head posture parameters to the line-of-sight direction calculation unit 170.
  • the feature calculation unit 160 obtains a line-of-sight feature parameter indicating the characteristic of the subject's line of sight (hereinafter simply referred to as "line of sight”) from the face part three-dimensional position information input by the three-dimensional position calculation unit 140. get.
  • the line-of-sight feature parameters are the three-dimensional position of the line-of-sight feature point (feature position), which is the point that moves in accordance with the line-of-sight direction, and the cubic of the line-of-sight reference point that serves as a reference for determining movement of the line-of-sight feature point. Consists of the original position (reference position).
  • the gaze direction characteristic point is the midpoint of the center of the left and right pupils
  • the gaze direction reference point is the midpoint of the two corresponding facial parts (for example, the left and right eyes).
  • the line-of-sight calculation unit 170 is based on the head posture parameters input from the head posture estimation unit 150, the line-of-sight feature parameters input from the feature calculation unit 160, and the face part three-dimensional position information. Calculate the vector.
  • the line-of-sight feature projection unit 171 vertically projects the line-of-sight direction feature point on a straight line passing through two corresponding face parts on the left and right that are the basis of the line-of-sight direction reference point. Then, the three-dimensional position of the line-of-sight feature projection point is calculated.
  • the line-of-sight feature quantity calculation unit 172 calculates the amount of shift of the line-of-sight feature projection point with respect to the line-of-sight direction reference point as an amount indicating the characteristic in the line-of-sight direction (hereinafter referred to as “line-of-sight direction feature quantity”).
  • the line-of-sight vector calculation unit 173 calculates the line-of-sight vector based on the line-of-sight direction feature and the face front vector.
  • the line-of-sight direction calculation unit 170 outputs the calculated line-of-sight vector as a line-of-sight direction detection result to, for example, the alarm device described above.
  • the gaze direction detection apparatus 100 includes a CPU (Central Processing Unit), a ROM (Read Only Memory) storing a control program, a RAM (Random Access Memory) as a working memory of the CPU, and the like. It has. That is, the function of each unit of the above-described line-of-sight direction detection device 100 is realized by the CPU executing the control program.
  • FIG. 2 is a flowchart showing the flow of gaze direction detection processing performed by the gaze direction detection device 100.
  • This line-of-sight direction detection process is triggered by, for example, an input of a signal indicating activation of the alarm device described above or an instruction to start the process by a user operation.
  • step S 1000 of FIG. 2 the image input unit 110 inputs the two images captured by the first imaging unit 111 and the second imaging unit 112 as a stereo image pair.
  • FIG. 3 is an explanatory diagram showing an example of a stereo image pair acquired by the image input unit 110.
  • the stereo image pair 400 includes the image 401 (hereinafter referred to as “first image”) 401 captured by the first imaging unit 111 and the image captured by the second imaging unit 112 (hereinafter referred to as “second image”).
  • Image "t, u) 402 also consists of force.
  • the first imaging unit 111 is arranged at a position where the head is seen from the left side
  • the second imaging unit 112 is arranged at a position when the head is seen from the right side. Therefore, the first image 401 and the second image 402 are different images that are captured almost simultaneously under the control of the synchronization unit 113.
  • the image input unit 110 functions as a digital stereo camera as described above, for example, the first image 401 and the second image 402 are stored as image data in PPM (Portable Pix Map file format) format. get.
  • the image input unit 110 temporarily stores the acquired image data in a non-illustrated storage unit (for example, the predetermined memory space of the RAM described above) provided in the image input unit 110. Then, the face detection unit 120 and the three-dimensional position calculation unit 140 acquire PPM format image data from the storage unit.
  • a non-illustrated storage unit for example, the predetermined memory space of the RAM described above
  • the face detection unit 120 detects the face area 403 for the first image 401 out of the stereo image pair 400 input in step S 1000, and the face described above. Generate region information.
  • the face detection unit 120 may acquire only the first image 401 from the image input unit 110.
  • the face detection unit 120 identifies, for example, an image part having the highest correlation with the feature image representing the face area of the average face prepared from the first image 401, by preparing the face area. 403 is detected.
  • the face detection unit 120 extracts a plurality of image portions that are features from the first image 401, and compares each extracted image portion with the feature image. The extracted image portion having the highest similarity with the feature image is determined as the face region 403.
  • the face detection unit 120 calculates the Gabor feature amount of the first image 401, prepares it in advance, compares it with the Gabor feature amount of the feature image, and calculates the reciprocal of the absolute value of the difference, What is necessary is just to use it as this similarity.
  • the Gabor feature amount is a value indicating the feature of the image calculated by performing Gabor wavelet transform on the image.
  • the face detection unit 120 analyzes the first image 401 to detect a skin color area, detects an area having a shape close to an ellipse, or uses a statistical pattern identification method.
  • the region 403 may be detected.
  • various methods other than those described above may be applied as long as the face area 403 can be detected in the first image 401 or the second image 402.
  • the face part is naturally located on the face. Therefore, by detecting the face area 403 in this way, the area to be searched for face parts can be narrowed down to the face, and the processing speed can be increased.
  • the face part detection unit 130 uses the face area 403 of the first image 401 as a search area based on the face area information generated in step S1100, and starts the face part 404 from the first image 401. Is detected.
  • the facial part detection unit 130 detects at least two types of facial parts, for example, the left and right eyes and the left mouth corner, and at least one type detects both the left and right sides.
  • the left and right mouth corners, the left and right eye corners, and the left and right eye corners are detected as the face part 404.
  • these face parts 404 are located symmetrically with respect to the center of the face.
  • the face part detection unit 130 detects, for example, the degree of separation of each position of the face region 4003 of the first image 401 using a degree of separation filter, and selects the face part 404 from among the parts with high degree of separation.
  • the face part 404 is detected by identifying the corresponding one.
  • the facial part detection unit 13 0 stores or learns the positional relationship between the face area and the facial part in advance, and detects a part having a high likelihood among the parts having a high degree of separation as the facial part 404.
  • the face part detection unit 130 prepares an image part template in which an image partial force obtained by partially cutting an average face image is prepared, and a template for each part of the face area 403 of the first image 401 is prepared.
  • the face part 404 may be detected by searching for similar parts by performing matching.
  • step S1300 the face part detection unit 130 uses the face area 403 of the first image 401 as a search area based on the face area information generated in step S1100, and starts from the first image 401.
  • the pupil center 405 is detected.
  • the facial part detection unit 130 applies a circular separability filter to a region including the corner of the eye and the head of the facial part 404, and detects the circle center having the highest luminance separation as the pupil center 405.
  • the flaw is detected by edge detection using a Sobel filter or the luminance binary value using the Otsu threshold method, and only the area between the upper and lower flaws is detected. Is desirable.
  • the face part detection unit 130 may calculate the luminance sum in each of the horizontal direction and the vertical direction in the region including the corner of the eye and the top of the eye, and set the point having the small luminance sum as the pupil center 405.
  • various methods other than the above may be applied as long as the pupil center 405 can be detected.
  • step S1400 the three-dimensional position calculation unit 140 is based on the stereo image pair 400 acquired in step S1000, the facial part 404 detected in step S1200, and the pupil center 405 detected in step S1300. Then, the three-dimensional positions of the face part 404 and the pupil center 405 are calculated. Specifically, the three-dimensional position calculation unit 140 includes the two-dimensional positions of the face part 404 and the pupil center 405 in the first image 401 and the second image 4002, respectively, and the first imaging unit 111 and the second imaging described above. Based on the internal and external parameters of the unit 112, the three-dimensional positions of the face part 404 and the pupil center 405 are calculated by the stereo method. Then, the three-dimensional position calculation unit 140 outputs the calculated three-dimensional position of each face part to the head posture estimation unit 150 and the feature calculation unit 160 as face part three-dimensional position information.
  • the three-dimensional position calculation unit 140 performs template matching on the second image 402. By performing the above, the positions of corresponding points in the second image 402 of the face part 404 and the pupil center 405 are detected. Specifically, the three-dimensional position calculation unit 140 uses each of the face parts 404 and the pupil center 405 in the first image 401 as templates, and each face part 404 and the pupil center in the first image 401. Draw 405 epipolar lines against the second image 402. Then, a location having the highest correlation with the corresponding template is searched on the epipolar line, and the positions of the corresponding points of the face part 404 and the pupil center 405 in the second image 402 are specified.
  • the three-dimensional position calculation unit 140 may limit the search range of corresponding points in the second image 402 by generating a three-dimensional model of the face based on the first image 401. In this way, by narrowing down the search area for corresponding points of the facial part 404 and the pupil center 405, it is possible to increase the processing speed.
  • the 3D position calculation unit 140 converts the face shape into a 3D model, prioritizes the search for the corresponding points of the face part 405 having a remarkable feature, and considers it as the 3D shape of the entire face. Search for the remaining corresponding points so that there is no conflict.
  • various methods other than those described above may be applied as long as it is possible to detect the three-dimensional positions of the facial part 404 and the pupil center 405.
  • step S1500 the head posture estimation unit 150 estimates the head posture based on the three-dimensional position of the face component 404 detected in step S1400, and acquires the head posture parameters.
  • the head posture estimation unit 150 identifies a plane passing through the four points of the left and right mouth corners and the left and right eyes of the facial part 404 acquired in step S1200, and calculates a normal vector thereof. Then, the calculated normal vector is used as a face front vector, that is, a head posture parameter. Actually, since it is difficult to always obtain a plane that passes through all four points described above, the plane that minimizes the sum of the squares of the lengths of the perpendiculars drawn from each point is specified, and its normal vector is represented by the face. Let it be the front vector.
  • a plane passing through the three points of the left and right mouth corners and one of the eyes may be specified, and the normal vector may be used as the face front vector.
  • the face front vector may be obtained by obtaining a vector connecting the left and right eyes and a vector connecting one of the eyes and the midpoint of the left and right mouth corners, and taking the outer product of these two vectors.
  • a robust estimation method such as M estimation can be used as an evaluation method for calculating the plane. Good.
  • various methods other than the above may be applied as long as the face front vector can be calculated.
  • step S1600 the feature calculation unit 160 acquires a line-of-sight feature parameter based on the three-dimensional positions of the pupil center 405 and the face part 404 detected in step S1400.
  • the feature calculation unit 160 specifies the three-dimensional position of the middle point of the left and right pupil centers 405 from the three-dimensional position of the left and right pupil centers 405, and sets the specified points as the above-described line-of-sight direction feature points.
  • the feature calculation unit 160 specifies, for example, the three-dimensional position of the midpoint of the left and right eyes from the three-dimensional positions of the left and right eyes of the face part 404, and uses the specified points as the above-described gaze direction reference points. To do.
  • the midpoint of other facial parts 404 that exist symmetrically on the face such as the midpoint of the left and right corners of the eyes and the midpoint of the left and right mouth corners, may be used as the gaze direction reference point.
  • multiple sets of symmetrical facial parts such as left and right corners of eyes and left and right mouth corners may be selected, and the center of gravity of each point may be used as the gaze direction reference point. That is, the gaze direction reference point is a point located at the center of the face in the left-right direction, assuming that the face is symmetrical.
  • the feature calculation unit 160 also outputs, to the gaze direction calculation unit 170, information regarding the three-dimensional position of the face part 404 that is the basis of the gaze direction reference point that is formed only by the gaze feature parameters.
  • step S1700 the line-of-sight feature projection unit 171 determines the line-of-sight direction feature point based on the line-of-sight direction reference point based on the line-of-sight feature parameter and the facial part three-dimensional position information acquired in step S1600. Projection is performed on a straight line passing through the two corresponding left and right face parts 404, and the projection point is obtained as a gaze feature projection point.
  • the line-of-sight feature projection unit 171 for example, when the midpoint of the left and right eye eyes is set as the line-of-sight direction reference point, drops the perpendicular to a straight line passing through the left and right eye heads from the line-of-sight direction feature point. And the intersection of the straight line passing through the left and right eye heads is obtained as the gaze feature projection point. Also, for example, when the center of gravity of the face part 404 of three or more points is set as the gaze direction reference point, the face part 404 is divided into right and left, and a perpendicular is made to the straight line passing through the center of gravity of the left and right face parts 404. It should be lowered.
  • step S1800 the gaze direction feature quantity calculation unit 172 acquires in step S1600. Based on the line-of-sight direction reference point and the line-of-sight feature projection point acquired in step S1700, the line-of-sight direction feature amount is calculated.
  • FIG. 4 is an explanatory diagram showing the relationship of each parameter related to the line-of-sight direction vector, showing the eye of the subject and its peripheral portion as viewed from above.
  • the case where the midpoint of the left and right eyes is set as the reference direction of the gaze direction will be described as an example.
  • the line-of-sight direction reference point Fc is the midpoint between the left eye head 501 and the right eye head 502.
  • the line-of-sight feature point 504 also moves, and the line-of-sight feature projection point E also moves the same distance in the same direction on the left and right. Therefore, when the pupil center 503 is moved by a deviation d in the left-right direction with respect to the position when the face of the face is V, the gaze feature projection point E is also displaced in the left-right direction with respect to the gaze direction reference point Fc. Move by amount d.
  • the shift amount d based on the line-of-sight direction reference point Fc and the angle based on the face front vector 512 the left direction when the face is viewed from the front is positive.
  • the shift amount d is a line-of-sight direction characteristic amount, and when the line-of-sight direction feature point 504 is on the left side of the line-of-sight direction reference point Fc, for example, it is obtained using the following equation (1). . Further, when the line-of-sight direction feature point 504 is on the right side of the line-of-sight direction reference point Fc, the shift amount d can be obtained using, for example, the following equation (2).
  • step S1900 the line-of-sight vector 511 and the face front vector 512 are formed based on the line-of-sight feature calculated in step S1900.
  • the angle is calculated and the line-of-sight vector 511 is calculated.
  • the calculated line-of-sight vector 511 is output, for example, to the alarm device described above.
  • the line-of-sight vector 511 can be represented by a vector having the eyeball center 505 as a start point and the pupil center 503 as an end point. it can. Therefore, when the eyeball radius is r, the gaze vector 511 and the face front vector With respect to the angle ⁇ formed by 512, the following equation (3) holds.
  • the angle ⁇ formed by the line-of-sight vector 511 and the face front vector 512 can be obtained using, for example, the following equation (4).
  • the eyeball radius r has a small individual difference among adults, and therefore a value determined in advance can be used. Depending on the characteristics of the subject such as age, gender, and race, the value of the eyeball radius !: may be switched, or the actual eyeball radius of the subject may be measured and the measurement result used. Good.
  • the coordinate system used to represent the three-dimensional position in the three-dimensional position calculation unit 140 that is, the coordinate system based on the imaging positions of the first imaging unit 111 and the second imaging unit 112, This is called the stereo camera coordinate system.
  • a straight line passing through the two corresponding face parts 404 (left and right heads 501 and 502 in FIG. 4) on the left and right that is the basis of the line-of-sight direction reference point is the X axis, and z parallel to the face front vector 512.
  • a coordinate system having an axis is referred to as a face coordinate system.
  • Each component of the face front vector 512 in the face coordinate system is (0, 0, f), and z
  • Each axis of the face coordinate system is defined based on a vector or feature that can be expressed in the stereo camera coordinate system. Therefore, the line-of-sight vector 511 expressed in the face coordinate system is a stereo camera. It can also be expressed in a coordinate system. Therefore, it can be detected from the external parameters of the first imaging unit 111 and the second imaging unit 112, for example, in which direction the line-of-sight vector is facing!
  • each component of the line-of-sight vector 511 in the stereo camera coordinate system is represented by (G 1, G 2, G
  • the rotation matrix and the translation vector from the face coordinate system to the stereo camera coordinate system are tlR and T, respectively, the line-of-sight vector 511 in the stereo camera coordinate system is obtained using, for example, the following equation (6).
  • rotation matrix R and the translation vector T can also acquire the coordinate forces of the three face parts used when calculating the face front vector 512.
  • step S2000 the line-of-sight direction detection apparatus 100 determines whether to end the process of detecting the line-of-sight vector 511. This termination determination is performed, for example, by determining whether or not there is an input of a signal indicating the stop of the alarm device described above, and whether there is an instruction to stop the process by a user operation. If it is determined that the process is to be terminated (S2000: YES), the series of processes is terminated. If it is determined that the processing is not terminated (S2000: NO), the process returns to step S1000, and the stereo image pair 400 is input again to detect the line-of-sight vector 511.
  • the line-of-sight direction detection device 100 when the processing can be performed in parallel by a plurality of processing units constituting the line-of-sight direction detection device 100, before the line-of-sight vector 511 is acquired from the stereo image pair 400 acquired immediately before, The next stereo image pair 400 may be acquired. Further, the image input unit 110 may perform imaging at regular intervals. In this case, the line-of-sight direction detection device 100 makes an end determination of step S2000 at an early stage, and stops the imaging of the image input unit 110 when it is determined to end the process of detecting the line-of-sight vector 511. . The shorter the time required for processing from step S1000 to step S1900, the more real-time gaze direction detection can be realized, and the shorter the processing interval in step S1000, the finer gaze direction. Needless to say, detection can be realized. In this way, the line-of-sight direction detection device 100 detects which direction the subject is looking as the line-of-sight vector 511 and outputs it to the alarm device.
  • a windshield region, a side mirror region, a liquid crystal panel region of a car navigation device, and the like are stored. Based on an input line-of-sight vector 511, for example. Monitor where the driver is looking. For example, when an operation to turn the steering wheel to the left or right is performed, the driver's line of sight is directed to the side mirror on the steering wheel side, and in such a case, a warning is given to check the side mirror. . As a result, it is possible to prevent an accident when the steering wheel is cut.
  • the left and right pupil centers of a human are arranged symmetrically on the face when looking at the direction of the front of the face, and when looking at other directions. Detects the direction of gaze using a feature that is commonly shared by human faces, which moves in conjunction with each other. Specifically, it detects the three-dimensional position of the left and right pupil centers and the three-dimensional position of the face parts that are located symmetrically to the face with respect to the center of the face. The amount of shift in the left-right direction with respect to the center of the eye was detected, and the gaze direction was detected based on the amount of shift and the eyeball radius.
  • the line-of-sight direction can be detected from parameters that can be acquired with high detection accuracy and that have small individual differences in detection accuracy. Therefore, it is possible to stably obtain a highly accurate gaze direction detection result without particularly performing calibration for each subject.
  • even a low-resolution image captured by a stereo camera can stably obtain a highly accurate gaze direction detection result. That is, the resolution of the stereo camera can be kept low, and the cost of the apparatus can be reduced.
  • the detected line-of-sight direction is determined as a specific coordinate. It can be expressed by a system, and the utility value of the detection result can be increased.
  • the left-right shift amount of the midpoint of the center of the left and right eyes with respect to the center of the face is detected. It can be flexibly applied to various fields.
  • common to the human face mentioned above By making the eyeball radius with a small individual difference just by using the feature to be a known value, calibration for each subject becomes completely unnecessary. Thereby, the gaze direction detection can be started in a shorter time, and the burden on the user can be reduced. In other words, it is possible to detect the human eye direction more easily and easily.
  • the gaze direction detecting device when applied to an alarm device that warns a car driver of the risk of an accident, it is necessary to detect the gaze direction in a non-contact manner using a stereo camera. Due to the large fluctuations in the brightness and lighting conditions of the car at the time, uncertain elements such as shadows are likely to enter the image. Therefore, the gaze direction detecting device according to the present embodiment is particularly useful for such an alarm device.
  • a force that only performs gaze direction detection corresponding to the movement of the pupil in the left-right direction of the face Since it moves more in the left-right direction, it is possible to obtain detection results that are sufficiently useful as information for identifying the subject and intention of the subject's attention.
  • it may be combined with a gaze direction detection technique corresponding to the movement of the pupil in the vertical direction of the face.
  • the line-of-sight feature projection point is used when calculating the amount of lateral deviation of the midpoint of the center of the left and right pupils, but in this embodiment, in the left-right direction of the face.
  • the reference plane located at the center of the center is calculated, and the calculated reference plane (symmetric plane) is used.
  • FIG. 5 is a block diagram showing a configuration of the gaze direction detecting device according to the second embodiment of the present invention, and corresponds to FIG. 1 of the first embodiment.
  • gaze direction detection apparatus 200 of the present embodiment has gaze direction calculation unit 270 instead of gaze direction calculation unit 170 shown in FIG.
  • the line-of-sight direction calculation unit 270 includes a line-of-sight reference plane calculation unit 271 and a line-of-sight direction feature amount calculation unit 272 instead of the line-of-sight feature projection unit 171 and the line-of-sight direction feature amount calculation unit 172 shown in FIG.
  • the line-of-sight reference plane calculation unit 271 calculates a three-dimensional position (reference position) of the line-of-sight reference plane corresponding to the symmetry plane of the face.
  • the gaze direction feature quantity calculation unit 272 calculates the gaze direction feature point shift amount with respect to the gaze reference plane as the gaze direction feature quantity.
  • FIG. 6 is a flowchart showing the flow of gaze direction detection processing performed by the gaze direction detection device 200, and corresponds to FIG. 2 of the first embodiment.
  • step S1000 to step S1600 is the same as in FIG. Step S16
  • step S1710 When the feature calculation unit 160 acquires the line-of-sight feature parameter at 00, the process proceeds to step S1710.
  • the line-of-sight reference plane calculation unit 271 performs the above-described line-of-sight reference plane based on the face part three-dimensional position information acquired in step S 1400 and the line-of-sight feature parameter acquired in step S 1600. Is calculated.
  • the line-of-sight reference plane is defined as a plane passing through the line-of-sight direction reference point with the straight line passing through the two corresponding face parts 404 on the left and right as the basis of the line-of-sight reference point.
  • the line-of-sight reference plane calculation unit 271 first calculates a vector (hereinafter, “face part vector” t) that connects the two corresponding face parts 404 on the left and right that are the basis of the line-of-sight direction reference point Fc. Then, the line-of-sight reference plane is calculated based on the calculated face part vector and the line-of-sight direction reference point.
  • face part vector hereinafter, “face part vector” t
  • FIG. 7 is an explanatory diagram showing the relationship of each parameter related to the line-of-sight direction vector, and corresponds to FIG. 4 of the first embodiment.
  • the line-of-sight reference plane 601 includes two face parts 404 (the left eye head 501 and the right eye head 502 in FIG. 7) corresponding to the left and right that are the basis of the line-of-sight direction reference point Fc. It is perpendicular to the straight line that passes through and passes through the reference point Fc. Assuming that each component of the face part vector 611 is (a, b, c) and the coordinates of the line-of-sight reference point Fc are (x, y, z), the line-of-sight reference plane 601 can be expressed as
  • step S1810 the line-of-sight feature quantity calculation unit 272 calculates the line-of-sight with respect to the line-of-sight reference plane 601 based on the line-of-sight direction feature point 504 acquired in step S1600 and the line-of-sight reference plane 601 calculated in step S1710.
  • the shift amount d of the direction feature point 504 is calculated.
  • the shift amount d that is, the line-of-sight direction feature amount, is expressed by the coordinates of the line-of-sight direction feature point 504 as (X, y, z)
  • step S1900 when the line-of-sight direction feature value is calculated in step S1810 as described above, the process proceeds to step S1900.
  • the processing after step S1900 is the same as in FIG. 2, and the line-of-sight vector 511 is calculated in step S1900.
  • Equation (3), Equation (4), Equation (5), and Equation (6) of Embodiment 1 may be used with eyeball radius r as a known value.
  • the accuracy of the line-of-sight direction feature value in Embodiment 1 varies depending on the distance between the line-of-sight projection point and the line-of-sight feature point, that is, the selection of the face part that is the basis of the line-of-sight direction reference point. Since the line-of-sight reference plane is used as a reference, such variations in accuracy can be suppressed. Therefore, the detection accuracy of the line-of-sight vector can be improved as compared with the first embodiment.
  • FIG. 8 is a block diagram showing a configuration of the gaze direction detecting device according to the third embodiment of the present invention, and corresponds to FIG. 1 of the first embodiment.
  • gaze direction detection apparatus 300 of the present embodiment has a feature calculation unit 360 and a gaze direction calculation unit 370 instead of feature calculation unit 160 and gaze direction calculation unit 170 shown in FIG. ing.
  • the gaze direction calculation unit 370 includes a gaze feature projection unit 371 and a gaze direction feature amount calculation unit 372 instead of the gaze feature projection unit 171 and the gaze direction feature amount calculation unit 172 shown in FIG.
  • the line-of-sight direction detection apparatus 300 includes a feature storage unit 365.
  • the feature calculation unit 360 acquires a line-of-sight feature parameter from the facial part 3D position information input from the 3D position calculation unit 140 and calculates an inter-pupil distance that is the distance between the left and right pupil centers.
  • the line-of-sight feature parameter includes the line-of-sight direction reference point! /, And it is not always necessary to include the line-of-sight direction feature point.
  • the feature storage unit 365 stores the inter-pupil distance calculated by the feature calculation unit 360.
  • the line-of-sight feature projection unit 371 projects the appropriate one of the left and right pupil centers onto a straight line passing through the face part 404 that is the basis of the line-of-sight direction reference point.
  • a shadow point (hereinafter referred to as a “facial part projection point”) is calculated.
  • the gaze direction feature quantity calculation unit 372 calculates the gaze direction feature quantity based on the facial part projection points, the gaze feature parameters, and the inter-pupil distance stored in the feature storage unit 365.
  • FIG. 9 is a flow chart showing the flow of gaze direction detection processing performed by the gaze direction detection device 300, and corresponds to FIG. 2 of the first embodiment.
  • step S 1000 The processing from step S 1000 to step S 1500 is the same as in FIG.
  • the head posture estimation unit 150 acquires the head posture parameter in step S1500, the process proceeds to step S1550.
  • step S1550 the feature calculation unit 360 acquires the line-of-sight feature parameter (line-of-sight direction reference point), calculates the inter-pupil distance based on the three-dimensional positions of the left and right pupil centers of the subject, Feature storage unit 365 stores it. If past information is already stored in the feature storage unit 365, the stored content is updated with the newly calculated inter-pupil distance.
  • step S1000 if the face is facing sideways or the reflection on the lens of the glasses is intense, In S1000, if both the first imaging unit 111 and the second imaging unit 112 are unable to capture both the left and right pupil centers, the gaze direction feature point is obtained, the inter-pupil distance is calculated, Without memorizing, the process proceeds to step S 1600. Even if the interpupillary distance acquired in the past for the same subject is already stored in the feature storage unit 365, the process proceeds directly to step S1600 without calculating and storing the interpupillary distance. Also good.
  • step S1600 the feature calculation unit 360 acquires the line-of-sight feature parameter based on the three-dimensional positions of the pupil center 405 and the face part 404 detected in step S1400, and the process proceeds to step S1720.
  • step S1720 the line-of-sight feature projection unit 371 calculates the center of the left and right pupils based on the face part three-dimensional position information acquired in step S1400 and the line-of-sight feature parameter acquired in step S1600. Either one is projected onto a straight line passing through the two corresponding left and right face parts 404 on which the line-of-sight direction reference point is based, and the projection point is acquired as a face part projection point.
  • step S1820 the gaze direction feature quantity calculation unit 372 calculates the gaze direction feature quantity based on the gaze direction reference point acquired in step S1550 and the face part projection point acquired in step S1720.
  • FIG. 10 is an explanatory diagram showing the relationship of each parameter related to the line-of-sight direction vector, and corresponds to FIG. 4 of the first embodiment.
  • the shift amount d is a gaze direction feature, and when the inter-pupil distance is L, the left and right facial parts are projected.
  • the shift amount d is expressed by, for example, the following equation: It is obtained using (11).
  • any one of the left and right facial part projection points E can be adopted. This is a visual
  • the gaze direction feature quantity can be calculated from only one of the three-dimensional positions. In other words, it is not always necessary to image both the left and right pupils. For example, even if the face turns sideways and only one eye can be temporarily imaged, the gaze direction feature amount can be calculated continuously.
  • step S1900 when the line-of-sight direction feature is calculated in step S1820 as described above, the process proceeds to step S1900.
  • the processing after step S1900 is the same as in FIG. 2, and the line-of-sight vector 511 is calculated in step S1900.
  • Equation (3), Equation (4), Equation (5), and Equation (6) of Embodiment 1 may be used with eyeball radius r as a known value.
  • a highly accurate gaze direction detection result without particularly performing calibration for each subject is stable. Can be obtained. Also, by storing the distance between the pupils, the midpoint of the left and right facial part projection points can be identified from the center of one pupil, so even if one-eye force imaging cannot be performed, the left and right direction of the pupil center relative to the front direction can be determined. The amount of deviation can always be acquired.
  • the present embodiment it is possible to detect the direction of the line of sight even when only one eye of the subject can be imaged due to the orientation of the face, the edge of hair or glasses, light reflection, or the like.
  • a highly accurate gaze direction detection result can be obtained more stably.
  • the first imaging unit 111 and the second imaging unit such as a right eye if the face is facing left and a left eye if the face is facing right.
  • the center of the pupil opposite to the direction of the face is selected as a target for detecting the three-dimensional position.
  • the inter-pupil distance may be stored in advance by separately detecting it or inputting it as an initial value. Furthermore, when both the left and right pupil centers are detected, the gaze direction feature amount is calculated by the method described in the first embodiment or the second embodiment, and only when one of the pupil centers cannot detect the force. The method described in this embodiment may be applied. In this case, it may be determined whether or not the force is detected in both the left and right pupil centers, and the process may be switched according to the determination result.
  • the gaze direction detection using the three-dimensional position of the center of one pupil described in the third embodiment is performed using the gaze reference plane described in the second embodiment.
  • FIG. 11 is a block diagram showing the configuration of the gaze direction detecting device according to the fourth embodiment of the present invention, and corresponds to Fig. 5 in the second embodiment and Fig. 8 in the third embodiment. .
  • a line-of-sight direction detection apparatus 600 has a line-of-sight direction calculation unit 670 instead of the line-of-sight direction calculation unit 370 shown in FIG.
  • the gaze direction calculation unit 670 has a gaze reference plane calculation unit 271 and a gaze direction feature amount calculation unit 672 shown in FIG. 5 instead of the gaze feature projection unit 371 and the gaze direction feature quantity calculation unit 372 shown in FIG. is doing.
  • the gaze direction feature quantity calculation unit 672 includes the three-dimensional position of the gaze reference plane calculated by the gaze reference plane calculation unit 271 and the gaze feature parameter calculated by the feature calculation unit 360. Based on the inter-pupil distance stored in the feature storage unit 365, the gaze direction feature amount is calculated.
  • FIG. 12 is a flowchart showing the flow of gaze direction detection processing performed by the gaze direction detection device 600, and corresponds to FIG. 6 of the second embodiment and FIG. 9 of the third embodiment.
  • step S1000 to step S1600 is the same as in FIG. Further, the processing after Step S 1710 and Step S 1900 is the same as FIG. 6 except that the processing at Step S 1810 is replaced with the processing at Step S 1830.
  • step S1830 the gaze direction feature quantity calculation unit 672 detects in step S1400. Based on the obtained three-dimensional position of the pupil center, the inter-pupil distance obtained in step S1550, and the gaze reference plane obtained in step S1710, the gaze direction feature amount is calculated.
  • FIG. 13 is an explanatory diagram showing the relationship of each parameter related to the line-of-sight direction vector, and corresponds to FIG. 7 of the second embodiment and FIG. 10 of the third embodiment.
  • the line-of-sight feature is the midpoint of the left and right pupil centers 503.
  • the point 504 also moves by a shift amount d in the horizontal direction with respect to the line-of-sight reference plane 601.
  • the line connecting the left and right pupil centers 503 is orthogonal to the line-of-sight reference plane 601. Therefore, the difference between the distance D of the left or right pupil center 503 from the line-of-sight reference plane 601 and the inter-pupil distance L is the shift amount d.
  • Each component of the face part vector 611 is (a, b, c), and the coordinates of the line-of-sight direction reference point Fc are (x, y
  • the distance D from the reference plane 601 is expressed by the following equation (12), for example.
  • the shift amount d which is the line-of-sight feature quantity. Is required.
  • the shift amount d is obtained using, for example, the following equation (14).
  • the gaze direction can be detected even when only one eye can be imaged, and the highly accurate gaze direction detection result can be more stable. Can be obtained. Further, since the three-dimensional position of the pupil center is used as it is for the calculation with reference to the line-of-sight reference plane, the line-of-sight vector detection accuracy can be improved as compared with the third embodiment.
  • Embodiment 5 describes the case where gaze direction detection is performed using the eye with the higher reliability of the acquired three-dimensional position when the three-dimensional position of the pupil center of both the left and right eyes can be acquired. To do.
  • a projector is placed near the camera as a light source for imaging, the eyes on the back side that turn sideways when viewed by the camera are not easily exposed to light. It often ends up. Therefore, when the face is swung to the left or right with respect to the optical axis of the camera, the accuracy of the image of the back eye as viewed from the camera may be greatly reduced.
  • the detection accuracy of the three-dimensional position of the pupil center also decreases. Therefore, even if both eyes can be imaged, stable detection accuracy can be ensured by performing gaze direction detection using only the three-dimensional position of the pupil center on the near side. Therefore, in the present embodiment, it is determined whether or not the right or left eye is on the near side, and the facial direction force is determined, and the near side eye force that can obtain information with higher reliability Information and line-of-sight reference plane The gaze direction is detected using and.
  • FIG. 14 is a block diagram showing a configuration of the gaze direction detecting device according to the fifth embodiment of the present invention, and corresponds to FIG. 11 of the fourth embodiment.
  • the gaze direction detecting device 700 of the present embodiment is the gaze direction shown in FIG. Instead of the calculation unit 670, a gaze direction calculation unit 770 is provided.
  • the gaze direction calculation unit 770 replaces the gaze direction feature amount calculation unit 672 shown in FIG. 11 with a horizontal face orientation determination unit 774, a selection information storage unit 775, a use feature selection unit 776, and a gaze direction feature amount calculation unit 772. have.
  • the horizontal face direction determination unit 774 determines the face direction in the horizontal direction in the stereo camera coordinate system from the face front vector acquired by the head posture estimation unit 150, and Force Face direction information indicating whether the left direction is viewed from the S camera or right is generated.
  • the selection information storage unit 775 stores a selection information table that describes in advance which of the left and right eyes should be selected in association with the face orientation.
  • FIG. 15 is a diagram showing an example of the contents of the selection information table.
  • the selection information table 775a describes the orientation of the face as viewed from the camera and the left and right eyes to be used for the calculation of the gaze direction detection.
  • the face orientation “leftward” is associated with “right eye” as the eye to be used.
  • the face orientation “right” is associated with “left eye” as the eye to be used. That is, the selection information table 775a describes the eye located on the near side, that is, the eye that can detect the line-of-sight direction with more stable accuracy in association with the face direction.
  • the use feature selection unit 776 in FIG. 14 selects an eye to be used from the face orientation indicated by the face orientation information generated by the horizontal face orientation determination unit 774 with reference to the selection information table 775a. Then, the use feature selection unit 776 generates pupil selection information indicating which of the left and right eyes has been selected.
  • the line-of-sight direction feature value calculation unit 772 includes the face part three-dimensional position information, the three-dimensional position of the line-of-sight reference plane, the line-of-sight feature parameter, the inter-pupil distance, and the pupil selection generated by the use feature selection unit 776.
  • the line-of-sight direction feature is calculated based on the information.
  • FIG. 16 is a flow chart showing the flow of gaze direction detection processing by the gaze direction detection apparatus 700, and corresponds to FIG. 12 of the fourth embodiment.
  • step S1750 the horizontal face orientation determination unit 774 is acquired in step S1500. Based on the face front vector, the direction of the face in the stereo camera coordinate system is left and right! /, Judge whether they are different. Then, the horizontal face orientation determination unit 774 outputs the determination result, that is, face orientation information indicating whether it is facing left or right, to the use feature selection unit 776.
  • the left / right determination of the face direction in the camera coordinate system is performed, for example, as follows.
  • the horizontal face orientation determination unit 774 acquires a horizontal component when the face front vector is represented in the stereo camera coordinate system. Since the left direction when the face is viewed from the front is positive here, the horizontal face orientation determination unit 774 determines that the face is facing left when the horizontal component of the face front vector is positive, If the horizontal component of the face front vector is negative, it is determined that the face is facing right.
  • the value of the horizontal component of the face front vector may be used as face direction information as it is.
  • the face orientation information indicates whether the leftward force is rightward or not, depending on the sign of the value.
  • the face orientation information may indicate the face orientation by two or more predetermined values such as 0 when the face is facing right and 1 when the face is facing left.
  • step S1760 the use feature selection unit 776 selects an eye corresponding to the face orientation indicated by the input face orientation information with reference to the selection information table 775a. Then, the use feature selection unit 776 generates pupil selection information indicating the selected eye, and outputs the generated pupil selection information to the line-of-sight direction feature value calculation unit 772.
  • face orientation information may be used as it is as pupil selection information.
  • the pupil selection information indicates whether the right eye or the left eye is positive or negative.
  • the pupil selection information may indicate the left and right eyes with two or more predetermined values, such as 0 when the left eye is selected and 1 when the right eye is selected.
  • the gaze direction feature value calculating unit 772 uses the three-dimensional position of the eye center indicated by the pupil selection information, as in the fourth embodiment, and a shift amount that is a gaze direction feature value. Find d.
  • the line-of-sight direction feature quantity calculation unit 772 uses the expression (13) illustrated in Embodiment 4 when the pupil selection information indicates the right eye, and performs the implementation when the pupil selection information indicates the left eye.
  • Formula (14) exemplified in Form 4 is used.
  • the face orientation information or the pupil selection information is When generating, or when determining the calculation method in the line-of-sight direction feature quantity calculation unit 772, there are options! All you have to do is assign it! /
  • the eyes on the near side are determined from the face direction, and the gaze direction is detected using only the eyes on the near side.
  • the gaze direction detection is performed using only the eyes on the near side.
  • the present embodiment has been described with respect to the case where the distance d of the distance force at the center of the pupil with respect to the line-of-sight reference plane is obtained, the facial part projection point with respect to the line-of-sight direction reference point as in Embodiment 3 This distance force may also be applied to obtain the deviation amount d.
  • the line-of-sight characteristic projection unit 371 may acquire the eye-power face component projection point indicated by the pupil selection information.
  • gaze direction detection is performed by weighting the gaze direction feature quantity obtained from both the left and right eye eyes according to the orientation of the face.
  • the reliability of the three-dimensional position acquired from the eye on the shadow side is low when the face is shaken greatly to the left and right, but increases as it gets closer to the optical axis direction of the camera. Also, if the subject is gazing at the close distance and the line segment connecting the center of the left and right eyes and the line-of-sight reference plane are not perpendicular, or the accuracy of the acquired interpupillary distance is low, If only the eyes are used, the accuracy of gaze direction detection decreases. Therefore, in this embodiment, the information obtained from the shadowed eye and the information obtained from the near eye are weighted according to the direction of the face, and both eyes are actively used. Gaze direction detection is performed.
  • FIG. 17 is a block diagram showing a configuration of the gaze direction detecting device according to the fifth embodiment of the present invention, and corresponds to FIG. 14 of the fifth embodiment.
  • a gaze direction detecting apparatus 800 has a gaze direction calculating unit 870 instead of the gaze direction calculating unit 770 shown in FIG.
  • the gaze direction calculation unit 870 replaces the horizontal face direction determination unit 774, the selection information storage unit 775, the use feature selection unit 776, and the gaze direction feature quantity calculation unit 772 shown in FIG.
  • a weight information storage unit 875, a feature weight determination unit 876, and a line-of-sight direction feature quantity calculation unit 872 are included.
  • the horizontal face direction angle calculation unit 874 determines the angle in the horizontal direction of the face direction with respect to the optical axis direction of the camera from the face front vector acquired by the head posture estimation unit 150. Is calculated as a horizontal face orientation angle.
  • the weight information storage unit 875 stores weight information.
  • the weight information is a weighting factor (hereinafter referred to as the “left eye weighting factor”) that is to be multiplied by the horizontal face angle and the information corresponding to the reliability tolerance of the information that also obtains the left and right eyesight. This information is associated in advance.
  • the weight information may be, for example, a table format that describes the left eye weight coefficient in association with discrete values of the horizontal face orientation angle, or a function format that determines the left eye weight coefficient as a function of the horizontal face orientation angle. it can.
  • FIG. 18 is a diagram showing an example of the contents of the weight information in the table format.
  • the weight information 876a in the table format describes the left eye weight coefficient as a value that gradually decreases from 1 to 0 as the horizontal face direction angle increases.
  • the left eye weighting factor increases as the face turns to the right
  • the left eye weighting factor decreases as the face turns to the left. This is because the more reliable the face is, the lower the reliability of the information that can be obtained with the right eye force, and the lower the reliability of the information that is obtained with the left eye force, the more the face is directed to the left.
  • the processing load can be reduced by setting the same weight to the left and right.
  • FIG. 19 is a diagram showing an example of the content of function-type weight information.
  • the weight information 876b in the function format also defines the left eye weight coefficient as a continuous value that gradually decreases from 1 to 0 as the horizontal face orientation angle increases.
  • the left eye weight coefficient can be determined more finely than when the table format weight information 876a is used.
  • the feature weight determination unit 876 in Fig. 17 also uses the weight information to acquire the left face weight coefficient for the horizontal face direction angle force calculated by the horizontal face direction angle calculation unit 874. Then, the feature weight determination unit 876 outputs the acquired left eye weight coefficient to the gaze direction feature quantity calculation unit 872 as feature weight information representing the weight when calculating the shift amount that is the gaze direction feature quantity.
  • the line-of-sight direction feature quantity calculation unit 872 includes the facial part three-dimensional position information, the three-dimensional position of the line-of-sight reference plane, the line-of-sight feature parameter, the inter-pupil distance, and the feature weight acquired by the feature weight determination unit 876. The line-of-sight direction feature is calculated based on the information.
  • FIG. 20 is a flow chart showing the flow of gaze direction detection processing performed by the gaze direction detection device 800, and corresponds to FIG. 16 of the fifth embodiment.
  • step S1770 the horizontal face orientation angle calculation unit 874 calculates the horizontal component angle of the face orientation with respect to the optical axis direction of the camera based on the face front vector acquired in step S1500. The orientation angle is calculated, and the calculated horizontal face orientation angle is output to the feature weight determination unit 876.
  • the horizontal face orientation angle is calculated as follows, for example.
  • the horizontal face direction angle calculation unit 874 assumes that the horizontal component, vertical component, and optical axis direction component of the face front vector in the stereo camera coordinate system are (X, ⁇ , ⁇ ), respectively, for example, Fc fc fc
  • step S1780 the feature weight determining unit 876 determines the left eye weight coefficient corresponding to the input horizontal face orientation angle based on the weight information stored in the weight information storage unit 875, and the determined left eye From the weighting factor, a weighting factor to be applied to the information obtained from the right eye force (hereinafter, “right eye weighting factor” t) is calculated. Then, the feature weight determination unit 876 outputs the left eye weight coefficient and the right eye weight coefficient to the line-of-sight feature quantity calculation unit 872 as feature weight information.
  • the feature weight determination unit 876 calculates the right eye weight coefficient W, for example, where W is the left eye weight coefficient.
  • the gaze direction feature quantity calculation unit 872 may calculate the right eye weight coefficient using Expression (16).
  • the feature weight determination unit 876 outputs only the left eye weight coefficient to the line-of-sight direction feature value calculation unit 872 as the feature weight information.
  • step S1850 the line-of-sight direction feature value calculation unit 872 performs weighting indicated by the feature weight information on the information obtained from the three-dimensional position force of the left and right pupil centers, and calculates the shift amount d, which is the line-of-sight direction feature value. Ask.
  • the gaze direction feature amount calculation unit 872 calculates the components of the face part vector 611 as (a, b, c), coordinates of the gaze direction reference point Fc as (x, y, z), and coordinates of the pupil center of the right eye as (x , yfffrr
  • the line-of-sight direction feature value calculation unit 872 calculates the sum of values obtained by multiplying the obtained deviation amount ⁇ by the right eye weighting factor ⁇ and the left eye weighting factor W, that is, the following equation (1
  • the weighting is based on the line-of-sight vector based on the amount of deviation obtained individually from the left and right eyes. Calculate the angle ⁇ between the face vector and the face front vector, and multiply the two calculated values by the corresponding weighting factor.
  • the line-of-sight direction feature amount calculation unit 872 first calculates the shift amount d when the right eye is used and the shift amount d when the left eye is used, and the calculation result and the right eye weight are calculated.
  • Clerk r 1 first calculates the shift amount d when the right eye is used and the shift amount d when the left eye is used, and the calculation result and the right eye weight are calculated.
  • the number W and the left eye weight coefficient W are output to the line-of-sight vector calculation unit 173.
  • the line-of-sight vector calculation unit 173 calculates the following equations (20), (21) r 1 from the eyeball radius r and the shift amounts d and d.
  • the line-of-sight vector calculation unit 173 obtains the sum of values obtained by multiplying the obtained angles 0, 0 km, right eye weighting factor W and left eye weighting factor W, that is, the following equation (22 ) For
  • the information obtained from the left and right eyes is weighted according to the reliability, and the gaze direction is detected positively using both eyes. As a result, it is possible to stabilize the accuracy of gaze direction detection.
  • the facial part projection point with respect to the line-of-sight direction reference point This may be applied when the distance d of the distance is calculated.
  • the line-of-sight feature projection unit 371 acquires facial part projection points from both the left and right eyes, and the line-of-sight direction feature amount calculation unit 372 calculates the respective shift amounts, and then performs weighting according to the feature weight information. Yes.
  • Examples of such devices include information presentation devices such as televisions and acoustic speakers, safety state monitoring devices such as surveillance cameras, video recording devices such as still cameras and video cameras, and life such as robots. Auxiliary equipment, game equipment such as video games and hands-on games, etc. are listed. In addition, for example, a video recording device that inputs and records an image estimated to be viewed by a car driver, a peripheral information grasping device for the robot to grasp the situation of the user and the robot itself, a video game, etc. Game state update device for changing the state of game content, medical equipment for examining eyeball movement
  • the subject to be detected in the line-of-sight direction is not limited to a human being. If the animal has two face parts positioned symmetrically with respect to the center of the face and can detect the center of the pupil, the gaze direction can be detected by applying the present invention.
  • the line-of-sight direction detection apparatus and line-of-sight detection method according to the present invention can provide a line-of-sight direction detection apparatus and a line-of-sight direction that can obtain a high-precision line-of-sight direction detection result without particularly performing calibration for each subject. It is useful as a detection method. Specifically, information terminals such as personal computers, OA (office automation) devices, mobile phones, and automatic It is useful as an information providing device mounted on a moving means such as a car, an airplane, a ship, and a train. It can also be applied as an information input device such as a monitoring device, alarm device, robot, and video / audio reproduction device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Description

明 細 書
視線方向検出装置および視線方向検出方法
技術分野
[0001] 本発明は、人の視線方向を検出する視線方向検出装置および視線方向検出方法 に関する。
背景技術
[0002] 近年、人の視線の方向を検出することにより、その人の注意の対象や意図を特定 することが、多くの分野で注目されている。人間の視線方向の検出を非接触で行う技 術が、従来提案されている (たとえば、特許文献 1および特許文献 2参照)。
[0003] 特許文献 1記載の視線認識装置は、ステレオカメラを使用して視線方向の検出の 対象となる人 (以下「被検者」という）を撮影し、撮影した画像を解析して、被検者の瞳 の中心と、片方の目の目頭および目尻の三次元位置を検出する。次に、目頭および 目尻が眼球の外側球面上に位置する前提で、目頭の位置と目尻の位置および眼球 半径に基づいて、被検者の眼球の中心の三次元位置を特定する。そして、眼球中心 を始点とし、瞳中心を終点とするベクトルを、被検者の視線方向を示すベクトルとして 算出する。
[0004] また、特許文献 2記載の視線方向検出装置は、ステレオカメラで撮影した被検者の 画像を解析し、被検者の瞳の中心と、被検者の瞳の輪郭が通る平面の三次元位置 を求める。そして、瞳の輪郭が通る平面の法線のうち、瞳の中心を通る線の方向を、 被検者の視線方向として検出する。
特許文献 1 :特開 2003— 15816号公報
特許文献 2：特開 2004 - 255074号公報
発明の開示
発明が解決しょうとする課題
[0005] しかしながら、目頭および目尻の形状や視覚的特徴には、個人差が大きい。したが つて、上記した特許文献 1記載の装置では、高い精度の視線方向検出結果を得るた めには、被検者ごとに、実際の視線方向と検出される目頭および目尻の位置との関 係を測定により特定し、視線方向の算出に用いる各種パラメータの校正を行う必要が ある。すなわち、被検者ごとに、装置の校正 (キャリブレーション)を行わなくてはなら ないため、手間が掛カるだけでなぐ装置が複雑ィ匕するという問題がある。
[0006] また、視覚的に検出される瞳の輪郭の状態も、睫および瞼の態様や、眼鏡およびコ ンタクトレンズの有無により、個人差が大きい。したがって、上記した特許文献 2記載 の装置においても、高い精度の視線方向検出結果を得るためには、特許文献 1記載 の装置と同様に、被検者ごとに装置のキャリブレーションを行う必要がある。
[0007] 本発明の目的は、被検者ごとのキャリブレーションを特に行うことなく高い精度の視 線方向検出結果を得ることができる視線方向検出装置および視線方向検出方法を 提供することである。
課題を解決するための手段
[0008] 本発明の視線方向検出装置は、左右対称に位置する 2つの顔部品の三次元位置 から、視線方向の検出の対象となる被検者の顔の中心の三次元位置を、基準位置と して算出する基準位置算出手段と、左右の瞳中心の三次元位置から、前記被検者 の左右の瞳中心の左右方向における中心の三次元位置を、特徴位置として算出す る特徴位置算出手段と、左右方向における前記基準位置に対する前記特徴位置の ずれ量を、視線方向特徴量として算出する視線方向特徴量算出手段と、前記視線 方向特徴量に基づいて、前記被検者の視線方向を算出する視線方向算出手段とを 具備する構成を採る。
[0009] 本発明の視線方向検出方法は、左右対称に位置する 2つの顔部品の三次元位置 から、視線方向の検出の対象となる被検者の顔の中心の三次元位置を基準位置とし て算出するとともに、左右の瞳中心の三次元位置から、前記被検者の左右の瞳中心 の左右方向における中心の三次元位置を特徴位置として算出する特徴算出ステツ プと、左右方向における前記基準位置に対する前記特徴位置のずれ量を、視線方 向特徴量として算出する視線方向特徴量算出ステップと、前記視線方向特徴量に基 づいて、前記被検者の視線方向を算出する視線方向算出ステップとを有するように した。
発明の効果 [0010] 本発明によれば、左右の瞳中心の三次元位置や、目頭などの左右対称に位置す る 2つの顔部品の三次元位置という、高い検出精度で取得できかつ検出精度に個人 差が少ないようなパラメータから、被検者の視線方向を検出することができる。すなわ ち、被検者ごとのキャリブレーションを特に行うことなぐ高い精度の視線方向検出結 果を得ることができる。
図面の簡単な説明
[0011] [図 1]本発明の実施の形態 1に係る視線方向検出装置の構成を示すブロック図
[図 2]本発明の実施の形態 1における視線方向検出装置による視線方向検出処理の 流れを示すフローチャート
[図 3]本発明の実施の形態 1における画像入力部で取得されるステレオ画像対の一 例を示す説明図
[図 4]本発明の実施の形態 1における視線方向ベクトルに関する各パラメータの関係 を示す説明図
[図 5]本発明の実施の形態 2に係る視線方向検出装置の構成を示すブロック
[図 6]本発明の実施の形態 2における視線方向検出装置による視線方向検出処理の 流れを示すフローチャート
[図 7]本発明の実施の形態 2における視線方向ベクトルに関する各パラメータの関係 を示す説明図
[図 8]本発明の実施の形態 3に係る視線方向検出装置の構成を示すブロック図
[図 9]本発明の実施の形態 3における視線方向検出装置による視線方向検出処理の 流れを示すフローチャート
[図 10]本発明の実施の形態 3における視線方向ベクトルに関する各パラメータの関 係を示す説明図
[図 11]本発明の実施の形態 4に係る視線方向検出装置の構成を示すブロック図 [図 12]本発明の実施の形態 4における視線方向検出装置による視線方向検出処理 の流れを示すフローチャート
[図 13]本発明の実施の形態 4における視線方向ベクトルに関する各パラメータの関 係を示す説明図 [図 14]本発明の実施の形態 5に係る視線方向検出装置の構成を示すブロック図 [図 15]本発明の実施の形態 5における選択情報テーブルの内容の一例を示す図 [図 16]本発明の実施の形態 5における視線方向検出装置による視線方向検出処理 の流れを示すフローチャート
[図 17]本発明の実施の形態 6に係る視線方向検出装置の構成を示すブロック図 [図 18]本発明の実施の形態 6における視線方向検出装置による視線方向検出処理 の流れを示すフローチャート
[図 19]本発明の実施の形態 6における重み情報の内容の一例を示す図
[図 20]本発明の実施の形態 6における重み情報の内容の他の例を示す図 発明を実施するための最良の形態
[0012] 以下、本発明の実施の形態について、図面を参照して詳細に説明する。
[0013] (実施の形態 1)
図 1は、本発明の実施の形態 1に係る視線方向検出装置の構成を示すブロック図 である。本実施の形態の視線方向検出装置 100は、たとえば、よそ見運転など、車の 運転者に対して事故発生の危険を警報する警報装置に併設されるものであり、運転 者の視線方向を検出するための装置である。ここで、視線方向の検出とは、被検者 の目を始点とし被検者の注視対象を終点とするベクトルと、方向を同一とするベクトル (以下「視線ベクトル」と ヽぅ）を検出することを示す。
[0014] 図 1において、視線方向検出装置 100は、画像入力部 110、顔検出部 120、顔部 品検出部 130、三次元位置算出部 140、頭部姿勢推定部 150、特徴算出部 160、 および視線方向算出部 170を有する。また、画像入力部 110は、第 1撮像部 111、 第 2撮像部 112、および同期部 113を有し、視線方向算出部 170は、視線特徴投影 部 171、視線方向特徴量算出部 172、および視線ベクトル算出部 173を有する。
[0015] 画像入力部 110は、被検者を撮影して画像を入力し、入力画像を、顔検出部 120 および三次元位置算出部 140へ出力する。
[0016] 画像入力部 110において、第 1撮像部 111および第 2撮像部 112は、図示しないィ メージセンサをそれぞれ備えており、異なる位置で被検者を撮影する。イメージセン サは、たとえば、レンズと、 CCD (charge coupled device)または CMOS (complement ary metal oxide semiconductor)により構成される。また、第 1撮像部 111および第 2撮 像部 112の、入力画像と撮像位置との関係を定義する内部パラメータや、第 1撮像 部 111および第 2撮像部 112の撮像位置を定義する外部パラメータは、既知である。 ここで、たとえば、内部パラメータには、焦点距離、画像中心座標、画素サイズ、およ びレンズ歪み係数が含まれ、外部パラメータには、並進ベクトルおよび回転行列が含 まれる。また、同期部 113は、第 1撮像部 111と第 2撮像部 112が同期したタイミング で撮像を行うように制御する。すなわち、画像入力部 110は、ステレオカメラとして機 能し、第 1撮像部 111と第 2撮像部 112でほぼ同時刻に撮像された 2つの画像の組 ( 以下「ステレオ画像対」 t 、う）を出力する。なお、イメージセンサとして上記した CCD や CMOSを用いる場合には、画像入力部 110は、ディジタルステレオカメラとして機 能する。
[0017] 顔検出部 120は、画像入力部 110により入力される画像から、被検者の顔 (以下単 に「顔」 t 、う）の画像の領域を検出し、顔の画像の領域 (以下「顔領域」 t 、う）を示す 顔領域情報を、ステレオ画像対のうち顔領域が検出された画像とともに、顔部品検出 部 130へ出力する。
[0018] 顔部品検出部 130は、顔検出部 120により入力される画像から、同じく顔検出部 1 20により入力される顔領域情報に基づいて、顔の中心を基準として顔に左右対称に 位置する部品（以下「顔部品」という）を検出する。すなわち、顔部品検出部 130は、 顔部品に対応する画像を検出する。この顔部品は、たとえば、目頭、目尻、鼻孔、口 角、眉頭、眉尻である。また、顔部品検出部 130は、検出した顔部品 (顔部品に対応 する画像）に基づいて、被検者の左右の瞳中心（瞳中心に対応する画像)を検出す る。そして、顔部品検出部 130は、検出した各顔部品および瞳中心の、顔領域が検 出された画像における二次元位置を示す顔部品二次元位置情報を、三次元位置算 出部 140へ出力する。
[0019] 三次元位置算出部 140は、画像入力部 110から入力されるステレオ画像対、顔部 品検出部 130から入力される顔部品二次元位置情報、および上記した画像入力部 1 10の既知の内部パラメータおよび外部パラメータに基づいて、各顔部品の三次元位 置を算出する。そして、三次元位置算出部 140は、各顔部品の三次元位置を示す顔 部品三次元位置情報を、頭部姿勢推定部 150および特徴算出部 160へ出力する。
[0020] 頭部姿勢推定部 150 (顔方向推定手段)は、三次元位置算出部 140から入力され る顔部品三次元位置情報から、顔正面の方向を示すベクトル (以下「顔正面ベクトル 」という）を、被検者の頭部（以下単に「頭部」 、う）の姿勢を示す頭部姿勢パラメ一 タとして取得する。具体的には、頭部姿勢推定部 150は、左右で対応する 2つの顔 部品を含む 3つ以上の顔部品のそれぞれの三次元位置を通る平面を算出し、その 平面の法線ベクトルを、頭部姿勢パラメータとして取得する。そして、頭部姿勢推定 部 150は、取得した頭部姿勢パラメータを、視線方向算出部 170へ出力する。
[0021] 特徴算出部 160は、三次元位置算出部 140により入力される顔部品三次元位置情 報から、被検者の視線 (以下単に「視線」 、う）の特徴を示す視線特徴パラメータを 取得する。視線特徴パラメータは、視線方向に対応して移動する点である視線方向 特徴点の三次元位置 (特徴位置)と、視線方向特徴点の移動を判別する際の基準と なる視線方向基準点の三次元位置 (基準位置)から成る。具体的には、視線方向特 徴点は、左右の瞳中心の中点であり、視線方向基準点は、左右で対応する 2つの顔 部品（たとえば左右の目頭)の中点である。そして、特徴算出部 160は、取得した視 線特徴パラメータを、顔部品三次元位置情報とともに、視線方向算出部 170へ出力 する。
[0022] 視線方向算出部 170は、頭部姿勢推定部 150から入力される頭部姿勢パラメータ と、特徴算出部 160から入力される視線特徴パラメータおよび顔部品三次元位置情 報に基づいて、視線ベクトルを算出する。
[0023] 視線方向算出部 170において、視線特徴投影部 171は、視線方向特徴点を、視 線方向基準点の基となった左右で対応する 2つの顔部品を通る直線に垂直に投影し た、視線特徴投影点の三次元位置を算出する。視線方向特徴量算出部 172は、視 線方向基準点に対する視線特徴投影点のずれ量を、視線方向の特徴を示す量 (以 下「視線方向特徴量」という）として算出する。視線ベクトル算出部 173は、視線方向 特徴量と顔正面ベクトルに基づいて、視線ベクトルを算出する。視線方向算出部 17 0は、算出された視線ベクトルを、視線方向検出結果として、たとえば上記した警報 装置へ出力する。 [0024] 視線方向検出装置 100は、図示しないが、 CPU (Central Processing Unit)と、制御 プログラムを格納した ROM (Read Only Memory)と、 CPUの作業用メモリとしての R AM (Random Access Memory)とを備えている。すなわち、上記した視線方向検出装 置 100の各部の機能は、 CPUが制御プログラムを実行することにより実現される。
[0025] 以上の構成を有する視線方向検出装置 100の動作について、以下、詳細な説明 を行う。
[0026] 図 2は、視線方向検出装置 100による視線方向検出処理の流れを示すフローチヤ ートである。この視線方向検出処理は、たとえば、上記した警報装置の起動を示す信 号の入力や、ユーザ操作による処理開始の指示をトリガとして開始される。
[0027] 図 2のステップ S 1000において、画像入力部 110は、第 1撮像部 111および第 2撮 像部 112により撮像された 2つの画像を、ステレオ画像対として入力する。
[0028] 図 3は、画像入力部 110で取得されるステレオ画像対の一例を示す説明図である。
ステレオ画像対 400は、上記したように、第 1撮像部 111で撮像された画像 (以下「第 1画像」と 、う） 401と、第 2撮像部 112で撮像された画像 (以下「第 2画像」 t 、う） 402 力も成る。ここで、第 1撮像部 111は、頭部をやや左側からみる位置に配置され、第 2 撮像部 112は、頭部をやや右側からみる位置に配置されている。したがって、第 1画 像 401と第 2画像 402は、同期部 113の制御によりほぼ同時に撮像されたものである 力 異なった画像となっている。
[0029] 画像入力部 110は、上記したようにディジタルステレオカメラとして機能する場合に は、たとえば、 PPM (Portable Pix Map file format)形式の画像データとして、第 1画 像 401および第 2画像 402を取得する。画像入力部 110は、取得した画像データを、 画像入力部 110に備えられた図示しな ヽ記憶部（たとえば、上記した RAMの所定の メモリ空間）に一時的に記憶させる。そして、顔検出部 120および三次元位置算出部 140は、この記憶部から、 PPM形式の画像データを取得する。
[0030] 図 2のステップ S 1100において、顔検出部 120は、ステップ S 1000で入力されたス テレオ画像対 400のうち、第 1画像 401に対し、顔領域 403の検出を行い、上記した 顔領域情報を生成する。なお、顔検出部 120は、第 1画像 401のみを画像入力部 11 0から取得するようにしてもょ 、。 [0031] 顔検出部 120は、たとえば、第 1画像 401のうち、あら力じめ用意した平均顔の顔領 域を表す特徴画像との相関が最も高い画像部分を特定することにより、顔領域 403 を検出する。具体的には、顔検出部 120は、第 1画像 401から、特徴となる画像部分 を複数抽出し、抽出した各画像部分と、特徴画像とを比較する。そして、抽出した画 像部分のうち、特徴画像との類似度が最も高いものを、顔領域 403に決定する。
[0032] 顔検出部 120は、たとえば、第 1画像 401のガボール特徴量を算出し、あらかじめ 用意してぉ 、た特徴画像のガボール特徴量と照合して、その差分の絶対値の逆数 を、この類似度として用いるようにすればよい。ここで、ガボール特徴量とは、画像に ガボールウェーブレット変換を施すことにより算出される、画像の特徴を示す値である
[0033] また、顔検出部 120は、第 1画像 401を解析して肌色の領域を検出したり、楕円形 に近い形状の領域を検出したり、統計的パターン識別手法を用いることにより、顔領 域 403を検出するようにしてもよい。なお、第 1画像 401または第 2画像 402において 顔領域 403の検出を行うことが可能であれば、上記以外の各種手法を適用してもよ いことは勿論である。
[0034] 顔部品は、当然ながら顔に位置している。したがって、このように顔領域 403を検出 しておくことにより、顔部品の探索の対象となる領域を顔に絞ることができ、処理の高 速ィ匕を図ることができる。
[0035] ステップ S1200において、顔部品検出部 130は、ステップ S 1100で生成された顔 領域情報を基に、第 1画像 401の顔領域 403を探索領域として、第 1画像 401から、 顔部品 404を検出する。ただし、顔部品検出部 130は、たとえば、左右の目頭と左の 口角というように、少なくとも 2種類の顔部品を検出するとともに、少なくとも 1種類につ いては左右の両方を検出する。ここで、顔部品 404として、左右の口角、左右の目頭 、左右の目尻を検出したものとする。これらの顔部品 404は、上記したように、顔の中 心を基準として左右対称に位置して 、る。
[0036] 顔部品検出部 130は、たとえば、分離度フィルタを用いて第 1画像 401の顔領域 4 03の各位置の分離度を検出し、分離度が高い箇所の中から、顔部品 404に該当す るものを特定することにより、顔部品 404を検出する。具体的には、顔部品検出部 13 0は、顔領域と顔部品との位置関係をあらかじめ記憶または学習しておき、分離度が 高い箇所のうち、尤度が高い箇所を顔部品 404として検出する。または、顔部品検出 部 130は、平均顔の画像を部分的に切り取った画像部分力も作成された画像部品の テンプレートを用意しておき、第 1画像 401の顔領域 403の各所に対してテンプレー トマッチングを行って類似する箇所を探索することにより、顔部品 404を検出するよう にしてもよい。
[0037] ステップ S1300において、顔部品検出部 130は、ステップ S 1100で生成された顔 領域情報を基に、第 1画像 401の顔領域 403を探索領域として、第 1画像 401から、 被検者の瞳中心 405を検出する。
[0038] 顔部品検出部 130は、たとえば、顔部品 404のうち目尻と目頭を含む領域に対して 円形分離度フィルタを適用し、最も輝度の分離度が高い円中心を、瞳中心 405として 検出する。ただし、このとき、ソーベル (Sobel)フィルタを用いたエッジ検出や、大津の 閾値法を用いた輝度のニ値ィ匕などにより瞼を検出し、上下瞼に挟まれた領域内のみ を検出対象範囲とすることが望ましい。または、顔部品検出部 130は、目尻と目頭を 含む領域において、水平方向および垂直方向のそれぞれで輝度和をとり、それぞれ の輝度和が小さい点を瞳中心 405とするようにしてもよい。なお、瞳中心 405の検出 を行うことが可能であれば、上記以外の各種手法を適用してもよいことは勿論である
[0039] ステップ S1400において、三次元位置算出部 140は、ステップ S 1000で取得され たステレオ画像対 400、ステップ S1200で検出された顔部品 404、およびステップ S 1300で検出された瞳中心 405に基づいて、顔部品 404および瞳中心 405の三次元 位置を算出する。具体的には、三次元位置算出部 140は、第 1画像 401と第 2画像 4 02のそれぞれにおける顔部品 404および瞳中心 405の二次元位置と、上記した第 1 撮像部 111と第 2撮像部 112の内部パラメータおよび外部パラメータを基に、ステレ ォ法により、顔部品 404および瞳中心 405の三次元位置を算出する。そして、三次 元位置算出部 140は、算出した各顔部品の三次元位置を、顔部品三次元位置情報 として、頭部姿勢推定部 150および特徴算出部 160へ出力する。
[0040] 三次元位置算出部 140は、たとえば、第 2画像 402に対してテンプレートマッチング を行うことにより、顔部品 404および瞳中心 405の第 2画像 402における対応点の位 置を検出する。具体的には、三次元位置算出部 140は、第 1画像 401における各顔 部品 404と瞳中心 405を含む画像部分のそれぞれをテンプレートとするとともに、第 1 画像 401における各顔部品 404と瞳中心 405のェピポーラ線を第 2画像 402に対し て引く。そして、ェピポーラ線上で、対応するテンプレートに最も相関の高い箇所を探 索して、顔部品 404および瞳中心 405の対応点の第 2画像 402における位置を特定 する。
[0041] なお、三次元位置算出部 140は、第 1画像 401を基に顔を三次元モデルィ匕して、 第 2画像 402における対応点の探索範囲を限定するようにしてもよい。このように、顔 部品 404および瞳中心 405の対応点の探索領域を絞ることにより、処理の高速ィ匕を 図ることができる。また、三次元位置算出部 140は、顔の形状を三次元モデル化した 上で、特徴が顕著な顔部品 405の対応点の探索を優先させて、顔全体の三次元形 状として考えた際に矛盾が生じな 、ように、残りの対応点を探索するようにしてもょ ヽ 。顔部品 404および瞳中心 405の三次元位置の検出を行うことが可能であれば、上 記以外の各種手法を適用してもよいことは勿論である。
[0042] ステップ S1500において、頭部姿勢推定部 150は、ステップ S1400で検出された 顔部品 404の三次元位置に基づいて、頭部の姿勢を推定し、頭部姿勢パラメータを 取得する。
[0043] 頭部姿勢推定部 150は、たとえば、ステップ S1200で取得された顔部品 404のうち 、左右の口角と左右の目頭の 4点を通る平面を特定し、その法線ベクトルを算出する 。そして、算出した法線ベクトルを、顔正面ベクトル、つまり頭部姿勢パラメータとする 。なお、実際には上記した 4点のすべてを通る平面を常に取得することは難しいため 、各点から引いた垂線の長さの二乗和が最小となる平面を特定し、その法線ベクトル を顔正面ベクトルとする。または、たとえば、左右の口角と一方の目頭の 3点を通る平 面を特定し、その法線ベクトルを顔正面ベクトルとしてもよい。または、左右の目頭を 結ぶベクトルと、いずれかの目頭と左右の口角の中点を結ぶベクトルを求め、これら の 2つのベクトルの外積をとることにより、顔正面ベクトルを求めるようにしてもよい。ま た、平面を算出する際の評価方法として、 M推定などのロバスト推定手法を用いても よい。なお、顔正面ベクトルの算出を行うことが可能であれば、上記以外の各種手法 を適用してもよいことは勿論である。
[0044] ステップ S1600において、特徴算出部 160は、ステップ S1400で検出された瞳中 心 405および顔部品 404の三次元位置に基づ 、て、視線特徴パラメータを取得する
[0045] 特徴算出部 160は、左右の瞳中心 405の三次元位置から、左右の瞳中心 405の 中点の三次元位置を特定し、特定した点を上記した視線方向特徴点とする。また、 特徴算出部 160は、たとえば、顔部品 404のうち左右の目頭の三次元位置から、左 右の目頭の中点の三次元位置を特定し、特定した点を上記した視線方向基準点と する。
[0046] なお、左右の目尻の中点、左右の口角の中点など、顔に左右対称に存在する他の 顔部品 404の中点を、視線方向基準点としてもよい。また、左右の目尻と左右の口角 というように、左右対称の顔部品を複数組選定し、それぞれの各点の重心を視線方 向基準点としてもよい。すなわち、視線方向基準点は、顔が左右対称となっている前 提で、顔の左右方向の中心に位置する点である。特徴算出部 160は、視線特徴パラ メータだけでなぐ視線方向基準点の基となった顔部品 404の三次元位置に関する 情報も、視線方向算出部 170へ出力する。
[0047] ステップ S1700において、視線特徴投影部 171は、ステップ S 1600で取得された 視線特徴パラメータおよび顔部品三次元位置情報に基づ 、て、視線方向特徴点を 、視線方向基準点の基となった左右の対応する 2つの顔部品 404を通る直線へ投影 し、その投影点を、視線特徴投影点として取得する。
[0048] 視線特徴投影部 171は、たとえば、左右の目頭の中点が視線方向基準点とされた 場合には、視線方向特徴点カゝら左右の目頭を通る直線へ垂線を下ろし、この垂線と 左右の目頭を通る直線との交点を、視線特徴投影点として取得する。また、たとえば 、 3点以上の顔部品 404の重心が視線方向基準点とされた場合には、顔部品 404を 左右に分け、左右それぞれの顔部品 404の重心を通る直線に対して、垂線を下ろす ようにすればよい。
[0049] ステップ S1800において、視線方向特徴量算出部 172は、ステップ S1600で取得 された視線方向基準点と、ステップ S1700で取得された視線特徴投影点に基づい て、視線方向特徴量を算出する。
[0050] 図 4は、視線方向ベクトルに関する各パラメータの関係を示す説明図であり、被検 者の目とその周辺部分を上方からみた状態で示している。ここでは、左右の目頭の 中点が視線方向基準点とされた場合を例として説明を行う。
[0051] 図 4に示すように、視線方向基準点 Fcは、左目頭 501と右目頭 502の中点である。
また、瞳中心 503が移動すると、視線方向特徴点 504も移動し、視線特徴投影点 E も左右の同じ方向に同じ距離だけ移動する。したがって、瞳中心 503が、顔正面を向 V、たときの位置に対して左右方向にずれ量 dだけ移動した場合、視線特徴投影点 E も、視線方向基準点 Fcに対して左右方向にずれ量 dだけ移動する。ここで、視線方 向基準点 Fcを基準とするずれ量 dおよび顔正面ベクトル 512を基準とする角度につ いて、顔を正面からみたときの左方向を正とする。
[0052] ずれ量 dは、視線方向特徴量であり、視線方向特徴点 504が視線方向基準点 Fcよ りも左側にある場合には、たとえば、以下に示す式（1)を用いて求められる。また、視 線方向特徴点 504が視線方向基準点 Fcよりも右側にある場合には、ずれ量 dは、た とえば、以下に示す式（2)を用いて求められる。
[0053] [数 1] d = E F ( 1 )
[数 2] d = -E F. ( 2 )
[0054] ステップ S1900【こお!ヽて、視線べク卜ノレ算出咅 173 ίま、ステップ S1900で算出され た視線方向特徴量に基づ 、て、視線ベクトル 511と顔正面ベクトル 512とが成す角を 算出し、視線ベクトル 511を算出する。そして、算出した視線ベクトル 511を、たとえ ば、上記した警報装置へ出力する。
[0055] 顔を基準としたときの瞳中心 503の回転中心は、眼球中心 505に一致するため、視 線ベクトル 511は、眼球中心 505を始点とし瞳中心 503を終点とするベクトルで示す ことができる。したがって、眼球半径を rとしたとき、視線ベクトル 511と顔正面ベクトル 512とが成す角 Θに関して、以下の式（3)が成り立つ。
[0056] [数 3]
[0057] したがって、視線ベクトル 511と顔正面ベクトル 512とが成す角 Θは、たとえば、以 下の式 (4)を用いて求められる。
[0058] [数 4]
Figure imgf000015_0001
[0059] なお、眼球半径 rは、成人であれば個人差は少な 、ため、あら力じめ定めた値を用 いることができる。また、年齢や性別、人種といった被検者の特性に合わせて、眼球 半径!:の値を切り変えたり、被検者の実際の眼球半径を測定し、測定結果を用いるよ うにしてもよい。
[0060] ここで、三次元位置算出部 140で三次元位置を表現するのに使用する座標系、つ まり第 1撮像部 111および第 2撮像部 112の撮像位置を基準とした座標系を、ステレ ォカメラ座標系というものとする。また、視線方向基準点の基となった左右で対応する 2つの顔部品 404 (図 4では、左目頭 501と右目頭 502)を通る直線を X軸とし、顔正 面ベクトル 512と平行な z軸を有する座標系を、顔座標系というものとする。
[0061] 顔座標系における顔正面ベクトル 512の各成分を、 (0, 0, f )とし、顔座標系にお z
ける視線ベクトル 511の各成分を、 (g , g , g )とすると、視線ベクトル 511は、たとえ
X y z
ば、以下の式（5)を用いて求められる。
[0062] [数 5]
Figure imgf000015_0002
顔座標系の各軸は、ステレオカメラ座標系で表現可能なベクトルまたは特徴を基に 定義される。したがって、顔座標系で表現される視線ベクトル 511は、ステレオカメラ 座標系においても表現することが可能である。したがって、第 1撮像部 111および第 2撮像部 112の外部パラメータから、たとえば視線ベクトルが外界のどの方向を向い て!、るかを検出することができる。
[0064] たとえば、ステレオカメラ座標系における視線ベクトル 511の各成分を (G , G , G
)とし、顔座標系からステレオカメラ座標系へ回転行列および並進ベクトルをそれぞ tlR, Tとすると、ステレオカメラ座標系における視線ベクトル 511は、たとえば、以下 の式（6)を用いて求められる。
[0065] [数 6]
h Gy G∑]= [gx gy gz]-R + T ( 6 )
[0066] なお、回転行列 Rおよび並進ベクトル Tは、顔正面ベクトル 512を算出する際に用 いた顔部品 3点の座標力も取得することが可能である。
[0067] ステップ S2000において、視線方向検出装置 100は、視線ベクトル 511を検出す る処理の終了判定を行う。この終了判定は、たとえば、上記した警報装置の停止を示 す信号の入力や、ユーザ操作による処理停止の指示の有無を判別することにより行 われる。処理を終了すると判定した場合には（S2000 : YES)、そのまま一連の処理 を終了する。処理を終了しないと判定した場合には（S2000 : NO)、ステップ S1000 へ戻り、再びステレオ画像対 400を入力し、視線ベクトル 511の検出を行う。
[0068] ただし、視線方向検出装置 100を構成する複数の処理部で並行して処理を進めら れる場合には、直前に取得されたステレオ画像対 400から視線ベクトル 511が取得さ れる前に、次のステレオ画像対 400の取得を行うようにしてもよい。また、画像入力部 110は一定周期ごとに撮像を行うようにしてもよい。この場合には、視線方向検出装 置 100は、ステップ S 2000の終了判定を早期に行い、視線ベクトル 511を検出する 処理を終了することを判定したときに、画像入力部 110の撮像を停止させる。なお、 ステップ S1000からステップ S1900までの処理に要する時間を短縮すればするほど 、よりリアルタイムに近い視線方向検出を実現できることと、ステップ S1000の処理間 隔を短くすればするほど、より細やかな視線方向検出を実現できることは、いうまでも ない。 [0069] このようにして、視線方向検出装置 100は、被検者がどの方向を見ているかを、視 線ベクトル 511として検出し、警報装置へ出力する。
[0070] 警報装置では、たとえば、ステレオカメラ座標系において、フロントガラスの領域、サ イドミラーの領域、カーナビゲーシヨン装置の液晶パネルの領域などを記憶しており、 入力される視線ベクトル 511を基に、運転者がどの領域に視線を向けているかを監 視する。そして、たとえば、左右にハンドルを切る操作が行われる際に、ハンドルを切 る側のサイドミラーに運転者の視線が向 、て 、な 、場合には、サイドミラーを確認す るよう警告を行う。これにより、ハンドルを切る際の巻き込み事故を未然に防ぐことが 可能となる。
[0071] 以上説明したように、本実施の形態によれば、人間の左右の瞳中心が、顔正面の 方向を見て 、るときには顔に左右対称に配置され、他の方向を見る際には連動して 動くという、人間の顔に一般的に共通する特徴を利用し、視線方向の検出を行うよう にした。具体的には、左右の瞳中心の三次元位置と、顔の中心を基準として顔に左 右対称に位置する顔部品の三次元位置とを検出し、左右の瞳中心の中点の、顔の 中心に対する左右方向のずれ量を検出し、そのずれ量と眼球半径に基づ 、て視線 方向を検出するようにした。
[0072] これにより、高い検出精度で取得することが可能であり、かつ検出精度に個人差が 少ないパラメータから、視線方向を検出することができる。したがって、被検者ごとの キャリブレーションを特に行うことなぐ高い精度の視線方向検出結果を、安定して得 ることができる。また、たとえば、ステレオカメラによる低解像度の撮影像カゝらでも、高 い精度の視線方向検出結果を安定して得ることができる。すなわち、ステレオカメラ の解像度を低く抑えることができ、装置の低コストィ匕を図ることができる。
[0073] また、人間の顔に左右対称に存在する顔部品を利用して、ステレオカメラ座標系な どの特定の座標系における顔正面の方向を検出するので、検出した視線方向を特 定の座標系で表現することができ、検出結果の利用価値を高めることができる。また 、ステレオカメラで撮影した画像に基づいて、左右の瞳中心の中点の、顔の中心に 対する左右方向のずれ量を検出するので、非接触での視線方向検出を実現すること ができ、各種分野に柔軟に適用することができる。さらに、上記した人間の顔に共通 する特徴を利用するだけでなぐ個人差の少ない眼球半径を既知の値とすることで、 被検者ごとのキャリブレーションが全く不要となる。これにより、より短時間で視線方向 検出を開始することができるとともに、使用者への負担を軽減することができる。すな わち、より簡便かつ気軽に、人間の視線方向を検出することが可能となる。
[0074] 特に、車の運転者に対して事故の危険性を警報する警報装置に適用するような場 合、ステレオカメラを使用して非接触での視線方向検出を行う必要があるが、運転時 の車内の明るさや照明状態の変動が大きいため、画像に影などの不確定要素が入り やすい。したがって、このような警報装置には、本実施の形態による視線方向検出装 置は、特に有用である。
[0075] なお、本実施の形態の視線方向検出装置では、顔の左右方向における瞳の移動 に対応した視線方向検出のみを行うようになっている力 通常、人の瞳は上下方向に 比べて左右方向により大きく移動するため、被検者の注意の対象や意図を特定する ための情報として、十分に利用価値の高い検出結果を得ることができる。また、顔の 上下方向における瞳の移動に対応した視線方向検出の技術と組み合わせてもよい ことは勿論である。
[0076] (実施の形態 2)
以上説明した実施の形態 1では、左右の瞳中心の中点の左右方向のずれ量を算 出する際に、視線特徴投影点を用いたが、本実施の形態では、顔の左右方向にお ける中心に位置する基準面を算出し、算出された基準面 (対称面)を用いる。
[0077] 図 5は、本発明の実施の形態 2に係る視線方向検出装置の構成を示すブロック図 であり、実施の形態 1の図 1に対応するものである。
[0078] 図 5において、本実施の形態の視線方向検出装置 200は、図 1に示す視線方向算 出部 170に代えて、視線方向算出部 270を有している。視線方向算出部 270は、図 1に示す視線特徴投影部 171および視線方向特徴量算出部 172に代えて、視線基 準面算出部 271および視線方向特徴量算出部 272を有している。
[0079] 視線方向算出部 270において、視線基準面算出部 271は、顔の対称面に相当す る視線基準面の三次元位置 (基準位置)を算出する。視線方向特徴量算出部 272は 、視線基準面に対する視線方向特徴点のずれ量を、視線方向特徴量として算出す る。
[0080] 図 6は、視線方向検出装置 200による視線方向検出処理の流れを示すフローチヤ ートであり、実施の形態 1の図 2に対応するものである。
[0081] ステップ S1000からステップ S1600までの処理は、図 2と同様である。ステップ S16
00で、特徴算出部 160が視線特徴パラメータを取得すると、ステップ S1710へ進む
[0082] ステップ S1710において、視線基準面算出部 271は、ステップ S 1400で取得され た顔部品三次元位置情報と、ステップ S 1600で取得された視線特徴パラメータとに 基づいて、上記した視線基準面を算出する。ここで、視線基準面は、視線方向基準 点の基となった左右で対応する 2つの顔部品 404を通る直線を法線とし、視線方向 基準点を通る平面と定義する。
[0083] 視線基準面算出部 271は、まず、視線方向基準点 Fcの基となった左右で対応する 2つの顔部品 404を結ぶベクトル (以下「顔部品ベクトル」 t 、う）を算出する。そして、 算出した顔部品ベクトルと、視線方向基準点に基づいて、視線基準面を算出する。
[0084] 図 7は、視線方向ベクトルに関する各パラメータの関係を示す説明図であり、実施 の形態 1の図 4に対応するものである。
[0085] 図 7に示すように、視線基準面 601は、視線方向基準点 Fcの基となった左右で対 応する 2つの顔部品 404 (図 7では、左目頭 501と右目頭 502)を通る直線と直交し、 視線方向基準点 Fcを通る。顔部品ベクトル 611の各成分を、 (a, b, c)とし、視線方 向基準点 Fcの座標を、 (x , y , z )とすると、視線基準面 601は、たとえば、以下の式 f f f
(7)で示される。
[0086] [数 7] a(x - xf ) + b(y - yf ) + c(z - zf ) = 0 …… ( 7 )
[0087] ステップ S1810において、視線方向特徴量算出部 272は、ステップ S1600で取得 された視線方向特徴点 504と、ステップ S1710で算出された視線基準面 601に基づ いて、視線基準面 601に対する視線方向特徴点 504のずれ量 dを算出する。
[0088] ずれ量 d、つまり視線方向特徴量は、視線方向特徴点 504の座標を、（X , y , z )
P P P とすると、視線方向特徴点 504が視線基準面 601よりも左側にある場合には、たとえ ば、以下の式 (8)を用いて求めることができる。また、視線方向特徴点 504が視線基 準面 601よりも右側にある場合には、ずれ量 dは、たとえば、以下に示す式（9)を用 いて求められる。
[0089] [数 8]
Figure imgf000020_0001
[数 9]
Figure imgf000020_0002
[0090] 図 6において、以上のようにステップ S1810で視線方向特徴量が算出されると、ス テツプ S1900へ進む。ステップ S1900以降の処理については、図 2と同様であり、ス テツプ S1900において、視線ベクトル 511が算出される。この演算には、たとえば、 眼球半径 rを既知の値として、実施の形態 1の式（3)、式 (4)、式（5)、および式 (6)を 用いればよい。
[0091] このように、本実施の形態によれば、実施の形態 1と同様に、被検者ごとのキヤリブ レーシヨンを特に行うことなぐ高い精度の視線方向検出結果を、安定して得ることが できる。また、実施の形態 1における視線方向特徴量の精度は、視線方向投影点と 視線特徴点との距離、つまり視線方向基準点の基となる顔部品の選定によって変動 するが、本実施の形態では視線基準面を基準とするため、このような精度のばらつき を抑えることができる。したがって、実施の形態 1と比較して、視線ベクトルの検出精 度を向上させることができる。
[0092] (実施の形態 3)
たとえば車を運転中の人の視線方向検出を行う場合、広い範囲で顔の向きを変え るため、一時的に片目し力撮像できないことがある。そこで、本実施の形態では、両 目を撮像できたときの情報を記憶しておき、一時的に片目しか撮像できないことがあ つても、継続的に視線方向を検出できるようにする。 [0093] 図 8は、本発明の実施の形態 3に係る視線方向検出装置の構成を示すブロック図 であり、実施の形態 1の図 1に対応するものである。
[0094] 図 8において、本実施の形態の視線方向検出装置 300は、図 1に示す特徴算出部 160および視線方向算出部 170に代えて、特徴算出部 360および視線方向算出部 370を有している。視線方向算出部 370は、図 1に示す視線特徴投影部 171および 視線方向特徴量算出部 172に代えて、視線特徴投影部 371および視線方向特徴量 算出部 372を有している。また、視線方向検出装置 300は、特徴記憶部 365を有し ている。
[0095] 特徴算出部 360は、三次元位置算出部 140から入力される顔部品三次元位置情 報から、視線特徴パラメータを取得するとともに、左右の瞳中心の距離である瞳間距 離を算出する。ただし、本実施の形態では、視線特徴パラメータは視線方向基準点 を含んで!/、ればよぐ必ずしも視線方向特徴点を含む必要はな ヽ。
[0096] 特徴記憶部 365は、特徴算出部 360で算出される瞳間距離を記憶する。
[0097] 視線方向算出部 370において、視線特徴投影部 371は、左右の瞳中心のうち、適 切な方の瞳中心を、視線方向基準点の基となる顔部品 404を通る直線へ投影した投 影点 (以下「顔部品投影点」という）を算出する。視線方向特徴量算出部 372は、顔 部品投影点と、視線特徴パラメータと、特徴記憶部 365に記憶されている瞳間距離 に基づいて、視線方向特徴量を算出する。
[0098] 図 9は、視線方向検出装置 300による視線方向検出処理の流れを示すフローチヤ ートであり、実施の形態 1の図 2に対応するものである。
[0099] ステップ S 1000からステップ S 1500までの処理は、図 2と同様である。ステップ S15 00で、頭部姿勢推定部 150が頭部姿勢パラメータを取得すると、ステップ S1550へ 進む。
[0100] ステップ S1550において、特徴算出部 360は、視線特徴パラメータ (視線方向基準 点）を取得するとともに、被検者の左右の瞳中心の三次元位置を基に、瞳間距離を 算出し、特徴記憶部 365に記憶させる。過去の情報が特徴記憶部 365に既に記憶さ れている場合には、新たに算出した瞳間距離で記憶内容を更新する。
[0101] ただし、顔が横を向いていたり、眼鏡のレンズへの映り込みが激しいなどして、ステ ップ S1000で、第 1撮像部 111および第 2撮像部 112の両方力 左右の瞳中心の両 方を撮像できな力つた場合には、視線方向特徴点の取得と、瞳間距離の算出および 記憶は行わずに、そのままステップ S 1600へ進む。また、同一の被検者について過 去に取得された瞳間距離が特徴記憶部 365に既に記憶されている場合も、瞳間距 離の算出および記憶を行わずに、そのままステップ S 1600へ進むようにしてもよい。
[0102] ステップ S1600において、特徴算出部 360は、ステップ S1400で検出された瞳中 心 405および顔部品 404の三次元位置に基づ 、て、視線特徴パラメータを取得し、 ステップ S 1720へ進む。
[0103] ステップ S1720において、視線特徴投影部 371は、ステップ S 1400で取得された 顔部品三次元位置情報と、ステップ S 1600で取得された視線特徴パラメータとに基 づいて、左右の瞳中心のいずれかを、視線方向基準点の基となった左右の対応する 2つの顔部品 404を通る直線へ投影し、その投影点を、顔部品投影点として取得す る。
[0104] ステップ S1820において、視線方向特徴量算出部 372は、ステップ S1550で取得 された視線方向基準点と、ステップ S1720で取得された顔部品投影点に基づいて、 視線方向特徴量を算出する。
[0105] 図 10は、視線方向ベクトルに関する各パラメータの関係を示す説明図であり、実施 の形態 1の図 4に対応するものである。
[0106] 図 10に示すように、瞳中心 503が移動すると、視線方向基準点 Fcの基となった 2 つの顔部品 404 (図 10では、左目頭 501と右目頭 502)が通る直線に投影された左 右の顔部品投影点 Eの中点 701の三次元位置 (特徴位置)も、左右方向に同じずれ
P
量だけ移動する。したがって、瞳中心 503が、顔正面を向いたときの位置に対して左 右方向にずれ量 dだけ移動した場合、左右の顔部品投影点 Eの中点 701も、視線方
P
向基準点 Fcに対して左右方向にずれ量 dだけ移動する。
[0107] ずれ量 dは、視線方向特徴量であり、瞳間距離を L とすると、左右の顔部品投影
eye
点 Eの中点 701が視線方向基準点 Fcによりも左側にある場合には、たとえば、以下
P
に示す式（10)を用いて求められる。また、左右の顔部品投影点 Eの中点 701が視
P
線方向基準点 Fcによりも右側にある場合には、ずれ量 dは、たとえば、以下に示す式 (11)を用いて求められる。
[0108] [数 10] …… （1 0 )
Figure imgf000023_0001
[数 11] d = 一 0.5 ( 1 1 )
Figure imgf000023_0002
[0109] 上記した式（10)および式（11)により算出される値は、左右の顔部品投影点 Eの
P
いずれを採用してもそれぞれ同一となる。したがって、視線方向特徴量を算出する際 には、左右の顔部品投影点 Eのうち任意の一方を採用することができる。これは、視
P
線方向基準点 Fcと瞳間距離 L を取得すれば、左右の瞳中心 503のうちいずれか
eye
一方の三次元位置のみから、視線方向特徴量を算出できることを意味する。すなわ ち、必ずしも左右の瞳の両方を撮像する必要がなぐたとえば、顔が横を向き、一時 的に片目しか撮像できなくても、継続して視線方向特徴量を算出できる。
[0110] 図 10において、以上のようにステップ S1820で視線方向特徴量が算出されると、ス テツプ S1900へ進む。ステップ S1900以降の処理については、図 2と同様であり、ス テツプ S1900において、視線ベクトル 511が算出される。この演算には、たとえば、 眼球半径 rを既知の値として、実施の形態 1の式（3)、式 (4)、式（5)、および式 (6)を 用いればよい。
[0111] このように、本実施の形態によれば、実施の形態 1および実施の形態 2と同様に、被 検者ごとのキャリブレーションを特に行うことなぐ高い精度の視線方向検出結果を、 安定して得ることができる。また、瞳間距離を記憶しておくことにより、左右の顔部品 投影点の中点を片方の瞳中心から特定できるので、片目し力撮像できなくても、正面 方向に対する瞳中心の左右方向のずれ量を常に取得することができる。
[0112] すなわち、本実施の形態によれば、顔の向きや、髪や眼鏡の縁、光の反射などの 原因により、被検者の片目しか撮像できない場合でも、視線方向を検出することがで き、高い精度の視線方向検出結果をより安定的に得ることができる。たとえば、顔が 左向きならば右目、右向きならば左目というように、第 1撮像部 111および第 2撮像部 112から向力つて顔の向きと逆側の瞳の中心を、三次元位置の検出の対象として選 択すればよい。
[0113] なお、瞳間距離は、別途検出を行ったり、初期値として入力することにより、あらかじ め記憶しておくようにしてもよい。さらに、左右の瞳中心の両方が検出されているとき には、実施の形態 1または実施の形態 2で説明した手法により視線方向特徴量を算 出し、片方の瞳中心し力検出できないときにのみ本実施の形態で説明した手法を適 用するよう〖こしてもよい。この場合、左右の瞳中心の両方が検出されている力否かを 判別し、判別結果に応じて処理を切り変えるようにすればよい。
[0114] (実施の形態 4)
実施の形態 4では、実施の形態 3で説明した片方の瞳中心の三次元位置を用いた 視線方向検出を、実施の形態 2で説明した視線基準面を用いて行う場合について説 明する。
[0115] 図 11は、本発明の実施の形態 4に係る視線方向検出装置の構成を示すブロック図 であり、実施の形態 2の図 5および実施の形態 3の図 8に対応するものである。
[0116] 図 11において、本実施の形態の視線方向検出装置 600は、図 8に示す視線方向 算出部 370に代えて、視線方向算出部 670を有している。視線方向算出部 670は、 図 8に示す視線特徴投影部 371および視線方向特徴量算出部 372に代えて、図 5 に示す視線基準面算出部 271と、視線方向特徴量算出部 672とを有している。
[0117] 視線方向算出部 670において、視線方向特徴量算出部 672は、視線基準面算出 部 271により算出された視線基準面の三次元位置と、特徴算出部 360により算出さ れた視線特徴パラメータと、特徴記憶部 365に記憶されて 、る瞳間距離とに基づ!/ヽ て、視線方向特徴量を算出する。
[0118] 図 12は、視線方向検出装置 600による視線方向検出処理の流れを示すフローチ ヤートであり、実施の形態 2の図 6および実施の形態 3の図 9に対応するものである。
[0119] ステップ S1000からステップ S1600までの処理は、図 9と同様である。また、ステツ プ S 1710およびステップ S 1900以降の処理は、ステップ S 1810の処理をステップ S 1830の処理に代えたことを除き、図 6と同様である。
[0120] ステップ S1830において、視線方向特徴量算出部 672は、ステップ S1400で検出 された瞳中心の三次元位置と、ステップ S1550で求められた瞳間距離と、ステップ S 1710で求められた視線基準面とに基づいて、視線方向特徴量を算出する。
[0121] 図 13は、視線方向ベクトルに関する各パラメータの関係を示す説明図であり、実施 の形態 2の図 7および実施の形態 3の図 10に対応するものである。
[0122] 図 13に示すように、瞳中心 503が、顔正面を向いたときの位置に対して左右方向 にずれ量 dだけ移動した場合、左右の瞳中心 503の中点である視線方向特徴点 504 も、視線基準面 601に対して左右方向にずれ量 dだけ移動する。また、左右の瞳中 心 503を結ぶ線は視線基準面 601と直交する。したがって、左右いずれかの瞳中心 503の視線基準面 601からの距離 Dと、瞳間距離 L との差分が、ずれ量 dとなる。
eye
[0123] 顔部品ベクトル 611の各成分を (a, b, c)とし、視線方向基準点 Fcの座標を (x , y
f f
, z )とし、左右いずれかの瞳中心の座標を (x , y , z )とすると、瞳中心 503の視線 f q q q
基準面 601からの距離 Dは、たとえば、以下の式（12)で示される。
[0124] [数 12]
Figure imgf000025_0001
[0125] したがって、視線方向特徴量であるずれ量 dは、演算に使用する瞳中心 503が視 線方向基準点 Fcによりも左側にある場合には、たとえば、以下に示す式（13)を用い て求められる。また、演算に使用する瞳中心 503が視線方向基準点 Fcによりも右側 にある場合には、ずれ量 dは、たとえば、以下に示す式（14)を用いて求められる。
[0126] [数 13] D— 0.5L ( 1 3 )
Figure imgf000025_0002
[数 14] d _ 0.5 ( 1 4 )
Figure imgf000025_0003
上記した式（13)および式（14)により算出される値は、左右の瞳中心 503のいずれ を採用してもそれぞれ同一となる。したがって、実施の形態 3と同様に、視線方向特 徴量を算出する際には、左右の瞳中心 503のうち任意の一方を採用することができ る。
[0127] このように、本実施の形態によれば、実施の形態 3と同様に、片目しか撮像できなく ても視線方向検出を行うことができ、高い精度の視線方向検出結果をより安定的に 得ることができる。更に、視線基準面を基準とし、瞳中心の三次元位置をそのまま演 算に用いるため、実施の形態 3と比較して視線ベクトルの検出精度を向上させること ができる。
[0128] (実施の形態 5)
実施の形態 5では、左右両方の目の瞳中心の三次元位置が取得可能な場合に、 取得される三次元位置の信頼度がより高い方の目を用いて視線方向検出を行う場合 について説明する。
[0129] 顔の向きが左右のいずれかに振れているときに、ステレオカメラとして機能する第 1 撮像部 111および第 2撮像部 112のイメージセンサ（以下「カメラ」 t 、う）からみて奥 側となる目は、カメラに対する奥行きが大きいことから、相対的に小さい画像で撮像さ れる。また、撮像のための光源として投光器をカメラ付近に置くような場合には、カメラ 力 みて横を向くことになる奥側の目は、光が当たりにくいことから、画像上で黒つぶ れしてしまうことが多い。したがって、カメラの光軸に対して、顔の向きが左右のいず れかに大きく振れているとき、カメラからみて奥側の目の画像は、精度が大きく低下す ることがある。
[0130] 画像の精度が低下すると、瞳中心の三次元位置の検出精度も低くなる。したがって 、両目を撮像可能であっても手前側の目の瞳中心の三次元位置のみを用いて視線 方向検出を行うことで、安定した検出精度を確保することができる。そこで、本実施の 形態では、左右いずれの目が手前側にある力否かを顔の向き力 判断し、より高い 信頼度で情報を得ることができる手前側の目力 得られる情報と視線基準面とを用い て視線方向検出を行う。
[0131] 図 14は、本発明の実施の形態 5に係る視線方向検出装置の構成を示すブロック図 であり、実施の形態 4の図 11に対応するものである。
[0132] 図 14において、本実施の形態の視線方向検出装置 700は、図 11に示す視線方向 算出部 670に代えて、視線方向算出部 770を有している。視線方向算出部 770は、 図 11に示す視線方向特徴量算出部 672に代えて、水平顔向き判定部 774、選択情 報格納部 775、使用特徴選択部 776、および視線方向特徴量算出部 772を有して いる。
[0133] 視線方向算出部 770において、水平顔向き判定部 774は、頭部姿勢推定部 150 で取得された顔正面ベクトルから、ステレオカメラ座標系における水平方向の顔の向 きを判定し、顔力 Sカメラからみて左向き力右向きかを示す顔向き情報を生成する。
[0134] 選択情報格納部 775は、顔の向きに対応付けて左右のいずれの目を選択すべき かを予め記述した選択情報テーブルを格納する。
[0135] 図 15は、選択情報テーブルの内容の一例を示す図である。
[0136] 図 15に示すように、選択情報テーブル 775aには、カメラからみたときの顔の向きと 、視線方向検出の演算に使用すべき左右の目とが記述されている。「左向き」という 顔の向きには、使用すべき目として「右目」が対応付けられている。「右向き」という顔 の向きには、使用すべき目として「左目」が対応付けられている。すなわち、選択情報 テーブル 775aは、手前側に位置する目、つまり、より安定した精度で視線方向を検 出することができる方の目を、顔の向きに対応付けて記述している。
[0137] 図 14の使用特徴選択部 776は、選択情報テーブル 775aを参照して、水平顔向き 判定部 774により生成された顔向き情報が示す顔の向きから、使用すべき目を選択 する。そして、使用特徴選択部 776は、左右のいずれの目を選択したかを示す瞳選 択情報を生成する。
[0138] 視線方向特徴量算出部 772は、顔部品三次元位置情報と、視線基準面の三次元 位置と、視線特徴パラメータと、瞳間距離と、使用特徴選択部 776により生成された 瞳選択情報とに基づいて、視線方向特徴量を算出する。
[0139] 図 16は、視線方向検出装置 700による視線方向検出処理の流れを示すフローチ ヤートであり、実施の形態 4の図 12に対応するものである。
[0140] 図 16に示す視線方向検出処理は、ステップ S1830の処理をステップ S1750〜S1
840の処理に代えたことを除き、図 12と同様である。
[0141] ステップ S1750において、水平顔向き判定部 774は、ステップ S 1500で取得され た顔正面ベクトルに基づ 、て、ステレオカメラ座標系における顔の向きが左右の！/、ず れであるかを判定する。そして、水平顔向き判定部 774は、判定結果、つまり左向き か右向きかを示す顔向き情報を、使用特徴選択部 776へ出力する。
[0142] カメラ座標系における顔向きの左右の判定は、たとえば、以下のようにして行う。水 平顔向き判定部 774は、顔正面ベクトルをステレオカメラ座標系で表した場合の水平 成分を取得する。そして、ここでは顔を正面からみたときの左方向を正としていること から、水平顔向き判定部 774は、顔正面ベクトルの水平成分が正の場合には、顔は 左向きであると判定し、顔正面ベクトルの水平成分が負の場合には、顔は右向きであ ると判定する。
[0143] なお、顔正面ベクトルの水平成分の値をそのまま顔向き情報としてもよい。この場合 には、顔向き情報は、値の正負により、左向き力右向きかを示す。また、顔向き情報 は、顔が右向きの場合は 0、左向きの場合には 1というように、 2つ以上の予め定めら れた値により、顔の向きを示すようにしてもよい。
[0144] ステップ S1760で、使用特徴選択部 776は、入力された顔向き情報が示す顔の向 きに対応する目を、選択情報テーブル 775aを参照して選択する。そして、使用特徴 選択部 776は、選択した目を示す瞳選択情報を生成し、生成した瞳選択情報を、視 線方向特徴量算出部 772へ出力する。
[0145] なお、顔向き情報をそのまま瞳選択情報としてもよい。この場合、たとえば、顔向き 情報が値の正負により左向き力右向きかを示すものであれば、瞳選択情報は、値の 正負により、右目か左目かを示す。また、瞳選択情報は、左目を選択した場合は 0、 右目を選択した場合には 1というように、 2つ以上の予め定められた値により、左右の 目を示すようにしてもよい。
[0146] ステップ S1840で、視線方向特徴量算出部 772は、瞳選択情報が示す目の瞳中 心の三次元位置に基づいて、実施の形態 4と同様に、視線方向特徴量であるずれ量 dを求める。たとえば、視線方向特徴量算出部 772は、瞳選択情報が右目を示す場 合には、実施の形態 4で例示した式（13)を用い、瞳選択情報が左目を示す場合に は、実施の形態 4で例示した式（14)を用いる。
[0147] なお、顔正面ベクトルの水平成分が 0の場合には、顔向き情報または瞳選択情報を 生成する際や、視線方向特徴量算出部 772での演算手法を決定する際に、選択肢 の！、ずれかに割り振ればよ!/、。
[0148] このように、本実施の形態によれば、顔の向きから手前側の目を判断し、手前側の 目のみを用いて視線方向検出を行う。これにより、視線方向検出において安定した 検出精度を確保することができる。また、逐次検出される顔方向ベクトル力も顔の向き を判断するので、精度の安定した視線方向検出を継続させることができる。
[0149] なお、本実施の形態では、視線基準面に対する瞳中心の距離力 ずれ量 dを求め る場合について説明したが、実施の形態 3のように、視線方向基準点に対する顔部 品投影点の距離力もずれ量 dを求める場合に適用してもよい。この場合には、視線特 徴投影部 371で、瞳選択情報が示す方の目力 顔部品投影点を取得すればよい。
[0150] (実施の形態 6)
実施の形態 6では、左右両方の目カゝらそれぞれ得られる視線方向特徴量に、顔の 向きに応じた重み付けを行って視線方向検出を行う場合について説明する。
[0151] 陰になった側の目から取得される三次元位置の信頼度は、顔が左右に大きく振れ ているときには低いが、カメラの光軸方向に近付けば近付くほど高くなる。また、被検 者が至近距離を注視しているなどして左右の瞳中心を結ぶ線分と視線基準面とが垂 直ではない場合や、取得した瞳間距離の精度が低い場合、片方の目のみを使用す ると、視線方向検出精度が低下する。そこで、本実施の形態では、陰になった側の目 から得られた情報と手前側の目力 得られた情報に、顔の向きに応じた重み付けを 行い、積極的に両方の目を用いて視線方向検出を行う。
[0152] 図 17は、本発明の実施の形態 5に係る視線方向検出装置の構成を示すブロック図 であり、実施の形態 5の図 14に対応するものである。
[0153] 図 17において、本実施の形態の視線方向検出装置 800は、図 14に示す視線方向 算出部 770に代えて、視線方向算出部 870を有している。視線方向算出部 870は、 図 14に示す水平顔向き判定部 774、選択情報格納部 775、使用特徴選択部 776、 および視線方向特徴量算出部 772に代えて、水平顔向き角度算出部 874、重み情 報格納部 875、特徴重み決定部 876、および視線方向特徴量算出部 872を有して いる。 [0154] 視線方向算出部 870において、水平顔向き角度算出部 874は、頭部姿勢推定部 1 50で取得される顔正面ベクトルから、カメラの光軸方向に対する顔の向きの水平方 向における角度を、水平顔向き角度として算出する。
[0155] 重み情報格納部 875は、重み情報を格納する。重み情報は、水平顔向き角度に、 左右の目力も得られる情報の信頼度のノランスに応じた値を、左目力も得られた情 報に対して掛けるべき重み係数 (以下「左目重み係数」 、う）として予め対応付けた 情報である。重み情報は、たとえば、水平顔向き角度の離散的な値に対応付けて左 目重み係数を記述するテーブル形式や、水平顔向き角度の関数として左目重み係 数を決定する関数形式とすることができる。
[0156] 図 18は、テーブル形式の重み情報の内容の一例を示す図である。
[0157] 図 18に示すように、テーブル形式の重み情報 876aは、左目重み係数を、水平顔 向き角度の増加に従って 1から 0へと徐々に減少する値として記述している。すなわ ち、顔が右を向けば向くほど、左目重み係数は大きくなり、顔が左を向けば向くほど、 左目重み係数は小さくなる。これは、顔が右を向けば向くほど、右目力も得られる情 報の信頼度が低くなり、顔が左を向けば向くほど、左目力 得られる情報の信頼度が 低くなるためである。図 18に示すように、顔が大きく左右を向いている場合には、陰 になっている側の目の重みを 0とし、顔が正面方向（カメラの光軸方向）付近の方向 にある場合には、左右とも同じ重みにすることにより、処理負荷を軽減することができ る。
[0158] 図 19は、関数形式の重み情報の内容の一例を示す図である。
[0159] 図 19に示すように、関数形式の重み情報 876bも、左目重み係数を、水平顔向き 角度の増加に従って 1から 0へと徐々に減少する連続する値として定義している。関 数形式の重み情報 876bを用いた場合、テーブル形式の重み情報 876aを用いた場 合よりもより細やかに左目重み係数を決定することができる。
[0160] 図 17の特徴重み決定部 876は、重み情報を用いて、水平顔向き角度算出部 874 で算出された水平顔向き角度力も左目重み係数を取得する。そして、特徴重み決定 部 876は、取得した左目重み係数を、視線方向特徴量であるずれ量を算出する際の 重みを表す特徴重み情報として、視線方向特徴量算出部 872へ出力する。 [0161] 視線方向特徴量算出部 872は、顔部品三次元位置情報と、視線基準面の三次元 位置と、視線特徴パラメータと、瞳間距離と、特徴重み決定部 876で取得された特徴 重み情報とに基づいて、視線方向特徴量を算出する。
[0162] 図 20は、視線方向検出装置 800による視線方向検出処理の流れを示すフローチ ヤートであり、実施の形態 5の図 16に対応するものである。
[0163] 図 20に示す各処理は、ステップ S1750〜S1840の処理をステップ S1770〜S18
50の処理に代えたことを除き、図 16と同様である。
[0164] ステップ S1770で、水平顔向き角度算出部 874は、ステップ S 1500で取得された 顔正面ベクトルに基づ 、て、カメラの光軸方向に対する顔の向きの水平成分の角度 を、水平顔向き角度として算出し、算出した水平顔向き角度を特徴重み決定部 876 へ出力する。
[0165] 水平顔向き角度の算出は、たとえば、以下のようにして行う。水平顔向き角度算出 部 874は、ステレオカメラ座標系における顔正面ベクトルの水平成分、垂直成分、お よび光軸方向成分を、それぞれ (X ,Υ ,Ζ )とすると、たとえば以下の式（15)を用い fc fc fc
て、水平顔向き角度 0
hを求める。
[0166] [数 15]
Figure imgf000031_0001
[0167] ステップ S1780で、特徴重み決定部 876は、入力された水平顔向き角度に対応す る左目重み係数を、重み情報格納部 875に格納された重み情報に基づいて決定し 、決定した左目重み係数から、右目力 得られた情報に対して掛けるべき重み係数（ 以下「右目重み係数」 t 、う）を算出する。そして、特徴重み決定部 876は、左目重み 係数と右目重み係数とを、特徴重み情報として視線方向特徴量算出部 872へ出力 する。
[0168] 特徴重み決定部 876は、左目重み係数を Wとしたとき、右目重み係数 Wを、たとえ
1 r ば以下の式（16)を用いて求める。
[0169] [数 16] ( 1 6 )
[0170] なお、視線方向特徴量算出部 872で、式（16)を用いて右目重み係数を算出する ようにしてもよい。この場合には、特徴重み決定部 876は、左目重み係数のみを特徴 重み情報として視線方向特徴量算出部 872へ出力する。
[0171] ステップ S1850で、視線方向特徴量算出部 872は、左右の瞳中心の三次元位置 力 得られる情報に対し、特徴重み情報が示す重み付けを行い、視線方向特徴量で あるずれ量 dを求める。
[0172] 左右の瞳中心の三次元位置力 得られる情報に対する重み付けは、たとえば、以 下のようにして行う。視線方向特徴量算出部 872は、顔部品ベクトル 611の各成分を (a, b, c)、視線方向基準点 Fcの座標を (x , y , z )、右目の瞳中心の座標を (x , y f f f r r
, z )、右目の瞳中心の座標を (x , y , z )とすると、右目を用いた場合のずれ量 dと、 r 1 1 1 r 左目を用いた場合のずれ量 dとを、たとえば、以下の式（17)、（18)を用いて求める
1
[0173] [数 17]
Figure imgf000032_0001
[数 18]
Figure imgf000032_0002
[0174] そして、視線方向特徴量算出部 872は、求めたずれ量^ に、右目重み係数^ と左目重み係数を Wとをそれぞれ乗じた値の和を取ることにより、つまり以下の式（1
1
9)を用いることにより、最終的な視線方向特徴量としてのずれ量 dを算出する。
[0175] [数 19] d = Wrdr + W,d, ( 1 9 )
[0176] なお、重み付けは、左右の目それぞれから個別に求めたずれ量から、視線ベクトル と顔正面ベクトルとが成す角 Θをそれぞれ算出し、算出された 2つの値に対して対応 する重み係数を乗じてもょ ヽ。
[0177] 具体的には、たとえば、視線方向特徴量算出部 872は、まず、右目を用いた場合 のずれ量 dおよび左目を用いた場合のずれ量 dを算出し、算出結果と、右目重み係 r 1
数 Wおよび左目重み係数を Wとを、視線ベクトル算出部 173へ出力する。そして、 r 1
視線ベクトル算出部 173は、眼球半径 rと、ずれ量 d、 dから、以下の式（20)、 (21) r 1
を用いて、右目を用いた場合の視線ベクトルと顔正面ベクトルとが成す角 0 と、左目 を用いた場合の視線ベクトルと顔正面ベクトルとが成す角 Θとを求める。
1
[0178] [数 20] = sin -1 ( ) ( 2 0 )
[数 21]
Θ, = sin -' | ~^ ( 2 1 )
r )
[0179] そして、視線ベクトル算出部 173は、求めた角 0 、 0〖こ、右目重み係数 Wと左目 重み係数を Wとをそれぞれ乗じた値の和を取ることにより、つまり以下の式（22)を用
1
いることにより、最終的な視線方向特徴量としてのずれ量 dを算出する。
[数 22] θ = βΓ + Ψ,Θ, ( 2 2 )
[0180] このように、本実施の形態によれば、左右の目から得られた情報に信頼度に応じた 重み付けを行い、積極的に両方の目を用いて視線方向検出を行う。これにより、視線 方向検出の精度の安定ィ匕を図ることができる。
[0181] なお、撮影条件、瞳間距離の検出精度、および水平顔向き角度と、瞳中心の三次 元位置の検出精度との関係を、実験により予め解析し、解析結果から、視線方向検 出の精度が最も安定する重み付けを各水平顔向き角度ごとに求めておくことにより、 視線方向検出の精度の更なる安定ィ匕を図ることができる。また、撮影条件に応じて内 容の異なる重み情報を用意しておき、撮影条件に応じて使 、分けるようにしてもょ ヽ [0182] また、本実施の形態では、視線基準面に対する瞳中心の距離からずれ量 dを求め る場合について説明したが、実施の形態 3のように、視線方向基準点に対する顔部 品投影点の距離カゝらずれ量 dを求める場合に適用してもよい。この場合、視線特徴 投影部 371で、左右両方の目から顔部品投影点を取得し、視線方向特徴量算出部 372で、それぞれのずれ量を求めた後、特徴重み情報に従って重み付けを行えばよ い。
[0183] 以上説明した各実施の形態では、車の運転者の視線方向に基づいて事故の危険 性を警報する警報装置に適用する場合を例として説明を行ったが、人間の視線方向 に基づ!/、て処理を行う他の各種装置に適用してもょ 、ことは勿論である。
[0184] このような装置としては、たとえば、テレビジョンや音響スピーカなどの情報提示機 器や、監視カメラなどの安全状態監視機器、スチールカメラやビデオカメラなどの映 像記録機器、ロボットなどの生活補助機器、ビデオゲームや体感ゲームなどの遊戯 機器などが挙げられる。他にも、たとえば、車の運転者が見ていると推定される画像 を入力して記録する映像記録装置、ロボットがユーザやロボット自身の状況を把握す るための周辺情報把握装置、ビデオゲームのゲーム内容の状態を変化させるための ゲーム状態更新装置、眼球の動きに関する検査をするための医療機器が挙げられる
[0185] また、視線方向の検出の対象となる被検者は、人間に限定されるものではない。顔 の中心を基準として左右対称に位置する 2つの顔部品を有し、かつ瞳中心を検出可 能な動物であれば、本発明を適用してその視線方向を検出することが可能である。
[0186] 2006年 7月 14日出願の特願特願 2006— 194892の日本出願に含まれる明細書 、図面および要約書の開示内容は、すべて本願に援用される。
産業上の利用可能性
[0187] 本発明に係る視線方向検出装置および視線方向検出方法は、被検者ごとのキヤリ ブレーシヨンを特に行うことなぐ高い精度の視線方向検出結果を得ることができる視 線方向検出装置および視線方向検出方法として有用である。具体的には、パーソナ ルコンピュータ、 OA (office automation)機器、携帯電話機などの情報端末や、自動 車、飛行機、船、電車などの移動手段に搭載される情報提供装置として有用である。 また、監視装置、警報装置、ロボット、映像音響再生装置などの情報入力装置として ち応用でさる。

Claims

請求の範囲
[1] 左右対称に位置する 2つの顔部品の三次元位置から、視線方向の検出の対象とな る被検者の顔の中心の三次元位置を、基準位置として算出する基準位置算出手段 と、
左右の瞳中心の三次元位置から、前記被検者の左右の瞳中心の左右方向におけ る中心の三次元位置を、特徴位置として算出する特徴位置算出手段と、
左右方向における前記基準位置に対する前記特徴位置のずれ量を、視線方向特 徴量として算出する視線方向特徴量算出手段と、
前記視線方向特徴量に基づいて、前記被検者の視線方向を算出する視線方向算 出手段と、
を有する視線方向検出装置。
[2] 所定の 2つの位置で撮像を行い、ステレオ画像を入力する画像入力手段と、
前記画像入力手段により入力されるステレオ画像から、前記顔部品に対応する画 像および前記瞳中心に対応する画像を検出する顔部品検出手段と
前記画像入力手段が撮像を行う前記所定の 2つの位置と、前記顔部品検出手段の 検出結果に基づいて、前記顔部品および前記瞳中心の三次元位置を算出する三次 元位置算出手段と、
をさらに有する請求項 1記載の視線方向検出装置。
[3] 左右対称に位置する 2つの顔部品を少なくとも含む 3つ以上の顔部品の三次元位 置に基づいて、前記被検者の顔正面の方向を推定する顔方向推定手段、をさらに 有し、
前記視線方向算出手段は、
前記視線方向特徴量、眼球半径、および前記被検者の顔正面の方向に基づいて 、前記被検者の視線方向を算出する、
請求項 1記載の視線方向検出装置。
[4] 左右の瞳中心の中点を左右対称に位置する所定の 2つの顔部品を通る直線に垂 直に投影した点としての視線特徴投影点を取得する視線特徴投影手段、をさらに有 し、 前記視線方向特徴量算出手段は、
前記所定の 2つの顔部品の中点に対する前記視線特徴投影点のずれ量を、前記 視線方向特徴量として算出する、
請求項 1記載の視線方向検出装置。
[5] 左右対称に位置する所定の 2つの顔部品の三次元位置に基づいて、前記被検者 の顔の左右方向における中心に位置する基準面を算出する視線基準面算出手段、 をさらに有し、
前記視線方向特徴量算出手段は、
前記基準面に対する前記被検者の左右の瞳中心の中点のずれ量を、前記視線方 向特徴量として算出する、
請求項 1記載の視線方向検出装置。
[6] 左右の瞳中心の距離を、瞳間距離として記憶する特徴記憶手段と、
左右のいずれかの瞳中心を左右対称に位置する所定の 2つの顔部品を通る直線 に垂直に投影した点としての顔部品投影点を取得する視線特徴投影手段と、をさら に有し、
前記視線方向特徴量算出手段は、
前記 2つの所定の顔部品の中点に対する前記顔部品投影点のずれ量を前記瞳間 距離の半分の距離で補正した値を、前記視線方向特徴量として算出する、
請求項 1記載の視線方向検出装置。
[7] 前記画像入力手段により入力されるステレオ画像から、顔の領域を検出する顔検 出手段、をさらに有し、
前記顔部品検出手段は、
前記画像入力手段により入力されるステレオ画像のうち、顔の領域のみを探索対象 として、前記顔部品に対応する画像および前記瞳中心に対応する画像の検出を行う 請求項 2記載の視線方向検出装置。
[8] 左右の瞳中心の距離を、瞳間距離として記憶する特徴記憶手段と、
左右対称に位置する所定の 2つの顔部品の三次元位置に基づいて、前記被検者 の顔の左右方向における中心に位置する基準面を算出する視線基準面算出手段と 、をさらに有し、
前記視線方向特徴量算出手段は、
前記基準面に対する左右の!/、ずれかの瞳中心のずれ量を前記瞳間距離の半分の 距離で補正した値を、前記視線方向特徴量として算出する、
請求項 1記載の視線方向検出装置。
[9] 前記被検者の顔正面が左右のいずれに向いているかを判定する顔向き判定手段 と、
前記顔向き判定手段により判定された顔正面の左右の向きから、前記左右の瞳中 心のうち手前側に位置する瞳中心を選択する特徴選択手段と、をさらに有し、 前記視線特徴投影手段は、
前記特徴選択手段により選択された瞳中心から前記顔部品投影点を取得する、 請求項 6記載の視線方向検出装置。
[10] 前記被検者の顔正面が左右のいずれに向いているかを判定する顔向き判定手段 と、
前記顔向き判定手段により判定された顔正面の左右の向きから、前記左右の瞳中 心のうち手前側に位置する瞳中心を選択する特徴選択手段と、をさらに有し、 前記視線方向特徴量算出手段は、
前記特徴選択手段により選択された瞳中心から前記視線方向特徴量を取得する、 請求項 8記載の視線方向検出装置。
[11] 前記画像入力手段の光軸方向に対する前記被検者の顔正面の向きの水平方向に おける角度を算出する顔向き角度算出手段と、
前記顔向き角度算出手段により算出された角度に応じて、前記左右の瞳中心のそ れぞれから得られた情報に対する重み付けを決定する特徴重み決定手段と、をさら に有し、
前記視線特徴投影手段は、
前記左右の瞳中心のそれぞれから前記顔部品投影点を取得し、
前記視線方向特徴量算出手段は、 前記左右の瞳中心のそれぞれから得られた情報に対して前記特徴重み決定手段 で決定された重み付けを行った値から、前記視線方向特徴量を算出する、
請求項 6記載の視線方向検出装置。
[12] 前記画像入力手段の光軸方向に対する前記被検者の顔正面の向きの水平方向に おける角度を算出する顔向き角度算出手段と、
前記顔向き角度算出手段により算出された角度に応じて、前記左右の瞳中心のそ れぞれから得られた情報に対する重み付けを決定する特徴重み決定手段と、をさら に有し、
前記視線方向特徴量算出手段は、
前記左右の瞳中心のそれぞれから前記視線方向特徴量を算出し、
前記視線方向算出手段は、
前記左右の瞳中心のそれぞれから算出された前記視線方向特徴量または前記視 線方向特徴量力 得られた前記被検者の視線方向に対して前記特徴重み決定手段 で決定された重み付けを行った値から、前記被検者の視線方向を算出する、 請求項 8記載の視線方向検出装置。
[13] 前記視線方向算出手段は、
前記視線方向特徴量を分子とし前記眼球半径を分母とする値の逆正弦を、前記顔 正面の方向に対する前記視線方向の水平方向における角度として算出する、 請求項 3記載の視線方向検出装置。
[14] 左右対称に位置する 2つの顔部品の三次元位置から、視線方向の検出の対象とな る被検者の顔の中心の三次元位置を基準位置として算出するとともに、左右の瞳中 心の三次元位置から、前記被検者の左右の瞳中心の左右方向における中心の三次 元位置を特徴位置として算出する特徴算出ステップと、
左右方向における前記基準位置に対する前記特徴位置のずれ量を、視線方向特 徴量として算出する視線方向特徴量算出ステップと、
前記視線方向特徴量に基づいて、前記被検者の視線方向を算出する視線方向算 出ステップと、
を有する視線方向検出方法。
PCT/JP2007/064011 2006-07-14 2007-07-13 Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle WO2008007781A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008524862A JP5137833B2 (ja) 2006-07-14 2007-07-13 視線方向検出装置および視線方向検出方法
CN2007800265320A CN101489467B (zh) 2006-07-14 2007-07-13 视线方向检测装置和视线方向检测方法
DE602007009990T DE602007009990D1 (de) 2006-07-14 2007-07-13 Sehachsenrichtungs-nachweisvorrichtung und sehlinienrichtungs-nachweisverfahren
US12/373,582 US8406479B2 (en) 2006-07-14 2007-07-13 Visual axis direction detection device and visual line direction detection method
EP07790791A EP2042079B1 (en) 2006-07-14 2007-07-13 Visual axis direction detection device and visual line direction detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006194892 2006-07-14
JP2006-194892 2006-07-14

Publications (1)

Publication Number Publication Date
WO2008007781A1 true WO2008007781A1 (fr) 2008-01-17

Family

ID=38923336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/064011 WO2008007781A1 (fr) 2006-07-14 2007-07-13 Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle

Country Status (6)

Country Link
US (1) US8406479B2 (ja)
EP (1) EP2042079B1 (ja)
JP (1) JP5137833B2 (ja)
CN (1) CN101489467B (ja)
DE (1) DE602007009990D1 (ja)
WO (1) WO2008007781A1 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010035472A1 (ja) * 2008-09-26 2010-04-01 パナソニック株式会社 視線方向判定装置及び視線方向判定方法
CN101547307B (zh) * 2008-03-25 2011-07-06 奥林巴斯映像株式会社 图像处理装置和图像处理方法
WO2011151868A1 (ja) * 2010-06-03 2011-12-08 パナソニック株式会社 瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ
JP2012037934A (ja) * 2010-08-03 2012-02-23 Canon Inc 視線検出装置、視線検出方法及びプログラム
CN101561872B (zh) * 2008-04-16 2012-06-27 奥林巴斯映像株式会社 图像处理装置
JP2012210257A (ja) * 2011-03-30 2012-11-01 Fujitsu Ltd 視線検出装置、視線検出方法および視線検出プログラム
US8405714B2 (en) 2010-06-03 2013-03-26 Panasonic Corporation Pupil hidden state detecting apparatus and vehicle-mounted camera employing the same
JP2015201096A (ja) * 2014-04-09 2015-11-12 富士通株式会社 視線検出装置、視線検出プログラム及び視線検出方法
JP2016042348A (ja) * 2014-08-14 2016-03-31 由田新技股▲ふん▼有限公司 瞳孔位置検出方法、装置およびコンピュータプログラム製品
US9418653B2 (en) 2014-05-20 2016-08-16 Panasonic Intellectual Property Management Co., Ltd. Operation assisting method and operation assisting device
US9489941B2 (en) 2014-05-20 2016-11-08 Panasonic Intellectual Property Management Co., Ltd. Operation assisting method and operation assisting device
JP2017037330A (ja) * 2012-09-19 2017-02-16 株式会社ニコン 視線情報補正装置、視線情報検出装置、眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズ選択装置、眼鏡レンズ選択方法、および眼鏡レンズ
US20170061251A1 (en) * 2015-08-28 2017-03-02 Beijing Kuangshi Technology Co., Ltd. Liveness detection method, liveness detection system, and liveness detection device
US9854967B2 (en) 2014-03-13 2018-01-02 Panasonic Intellectual Property Management Co., Ltd. Gaze detector
CN109145864A (zh) * 2018-09-07 2019-01-04 百度在线网络技术（北京）有限公司 确定视线区域的方法、装置、存储介质和终端设备
JP2019099125A (ja) * 2017-12-05 2019-06-24 株式会社Ｓｏｋｅｎ 信頼度算出装置
JP2019103664A (ja) * 2017-12-13 2019-06-27 オムロン株式会社 状態推定装置とその方法およびプログラム
WO2020065790A1 (ja) 2018-09-26 2020-04-02 日本電気株式会社 推定装置、推定方法、および記憶媒体
JP2020520308A (ja) * 2017-04-21 2020-07-09 深▲せん▼前海達闥雲端智能科技有限公司Ｃｌｏｕｄｍｉｎｄｓ （Ｓｈｅｎｚｈｅｎ） Ｒｏｂｏｔｉｃｓ Ｓｙｓｔｅｍｓ Ｃｏ．， Ｌｔｄ． ロボット制御方法、ロボット装置及びロボット機器
US10740923B2 (en) 2016-12-13 2020-08-11 Fujitsu Limited Face direction estimation device and face direction estimation method for estimating the direction of a face represented on an image
JP7382387B2 (ja) 2018-07-24 2023-11-16 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
WO2024127449A1 (ja) * 2022-12-12 2024-06-20 日本電気株式会社 車両ドア制御装置、方法、及びコンピュータ可読媒体

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US9473766B2 (en) * 2006-12-28 2016-10-18 David Byron Douglas Method and apparatus for three dimensional viewing of images
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US20090196460A1 (en) * 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
WO2009116242A1 (ja) * 2008-03-18 2009-09-24 パナソニック株式会社 運転者監視装置、運転者監視方法及び車両
US20120169596A1 (en) * 2009-09-29 2012-07-05 Zhuang Longpeng Method and apparatus for detecting a fixation point based on face detection and image measurement
US8634701B2 (en) * 2009-12-04 2014-01-21 Lg Electronics Inc. Digital data reproducing apparatus and corresponding method for reproducing content based on user characteristics
CN101815174B (zh) * 2010-01-11 2015-03-04 北京中星微电子有限公司 摄像控制方法及控制装置
JP5529660B2 (ja) * 2010-07-20 2014-06-25 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
JP5466610B2 (ja) * 2010-09-27 2014-04-09 パナソニック株式会社 視線推定装置
US9380285B2 (en) * 2010-12-20 2016-06-28 Samsung Display Co., Ltd. Stereo image processing method, stereo image processing device and display device
US9595127B2 (en) * 2010-12-22 2017-03-14 Zspace, Inc. Three-dimensional collaboration
JP2012160039A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
EP2499963A1 (en) * 2011-03-18 2012-09-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for gaze point mapping
US9582707B2 (en) * 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
TWI470185B (zh) * 2011-06-28 2015-01-21 Wistron Corp 反光偵測裝置、反光偵測方法及電子裝置
FR2980681A3 (fr) * 2011-09-29 2013-04-05 Fittingbox Procede de determination des mesures oculaires et optiques d'interet pour la fabrication et le montage de verre de lunettes correcteurs, a l'aide d'une camera en contexte non controle
EP2755192A4 (en) * 2011-10-06 2015-05-27 Honda Motor Co Ltd VISUALALLY DISTANCE DRIVING DETECTION DEVICE
GB2495324B (en) * 2011-10-07 2018-05-30 Irisguard Inc Security improvements for Iris recognition systems
GB2495323B (en) 2011-10-07 2018-05-30 Irisguard Inc Improvements for iris recognition systems
KR101874494B1 (ko) * 2011-11-25 2018-07-06 삼성전자주식회사 특징점의 삼차원 위치 계산 장치 및 방법
CN103186233B (zh) * 2011-12-31 2016-03-09 上海飞来飞去新媒体展示设计有限公司 眼神定位全景互动控制方法
JP5505434B2 (ja) * 2012-02-09 2014-05-28 株式会社デンソー 脇見判定装置
TWI584222B (zh) * 2012-02-17 2017-05-21 鈺立微電子股份有限公司 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法
WO2013176265A1 (ja) * 2012-05-25 2013-11-28 国立大学法人静岡大学 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法
WO2014010251A1 (en) * 2012-07-13 2014-01-16 Panasonic Corporation Hand and object tracking in three-dimensional space
CN103565399B (zh) * 2012-07-27 2015-09-30 原相科技股份有限公司 瞳孔检测装置
JP5887026B2 (ja) * 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
US9123142B2 (en) 2012-10-02 2015-09-01 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation
US9116926B2 (en) 2012-12-20 2015-08-25 Google Inc. Sharing photos
US9571726B2 (en) * 2012-12-20 2017-02-14 Google Inc. Generating attention information from photos
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
DE102014100352B4 (de) 2013-01-18 2020-07-23 Carnegie Mellon University Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen
US20210103945A1 (en) * 2013-03-13 2021-04-08 Eversight, Inc. Systems and methods for price testing and optimization in brick and mortar retailers
US10991001B2 (en) 2013-03-13 2021-04-27 Eversight, Inc. Systems and methods for intelligent promotion design with promotion scoring
US11270325B2 (en) 2013-03-13 2022-03-08 Eversight, Inc. Systems and methods for collaborative offer generation
US10984441B2 (en) 2013-03-13 2021-04-20 Eversight, Inc. Systems and methods for intelligent promotion design with promotion selection
CN104180995A (zh) * 2013-05-24 2014-12-03 上海汽车集团股份有限公司 一种扫描车辆整车视野的装置以及方法
US20160127657A1 (en) * 2013-06-11 2016-05-05 Sharp Kabushiki Kaisha Imaging system
EP3011737A4 (en) * 2013-06-20 2017-02-22 Thomson Licensing Method and device for detecting an object
US9842423B2 (en) * 2013-07-08 2017-12-12 Qualcomm Incorporated Systems and methods for producing a three-dimensional face model
CN105531998B (zh) 2013-08-19 2017-07-07 诺基亚技术有限公司 用于对象检测和分割的方法、装置及计算机程序产品
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
US9876966B2 (en) 2013-10-18 2018-01-23 Pixart Imaging Inc. System and method for determining image variation tendency and controlling image resolution
CN104580943B (zh) * 2013-10-28 2019-10-18 原相科技股份有限公司 影像感测系统和方法以及眼球追踪系统和方法
KR101470243B1 (ko) * 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
JP6090129B2 (ja) * 2013-11-27 2017-03-08 株式会社デンソー 視認領域推定装置
JP6322986B2 (ja) * 2013-12-09 2018-05-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR102227284B1 (ko) 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102135770B1 (ko) * 2014-02-10 2020-07-20 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
US10017114B2 (en) 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
US9529428B1 (en) * 2014-03-28 2016-12-27 Amazon Technologies, Inc. Using head movement to adjust focus on content of a display
US20150296135A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring
KR102212209B1 (ko) 2014-04-10 2021-02-05 삼성전자주식회사 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
EP4250738A3 (en) * 2014-04-22 2023-10-11 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
US20150312558A1 (en) * 2014-04-29 2015-10-29 Quentin Simon Charles Miller Stereoscopic rendering to eye positions
CN105279764B (zh) * 2014-05-27 2020-09-11 北京三星通信技术研究有限公司 眼睛图像处理设备和方法
KR20150144185A (ko) 2014-06-16 2015-12-24 현대자동차주식회사 안구 중심점 추출 방법
GB2528446B (en) * 2014-07-21 2021-08-04 Tobii Tech Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
WO2016029939A1 (en) * 2014-08-27 2016-03-03 Metaio Gmbh Method and system for determining at least one image feature in at least one image
JP6547268B2 (ja) * 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
DE102015204281A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
US10061383B1 (en) * 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
CN108028018A (zh) * 2015-09-30 2018-05-11 爱信精机株式会社 驾驶辅助装置
US10324297B2 (en) 2015-11-30 2019-06-18 Magna Electronics Inc. Heads up display system for vehicle
US10401621B2 (en) 2016-04-19 2019-09-03 Magna Electronics Inc. Display unit for vehicle head-up display system
US10089543B2 (en) 2016-07-29 2018-10-02 Honda Motor Co., Ltd. System and method for detecting distraction and a downward vertical head pose in a vehicle
US11941659B2 (en) 2017-05-16 2024-03-26 Maplebear Inc. Systems and methods for intelligent promotion design with promotion scoring
CN107315997B (zh) * 2017-05-27 2020-08-28 湖北天业云商网络科技有限公司 一种基于快速特征点定位的视线朝向判断方法及系统
CN107193383B (zh) * 2017-06-13 2020-04-07 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN111066316B (zh) * 2017-09-20 2021-08-24 夏普株式会社 电子设备、存储介质、控制装置以及控制方法
JP6702292B2 (ja) * 2017-11-15 2020-06-03 オムロン株式会社 警報制御装置、方法、およびプログラム
US11068735B2 (en) * 2017-12-05 2021-07-20 Denso Corporation Reliability calculation apparatus
KR102444666B1 (ko) * 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
CN111527374B (zh) * 2018-01-05 2021-10-22 三菱电机株式会社 视线方向校正装置、视线方向校正方法及视线方向校正程序
US10917634B2 (en) 2018-01-17 2021-02-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
JP6950582B2 (ja) * 2018-03-01 2021-10-13 株式会社Ｊｖｃケンウッド 視機能検出装置、視機能検出方法及びプログラム
CN108509029B (zh) * 2018-03-09 2021-07-02 苏州佳世达电通有限公司 非接触式输入方法及非接触式输入系统
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
WO2020028867A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
CN110363133B (zh) * 2019-07-10 2021-06-01 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN110488982B (zh) * 2019-08-26 2023-06-02 业成科技（成都）有限公司 透过眼球追踪电子白板之装置
CN111178278B (zh) * 2019-12-30 2022-04-08 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备
JP2021131441A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 電子機器
US20220261085A1 (en) * 2021-02-12 2022-08-18 Apple Inc. Measurement based on point selection
CN113903078A (zh) * 2021-10-29 2022-01-07 Oppo广东移动通信有限公司 人眼注视检测方法、控制方法及相关设备
CN116824683B (zh) * 2023-02-20 2023-12-12 广州视景医疗软件有限公司 一种基于移动设备的眼动数据采集方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224637A (ja) * 1988-11-16 1990-09-06 A T R Tsushin Syst Kenkyusho:Kk 視線検出方法
JP2003015816A (ja) 2001-06-29 2003-01-17 Honda Motor Co Ltd ステレオカメラを使用した顔・視線認識装置
JP2003070742A (ja) * 2001-08-31 2003-03-11 Japan Science & Technology Corp 視線検出装置及び視線検出方法
JP2004255074A (ja) 2003-02-27 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2006194892A (ja) 2006-01-27 2006-07-27 Denso Corp 指針計器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629752A (en) * 1994-10-28 1997-05-13 Fuji Photo Film Co., Ltd. Method of determining an exposure amount using optical recognition of facial features
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JPH1139469A (ja) * 1997-07-24 1999-02-12 Mitsubishi Electric Corp 顔画像処理装置
SG91841A1 (en) * 1999-11-03 2002-10-15 Kent Ridge Digital Labs Face direction estimation using a single gray-level image
JP4675492B2 (ja) * 2001-03-22 2011-04-20 本田技研工業株式会社 顔画像を使用した個人認証装置
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US7003139B2 (en) * 2002-02-19 2006-02-21 Eastman Kodak Company Method for using facial expression to determine affective information in an imaging system
JP2004259043A (ja) * 2003-02-26 2004-09-16 Toyota Motor Corp 向き方向検出装置および向き方向検出方法
CA2545202C (en) * 2003-11-14 2014-01-14 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
WO2005063114A1 (ja) * 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
JP4500992B2 (ja) * 2004-01-14 2010-07-14 国立大学法人静岡大学 三次元視点計測装置
JP2005313772A (ja) * 2004-04-28 2005-11-10 Toyota Motor Corp 車両用ヘッドアップ・ディスプレイ装置
EP1968006B1 (en) * 2005-12-27 2020-03-25 Panasonic Intellectual Property Corporation of America Image processing apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224637A (ja) * 1988-11-16 1990-09-06 A T R Tsushin Syst Kenkyusho:Kk 視線検出方法
JP2003015816A (ja) 2001-06-29 2003-01-17 Honda Motor Co Ltd ステレオカメラを使用した顔・視線認識装置
JP2003070742A (ja) * 2001-08-31 2003-03-11 Japan Science & Technology Corp 視線検出装置及び視線検出方法
JP2004255074A (ja) 2003-02-27 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2006194892A (ja) 2006-01-27 2006-07-27 Denso Corp 指針計器

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547307B (zh) * 2008-03-25 2011-07-06 奥林巴斯映像株式会社 图像处理装置和图像处理方法
CN101561872B (zh) * 2008-04-16 2012-06-27 奥林巴斯映像株式会社 图像处理装置
US8538044B2 (en) 2008-09-26 2013-09-17 Panasonic Corporation Line-of-sight direction determination device and line-of-sight direction determination method
EP2338416A4 (en) * 2008-09-26 2018-02-14 Panasonic Intellectual Property Corporation of America Line-of-sight direction determination device and line-of-sight direction determination method
WO2010035472A1 (ja) * 2008-09-26 2010-04-01 パナソニック株式会社 視線方向判定装置及び視線方向判定方法
JP5230748B2 (ja) * 2008-09-26 2013-07-10 パナソニック株式会社 視線方向判定装置及び視線方向判定方法
WO2011151868A1 (ja) * 2010-06-03 2011-12-08 パナソニック株式会社 瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ
JP2011253395A (ja) * 2010-06-03 2011-12-15 Panasonic Corp 瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ
US8405714B2 (en) 2010-06-03 2013-03-26 Panasonic Corporation Pupil hidden state detecting apparatus and vehicle-mounted camera employing the same
JP2012037934A (ja) * 2010-08-03 2012-02-23 Canon Inc 視線検出装置、視線検出方法及びプログラム
US8891819B2 (en) 2010-08-03 2014-11-18 Canon Kabushiki Kaisha Line-of-sight detection apparatus and method thereof
JP2012210257A (ja) * 2011-03-30 2012-11-01 Fujitsu Ltd 視線検出装置、視線検出方法および視線検出プログラム
JP2017037330A (ja) * 2012-09-19 2017-02-16 株式会社ニコン 視線情報補正装置、視線情報検出装置、眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズ選択装置、眼鏡レンズ選択方法、および眼鏡レンズ
US9854967B2 (en) 2014-03-13 2018-01-02 Panasonic Intellectual Property Management Co., Ltd. Gaze detector
JP2015201096A (ja) * 2014-04-09 2015-11-12 富士通株式会社 視線検出装置、視線検出プログラム及び視線検出方法
US9418653B2 (en) 2014-05-20 2016-08-16 Panasonic Intellectual Property Management Co., Ltd. Operation assisting method and operation assisting device
US9489941B2 (en) 2014-05-20 2016-11-08 Panasonic Intellectual Property Management Co., Ltd. Operation assisting method and operation assisting device
JP2016042348A (ja) * 2014-08-14 2016-03-31 由田新技股▲ふん▼有限公司 瞳孔位置検出方法、装置およびコンピュータプログラム製品
US9723979B2 (en) 2014-08-14 2017-08-08 Utechzone Co., Ltd. Method, apparatus and computer program product for positioning pupil
US20170061251A1 (en) * 2015-08-28 2017-03-02 Beijing Kuangshi Technology Co., Ltd. Liveness detection method, liveness detection system, and liveness detection device
US10740923B2 (en) 2016-12-13 2020-08-11 Fujitsu Limited Face direction estimation device and face direction estimation method for estimating the direction of a face represented on an image
JP2020520308A (ja) * 2017-04-21 2020-07-09 深▲せん▼前海達闥雲端智能科技有限公司Ｃｌｏｕｄｍｉｎｄｓ （Ｓｈｅｎｚｈｅｎ） Ｒｏｂｏｔｉｃｓ Ｓｙｓｔｅｍｓ Ｃｏ．， Ｌｔｄ． ロボット制御方法、ロボット装置及びロボット機器
US11325255B2 (en) 2017-04-21 2022-05-10 Cloudminds Robotics Co., Ltd. Method for controlling robot and robot device
JP2019099125A (ja) * 2017-12-05 2019-06-24 株式会社Ｓｏｋｅｎ 信頼度算出装置
JP7040995B2 (ja) 2017-12-05 2022-03-23 株式会社Soken 信頼度算出装置
JP2019103664A (ja) * 2017-12-13 2019-06-27 オムロン株式会社 状態推定装置とその方法およびプログラム
JP7382387B2 (ja) 2018-07-24 2023-11-16 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP7415077B2 (ja) 2018-07-24 2024-01-16 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP2023174791A (ja) * 2018-07-24 2023-12-08 マジック リープ， インコーポレイテッド ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
CN109145864A (zh) * 2018-09-07 2019-01-04 百度在线网络技术（北京）有限公司 确定视线区域的方法、装置、存储介质和终端设备
JPWO2020065790A1 (ja) * 2018-09-26 2021-09-24 日本電気株式会社 推定装置、推定方法、およびプログラム
JP7107380B2 (ja) 2018-09-26 2022-07-27 日本電気株式会社 推定装置、推定方法、およびプログラム
WO2020065790A1 (ja) 2018-09-26 2020-04-02 日本電気株式会社 推定装置、推定方法、および記憶媒体
WO2024127449A1 (ja) * 2022-12-12 2024-06-20 日本電気株式会社 車両ドア制御装置、方法、及びコンピュータ可読媒体

Also Published As

Publication number Publication date
EP2042079A4 (en) 2010-01-20
JPWO2008007781A1 (ja) 2009-12-10
EP2042079A1 (en) 2009-04-01
US8406479B2 (en) 2013-03-26
CN101489467A (zh) 2009-07-22
CN101489467B (zh) 2011-05-04
DE602007009990D1 (de) 2010-12-02
US20090304232A1 (en) 2009-12-10
JP5137833B2 (ja) 2013-02-06
EP2042079B1 (en) 2010-10-20

Similar Documents

Publication Publication Date Title
JP5137833B2 (ja) 視線方向検出装置および視線方向検出方法
EP2338416B1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
EP3413234B1 (en) Gaze-tracking device, gaze-tracking method, program, and computer-readable medium
CN108958473B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
WO2018030515A1 (ja) 視線検出装置
EP3339943A1 (en) Method and system for obtaining optometric parameters for fitting eyeglasses
EP3651457B1 (en) Pupillary distance measurement method, wearable eye equipment and storage medium
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
CN112102389A (zh) 确定实物至少一部分的3d重构件的空间坐标的方法和系统
WO2019153927A1 (zh) 屏幕显示方法、具有显示屏幕的装置、设备及存储介质
CN114391117A (zh) 眼睛跟踪延迟增强
JP2017194301A (ja) 顔形状測定装置及び方法
JP4682372B2 (ja) 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム
JP6572841B2 (ja) 情報処理装置及びプログラム
TW201533609A (zh) 以輔助燈光相對位置為基礎之瞳孔定位方法、其系統以及其電腦程式產品
KR100686517B1 (ko) 동공 모양 모델링 방법
CN112528714B (zh) 基于单光源的注视点估计方法、系统、处理器及设备
CN115997159B (zh) 使用移动设备确定眼睛旋转中心的位置的方法
EP4185184A1 (en) Method for determining a coronal position of an eye relative to the head
WO2023203530A1 (en) Interpupillary distance estimation method
CN114761999A (zh) 图像处理方法、图像处理装置以及图像处理程序
WO2023152373A1 (en) Method for head image recording and corresponding mobile device
JP2018106288A (ja) 撮像状態検出装置、撮像状態検出方法、プログラム、および非一時的記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780026532.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07790791

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008524862

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12373582

Country of ref document: US

Ref document number: 2007790791

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU