WO2021095278A1 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置、及び画像処理プログラム Download PDF

Info

Publication number
WO2021095278A1
WO2021095278A1 PCT/JP2020/004555 JP2020004555W WO2021095278A1 WO 2021095278 A1 WO2021095278 A1 WO 2021095278A1 JP 2020004555 W JP2020004555 W JP 2020004555W WO 2021095278 A1 WO2021095278 A1 WO 2021095278A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
line
face
sight
image processing
Prior art date
Application number
PCT/JP2020/004555
Other languages
English (en)
French (fr)
Inventor
寿和 大野
Original Assignee
株式会社スワローインキュベート
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社スワローインキュベート, パナソニック株式会社 filed Critical 株式会社スワローインキュベート
Priority to CN202080078610.7A priority Critical patent/CN114761999A/zh
Publication of WO2021095278A1 publication Critical patent/WO2021095278A1/ja
Priority to US17/741,623 priority patent/US20220270407A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present disclosure relates to a technique for detecting line-of-sight information by image processing.
  • the line-of-sight detection technology is used for various purposes such as estimating a person's interest target, estimating a person's state such as drowsiness, and a user interface for inputting to a device by the line of sight. Since the line-of-sight direction differs depending on the direction of the user's face, the direction of the face is taken into consideration in order to accurately detect the line-of-sight direction.
  • Patent Document 1 the correlation between the position of the pupil and the direction of the face with respect to the contour of the human eye and the direction of the line of sight is learned, and the position of the pupil and the direction of the face of the detection target person are applied to the correlation.
  • a technique is disclosed in which the pupil direction of the detection target person is estimated and the line-of-sight direction of the detection target person is calculated based on the estimated pupil direction and the face orientation of the detection target person.
  • Patent Document 2 discloses a technique in which the direction of the face is regarded as the line-of-sight direction.
  • An object of the present disclosure is to provide an image processing technique capable of further improving the detection accuracy in the line-of-sight direction.
  • the image processing method is an image processing method in an image processing device, which acquires image data captured by the imaging device and detects the position of a feature point on a person's face from the image data. Then, from the image data, the central position of the pupil of the person's eyes is detected, the horizontal component and the vertical component of the face orientation are detected based on the position of the feature point, and the horizontal component of the face orientation is detected. And, based on the distance between the center position of the pupil and the position of the feature point, the horizontal component in the line-of-sight direction of the person with respect to the optical axis of the imaging device is estimated, and at least based on the vertical component of the face orientation. The vertical component in the line-of-sight direction is estimated, and the line-of-sight information including the horizontal component and the vertical component in the line-of-sight direction is output.
  • FIG. 1 It is a figure which shows an example of the whole structure of the image processing system which concerns on Embodiment 1 of this disclosure. It is a block diagram which shows an example of the detailed structure of the image processing system which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the detailed structure of the face orientation detection part. It is a flowchart which shows an example of the operation of the image processing apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the face area. It is a figure which shows the feature point of the face set with respect to the face area. It is a figure which shows the eye area. It is a figure which shows the binarized eye area. It is explanatory drawing of the process which detects the horizontal component of a face orientation.
  • the line-of-sight direction is composed of three-dimensional vectors. Therefore, when detecting the line-of-sight direction with respect to the optical axis, it is not enough to simply use the direction of the face with respect to the optical axis of the camera and the direction of the line of sight with respect to the direction of the face. Is required.
  • the line-of-sight direction in the left-right direction is obtained from the sum of the face direction in the left-right direction and the pupil direction in the left-right direction
  • the line-of-sight direction in the vertical direction is obtained from the sum of the face direction in the vertical direction and the pupil direction in the vertical direction. It is sought (paragraph [0073]).
  • Patent Document 1 the face orientation of the detection target person and the pupil position of the detection target person are applied to the correlation learned from the position of the pupil with respect to the contour of the human eye and the direction of the face and the direction of the line of sight. It is only disclosed that the pupil direction is calculated in. Therefore, Patent Document 1 does not specifically disclose the calculation by distinguishing between the pupil direction in the left-right direction and the pupil direction in the up-down direction. Furthermore, there is no specific disclosure for calculating the face orientation in the left-right direction and the face orientation in the up-down direction separately. Therefore, Patent Document 1 does not consider that the parameters that contribute to the calculation of the horizontal component and the vertical component in the line-of-sight direction are different. Further, in Patent Document 1, it is also required to learn the correlation in advance, which is troublesome.
  • Patent Document 2 since the direction of the face is regarded as the line-of-sight direction, it is not considered at all that the parameters that contribute to the calculation of the horizontal component and the vertical component in the line-of-sight direction are different.
  • Patent Documents 1 and 2 are insufficient to accurately detect the line-of-sight direction.
  • the present inventor has obtained the finding that the parameters that contribute to the calculation of the horizontal component and the vertical component in the line-of-sight direction are different, and has come up with the following aspects.
  • the image processing method is an image processing method in an image processing device, which acquires image data captured by the imaging device and detects the position of a feature point on a person's face from the image data. Then, from the image data, the central position of the pupil of the person's eyes is detected, the horizontal component and the vertical component of the face orientation are detected based on the position of the feature point, and the horizontal component of the face orientation is detected. And, based on the distance between the center position of the pupil and the position of the feature point, the horizontal component in the line-of-sight direction of the person with respect to the optical axis of the imaging device is estimated, and at least based on the vertical component of the face orientation. The vertical component in the line-of-sight direction is estimated, and the line-of-sight information including the horizontal component and the vertical component in the line-of-sight direction is output.
  • the horizontal component in the line-of-sight direction with respect to the optical axis of the image pickup device is estimated based on the horizontal component in the direction of the face, the center position of the pupil, and the distance between the feature points of the face.
  • the vertical component of the line-of-sight direction with respect to the optical axis is estimated based on at least the vertical component of the face orientation.
  • the horizontal component and the vertical component in the line-of-sight direction with respect to the optical axis are estimated using different parameters. Therefore, this configuration can further improve the detection accuracy in the line-of-sight direction. Further, in this configuration, it is not necessary to learn the correlation as described above in advance. Therefore, this configuration can detect the line-of-sight direction with high accuracy with a small number of processing steps.
  • the feature points may include the outer and inner corners of the eyes of the person.
  • the ratio of the first distance between the center position of the pupil and the position of the inner corner of the eye and the second distance between the center position of the pupil and the position of the outer corner of the eye in the estimation of the horizontal component in the line-of-sight direction, the ratio of the first distance between the center position of the pupil and the position of the inner corner of the eye and the second distance between the center position of the pupil and the position of the outer corner of the eye.
  • the horizontal component in the pupil direction which is the direction of the pupil with respect to the direction of the face, is estimated, and the horizontal component in the direction of the line of sight is obtained by synthesizing the horizontal component in the direction of the face and the horizontal component in the pupil direction. You may estimate.
  • the horizontal component in the pupil direction is estimated based on the ratio of the first distance between the center position of the pupil and the position of the inner corner of the eye and the second distance between the center position of the pupil and the position of the outer corner of the eye, and the horizontal component in the pupil direction is estimated.
  • the horizontal component in the direction of the face and the horizontal component in the direction of the face are combined, and the horizontal component in the line-of-sight direction is estimated.
  • the estimation accuracy of the horizontal component in the line-of-sight direction is improved, and the detection accuracy in the line-of-sight direction can be further improved.
  • the feature point may include the center position of the face.
  • the direction of the pupil with respect to the direction of the face is based on the deviation between the center position of the left and right pupils of the person and the center position of the face.
  • the horizontal component in the pupil direction may be estimated, and the horizontal component in the line-of-sight direction may be estimated by synthesizing the horizontal component in the pupil direction and the horizontal component in the face direction.
  • the horizontal component in the pupil direction is estimated based on the deviation between the center position of the left and right pupils of the person and the center position of the face, and the horizontal component in the pupil direction and the horizontal component in the face direction are estimated. And are combined, and the horizontal component in the line-of-sight direction is estimated. As a result, the estimation accuracy of the horizontal component in the line-of-sight direction is improved, and the detection accuracy in the line-of-sight direction can be further improved.
  • a third distance between the center position of the pupil and the upper eyelid of the person and a fourth distance between the center position of the pupil and the lower eyelid of the person are further determined. And may be used to estimate the vertical component in the line-of-sight direction.
  • the vertical component in the line-of-sight direction is estimated using the center position of the pupil and the third distance between the upper eyelids of the person and the center position of the pupil and the fourth distance between the lower eyelids of the person. Therefore, the vertical component in the line-of-sight direction can be estimated more accurately.
  • the vertical component in the pupil direction which is the direction of the pupil with respect to the direction of the face, is estimated based on the ratio of the third distance to the fourth distance.
  • the vertical component in the line-of-sight direction may be estimated by synthesizing the vertical component in the pupil direction and the vertical component in the face direction.
  • the vertical component in the pupil direction is estimated based on the ratio of the third distance to the fourth distance, the vertical component in the pupil direction and the vertical component in the face direction are combined, and the line-of-sight direction is vertical.
  • the components are estimated.
  • the estimation accuracy of the vertical component in the line-of-sight direction is improved, and the detection accuracy in the line-of-sight direction can be further improved.
  • the feature point includes at least one of the eyebrows and the corner of the mouth
  • the degree of interest of the person may be estimated based on the line-of-sight information and at least one of the position of the eyebrows and the position of the corner of the mouth. Good.
  • the degree of interest can be estimated with higher accuracy than the case where the degree of interest is estimated based only on the line-of-sight information.
  • the facial expression of the person is estimated based on at least one of the position of the eyebrows and the position of the corner of the mouth, and the person's interest is based on the line-of-sight information and the information indicating the estimated facial expression.
  • the degree may be estimated.
  • the degree of interest is estimated using the information indicating the facial expression of the person estimated based on at least one of the position of the eyebrows and the position of the corner of the mouth and the line-of-sight information, the degree of interest of the person is further increased. It can be estimated with high accuracy.
  • the line-of-sight information may include information indicating a gaze surface, which is a region of a predetermined range based on the gaze point of the person on a predetermined target surface.
  • the gaze object can be appropriately determined without depending on the distance between the person and the gaze object or the size of the gaze object.
  • the image data is taken by a visible light camera, and the center position of the pupil may be the center position of the iris.
  • the center position of the iris is the center position of the pupil, the center position of the pupil can be detected accurately when a visible light camera is used.
  • the image data is taken by an infrared light camera, and the center position of the pupil may be the center position of the pupil.
  • the center position of the pupil is the center position of the pupil, the center position of the pupil can be detected accurately when an infrared camera is used.
  • the image data is image data taken by an infrared light camera using infrared light in a predetermined second wavelength band in which the spectral intensity of sunlight is attenuated from the predetermined first wavelength. There may be.
  • the line-of-sight direction can be detected accurately even outdoors where the spectral intensity of sunlight is strong.
  • the present disclosure can also be realized as an image processing program that causes a computer to execute each characteristic configuration included in such an image processing method, or as an image processing device that operates by this image processing program.
  • a computer program can be distributed via a computer-readable non-temporary recording medium such as a CD-ROM or a communication network such as the Internet.
  • FIG. 1 is a diagram showing an example of the overall configuration of the image processing system 1 according to the first embodiment of the present disclosure.
  • the image processing system 1 is a system that photographs a person 400 and detects line-of-sight information indicating the line-of-sight of the person 400 from the obtained image data of the person 400.
  • the image processing system 1 specifies which object 301 the person 400 is gazing at among the plurality of objects 301 displayed on the display device 300.
  • the image processing system 1 may specify not only the object 301 displayed on the display screen of the display device 300 but also the object 301 that the person 400 gazes at in the real space.
  • the image processing system 1 is applied to a digital signage system. Therefore, the object 301 displayed on the display device 300 becomes an image of signage such as an advertisement.
  • the image processing system 1 includes an image processing device 100, a camera 200 (an example of a photographing device), and a display device 300.
  • the image processing device 100 is connected to the camera 200 and the display device 300 via a predetermined communication path.
  • the predetermined communication path is, for example, a wired communication path such as a wired LAN, or a wireless communication path such as a wireless LAN and Bluetooth (registered trademark).
  • the image processing device 100 is composed of, for example, a computer installed around the display device 300. However, this is an example, and the image processing device 100 may be configured by a cloud server. In this case, the image processing device 100 is connected to the camera 200 and the display device 300 via the Internet.
  • the image processing device 100 detects the line-of-sight information of the person 400 from the image data of the person 400 captured by the camera 200 and outputs the information to the display device 300.
  • the image processing device 100 may be incorporated as hardware in the camera 200 or the display device 300.
  • the camera 200 or the display device 300 may include a processor, and the image processing device 100 may be incorporated as software.
  • the camera 200 acquires image data of a person 400 located around the display device 300, for example, by photographing the environment around the display device 300 at a predetermined frame rate.
  • the camera 200 sequentially outputs the acquired image data to the image processing device 100 at a predetermined frame rate.
  • the camera 200 may be a visible light camera or an infrared light camera.
  • the display device 300 is composed of a display device such as a liquid crystal panel or an organic EL panel.
  • the display device 300 is a signage display.
  • the image processing system 1 has been described as including the display device 300, but this is an example, and another device may be adopted instead of the display device 300.
  • the image processing system 1 may be replaced with, for example, the display device 300 by a home appliance such as a refrigerator, a television, and a washing machine. It may be adopted.
  • a vehicle such as an automobile may be adopted instead of the display device 300.
  • a storage device such as a hard disk drive or a solid state drive may be adopted instead of the display device 300.
  • FIG. 2 is a block diagram showing an example of a detailed configuration of the image processing system 1 according to the first embodiment.
  • the image processing device 100 includes a processor 110.
  • the processor 110 is an electric circuit such as a CPU and an FPGA.
  • the processor 110 includes an image acquisition unit 111 (an example of an acquisition unit), a feature point detection unit 112, a pupil detection unit 113, a face orientation detection unit 114, a vertical line-of-sight estimation unit 116, a horizontal line-of-sight estimation unit 115, and an output unit 117. ..
  • Each block included in the processor 110 may be realized by the processor 110 executing an image processing program that causes the computer to function as an image processing device, or may be configured by a dedicated electric circuit.
  • the description of each block described below is an outline of the processing of each block, and the details of the processing of each block will be described with reference to the flowchart described later.
  • the image acquisition unit 111 acquires the image data captured by the camera 200.
  • the acquired image data includes the faces of the person 400 around the display device 300.
  • the image data acquired by the image acquisition unit 111 may be, for example, image data posted on a website or image data stored by an external storage device.
  • the feature point detection unit 112 detects the position of the feature point on the face of the person 400 from the image data acquired by the image acquisition unit 111.
  • the facial feature points are one or more points at characteristic positions in each of the plurality of parts constituting the face such as the outer corners of the eyes, the inner corners of the eyes, the contours of the face, the nose muscles, the corners of the mouth, and the eyebrows. Characteristic points are also called landmarks.
  • the feature point detection unit 112 may detect the feature points of the face by, for example, executing a landmark detection process using a model file of a machine learning framework.
  • the pupil detection unit 113 detects the center positions of the pupils of the left eye and the right eye of the person 400 from the image data acquired by the image acquisition unit 111.
  • the pupil refers to a colored portion including the pupil 55 and a donut-shaped iris 56 surrounding the pupil 55, as shown in FIG.
  • the pupil detection unit 113 detects the outer edge of the pupil by applying the pupil outer edge detection process described later to the image data, and detects the center of the outer edge of the pupil as the center position of the pupil.
  • the camera 200 is a visible light camera, it is difficult for the pupil outer edge detection process to detect the outer edge of the pupil, but it is possible to detect the outer edge of the iris. Therefore, when the camera 200 is a visible light camera, the center position of the pupil is the center position of the outer edge of the iris.
  • the pupil outer edge detection process can detect the pupil outer edge. Therefore, when the camera 200 is an infrared light camera, the center position of the pupil is the center position of the outer edge of the pupil.
  • the face orientation detection unit 114 detects the horizontal component and the vertical component of the face orientation with respect to the optical axis of the camera 200 based on the position of the feature point detected by the feature point detection unit 112.
  • the horizontal component of the face orientation is an index showing how much the face orientation is oriented to the left or right side in the horizontal direction with respect to the optical axis.
  • the vertical component of the face orientation is an index indicating how much the face orientation is oriented upward or downward in the vertical direction with respect to the optical axis.
  • the horizontal direction is, for example, a direction parallel to the ground and corresponds to the X-axis of the image data captured by the camera 200.
  • the vertical direction is, for example, a direction orthogonal to the ground and corresponds to the Y axis of image data captured by the camera 200.
  • FIG. 3 is a block diagram showing a detailed configuration of the face orientation detection unit 114.
  • the face orientation detection unit 114 includes a horizontal face orientation detection unit 1141 and a vertical face orientation detection unit 1142.
  • the horizontal face orientation detection unit 1141 detects the horizontal component of the face orientation.
  • the vertical face orientation detection unit 1142 detects the vertical component of the face orientation.
  • the horizontal line-of-sight estimation unit 115 includes the horizontal component of the face orientation detected by the face orientation detection unit 114, the center position of the pupil detected by the pupil detection unit 113, and the position of the feature point detected by the feature point detection unit 112. Based on the distance between them, the horizontal component in the line-of-sight direction of the person 400 with respect to the optical axis is estimated.
  • the feature points include the outer and inner corners of the left and right eyes, respectively.
  • the processing of the horizontal line-of-sight estimation unit 115 using the outer and inner corners of the eyes is as follows.
  • the horizontal line-of-sight estimation unit 115 calculates the first distance between the center position of the pupil and the position of the inner corner of the eye.
  • the horizontal line-of-sight estimation unit 115 that has calculated the first distance calculates the second distance between the center position of the pupil and the position of the outer corner of the eye.
  • the horizontal line-of-sight estimation unit 115 that has calculated the second distance estimates the horizontal component in the pupil direction, which is the direction of the pupil with respect to the direction of the face, based on the ratio of the first distance to the second distance.
  • the horizontal line-of-sight estimation unit 115 synthesizes the estimated horizontal component in the pupil direction and the horizontal component in the face direction, and estimates the horizontal component in the line-of-sight direction. This estimation process using the outer and inner corners of the eyes is applied to the left eye and the right eye, respectively.
  • the feature point may include the center position of the face.
  • the processing of the horizontal line-of-sight estimation unit 115 using the center position of the face is as follows.
  • the horizontal line-of-sight estimation unit 115 detects the midpoint between the center positions of the left and right pupils from the center positions of the left and right pupils of the person 400.
  • the horizontal line-of-sight estimation unit 115 that has detected this midpoint detects the deviation between the center position of the face and the midpoint.
  • the horizontal line-of-sight estimation unit 115 that detects this deviation estimates the horizontal component in the pupil direction based on this deviation.
  • the horizontal line-of-sight estimation unit 115 may estimate the horizontal component in the line-of-sight direction in the same manner as when the outer and inner corners of the eyes are used. This estimation process using the center position of the face is applied to each of the left eye and the right eye.
  • the vertical line-of-sight estimation unit 116 estimates the vertical component of the line-of-sight direction of the person 400 with respect to the optical axis based on the vertical component of the face orientation detected by the face orientation detection unit 114. In the present embodiment, the vertical line-of-sight estimation unit 116 estimates the vertical component of the face orientation as the vertical component of the line-of-sight direction.
  • the output unit 117 generates line-of-sight information including the horizontal component in the line-of-sight direction estimated by the horizontal line-of-sight estimation unit 115 and the vertical component in the line-of-sight direction estimated by the vertical line-of-sight estimation unit 116, and outputs the line-of-sight information to the display device 300. ..
  • the output unit 117 may calculate the gazing point on the display surface (target surface) of the display device 300 based on the line-of-sight direction, and include this gazing point in the line-of-sight information.
  • the output unit 117 that calculates the gaze point acquires the information of the object 301 displayed on the display device 300, and identifies the object 301 (gaze object) that the person 400 gazes at from the acquired information and the coordinate data of the gaze point. Then, the specific result may be output to the display device 300.
  • the display device 300 displays, for example, a marker indicating line-of-sight information output from the output unit 117.
  • the display device 300 may display a marker indicating the gaze object.
  • the home appliances accept the input of the person 400 from the line-of-sight information.
  • the image processing system 1 is composed of a storage device instead of the display device 300, the storage device stores the line-of-sight information. In this case, the storage device may store the line-of-sight information in association with a time stamp.
  • FIG. 4 is a flowchart showing an example of the operation of the image processing device 100 according to the first embodiment.
  • the image acquisition unit 111 acquires image data from the camera 200.
  • the feature point detection unit 112 detects the face region from the image data by inputting the image data into the classifier for detecting the face region.
  • This classifier is, for example, a Haar-shaped cascade classifier created in advance for detecting a face region in an open source image processing library.
  • the face area is, for example, a rectangular area having a size that includes the entire face. However, this is an example, and the shape of the face region may be, for example, a triangle, a pentagon, a hexagon, or an octagon other than a rectangle.
  • the feature point detection unit 112 may detect the face region by pattern matching.
  • FIG. 5 is a diagram showing the face area 40.
  • the feature point detection unit 112 detects a rectangular region including the upper part of the forehead, the lower part of the chin, and the hairline of the ear as the face area 40.
  • the face area 40 does not include the entire hair, but may be an area including the entire hair.
  • the image data is image data obtained by photographing the person 400 from the front
  • the left eye and the right eye are included.
  • the right eye refers to the eye on the right side when the person 400 is viewed from the front
  • the left eye refers to the eye on the left side when the person 400 is viewed from the front.
  • the eye on the right side when viewed from the person 400 may be the right eye
  • the eye on the left side when viewed from the person 400 may be the left eye
  • the right side direction of the paper surface is the right side
  • the left side direction of the paper surface is the left side
  • step S3 the above-mentioned landmark detection process is applied to the face area 40 detected in step S2 to detect the feature points of the face.
  • FIG. 6 is a diagram showing facial feature points 9X set for the face area 40.
  • a plurality of feature points 9X are detected from the face area 40 by applying the landmark detection process to the face area 40.
  • the feature points 9X required for detecting the line-of-sight information are shown.
  • 5 feature points 9X located on the nose muscle for example 2 feature points 9X located on the lower side of the nose, and for example 17 feature points 9X located on the contour of the face. And have been detected. Further, in the example of FIG.
  • two feature points 9X located at the left and right inner corners 92 and two feature points 9X located at the left and right outer corners 93 are detected.
  • Each of the feature points 9X is given a landmark point number, and which part of the face the feature point of which landmark point number indicates is predetermined.
  • the feature point 9X having the landmark point number "2" indicates the left outer corner 93
  • the feature point having the landmark point number "0" indicates the left inner corner 92
  • Landmark point numbers are set. Therefore, the feature point detection unit 112 can identify which part of the face the feature point 9X indicates from the landmark point number.
  • the pupil detection unit 113 inputs the face region 40 detected in step S2 into the classifier for detecting the eye region, and detects the eye region.
  • This classifier is, for example, a Haar-shaped cascade classifier created in advance for detecting an eye detection region in an open source image processing library.
  • the eye area is a rectangular area having a size obtained by adding a predetermined margin to the size of the eyes. However, this is an example, and the shape of the eye region may be other than a rectangle, for example, a triangle, a pentagon, a hexagon, or an octagon.
  • the pupil detection unit 113 sets the two eye regions 50 corresponding to each of the two eyes.
  • the pupil detection unit 113 may set the eye region 50 by pattern matching.
  • the eye refers to an area including a white eye and a colored portion such as a black eye, which is surrounded by the boundary 53 of the upper eyelid and the boundary 54 of the lower eyelid as shown in FIG.
  • FIG. 7 is a diagram showing an eye region 50.
  • the eye area 50 is a rectangular area including the entire area of the eyes and having a slight margin added to the size of the eyes.
  • the position where the boundary of the eye region 50 is set with respect to the eye depends on the performance of the classifier. Therefore, the size of the eye region 50 differs depending on the performance of the classifier.
  • the upper boundary of the eye region 50 may extend to the vicinity of the eyebrows of the upper eyelid.
  • the nasal boundary of the eye region 50 may extend to the vicinity of the nose, and the ear-side boundary of the eye region 50 may extend to the vicinity of the temple.
  • the pupil detection unit 113 sets two eye regions 50 corresponding to the right eye and the left eye, respectively.
  • step S5 the pupil detection unit 113 detects the center position of the pupil from the eye region 50 detected in step S4.
  • the pupil detection unit 113 binarizes the eye region 50.
  • FIG. 8 is a diagram showing a binarized eye region 50.
  • a method called binarization of Otsu is adopted.
  • the portion where the brightness is lower than the threshold value is represented by white, and the portion where the brightness is equal to or higher than the threshold value is represented by black.
  • the pupil detection unit 113 performs a labeling process of assigning a labeling number to the white islands appearing in the binarized eye region 50.
  • the left side of the upper eyelashes is regarded as one island 61, and the island 61 is given a labeling number of “1”.
  • the right side of the upper eyelashes is regarded as one island 62, and the island 62 is given a labeling number of "2”.
  • the pupil is considered to be one island 63, and the island 63 is given a labeling number of "3”.
  • the lower eyelashes are regarded as one island 64, and the island 64 is given a labeling number of "4".
  • the pupil detection unit 113 determines whether or not the predetermined determination conditions are satisfied for each of the labeled islands 61 to 64, and determines the islands that satisfy the determination conditions as pupils.
  • the determination condition a condition of not less than a predetermined minimum pupil area and not more than a predetermined maximum pupil area can be adopted.
  • the minimum pupil area is the minimum area of the pupil assumed in the image data
  • the maximum pupil area is the maximum area of the pupil assumed in the image data.
  • the pupil detection unit 113 may determine, for example, the island having the largest area as a pupil.
  • the island 63 is determined to be the pupil.
  • the pupil detection unit 113 detects the center of the pupil.
  • the center of gravity of the pupil island 63 is detected as the center of the pupil.
  • the image shown in FIG. 8 is an image taken by an infrared light camera.
  • a large change in brightness appears between the pupil and the iris. Therefore, in the example of FIG. 8, the island 63 of the pupil is detected by binarization.
  • a large change in brightness does not appear between the pupil and the iris, but a large change in brightness appears at the boundary between the iris and the white eye.
  • the pupil detection unit 113 detects the pupil from the binarized eye region 50.
  • the pupil detection unit 113 detects the iris from the binarized eye region 50, for example, when the camera 200 is a visible light camera.
  • the pupil detection unit 113 may adopt the condition that the predetermined iris minimum area or more and the predetermined iris maximum area or less are used as the determination conditions.
  • the minimum area of the iris and the maximum area of the iris here do not refer to the area of the iris itself, which is in the shape of a donut, but to the area including the pupil in the iris, that is, the maximum area and the minimum area of the pupil.
  • the pupil detection unit 113 may detect the center of the iris. As the center of the iris, for example, the center of gravity of the island showing the iris can be adopted.
  • the pupil detection unit 113 executes a pupil outer edge detection process for detecting the outer edge of the pupil.
  • a pupil outer edge detection process John G. et al.
  • the pupil outer edge detection process using a part of the method proposed by Daugman (hereinafter referred to as "Dogman algorithm") may be adopted.
  • the Dougman algorithm is disclosed in the literature of "High Confidence Visual Recognition of Persons by a Test of Statistical Independence: John G. Daugman (1993)".
  • the pupil detection unit 113 sets a circle having a predetermined minimum pupil radius with the center of the pupil detected from the binarized eye region 50 as the center of the circle.
  • the pupil detection unit 113 obtains the total value of the brightness on the circumference of the set circle by the line integral.
  • the pupil detection unit 113 obtains the total luminance value by performing a line integral on a circle in which the radius of the circle set immediately before is expanded by one pixel in the radial direction.
  • the pupil detection unit 113 repeatedly executes this process up to a predetermined maximum pupil radius.
  • the pupil detection unit 113 partially differentiates this function with respect to the radius to obtain the maximum amount of change in the total luminance between adjacent radii, and the pupil is the circle of the radius at the position where this maximum amount of change is detected. Detect as outer edge.
  • the pupil detection unit 113 determines the center of the outer edge of the pupil as the center position of the pupil. This completes the process of step S5.
  • the pupil detection unit 113 detects the outer edge of the iris by applying the pupil outer edge detection process to the binarized eye region 50. Therefore, when the image data is image data taken by a visible light camera, the center position of the pupil finally obtained in step S5 is the center position of the outer edge of the iris.
  • a Huff circle detection process has been widely used as a pupil outer edge detection process.
  • the pupil of the person 400 included in the image data is not only a perfect circle but also distorted.
  • the person 400 included in the image data has a fine case and a case where the face is turned sideways. In these cases, the pupil is no longer a perfect circle, so the huff circle detection process may not be able to accurately detect the outer edge of the pupil.
  • the pupil outer edge detection process using a part of the Dougman algorithm is adopted.
  • the robustness to the pupil outer edge detection process is enhanced in various cases such as a case where the pupil is deformed from a perfect circle to a distorted case, a fine case, and a case where the face is oriented sideways. ing.
  • step S6 the horizontal face orientation detection unit 1141 detects the horizontal component of the face orientation based on the facial feature points detected in step S3. Further, in step S6, the vertical face orientation detection unit 1142 detects the vertical component of the face orientation based on the feature points of the face detected in step S3.
  • FIG. 9 is an explanatory diagram of a process for detecting a horizontal component of face orientation.
  • the left figure of FIG. 9 shows a state in which the face is facing to the left.
  • the right figure of FIG. 9 shows a state in which the face is facing to the right.
  • the horizontal face orientation detection unit 1141 sets the vertical center line 131 in the vertical direction and the horizontal center line 132 in the horizontal direction from the feature point 9X of the face set in the face area 40.
  • the horizontal face orientation detection unit 1141 may set a straight line passing through the feature point 133 indicating the center of the nose muscle and parallel to the vertical side of the face region 40 as the vertical center line 131.
  • the feature point 133 is, for example, the third feature point 9X from the top among the five feature points 9X indicating the nose muscles.
  • the horizontal face orientation detection unit 1141 may set, for example, a straight line passing through the feature point 133 and parallel to the horizontal side of the face region 40 as the horizontal center line 132.
  • the vertical center line 131 and the horizontal center line 132 have been described as passing through the feature point 133 at the center of the nose muscle, but may be set to pass through the feature point 134 at the lower end of the nose muscle, or the feature point at the upper end of the nose muscle. It may be set to pass through 135.
  • the horizontal face orientation detection unit 1141 divides the horizontal center line 132 at the feature point 133, and obtains the lengths of the right section K1 and the left section K2.
  • the horizontal face orientation detection unit 1141 obtains the ratio of the right section K1 and the left section K2 when the length of the horizontal center line 132 is 100%, and determines the horizontal component of the face orientation based on this ratio.
  • the ratio of the right section K1 is ⁇ 1
  • the ratio of the left section K2 is ⁇ 2
  • the right side is positive.
  • the horizontal face orientation detection unit 1141 determines that the face is facing to the left if the ratio ⁇ 2 is smaller than the ratio ⁇ 1 as shown in the left figure of FIG. As shown in the right figure of FIG.
  • the horizontal face orientation detection unit 1141 determines that the face is facing to the right. If the ratio ⁇ 2 is substantially equal to the ratio ⁇ 1, the horizontal face orientation detection unit 1141 determines that the face is facing the front. Approximately equal means that a slight difference between the ratio ⁇ 2 and the ratio ⁇ 1 is allowed. For example, the horizontal face orientation detection unit 1141 may determine that the face is facing the front when both the ratio ⁇ 2 and the ratio ⁇ 1 are within the range of plus or minus ⁇ with respect to 50%. An example of ⁇ is 2%, 5%, 8%, 10% and the like.
  • the horizontal face orientation detection unit 1141 reduces the smaller ratio of the ratio ⁇ 1 and the ratio ⁇ 2 from 50. For example, as shown in the left figure of FIG. 9, if the ratio ⁇ 2 is smaller than the ratio ⁇ 1, the horizontal face orientation detection unit 1141 obtains 50- ⁇ 2. If the ratio ⁇ 1 is smaller than the ratio ⁇ 2 as shown in the right figure of FIG. 9, the horizontal face orientation detection unit 1141 obtains 50- ⁇ 1. Next, the horizontal face orientation detection unit 1141 calculates 50- ⁇ 1 as the horizontal component of the face orientation because the right side is positive when the face is facing to the right. On the other hand, when the face is looking to the left, the horizontal face orientation detection unit 1141 calculates ⁇ (50- ⁇ 2) as the horizontal component of the face orientation because the left side is negative.
  • the face orientation is more to the right as the value of the horizontal component of the face orientation increases in the positive direction, and the value of the horizontal component of the face orientation increases in the negative direction. As the face turns more to the left. Further, when the horizontal component of the face orientation is 0, it indicates that the face orientation is the front direction. From the above, the horizontal component of the face orientation is calculated.
  • the method for obtaining the horizontal component of the face orientation is not limited to the above-mentioned method, and any method may be adopted as long as the horizontal component of the face orientation can be calculated. For example, as the horizontal component for the face, a value obtained by subtracting 50 from the larger value of the ratio ⁇ 1 and the ratio ⁇ 2 may be adopted. Further, the horizontal component of the face orientation may be positive on the left side.
  • FIG. 10 is an explanatory diagram of a process for detecting a vertical component of the face orientation.
  • the left figure of FIG. 10 shows a state in which the face is facing upward.
  • the right figure of FIG. 10 shows a state in which the face is facing downward.
  • the vertical face orientation detection unit 1142 sets the horizontal center line 132, which is a straight line passing through the feature point 133 indicating the center of the nose muscle and parallel to the lateral side of the face region 40, in the face region 40.
  • the lateral center line 132 may be set at a feature point of the nasal muscle other than the feature point 133.
  • the setting result of the horizontal face orientation detection unit 1141 may be used.
  • the vertical face orientation detection unit 1142 divides the vertical side of the face area 40 at the intersection 136 of the vertical side and the horizontal center line 132, and obtains the length of the upper section K3 and the lower section K4.
  • the vertical face orientation detection unit 1142 obtains the ratio of the upper section K3 and the lower section K4 when the length of the vertical side is 100%, and obtains the vertical component of the face orientation based on this ratio. ..
  • the ratio of the upper section K3 is ⁇ 3
  • the ratio of the lower section K4 is ⁇ 4, and the upper part is positive.
  • the vertical face orientation detection unit 1142 determines that the face is facing upward if the ratio ⁇ 3 is smaller than the ratio ⁇ 4, as shown in the left figure of FIG.
  • the vertical face orientation detection unit 1142 determines that the face is facing downward. If the ratio ⁇ 3 is substantially equal to the ratio ⁇ 4, the vertical face orientation detection unit 1142 determines that the face is facing the front.
  • the fact that the ratio ⁇ 3 and the ratio ⁇ 4 are substantially equal means that the ratio ⁇ 1 and the ratio ⁇ 2 described above are substantially equal.
  • the vertical face orientation detection unit 1142 subtracts the smaller ratio of the ratio ⁇ 3 and the ratio ⁇ 4 from 50. For example, as shown in the left figure of FIG. 10, if the ratio ⁇ 3 is smaller than the ratio ⁇ 4, the vertical face orientation detection unit 1142 obtains 50- ⁇ 3. If the ratio ⁇ 4 is smaller than the ratio ⁇ 3 as shown in the right figure of FIG. 10, the vertical face orientation detection unit 1142 obtains 50- ⁇ 4. Next, the vertical face orientation detection unit 1142 calculates 50- ⁇ 3 as the vertical component of the face orientation because the upper portion is positive when the face is facing upward. On the other hand, the vertical face orientation detection unit 1142 calculates ⁇ (50- ⁇ 4) as the vertical component of the face orientation because the upper portion is positive when the face is looking downward.
  • the face orientation is pointing more upward as the value of the vertical component of the face orientation increases in the positive direction, and as the value of the vertical component of the face orientation increases in the negative direction. , Indicates that the face is facing more downward. Further, when the vertical component of the face orientation is 0, it indicates that the face orientation is the front direction. From the above, the vertical component of the face orientation is calculated.
  • the method for obtaining the vertical component of the face orientation is not limited to the above-mentioned method, and any method may be adopted as long as the vertical component of the face orientation can be calculated. For example, as the vertical component of the face orientation, a value obtained by subtracting 50 from the larger ratio of the ratio ⁇ 3 and the ratio ⁇ 4 may be adopted. Further, the vertical component of the face orientation may be positive at the bottom.
  • step S7 the horizontal line-of-sight estimation unit 115 estimates the horizontal component in the pupil direction using the outer and inner corners of the eyes detected as facial feature points in step S3 and the center position of the pupil detected in step S5.
  • FIG. 11 is an explanatory diagram of a first example of a process for detecting a horizontal component in the pupil direction.
  • the right eye is shown.
  • the horizontal component in the pupil direction is calculated using the outer and inner corners of the eyes.
  • the horizontal line-of-sight estimation unit 115 calculates the first distance D1, which is the distance between the inner corner of the eye 92 and the center position 622 of the pupil in the X direction.
  • the horizontal line-of-sight estimation unit 115 calculates the second distance D2, which is the distance between the outer corner of the eye 93 and the center position 622 of the pupil in the X direction.
  • the first distance D1 is calculated by the absolute value of the difference between the X coordinate of the inner corner of the eye 92 and the X coordinate of the center position 622 of the pupil.
  • the second distance D2 is calculated by the absolute value of the difference between the X coordinate of the outer corner of the eye 93 and the X coordinate of the center position 622 of the pupil.
  • the horizontal line-of-sight estimation unit 115 calculates the ratio ⁇ 1 and the ratio ⁇ 2 of the first distance D1 and the second distance D2 when the distance between the X coordinate of the inner corner 92 and the X coordinate of the outer corner 93 is 100%. To do. The above processing is executed for each of the left and right eyes.
  • FIG. 12 is an explanatory diagram following FIG.
  • the left figure of FIG. 12 shows a state in which the face is substantially facing the front and the pupil is facing the left.
  • the right figure of FIG. 12 shows a state in which the eyes are turned to the right with the face facing almost the front.
  • L ⁇ 1 and L ⁇ 2 indicate the ratio of the first distance D1 and the second distance D2 of the left eye
  • R ⁇ 1 and R ⁇ 2 indicate the ratio of the first distance D1 and the second distance D2 of the right eye.
  • the left and right pupils are closer to the left. Therefore, the left eye has a short second distance D2, and the right eye has a short first distance D1. In the right figure of FIG. 12, the left and right pupils are shifted to the right. Therefore, the left eye has a long second distance D2, and the right eye has a long first distance D1.
  • the horizontal component in the pupil direction is calculated as follows.
  • the case where the pupil is closer to the right is regarded as positive.
  • the horizontal line-of-sight estimation unit 115 determines whether the pupil is to the left or to the right.
  • the horizontal line-of-sight estimation unit 115 may focus on the right eye, for example, and determine that the pupil is to the left if the ratio R ⁇ 1 is smaller than the ratio R ⁇ 2, and that the pupil is to the right if the ratio R ⁇ 2 is smaller than the ratio R ⁇ 1.
  • the horizontal line-of-sight estimation unit 115 may determine that the pupil is to the left if the ratio L ⁇ 2 is smaller than the ratio L ⁇ 1, and that the pupil is to the right if the ratio L ⁇ 1 is smaller than the ratio L ⁇ 2.
  • the average value of the ratio L ⁇ 2 of the second distance D2 of the left eye and the ratio R ⁇ 1 of the first distance D1 of the right eye is calculated, and this is calculated from 50.
  • the value obtained by multiplying the value obtained by subtracting the average value by minus is calculated as the horizontal component in the pupil direction.
  • the average value is calculated because there is no big difference in the pupil direction between the left and right eyes.
  • the average value is subtracted from 50 in order to increase the value of the horizontal component in the pupil direction as the pupil moves to the left or right from the front of the face. The reason for multiplying by minus is to make the right side positive.
  • the horizontal line-of-sight estimation unit 115 determines the average value of the ratio L ⁇ 1 of the first distance D1 of the left eye and the ratio R ⁇ 2 of the second distance D2 of the right eye, as shown in the right figure of FIG. Is calculated, and the value obtained by subtracting this average value from 50 is calculated as the horizontal component in the pupil direction.
  • the horizontal component in the pupil direction is calculated.
  • the method for obtaining the horizontal component in the pupil direction is not limited to the above-mentioned method, and any method may be adopted as long as the horizontal component in the pupil direction can be calculated.
  • the smaller ratio of the ratio ⁇ 1 and the ratio ⁇ 2 was used, but the larger ratio of the ratio ⁇ 1 and the ratio ⁇ 2 may be used.
  • the horizontal component in the pupil direction may be calculated by subtracting 50 from the larger ratio. Further, the horizontal component in the pupil direction may be positive on the left side.
  • FIG. 13 is an explanatory diagram of a second example of the process of detecting the horizontal component in the pupil direction.
  • the horizontal line-of-sight estimation unit 115 detects the midpoint of the line segment L2 connecting the X coordinate of the left inner corner 92 and the X coordinate of the right inner corner 92 as the center position 142 of the face.
  • the horizontal line-of-sight estimation unit 115 detects the midpoint 141 of the line segment L1 connecting the X coordinate of the center position 622 of the left pupil and the X coordinate of the center position of the right pupil.
  • the horizontal line-of-sight estimation unit 115 detects the deviation 143 between the midpoint 141 and the center position 142 as a horizontal component in the pupil direction. For example, assuming that the right side is positive, when the midpoint 141 is located to the left with respect to the center position 142, a value obtained by adding a minus to the absolute value of the deviation is detected as a horizontal component in the pupil direction. When the midpoint 141 is located to the right of the center position 142, the absolute value of the deviation is detected as a horizontal component in the pupil direction. From the above, the horizontal component in the pupil direction is calculated.
  • the horizontal line-of-sight estimation unit 115 synthesizes the horizontal component of the face orientation detected in step S6 and the horizontal component of the pupil direction detected in step S7 to estimate the horizontal component of the line-of-sight direction.
  • the horizontal component in the line-of-sight direction is calculated by weighting and adding the horizontal component in the face direction and the horizontal component in the pupil direction using a predetermined weighting coefficient.
  • the horizontal component in the line-of-sight direction may be calculated by adding the horizontal component in the face direction and the horizontal component in the pupil direction without weighting.
  • FIG. 14 is a diagram showing the relationship between the optical axis 151, the face orientation 152, the pupil direction 153, and the line-of-sight direction 154. In the example of FIG. 14, a state in which the person 400 is viewed from above is shown.
  • the face orientation 152 is in the counterclockwise direction with respect to the optical axis 151.
  • counterclockwise is negative and clockwise is positive.
  • the face orientation 152 is in the counterclockwise direction with respect to the optical axis 151. Therefore, the horizontal component of the face orientation 152 with respect to the optical axis 151 has a value corresponding to the angle ( ⁇ 1) between the optical axis 151 and the face orientation 152.
  • the pupil direction 153 is in the clockwise direction with respect to the face direction 152.
  • the pupil is facing the pupil direction 155.
  • step S9 the vertical line-of-sight estimation unit 116 estimates the vertical component of the face orientation detected in step S6 as the vertical component of the line-of-sight direction.
  • step S10 the output unit 117 generates line-of-sight information including the horizontal component in the line-of-sight direction estimated in step S8 and the vertical component in the line-of-sight direction estimated in step S9, and outputs the information to the display device 300.
  • the horizontal component in the line-of-sight direction with respect to the optical axis is estimated by synthesizing the horizontal component in the face direction and the horizontal component in the pupil direction.
  • the vertical component of the line-of-sight direction with respect to the optical axis is estimated based on the vertical component of the face orientation.
  • the horizontal component and the vertical component in the line-of-sight direction with respect to the optical axis are estimated using different parameters. Therefore, in this embodiment, the detection accuracy in the line-of-sight direction can be further improved. Further, in the present embodiment, it is not necessary to learn the correlation as described above in advance. Therefore, in this embodiment, the line-of-sight direction can be detected with high accuracy with a small number of processing steps.
  • FIG. 15 is a diagram showing an example of the overall configuration of the image processing system 1A according to the second embodiment of the present disclosure. In the following description, the differences from the first embodiment will be mainly described.
  • Processor 110A further includes an eyelid detector 118. Since the processing content of the vertical line-of-sight estimation unit 116A is different from that of the vertical line-of-sight estimation unit 116 of the first embodiment, A is added to the end of the reference numeral.
  • the eyelid detection unit 118 applies the eyelid detection process described later to the image data acquired by the image acquisition unit 111, and detects the position of the upper eyelid and the position of the lower eyelid.
  • the vertical line-of-sight estimation unit 116A is based on the third distance between the center position of the pupil input by the pupil detection unit 113 and the position of the upper eyelid input by the eyelid detection unit 118, and the center position of the pupil and the eyelid detection unit 118.
  • the input fourth distance between the lower eyelids is detected.
  • the vertical line-of-sight estimation unit 116A estimates the vertical component in the pupil direction based on the ratio of the third distance to the fourth distance.
  • the vertical line-of-sight estimation unit 116A estimates the vertical component in the line-of-sight direction by synthesizing the vertical component in the pupil direction and the vertical component in the face direction detected by the face orientation detection unit 114.
  • FIG. 16 is a flowchart showing an example of the operation of the image processing system 1A according to the second embodiment.
  • the same processing numbers are assigned to the same processing as in FIG.
  • the details of the eyelid detection process will be described below.
  • FIG. 17 is an explanatory diagram of the eyelid detection process.
  • the eyelid detection unit 118 uses the eye region 50 before it is binarized. First, the eyelid detection unit 118 sets the center position 622 of the pupil detected in step S5 with respect to the eye region 50. Next, the eyelid detection unit 118 sets an upper vertical line 183 parallel to the Y axis on the upper side of the center position 622 of the pupil. Next, the eyelid detection unit 118 searches for a position on the upper vertical line 183 from the center position 622 of the pupil toward the upper eyelid where the change in brightness from the bright side is maximum, and determines the position where this change is maximum. It is detected as the position 181 of the upper eyelid.
  • the eyelid detection unit 118 that has detected the position 181 of the upper eyelid sets a lower vertical line 184 parallel to the Y axis below the center position 622 of the pupil. Then, the eyelid detection unit 118 searches for a position on the lower vertical line 184 from the center position 622 of the pupil toward the lower eyelid where the change in brightness from the bright side is maximum, and the position where this change is maximum is the lower eyelid. Detected as position 182. As the details of this search process, a process using the detection process of the outer edge of the iris in the Dougman algorithm is used.
  • step S102 the vertical line-of-sight estimation unit 116A estimates the vertical component in the pupil direction using the upper eyelid position 181 and the lower eyelid position 182 detected in step S101.
  • the vertical line-of-sight estimation unit 116A detects the third distance D3, which is the vertical distance from the center position 622 of the pupil to the position 181 of the upper eyelid.
  • the vertical line-of-sight estimation unit 116A detects the fourth distance D4, which is the vertical distance from the center position 622 of the pupil to the position 182 of the lower eyelid.
  • the vertical line-of-sight estimation unit 116A calculates the ratio ⁇ of the third distance D3 when the vertical distance from the upper eyelid position 181 to the lower eyelid position 182 is 100%.
  • the ratio ⁇ when the pupil is facing the front direction is set as a reference ratio (for example, 0.6), and the upward direction is positive.
  • the ratio ⁇ decreases from the reference ratio as the pupil moves upward.
  • the vertical line-of-sight estimation unit 116A estimates a value obtained by subtracting the ratio ⁇ from the reference ratio as the vertical component in the pupil direction.
  • the value of the vertical component in the pupil direction increases in the positive direction as the pupil moves upward, and the value of the vertical component in the pupil direction increases in the negative direction as the pupil moves downward.
  • the vertical line-of-sight estimation unit 116A synthesizes the vertical component of the face orientation detected in step S6 and the vertical component of the pupil direction estimated in step S102, and estimates the vertical component of the line-of-sight direction.
  • the vertical component in the line-of-sight direction is calculated by weighting and adding the vertical component in the face direction and the vertical component in the pupil direction using a predetermined weighting coefficient.
  • the vertical component in the line-of-sight direction may be added without weighting the vertical component in the face direction and the vertical component in the pupil direction.
  • the detection accuracy in the line-of-sight direction can be further improved.
  • FIG. 18 is a block diagram showing a detailed configuration of the image processing system 1B according to the third embodiment.
  • the same components as those in the first and second embodiments are designated by the same reference numerals, and the description thereof will be omitted.
  • a block having the same name as that in FIG. 2 but having a different function is given a B reference numeral at the end.
  • the processor 110B further includes an interest level estimation unit 119.
  • the interest level estimation unit 119 estimates the interest level of the person 400 by the following processing. First, the interest level estimation unit 119 detects eyebrows and corners of the mouth from the face region 40 using the facial feature points 9X detected by the feature point detection unit 112. Here, the interest level estimation unit 119 identifies the feature points 9X with landmark point numbers corresponding to the eyebrows and the corners of the mouth in the facial feature points 9X detected by the feature point detection unit 112. , Eyebrows and corners of the mouth may be detected.
  • the interest level estimation unit 119 estimates the interest level of the person 400 based on the line-of-sight information input from the output unit 117 and the detected eyebrow position and mouth corner position, and outputs the interest level to the display device 300.
  • the interest level estimation unit 119 describes in advance the standard positions of eyebrows and corners of the mouth when, for example, a person has various facial expressions such as joy, surprise, anger, sadness, and expressionlessness.
  • pattern data is acquired from a memory (not shown).
  • the interest level estimation unit 119 collates the detected positions of the eyebrows and the corners of the mouth of the person 400 with the pattern data, and estimates the facial expression of the person 400.
  • the interest level estimation unit 119 uses the estimated facial expression of the person 400 and the line of sight indicated by the line-of-sight information to allow the person 400 to move in which direction the line of sight of the person 400 is or at what position the gaze point of the person 400 is. Identify what kind of facial expression you have made. That is, the interest level estimation unit 119 specifies data in which the line-of-sight information of the person 400 and the facial expression of the person 400 are associated with each other as the degree of interest of the person 400.
  • the degree of interest estimation unit 119 has been described as estimating the degree of interest based on the eyebrows and the angle of the mouth, but this is an example, and the degree of interest may be estimated based on one of the eyebrows and the angle of the mouth.
  • the degree of interest of the person 400 is estimated by further using the eyebrows and the corners of the mouth in addition to the line-of-sight information.
  • the degree of interest can be estimated with high accuracy.
  • the infrared light camera uses infrared light in a predetermined second wavelength band in which the spectral intensity of sunlight is attenuated from the predetermined first wavelength. It may be configured with an infrared light camera.
  • the predetermined first wavelength is, for example, 850 nm.
  • the predetermined second wavelength is, for example, 940 nm.
  • the band of the second wavelength does not include, for example, 850 nm, and is a band having a predetermined width with 940 nm as a reference (for example, the center).
  • an infrared light camera that captures near-infrared light one that uses infrared light of 850 nm is known.
  • the present disclosure employs, for example, a camera that uses infrared light in the band of 940 nm as an infrared light camera.
  • the predetermined second wavelength is set to 940 nm, but this is an example and may be a wavelength slightly deviated from 940 nm.
  • An infrared light camera using infrared light having a second wavelength is, for example, a camera including a floodlight that irradiates infrared light having a second wavelength.
  • the line-of-sight information has been described as including coordinate data indicating the gazing point, but the present disclosure is not limited to this.
  • the line-of-sight information may include coordinate data indicating a gaze surface that is a region of a predetermined size (for example, a circle, a quadrangle, etc.) with a gaze point as a reference (for example, the center).
  • a gaze point as a reference (for example, the center).
  • this disclosure can detect line-of-sight information with high accuracy, it is useful in iris recognition using pupil information, estimation of a person's interest target using line-of-sight information, estimation of a person's state, user interface using line-of-sight, and the like. is there.

Abstract

画像処理方法は、撮像装置により撮像された画像データを取得し、画像データから、人物の顔の特徴点の位置を検出し、画像データから、人物の目の瞳の中心位置を検出し、特徴点の位置に基づいて、顔の向きの水平成分及び垂直成分を検出し、顔の向きの水平成分と、瞳の中心位置及び特徴点の位置間の距離とに基づいて、撮像装置の光軸に対する人物の視線方向の水平成分を推定し、少なくとも顔の向きの垂直成分に基づいて、視線方向の垂直成分を推定し、視線方向の水平成分及び垂直成分を含む視線情報を出力する。

Description

画像処理方法、画像処理装置、及び画像処理プログラム
　本開示は、画像処理により視線情報を検出する技術に関するものである。
　視線検出技術は、人物の興味対象の推定、眠気などの人物の状態の推定、及び視線による機器への入力を行うユーザインターフェースといった種々の用途で用いられている。視線方向は、ユーザの顔の向きに応じて異なるため、視線方向を正確に検出するために、顔の向きが考慮されている。
　例えば、特許文献１には、人の目の輪郭に対する瞳の位置及び顔の向きと、視線方向との相関関係を学習し、当該相関関係に検出対象者の瞳の位置及び顔の向きを適用し、検出対象者の瞳方向を推定し、推定した瞳方向と検出対象者の顔の向きとに基づいて検出対象者の視線方向を計算する技術が開示されている。特許文献２には、顔の向きを視線方向とみなす技術が開示されている。
　特許文献１、２の技術では、視線方向の水平成分と視線の垂直成分とを算出するにあたり、各成分に対して寄与するパラメータが異なることが何ら考慮されていないため、視線方向を正確に検出するうえでさらなる改善の必要がある。
特開２００９－２６６０８６号公報 特開２０１７－８３３０８号公報
　本開示の目的は、視線方向の検出精度をさらに向上させることが可能な画像処理技術を提供することにある。
　本開示の一態様に係る画像処理方法は、画像処理装置における画像処理方法であって、撮像装置により撮像された画像データを取得し、前記画像データから、人物の顔の特徴点の位置を検出し、前記画像データから、前記人物の目の瞳の中心位置を検出し、前記特徴点の位置に基づいて、前記顔の向きの水平成分及び垂直成分を検出し、前記顔の向きの水平成分と、前記瞳の中心位置及び前記特徴点の位置間の距離とに基づいて、前記撮像装置の光軸に対する前記人物の視線方向の水平成分を推定し、少なくとも前記顔の向きの垂直成分に基づいて、前記視線方向の垂直成分を推定し、前記視線方向の水平成分及び垂直成分を含む視線情報を出力する。
本開示の実施の形態１に係る画像処理システムの全体構成の一例を示す図である。 実施の形態１に係る画像処理システムの詳細な構成の一例を示すブロック図である。 顔向き検出部の詳細な構成を示すブロック図である。 実施の形態１に係る画像処理装置の動作の一例を示すフローチャートである。 顔領域を示す図である。 顔領域に対して設定された顔の特徴点を示す図である。 目領域を示す図である。 二値化された目領域を示す図である。 顔の向きの水平成分を検出する処理の説明図である。 顔の向きの垂直成分を検出する処理の説明図である。 瞳方向の水平成分を検出する処理の第１例の説明図である。 図１１に続く説明図である。 瞳方向の水平成分を検出する処理の第２例の説明図である。 光軸、顔の向き、瞳方向、及び視線方向の関係を示した図である。 本開示の実施の形態２に係る画像処理システムの全体構成の一例を示す図である。 実施の形態２に係る画像処理システムの動作の一例を示すフローチャートである。 まぶた検出処理の説明図である。 実施の形態３に係る画像処理システムの詳細な構成を示すブロック図である。
　（本開示の基礎となる知見）
　３次元実空間内において人物の注視点を人物の顔の画像データを用いて検出する場合、例えば人物を撮影するカメラの光軸に対する視線方向を検出することが要求される。カメラの光軸に対する視線方向を検出する場合のパラメータとしては、例えばカメラの光軸に対する顔の向きと顔の向きに対する視線方向とが用いられる。
　しかしながら、視線方向は３次元ベクトルで構成される。そのため、光軸に対する視線方向を検出する場合、カメラの光軸に対する顔の向きと、顔の向きに対する視線方向とを単に用いるだけでは不十分であり、両者を水平成分と垂直成分とに分けることが要求される。
　特許文献１では、左右方向の顔向きと左右方向の瞳方向との和から左右方向の視線方向が求められ、上下方向の顔向きと上下方向の瞳方向との和から上下方向の視線方向が求められている（段落［００７３］）。
　しかしながら、特許文献１では、人の目の輪郭に対する瞳の位置及び顔の向きと視線方向とから学習された相関関係に、検出対象者の顔向きと検出対象者の瞳の位置を適用することで瞳方向が計算されることが開示されているに過ぎない。そのため、特許文献１では、左右方向の瞳方向と上下方向の瞳方向とを区別して算出する具体的な開示がない。さらに、左右方向の顔向きと上下方向の顔向きとを区別して算出する具体的な開示もない。よって、特許文献１では、視線方向の水平成分と垂直成分とのそれぞれを算出するにあたり寄与するパラメータが異なることは何ら考慮されていない。さらに、特許文献１では、予め相関関係を学習させることも要求され、手間である。
　特許文献２では、顔の向きが視線方向として見なされているため、視線方向の水平成分と垂直成分とのそれぞれを算出するにあたり寄与するパラメータが異なることは何ら考慮されていない。
　以上より特許文献１、２の技術は視線方向を精度よく検出するには不十分である。
　そこで、本発明者は、視線方向の水平成分と垂直成分のそれぞれを算出するにあたり寄与するパラメータが異なるとの知見を得て、以下に示す各態様を想到するに至った。
　本開示の一態様に係る画像処理方法は、画像処理装置における画像処理方法であって、撮像装置により撮像された画像データを取得し、前記画像データから、人物の顔の特徴点の位置を検出し、前記画像データから、前記人物の目の瞳の中心位置を検出し、前記特徴点の位置に基づいて、前記顔の向きの水平成分及び垂直成分を検出し、前記顔の向きの水平成分と、前記瞳の中心位置及び前記特徴点の位置間の距離とに基づいて、前記撮像装置の光軸に対する前記人物の視線方向の水平成分を推定し、少なくとも前記顔の向きの垂直成分に基づいて、前記視線方向の垂直成分を推定し、前記視線方向の水平成分及び垂直成分を含む視線情報を出力する。
　本構成によれば、撮像装置の光軸に対する視線方向の水平成分は、顔の向きの水平成分と、瞳の中心位置及び顔の特徴点間の距離とに基づいて推定されている。光軸に対する視線方向の垂直成分は、少なくとも顔の向きの垂直成分に基づいて推定されている。このように、本構成では、光軸に対する視線方向の水平成分及び垂直成分のそれぞれが異なるパラメータを用いて推定されている。よって、本構成は、視線方向の検出精度をさらに向上させることができる。さらに、本構成は、上述したような相関関係を事前に学習することが不要である。よって、本構成は少ない処理ステップ数で高精度に視線方向を検出できる。
　上記画像処理方法において、前記特徴点は、前記人物の目尻及び目頭を含んでもよい。
　本構成によれば、顔の特徴点として目尻及び目頭が用いられているため、視線方向の検出精度をさらに向上させることができる。
　上記画像処理方法において、前記視線方向の水平成分の推定では、前記瞳の中心位置及び前記目頭の位置間の第１距離と前記瞳の中心位置及び前記目尻の位置間の第２距離との割合に基づいて前記顔の向きに対する前記瞳の方向である瞳方向の水平成分を推定し、前記顔の向きの水平成分と前記瞳方向の水平成分とを合成することによって前記視線方向の水平成分を推定してもよい。
　本構成によれば、瞳の中心位置及び目頭の位置間の第１距離と瞳の中心位置及び目尻の位置間の第２距離との割合に基づいて瞳方向の水平成分が推定され、瞳方向の水平成分と、顔の向きの水平成分とが合成され、視線方向の水平成分が推定される。これにより、視線方向の水平成分の推定精度が高まり、ひいては視線方向の検出精度をさらに向上させることができる。
　上記画像処理方法において、前記特徴点は、前記顔の中心位置を含んでもよい。
　本構成によれば、顔の特徴点として顔の中心位置が用いられているため、視線方向の検出精度をさらに向上させることができる。
　上記画像処理方法において、前記視線方向の水平成分の推定では、前記人物の左右それぞれの瞳の中心位置の中点と前記顔の中心位置とのずれに基づいて前記顔の向きに対する前記瞳の方向である瞳方向の水平成分を推定し、前記瞳方向の水平成分と前記顔の向きの水平成分とを合成することによって前記視線方向の水平成分を推定してもよい。
　本構成によれば、人物の左右それぞれの瞳の中心位置の中点と顔の中心位置とのずれに基づいて瞳方向の水平成分が推定され、瞳方向の水平成分と顔の向きの水平成分とが合成され、視線方向の水平成分が推定される。これにより、視線方向の水平成分の推定精度が高まり、ひいては視線方向の検出精度をさらに向上させることができる。
　上記画像処理方法において、前記視線方向の垂直成分の推定では、さらに前記瞳の中心位置及び前記人物の上まぶた間の第３距離と前記瞳の中心位置及び前記人物の下まぶた間の第４距離とを用いて前記視線方向の垂直成分を推定してもよい。
　本構成によれば、瞳の中心位置及び人物の上まぶた間の第３距離と瞳の中心位置及び人物の下まぶた間の第４距離とを用いて視線方向の垂直成分が推定されている。そのため、視線方向の垂直成分をより精度よく推定できる。
　上記画像処理方法において、前記視線方向の垂直成分の推定では、前記第３距離と前記第４距離との割合に基づいて前記顔の向きに対する前記瞳の方向である瞳方向の垂直成分を推定し、前記瞳方向の垂直成分と前記顔の向きの垂直成分とを合成することによって前記視線方向の垂直成分を推定してもよい。
　本構成によれば、第３距離と第４距離との割合に基づいて瞳方向の垂直成分が推定され、瞳方向の垂直成分と、顔の向きの垂直成分とが合成され、視線方向の垂直成分が推定される。これにより、視線方向の垂直成分の推定精度が高まり、ひいては視線方向の検出精度をさらに向上させることができる。
　上記画像処理方法において、前記特徴点は、まゆげ及び口角の少なくとも一方を含み、前記視線情報と、前記まゆげの位置及び前記口角の位置の少なくとも一方に基づいて前記人物の関心度を推定してもよい。
　本構成によれば、視線情報のみに基づいて関心度を推定する場合に比べて、より高精度に関心度を推定できる。
　上記画像処理方法において、前記まゆげの位置及び前記口角の位置の少なくとも一方に基づいて前記人物の表情を推定し、前記視線情報と、前記推定された表情を示す情報とに基づいて前記人物の関心度を推定してもよい。
　本構成によれば、まゆげの位置及び口角の位置の少なくとも一方に基づいて推定された人物の表情を示す情報と視線情報とを用いて関心度が推定されているため、人物の関心度をさらに高精度に推定できる。
　上記画像処理方法において、前記視線情報は、所定の対象面における前記人物の注視点を基準とする所定範囲の領域である注視面を示す情報を含んでもよい。
　本構成によれば、人物及び注視対象物間の距離又は注視対象物の大きさに依存することなく注視対象物を適切に判定できる。
　上記画像処理方法において、前記画像データは、可視光カメラにより撮影されたものであり、前記瞳の中心位置は、虹彩の中心位置であってもよい。
　可視光カメラで撮影された画像データから瞳孔を検出することは困難であるが、虹彩は検出可能である。本態様は、虹彩の中心位置が瞳の中心位置とされているため、可視光カメラを用いた場合において、瞳の中心位置を精度よく検出できる。
　上記画像処理方法において、前記画像データは、赤外光カメラにより撮影されたものであり、前記瞳の中心位置は、瞳孔の中心位置であってもよい。
　赤外光カメラで撮影された画像データから瞳孔を検出することは可能である。本態様は、瞳孔の中心位置が瞳の中心位置とされているため、赤外光カメラを用いた場合において、瞳の中心位置を精度よく検出できる。
　上記画像処理方法において、前記画像データは、太陽光のスペクトル強度が所定の第１波長よりも減衰した所定の第２波長の帯域の赤外光を用いる赤外光カメラで撮影された画像データであってもよい。
　本構成によれば、太陽光のスペクトル強度が強い屋外においても精度よく視線方向を検出できる。
　本開示は、このような画像処理方法に含まれる特徴的な各構成をコンピュータに実行させる画像処理プログラム、或いはこの画像処理プログラムによって動作する画像処理装置として実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
　（実施の形態１）
　図１は、本開示の実施の形態１に係る画像処理システム１の全体構成の一例を示す図である。画像処理システム１は、人物４００を撮影し、得られた人物４００の画像データから人物４００の視線を示す視線情報を検出するシステムである。図１の例では、画像処理システム１は、表示装置３００に表示された複数のオブジェクト３０１のうち、どのオブジェクト３０１を人物４００が注視しているかを特定している。但し、これは一例であり、画像処理システム１は、表示装置３００の表示画面上に表示されたオブジェクト３０１のみならず、実空間内において人物４００が注視するオブジェクト３０１を特定してもよい。
　図１の例では、画像処理システム１はデジタルサイネージシステムに適用されている。したがって、表示装置３００に表示されるオブジェクト３０１は、広告などのサイネージの画像となる。
　画像処理システム１は、画像処理装置１００、カメラ２００（撮影装置の一例）、及び表示装置３００を含む。画像処理装置１００は、カメラ２００及び表示装置３００と所定の通信路を介して接続されている。所定の通信路は、例えば、有線ＬＡＮなどの有線の通信路、又は無線ＬＡＮ及びブルートゥース（登録商標）などの無線の通信路である。画像処理装置１００は、例えば表示装置３００の周囲に設置されたコンピュータで構成されている。但し、これは一例であり、画像処理装置１００は、クラウドサーバで構成されてもよい。この場合、画像処理装置１００は、カメラ２００及び表示装置３００とインターネットを介して接続される。画像処理装置１００は、カメラ２００で撮像された人物４００の画像データから、人物４００の視線情報を検出し、表示装置３００に出力する。画像処理装置１００は、カメラ２００又は表示装置３００にハードウェアとして組み込まれてもよい。カメラ２００又は表示装置３００がプロセッサを備え、画像処理装置１００がソフトウェアとして組み込まれていてもよい。
　カメラ２００は、例えば所定のフレームレートで表示装置３００の周囲の環境を撮影することにより、表示装置３００の周囲に位置する人物４００の画像データを取得する。カメラ２００は、取得した画像データを所定のフレームレートで順次に画像処理装置１００に出力する。カメラ２００は、可視光カメラであってもよいし、赤外光カメラであってもよい。
　表示装置３００は、例えば液晶パネル又は有機ＥＬパネルなどの表示装置で構成されている。図１の例では、表示装置３００は、サイネージディスプレイである。なお、図１の例では、画像処理システム１は、表示装置３００を含むとして説明したが、これは一例であり、表示装置３００に代えて、別の機器が採用されてもよい。例えば、画像処理システム１が視線により機器への入力を受け付けるユーザインターフェースとして利用されるのであれば、画像処理システム１は例えば表示装置３００に代えて、冷蔵庫、テレビ、及び洗濯機などの家電機器が採用されてもよい。例えば、画像処理システム１が車両に搭載されるのであれば、表示装置３００に代えて、自動車などの車両が採用されてもよい。さらに、表示装置３００に代えてハードディスクドライブ、ソリッドステートドライブなどの記憶装置が採用されてもよい。
　図２は、実施の形態１に係る画像処理システム１の詳細な構成の一例を示すブロック図である。画像処理装置１００は、プロセッサ１１０を含む。プロセッサ１１０は、ＣＰＵ、ＦＰＧＡなどの電気回路である。プロセッサ１１０は、画像取得部１１１（取得部の一例）、特徴点検出部１１２、瞳検出部１１３、顔向き検出部１１４、垂直視線推定部１１６、水平視線推定部１１５、及び出力部１１７を含む。プロセッサ１１０が備える各ブロックは、プロセッサ１１０がコンピュータを画像処理装置として機能させる画像処理プログラムを実行することで実現されてもよいし、専用の電気回路で構成されてもよい。以下に記述される各ブロックの説明は、各ブロックの処理の概要であり、各ブロックの処理の詳細は後述のフローチャートを用いて説明される。
　画像取得部１１１は、カメラ２００が撮像した画像データを取得する。ここで、取得される画像データには、表示装置３００の周囲の人物４００の顔が含まれる。なお、画像取得部１１１が取得する画像データは、例えばウェブサイトに掲載された画像データであってもよいし、外部の記憶装置が記憶する画像データであってもよい。
　特徴点検出部１１２は、画像取得部１１１が取得した画像データから、人物４００の顔の特徴点の位置を検出する。顔の特徴点とは、例えば目尻、目頭、顔の輪郭、鼻筋、口角、及び眉毛などの顔を構成する複数の部品のそれぞれにおいて、特徴的な位置にある１又は複数の点である。特徴点はランドマークとも呼ばれる。特徴点検出部１１２は、例えば機械学習のフレームワークのモデルファイルを利用したランドマーク検出処理を実行することで顔の特徴点を検出すればよい。
　瞳検出部１１３は、画像取得部１１１により取得された画像データから、人物４００の左目及び右目のそれぞれの瞳の中心位置を検出する。本実施の形態において、瞳とは、図７に示すように、瞳孔５５と、瞳孔５５を取り囲むドーナツ状の虹彩５６とを含む有色の部分を指す。
　瞳検出部１１３は、後述する瞳孔外縁検出処理を画像データに適用することで瞳外縁を検出し、その瞳外縁の中心を瞳の中心位置として検出する。カメラ２００が可視光カメラである場合、瞳孔外縁検出処理は瞳孔の外縁を検出することは困難であるが、虹彩の外縁を検出することは可能である。よって、カメラ２００が可視光カメラである場合、瞳の中心位置は虹彩外縁の中心位置となる。カメラ２００が赤外光カメラである場合、瞳孔外縁検出処理は、瞳孔外縁が検出可能である。よって、カメラ２００が赤外光カメラである場合、瞳の中心位置は瞳孔外縁の中心位置となる。
　顔向き検出部１１４は、特徴点検出部１１２により検出された特徴点の位置に基づいて、カメラ２００の光軸に対する顔の向きの水平成分及び垂直成分を検出する。顔の向き水平成分は、光軸に対して顔の向きが水平方向の左側又は右側にどの程度向いているかを示す指標である。顔の向きの垂直成分は、光軸に対して顔の向きが垂直方向の上側又は下側にどの程度向いているかを示す指標である。水平方向とは、例えば地面と平行な方向であり、カメラ２００が撮影する画像データのＸ軸に対応する。垂直方向とは、例えば地面と直交する方向であり、カメラ２００が撮影する画像データのＹ軸に対応する。
　図３は、顔向き検出部１１４の詳細な構成を示すブロック図である。顔向き検出部１１４は、水平顔向き検出部１１４１及び垂直顔向き検出部１１４２を含む。水平顔向き検出部１１４１は顔の向きの水平成分を検出する。垂直顔向き検出部１１４２は、顔の向きの垂直成分を検出する。
　図２に参照を戻す。水平視線推定部１１５は、顔向き検出部１１４により検出された顔の向きの水平成分と、瞳検出部１１３により検出された瞳の中心位置及び特徴点検出部１１２により検出された特徴点の位置間の距離とに基づいて、光軸に対する人物４００の視線方向の水平成分を推定する。
　本実施の形態では、特徴点には左目及び右目のそれぞれの目尻及び目頭が含まれる。目尻及び目頭を利用した水平視線推定部１１５の処理は以下の通りである。水平視線推定部１１５は、瞳の中心位置及目頭の位置間の第１距離を算出する。第１距離を算出した水平視線推定部１１５は、瞳の中心位置及び目尻の位置間の第２距離を算出する。第２距離を算出した水平視線推定部１１５は、第１距離と第２距離との割合に基づいて顔の向きに対する瞳の方向である瞳方向の水平成分を推定する。そして、水平視線推定部１１５は、推定した瞳方向の水平成分と、顔の向きの水平成分とを合成し、視線方向の水平成分を推定する。この目尻及び目頭を利用した推定処理は、左目及び右目のそれぞれに対して適用される。
　本実施の形態では、特徴点は、顔の中心位置が含まれてもよい。顔の中心位置を利用した水平視線推定部１１５の処理は下記の通りである。水平視線推定部１１５は、人物４００の左右それぞれの瞳の中心位置から、左右それぞれの瞳の中心位置間の中点を検出する。この中点を検出した水平視線推定部１１５は、顔の中心位置と前記中点とのずれを検出する。このずれを検出した水平視線推定部１１５は、このずれに基づいて瞳方向の水平成分を推定する。以下、水平視線推定部１１５は、目尻及び目頭を利用した場合と同様に、視線方向の水平成分を推定すればよい。この顔の中心位置を利用した推定処理は左目及び右目のそれぞれに適用される。
　垂直視線推定部１１６は、顔向き検出部１１４により検出された顔の向きの垂直成分に基づいて、光軸に対する人物４００の視線方向の垂直成分を推定する。本実施の形態では、垂直視線推定部１１６は、顔の向きの垂直成分を視線方向の垂直成分として推定する。
　出力部１１７は、水平視線推定部１１５により推定された視線方向の水平成分と、垂直視線推定部１１６により推定された視線方向の垂直成分とを含む視線情報を生成し、表示装置３００に出力する。出力部１１７は、視線方向に基づいて表示装置３００の表示面（対象面）における注視点を算出し、この注視点を視線情報に含めてもよい。
　注視点を算出した出力部１１７は、表示装置３００で表示されているオブジェクト３０１の情報を取得し、取得した情報と注視点の座標データとから人物４００が注視するオブジェクト３０１（注視オブジェクト）を特定し、特定結果を表示装置３００に出力してもよい。
　カメラ２００は、図１で説明したため、ここでは説明を省略する。
　表示装置３００は、例えば出力部１１７から出力された視線情報を示すマーカーを表示する。注視オブジェクトの特定結果を出力部１１７から取得した場合、表示装置３００は、注視オブジェクトを示すマーカーを表示してもよい。
　画像処理システム１が、表示装置３００に代えて家電機器で構成される場合、家電機器は視線情報から人物４００の入力を受け付ける。画像処理システム１が、表示装置３００に代えて記憶装置で構成される場合、記憶装置は、視線情報を記憶する。この場合、記憶装置は視線情報にタイムスタンプを対応付けて記憶してもよい。
　次に、画像処理装置１００の動作について説明する。図４は、実施の形態１に係る画像処理装置１００の動作の一例を示すフローチャートである。ステップＳ１では、画像取得部１１１は、カメラ２００から画像データを取得する。ステップＳ２では、特徴点検出部１１２は、顔領域を検出するための分類器に画像データを入力することにより、画像データから顔領域を検出する。この分類器は、例えばオープンソースによる画像処理ライブラリにおいて顔領域を検出するために予め作成されたハール（Ｈａａｒ）状のカスケード分類器である。顔領域は、例えば顔の全体を含む程度のサイズを持つ矩形状の領域である。但し、これは一例であり、顔領域の形状は矩形以外の例えば、３角形、５角形、６角形、又は８角形などであってもよい。なお、特徴点検出部１１２は、パターンマッチングにより顔領域を検出してもよい。
　図５は、顔領域４０を示す図である。図５に示すように、特徴点検出部１１２は、額の上部と顎の下部と、耳の生え際とを含む矩形状の領域を顔領域４０として検出している。ここでは、顔領域４０は髪の全体を含んでいないが、髪の全体を含む領域であってもよい。図５では、画像データは人物４００を正面から撮影した画像データであるため、左目と右目とが含まれている。本実施の形態では、説明の便宜上、右目とは人物４００を正面から見て右側にある目のことを指し、左目とは人物４００を正面から見て左側にある目のことを指す。但し、これは一例であり、人物４００から見て右側にある目を右目、人物４００から見て左側にある目を左目としてもよい。また、本実施の形態では、紙面の右側の方向を右方、紙面の左側の方向を左方とする。
　図４に参照を戻す。ステップＳ３では、ステップＳ２で検出された顔領域４０に上述のランドマーク検出処理を適用し、顔の特徴点を検出する。
　図６は、顔領域４０に対して設定された顔の特徴点９Ｘを示す図である。図６に示すように、顔領域４０に対してランドマーク検出処理が適用されることにより、複数の特徴点９Ｘが顔領域４０から検出されている。図６の例では、ランドマーク検出処理によって検出される特徴点９Ｘのうち、視線情報の検出に必要となる特徴点９Ｘが示されている。図６の例では、鼻筋上に位置する例えば５個の特徴点９Ｘと、鼻の下側に位置する例えば２個の特徴点９Ｘと、顔の輪郭上に位置する例えば１７個の特徴点９Ｘとが検出されている。さらに、図６の例では、左右の目頭９２に位置する２個の特徴点９Ｘと、左右の目尻９３に位置する２個の特徴点９Ｘとが検出されている。なお、特徴点９Ｘは、それぞれランドマーク点番号が付与されており、どのランドマーク点番号の特徴点が顔のどの部位を示すかは予め定められている。例えば、ランドマーク点番号が「２」の特徴点９Ｘは左の目尻９３を示し、ランドマーク点番号が「０」の特徴点は左の目頭９２を示すというように、各特徴点９Ｘにはランドマーク点番号が設定されている。そのため、特徴点検出部１１２は、ランドマーク点番号から特徴点９Ｘが顔のどの部位を示しているのかを特定できる。
　図４に参照を戻す。ステップＳ４では、瞳検出部１１３は、目領域を検出するための分類器にステップＳ２で検出された顔領域４０を入力し、目領域を検出する。この分類器は、例えばオープンソースによる画像処理ライブラリにおいて目検出領域を検出するために予め作成されたハール状のカスケード分類器である。目領域は、目の大きさに所定のマージンを加えた程度のサイズを持つ矩形状の領域である。但し、これは一例であり、目領域の形状は矩形以外の、例えば、３角形、５角形、６角形、又は８角形などであってもよい。顔領域に人物４００の２つの目が含まれている場合、瞳検出部１１３は２つの目のそれぞれに対応する２つの目領域５０を設定する。なお、瞳検出部１１３はパターンマッチングにより目領域５０を設定してもよい。本実施の形態において、目とは、図７に示すように上瞼の境界５３と下瞼の境界５４とによって取り囲まれる、白目と、黒目などの有色の部分とを含む領域を指す。
　図７は、目領域５０を示す図である。図７に示すように、目領域５０は、目の全域を含み、目の大きさに多少のマージンが加えられた矩形状の領域であることが分かる。なお、目領域５０の境界を目に対してどの位置に設定するかは、分類器の性能に依存する。したがって、分類器の性能に応じて目領域５０のサイズは相違する。例えば、目領域５０の上側の境界が上瞼の眉毛付近にまで及ぶこともあり得る。また、目領域５０の鼻側の境界が鼻付近にまで及び、目領域５０の耳側の境界がこめかみ付近にまで及ぶこともあり得る。図７の例では、顔領域４０に左右の目が含まれていたため、瞳検出部１１３は、右目及び左目のそれぞれに対応する２つの目領域５０を設定している。
　図４に参照を戻す、ステップＳ５では、瞳検出部１１３は、ステップＳ４で検出された目領域５０から瞳の中心位置を検出する。以下、ステップＳ５の処理の詳細について説明する。まず、瞳検出部１１３は、目領域５０を二値化する。図８は、二値化された目領域５０を示す図である。ここでは、例えば大津の二値化と呼ばれる手法が採用されている。図８では、輝度が閾値より低い箇所が白、輝度が閾値以上の箇所が黒で表されている。
　次に、瞳検出部１１３は、二値化された目領域５０に現れる白の島にラベリング番号を付与するラベリング処理を行う。図８の例では、上睫毛の左側が１つの島６１とみなされ、島６１に「１」のラベリング番号が付与されている。上睫毛の右側が１つの島６２とみなされ、島６２に「２」のラベリング番号が付与されている。瞳孔が１つの島６３とみなされ、島６３に「３」のラベリング番号が付与されている。下睫毛が一つの島６４とみなされ、島６４に「４」のラベリング番号が付与されている。
　次に、瞳検出部１１３は、ラベリングした島６１～６４のそれぞれに対して、所定の判定条件を満たすか否かを判定し、判定条件を満たす島を瞳孔として判定する。判定条件としては、所定の瞳孔最小面積以上、所定の瞳孔最大面積以下という条件が採用できる。瞳孔最小面積とは、画像データにおいて想定される瞳孔の最小面積であり、瞳孔最大面積とは、画像データにおいて想定される瞳孔の最大面積である。判定条件を満たす島が複数ある場合、瞳検出部１１３は、例えば面積が最大の島を瞳孔と判定してもよい。ここでは、島６３が瞳孔と判定される。
　次に、瞳検出部１１３は、瞳孔の中心を検出する。ここでは、瞳孔の島６３の例えば重心が瞳孔の中心として検出される。
　図８に示す画像は、赤外光カメラによって撮影された画像である。赤外光カメラで撮影された画像データでは、瞳孔と虹彩との間に大きな輝度変化が現れる。そのため、図８の例では、二値化によって瞳孔の島６３が検出されている。一方、可視光カメラで撮影された画像データでは、瞳孔と虹彩との間に大きな輝度変化が現れず、虹彩と白眼との境界で大きな輝度変化が現れる。
　そこで、瞳検出部１１３は、例えばカメラ２００が赤外光カメラである場合、二値化した目領域５０から瞳孔を検出する。一方、瞳検出部１１３は、例えばカメラ２００が可視光カメラである場合、二値化した目領域５０から虹彩を検出する。この場合、瞳検出部１１３は、判定条件として、所定の虹彩最小面積以上、所定の虹彩最大面積以下という条件を採用すればよい。ここで言う、虹彩最小面積及び虹彩最大面積とは、ドーナツ状である虹彩そのものの面積を指すのではなく、虹彩に瞳孔を含めた領域、すなわち瞳の最大面積及び最小面積のことを指す。この場合、瞳検出部１１３は、虹彩の中心を検出すればよい。虹彩の中心としては、虹彩を示す島の例えば重心が採用できる。
　次に、瞳検出部１１３は、瞳孔の外縁を検出する瞳孔外縁検出処理を実行する。瞳孔外縁検出処理としては、Ｊｏｈｎ　Ｇ．　Ｄａｕｇｍａｎの提唱する手法（以下、「ドーグマンアルゴリズム」と呼ぶ。）の一部を利用した瞳孔外縁検出処理を採用すればよい。ドーグマンアルゴリズムは、「Ｈｉｇｈ　Ｃｏｎｆｉｄｅｎｃｅ　Ｖｉｓｕａｌ　Ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　Ｐｅｒｓｏｎｓ　ｂｙ　ａ　Ｔｅｓｔ　ｏｆ　Ｓｔａｔｉｓｔｉｃａｌ　Ｉｎｄｅｐｅｎｄｅｎｃｅ：　Ｊｏｈｎ　Ｇ．　Ｄａｕｇｍａｎ（１９９３）」の文献にて開示されている。
　具体的には、瞳孔外縁検出処理において、まず、瞳検出部１１３は、二値化した目領域５０から検出した瞳孔の中心を円の中心として、所定の瞳孔最小半径を持つ円を設定する。次に、瞳検出部１１３は、設定した円の円周上の輝度の合計値を周回積分により求める。次に、瞳検出部１１３は、直前に設定した円の半径を１ピクセル分、径方向に広げた円に対して周回積分を行うことにより輝度の合計値を求める。次に、瞳検出部１１３は、この処理を、所定の瞳孔最大半径まで繰り返し実行する。これにより、複数の半径と、複数の半径のそれぞれに対応する輝度の合計値との関係を示す関数が得られる。次に、瞳検出部１１３は、この関数を半径について偏微分して、隣り合う半径同士の輝度の合計値の最大変化量を求め、この最大変化量が検出された位置の半径の円を瞳孔外縁として検出する。次に、瞳検出部１１３は、瞳孔外縁の中心を瞳の中心位置として決定する。これで、ステップＳ５の処理は終了となる。
　なお、画像データが可視光カメラで撮影された画像データである場合、瞳検出部１１３は、二値化された目領域５０に対して瞳孔外縁検出処理を適用することによって虹彩外縁を検出する。したがって、画像データが可視光カメラで撮影された画像データである場合、ステップＳ５で最終的に得られる瞳の中心位置は、虹彩外縁の中心位置となる。
　従来、瞳孔外縁検出処理としてはハフ（Ｈａｕｇｈ）円検出処理が広く用いられている。しかし、画像データに含まれる人物４００の瞳孔は正円ばかりではなく、いびつに変形しているケースもある。また、画像データに含まれる人物４００が細目のケース及び顔を横に向けているケースもある。これらのケースでは瞳孔が正円ではなくなるため、ハフ円検出処理では瞳孔外縁を正確に検出できない可能性がある。
　そこで、本実施の形態では、ドーグマンアルゴリズムの一部を利用した瞳孔外縁検出処理を採用する。これにより、本実施の形態では、瞳孔が正円からいびつに変形したケース、細目のケース、及び顔の向きが横向きのケースというような様々なケースにおいて、瞳孔外縁検出処理に対するロバスト性が高められている。
　図４に参照を戻す。ステップＳ６では、水平顔向き検出部１１４１は、ステップＳ３で検出された顔の特徴点に基づいて顔の向きの水平成分を検出する。さらに、ステップＳ６では、垂直顔向き検出部１１４２は、ステップＳ３で検出された顔の特徴点に基づいて顔の向きの垂直成分を検出する。
　顔の向きの水平成分の処理の詳細は下記の通りである。図９は、顔の向きの水平成分を検出する処理の説明図である。図９の左図は顔が左方を向いている状態を示す。図９の右図は顔が右方を向いている状態を示す。
　図９の左図を参照する。まず、水平顔向き検出部１１４１は、顔領域４０に設定された顔の特徴点９Ｘから縦方向の縦中心線１３１と横方向の横中心線１３２とを設定する。例えば、水平顔向き検出部１１４１は、鼻筋の中心を示す特徴点１３３を通り、且つ顔領域４０の縦の辺と平行な直線を縦中心線１３１として設定すればよい。特徴点１３３は、例えば鼻筋を示す５個の特徴点９Ｘのうち、上から３番目の特徴点９Ｘである。水平顔向き検出部１１４１は、例えば特徴点１３３を通り、且つ顔領域４０の横の辺と平行な直線を横中心線１３２として設定すればよい。縦中心線１３１及び横中心線１３２は、鼻筋の中心の特徴点１３３を通るとして説明したが、例えば鼻筋の下端の特徴点１３４を通るように設定されてもよいし、鼻筋の上端の特徴点１３５を通るように設定されてもよい。
　次に、水平顔向き検出部１１４１は、横中心線１３２を特徴点１３３で区画し、右区間Ｋ１と左区間Ｋ２との長さを求める。次に、水平顔向き検出部１１４１は、横中心線１３２の長さを１００％としたときの右区間Ｋ１と左区間Ｋ２との割合を求め、この割合に基づいて顔の向きの水平成分を求める。例えば、右区間Ｋ１の割合をα１、左区間Ｋ２の割合をα２とし、右方を正とする。この場合、水平顔向き検出部１１４１は、図９の左図に示されるように、割合α２が割合α１より小さければ、顔は左方を向いていると判定する。図９の右図に示されるように、割合α１が割合α２より小さければ、水平顔向き検出部１１４１は、顔は右方を向いていると判定する。割合α２が割合α１と概ね等しければ、水平顔向き検出部１１４１は、顔は正面を向いていると判定する。概ね等しいとは、割合α２と割合α１との多少の相違を許容することを意味している。例えば、水平顔向き検出部１１４１は、割合α２と割合α１との両方が５０％に対してプラスマイナスΔαの範囲内にある場合、顔は正面を向いていると判定すればよい。Δαの一例は２％、５％、８％、１０％などである。
　次に、水平顔向き検出部１１４１は、割合α１及び割合α２のうち小さい方の割合を５０から減じる。例えば、図９の左図に示すように、割合α２が割合α１より小さければ、水平顔向き検出部１１４１は、５０－α２を求める。図９の右図に示すように割合α１が割合α２より小さければ、水平顔向き検出部１１４１は、は、５０－α１を求める。次に、水平顔向き検出部１１４１は、顔が右方を向いている場合は、右方が正であるため、５０－α１を顔の向きの水平成分として算出する。一方、水平顔向き検出部１１４１は、顔が左方を見ている場合、左方が負であるため、－（５０－α２）を顔の向きの水平成分として算出する。
　これにより、顔の向きの水平成分の値がプラスの方向に増大するにつれて、顔の向きはより右方を向いていることを示し、顔の向きの水平成分の値がマイナスの方向に増大するにつれて、顔の向きはより左方を向いていることを示す。また、顔の向きの水平成分が０の場合、顔の向きは正面方向であることを示す。以上により、顔の向きの水平成分が算出される。顔の向きの水平成分を求める手法は、上述の手法に限らず、顔の向きの水平成分が算出可能な手法であればどのような手法が採用されてもよい。例えば、顔向きの水平成分は、割合α１と割合α２とのうち大きい方の値から５０を引いた値が採用されてもよい。また、顔の向きの水平成分は左方が正とされてもよい。
　次に、顔の向きの垂直成分について説明する。図１０は、顔の向きの垂直成分を検出する処理の説明図である。図１０の左図は顔が上方を向いている状態を示す。図１０の右図は顔が下方を向いている状態を示す。
　図１０の左図を参照する。まず、垂直顔向き検出部１１４２は、鼻筋の中心を示す特徴点１３３を通り、且つ顔領域４０の横の辺と平行な直線である横中心線１３２を顔領域４０に設定する。なお、横中心線１３２は、特徴点１３３以外の鼻筋の特徴点に設定されてもよい。この横中心線１３２の設定は、水平顔向き検出部１１４１の設定結果が利用されてもよい。
　次に、垂直顔向き検出部１１４２は、顔領域４０の縦辺を、縦辺と横中心線１３２との交点１３６で区画し、上区間Ｋ３と下区間Ｋ４との長さを求める。次に、垂直顔向き検出部１１４２は、前記縦辺の長さを１００％としたときの上区間Ｋ３と下区間Ｋ４との割合を求め、この割合に基づいて顔の向きの垂直成分を求める。例えば、上区間Ｋ３の割合をα３、下区間Ｋ４の割合をα４とし、上方を正とする。この場合、垂直顔向き検出部１１４２は、図１０の左図に示されるように、割合α３が割合α４より小さければ、顔は上方を向いていると判定する。図１０の右図に示されるように、割合α４が割合α３より小さければ、垂直顔向き検出部１１４２は、顔は下方を向いていると判定する。割合α３が割合α４と概ね等しければ、垂直顔向き検出部１１４２は、顔は正面を向いていると判定する。割合α３と割合α４とが概ね等しいとは、上述の割合α１と割合α２とが概ね等しいと同じ意味である。
　次に、垂直顔向き検出部１１４２は、割合α３及び割合α４のうち小さい方の割合を５０から減じる。例えば、図１０の左図に示すように、割合α３が割合α４より小さければ、垂直顔向き検出部１１４２は、５０－α３を求める。図１０の右図に示すように割合α４が割合α３より小さければ、垂直顔向き検出部１１４２は、は、５０－α４を求める。次に、垂直顔向き検出部１１４２は、顔が上方を向いている場合は、上方が正であるため、５０－α３を顔の向きの垂直成分として算出する。一方、垂直顔向き検出部１１４２は、顔が下方を見ている場合、上方が正であるため、－（５０－α４）を顔の向きの垂直成分として算出する。
　これにより、顔の向きの垂直成分の値がプラスの方向に増大するにつれて、顔の向きはより上方を向いていることを示し、顔の向きの垂直成分の値がマイナスの方向に増大するにつれて、顔の向きはより下方を向いていることを示す。また、顔の向きの垂直成分が０の場合、顔の向きは正面方向であることを示す。以上により顔の向きの垂直成分が算出される。顔の向きの垂直成分を求める手法は、上述の手法に限らず、顔の向きの垂直成分が算出可能な手法であればどのような手法が採用されてもよい。例えば、顔の向きの垂直成分は、割合α３及び割合α４のうち大きい方の割合から５０を減じた値が採用されてもよい。また、顔の向きの垂直成分は下方が正にされてもよい。
　図４に参照を戻す。ステップＳ７において、水平視線推定部１１５は、ステップＳ３で顔の特徴点として検出された目尻及び目頭と、ステップＳ５で検出された瞳の中心位置とを用いて瞳方向の水平成分を推定する。
　図１１は、瞳方向の水平成分を検出する処理の第１例の説明図である。図１１では右目が示されている。第１例では、目尻及び目頭を用いて瞳方向の水平成分が算出される。まず、水平視線推定部１１５は、目頭９２と、瞳の中心位置６２２とのＸ方向の距離である第１距離Ｄ１を算出する。水平視線推定部１１５は、目尻９３と瞳の中心位置６２２とのＸ方向の距離である第２距離Ｄ２を算出する。この場合、第１距離Ｄ１は、目頭９２のＸ座標と瞳の中心位置６２２のＸ座標との差分の絶対値で算出される。第２距離Ｄ２は、目尻９３のＸ座標と瞳の中心位置６２２のＸ座標との差分の絶対値で算出される。次に、水平視線推定部１１５は、目頭９２のＸ座標と目尻９３のＸ座標との距離を１００％としたときの第１距離Ｄ１と第２距離Ｄ２との割合β１と割合β２とを算出する。上述の処理は左右の目のそれぞれに対して実行される。
　図１２は、図１１に続く説明図である。図１２の左図は顔がほぼ正面を向いた状態で、瞳が左方を向いた状態を示す。図１２の右図は顔がほぼ正面を向いた状態で瞳が右方を向いた状態を示す。図１２において、Ｌβ１及びＬβ２は左目の第１距離Ｄ１及び第２距離Ｄ２の割合を示し、Ｒβ１及びＲβ２は右目の第１距離Ｄ１及び第２距離Ｄ２の割合を示している。
　図１２の左図では、左右の瞳が左方に寄っている。よって、左目は第２距離Ｄ２が短く、右目は第１距離Ｄ１が短くなっている。図１２の右図では、左右の瞳が右方に寄っている。よって、左目は第２距離Ｄ２が長く、右目は第１距離Ｄ１が長くなっている。
　以上をふまえ、瞳方向の水平成分は下記のように算出される。以下、瞳が右方に寄っている場合を正とする。水平視線推定部１１５は、瞳が左方に寄っているか右方に寄っているかを判定する。この場合、水平視線推定部１１５は、例えば右目に着目し、割合Ｒβ１が割合Ｒβ２より小さければ瞳は左寄りと判定し、割合Ｒβ２が割合Ｒβ１より小さければ瞳は右寄りと判定すればよい。左目に着目した場合、水平視線推定部１１５は、割合Ｌβ２が割合Ｌβ１より小さければ、瞳は左寄りと判定し、割合Ｌβ１が割合Ｌβ２より小さければ、瞳は右寄りと判定すればよい。
　瞳が左方に寄っている場合、図１２の左図に示すように、左目の第２距離Ｄ２の割合Ｌβ２と右目の第１距離Ｄ１の割合Ｒβ１との平均値を算出し、５０からこの平均値を減じた値にマイナスを乗じた値を、瞳方向の水平成分として算出する。平均値を算出しているのは、瞳方向は、左右の目で大差がないからである。５０から平均値を引いているのは、瞳が顔の正面から左方又は右方に寄るにつれて、瞳方向の水平成分の値を大きくするためである。マイナスを乗じているのは右方を正にするためである。
　瞳が右方に寄っている場合、水平視線推定部１１５は、図１２の右図に示すように、左目の第１距離Ｄ１の割合Ｌβ１と右目の第２距離Ｄ２の割合Ｒβ２との平均値を算出し、５０からこの平均値を減じた値を瞳方向の水平成分として算出する。
　これにより、瞳方向の水平成分の値がプラスの方向に増大するにつれて、顔の正面に対して瞳がより右方を向いていることを示し、瞳方向の水平成分の値がマイナスの方向に増大するにつれて、顔の正面に対して瞳がより左方を向いていることを示す。また、瞳方向の水平成分が０の場合、瞳が顔の正面を向いていることを示す。以上により瞳方向の水平成分が算出される。瞳方向の水平成分を求める手法は、上述の手法に限らず、瞳方向の水平成分が算出可能な手法であればどのような手法が採用されてもよい。例えば、上述の例では、割合β１及び割合β２のうち小さい方の割合が用いられていたが、割合β１及び割合β２のうち大きい方の割合が用いられてもよい。この場合、大きい方の割合から５０を減じることで瞳方向の水平成分が算出されてもよい。また、瞳方向の水平成分は、左方が正にされてもよい。
　次に、瞳方向の水平成分を検出する処理の第２例について説明する。第２例では、顔の中心位置を用いて瞳方向の水平成分が検出される。図１３は、瞳方向の水平成分を検出する処理の第２例の説明図である。水平視線推定部１１５は、左の目頭９２のＸ座標と右の目頭９２のＸ座標とを繋ぐ線分Ｌ２の中点を顔の中心位置１４２として検出する。次に、水平視線推定部１１５は、左の瞳の中心位置６２２のＸ座標と、右の瞳の中心位置のＸ座標とを繋ぐ線分Ｌ１の中点１４１を検出する。
　次に、水平視線推定部１１５は、中点１４１と中心位置１４２とのずれ１４３を瞳方向の水平成分として検出する。例えば、右方が正とすると、中心位置１４２に対して中点１４１が左方に位置する場合、ずれの絶対値にマイナスを付した値が瞳方向の水平成分として検出される。中心位置１４２に対して中点１４１が右方に位置する場合、ずれの絶対値が瞳方向の水平成分として検出される。以上により瞳方向の水平成分が算出される。
　図４に参照を戻す。ステップＳ８において水平視線推定部１１５は、ステップＳ６で検出した顔の向きの水平成分とステップＳ７で検出した瞳方向の水平成分とを合成して、視線方向の水平成分を推定する。例えば、視線方向の水平成分は、顔の向きの水平成分と瞳方向の水平成分とを所定の重み係数を用いて重み付け加算することで算出される。但し、これは一例であり、視線方向の水平成分は、顔の向きの水平成分と瞳方向の水平成分とを重み付けせずに加算して算出されてもよい。
　図１４は、光軸１５１、顔の向き１５２、瞳方向１５３、及び視線方向１５４の関係を示した図である。図１４の例では、人物４００を上方から見た状態が示されている。
　図１４の例では、顔の向き１５２は光軸１５１に対して左回りの方向にある。図１４の例では、左回りがマイナス、右回りがプラスとされている。図１４の例では、顔の向き１５２は光軸１５１に対して左回りの方向にある。そのため、光軸１５１を基準とする顔の向き１５２の水平成分は、光軸１５１と顔の向き１５２との角度（－θ１）に相当する値を持つ。また、瞳方向１５３は顔の向き１５２に対して右回りの方向にある。そのため、顔の向き１５２を基準とする瞳方向１５３の水平成分は、顔の向き１５２と瞳方向１５３との角度（＋θ２）に相当する値を持つ。したがって、光軸１５１を基準とする視線方向１５４の水平成分は、光軸１５１と瞳方向１５３との角度（－θ３＝－θ１＋θ２）に相当する値を持つ。
　これに対して、瞳が瞳方向１５５に向いていたとする。この場合、瞳方向１５５は顔の向き１５２に対して左回りの方向にある。そのため、顔の向き１５２を基準とする瞳方向１５５の水平成分は顔の向き１５２と瞳方向１５５との角度（－θ４）に相当する値を持つ。したがって、光軸１５１を基準とする視線方向１５６の水平成分は、光軸１５１と瞳方向１５５との角度（－θ５＝－θ１－θ４）に相当する値を持つ。
　図４に参照を戻す。ステップＳ９では、垂直視線推定部１１６は、ステップＳ６で検出された顔の向きの垂直成分を視線方向の垂直成分として推定する。
　ステップＳ１０では、出力部１１７は、ステップＳ８で推定された視線方向の水平成分と、ステップＳ９で推定された視線方向の垂直成分とを含む視線情報を生成し、表示装置３００に出力する。
　このように、本実施の形態によれば、光軸に対する視線方向の水平成分は、顔の向きの水平成分と、瞳方向の水平成分とを合成することで推定されている。光軸に対する視線方向の垂直成分は、顔の向きの垂直成分に基づいて推定されている。このように、本実施の形態では、光軸に対する視線方向の水平成分及び垂直成分のそれぞれが異なるパラメータを用いて推定されている。よって、本実施の形態は、視線方向の検出精度をさらに向上させることができる。さらに、本実施の形態は、上述したような相関関係を事前に学習することが不要である。よって、本実施の形態は少ない処理ステップ数で高精度に視線方向を検出できる。
　（実施の形態２）
　実施の形態２は、上まぶた及び下まぶたを考慮に入れて視線方向の垂直成分を求めることを特徴とする。図１５は、本開示の実施の形態２に係る画像処理システム１Ａの全体構成の一例を示す図である。以下の説明では、実施の形態１との相違点を中心に説明する。プロセッサ１１０Ａは、さらに、まぶた検出部１１８を含む。垂直視線推定部１１６Ａは、実施の形態１の垂直視線推定部１１６に対して処理内容が相違するため、符号の末尾にＡが付されている。
　まぶた検出部１１８は、画像取得部１１１が取得した画像データに対して後述のまぶた検出処理を適用し、上まぶたの位置及び下まぶたの位置を検出する。
　垂直視線推定部１１６Ａは、瞳検出部１１３により入力された瞳の中心位置及びまぶた検出部１１８により入力された上まぶたの位置間の第３距離と、前記瞳の中心位置及びまぶた検出部１１８により入力された下まぶた間の第４距離とを検出する。垂直視線推定部１１６Ａは、第３距離と第４距離との割合に基づいて瞳方向の垂直成分を推定する。垂直視線推定部１１６Ａは、瞳方向の垂直成分と、顔向き検出部１１４により検出された顔の向きの垂直成分とを合成することによって視線方向の垂直成分を推定する。
　次に、画像処理システム１Ａの動作について説明する。図１６は、実施の形態２に係る画像処理システム１Ａの動作の一例を示すフローチャートである。なお、図１６において図４と同じ処理については、同じ処理番号が付されている。
　ステップＳ８に続くステップＳ１０１では、まぶた検出部１１８は目領域５０に対してまぶた検出処理を適用して上まぶたの位置及び下まぶたの位置を検出する。以下、まぶた検出処理の詳細を説明する。図１７は、まぶた検出処理の説明図である。
　まぶた検出部１１８は、二値化される前の目領域５０を用いる。まず、まぶた検出部１１８は、目領域５０に対して、ステップＳ５で検出された瞳の中心位置６２２を設定する。次に、まぶた検出部１１８は、瞳の中心位置６２２の上側にＹ軸と平行な上垂直線１８３を設定する。次に、まぶた検出部１１８は、上垂直線１８３上を瞳の中心位置６２２から上まぶたに向けて輝度の明るい側への変化が最大になる位置を探索し、この変化が最大になる位置を上まぶたの位置１８１として検出する。上まぶたの位置１８１を検出したまぶた検出部１１８は、瞳の中心位置６２２の下側にＹ軸と平行な下垂直線１８４を設定する。そして、まぶた検出部１１８は下垂直線１８４上を瞳の中心位置６２２から下まぶたに向けて輝度の明るい側への変化が最大になる位置を探索し、この変化が最大になる位置を下まぶたの位置１８２として検出する。なお、この探索処理の詳細は、ドーグマンアルゴリズムにおける虹彩外縁の検出処理を利用した処理が用いられる。
　図１６に参照を戻す。ステップＳ１０２では、垂直視線推定部１１６Ａは、ステップＳ１０１で検出された上まぶたの位置１８１及び下まぶたの位置１８２を用いて瞳方向の垂直成分を推定する。
　再び、図１７を参照する。垂直視線推定部１１６Ａは、瞳の中心位置６２２から上まぶたの位置１８１までの垂直方向の距離である第３距離Ｄ３を検出する。垂直視線推定部１１６Ａは、瞳の中心位置６２２から下まぶたの位置１８２までの垂直方向の距離である第４距離Ｄ４を検出する。
　垂直視線推定部１１６Ａは、上まぶたの位置１８１から下まぶたの位置１８２までの垂直方向の距離を１００％としたときの第３距離Ｄ３の割合γを算出する。ここで、瞳が正面方向を向いている場合の割合γを基準割合（例えば、０．６）とおき、上方向を正とする。この場合、瞳が上寄りになるにつれて、割合γは基準割合から減少していく。瞳が下寄りになるにつれて、割合γは基準割合よりも増大していく。そこで、垂直視線推定部１１６Ａは、基準割合から割合γを減じた値を瞳方向の垂直成分として推定する。これにより、瞳が上寄りになるにつれて瞳方向の垂直成分の値はプラスの方向に増大し、瞳が下寄りになるにつれて瞳方向の垂直成分の値はマイナスの方向に増大する。
　ステップＳ１０３では、垂直視線推定部１１６Ａは、ステップＳ６で検出された顔の向きの垂直成分と、ステップＳ１０２で推定された瞳方向の垂直成分とを合成し、視線方向の垂直成分を推定する。例えば、視線方向の垂直成分は、顔の向きの垂直成分と瞳方向の垂直成分とを所定の重み係数を用いて重み付け加算することで算出される。但し、これは一例であり、視線方向の垂直成分は、顔の向きの垂直成分と瞳方向の垂直成分とを重み付けせずに加算されてもよい。
　このように、本実施の形態によれば、瞳方向の垂直成分を考慮に入れて視線方向の垂直成分が推定されているため、視線方向の検出精度をさらに向上させることができる。
　（実施の形態３）
　実施の形態３は、人物４００の関心度を推定するものである。図１８は、実施の形態３に係る画像処理システム１Ｂの詳細な構成を示すブロック図である。なお、本実施の形態において実施の形態１、２と同一の構成要素には同一の符号を付し、説明を省略する。また、図１８において、図２と名称が同一であるが機能が異なるブロックには末尾にＢの符号が付されている。
　プロセッサ１１０Ｂは、さらに関心度推定部１１９を含む。関心度推定部１１９は、以下の処理により人物４００の関心度を推定する。まず、関心度推定部１１９は、特徴点検出部１１２により検出された顔の特徴点９Ｘを用いて、顔領域４０からまゆげ及び口角を検出する。ここで、関心度推定部１１９は、特徴点検出部１１２により検出された顔の特徴点９Ｘにおいて、まゆげ及び口角のそれぞれに対応するランドマーク点番号が付された特徴点９Ｘを特定することで、まゆげ及び口角を検出すればよい。
　次に、関心度推定部１１９は、出力部１１７から入力された視線情報と、検出したまゆげの位置及び口角の位置とに基づいて人物４００の関心度を推定し、表示装置３００に出力する。具体的には、関心度推定部１１９は、例えば、人が喜び、驚き、怒り、悲しみ、及び無表情等の各種表情をしている際のまゆげ及び口角の標準的な位置が予め記述されたパターンデータを例えばメモリ（図略）から取得する。関心度推定部１１９は、検出した人物４００のまゆげ及び口角の位置と、パターンデータとを照合し、人物４００の表情を推定する。関心度推定部１１９は、推定した人物４００の表情と視線情報が示す視線とを用いて、人物４００の視線がどの方向にある、又は人物４００の注視点がどの位置にあるときに人物４００がどのような表情を行ったかを特定する。すなわち、関心度推定部１１９は、人物４００の視線情報と人物４００の表情とを対応付けたデータを人物４００の関心度として特定する。ここでは、関心度推定部１１９は、まゆげ及び口角に基づいて関心度を推定するとして説明したが、これは一例であり、まゆげ及び口角の一方に基づいて関心度を推定してもよい。
　以上説明したように、本実施の形態によれば、視線情報に加えてまゆげ及び口角をさらに用いて人物４００の関心度が推定されているため、視線情報のみに基づく関心度推定に比べてより高精度に関心度を推定できる。
　（変形例）
　（１）カメラ２００として赤外光カメラが採用された場合、赤外光カメラは、太陽光のスペクトル強度が所定の第１波長よりも減衰した所定の第２波長の帯域の赤外光を用いる赤外光カメラで構成すればよい。所定の第１波長は、例えば８５０ｎｍである。所定の第２波長は、例えば９４０ｎｍである。第２波長の帯域は、例えば８５０ｎｍを含まず、且つ９４０ｎｍを基準（例えば中心）とする所定幅の帯域である。近赤外光を撮影する赤外光カメラとして、８５０ｎｍの赤外光を用いるものが知られている。しかし、８５０ｎｍでは太陽光のスペクトル強度が十分に減衰していないため、太陽光のスペクトル強度が強い屋外において高精度な視線検出ができない可能性がある。そこで、本開示は、赤外光カメラとして例えば９４０ｎｍの帯域の赤外光を用いるカメラを採用する。これにより、太陽光のスペクトル強度が強い屋外においても高精度な視線検出を行うことができる。ここでは、所定の第２波長は９４０ｎｍとしたが、これは一例であり、９４０ｎｍから多少ずれた波長であってもよい。なお、第２波長の赤外光を用いる赤外光カメラは、例えば第２波長の赤外光を照射する投光器を備えるカメラである。
　（２）上記実施の形態では、視線情報は注視点を示す座標データを含むとして説明したが、本開示はこれに限定されない。例えば、視線情報は、注視点を基準（例えば中心）とする所定サイズの所定形状（例えば円、四角形など）の領域である注視面を示す座標データを含んでいてもよい。これにより、人物４００及び注視対象物間の距離又は注視対象物の大きさに依存することなく注視対象物を適切に判定できる。
　本開示は、視線情報を高精度に検出できるため、瞳情報を用いた虹彩認証、視線情報を用いた人物の興味対象の推定、人物の状態推定、及び視線を用いたユーザインターフェースなどにおいて有用である。
 

Claims (15)

  1. 　画像処理装置における画像処理方法であって、
    　撮像装置により撮像された画像データを取得し、
    　前記画像データから、人物の顔の特徴点の位置を検出し、
    　前記画像データから、前記人物の目の瞳の中心位置を検出し、
    　前記特徴点の位置に基づいて、前記顔の向きの水平成分及び垂直成分を検出し、
    　前記顔の向きの水平成分と、前記瞳の中心位置及び前記特徴点の位置間の距離とに基づいて、前記撮像装置の光軸に対する前記人物の視線方向の水平成分を推定し、
    　少なくとも前記顔の向きの垂直成分に基づいて、前記視線方向の垂直成分を推定し、
    　前記視線方向の水平成分及び垂直成分を含む視線情報を出力する、
    　画像処理方法。
  2. 　前記特徴点は、前記人物の目尻及び目頭を含む、
    　請求項１記載の画像処理方法。
  3. 　前記視線方向の水平成分の推定では、前記瞳の中心位置及び前記目尻の位置間の第１距離と前記瞳の中心位置及び前記目頭の位置間の第２距離との割合に基づいて前記顔の向きに対する前記瞳の方向である瞳方向の水平成分を推定し、前記顔の向きの水平成分と前記瞳方向の水平成分とを合成することによって前記視線方向の水平成分を推定する、
    　請求項２記載の画像処理方法。
  4. 　前記特徴点は、前記顔の中心位置を含む、
    　請求項１記載の画像処理方法。
  5. 　前記視線方向の水平成分の推定では、前記人物の左右それぞれの瞳の中心位置の中点と前記顔の中心位置とのずれに基づいて前記顔の向きに対する前記瞳の方向である瞳方向の水平成分を推定し、前記瞳方向の水平成分と前記顔の向きの水平成分とを合成することによって前記視線方向の水平成分を推定する、
    　請求項４記載の画像処理方法。
  6. 　前記視線方向の垂直成分の推定では、さらに前記瞳の中心位置及び前記人物の上まぶた間の第３距離と前記瞳の中心位置及び前記人物の下まぶた間の第４距離とを用いて前記視線方向の垂直成分を推定する、
    　請求項１～５のいずれかに記載の画像処理方法。
  7. 　前記視線方向の垂直成分の推定では、前記第３距離と前記第４距離との割合に基づいて前記顔の向きに対する前記瞳の方向である瞳方向の垂直成分を推定し、前記瞳方向の垂直成分と前記顔の向きの垂直成分とを合成することによって前記視線方向の垂直成分を推定する、
    　請求項６記載の画像処理方法。
  8. 　前記特徴点は、まゆげ及び口角の少なくとも一方を含み、
    　前記視線情報と、前記まゆげの位置及び前記口角の位置の少なくとも一方に基づいて前記人物の関心度を推定する、
    　請求項１～７のいずれかに記載の画像処理方法。
  9. 　前記まゆげの位置及び前記口角の位置の少なくとも一方に基づいて前記人物の表情を推定し、
    　前記視線情報と、前記推定された表情を示す情報とに基づいて前記人物の関心度を推定する、
    　請求項８記載の画像処理方法。
  10. 　前記視線情報は、所定の対象面における前記人物の注視点を基準とする所定範囲の領域である注視面を示す情報を含む、
    　請求項１～９のいずれかに記載の画像処理方法。
  11. 　前記画像データは、可視光カメラにより撮影されたものであり、
    　前記瞳の中心位置は、虹彩の中心位置である、
    　請求項１～１０のいずれかに記載の画像処理方法。
  12. 　前記画像データは、赤外光カメラにより撮影されたものであり、
    　前記瞳の中心位置は、瞳孔の中心位置である、
    　請求項１～１０のいずれかに記載の画像処理方法。
  13. 　前記画像データは、太陽光のスペクトル強度が所定の第１波長よりも減衰した所定の第２波長の帯域の赤外光を用いる赤外光カメラで撮影された画像データである、
    　請求項１～１２のいずれかに記載の画像処理方法。
  14. 　撮像装置により撮像された画像データを取得する取得部と、
    　前記画像データから、人物の顔の特徴点の位置を検出する特徴点検出部と、
    　前記画像データから、前記人物の目の瞳の中心位置を検出する瞳検出部と、
    　前記特徴点の位置に基づいて、前記顔の向きの水平成分及び垂直成分を検出する顔向き検出部と、
    　前記顔の向きの水平成分と、前記瞳の中心位置及び前記特徴点の位置間の距離とに基づいて、前記撮像装置の光軸に対する前記人物の視線方向の水平成分を推定する水平視線推定部と、
    　少なくとも前記顔の向きの垂直成分に基づいて、前記視線方向の垂直成分を推定する垂直視線推定部と、
    　前記視線方向の水平成分及び垂直成分を含む視線情報を出力する出力部とを備える、
    　画像処理装置。
  15. 　撮像装置により撮像された画像データを取得する取得部と、
    　前記画像データから、人物の顔の特徴点の位置を検出する特徴点検出部と、
    　前記画像データから、前記人物の目の瞳の中心位置を検出する瞳検出部と、
    　前記特徴点の位置に基づいて、前記顔の向きの水平成分及び垂直成分を検出する顔向き検出部と、
    　前記顔の向きの水平成分と、前記瞳の中心位置及び前記特徴点の位置間の距離とに基づいて、前記撮像装置の光軸に対する前記人物の視線方向の水平成分を推定する水平視線推定部と、
    　少なくとも前記顔の向きの垂直成分に基づいて、前記視線方向の垂直成分を推定する垂直視線推定部と、
    　前記視線方向の水平成分及び垂直成分を含む視線情報を出力する出力部としてコンピュータを機能させる画像処理プログラム。
     
PCT/JP2020/004555 2019-11-14 2020-02-06 画像処理方法、画像処理装置、及び画像処理プログラム WO2021095278A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080078610.7A CN114761999A (zh) 2019-11-14 2020-02-06 图像处理方法、图像处理装置以及图像处理程序
US17/741,623 US20220270407A1 (en) 2019-11-14 2022-05-11 Image processing method, image processing device, and non-transitory computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019206326A JP6721169B1 (ja) 2019-11-14 2019-11-14 画像処理方法、画像処理装置、及び画像処理プログラム
JP2019-206326 2019-11-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/741,623 Continuation US20220270407A1 (en) 2019-11-14 2022-05-11 Image processing method, image processing device, and non-transitory computer readable storage medium

Publications (1)

Publication Number Publication Date
WO2021095278A1 true WO2021095278A1 (ja) 2021-05-20

Family

ID=71402425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004555 WO2021095278A1 (ja) 2019-11-14 2020-02-06 画像処理方法、画像処理装置、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20220270407A1 (ja)
JP (1) JP6721169B1 (ja)
CN (1) CN114761999A (ja)
WO (1) WO2021095278A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104524A (ja) * 2007-10-25 2009-05-14 Hitachi Ltd 視線方向計測方法および視線方向計測装置
WO2012105196A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 関心度推定装置および関心度推定方法
JP2015064513A (ja) * 2013-09-26 2015-04-09 カシオ計算機株式会社 表示装置、コンテンツ表示方法及びプログラム
JP2016162234A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 注目領域検出装置、注目領域検出方法及びプログラム
JP2018136770A (ja) * 2017-02-22 2018-08-30 沖電気工業株式会社 情報処理装置、方法および情報処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104524A (ja) * 2007-10-25 2009-05-14 Hitachi Ltd 視線方向計測方法および視線方向計測装置
WO2012105196A1 (ja) * 2011-02-04 2012-08-09 パナソニック株式会社 関心度推定装置および関心度推定方法
JP2015064513A (ja) * 2013-09-26 2015-04-09 カシオ計算機株式会社 表示装置、コンテンツ表示方法及びプログラム
JP2016162234A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 注目領域検出装置、注目領域検出方法及びプログラム
JP2018136770A (ja) * 2017-02-22 2018-08-30 沖電気工業株式会社 情報処理装置、方法および情報処理システム

Also Published As

Publication number Publication date
CN114761999A (zh) 2022-07-15
JP2021081788A (ja) 2021-05-27
US20220270407A1 (en) 2022-08-25
JP6721169B1 (ja) 2020-07-08

Similar Documents

Publication Publication Date Title
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
Ji et al. Eye and mouth state detection algorithm based on contour feature extraction
JP6930223B2 (ja) 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
Peréz et al. A precise eye-gaze detection and tracking system
CN108985210A (zh) 一种基于人眼几何特征的视线追踪方法及系统
JP5578603B2 (ja) 視線制御装置、視線制御方法、及びそのプログラム
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
US20170169501A1 (en) Method and system for evaluating fitness between wearer and eyeglasses
US20220270287A1 (en) Eye gaze detection method, eye gaze detection device, and non-transitory computer readable storage medium
CN104766059A (zh) 快速精确的人眼定位方法及基于人眼定位的视线估计方法
US20180174309A1 (en) Eye Motion Detection Method, Program, Program Storage Medium, and Eye Motion Detection Device
Martinikorena et al. Fast and robust ellipse detection algorithm for head-mounted eye tracking systems
JP2018205819A (ja) 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法
US20220075983A1 (en) Image processing method, image processing device, and non-transitory computer readable storage medium
Pires et al. Unwrapping the eye for visible-spectrum gaze tracking on wearable devices
JP6745518B1 (ja) 視線検出方法、視線検出装置、及び制御プログラム
JPWO2018220963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016111612A (ja) コンテンツ表示装置
Khan et al. A new 3D eyeball tracking system to enhance the usability of page scrolling
WO2021095278A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
TW201533609A (zh) 以輔助燈光相對位置為基礎之瞳孔定位方法、其系統以及其電腦程式產品
JP6757949B1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
Jeong et al. Eye pupil detection system using an ensemble of regression forest and fast radial symmetry transform with a near infrared camera
US10796147B1 (en) Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20886559

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20886559

Country of ref document: EP

Kind code of ref document: A1