WO2017217026A1 - 角膜中心検出装置および視線検出装置 - Google Patents

角膜中心検出装置および視線検出装置 Download PDF

Info

Publication number
WO2017217026A1
WO2017217026A1 PCT/JP2017/007901 JP2017007901W WO2017217026A1 WO 2017217026 A1 WO2017217026 A1 WO 2017217026A1 JP 2017007901 W JP2017007901 W JP 2017007901W WO 2017217026 A1 WO2017217026 A1 WO 2017217026A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
camera
corneal
light
center
Prior art date
Application number
PCT/JP2017/007901
Other languages
English (en)
French (fr)
Inventor
山下　龍麿
河内　隆宏
智也 鎌田
佐藤　亮平
Original Assignee
アルプス電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルプス電気株式会社 filed Critical アルプス電気株式会社
Publication of WO2017217026A1 publication Critical patent/WO2017217026A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • the present invention relates to a corneal center detection device that detects the position of the corneal reflection light center of the eyes of a driver of a car or other subjects, and a line-of-sight detection device that uses a detection result of the corneal center detection device.
  • the line-of-sight measurement device described in Patent Document 1 prepares a plurality of point light sources, irradiates the surface of the eyeball simultaneously, selects a combination of reflected light in an appropriate positional relationship, and forms a corneal reflection image. The detection error of the reflected image is reduced.
  • a bright pupil image and a dark pupil image are picked up using a stereo camera composed of two cameras and a light source arranged in the vicinity of each camera, and a line of sight is obtained by a cornea reflection image and a pupil detected from these images.
  • the device which detects this is put into practical use.
  • the cornea reflection image is a small bright spot, and there is a problem that the line of sight cannot be detected if it is lost.
  • the range in which the line of sight can be detected is narrow because the light does not reach the cornea or the reflected light from the cornea may not be directed to the camera even if the light reaches the cornea.
  • a plurality of point light sources are arranged on both sides of the camera and light is irradiated to the eyeball simultaneously, so that the light does not reach the cornea.
  • a plurality of point light sources are arranged in a relatively close positional relationship such that two corneal reflection images can be acquired simultaneously, so that depending on the rotation angle of the eyeball In some cases, light from all point light sources does not reach the cornea, or reflected light from the cornea does not reach the camera even if light reaches the cornea.
  • the present invention can widen the detectable range of the corneal reflection light by preventing the situation where the image of the corneal reflection light cannot be acquired due to the rotation angle of the eyeball of the subject, and the detection of the corneal reflection light. It is an object of the present invention to provide a corneal center detection device with less processing burden and a line-of-sight detection device using the same.
  • a corneal center detection apparatus provides a first camera and a second camera that acquire an image including an eye of a subject, and a detection light to the eye of the subject.
  • a corneal center detection apparatus including a first light source and a second light source, wherein the first camera and the second camera are arranged close to each other, and each of the first light source and the second light source emits light of a subject.
  • the corneal center detection device is disposed so as to be incident on different positions of the eye, the corneal center detection device further includes a corneal reflection light detection unit that detects corneal reflection light in images acquired by the first camera and the second camera, A corneal center calculation unit that calculates a corneal center based on an image acquired by the camera and the second camera, and a light source control unit that switches driving of the first light source and the second light source.
  • the light source control unit detects corneal reflected light. In the detection by the When the cornea reflected light is not detected in the image La and the second camera is obtained, it is characterized by driving the other when stopping one of the driving of the first and second light sources.
  • the detection light from the first light source or the second light source can be given to the eye, so that the detectable range of the corneal reflection light can be expanded.
  • the control performed by the light source control unit prevents the detection light from the first light source and the second light source from being simultaneously applied to the eye, thereby facilitating the detection process of the corneal reflection light.
  • the difference in incident angle is preferably 20 degrees or more. Accordingly, based on the divergence angle of the detection light emitted from each light source, the light source switching frequency by the light source control unit is set to an appropriate range, and the overlapping range in which the detection light from both light sources enters the cornea Can be reduced.
  • the corneal center detection apparatus of the present invention it is preferable that at least one of the first camera and the second camera is arranged so as to be substantially coaxial with the optical axis of the first light source. Thereby, when the reflected light from the cornea of the detection light from the first light source is received, the center of the cornea can be detected by simple calculation.
  • the corneal center calculation unit when the second light source is driven by the control of the light source control unit, the corneal center calculation unit is based on the image acquired by the first camera and the image acquired by the second camera. Preferably, two curves corresponding to the corneal center are calculated, and the corneal center is calculated based on the two curves.
  • the corneal center calculation unit calculates the corneal center by calculating the intersection or the closest point of the two curves. Therefore, even when the detection light from the second light source non-coaxial with the first camera and the second camera is used, the center of the cornea can be accurately calculated.
  • the line-of-sight detection device of the present invention includes a pupil center calculation unit that calculates the pupil center of the subject, the pupil center calculated by the pupil center calculation unit, and the corneal center detected by any one of the corneal center detection devices described above. And a line-of-sight direction calculation unit that calculates the line-of-sight direction based on the above.
  • the detectable range of the line-of-sight direction can be expanded, and the detection light from the first light source and the second light source is not given to the eye at the same time, so that the detection process of the corneal reflection light becomes easy.
  • the speed of gaze detection can be increased.
  • the present invention it is possible to widen the detectable range of the corneal reflection light by preventing the situation where the image of the corneal reflection light cannot be acquired due to the rotation angle of the eyeball of the subject, and the detection of the corneal reflection light. It is possible to provide a corneal center detection device and a line-of-sight detection device using the corneal center detection device with less processing burden.
  • FIG. 1 It is a block diagram which shows the structure of the gaze detection apparatus containing the cornea center detection apparatus of embodiment of this invention. It is a top view which shows arrangement
  • (A) is a top view which shows the state which has a 1st light source in front of a driver
  • (B) is a top view which shows the state from which the direction of the eye E changed with respect to (A).
  • the corneal center detection device and the line-of-sight detection device according to the present embodiment are installed, for example, on an instrument panel or an upper part of a windshield in a vehicle cabin so as to face the driver's face as a subject.
  • FIG. 1 is a block diagram showing a configuration of a line-of-sight detection device 10 including the corneal center detection device of the present embodiment.
  • the line-of-sight detection device 10 includes two light sources 11 and 12, a light source control unit 13, two cameras 21 and 22, an image acquisition unit 23, a corneal center detection unit 31, and a line-of-sight direction.
  • a calculation unit 32 and a pupil center calculation unit 33 are provided.
  • the two light sources 11 and 12, the light source control unit 13, the two cameras 21 and 22, the image acquisition unit 23, and the corneal center detection unit 31 constitute a corneal center detection device. Below, the detailed structure of each member is demonstrated.
  • the first light source 11 and the second light source 12 are LED light sources, and emit infrared light having the same wavelength as detection light, for example, infrared light (near infrared light) having a wavelength of 850 nm.
  • infrared light having a wavelength of 850 nm has a low light absorption rate in the human eyeball and is easily reflected by the retina at the back of the eyeball.
  • the 1st light source 11 and the 2nd light source 12 are mutually spaced apart so that each emitted light may inject into a different position of a driver
  • the first camera 21 and the second camera 22 have, for example, a CMOS (complementary metal oxide semiconductor) as an image sensor, and the image sensor acquires a face image including the eyes of the driver.
  • the imaging element has a plurality of pixels arranged in the horizontal direction and the vertical direction, and light is detected by a light receiving element arranged at the position of each pixel.
  • the first camera 21 and the second camera 22 are arranged close to each other, and the interval between the first camera 21 and the second camera 22 is sufficiently larger than the interval between the first light source 11 and the second light source 12. It is a short interval.
  • the first camera 21 and the second camera 22 By arranging the first camera 21 and the second camera 22 close to each other, the light reflected from the cornea of the driver by the detection light emitted from the first light source 11 and the second light source 12 is transmitted to one camera. When it enters, it enters the other camera.
  • the first camera 21 is arranged so that the optical axes thereof are substantially coaxial with each other with respect to the first light source 11.
  • the first light source 11 is configured as a plurality of LED light sources, and these LED light sources are arranged at equiangular intervals on a circle centered on the optical axis of the first camera 21, whereby the first light source 11 as a whole is arranged.
  • the virtual optical axis is coaxial with the optical axis of the first camera 21.
  • the first camera 21 and the second camera 22 are arranged at a predetermined distance from the second light source 12, and their optical axes are non-coaxial with respect to the optical axis of the second light source 12.
  • FIG. 2 is a plan view showing the arrangement of the two light sources 11 and 12 and the first camera 21.
  • FIG. 2 shows a state where the driver is facing the front, that is, the first light source 11.
  • the 1st light source 11 and the 2nd light source 12 are arrange
  • the extension line of the optical axis 11c of the first light source 11 and the optical axis 12c of the second light source 12 intersects on or near the pupil center Px when the driver is facing the front, and the intersection angle is predetermined. It arrange
  • the optical axis 11c of the first light source 11 and the optical axis 12c of the second light source 12 intersect at the driver's pupil center Px, and the intersection angle is ⁇ .
  • the second camera 22 is not coaxial with the first camera 21, but is closer to the first camera 21 than the distance between the first light source 11 and the second light source 12. Placed in position. The position of the second camera 22 is a position where the reflected light of the detection light given from the first light source 11 enters the driver facing the front, and this reflected light is incident on the first camera 21 and the second camera 22. Incident.
  • FIG. 3A is a plan view showing a state in which the first light source 11 is in front of the driver's eye E
  • FIG. 3B is a state in which the direction of the eye E is changed with respect to FIG. FIG.
  • the detection light from the first light source 11 enters the surface Bs of the cornea almost perpendicularly, and this incident light L11 is reflected in the direction opposite to the incident direction as reflected light L12 (corneal reflected light) from the surface Bs and enters the first camera 21.
  • the corneal reflected light L12 also enters the second camera 22 that is disposed in the vicinity of the first camera 21.
  • the light L21 incident on the cornea surface Bs from the second light source 12 is reflected by the cornea surface Bs, and the cornea reflected light L22 is transmitted to the first camera 21 and the second camera 22 by the curvature of the surface Bs. Does not enter.
  • the first light source 11 L31 incident on the surface Bs of the cornea from the first and second cameras 21 and 2 is reflected in a direction different from the incident direction as reflected light L32 (corneal reflected light) from the surface Bs due to the curvature of the surface Bs. It progresses without entering any of 22.
  • the light L41 incident on the cornea surface Bs from the second light source 12 enters the cornea surface Bs substantially perpendicularly, and the cornea-reflected light L42 corresponds to the first camera 21 and the second light according to the curvature of the surface Bs. The light enters the camera 22.
  • Detection light given from the second light source 12 in which the crossing angle of the optical axis 12c with respect to the optical axis 11c is set to a predetermined angle or more is incident on the cornea surface Bs, and the cornea reflected light is received by the first camera 21. Is possible.
  • the crossing angle between the optical axis 11c of the first light source 11 and the optical axis 12c of the second light source 12 is assumed to be the movement of the eye, the general shape of the cornea, the optical characteristics of the emitted light from the first light source 11, for example,
  • the light emitted from the second light source 12 is set based on the divergence angle and the like so that the corneal reflection light from the light emitted from the first light source 11 cannot be received by the first camera 21. Can be received by the first camera 21, so that the corneal reflected light can be obtained without interruption even if the direction of the eye changes.
  • the face image including the driver's eyes is acquired by the first camera 21 and the second camera 22.
  • An image acquired when the first light source 11 is turned on while facing the front is detected as a bright pupil image by the image acquisition unit 23, and an image acquired when the second light source 12 is turned on is an image acquisition unit.
  • 23 is detected as a dark pupil image.
  • the detected bright pupil image and dark pupil image are output to the pupil center calculation unit 33.
  • the pupil center calculation unit 33 the bright pupil image and the dark pupil image given from the image acquisition unit 23 are subjected to image processing and binarized, and an area image corresponding to the shape and area of the pupil is calculated.
  • an ellipse including this area image is extracted, and the intersection of the major axis and the minor axis of the ellipse is calculated as the center position of the pupil.
  • the center position of the pupil may be calculated from the luminance distribution of the pupil image.
  • the cornea and surrounding image data acquired by the first camera 21 and the second camera 22 are transferred to the image acquisition unit 23, and an eye image signal is detected for each frame. Furthermore, the image acquisition unit 23 determines whether or not a predetermined spot image exists in the eye image as a corneal reflection light detection unit. When the image acquisition unit 23 detects a spot image whose luminance and size are within a preset range, the image acquisition unit 23 determines that the image is a spot image (corneal reflection image) as corneal reflection light, and such a spot. If there is no image, it is determined that no cornea reflected light has been detected. The determination result by the image acquisition unit 23 is output to the light source control unit 13.
  • the light source control unit 13 pulse-drives the first light source 11 and the second light source 12 and switches the driving of the first light source 11 and the second light source 12 based on the determination result by the image acquisition unit 23.
  • the first light source 11 is first driven and turned on, and corneal reflection light is detected in the image acquisition unit 23 for the images acquired by the first camera 21 and the second camera 22.
  • the first light source 11 is continuously driven while the corneal reflection light is no longer detected, the first light source 11 is stopped, the second light source 12 is started, and the detection light is emitted.
  • the driving of the second light source 12 is continued while the corneal reflection light is detected in the image acquisition unit 23,
  • the driving of the second light source 12 is stopped and the first light source 11 is driven again.
  • a predetermined time for example, 0.5 seconds
  • the corneal reflection by the light emitted from the first light source 11 and the second light source 12 is performed.
  • An image can be reliably prevented from being simultaneously acquired by the first camera 21.
  • the 1st light source 11 and the 2nd light source 12 are not driven simultaneously, power consumption can be suppressed.
  • the image signal detected by the image acquisition unit 23 is given to the corneal center detection unit 31.
  • This image signal includes a luminance signal by reflected light reflected from a reflection point on the corneal surface.
  • the reflected light from the reflection point on the surface of the cornea forms a Purkinje image, and a spot image with a very small area is acquired on the image sensor.
  • the corneal center detection unit 31 performs image processing on the spot image, obtains the center of reflected light from the reflection point of the cornea, and calculates the position of the spot image on the image.
  • the corneal center detection unit 31 calculates the corneal center as follows based on the detected spot image.
  • FIG. 4 is a conceptual diagram showing a calculation model of the corneal center.
  • FIG. 4 shows the positional relationship between the cornea pseudosphere B, in which the cornea is regarded as a sphere, the camera C, and the light source S.
  • the light emitted from the light source S is reflected by the reflection point P on the surface Bs of the cornea pseudosphere B and enters the camera C.
  • the corneal center Bx which is the center of the sphere of the corneal pseudosphere B, is on the plane formed by the light source S, the camera C, and the reflection point P on the corneal surface Bs.
  • the camera C and the light source S have known coordinate positions with respect to the camera C, and the optical axes are non-coaxial.
  • Vp Vc + L ⁇ Vd (1)
  • Vc a position vector of the optical center of the camera C
  • Vd a unit vector in the detection direction by the camera C
  • the distance L takes a value of zero or more.
  • a straight line L1 passing through the reflection point P and the corneal center Bx is an internal angle 2 ⁇ formed by a straight line along the vector Vd and a straight line along the vector Vs in the emission direction of the detection light from the light source S. Is a line that bisects. Therefore, the cornea center Bx exists on the direction vector Vb formed by the bisector of the two vectors Vd and Vs with respect to the reflection point P.
  • This direction vector Vb can be expressed by the following equation (2) from the positional relationship between the camera C, the light source S, and the reflection point P.
  • Vb (Vs /
  • the position vector Vx of the corneal center Bx can be calculated by the following equation (3).
  • Vx Vp + (r ⁇ (Vb /
  • r is the radius of the corneal pseudosphere B.
  • a known numerical value can be used.
  • the trajectory formed by the corneal center Bx is a curve, and the curve gradually approaches a straight line from the camera C to the reflection point P as the distance L increases.
  • the two cameras 21 and 22 are arranged close to each other, and curves indicating the locus of the corneal center Bx are obtained at coordinates based on the respective cameras.
  • the corneal center Bx can be determined as one point. If the two curves do not intersect due to a detection error or the like, the closest point of the two curves is calculated, and this point is detected as the corneal center Bx. In the example shown in FIG.
  • the corneal center calculation value calculated by the corneal center detection unit 31 and the pupil center calculation value calculated by the pupil center calculation unit 33 are given to the gaze direction calculation unit 32.
  • the line-of-sight direction calculation unit 32 detects the direction of the line of sight from the corneal center calculated value and the pupil center calculated value.
  • the light source control unit 13 Since the light source that provides the detection light is switched by the control, the detection of the corneal center can be continued, and the detectable range of the corneal reflection light can be expanded. In addition, since the detection light from the first light source 11 and the second light source 12 is not given to the eye at the same time, the detection process of the corneal reflection light is facilitated, and the speed of line-of-sight detection can be increased.
  • the first camera 21 is arranged so as to be substantially coaxial with the optical axis 11c of the first light source 11, and the second camera 22 is arranged close to the first camera 21, so that the eyes facing the front face
  • the corneal center is located on the extension of the straight line from the first light source 11 to the corneal reflection point, so that the corneal center can be detected by simple calculation.
  • FIG. 5 is a plan view showing the arrangement of the three light sources 11, 12, and 14 and the first camera 11 in the modified example.
  • FIG. 5 shows a state where the driver is facing the front, that is, the first light source 11.
  • a third light source 14 is arranged in addition to the first light source 11, the second light source 12, the first camera 21, and the second camera 22 of the first embodiment.
  • the third light source 14 is disposed at a position symmetrical to the second light source 12 with respect to the optical axis 11 c of the first light source 11.
  • the third light source 14 is separated from the first light source 11 and the second light source 12, and the light emitted from the third light source 14 is different from the light emitted from the first light source 11 and the second light source 12. The light then enters the driver's eye E.
  • the extension line of the optical axis 14c of the third light source 14 is the pupil when the driver is facing the front with respect to the extension lines of the optical axis 11c of the first light source 11 and the optical axis 12c of the second light source 12.
  • the crossing is performed on or near the center Px, and the crossing angle is set to an angle of a predetermined angle or more, for example, 20 degrees or more.
  • the optical axes 11c, 12c, and 14c of the first light source 11, the second light source 12, and the third light source 14 intersect at the pupil center Px of the driver, and the optical axis 11c.
  • the intersection angle of the optical axis 12c and the intersection angle of the optical axis 11c and the optical axis 14c are both ⁇ .
  • the second camera 22 is not coaxial with the first camera 21, but the distance between the first light source 11 and the second light source 12, and the first light source 11 and the third light source. It is arranged at a position closer to the first camera 21 than the distance to 14.
  • the position of the second camera 22 is a position where the reflected light of the detection light given from the first light source 11 enters the driver facing the front, and this reflected light is incident on the first camera 21 and the second camera 22. Incident.
  • the driver's eye E rotates clockwise from the front position shown in FIG. 5 toward the third light source 14, and the first light source 11 is displaced from the front of the eye E.
  • the first camera 21 and the second camera 22 can receive the emitted light from the third light source 14.
  • the center of the cornea can be detected in the same manner as when the eye E rotates to the second light source 12 side. Therefore, it is possible to detect the center of the cornea with respect to a wider range of eye orientations including the range of both the second light source 12 side and the third light source 14 side with respect to the front.
  • the third light source 14 is arranged at a position symmetrical to the second light source 12 with respect to the optical axis 11c of the first light source 11, but may be arranged at an asymmetric position. Further, instead of the third light source 14 or in addition to the third light source 14, a light source may be further provided on the side symmetric with the first light source 11 with respect to the optical axis 12c of the second light source 12. Further, a light source may be further arranged at a position shifted more clockwise than the third light source 14.
  • the optical axes of the first light source 11 and the first camera 21 are substantially coaxial, but may be non-coaxial.
  • the corneal center can be detected as in the model shown in FIG.
  • the corneal center detection device expands the detectable range of the corneal reflected light by preventing the situation where the image of the corneal reflected light cannot be acquired due to the rotation angle of the eyeball of the subject. It is useful in that it can be performed and the burden of the detection process of the corneal reflection light is small.
  • Gaze detection apparatus 11 1st light source 11c Optical axis 12 2nd light source 12c Optical axis 13 Light source control part 14 3rd light source 14c Optical axis 21 1st camera 22 2nd camera 23 Image acquisition part 31 Corneal center detection part 32 Gaze direction calculation Part 33 Pupil center calculation part B Corneal pseudosphere Bs Cornea surface Bx Corneal center C Camera E Eye L1 Straight line L11, L21, L31, L41 Emitted light (detection light) L12, L22, L32, L42 Reflected light P Reflected point Px Pupil center S Light source Vb, Vc, Vd, Vp, Vs, Vx Vector

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】対象者の眼球の回転角度などに起因して角膜反射光の像が取得できない事態を防ぐことにより角膜反射光の検出可能範囲を広げる。 【解決手段】第１カメラと第２カメラは互いに近接して配置され、第１光源と第２光源は、それぞれの出射光が対象者の眼の異なる位置に入射するように互いに離間して配置され、角膜中心検出装置はさらに、第１カメラおよび第２カメラが取得した画像において角膜反射光を検出する角膜反射光検出部と、第１カメラおよび第２カメラが取得した画像に基づいて角膜中心を算出する角膜中心算出部と、第１光源と第２光源の駆動を切り替える光源制御部とを備え、光源制御部は、角膜反射光検出部による検出において、第１カメラおよび第２カメラが取得した画像に角膜反射光が検出されなかったときに、第１光源と第２光源の一方の駆動を停止して他方を駆動させる。

Description

角膜中心検出装置および視線検出装置
　本発明は、車の運転者その他の対象者の眼の角膜反射光中心の位置を検出する角膜中心検出装置、および、角膜中心検出装置による検出結果を用いた視線検出装置に関する。
　特許文献１に記載の視線測定装置は、複数個の点光源を用意して眼球表面に同時に照射し、適切な位置関係にある反射光の組み合わせを選出して角膜反射像とすることで、角膜反射像の誤検出を低減することとしている。
　近年では、２つのカメラと、それぞれのカメラの近傍に配置された光源とからなるステレオカメラを用いて明瞳孔画像と暗瞳孔画像を撮像し、これらの画像から検出した角膜反射像と瞳孔によって視線を検知する装置が実用化されている。しかし、角膜反射像は小さな輝点であり、ロストしてしまうと視線を検知できないという問題があった。また、眼球の回転角度によっては、角膜に光が届かない場合や、角膜に光が届いても角膜からの反射光がカメラ側へ向かわない場合があるため、視線を検知可能な範囲が狭かった。
　これに対して、特許文献１に記載の視線測定装置では、複数個の点光源がカメラを挟んだ両側に配置され、眼球に対して同時に光が照射されるため、角膜に光が届かない事態や、角膜からの反射光を検出できない事態が発生することを減らすことができる。
特開２００６－０８７７５１号公報
　しかしながら、特許文献１に記載の視線測定装置においては、適切な位置関係にある反射光の組み合わせを選出して角膜反射像とする処理、さらには、視線を算出する際にはいずれか一方の角膜反射像を選択する処理が必要であり、また、２つの角膜反射像の一部が重なったときには、その形状から重心を求める処理が必要となり、角膜反射像の特定や視線検出の処理の高速化を困難としていた。
　さらに、特許文献１に記載の視線測定装置では、２つの角膜反射像が同時に取得されるような、比較的近接した位置関係で複数の点光源がそれぞれ配置されているため、眼球の回転角度によっては、すべての点光源からの光が角膜に届かない場合や、角膜に光が届いても角膜からの反射光がカメラに届かない場合が発生するおそれがあった。
　そこで本発明は、対象者の眼球の回転角度などに起因して角膜反射光の像が取得できない事態を防ぐことにより角膜反射光の検出可能範囲を広げることができ、かつ、角膜反射光の検出処理の負担が少ない角膜中心検出装置およびこれを用いた視線検出装置を提供することを目的とする。
　上記課題を解決するために、本発明の角膜中心検出装置は、対象者の眼を含む画像を取得する、第１カメラ及び第２カメラと、対象者の眼に対して検出光を与える、第１光源及び第２光源とを備えた角膜中心検出装置であって、第１カメラと第２カメラは互いに近接して配置され、第１光源と第２光源は、それぞれの出射光が対象者の眼の異なる位置に入射するように互いに離間して配置され、角膜中心検出装置はさらに、第１カメラおよび第２カメラが取得した画像において角膜反射光を検出する角膜反射光検出部と、第１カメラおよび第２カメラが取得した画像に基づいて角膜中心を算出する角膜中心算出部と、第１光源と第２光源の駆動を切り替える光源制御部とを備え、光源制御部は、角膜反射光検出部による検出において、第１カメラおよび第２カメラが取得した画像に角膜反射光が検出されなかったときに、第１光源と第２光源の一方の駆動を停止して他方を駆動させることを特徴としている。
　これにより、対象者の眼が回転したとしても第１光源または第２光源からの検出光を眼に与えることができるため、角膜反射光の検出可能範囲を広げることができる。また、光源制御部が行う制御により、第１光源と第２光源からの検出光が同時に眼に与えられることがなくなることから、角膜反射光の検出処理が容易となる。
　本発明の角膜中心検出装置において、入射する角度の差は２０度以上であることが好ましい。
　これにより、各光源から出射される検出光の発散角などを踏まえて、光源制御部による光源の切り替え頻度を適切な範囲とし、かつ、両光源からの検出光が角膜に入射する範囲の重複を少なくすることができる。
　本発明の角膜中心検出装置において、第１カメラおよび第２カメラの少なくとも一方は、第１光源の光軸と略同軸となるように配置されていることが好ましい。
　これにより、第１光源からの検出光の角膜による反射光を受光する場合には、簡便な計算によって角膜中心を検出することができる。
　本発明の角膜中心検出装置においては、光源制御部の制御により第２光源が駆動されているとき、角膜中心算出部は、第１カメラが取得した画像と第２カメラが取得した画像に基づいて、角膜中心に対応する２つの曲線を算出し、この２つの曲線に基づいて角膜中心を算出することが好ましい。
　ここで、角膜中心算出部は、２つの曲線の交点または最近接点を算出することによって角膜中心を算出することが好ましい。
　これにより、第１カメラおよび第２カメラと非同軸の第２光源からの検出光を用いた場合でも、正確に角膜中心を算出することができる。
　本発明の視線検出装置は、対象者の瞳孔中心を算出する瞳孔中心算出部を備え、瞳孔中心算出部が算出した瞳孔中心と、上述のいずれかの角膜中心検出装置によって検出された角膜中心とに基づいて視線方向を算出する視線方向算出部をさらに備えることを特徴としている。
　これにより、視線方向の検出可能範囲を広げることができ、また、第１光源と第２光源からの検出光が同時に眼に与えられることがなくなることから、角膜反射光の検出処理が容易となって視線検出の速度を高めることができる。
　本発明によると、対象者の眼球の回転角度などに起因して角膜反射光の像が取得できない事態を防ぐことにより角膜反射光の検出可能範囲を広げることができ、かつ、角膜反射光の検出処理の負担が少ない角膜中心検出装置およびこれを用いた視線検出装置を提供することができる。
本発明の実施形態の角膜中心検出装置を含む視線検出装置の構成を示すブロック図である。 本発明の実施形態における２つの光源と第１カメラの配置を示す平面図である。 （Ａ）は、第１光源が運転者の眼の正面にある状態を示す平面図、（Ｂ）は（Ａ）に対して眼Ｅの向きが変わった状態を示す平面図である。 角膜中心の算出モデルを示した概念図である。 変形例における３つの光源と第１カメラの配置を示す平面図である。
　以下、本発明の実施形態に係る角膜中心検出装置および視線検出装置について図面を参照しつつ詳しく説明する。本実施形態の角膜中心検出装置および視線検出装置は、自動車の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。
　図１は、本実施形態の角膜中心検出装置を含む視線検出装置１０の構成を示すブロック図である。図１に示すように、視線検出装置１０は、２つの光源１１、１２と、光源制御部１３と、２つのカメラ２１、２２と、画像取得部２３と、角膜中心検出部３１と、視線方向算出部３２と、瞳孔中心算出部３３とを備える。これらのうち、２つの光源１１、１２と、光源制御部１３と、２つのカメラ２１、２２と、画像取得部２３と、角膜中心検出部３１とで角膜中心検出装置が構成される。
　以下に、各部材の詳細な構成について説明する。
　第１光源１１と第２光源１２は、それぞれＬＥＤ光源であって、検出光として同じ波長の赤外光、例えば波長８５０ｎｍの赤外光（近赤外光）を出射する。ここで、波長８５０ｎｍの赤外光は、人の眼球内での光吸収率が低く、また、眼球の奥の網膜で反射されやすい。第１光源１１と第２光源１２は、それぞれの出射光が運転者の眼の異なる位置、好ましくは角膜上の異なる位置に入射するように互いに離間して配置されている。
　第１カメラ２１と第２カメラ２２は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有しており、この撮像素子は、運転者の目を含む顔の画像を取得する。撮像素子では、水平方向および垂直方向に配列された複数の画素を有し、各画素の位置に配置された受光素子で光が検出される。第１カメラ２１と第２カメラ２２は、互いに近接して配置されており、第１カメラ２１と第２カメラ２２の間隔は、第１光源１１と第２光源１２との間隔に比べて十分に短い間隔である。第１カメラ２１と第２カメラ２２を互いに近接して配置したことにより、第１光源１１および第２光源１２から出射された検出光が運転者の角膜で反射された光は、一方のカメラに入射したときは他方のカメラにも入射する。
　第１カメラ２１は、第１光源１１に対して、光軸が互いに略同軸になるように配置されている。例えば、第１光源１１を複数のＬＥＤ光源として構成し、これらのＬＥＤ光源を第１カメラ２１の光軸を中心とする円上に等角度間隔で配置することによって、第１光源１１全体としての仮想光軸が第１カメラ２１の光軸と同軸となる。
　一方、第１カメラ２１および第２カメラ２２は、第２光源１２に対して所定距離離して配置されており、その光軸は第２光源１２の光軸に対して非同軸となっている。
　図２は、２つの光源１１、１２と第１カメラ２１の配置を示す平面図である。図２では、運転手が正面、すなわち第１光源１１の方を向いている状態を示している。
　第１光源１１と第２光源１２は、それぞれからの出射光が運転者の眼Ｅの角膜表面Ｂｓの異なる位置に入射するように互いに離間して配置されている。第１光源１１の光軸１１ｃと第２光源１２の光軸１２ｃの延長線は、運転者が正面を向いているときに、その瞳孔中心Ｐｘ上もしくはその近傍で交差し、その交差角度が所定角度以上の角度、例えば２０度以上となるように配置される。図２に示す例においては、第１光源１１の光軸１１ｃと第２光源１２の光軸１２ｃは、運転者の瞳孔中心Ｐｘで交差しており、その交差角度はθである。図２においては図示を省略しているが、第２カメラ２２は、第１カメラ２１と同軸ではないが、第１光源１１と第２光源１２との距離と比べて第１カメラ２１に近接した位置に配置されている。第２カメラ２２の位置は、正面を向いた運転者に対して第１光源１１から与えた検出光の反射光が入射する位置であり、この反射光は第１カメラ２１と第２カメラ２２に入射する。
　図３（Ａ）は、第１光源１１が運転者の眼Ｅの正面にある状態を示す平面図、図３（Ｂ）は、図３（Ａ）に対して眼Ｅの向きが変わった状態を示す平面図である。
　図３（Ａ）に示すように、第１光源１１が運転者の眼Ｅの正面にある状態では、第１光源１１からの検出光は角膜の表面Ｂｓへほぼ垂直に入射し、この入射光Ｌ１１は、表面Ｂｓからの反射光Ｌ１２（角膜反射光）として、入射方向と逆方向に反射して第１カメラ２１に入射する。この角膜反射光Ｌ１２は、第１カメラ２１に近接して配置されている第２カメラ２２にも入射する。
　一方、第２光源１２から角膜の表面Ｂｓへ入射した光Ｌ２１は、角膜の表面Ｂｓで反射されるが、その角膜反射光Ｌ２２は、表面Ｂｓの曲率により第１カメラ２１と第２カメラ２２には入射しない。
　これに対して、図３（Ｂ）に示すように眼Ｅが反時計回りに第２光源１２側へ回転し、第１光源１１が眼Ｅの正面からずれた状態においては、第１光源１１から角膜の表面Ｂｓへ入射した光Ｌ３１は、表面Ｂｓの曲率により、表面Ｂｓからの反射光Ｌ３２（角膜反射光）として、入射方向とは異なる方向に反射し、第１カメラ２１と第２カメラ２２のいずれにも入射せずに進行する。一方、第２光源１２から角膜の表面Ｂｓへ入射した光Ｌ４１は、角膜の表面Ｂｓに略垂直に入射し、その角膜反射光Ｌ４２は、表面Ｂｓの曲率に応じて第１カメラ２１と第２カメラ２２に入射する。
　このように、図３（Ｂ）に示すように眼が回転することによって、第１光源１１からの出射光による角膜反射光が第１カメラ２１に入射しなくなったとしても、第１光源１１の光軸１１ｃに対して光軸１２ｃの交差角度を所定角度以上に設定した第２光源１２から与えた検出光が角膜の表面Ｂｓに入射され、その角膜反射光を第１カメラ２１で受光することが可能となる。第１光源１１の光軸１１ｃと第２光源１２の光軸１２ｃの交差角度は、想定する眼の動きや、角膜の一般的な形状や、第１光源１１からの出射光の光学特性、例えば発散角などに基づいて設定され、これにより、第１光源１１からの出射光による角膜反射光が第１カメラ２１で受光できないような眼の向きになっても、第２光源１２からの出射光が第１カメラ２１で受光可能となり、よって、眼の向きが変わっても、途切れることなく角膜反射光を得ることができるようになる。
　ここで、図３（Ａ）、（Ｂ）のいずれの場合においても、運転者の眼を含む顔画像は第１カメラ２１と第２カメラ２２で取得される。正面を向いているときに第１光源１１を点灯したときに取得される画像は画像取得部２３において明瞳孔画像として検出され、第２光源１２を点灯したときに取得される画像は画像取得部２３において暗瞳孔画像として検出される。検出された明瞳孔画像と暗瞳孔画像は瞳孔中心算出部３３へ出力される。瞳孔中心算出部３３では、画像取得部２３から与えられた、明瞳孔画像と暗瞳孔画像が画像処理されて二値化され、瞳孔の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔の中心位置として算出される。あるいは、瞳孔画像の輝度分布により瞳孔の中心位置が算出されてもよい。
　一方、第１カメラ２１および第２カメラ２２で取得された、角膜およびその周囲の画像データは、画像取得部２３に転送され、フレームごとに眼の画像信号が検出される。さらに画像取得部２３は、角膜反射光検出部として、眼の画像中に所定のスポット画像が存在するか否かを判別する。画像取得部２３は、輝度とサイズが予め設定した範囲内にあるスポット画像を検出したとき、この画像が、角膜反射光としてのスポット画像（角膜反射像）であると判別し、このようなスポット画像がない場合は角膜反射光が検出されなかったものと判別する。画像取得部２３による判別結果は光源制御部１３へ出力される。
　光源制御部１３は、第１光源１１および第２光源１２をそれぞれパルス駆動して点灯させ、また、画像取得部２３による判別結果に基づいて第１光源１１と第２光源１２の駆動を切り替える。光源制御部１３による駆動切り替えとしては、例えば、まず第１光源１１を駆動させて点灯させ、第１カメラ２１および第２カメラ２２で取得した画像について、画像取得部２３において角膜反射光が検出されている間は第１光源１１の駆動を継続し、角膜反射光が検出されなくなったときは、第１光源１１の駆動を停止して、第２光源１２の駆動を開始して検出光を出射させる。この第２光源１２の駆動に対して第１カメラ２１および第２カメラ２２で取得した画像について、画像取得部２３において角膜反射光が検出されている間は第２光源１２の駆動を継続し、角膜反射光が検出されなくなったときは、第２光源１２の駆動を停止して再び第１光源１１を駆動させる。このとき、第２光源１２の駆動を停止して所定時間、例えば０．５秒待機するようにすると、一時的な眼の移動のたびに光源の駆動を切り替えることを防ぐことができ、安定した検出を行うことができる。
　このように、画像取得部２３における角膜反射光の検出結果に応じて第１光源１１と第２光源１２の駆動を切り替えることにより、第１光源１１および第２光源１２からの出射光による角膜反射像が同時に第１カメラ２１で取得されることを確実に防ぐことができる。また、第１光源１１と第２光源１２を同時に駆動することがないため、消費電力を抑えることができる。
　画像取得部２３で検出された画像信号は、角膜中心検出部３１に与えられる。この画像信号は、角膜表面の反射点から反射された反射光による輝度信号が含まれている。角膜表面の反射点からの反射光はプルキニエ像を結像するものであり、撮像素子には、きわめて小さい面積のスポット画像が取得される。角膜中心検出部３１では、スポット画像が画像処理されて、角膜の反射点からの反射光の中心が求められ、画像上のスポット画像の位置が算出される。角膜中心検出部３１では、検出されたスポット画像に基づいて、以下のように角膜中心を算出する。
　図４は、角膜中心の算出モデルを示した概念図である。図４では、角膜を球とみなした角膜擬球Ｂと、カメラＣと、光源Ｓとの位置関係を示している。図４に示すモデルでは、光源Ｓからの出射光は角膜擬球Ｂの表面Ｂｓ上の反射点Ｐで反射されて、カメラＣに入射する。ここで、角膜擬球Ｂの球の中心である角膜中心Ｂｘは、光源Ｓ、カメラＣ、および、角膜表面Ｂｓ上の反射点Ｐのなす平面上にある。また、カメラＣと光源Ｓは、カメラＣを基準とする座標上の位置が既知であり、光軸が互いに非同軸の関係にある。
　ここで、カメラＣから反射点Ｐへの距離Ｌをパラメータとすると、反射点Ｐの位置ベクトルＶｐは次式（１）で表される。
　Ｖｐ＝Ｖｃ＋Ｌ・Ｖｄ　　　（１）
　ここで、ＶｃはカメラＣの光学中心の位置ベクトル、ＶｄはカメラＣによる検知方向の単位ベクトルであり、距離Ｌはゼロ以上の値をとる。
　また、球面反射の法則により、反射点Ｐと角膜中心Ｂｘを通る直線Ｌ１は、ベクトルＶｄに沿った直線と、光源Ｓからの検出光の出射方向のベクトルＶｓに沿った直線とのなす内角２αを２等分する線となる。したがって、角膜中心Ｂｘは、反射点Ｐを基準にして、２つのベクトルＶｄ、Ｖｓの２等分線のなす方向ベクトルＶｂ上に存在する。
　この方向ベクトルＶｂは、カメラＣ、光源Ｓ、および、反射点Ｐの位置関係から、次式（２）のように表すことができる。
　Ｖｂ＝（Ｖｓ／｜Ｖｓ｜）＋Ｖｄ　　　（２）
　また、方向ベクトルＶｂ、角膜中心Ｂｘ、および、反射点Ｐの位置関係から、角膜中心Ｂｘの位置ベクトルＶｘは次式（３）によって算出することができる。
　Ｖｘ＝Ｖｐ＋（ｒ・（Ｖｂ／｜Ｖｂ｜））　　　（３）
　ここで、ｒは角膜擬球Ｂの半径である。角膜擬球Ｂの半径ｒは、既知の数値を用いることができる。
　上式（１）～（３）により、角膜中心Ｂｘのなす軌跡は曲線となり、この曲線は、距離Ｌが大きくなるにつれて、カメラＣから反射点Ｐに至る直線に漸近することが分かる。
　本実施形態では、２つのカメラ２１、２２が互いに近接して配置されており、それぞれのカメラを基準とする座標において、角膜中心Ｂｘの軌跡を示す曲線がそれぞれ得られる。この２曲線の交点を算出することにより、角膜中心Ｂｘを１点として決定することができる。
　なお、検出誤差等によって、上記２曲線が交差しない場合には、２曲線の最近接点を算出して、この点を角膜中心Ｂｘとして検出する。
　また、図４に示す例ではカメラＣと光源Ｓが非同軸の関係にある場合を説明したが、図２に示す第１光源１１と第１カメラ２１のように、カメラと光源の光軸が互いに略同軸であるときは、カメラおよび光源から角膜表面上の反射点Ｐへ向かうベクトルが一致しており、このベクトル上に角膜中心Ｂｘが位置する。
　上述のように角膜中心検出部３１で算出された角膜中心算出値と、瞳孔中心算出部３３で算出された瞳孔中心算出値は、視線方向算出部３２に与えられる。視線方向算出部３２では、角膜中心算出値と瞳孔中心算出値とから視線の向きが検出される。
　以上のように構成されたことから、上記実施形態によれば次の効果を奏する。
（１）運転者の眼が回転したことにより、または、眼と光源の間に障害物（例えば運転者の手）が入ったことにより、角膜反射光が検出されなくなったときには光源制御部１３の制御によって、検出光を与える光源を切り替えるため、継続して角膜中心の検出を継続でき、角膜反射光の検出可能範囲を広げることができる。また、第１光源１１と第２光源１２からの検出光が同時に眼に与えられることがなくなることから、角膜反射光の検出処理が容易となり、ひいては視線検出の速度を高めることができる。
（２）第１カメラ２１を第１光源１１の光軸１１ｃと略同軸となるように配置し、第２カメラ２２を第１カメラ２１に近接して配置したことにより、正面を向いた眼に対して第１光源１１から検出光を与えた場合には、第１光源１１から角膜反射点へ向かう直線の延長上に角膜中心が位置するため、簡便な計算によって角膜中心を検出することができる。
（３）第１カメラ２１および第２カメラ２２と非同軸の関係にある第２光源１２が駆動されているときは、第１カメラ２１が取得した画像と第２カメラ２２が取得した画像に基づいて、角膜中心Ｂｘに対応する２つの曲線を算出し、この２つの曲線に基づいて角膜中心を算出することができるため、正確に角膜中心Ｂｘを算出することができる。
　以下に変形例について説明する。
　図５は、変形例における３つの光源１１、１２、１４と第１カメラ１１の配置を示す平面図である。図５では、運転手が正面、すなわち第１光源１１の方を向いている状態を示している。
　図５に示す変形例においては、第１実施形態の第１光源１１、第２光源１２、第１カメラ２１、および、第２カメラ２２に加えて、第３光源１４が配置されている。第３光源１４は、第１光源１１の光軸１１ｃに関して第２光源１２と対称な位置に配置されている。すなわち、第３光源１４は、第１光源１１および第２光源１２と離間しており、第３光源１４からの出射光は、第１光源１１および第２光源１２からの出射光とは異なる位置で、運転者の眼Ｅに入射する。
　第３光源１４の光軸１４ｃの延長線は、第１光源１１の光軸１１ｃと第２光源１２の光軸１２ｃの延長線に対して、運転者が正面を向いているときに、その瞳孔中心Ｐｘ上もしくはその近傍で交差し、その交差角度が所定角度以上の角度、例えば２０度以上となるように配置される。図５に示す例においては、第１光源１１、第２光源１２、および、第３光源１４の各光軸１１ｃ、１２ｃ、１４ｃは、運転者の瞳孔中心Ｐｘで交差しており、光軸１１ｃと光軸１２ｃの交差角度、および、光軸１１ｃと光軸１４ｃの交差角度はいずれもθである。図５においては図示を省略しているが、第２カメラ２２は、第１カメラ２１と同軸ではないが、第１光源１１と第２光源１２の距離、および、第１光源１１と第３光源１４との距離と比べて第１カメラ２１に近接した位置に配置されている。第２カメラ２２の位置は、正面を向いた運転者に対して第１光源１１から与えた検出光の反射光が入射する位置であり、この反射光は第１カメラ２１と第２カメラ２２に入射する。
　このように第３光源１４を配置することにより、運転者の眼Ｅが、図５で示す正面位置から時計回りに第３光源１４側へ回転し、第１光源１１が眼Ｅの正面からずれた状態においても、第３光源１４からの出射光を第１カメラ２１と第２カメラ２２で受光できる。このため、図３（Ｂ）に示すように眼Ｅが第２光源１２側へ回転した場合と同様にして、角膜中心を検出することができる。したがって、正面に対して、第２光源１２側と第３光源１４側の両方の範囲を含む、より広い範囲の眼の向きに対して角膜中心の検出を行うことができる。
　図５に示す変形例では、第１光源１１の光軸１１ｃに関して第２光源１２と対称な位置に第３光源１４を配置したが、非対称な位置に配置してもよい。また、第３光源１４に代えて、または、第３光源１４に加えて、第２光源１２の光軸１２ｃに関して第１光源１１と対称となる側にさらに光源を設けてもよい。また、第３光源１４よりもさらに時計回りにシフトした位置にさらに光源を配置してもよい。
　また、第１実施形態では、第１光源１１と第１カメラ２１の光軸を略同軸としていたが、非同軸となる配置としてもよい。この場合は、図４に示すモデルと同様に角膜中心を検出することができる。
　本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。
　以上のように、本発明に係る角膜中心検出装置は、対象者の眼球の回転角度などに起因して角膜反射光の像が取得できない事態を防ぐことにより角膜反射光の検出可能範囲を広げることができ、かつ、角膜反射光の検出処理の負担が少ない点で有用である。
　１０　　視線検出装置
　１１　　第１光源
　１１ｃ　光軸
　１２　　第２光源
　１２ｃ　光軸
　１３　　光源制御部
　１４　　第３光源
　１４ｃ　光軸
　２１　　第１カメラ
　２２　　第２カメラ
　２３　　画像取得部
　３１　　角膜中心検出部
　３２　　視線方向算出部
　３３　　瞳孔中心算出部
　Ｂ　　　角膜擬球
　Ｂｓ　　角膜の表面
　Ｂｘ　　角膜中心
　Ｃ　　　カメラ
　Ｅ　　　眼
　Ｌ１　　直線
　Ｌ１１、Ｌ２１、Ｌ３１、Ｌ４１　出射光（検出光）
　Ｌ１２、Ｌ２２、Ｌ３２、Ｌ４２　反射光
　Ｐ　　　反射点
　Ｐｘ　　瞳孔中心
　Ｓ　　　光源
　Ｖｂ、Ｖｃ、Ｖｄ、Ｖｐ、Ｖｓ、Ｖｘ　ベクトル

Claims (6)

  1. 　対象者の眼を含む画像を取得する、第１カメラ及び第２カメラと、
    　前記対象者の眼に対して検出光を与える、第１光源及び第２光源とを備えた角膜中心検出装置であって、
    　前記第１カメラと前記第２カメラは互いに近接して配置され、
    　前記第１光源と前記第２光源は、それぞれの出射光が前記対象者の眼の異なる位置に入射するように互いに離間して配置され、
    　前記角膜中心検出装置はさらに、
    　前記第１カメラおよび前記第２カメラが取得した画像において角膜反射光を検出する角膜反射光検出部と、
    　前記第１カメラおよび前記第２カメラが取得した画像に基づいて角膜中心を算出する角膜中心算出部と、
    　前記第１光源と前記第２光源の駆動を切り替える光源制御部とを備え、
    　前記光源制御部は、前記角膜反射光検出部による検出において、前記第１カメラおよび前記第２カメラが取得した画像に前記角膜反射光が検出されなかったときに、前記第１光源と前記第２光源の一方の駆動を停止して他方を駆動させることを特徴とする角膜中心検出装置。
  2. 　前記入射する角度の差は２０度以上であることを特徴とする請求項１に記載の角膜中心検出装置。
  3. 　前記第１カメラおよび前記第２カメラの少なくとも一方は、前記第１光源の光軸と略同軸となるように配置されていることを特徴とする請求項１または請求項２に記載の角膜中心検出装置。
  4. 　前記光源制御部の制御により前記第２光源が駆動されているとき、前記角膜中心算出部は、前記第１カメラが取得した画像と前記第２カメラが取得した画像に基づいて、前記角膜中心に対応する２つの曲線を算出し、この２つの曲線に基づいて前記角膜中心を算出することを特徴とする請求項１から請求項３のいずれか１項に記載の角膜中心検出装置。
  5. 　前記角膜中心算出部は、前記２つの曲線の交点または最近接点を算出することによって前記角膜中心を算出することを特徴とする請求項４に記載の角膜中心検出装置。
  6. 　前記対象者の瞳孔中心を算出する瞳孔中心算出部を備え、
    　前記瞳孔中心算出部が算出した瞳孔中心と、請求項１から請求項５のいずれか１項に記載の前記角膜中心検出装置によって検出された角膜中心とに基づいて視線方向を算出する視線方向算出部をさらに備えることを特徴とする視線検出装置。
PCT/JP2017/007901 2016-06-16 2017-02-28 角膜中心検出装置および視線検出装置 WO2017217026A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-119603 2016-06-16
JP2016119603 2016-06-16

Publications (1)

Publication Number Publication Date
WO2017217026A1 true WO2017217026A1 (ja) 2017-12-21

Family

ID=60664348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007901 WO2017217026A1 (ja) 2016-06-16 2017-02-28 角膜中心検出装置および視線検出装置

Country Status (1)

Country Link
WO (1) WO2017217026A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019118548A (ja) * 2017-12-28 2019-07-22 株式会社Ｊｖｃケンウッド 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法
WO2023008023A1 (ja) * 2021-07-29 2023-02-02 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法及び視線検出プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154899A (ja) * 1994-12-09 1996-06-18 Nikon Corp 視線検出装置
JP2005185431A (ja) * 2003-12-25 2005-07-14 National Univ Corp Shizuoka Univ 視線検出方法および視線検出装置
JP2006167256A (ja) * 2004-12-17 2006-06-29 National Univ Corp Shizuoka Univ 瞳孔検出装置
JP2012065719A (ja) * 2010-09-21 2012-04-05 Fujitsu Ltd 視線検出装置、視線検出方法及び視線検出用コンピュータプログラムならびに携帯端末
JP2016051312A (ja) * 2014-08-29 2016-04-11 アルプス電気株式会社 視線検出装置
JP2016085588A (ja) * 2014-10-24 2016-05-19 株式会社Ｊｖｃケンウッド 視線検出装置および視線検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154899A (ja) * 1994-12-09 1996-06-18 Nikon Corp 視線検出装置
JP2005185431A (ja) * 2003-12-25 2005-07-14 National Univ Corp Shizuoka Univ 視線検出方法および視線検出装置
JP2006167256A (ja) * 2004-12-17 2006-06-29 National Univ Corp Shizuoka Univ 瞳孔検出装置
JP2012065719A (ja) * 2010-09-21 2012-04-05 Fujitsu Ltd 視線検出装置、視線検出方法及び視線検出用コンピュータプログラムならびに携帯端末
JP2016051312A (ja) * 2014-08-29 2016-04-11 アルプス電気株式会社 視線検出装置
JP2016085588A (ja) * 2014-10-24 2016-05-19 株式会社Ｊｖｃケンウッド 視線検出装置および視線検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019118548A (ja) * 2017-12-28 2019-07-22 株式会社Ｊｖｃケンウッド 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法
WO2023008023A1 (ja) * 2021-07-29 2023-02-02 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法及び視線検出プログラム

Similar Documents

Publication Publication Date Title
KR101962302B1 (ko) 구조화 광을 사용한 안구 추적
US7533988B2 (en) Eyeshot detection device using distance image sensor
US10634934B2 (en) Method for determining a geometrical parameter of an eye of a subject
JP5230748B2 (ja) 視線方向判定装置及び視線方向判定方法
US10496166B2 (en) Eye tracking device and eye tracking method
US7771049B2 (en) Method and apparatus for detecting sight line vector
JP6346525B2 (ja) 視線検出装置
US20190250413A1 (en) Contact Lens with Retinal Camera
CN109305105A (zh) 一种a柱盲区监测装置、车辆及方法
US20120002028A1 (en) Face image pick-up apparatus for vehicle
US20130120712A1 (en) Method and device for determining the eye position
JPH02134130A (ja) 非接触視線検出装置
TWI522257B (zh) 車用安全系統及其運作方法
JPH09238905A (ja) 視線方向計測装置
CN109613706A (zh) 针对智能头戴设备的调整方法、设备及存储介质
WO2017217026A1 (ja) 角膜中心検出装置および視線検出装置
JP2014228805A (ja) 画像表示装置及び画像表示方法
US10572730B2 (en) Visual line measuring device and visual line measuring method
JPH06235885A (ja) 立体映像表示装置
JP2016087291A (ja) 瞳孔・視線計測装置および照明システム
US11266307B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
WO2022097368A1 (ja) 特性検査システム
JPH08286141A (ja) 注視点検出システム及びそれを用いた制御システム
JPH08297019A (ja) 車両用視線方向計測装置
JP2018181025A (ja) 視線検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17812935

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17812935

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP