WO2006035890A1 - 視線検出方法 - Google Patents

視線検出方法 Download PDF

Info

Publication number
WO2006035890A1
WO2006035890A1 PCT/JP2005/017987 JP2005017987W WO2006035890A1 WO 2006035890 A1 WO2006035890 A1 WO 2006035890A1 JP 2005017987 W JP2005017987 W JP 2005017987W WO 2006035890 A1 WO2006035890 A1 WO 2006035890A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
pupil
center
sight
camera
Prior art date
Application number
PCT/JP2005/017987
Other languages
English (en)
French (fr)
Inventor
Knaan Dotan
Shavit Adi
Shavit Dana
Kazufumi Suzuki
Norio Ichihashi
Akio Takahashi
Akihito Kimata
Original Assignee
Honda Motor Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co., Ltd. filed Critical Honda Motor Co., Ltd.
Priority to DE200511002395 priority Critical patent/DE112005002395T5/de
Priority to US11/664,210 priority patent/US7717561B2/en
Publication of WO2006035890A1 publication Critical patent/WO2006035890A1/ja

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • the present invention relates to a technique for detecting a line of sight, and particularly to a method and apparatus for detecting a line of sight of a person using glasses.
  • gaze detection technology has been developed as a computer input device for disabled persons who can use their hands or fingers freely!
  • gaze detection is also used as a vehicle driving assistance means by monitoring the gaze of a driver driving a car.
  • some of the conventional gaze detection devices allow the user to wear a specific instrument, and these technologies have a problem of being unusable because they constrain the user.
  • a technique for detecting the line of sight using an eyeball model has recently been developed.
  • Patent Document 1 Japanese Patent Publication No. 8-297019 (Gaze direction measuring device for vehicle) (hereinafter referred to as Patent Document 1) is a device that detects a driver's gaze, A distance sensor is used as a means to determine the distance from the position of the driver to the driver's face. An ultrasonic sensor is used as the distance sensor. When an ultrasonic sensor is used, the entire device becomes complicated, and the accuracy of a simple sensor is poor. If the accuracy is increased, the device becomes expensive.
  • Non-patent documents 1 and 2 Eyeball Model-based gaze measurement method (hereinafter referred to as non-patent documents 1 and 2) also describes a technique for detecting a gaze direction using an eyeball model.
  • the device of this document irradiates the cornea in the eye with a point light source power near-infrared, and the distance from the camera (or point light source) to the face in order to obtain the coordinates of the reflected image (called the Purkinje image).
  • the size of the point light source on the image captured by the camera (the size of the Purkinje image)
  • the focus value force when the focus is set to the position where the (crisis) is minimized is also the distance.
  • the applicant has already filed an invention that solves these problems (US Patent Application No. 11/078, 144 (LINE- OF-SIGHT DETECTION METHOD AND APPARATUS THEREFOR, filed on March 11, 2005)) (Referred to as Reference 2).
  • the present invention has been made in view of the above-described facts, and an object thereof is to provide a line-of-sight vector detection system that can be applied to a spectacle user.
  • the first line-of-sight vector detection system includes an infrared light source that irradiates the eye or face, a camera that captures the eye or face, and a calculator that processes the captured image data of the camera and calculates a line-of-sight vector.
  • the computer detects a true bright spot and the center of the pupil from the captured image data, and calculates a line-of-sight vector.
  • the second line-of-sight vector detection system is the same as the first line-of-sight vector detection system.
  • the photographing camera is characterized in that it is installed at a position lower than the eye position in front of the face of the subject.
  • a third line-of-sight vector detection system is the first or second line-of-sight vector detection system, wherein the infrared light source is an optical axis of the photographing camera so as to cause a dark pupil effect. It is characterized by the fact that it is installed at a remote location.
  • a fourth line-of-sight vector detection system is characterized in that, in the first to third line-of-sight vector detection systems, the infrared light source is installed at a position lower than the photographing camera.
  • a fifth line-of-sight vector detection system is characterized in that, in the first to fourth line-of-sight vector detection systems, the infrared light sources are provided on both right and left sides of the optical axis of the photographing camera.
  • a sixth line-of-sight vector detection system is the first to fifth line-of-sight vector detection systems, in which the computer detects an image processing unit that detects the true bright spot and the center of the pupil of the captured image data force; A calculation unit for calculating a line-of-sight vector, and the image processing unit determines a bright spot satisfying a predetermined requirement among bright spots having pupils in the vicinity as a true bright spot, calculates a center of the pupil, and It is characterized by executing processing for obtaining the center of the corneal sphere using data based on morphological knowledge.
  • the calculation unit calculates a line-of-sight vector from the center of the pupil and the center of the corneal sphere. It is said.
  • An eighth line-of-sight vector detection system is characterized in that in the first to seventh line-of-sight vector detection systems, the computer further includes a pre-processing unit for pre-processing the captured image data.
  • a gaze line detection system comprising an infrared light source that irradiates the eye or face, a camera that shoots the eye or face, and a computer that processes the imaged image data of the camera and calculates a gaze vector.
  • the first gaze detection method using the image processing apparatus includes a detection step for detecting the true bright spot and the center of the pupil and a calculation step for calculating a gaze vector. .
  • a second line-of-sight detection method is the first line-of-sight detection method, wherein the detection step determines a bright spot that satisfies a predetermined requirement among bright spots having pupils in the vicinity as a true bright spot.
  • the method includes a step of obtaining the center of the pupil and a step of obtaining the center of the corneal sphere using data based on morphological knowledge.
  • a third gaze detection method is characterized in that, in the second gaze detection method, the calculation step calculates a gaze vector from the center of the pupil and the center of the corneal sphere.
  • a fourth line-of-sight detection method is characterized in that the first line-of-sight detection method includes a step of pre-processing the captured image data before the detection step.
  • FIG. 1 shows the configuration of the present embodiment (line-of-sight vector detection system).
  • FIG. 2 [A] shows the image taken when the subject is facing the upper left when the infrared light source is placed lower than the camera, and [B] is the image when the infrared light source is placed lower than the camera Shows the shot image when the subject is facing the upper right, and [C] is the shot image when the subject is facing the lower left when the infrared light source is placed at a lower position than the camera. , [D] shows the photographed image when the subject is facing the lower right when the infrared light source is installed at a lower position than the camera.
  • [Fig.3] [E] shows the shot image when the subject is facing the upper left V when the infrared light source is placed higher than the camera, and [F] shows the infrared light source at a higher position than the camera.
  • the photographed image is shown when the subject is facing the upper right
  • [G] shows the photographed image when the subject is facing the lower left when the infrared light source is placed higher than the camera.
  • [H] shows the photographed image when the subject is facing the lower right when the infrared light source is placed higher than the camera.
  • FIG. 4 An explanatory image with the main part extracted.
  • FIG. 5 shows a procedure executed by the image processing unit.
  • FIG.7 A diagram for searching for true bright spots is shown.
  • FIG. 1 shows a configuration of an embodiment in which the present invention is implemented under the best conditions.
  • a photographed person 10 is a user of a driver or a personal computer, for example, and a user of spectacles 11.
  • the photographing camera 12 is arranged at a position lower than the height position (horizontal position) of the eye of the subject 10 in front of and substantially in front of the subject 10. This is because if placed at the same height as or higher than the eye, the eye image and the “eyelash” image may overlap, complicating the processing (Fig. 3 (E) to (H)). reference).
  • the light sources 13 and 13 use light sources of infrared light emitting diodes (LEDs).
  • the position of the light source 13 is arranged at a position away from the optical axis 14 of the photographing camera 12 and lower than the position of the photographing camera 12. That is, when the distance “d” in FIG. 1 is small, the pupil is brightly photographed or dark, and the brightness of the pupil varies, so that it is difficult to determine the pupil with the captured image power. Therefore, the distance “d” is arranged at the position where the dark pupil effect occurs. Further, the position of the light source 13 is arranged at a position lower than the position of the photographing camera 12.
  • LEDs infrared light emitting diodes
  • FIGS. 2A to 2D show examples of captured images in the case where the infrared light emitting diode 13 is installed at a position lower than the photographing camera 12.
  • Figure (A) shows subject 11 facing upward
  • Figure (B) facing upward
  • Figure (C) facing lower left
  • Figure (D) facing lower right
  • all true luminescent spots are generated in the pupil 25 and false luminescent spots are generated outside the pupil 25.
  • FIGS. 3 (E) to 3 (H) examples of captured images when the position of the light source 13 is arranged at a position higher than the position of the photographing camera 12 are shown in FIGS. 3 (E) to 3 (H).
  • Figure 3 (E) when facing the upper left Figure 3 (F) when facing the upper right
  • Figure 3 (G) when facing the lower left Figure 3 (H) when facing the lower right
  • Figure 3 (H) when facing the lower right It is an image (photograph).
  • Fig. 3 (E) and Fig. 3 (F) When facing upward, as shown in Fig. 3 (E) and Fig. 3 (F), a false luminescent spot appears near the pupil or covers the pupil, and the true luminescent spot or pupil 25 Detection becomes difficult.
  • the true bright spot may be too close to the eyelid, making it difficult to detect the pupil 25, as can be understood from the forces in FIGS. 3 (G) and 3 (H).
  • the infrared light emitting diodes 13 are provided on both sides of the optical axis 14 of the camera. This is because when the light beam is provided on one side of the optical axis 14 (for example, on the left side) and directed to the side on which the light emitting diode 13 is not provided (right side), the true bright spot protrudes from the iris 24. This is because problems arise.
  • the computer 15 connected to the output terminal of the photographic camera 12 includes a preprocessing unit 16, an image processing unit 17, and a calculation unit 18.
  • the preprocessing unit 16 adjusts luminance to facilitate processing of image data. Preliminary processing such as contrast adjustment and noise removal is performed.
  • the image processing unit 17 performs processing for obtaining a true bright spot from the obtained image, obtaining the center of the pupil, and obtaining the center of the corneal sphere (not shown) using morphological knowledge data. Do. Note that the preprocessing unit 16 uses conventional technology and does not need to be described in detail, so a detailed description is omitted. Since part of the processing of the image processing unit 17 is consistent with the contents described in Patent Document 2, description will be given with emphasis on the different parts. Since the processing of the calculation unit 18 is consistent with the content described in Patent Document 2, it will be briefly described.
  • FIG. 4 shows photographed image data obtained by extracting the main points of the present invention and used by the subject 10.
  • the spectacles 11 are composed of a frame 21 and a lens 22, and a right eye 23 ⁇ / b> R and a left eye 23 ⁇ / b> L appear inside the lens 22.
  • the iris 24 (24R, 24L) appears inside the white eye 26 (26R, 26L) of the eye 23 (23R, 23L), and the pupil 25 (25R, 25L) appears in the approximate center of the iris 24 (24R, 24L). Appears.
  • Pupil 25 is darker and less bright than iris 24.
  • the white eye 26 is white and has a high brightness.
  • the iris 24 is light brown (or light brown), and the brightness is darker than the white eye 26, which is brighter than the pupil 25.
  • a true bright spot (bright spot used to determine the line-of-sight vector that satisfies the prescribed requirements) and a false bright spot 31 reflected by the lens 22 or the bracket of the eyeglass 20 are located in or near the pupil 25. Appears.
  • FIG. 5 and FIG. 6 show processing procedures performed by the image processing unit 17 and the calculation unit 18.
  • step S1 performs preliminary processing such as adjusting the brightness of the entire captured image, adjusting the contrast, and removing noise in order to facilitate processing of the captured image (FIG. 4).
  • step S2 bright points (or small areas) having a certain luminance or higher are obtained from the photographed image data as bright points, and all bright points (30, 31) are obtained.
  • step S3 the bright spot (30) determined in step S2 is also determined. The steps for finding the true bright spot are shown in Figure 6 and will be described in detail later.
  • Step S4 finds the center of the pupil (25). The center of the pupil is obtained using the outline of the pupil when the true bright spot is obtained in step S2.
  • step S5 the center point of a corneal sphere (not shown) is obtained.
  • the method for obtaining the center of the corneal sphere is described in detail in a patent application filed by the present applicant (Patent Document 2).
  • the same method is used. That is, according to the morphological findings, (1) the distance between the left and right eye force nose is equal (2) the ratio of the distance between the left and right eyes and the distance to one eye nose is a constant value (known ). Furthermore, (3) the distance between the left and right eyes is known, and (4) the central radius of the corneal sphere is a constant value (known). Further, the focal length (f) of the camera 12 and the camera parameter matrix (K) may be known (measured before use).
  • both the condition force and the image surface force of the photographing camera 12 can determine the distance to the eye (or face) of the subject 10.
  • the center point coordinates of the corneal sphere and the center point coordinates of the pupil 24 can be easily obtained by approximate calculation with high accuracy. Use glasses when performing the above calculations. It is assumed that the change in the center position of the true bright spot 30 and the pupil 24 on the photographed image is negligibly small.
  • step S6 a line-of-sight vector (or line-of-sight direction) is calculated from the coordinates of the center point of the pupil 24 obtained in step S5 and the center point coordinates of the corneal sphere.
  • FIG. 6 shows a search procedure (flow chart) for obtaining a true bright spot.
  • the requirements for a true bright spot are: (1) the brightness is greater than or equal to a predetermined value, (2) the size of the bright spot is smaller than a circle with a predetermined radius, Consider a condition where the point is inside the pupil and (4) the distance between the left and right bright spots is within a predetermined range.
  • Figure 6 illustrates the procedure for studying requirements (3).
  • step S11 a list of a plurality of bright spots (for example, bright spots 35a to 35e in FIG. 7) is selected.
  • a region 36 (36a to 36e) having a size that includes the pupil 25 with respect to the selected bright spot is determined.
  • step S13 whether or not the force that includes the pupil 25 in the region 36 is determined.
  • the pupil 25 has a luminance of less than a predetermined value, a dark radius within a predetermined range, and has a substantially circular shape.
  • step S14 the presence or absence of the pupil 25 is checked. If there is no pupil, it is deleted from the list (step S15).
  • a dark area with low luminance is searched, and it is determined whether or not the area is circular.
  • the conventional technique is used for determining the circular shape. For example, if the boundary of a region is tracked and the angle change of the tangent vector is substantially uniform, and the end point coincides with the start point, it can be determined as a circle. If it is determined to be circular, check if the diameter is within the specified range. If the pupil 25 is present, it is checked whether there is an unexamined bright spot (step S16). If there are unexamined bright spots, repeat steps SI 1 to S15. In step S17, whether or not the power meets other requirements (for example, the fourth requirement described above) is checked and the true bright spot is confirmed and determined.
  • the requirements for determining the true bright spot are not limited to those described in the embodiment, and may be determined by other expressions as long as they are substantially the same.
  • this embodiment seems to be limited to spectacle users, it can also be applied to naked eyes. In other words, if there are one bright spot on each of the left and right sides, and if it is a true bright spot, it can be judged as a naked eye person and the line-of-sight vector can be obtained. it can. Conversely, if there are many bright spots, it is determined that the user is a spectacle user.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Automatic Focus Adjustment (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)

Abstract

　眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの撮影画像データを処理して視線ベクトルを算出する計算機とを具備する視線ベクトル検出システムにおいて、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中心を検出する画像処理部と、視線ベクトルを算出する演算部とを含み、該画像処理部は近傍に瞳孔を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に該瞳孔の中心を求め、更に、角膜球の中心を求める処理を実行することを特徴とする。

Description

明 細 書
視線検出方法
技術分野
[0001] この発明は、視線を検出する技術、特に眼鏡を使用している者の視線検出方法及 び装置に関するものである。
背景技術
[0002] 従来から手又は指を自由に使えな!/、不具者のためのコンピュータ入力装置として 視線の検出技術が開発されてきた。又、車を運転するドライバの視線を監視して、車 の運転補助手段としても視線の検出が利用される。しかし、従来の視線検出装置は 使用者に特定の器具を装着させるものもあり、これらの技術は使用者を束縛するため に使用勝手が悪いと言う課題があった。この課題を解決するために近年眼球モデル を利用して視線を検出する技術が開発されている。
[0003] 眼球モデルを利用する場合に、カメラ位置カゝら顔面までの正確な距離を簡単な方 法で正確に求めることが一つの問題になってくる。例えば、日本公開特許公報、第平 8— 297019号 (車両用視線方向計測装置）（以下、特許文献 1と称する）に記載され ている装置は、運転者の視線を検出する装置であり、カメラの位置から運転者の顔面 までの距離を求める手段として距離センサを利用している。距離センサとしては超音 波型センサ等を使用している。超音波型センサを使用した場合、全体の装置が複雑 になり、簡単なセンサでは精度が悪ぐ精度を高くすると装置が高価になるという問題 が生じる。
[0004] また、情報処理研究報告 2001— HI— 93、 pp、 47— 54 (眼球形状モデルに基づ く視線測定システム）および第 8回画像センシングシンポジウム、 pp、 307- 312, 20 02 (眼球モデルに基づく視線測定方法）（以下、非特許文献 1, 2と称する）にも、眼 球モデルを利用した視線の方向を検出する技術が記載されて 、る。この文献の装置 は、点光源力 近赤外線を眼の中の角膜に照射し、反射像 (プルキニェ像と呼んで いる）の座標を求めるために、カメラ (又は,点光源)から顔面までの距離を求める必要 があり、その方法としてカメラによる撮影画像上の点光源の大きさ（プルキニェ像の大 きさ）が最小になる位置にフォーカスを合わせたときのフォーカス値力もその距離を求 めている。しかし、プルキニェ像の大きさを正確に最小になるように調節するのは困 難であり、従って、精度の高い距離測定は期待できず、それを利用した視線方向の 検出も誤差が含まれ、問題である。本出願人はこれらの問題を解決した発明を既に 出願（米国特許出願 No. 11/078, 144 (LINE- OF- SIGHT DETECTION METHOD AND APPARATUS THEREFOR,平成 17年 3月 11日提出）（以下、特許文献 2と称 する）している。
発明の開示
発明が解決しょうとする課題
[0005] しかし、上記した眼球モデルを利用する従来技術及び特許文献 2に記載の技術は 裸眼者を対象とした場合であり、眼鏡使用者に対してはこのまま適用すると大きな誤 差を生じるおそれがある。即ち、赤外線を光源として眼の中の角膜に照射し、反射像 を求めたとしても、眼球で反射した輝点の他に赤外線の一部が眼鏡のレンズ又は金 具等に反射して撮影画像に複数の輝点が現われたりする。また、眼鏡を通過してき た像が偏って瞳孔の中心と輝点が一致しなくなるという問題も考えられる。
[0006] 本発明は、上記事実に鑑みなされたものであり、眼鏡使用者に対しても適用できる 視線ベクトル検出システムを提供することを課題とする。
課題を解決するための手段
[0007] 本発明は上記の課題を解決するための手段として以下の構成を採用している。即 ち、第 1の視線ベクトル検出システムは、眼又は顔を照射する赤外線光源と、眼又は 顔を撮影するカメラと、該カメラの撮影画像データを処理して視線ベクトルを算出する 計算機とを具備し、前記計算機は前記撮影画像データから真の輝点及び瞳孔の中 心を検出して、視線ベクトルを算出することを特徴としている。
[0008] また、第 2の視線ベクトル検出システムは、第 1の視線ベクトル検出システムにおいて
、前記撮影カメラは、被撮影者の顔の正面で、眼の位置より低い位置に設置したこと を特徴としている。
[0009] 第 3の視線ベクトル検出システムは、第 1又は第 2の視線ベクトル検出システムにお いて、前記赤外線光源は、暗瞳孔効果が生じさせるように、前記撮影カメラの光軸か ら離れた位置に設置したことを特徴として 、る。
[0010] 第 4の視線ベクトル検出システムは、第 1〜第 3の視線ベクトル検出システムにおい て、前記赤外線光源は、前記撮影カメラよりも低い位置に設置したことを特徴としてい る。
[0011] 第 5の視線ベクトル検出システムは、第 1〜第 4の視線ベクトル検出システムにおい て、前記赤外線光源は、前記撮影カメラの光軸の左右両側に設けたことを特徴として いる。
[0012] 第 6の視線ベクトル検出システムは、第 1〜第 5の視線ベクトル検出システムにおい て、前記計算機は前記撮影画像データ力 真の輝点及び瞳孔の中心を検出する画 像処理部と、視線ベクトルを算出する演算部とを含み、該画像処理部は近傍に瞳孔 を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に該瞳孔 の中心を求め、更に、形態学上の知見によるデータを利用して角膜球の中心を求め る処理を実行することを特徴として 、る。
[0013] 第 7の視線ベクトル検出システムは、第 1〜第 6の視線ベクトル検出システムにおい て、前記演算部は、前記瞳孔の中心と前記角膜球の中心とから視線ベクトルを算出 することを特徴としている。
[0014] 第 8の視線ベクトル検出システムは、第 1〜第 7の視線ベクトル検出システムにおい て、前記計算機は、更に前記撮影画像データを前処理する前処理部を含むことを特 徴としている。
[0015] また、眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの 撮影画像データを処理して視線ベクトルを算出する計算機とを具備した視線べ外ル 検出システムを用いた第 1の視線検出方法は、前記撮影画像データ力 真の輝点及 び瞳孔の中心を検出する検出ステップと、視線ベクトルを算出する算出ステップと、を 具備することを特徴として 、る。
[0016] 第 2の視線検出方法は、第 1の視線検出方法において、前記検出ステップは、近傍 に瞳孔を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に 該瞳孔の中心を求めるステップと、形態学上の知見によるデータを利用して角膜球 の中心を求めるステップとを備えることを特徴として 、る。 [0017] 第 3の視線検出方法は、第 2の視線検出方法において、前記算出ステップは、前記 瞳孔の中心と前記角膜球の中心とから視線ベクトルを算出することを特徴として 、る
[0018] 第 4の視線検出方法は、第 1の視線検出方法において、前記検出ステップの前に、 前記撮影画像データを前処理するステップを具備することを特徴としている。
発明の効果
[0019] 本発明によれば、眼鏡使用者に対しても実用的な範囲で視線ベクトルを正しく算 出することができると 、う効果が得られる。
図面の簡単な説明
[0020] [図 1]本実施形態 (視線ベクトル検出システム）の構成を示す。
[図 2][A]は赤外線光源をカメラより低い位置に設置した場合の被撮影者が左上を向 いた場合の撮影画像を示し、 [B]は赤外線光源をカメラより低い位置に設置 した場合の被撮影者が右上を向いた場合の撮影画像を示し、 [C]は赤外線 光源をカメラより低!ヽ位置に設置した場合の被撮影者が左下を向 ヽた場合の撮影画 像をし、 [D]は赤外線光源をカメラより低 ヽ位置に設置した場合の被撮影者 が右下を向 ヽた場合の撮影画像を示す。
[図 3][E]は赤外線光源をカメラより高い位置に設置した場合の被撮影者が左上を向 V、た場合の撮影画像を示し、 [F]は赤外線光源をカメラより高 、位置に設置 した場合の被撮影者が右上を向いた場合の撮影画像を示し、 [G]は赤外線 光源をカメラより高い位置に設置した場合の被撮影者が左下を向いた場合の撮影画 像を示し、 [H]は赤外線光源をカメラより高 、位置に設置した場合の被撮影 者が右下を向 ヽた場合の撮影画像を示す。
[図 4]要部を抽出した説明のための画像を示す。
[図 5]画像処理部の実行する手順を示す。
[図 6]真の輝点を求める手順を示す。
[図 7]真の輝点を探索する図を示す。
符号の説明
[0021] 10 被撮影者 11 眼鏡
12 撮影カメラ
13 赤外線光源
14 カメラ軸
15 計算機
20 眼鏡
22 レンズ
24 虹彩
25 瞳孔
30 真の輝点
31 偽の輝点
35 輝点
36 探索領域
発明を実施するための最良の形態
[0022] 図 1は本発明を最良の条件で実施した実施形態の構成を示す。図 1において、被 撮影者 10は、例えば、ドライバー又はパソコン等の使用者であって、眼鏡 11の使用 者である。被撮影者 10の前方、略正面に撮影カメラ 12が被撮影者 10の眼の高さ位 置 (水平位置)より低い位置に配置する。これは眼と同じ高さ位置又は高い位置に配 置すると、眼の画像と「まつげ」の画像が重なって、処理が複雑になる恐れがあるから である（図 3 (E)〜(H)参照)。
[0023] 光源 13, 13は赤外線発光ダイオード (LED)による光源を利用する。光源 13の位 置は、撮影カメラ 12の光軸 14から離れた位置で、撮影カメラ 12の位置よりも低い位 置に配置する。即ち、図 1の距離「d」が小さいと、瞳孔が明るく撮影されたり、暗かつ たりして瞳孔の輝度がばらつき、撮影画像力も瞳孔を決定するのが困難になる。従つ て、距離「d」は暗瞳孔効果が生じる位置に配置する。また、光源 13の位置は、撮影 カメラ 12の位置よりも低い位置に配置する。これは、眼鏡のレンズ面等から反射する 「偽の輝点」と「真の輝点」との区別を容易にするためである。光源 12の位置を低くす ると被撮影者 10の眼が上を向いた場合でも、下を向いた場合でも真の輝点は瞳孔 の内部に来るようになり、一方偽の輝点は瞳孔近傍には出現しなくなる（図 2 (A)〜（ D)参照)。
[0024] 図 2 (A)〜 (D)は赤外線発光ダイオード 13を撮影カメラ 12より低 、位置に設置した 場合の撮影画像例を示す。図 (A)は被撮影者 11が左上を向いた場合、図 (B)は右 上を向いた場合、図（C)は左下を向いた場合、図（D)は右下を向いた場合の撮影画 像 (写真)である。これらの図から分力るように、真の輝点が何れも瞳孔 25の中に生じ ており、偽の輝点は瞳孔 25の外に生じている。
[0025] 逆に、光源 13の位置を撮影カメラ 12の位置よりも高い位置に配置した場合の撮影 画像例を図 3 (E)〜図 3 (H)に示す。図 3 (E)は左上を向いた場合、図 3 (F)は右上 を向いた場合、図 3 (G)は左下を向いた場合、図 3 (H)は右下を向いた場合の撮影 画像 (写真)である。上を向いた場合は、図 3 (E)、図 3 (F)力 理解できるように、偽 の輝点が瞳孔近傍に現れたり、瞳孔にかぶったりして、真の輝点又は瞳孔 25の検出 が困難になる。下を向いた場合は、図 3 (G)、図 3 (H)力も理解できるように、真の輝 点がまぶたと接近しすぎて瞳孔 25の検出が困難になる場合が生じる。
[0026] 赤外線発光ダイオード 13はカメラの光軸 14の両側に設ける。これは、光軸 14の一 方の側に設ける（例えば左側に設けた場合)と発光ダイオード 13を設けていない側（ 右側）に向いた場合は真の輝点が虹彩 24からはみ出してしまうという問題が生じるか らである。
[0027] 撮影カメラ 12の出力端に接続された計算機 15は前処理部 16、画像処理部 17、 演算部 18を含み、前処理部 16では画像データの処理を容易にするための輝度の 調整、コントラストの調整、ノイズの除去等の予備的な処理を行う。画像処理部 17は 得られた画像に対して真の輝点の検出、瞳孔の中心を求める処理、更に、形態学上 の知見データを利用して角膜球（図示省略)の中心を求める処理を行う。なお、前処 理部 16は従来技術を利用するものであり、特に詳述する必要はないので、詳細な説 明は省略する。画像処理部 17の処理は一部が特許文献 2の記載内容と一致してい るので、異なる部分に重点をおいて説明する。演算部 18の処理は特許文献 2の記載 内容と一致して 、るので簡単に説明する。
[0028] 図 4は本発明上の要点を抽出して示した撮影画像データで、被撮影者 10の使用し ている眼鏡 20部分の撮影画像の 1例を示す。図 4において、眼鏡 11はフレーム 21と レンズ 22から構成されており、レンズ 22の内部には右眼 23Rと左眼 23Lが現われて いる。眼 23 (23R, 23L)の白眼 26 (26R, 26L)の内部に虹彩 24 (24R、 24L)が現 われており、虹彩 24 (24R、 24L)の略中央に瞳孔 25 (25R、 25L)が現われている。 瞳孔 25は虹彩 24に比較して暗くて輝度が小さい。また、白眼 26は白色で輝度が大 きぐ虹彩 24は薄い茶色 (又は薄い茶褐色)で、瞳孔 25よりも輝度が明るぐ白眼 26 よりも輝度が暗い。さらに、瞳孔 25の内部又は近傍に真の輝点 (所定の要件を満たし 、視線ベクトル求めるために使用する輝点）とレンズ 22又は眼鏡 20の金具等の部分 で反射した偽の輝点 31が現われて 、る。
[0029] 図 5,図 6は画像処理部 17及び演算部 18で行う処理の手順を示す。図 5において 、ステップ S1は撮影画像（図 4)の処理を容易にするために、撮影画像全体の輝度の 調整、コントラストの調整、ノイズの除去等の予備的な処理を行う。ステップ S2では、 撮影画像データから輝度が一定以上の明るい点 (又は小領域)を求めて輝点とし、全 ての輝点（30、 31)を求める。ステップ S3はステップ S2で求めた輝点の中力も真の 輝点（30)を決定する。真の輝点を求めるステップは図 6に示されており、詳細は後述 する。ステップ S4は瞳孔（25)の中心を求める。瞳孔の中心は、ステップ S 2で真の輝 点を求める際に瞳孔の輪郭が求められているので、これを利用して求める。
[0030] ステップ S5では角膜球（図示省略)の中心点を求める。角膜球の中心を求める方 法は本出願人による特許出願 (特許文献 2)に詳述されている。この実施態様におい ても全く同様な手法を使用している。即ち、形態学上の知見によれば、（1)左右の眼 力 鼻までの距離は等しぐ（2)左右両眼の距離と一方の眼力 鼻までの距離との比 は一定値 (既知)である。更に、（3)左右両眼の距離は既知であり、（4)角膜球の中 心半径は一定値 (既知）である。また、カメラ 12の焦点距離 (f)並びにカメラパラメ一 タ行列 (K)が既知であるとしてもよい (使用前に測定しておけばよい)。従って、これら の条件力も撮影カメラ 12の画像面力も被撮影者 10の眼 (又は顔面)までの距離を求 めることができる。赤外線光源 13の発射点が撮影カメラ 12に十分に近い位置にある ときは角膜球の中心点座標及び瞳孔 24の中心点座標は高 ヽ精度の近似計算で容 易に求めることができる。なお、上記の計算を遂行するに当たっては、眼鏡を使用し たことによる撮影画像上の真の輝点 30及び瞳孔 24の中心位置等の変化は無視でき る程度に小さいとしている。
[0031] ステップ S6ではステップ S5で求めた瞳孔 24の中心点の座標と角膜球の中心点 座標から視線ベクトル (又は視線方向）を算出する。
[0032] 図 6は真の輝点を求める探索手順 (フローチャート）を示す。真の輝点の要件とし て、（1)所定値以上の輝度を有し、（2)輝点の大きさが所定半径の円よりも小さい、 ( 3)近傍に瞳孔が存在する、或いは輝点が瞳孔の内部にある、（4)左右両方の輝点 の距離が所定範囲にある、等の条件を満たすものを考える。要件（1)、（2)は既に満 たしているものとし、図 6においては、要件（3)について検討手順を説明する。ステツ プ S11では、複数個の輝点のリスト（例えば、図 7の輝点 35a〜35e)力も検討する輝 点を選択する。ステップ S 12では選択された輝点に対して瞳孔 25を含む程度の大き さの領域 36 (36a〜36e)を決定し、ステップ S 13で該領域 36内に瞳孔 25が含まれ ている力否力を探索する。ここで、瞳孔 25は輝度が所定値以下で暗ぐ半径が所定 の範囲にあり、略円形をしている。
[0033] ステップ S14で瞳孔 25の有無をチェックし、瞳孔が無い場合はリストから削除する（ ステップ S15)。瞳孔 25の有無の検討は、まず、輝度が小さくて暗い領域を探索し、 その領域が円形であるか否かを判断する。円形の判定は従来技術を使用する。例え ば、領域の境界を追跡し、その接線ベクトルの角度変化が略一様で、終点が始点に 一致すれば円形と判断できる。円形と判断した場合はその直径が所定の範囲内にあ るかを調べる。瞳孔 25が存在した場合は未検討の輝点があるかどうかをチェックする (ステップ S16)。未検討の輝点がある場合はステップ SI 1〜S15を繰り返す。ステツ プ S17では、その他の要件 (例えば、上記した 4番目の要件）を満たしている力否か を検討し、真の輝点を確認し、決定する。
[0034] 以上本発明の実施形態を図面に基づいて詳述してきた力 本発明の技術的範囲 はこれに限られるものではない。例えば、真の輝点を定める用件は実施形態に記載 したものに限られず、実質的に同じであれば他の表現で定めてもよい。また、本実施 形態は眼鏡使用者に限定しているように思われるが裸眼者にも適用できる。即ち、輝 点が左右各 1個で、真の輝点であれば裸眼者と判断して視線ベクトルを求めることが できる。逆に輝点が多数ある場合は眼鏡使用者と判断する。
本出願は、 2004年 9月 29日出願の日本特許出願 (特願 2004— 283456)に基づくも のであり、その内容はここに参照として取り込まれる。

Claims

請求の範囲
[1] 視線ベクトル検出システムは、
眼又は顔を照射する赤外線光源と、
眼又は顔を撮影するカメラと、
該カメラの撮影画像データを処理して視線べ外ルを算出する計算機と、を具備し、 前記計算機は、前記撮影画像データから真の輝点及び瞳孔の中心を検出して、視 線ベクトルを算出することを特徴とする。
[2] 前記撮影カメラは、被撮影者の顔の正面で、眼の位置より低 、位置に設置したことを 特徴とする請求項 1に記載の視線ベクトル検出システム。
[3] 前記赤外線光源は、暗瞳効果が生じさせるように、前記撮影カメラの光軸から離れた 位置に設置したことを特徴とする請求項 1又は請求項 2の何れか 1に記載の視線べク トル検出システム。
[4] 前記赤外線光源は、前記撮影カメラよりも低!ヽ位置に設置したことを特徴とする請求 項 1〜請求項 3の何れか 1に記載の視線ベクトル検出システム。
[5] 前記赤外線光源は、前記撮影カメラの光軸の左右両側に設けたことを特徴とする請 求項 1〜請求項 4の何れか 1に記載の視線ベクトル検出システム。
[6] 前記計算機は前記撮影画像データ力 真の輝点及び瞳孔の中心を検出する画像 処理部と、視線ベクトルを算出する演算部とを含み、該画像処理部は近傍に瞳孔を 有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると共に該瞳孔の 中心を求め、更に、形態学上の知見によるデータを利用して角膜球の中心を求める 処理を実行することを特徴とする請該求項 1〜請求項 5の何れか 1に記載の視線べク トル検出システム。
[7] 前記演算部は、前記瞳孔の中心と前記角膜球の中心とから視線ベクトルを算出する ことを特徴とする請求項 1〜請求項 6の何れ力 1に記載の視線ベクトル検出システム。
[8] 前記計算機は、更に前記撮影画像データを前処理する前処理部を含むことを特徴と する請求項 1〜請求項 7の何れか 1に記載の視線ベクトル検出システム。
[9] 眼又は顔を照射する赤外線光源と、眼又は顔を撮影するカメラと、該カメラの撮影画 像データを処理して視線ベクトルを算出する計算機とを具備した視線べ外ル検出シ ステムを用いた視線検出方法は、
前記撮影画像データ力 真の輝点及び瞳孔の中心を検出する検出ステップと、 視線ベクトルを算出する算出ステップと、
を具備することを特徴とする。
[10] 前記検出ステップは、
近傍に瞳孔を有する輝点の中で所定の要件を満たす輝点を真の輝点と決定すると 共に該瞳孔の中心を求めるステップと、
形態学上の知見によるデータを利用して角膜球の中心を求めるステップとを備えるこ とを特徴とする請該求項 9に記載の視線検出方法。
[11] 前記算出ステップは、
前記瞳孔の中心と前記角膜球の中心とから視線ベクトルを算出することを特徴とする 請求項 10に記載の視線検出方法。
[12] 前記検出ステップの前に、前記撮影画像データを前処理するステップを具備すること を特徴とする請求項 9に記載の視線ベクトル検出検出方法。
PCT/JP2005/017987 2004-09-29 2005-09-29 視線検出方法 WO2006035890A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE200511002395 DE112005002395T5 (de) 2004-09-29 2005-09-29 Sichtlinien-Detektionsverfahren
US11/664,210 US7717561B2 (en) 2004-09-29 2005-09-29 Sight line detecting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-283456 2004-09-29
JP2004283456A JP2006095008A (ja) 2004-09-29 2004-09-29 視線検出方法

Publications (1)

Publication Number Publication Date
WO2006035890A1 true WO2006035890A1 (ja) 2006-04-06

Family

ID=36119036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/017987 WO2006035890A1 (ja) 2004-09-29 2005-09-29 視線検出方法

Country Status (4)

Country Link
US (1) US7717561B2 (ja)
JP (1) JP2006095008A (ja)
DE (1) DE112005002395T5 (ja)
WO (1) WO2006035890A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2647811A1 (en) 2006-03-30 2007-10-11 Asahi Kasei Pharma Corporation Substituted bicyclic derivative and use thereof
US20090103048A1 (en) * 2007-10-17 2009-04-23 Omron Silicon Valley Method and system for pupil detection
US7819525B2 (en) * 2009-02-15 2010-10-26 International Business Machines Corporation Automatic direct gaze detection based on pupil symmetry
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
US20100283722A1 (en) * 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus
CN102346533A (zh) * 2010-07-29 2012-02-08 鸿富锦精密工业（深圳）有限公司 具省电模式的电子装置及控制其进入省电模式的方法
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置
FR2987920B1 (fr) * 2012-03-08 2018-03-02 Essilor International Procede de determination d'une caracteristique geometrico-morphologique, de posture ou comportementale d'un porteur d'une paire de lunettes
JP6056323B2 (ja) 2012-09-24 2017-01-11 富士通株式会社 視線検出装置、視線検出用コンピュータプログラム
US9179833B2 (en) 2013-02-28 2015-11-10 Carl Zeiss Meditec, Inc. Systems and methods for improved ease and accuracy of gaze tracking
JP6157165B2 (ja) * 2013-03-22 2017-07-05 キヤノン株式会社 視線検出装置及び撮像装置
TWI510953B (zh) * 2013-12-20 2015-12-01 Wistron Corp 身份驗證防僞方法與應用此方法的身份驗證裝置
US9753793B2 (en) 2014-06-30 2017-09-05 Intel Corporation Techniques for handling errors in persistent memory
US10530734B2 (en) * 2014-12-16 2020-01-07 Verisign, Inc. Balancing visibility in the domain name system
US10460165B2 (en) * 2015-04-01 2019-10-29 Fove, Inc. Head mounted display
JP6737057B2 (ja) * 2016-08-10 2020-08-05 富士通株式会社 視線検出装置、視線検出方法、及び視線検出プログラム
JP6751324B2 (ja) * 2016-09-14 2020-09-02 株式会社デンソーアイティーラボラトリ 虹彩検出装置、虹彩検出方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334274A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3289953B2 (ja) * 1991-05-31 2002-06-10 キヤノン株式会社 視線方向検出装置
JPH06304142A (ja) * 1993-04-22 1994-11-01 Canon Inc 視線検出装置
JPH08297019A (ja) 1995-04-27 1996-11-12 Nissan Motor Co Ltd 車両用視線方向計測装置
US6426740B1 (en) * 1997-08-27 2002-07-30 Canon Kabushiki Kaisha Visual-axis entry transmission apparatus and method therefor
JP2002119478A (ja) * 2000-10-19 2002-04-23 Canon Inc 視線検出機能付き装置
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
JP2005253778A (ja) * 2004-03-12 2005-09-22 Gen Tec:Kk 視線検出方法及び同装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334274A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体

Also Published As

Publication number Publication date
DE112005002395T5 (de) 2007-09-27
US7717561B2 (en) 2010-05-18
JP2006095008A (ja) 2006-04-13
US20090015788A1 (en) 2009-01-15

Similar Documents

Publication Publication Date Title
WO2006035890A1 (ja) 視線検出方法
US8644562B2 (en) Multimodal ocular biometric system and methods
US9498125B2 (en) Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness
CN107847130B (zh) 眼球观察装置、眼镜型终端、视线检测方法以及程序
EP2975997B1 (en) System and method for on-axis eye gaze tracking
EP2881891B1 (en) Image processing device and image processing method
EP1714184B1 (en) Custom eyeglass manufacturing method
US10395510B2 (en) Reminding method and reminding device
WO2018000020A1 (en) Systems and methods for performing eye gaze tracking
JP5578603B2 (ja) 視線制御装置、視線制御方法、及びそのプログラム
US20160363995A1 (en) Circular light element for illumination of cornea in head mounted eye-tracking
JP7168953B2 (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
CN109635761B (zh) 一种虹膜识别图像确定方法、装置、终端设备及存储介质
JP2005253778A (ja) 視線検出方法及び同装置
JP4313717B2 (ja) 視線検出装置
CN105380590B (zh) 一种具有眼位检测功能的设备及其实现方法
EP3669753B1 (en) Gaze tracking via tracing of light paths
KR102085285B1 (ko) 딥러닝 영상분석 기반의 얼굴 인식 및 홍채 위치 인식 시스템
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
CN111417893B (zh) 用于检验眼科镜片在镜架中的安装的方法和组件
JPH08297019A (ja) 車両用視線方向計測装置
JP2006326326A (ja) 生体眼判定方法および生体眼判定装置
JP2020024750A (ja) 視線検出装置、視線検出方法、及びコンピュータプログラム
JP2006087751A (ja) 視線測定方法および視線測定装置
JP5293589B2 (ja) 生体監視装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 0706214

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20050928

WWE Wipo information: entry into national phase

Ref document number: 1120050023958

Country of ref document: DE

RET De translation (de og part 6b)

Ref document number: 112005002395

Country of ref document: DE

Date of ref document: 20070927

Kind code of ref document: P

122 Ep: pct application non-entry in european phase

Ref document number: 05787715

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11664210

Country of ref document: US