JP4260715B2 - Gaze measurement method and gaze measurement apparatus - Google Patents

Gaze measurement method and gaze measurement apparatus Download PDF

Info

Publication number
JP4260715B2
JP4260715B2 JP2004278547A JP2004278547A JP4260715B2 JP 4260715 B2 JP4260715 B2 JP 4260715B2 JP 2004278547 A JP2004278547 A JP 2004278547A JP 2004278547 A JP2004278547 A JP 2004278547A JP 4260715 B2 JP4260715 B2 JP 4260715B2
Authority
JP
Japan
Prior art keywords
reflection image
corneal reflection
eyeball
light source
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004278547A
Other languages
Japanese (ja)
Other versions
JP2006087751A (en
Inventor
健彦 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004278547A priority Critical patent/JP4260715B2/en
Publication of JP2006087751A publication Critical patent/JP2006087751A/en
Application granted granted Critical
Publication of JP4260715B2 publication Critical patent/JP4260715B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は、人の視線を測定する技術に係わり、特に、光源から発せられる近赤外線を眼球に照射し、画像処理によって得られる瞳孔および角膜反射像を用いて視線を測定する、視線測定方法および視線測定装置に関する。   The present invention relates to a technique for measuring the line of sight of a person, and in particular, irradiates the eyeball with near infrared rays emitted from a light source, and measures the line of sight using a pupil and a cornea reflection image obtained by image processing, and The present invention relates to a line-of-sight measurement device.

従来、人の視線を測定する方法に、近赤外線の点光源を眼球に照射し、カメラで撮影した眼球像から瞳孔および角膜表面における反射光（角膜反射像）の位置を算出し、その角膜反射像および瞳孔の位置から視線を算出する方法があった。   Conventionally, a method of measuring the line of sight of humans is to irradiate the eyeball with a near-infrared point light source, calculate the position of the reflected light (corneal reflection image) on the pupil and corneal surface from the eyeball image taken by the camera, and the corneal reflection There has been a method of calculating the line of sight from the position of the image and the pupil.

近赤外線の点光源を配置する位置としては、瞳孔撮影用カメラのレンズ周辺に設置する場合と、レンズから離れた位置に設置する場合の２種類がある。レンズ周辺に設置した場合、瞳孔が虹彩に対して白く観察されるので、その輝度差から瞳孔を算出する（明瞳孔法）。また、ハーフミラーを利用して、レンズと点光源の光軸を一致させる方法も上記した明瞳孔法の一種である。
一方、点光源をレンズから離して配置した場合、瞳孔は虹彩に対して黒く観察される。そこで、瞳孔と虹彩の輝度差から、瞳孔を検出する（暗瞳孔法）。いずれの場合も、角膜反射像は、角膜上の輝点として観察される。
なお、明瞳孔法と暗瞳孔法を併用するために、レンズ周囲と離れた位置の両方に点光源を用意し、交互に点滅させる手法も提案されている（例えば、非特許文献１参照）。この場合も、観察される角膜反射像は１個である。 There are two types of positions at which the near-infrared point light source is disposed: a case where the near-infrared point light source is disposed around the lens of the pupil photographing camera and a case where the near-infrared point light source is disposed away from the lens. When the lens is installed around the lens, the pupil is observed white with respect to the iris, and the pupil is calculated from the luminance difference (bright pupil method). A method of using a half mirror to match the optical axes of a lens and a point light source is also a kind of the above-described bright pupil method.
On the other hand, when the point light source is arranged away from the lens, the pupil is observed black with respect to the iris. Therefore, the pupil is detected from the luminance difference between the pupil and the iris (dark pupil method). In either case, the cornea reflection image is observed as a bright spot on the cornea.
In order to use both the bright pupil method and the dark pupil method, a method of preparing point light sources both at the periphery of the lens and at a distant position and blinking alternately has been proposed (for example, see Non-Patent Document 1). Also in this case, only one cornea reflection image is observed.

また、明瞳孔法による視線測定ユニットを２個配置した視線測定装置も提案されている（例えば、非特許文献２参照）。この場合、眼球像には角膜反射像が２個観察される。しかしながら、近赤外線光源はディスプレイ部の両端に設置されており、その間隔は例えば１８インチディスブレイの場合で３０cm程度と広いため、得られる角膜反射像の間隔も広く、他要因による反射光との識別は困難であった。
C．H．Morimoto，D．Koons，A．Amir，and．M．Flickner: Pupil detection and tracking using multiple light，Image and Vision Computing，Vol．１８，pp．331−335，2000． David Beymer and Myron Flickner：Eyc Gaze Tracking Using an Active Stereo Head，Proceedings of Computer Vision and Pattern Recognition，Vol．2，pp．451−458，2003． In addition, a line-of-sight measurement apparatus in which two line-of-sight measurement units based on the bright pupil method are arranged has also been proposed (for example, see Non-Patent Document 2). In this case, two corneal reflection images are observed in the eyeball image. However, near-infrared light sources are installed at both ends of the display unit, and the distance between them is as wide as, for example, about 30 cm in the case of an 18-inch display. Identification was difficult.
C. H. Morimoto, D. Koons, A. Amir, and. M. Flickner: Pupil detection and tracking using multiple light, Image and Vision Computing, Vol. 18, pp. 331-335, 2000. David Beymer and Myron Flickner: Eyc Gaze Tracking Using an Active Stereo Head, Proceedings of Computer Vision and Pattern Recognition, Vol. 2, pp. 451-458, 2003.

近赤外線の点光源を眼球に照射すると、様々な個所で反射光が観察される。例えば、眼鏡を装着している利用者の場合、眼鏡表面において反射光が発生する場合が多い。また、近赤外線点光源以外の要因によって反射光が発生する場合もある。例えば天井に設置されている照明による反射光が、角膜表面で発生する場合等である。
これらの反射光を角膜反射像と区別することは困難であった。特に、両者が近接して位置しており、形状も類似しているとき、どちらが角膜反射像であるかを正しく判定することは極めて困難である。 When the eyeball is irradiated with a near-infrared point light source, reflected light is observed at various locations. For example, a user wearing spectacles often generates reflected light on the spectacle surface. In addition, reflected light may be generated due to factors other than the near infrared point light source. For example, there is a case where reflected light from illumination installed on the ceiling is generated on the corneal surface.
It was difficult to distinguish these reflected lights from the cornea reflection images. In particular, when both are located close to each other and have similar shapes, it is extremely difficult to correctly determine which is a corneal reflection image.

本発明は上記事情に鑑みてなされたものであり、角膜反射像と他の反射光との区別を容易にするために複数個の光源を用意して眼球表面に照射し、適切な位置関係にある組み合わせを選出して角膜反射像とすることで、角膜反射像の誤検出を低減することが可能な、視線測定方法および視線測定装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and in order to facilitate the distinction between a cornea reflection image and other reflected light, a plurality of light sources are prepared and irradiated on the surface of the eyeball so as to have an appropriate positional relationship. An object is to provide a line-of-sight measurement method and a line-of-sight measurement apparatus capable of reducing erroneous detection of a cornea reflection image by selecting a certain combination to be a cornea reflection image.

上記した課題を解決するために本発明は、近赤外線の光源を利用者の眼球に照射し、カメラで撮影した眼球像から演算装置により視線を算出する視線測定装置に用いられる視線測定方法であって、２点以上の近赤外線光源から照射される近赤外線を前記利用者の眼球方向へ照射する第１のステップと、前記利用者の眼球を撮影して取り込む第２のステップと、前記カメラにより取り込まれた眼球像から前記利用者の瞳孔位置および角膜反射像位置を検出する第３のステップと、前記検出された角膜反射像位置が、前記近赤外線光源の配置位置との対応が取れていることを検証する第４のステップと、前記検出された瞳孔位置および角膜反射像位置から視線を算出する第５のステップと、を有することを特徴とする。   In order to solve the above problems, the present invention is a line-of-sight measurement method used in a line-of-sight measurement apparatus that irradiates a user's eyeball with a near-infrared light source and calculates the line of sight with an arithmetic unit from an eyeball image captured by a camera. A first step of irradiating near-infrared rays emitted from two or more near-infrared light sources toward the user's eyeball, a second step of photographing and capturing the user's eyeball, and the camera. The third step of detecting the pupil position and corneal reflection image position of the user from the captured eyeball image and the detected corneal reflection image position correspond to the arrangement position of the near infrared light source. A fourth step of verifying this, and a fifth step of calculating a line of sight from the detected pupil position and corneal reflection image position.

また、本発明において、前記第４のステップは、前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在するか否かをチェックするサブステップと、存在することが確認されたときに双方の中心位置および大きさを比較し、中心位置のＹ座標および大きさが略同等であれば前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定するサブステップを含むことを特徴とする。   In the present invention, the fourth step includes a sub-step for checking whether or not another corneal reflection image exists in a certain region around the corneal reflection image position, and when it is confirmed that it exists. If the Y coordinate and size of the center position are substantially equal, it is determined that the detected corneal reflection image position corresponds to the arrangement position of the near-infrared light source. Including sub-steps.

また、本発明において、前記第４のステップは、他に角膜反射像が存在しないことが確認されたときに、前記検出された角膜反射像位置について、その角膜反射像位置に外接する矩形領域の縦横の辺長を算出するサブステップと、当該縦辺長と横辺長の比が略１：２で、かつ、外接する矩形の中央部における縦方向の角膜反射領域長を示す中央部縦長が角膜反射像縦長より短いときに、前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定するサブステップ、を更に含むことを特徴とする。   In the present invention, when it is confirmed that there is no other corneal reflection image, the fourth step is for a rectangular region circumscribing the detected corneal reflection image position. A sub-step for calculating the vertical and horizontal side lengths, the ratio of the vertical side length to the horizontal side length is approximately 1: 2, and the central vertical length indicating the vertical corneal reflection region length in the central portion of the circumscribed rectangle is The method further includes a sub-step of determining that the detected cornea reflection image position corresponds to the arrangement position of the near-infrared light source when the cornea reflection image is shorter than the longitudinal length.

また、本発明において、前記光源は、点光源あるいは面光源であることを特徴とする。   In the present invention, the light source is a point light source or a surface light source.

また、本発明は、近赤外線の点光源を利用者の眼球に照射し、カメラで撮影した眼球像から視線を算出する視線測定装置であって、前記利用者の眼球を撮影して取り込む眼球撮影取込み部と、２点以上の近赤外線光源から構成され、前記利用者の眼球方向へ前記近赤外線を照射する近赤外線照射部と、前記眼球撮影取込み部により取り込まれた画像から前記利用者の瞳孔位置を検出する瞳孔検出部と、前記眼球撮影取込み部により取り込まれた画像から前記利用者の角膜反射像位置を検出する角膜反射像検出部と、前記角膜反射像検出部で検出された角膜反射像位置が、前記近赤外線照射部における近赤外線光源の配置位置との対応が取れていることを検証する角膜反射像検証部と、前記瞳孔検出部、前記角膜反射像検出部のそれぞれにより検出された瞳孔位置および角膜反射像位置から視線を算出する視線算出部と、を具備することを特徴とする。   The present invention is also a gaze measurement apparatus that irradiates a user's eyeball with a near-infrared point light source and calculates a gaze from an eyeball image photographed by the camera, and that captures and captures the user's eyeball A near-infrared irradiation unit configured to include a capturing unit, two or more near-infrared light sources, and irradiate the near-infrared ray toward the user's eyeball, and the user's pupil from an image captured by the eyeball capturing unit A pupil detection unit that detects a position, a corneal reflection image detection unit that detects a position of the corneal reflection image of the user from an image captured by the eyeball capturing unit, and a corneal reflection detected by the corneal reflection image detection unit By each of the cornea reflection image verification unit that verifies that the image position corresponds to the arrangement position of the near infrared light source in the near infrared irradiation unit, the pupil detection unit, and the cornea reflection image detection unit Characterized by comprising a line-of-sight calculation unit for calculating a line of sight from out pupil position and the corneal reflection image position.

また、本発明において、前記近赤外線照射部は、２以上の光源が隣接して配置された近赤外線を備えていることを特徴とする。   Moreover, in this invention, the said near-infrared irradiation part is equipped with the near-infrared light by which the 2 or more light source was arrange | positioned adjacently, It is characterized by the above-mentioned.

本発明によれば、近接した複数の光源を用い、カメラにより撮影された画像を角膜反射像検出部に取り込み、角膜反射像検証部が光源の位置関係と相対する位置関係にある反射像を正しい角膜反射像と判定することで、正しい角膜反射像位置を抽出して視線を測定することができる。このため、眼球上に角膜反射像以外の反射光が発生した場合にも正しい角膜反射像位置の検出が可能になる。   According to the present invention, a plurality of adjacent light sources are used, an image photographed by a camera is taken into the cornea reflection image detection unit, and the cornea reflection image verification unit correctly reflects a reflection image in a positional relationship opposite to the light source positional relationship. By determining the corneal reflection image, it is possible to extract the correct corneal reflection image position and measure the line of sight. For this reason, even when reflected light other than the cornea reflection image is generated on the eyeball, the correct position of the cornea reflection image can be detected.

図１は、本発明の一実施形態に係わる視線測定装置１の内部構成を示すブロック図である。
本発明の視線測定装置１は、眼球撮影取込み部１０１と、角膜反射像検出部１０２と、角膜反射像検証部１０３と、瞳孔検出部１０４と、視線算出部１０６と、近赤外線照射部１１５で構成される。 FIG. 1 is a block diagram showing an internal configuration of a line-of-sight measurement apparatus 1 according to an embodiment of the present invention.
The line-of-sight measurement device 1 of the present invention includes an eye photography capturing unit 101, a cornea reflection image detection unit 102, a cornea reflection image verification unit 103, a pupil detection unit 104, a line of sight calculation unit 106, and a near infrared irradiation unit 115. Composed.

近赤外線照射部１１５は２点以上の近赤外線光源から構成され、前記利用者の眼球方向へ前記近赤外線を照射する。眼球撮影取込み部１０１は、カメラを用い利用者の眼球画像１１１を撮影して演算装置内部に取り込み、角膜反射像検出部１０２と瞳孔検出部１０４へ供給する。
角膜反射像検出部１０２は、眼球撮影取込み部１０１により取り込まれた画像から利用者の角膜反射像位置１１２を検出し、瞳孔検出部１０４は、眼球撮影取込み部１０１により取り込まれた画像から利用者の瞳孔位置１１３を検出する。角膜反射像検証部１０３は、角膜反射像検出部１０２で検出された角膜反射像が、近赤外線照射部１１５における近赤外線光源の配置位置との対応が取れていることを検証して視線算出部１０６を制御する。視線算出部１０６は、瞳孔検出部１０４、角膜反射像検出部１０２のそれぞれにより検出された瞳孔位置１１３および角膜反射像位置１１２から視線１１４を算出する。 The near-infrared irradiation unit 115 includes two or more near-infrared light sources, and irradiates the near-infrared light toward the user's eyeball. An eyeball capturing unit 101 captures a user's eyeball image 111 using a camera, captures the image in the arithmetic unit, and supplies the image to the cornea reflection image detecting unit 102 and the pupil detecting unit 104.
The cornea reflection image detection unit 102 detects a user's cornea reflection image position 112 from the image captured by the eyeball capturing unit 101, and the pupil detection unit 104 detects the user from the image captured by the eyeball capturing unit 101. The pupil position 113 is detected. The cornea reflection image verification unit 103 verifies that the cornea reflection image detected by the cornea reflection image detection unit 102 corresponds to the arrangement position of the near-infrared light source in the near-infrared irradiation unit 115 and checks the line-of-sight calculation unit. 106 is controlled. The line-of-sight calculation unit 106 calculates the line of sight 114 from the pupil position 113 and the corneal reflection image position 112 detected by the pupil detection unit 104 and the corneal reflection image detection unit 102, respectively.

図８、図９は、図１に示す本発明実施形態の動作を説明するために引用したフローチャートである。
以下、図８、図９に示すフローチャートを参照しながら図１に示す本発明実施形態の動作について詳細に説明する。 8 and 9 are flow charts cited for explaining the operation of the embodiment of the present invention shown in FIG.
The operation of the embodiment of the present invention shown in FIG. 1 will be described in detail below with reference to the flowcharts shown in FIGS.

近赤外線照射部１１５は、近赤外線を利用者の眼球１１６方向へ照射する（Ｓ８１）。なお、近赤外線の代替として可視光線も利用可能であるが、利用者が眩しく感じるという問題があるため、近赤外線を利用する方が望ましい。
また、眼球撮影取込み部１０１は、利用者の眼球１１６を、ＣＣＤ（Charge Coupled Device）カメラ等を利用して撮影し、これを取込む（Ｓ８２）。取込まれた眼球画像１１１は、瞳孔検出部１０４および角膜反射像検出部１０２に送られる。 The near-infrared irradiation unit 115 irradiates near-infrared rays toward the user's eyeball 116 (S81). Although visible light can be used as an alternative to near infrared rays, it is preferable to use near infrared rays because there is a problem that the user feels dazzling.
Further, the eyeball photographing capturing unit 101 photographs the user's eyeball 116 using a CCD (Charge Coupled Device) camera or the like, and captures this (S82). The captured eyeball image 111 is sent to the pupil detection unit 104 and the corneal reflection image detection unit 102.

瞳孔検出部１０４は、利用者の瞳孔位置１１３を、眼球画像１１１から画像処理によって取得する。また、角膜反射像検出部１０２は、利用者の角膜反射像位置１１２を、眼球画像１１１から画像処理によって取得する（Ｓ８３）。
得られた角膜反射像位置１１２は、角膜反射像検証部１０３によって、正しい角膜反射像であるか否かの検証を行う（Ｓ８４）。検証の手順は、図９にフローチャートで示されている。 The pupil detection unit 104 acquires the pupil position 113 of the user from the eyeball image 111 by image processing. Further, the cornea reflection image detection unit 102 acquires the cornea reflection image position 112 of the user from the eyeball image 111 by image processing (S83).
The obtained cornea reflection image position 112 is verified by the cornea reflection image verification unit 103 as to whether or not it is a correct cornea reflection image (S84). The verification procedure is shown in the flowchart of FIG.

すなわち、まず、角膜反射像位置１１２の周囲における一定領域（例えば検出された角膜反射像の３倍）で、他に角膜反射像があるか否かをチェックする（Ｓ８４１）。他に角膜反射像があった場合には双方の中心位置および大きさを比較し（Ｓ８４２）、中心位置のＹ座標および大きさがほぼ同等であれば（Ｓ８４３、Ｙｅｓ）、正しい角膜反射像であると判定し、“正”を戻り値として図８のＳ８５の処理に戻す（Ｓ８４４）。   That is, first, it is checked whether there is another corneal reflection image in a certain region around the corneal reflection image position 112 (for example, three times the detected corneal reflection image) (S841). If there is another corneal reflection image, the center position and size of both are compared (S842), and if the Y coordinate and size of the center position are substantially equal (S843, Yes), the correct corneal reflection image is obtained. It is determined that there is, and “positive” is set as a return value, and the process returns to the process of S85 of FIG. 8 (S844).

他に角膜反射像がなかった場合には（Ｓ８４１、ＮＯ）、得られた角膜反射像について、その角膜反射像に外接する矩形領域４０５の縦および横の辺の長さをチェックする（Ｓ８４５）。
図５に、正しい角膜反射像である場合の角膜反射像を示す。図５において、縦辺ＬＶ（４０１）と横辺ＬＨ（４０２）の比が、ほぼ１：２であり、かつ外接する長方形の中央部における縦方向の角膜反射像領域長を示す中央部縦長ＶＣ（４０３）が、反射像縦長ＶＩ（４０４）より短ければ（Ｓ８４６、Ｙｅｓ）、正しい角膜反射像であると判定し、“正”を戻り値として図８のＳ８５の処理に戻す（Ｓ８４４）。ただし、反射像縦長ＶＩは縦辺ＬＶに等しい。 When there is no other cornea reflection image (S841, NO), the length of the vertical and horizontal sides of the rectangular area 405 circumscribing the cornea reflection image is checked for the obtained cornea reflection image (S845). .
FIG. 5 shows a cornea reflection image in the case of a correct cornea reflection image. In FIG. 5, the ratio between the vertical side L V (401) and the horizontal side L H (402) is approximately 1: 2, and the central part indicates the length of the corneal reflection image region in the vertical direction at the central part of the circumscribed rectangle. If the portrait V C (403) is shorter than the reflected image portrait V I (404) (S846, Yes), it is determined that the image is a correct corneal reflection, and “positive” is set as a return value, and the process returns to S85 in FIG. (S844). However, the reflected image portrait V I is equal to the longitudinal side L V.

説明を図８に戻し、最後に、正しい角膜反射像である場合は（Ｓ８５“正”）、視線算出部１０６において、別途算出した瞳孔位置１１３と、角膜反射像位置１１２から、視線１１４を算出する（Ｓ８６）。   Returning to FIG. 8, finally, when the image is a correct cornea reflection image (S85 “positive”), the line-of-sight calculation unit 106 calculates the line-of-sight 114 from the separately calculated pupil position 113 and the cornea reflection image position 112. (S86).

視線測定装置１の一部である眼球撮影取込み部１０１と近赤外線照射部１１５の外観構造の一例を図２に示す。ここでは、利用者の眼球を撮影するための眼球撮影用カメラ１１、および眼球に近赤外線を照射する２個の近赤外線光源１２ａと１２ｂから構成されている。近赤外線光源１２ａと１２ｂはそれぞれ点光源であるが、あまり小さいとカメラにおいて撮影できない。また、近赤外線光源１２ａと１２ｂの中心間の距離についても、あまり近すぎると角膜反射像が１の輝点として観察される。このため、視線測定装置１から眼球までの距離が６０ｃｍ程度の場合、近赤外線光源１２ａ及び１２ｂをそれぞれＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）をアレイ状に並べた２〜５ｃｍ四方程度の一定の面積を有した面光源とし、また近赤外線光源１２ａと１２ｂの中心間の距離は８ｃｍ程度とすることが望ましい。   An example of the external structure of the eyeball capturing unit 101 and the near-infrared irradiation unit 115, which are part of the line-of-sight measurement device 1, is shown in FIG. Here, it is composed of an eyeball photographing camera 11 for photographing a user's eyeball, and two near-infrared light sources 12a and 12b that irradiate the eyeball with near-infrared light. The near-infrared light sources 12a and 12b are point light sources, respectively. Further, if the distance between the centers of the near-infrared light sources 12a and 12b is too close, a corneal reflection image is observed as one bright spot. Therefore, when the distance from the line-of-sight measuring device 1 to the eyeball is about 60 cm, the near infrared light sources 12a and 12b each have a certain area of about 2 to 5 cm square in which LEDs (Light Emitting Diodes) are arranged in an array. It is desirable to use a surface light source and the distance between the centers of the near-infrared light sources 12a and 12b is about 8 cm.

眼球撮影取込み部１０１で撮影した利用者の眼球画像を模式化したものを図３に示す。ここでは、１個の瞳孔３０１、および近接した２個の角膜反射像３０２が観察されている。ここで、２個の角膜反射像３０２の位置関係は、２個の近赤外線光源１２ａと１２ｂの位置関係と対応しており、近赤外線光源が左右に配置されている場合は、眼球上の角膜反射像の位置も左右に位置する。
照明など、他の光源に起因する角膜上の反射光は、このように隣接して現れることは稀であるため、角膜上に他の反射光が存在する場合でも、容易に角膜反射像を検出可能である。 FIG. 3 schematically shows a user's eyeball image captured by the eyeball capturing unit 101. Here, one pupil 301 and two adjacent corneal reflection images 302 are observed. Here, the positional relationship between the two cornea reflection images 302 corresponds to the positional relationship between the two near-infrared light sources 12a and 12b, and when the near-infrared light sources are arranged on the left and right, the cornea on the eyeball. The position of the reflected image is also located on the left and right.
The reflected light on the cornea due to other light sources such as illumination rarely appears in this way, so even if there is other reflected light on the cornea, it easily detects the cornea reflection image Is possible.

なお、角膜反射像は、人と視線測定装置１との距離関係により、１個としてしか観察されない場合がある。図４にその例が示されている。この場合、角膜反射像３０２は、２個の円が接合した形状となるため、形状特徴を利用することで、容易に他の反射光と区別が可能であり、角膜反射像を検出することが可能である。   The cornea reflection image may be observed only as one due to the distance relationship between the person and the line-of-sight measurement device 1. An example is shown in FIG. In this case, since the corneal reflection image 302 has a shape in which two circles are joined, it can be easily distinguished from other reflected light by using the shape feature, and the corneal reflection image can be detected. Is possible.

本実施形態では、近赤外線光源が２個設置された例を示したが、より多くても実現可能である。図６にその一例が示されている。
図６に示す例では、近赤外線光源が３個設置されている。この場合も、３個の近赤外線光源１２ａと１２ｂと１２ｃのそれぞれの中心間の距離は８ｃｍ程度離れていることが望ましい。また、眼球撮影用カメラ１１と近赤外線光源１２ａと１２ｂと１２ｃとが近接していると暗瞳孔が観察されないため、眼球撮影用カメラと近赤外線光源１２ａと１２ｂと１２ｃとは２ｃｍ以上離れていることが望ましい。 In the present embodiment, an example in which two near-infrared light sources are installed has been shown, but even more can be realized. An example is shown in FIG.
In the example shown in FIG. 6, three near infrared light sources are installed. Also in this case, the distance between the centers of the three near-infrared light sources 12a, 12b, and 12c is preferably about 8 cm. Further, when the eyeball camera 11 and the near-infrared light sources 12a, 12b, and 12c are close to each other, the dark pupil is not observed, so the eyeball camera and the near-infrared light sources 12a, 12b, and 12c are separated by 2 cm or more. It is desirable.

以上説明ように本発明は、近接した複数の点光源を用い、カメラにより撮影された画像を角膜反射像検出部に取り込み、角膜反射像検証部が点光源の位置関係と相対する位置関係にある反射像を正しい角膜反射像と判定することで、正しい角膜反射像を抽出して視線を測定するものである。このことにより、眼球上に角膜反射像以外の反射光が発生した場合にも、角膜反射像の検出が可能となる。   As described above, the present invention uses a plurality of adjacent point light sources, captures an image captured by the camera into the cornea reflection image detection unit, and the cornea reflection image verification unit is in a positional relationship opposite to the positional relationship of the point light sources. By determining the reflected image as the correct corneal reflection image, the correct corneal reflection image is extracted and the line of sight is measured. Thus, even when reflected light other than the cornea reflection image is generated on the eyeball, the cornea reflection image can be detected.

図７に、角膜反射像３０２ならびに他の要因による反射光３０３が存在する眼球像の例を示す。従来は、このような眼球像が観察された場合、角膜反射像の検出が不可能となるが、本発明によれば、近接した２個の光源を求めることにより、識別が可能となる。   FIG. 7 shows an example of an eyeball image in which the cornea reflection image 302 and the reflected light 303 due to other factors exist. Conventionally, when such an eyeball image is observed, it is impossible to detect a cornea reflection image. However, according to the present invention, identification is possible by obtaining two adjacent light sources.

本発明実施形態に係わる視線測定装置の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the visual line measuring apparatus concerning embodiment of this invention. 本発明実施形態に係わる視線測定装置の眼球撮影取込み部と近赤外線照射部の外観構造の一例を示す図である。It is a figure which shows an example of the external appearance structure of the eyeball imaging | photography taking part of a gaze measuring apparatus concerning this invention embodiment, and a near-infrared irradiation part. 眼球撮影取込み部により撮影され取込まれた眼球像の模式図（１個の角膜反射像が存在）である。It is a schematic diagram (one corneal reflection image exists) of the eyeball image imaged and captured by the eyeball image capturing unit. 眼球撮影取込み部により撮影され取込まれた眼球像の模式図（１個の角膜反射像が存在）である。It is a schematic diagram (one corneal reflection image exists) of the eyeball image imaged and captured by the eyeball image capturing unit. １個の角膜反射像が観察された場合の角膜反射像の一例を示す図である。It is a figure which shows an example of a cornea reflection image when one cornea reflection image is observed. 本発明実施形態に係わる視線測定装置の眼球撮影取込み部と近赤外線照射部の外観構造の他の例を示す図である。It is a figure which shows the other example of the external structure of the eyeball imaging | photography taking part of the gaze measuring apparatus concerning this invention embodiment, and a near-infrared irradiation part. 角膜反射像および他の要因で反射光が発生した場合の眼球の模式図である。It is a schematic diagram of an eyeball when reflected light is generated due to a cornea reflection image and other factors. 本発明実施形態に係わる視線測定装置の動作を説明するために引用したフローチャートである。It is the flowchart quoted in order to demonstrate operation | movement of the gaze measurement apparatus concerning embodiment of this invention. 本発明実施形態に係わる視線測定装置の動作を説明するために引用したフローチャートである。It is the flowchart quoted in order to demonstrate operation | movement of the gaze measurement apparatus concerning embodiment of this invention.

符号の説明Explanation of symbols

１０１…眼球撮影取込み部、１０２…角膜反射像検出部、１０３…角膜反射像検証部、１０４…瞳孔検出部、１０６…視線算出部、１１５…近赤外線照射部

DESCRIPTION OF SYMBOLS 101 ... Eyeball imaging | photography capture part, 102 ... Cornea reflection image detection part, 103 ... Cornea reflection image verification part, 104 ... Pupil detection part, 106 ... Eye gaze calculation part, 115 ... Near infrared irradiation part

Claims (6)

近赤外線の光源を利用者の眼球に照射し、カメラで撮影した眼球像から演算装置により視線を算出する視線測定装置に用いられる視線測定方法であって、
２点以上の近赤外線光源から照射される近赤外線を前記利用者の眼球方向へ照射する第１のステップと、
前記利用者の眼球を撮影して取り込む第２のステップと、
前記カメラにより取り込まれた眼球像から前記利用者の瞳孔位置および角膜反射像位置を検出する第３のステップと、
前記検出された角膜反射像位置が、前記近赤外線光源の配置位置との対応が取れていることを検証する第４のステップと、
前記検出された瞳孔位置および角膜反射像位置から視線を算出する第５のステップと、
を有し、
前記第４のステップは、
前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在するか否かをチェックするサブステップと、
他に角膜反射像が存在しないことが確認されたときに、前記検出された角膜反射像位置について、その角膜反射像位置に外接する矩形領域の縦横の辺長を算出するサブステップと、
当該縦辺長と横辺長の比が略１：２で、かつ、外接する矩形の中央部における縦方向の角膜反射領域長を示す中央部縦長が角膜反射像縦長より短いときに、前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定するサブステップ、
を更に含むことを特徴とする視線測定方法。 A line-of-sight measurement method used in a line-of-sight measurement apparatus that irradiates a user's eyeball with a near-infrared light source and calculates the line of sight with an arithmetic device from an eyeball image captured by a camera,
A first step of irradiating near-infrared rays emitted from two or more near-infrared light sources toward the user's eyeball;
A second step of photographing and capturing the user's eyeball;
A third step of detecting a pupil position and a corneal reflection image position of the user from an eyeball image captured by the camera;
A fourth step of verifying that the detected corneal reflection image position corresponds to the arrangement position of the near infrared light source;
A fifth step of calculating a line of sight from the detected pupil position and corneal reflection image position;
I have a,
The fourth step includes
A sub-step of checking whether there is another corneal reflection image in a certain region around the corneal reflection image position;
When it is confirmed that no other corneal reflection image exists, a sub-step of calculating the vertical and horizontal side lengths of the rectangular region circumscribing the corneal reflection image position for the detected corneal reflection image position;
The detection is performed when the ratio of the vertical side length to the horizontal side length is approximately 1: 2, and the central vertical length indicating the length of the corneal reflection region in the central direction of the circumscribed rectangle is shorter than the vertical length of the corneal reflection image. A sub-step for determining that the position of the reflected corneal image corresponds to the arrangement position of the near infrared light source;
A line-of-sight measurement method further comprising : 前記第４のステップは、
前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在することが確認されたときに双方の中心位置および大きさを比較し、中心位置のＹ座標および大きさが略同等であれば前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定するサブステップを含むことを特徴とする請求項１に記載の視線測定方法。 The fourth step includes
When it is confirmed that another corneal reflection image exists in a certain region around the corneal reflection image position, the center position and the size of both are compared, and the Y coordinate and the size of the center position should be approximately equal. 2. The visual line measuring method according to claim 1, further comprising a sub-step of determining that the detected corneal reflection image position corresponds to the arrangement position of the near infrared light source. 前記光源は、点光源あるいは面光源であることを特徴とする請求項１又は２に記載の視線測定方法。 The light source, sight measuring method according to claim 1 or 2, characterized in that a point light source or a surface light source. 近赤外線の光源を利用者の眼球に照射し、カメラで撮影した眼球像から視線を算出する視線測定装置であって、
前記利用者の眼球を撮影して取り込む眼球撮影取込み部と、
２点以上の近赤外線光源から構成され、前記利用者の眼球方向へ前記近赤外線を照射する近赤外線照射部と、
前記眼球撮影取込み部により取り込まれた画像から前記利用者の瞳孔位置を検出する瞳孔検出部と、
前記眼球撮影取込み部により取り込まれた画像から前記利用者の角膜反射像位置を検出する角膜反射像検出部と、
前記角膜反射像検出部で検出された角膜反射像位置が、前記近赤外線照射部における近赤外線光源の配置位置との対応が取れていることを検証する角膜反射像検証部と、
前記瞳孔検出部、前記角膜反射像検出部のそれぞれにより検出された瞳孔位置および角膜反射像位置から視線を算出する視線算出部と、
を具備し、
前記角膜反射像検証部は、
前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在するか否かをチェックし、他に角膜反射像が存在しないことが確認されたときに、前記検出された角膜反射像位置について、その角膜反射像位置に外接する矩形領域の縦横の辺長を算出し、当該縦辺長と横辺長の比が略１：２で、かつ、外接する矩形の中央部における縦方向の角膜反射領域長を示す中央部縦長が角膜反射像縦長より短いときに、前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定する、
ことを特徴とする視線測定装置。 A gaze measuring device that irradiates a user's eyeball with a near-infrared light source and calculates a gaze from an eyeball image captured by a camera,
An eyeball capturing / capturing unit that captures and captures the user's eyeball;
A near-infrared irradiation unit configured by two or more near-infrared light sources and irradiating the near-infrared ray toward the user's eyeball;
A pupil detection unit that detects the pupil position of the user from the image captured by the eyeball capturing unit;
A cornea reflection image detection unit for detecting a position of the user's cornea reflection image from an image captured by the eyeball capturing unit;
A corneal reflection image verification unit that verifies that the corneal reflection image position detected by the corneal reflection image detection unit corresponds to the arrangement position of the near infrared light source in the near infrared irradiation unit;
A line-of-sight calculation unit that calculates a line of sight from the pupil position and the corneal reflection image position detected by each of the pupil detection unit and the corneal reflection image detection unit;
Equipped with,
The cornea reflection image verification unit,
It is checked whether or not another corneal reflection image exists in a certain area around the corneal reflection image position, and when it is confirmed that no other corneal reflection image exists, the detected corneal reflection image position For the rectangular region circumscribing the corneal reflection image position, the ratio of the vertical side length to the horizontal side length is approximately 1: 2, and the vertical direction at the center of the circumscribed rectangle is calculated. It is determined that the detected corneal reflection image position corresponds to the arrangement position of the near-infrared light source when the central vertical length indicating the corneal reflection region length is shorter than the vertical length of the corneal reflection image,
A line-of-sight measurement device characterized by the above. 前記角膜反射像検証部は、  The cornea reflection image verification unit,
前記角膜反射像位置の周囲における一定領域に他の角膜反射像が存在することが確認されたときに双方の中心位置および大きさを比較し、中心位置のＹ座標および大きさが略同等であれば前記検出された角膜反射像位置が前記近赤外線光源の配置位置と対応が取れていると判定することを特徴とする請求項４に記載の視線測定装置。  When it is confirmed that another corneal reflection image exists in a certain region around the corneal reflection image position, the center position and the size of both are compared, and the Y coordinate and the size of the center position should be approximately equal. 5. The line-of-sight measurement apparatus according to claim 4, wherein the detected corneal reflection image position is determined to correspond to the arrangement position of the near-infrared light source. 前記近赤外線照射部は、
２以上の光源が隣接して配置された近赤外線を備えていることを特徴とする請求項４又は５に記載の視線測定装置。 The near infrared irradiation unit is
6. The line-of-sight measurement apparatus according to claim 4, further comprising a near infrared ray in which two or more light sources are arranged adjacent to each other.
JP2004278547A 2004-09-24 2004-09-24 Gaze measurement method and gaze measurement apparatus Expired - Fee Related JP4260715B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004278547A JP4260715B2 (en) 2004-09-24 2004-09-24 Gaze measurement method and gaze measurement apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004278547A JP4260715B2 (en) 2004-09-24 2004-09-24 Gaze measurement method and gaze measurement apparatus

Publications (2)

Publication Number Publication Date
JP2006087751A JP2006087751A (en) 2006-04-06
JP4260715B2 true JP4260715B2 (en) 2009-04-30

Family

ID=36229255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004278547A Expired - Fee Related JP4260715B2 (en) 2004-09-24 2004-09-24 Gaze measurement method and gaze measurement apparatus

Country Status (1)

Country Link
JP (1) JP4260715B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717292B2 (en) 2007-08-07 2014-05-06 Osaka Electro-Communication University Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
US10359842B2 (en) 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
JP2016106668A (en) * 2014-12-02 2016-06-20 ソニー株式会社 Information processing apparatus, information processing method and program
CN116570843B (en) * 2023-07-12 2023-09-29 北京市眼科研究所 Myopia treatment device

Also Published As

Publication number Publication date
JP2006087751A (en) 2006-04-06

Similar Documents

Publication Publication Date Title
EP1714184B1 (en) Custom eyeglass manufacturing method
US7845797B2 (en) Custom eyeglass manufacturing method
US7771049B2 (en) Method and apparatus for detecting sight line vector
JP6800091B2 (en) Line-of-sight measuring device and program
JP4517049B2 (en) Gaze detection method and gaze detection apparatus
JP2739331B2 (en) Non-contact gaze detection device
EP1241634A2 (en) Display device of operation limit angle and distance in iris recognition system
JPH0782539B2 (en) Pupil imager
JP6840697B2 (en) Line-of-sight direction estimation device, line-of-sight direction estimation method, and line-of-sight direction estimation program
JP7030317B2 (en) Pupil detection device and pupil detection method
JP2008513168A (en) Apparatus and method for specifying a gaze direction without contact
JP6651911B2 (en) Face image processing device
KR20130107981A (en) Device and method for tracking sight line
CN109429060A (en) Interpupillary distance measurement method, wearable eye equipment and storage medium
JP2007319175A (en) Photographing device and authentication device using the same
JP2006095008A (en) Visual axis detecting method
JPH02224637A (en) System for detecting glance
JP4313717B2 (en) Gaze detection device
JP5429885B2 (en) Feature point tracking method and feature point tracking device
JP6555707B2 (en) Pupil detection device, pupil detection method, and pupil detection program
JP4260715B2 (en) Gaze measurement method and gaze measurement apparatus
JP4765008B2 (en) A method to detect head direction using pupil and nostril
JP2020162759A (en) Line-of-sight measuring device
JP3711053B2 (en) Line-of-sight measurement device and method, line-of-sight measurement program, and recording medium recording the program
JP6546329B1 (en) Eye gaze vector detection device, visual function inspection device, visual function training device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees