JPH06319701A - Glance recognizing device - Google Patents
Glance recognizing deviceInfo
- Publication number
- JPH06319701A JPH06319701A JP5109204A JP10920493A JPH06319701A JP H06319701 A JPH06319701 A JP H06319701A JP 5109204 A JP5109204 A JP 5109204A JP 10920493 A JP10920493 A JP 10920493A JP H06319701 A JPH06319701 A JP H06319701A
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- cornea
- center
- image
- curvature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、視線認識装置に関し、
特に、頭部に機器を装着することなく、かつ、眼球の位
置が広範囲に動くような状況においても、安定して正確
に視線を認識できる視線認識装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a visual line recognition device,
In particular, the present invention relates to a line-of-sight recognition device that can stably and accurately recognize a line of sight even when the position of the eyeball moves over a wide range without mounting a device on the head.
【０００２】[0002]
【従来の技術】従来、視線認識に使われている特徴点と
しては、瞳孔、黒目、角膜反射像、水晶体反射像等様々
なものが使われている。それらの中でも、角膜反射像
は、輝度が高く抽出しやすいことから、非常によく使わ
れている特徴点である。この特徴点を用いた視線認識技
術の一つとしてアイマークレコーダがあげられる。これ
は、眼球の回転中心と眼球を観測する観測系と点光源の
位置が固定されているという条件（具体的には、観測
系、光源の付いた装置を頭部に固定する。）の下では、
角膜反射像は眼球の回転に応じて移動するという性質を
用いたものである。また、角膜上皮が球面の一部として
モデル化した場合に、複数の角膜反射像の位置から角膜
の曲率中心を求めることができる。例えば、「日経エレ
クトロニクス（１９９２，１０，１２，ｐｐ．８０，８
１）」に記載されているように、カメラの接眼レンズの
両脇から照射された光の反射像の中点の位置を角膜の曲
率中心の２次元的な位置として近似的に求めている例が
ある。そして、曲率中心の位置と瞳孔の位置関係によ
り、眼球の回転角を求める方法が提案されている。2. Description of the Related Art Conventionally, various points such as a pupil, an iris, a cornea reflection image, and a lens reflection image have been used as characteristic points used for visual axis recognition. Among them, the corneal reflection image is a very frequently used feature point because it has high brightness and is easy to extract. An eye mark recorder is one of the eye gaze recognition techniques using these feature points. This is under the condition that the rotation center of the eyeball, the observation system for observing the eyeball, and the position of the point light source are fixed (specifically, the observation system and the device with the light source are fixed to the head). Then
The corneal reflex image uses the property of moving according to the rotation of the eyeball. When the corneal epithelium is modeled as a part of a spherical surface, the center of curvature of the cornea can be obtained from the positions of a plurality of corneal reflection images. For example, “Nikkei Electronics (1992, 10, 12, pp. 80, 8
1) ”, an example in which the position of the midpoint of the reflection image of the light emitted from both sides of the eyepiece of the camera is approximately determined as the two-dimensional position of the center of curvature of the cornea. There is. Then, a method of obtaining the rotation angle of the eyeball based on the positional relationship between the position of the center of curvature and the pupil is proposed.
【０００３】[0003]
【発明が解決しようとする課題】上記従来の技術であげ
られているアイマークレコーダは、原理的には、眼球の
回転中心、観測系（カメラ）、光源の位置関係が固定さ
れている状況にしか適用できない。したがって、製品化
されているように光源、カメラを頭部に装着するか、あ
るいは、装着しなくともそれらの位置関係を一定に保つ
ために、頭部を固定しなくてはならない。また、これら
を頭部に装着する場合には、頭部における眼球の位置に
応じて適切な位置に光源を配置したり、あるいは、観測
系に反射像を結像させるためにミラーの調節等を行う必
要があり、扱いが難しいという欠点がある。SUMMARY OF THE INVENTION In principle, the eye mark recorder described in the above-mentioned conventional technique is used in a situation where the positional relationship among the center of rotation of the eyeball, the observation system (camera), and the light source is fixed. Only applicable. Therefore, it is necessary to mount the light source and the camera on the head as commercialized, or to fix the head in order to keep the positional relationship between them even if they are not mounted. Also, when these are attached to the head, the light source is placed at an appropriate position according to the position of the eyeball on the head, or the mirror is adjusted to form a reflected image on the observation system. It has to be done and has the drawback of being difficult to handle.
【０００４】一方、「日経エレクトロニクス（１９９
２，１０，１２，ｐｐ．８０，８１）」に記載されてい
るように、カメラにおける実施例の場合においては、２
つの反射像の中点を近似的に角膜の曲率中心としてい
る。一般的に、球面鏡に２つの点光源から光を当てて、
その虚像から撮像面における球面鏡の曲率中心を求める
場合には、厳密には光源の位置、撮像面の向き、そし
て、撮像面における虚像の位置から計算する必要があ
る。また、頭部が動き、視線が撮像面に対して大きな角
度をなすような状況では、上記のような照明手段を用い
ると、光が眼瞼に遮られて角膜上に像が結像されなかっ
たり、強膜で反射したりするため、認識に支障が生じる
問題点がある。On the other hand, "Nikkei Electronics (199
2, 10, 12, pp. 80, 81) ”, in the case of the camera embodiment, 2
The midpoint of the two reflection images is approximately the center of curvature of the cornea. In general, illuminate a spherical mirror from two point sources,
When obtaining the center of curvature of the spherical mirror on the imaging surface from the virtual image, it is strictly necessary to calculate from the position of the light source, the orientation of the imaging surface, and the position of the virtual image on the imaging surface. Further, in a situation where the head moves and the line of sight makes a large angle with respect to the image pickup surface, when the above illumination means is used, light is blocked by the eyelid and an image is not formed on the cornea. However, since it is reflected by the sclera, there is a problem that recognition is hindered.
【０００５】したがって、従来技術のように、カメラと
光源の位置関係が固定されており、かつ、１つあるいは
２つの光源で角膜の狭い領域を照射して視線を認識する
手法では、精度良く視線を認識できる範囲は小さく、限
定されたものになる。Therefore, as in the prior art, in the method in which the positional relationship between the camera and the light source is fixed and one or two light sources illuminate a narrow area of the cornea to recognize the line of sight, the line of sight can be accurately detected. The range in which can be recognized is small and limited.
【０００６】本発明はこのような従来技術の問題点に鑑
みてなされたものであり、その目的は、特に頭部に機器
を装着することなく、かつ、光源、観測系（カメラ）に
対して眼球の位置が広範囲に動くような状況において
も、安定して正確に視線を認識できる視線認識装置を提
供することである。The present invention has been made in view of the above problems of the prior art, and an object thereof is to mount a device on a head and to a light source and an observation system (camera). An object of the present invention is to provide a visual line recognition device that can stably and accurately recognize a visual line even when the position of the eyeball moves over a wide range.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成する本発
明の視線認識装置は、視線認識対象の眼球に光を照射し
てその角膜上に幾何学的な特徴を有する図形パターンを
結像させる光源と、前記角膜上に結像された図形パター
ンの特徴の位置から前記眼球の角膜曲率中心を求める手
段とを有し、求められた眼球角膜曲率中心情報を用いて
視線を認識することを特徴とするものである。SUMMARY OF THE INVENTION A visual line recognition device of the present invention that achieves the above object irradiates the eyeball of the visual line recognition target with light to form a graphic pattern having geometrical features on the cornea. A light source and a means for determining a corneal curvature center of the eyeball from the position of the feature of the graphic pattern imaged on the cornea, and recognizing the line of sight using the obtained eyeball corneal curvature center information It is what
【０００８】この場合、図形パターンの特徴は球面反射
像においても保たれる特徴であることが必要である。ま
た、視線は、求められた眼球角膜曲率中心情報と、瞳
孔、虹彩等の眼球の他の情報とを用いて認識される。In this case, it is necessary that the features of the graphic pattern are the features that can be maintained even in the spherical reflection image. In addition, the line of sight is recognized using the obtained eye corneal curvature center information and other information of the eyeball such as the pupil and the iris.
【０００９】[0009]
【作用】本発明においては、視線認識対象の眼球に光を
照射してその角膜上に幾何学的な特徴を有する図形パタ
ーンを結像させる光源と、前記角膜上に結像された図形
パターンの特徴の位置から前記眼球の角膜曲率中心を求
める手段とを有し、求められた眼球角膜曲率中心情報を
用いて視線を認識するので、例えば、複数の光源からな
る図形パターンを用いて、角膜上の広範囲にそれらの角
膜反射像を結像させ、その情報と虹彩輪郭、瞳孔等の情
報を用いることにより、眼球が広範囲の対象を見る場合
にも、高精度な視線認識を行えるようになる。本発明
は、撮像手段に対して頭部が自由に動くような場合、撮
像面に対して視線方向が大きな角度をなす場合等に特に
有効である。In the present invention, the light source for irradiating the eyeball of the line-of-sight recognition target with light to form a graphic pattern having a geometrical characteristic on the cornea, and the graphic pattern formed on the cornea It has means for obtaining the corneal curvature center of the eyeball from the position of the feature, and recognizes the line of sight using the obtained eyeball corneal curvature center information, so, for example, using a graphic pattern composed of a plurality of light sources, on the cornea By forming those corneal reflection images in a wide range of the image and using the information and the information of the iris contour, the pupil, etc., it becomes possible to perform highly accurate line-of-sight recognition even when the eyeball sees a wide range of objects. INDUSTRIAL APPLICABILITY The present invention is particularly effective when the head moves freely with respect to the image pickup means, when the line-of-sight direction forms a large angle with the image pickup surface, and the like.
【００１０】[0010]
【実施例】本発明の基本的な狙いは、撮像手段に対し
て、頭部、眼球が広範囲に動くような状況においても、
角膜反射像から眼球角膜曲率中心をいかに安定にしかも
正確に求めるかにあり、求めた眼球角膜曲率中心とどの
情報とを用いて視線を認識するかについては、特定する
ものではない。しかし、以下に述べる実施例において
は、虹彩とのコントラストがはっきりしていて、抽出の
精度の面で有利かと思われる情報の一つである瞳孔情報
を用いて、その情報と求めた眼球角膜曲率中心とにより
視線を認識する方式を例にあげて説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The basic aim of the present invention is to provide a means for moving the head and eyes over a wide range with respect to the image pickup means.
It depends on how stably and accurately the eye corneal curvature center is obtained from the corneal reflection image, and what information is used to recognize the line of sight is not specified. However, in the examples described below, the pupil information, which is one of the information that has a clear contrast with the iris and is considered to be advantageous in terms of accuracy of extraction, is used, and the obtained information and the corneal curvature of the eyeball are used. A method of recognizing the line of sight based on the center will be described as an example.
【００１１】まず、本発明によるシステム構成図を図２
に、またその処理の流れを図３に示す。以下、図３の処
理の流れに沿って本発明の手法の基本的な原理を説明し
ていく。なお、眼球構造パラメータとして、角膜の曲率
半径（ｒ）、角膜の曲率中心と瞳孔中心との距離（ｄ）
は既知であるとして議論を進める。First, a system configuration diagram according to the present invention is shown in FIG.
The processing flow is shown in FIG. Hereinafter, the basic principle of the method of the present invention will be described along the processing flow of FIG. As the eyeball structure parameters, the radius of curvature of the cornea (r) and the distance between the center of curvature of the cornea and the center of the pupil (d)
Advances the discussion assuming that it is known.
【００１２】従来技術の項で述べたように、角膜反射像
は、虹彩、瞳孔に対して輝度が非常に高いため非常に抽
出しやすいことから、視線認識にはよく利用される特徴
である。しかし、眼瞼によって遮られやすい、また、撮
像面に対して眼球の回転角が大きい場合には角膜上に光
が適切に照射されないという問題点がある。このような
問題を解決するためには、図１４に模式的に示すよう
に、複数の光源１０を眼球Ｅの前の空間上に広く配置し
ておいて、その角膜反射像を撮像手段１１により撮影し
て抽出することも考えられる。このようにすると、空間
内に広く光源１０を配置したため、そのいくつかは眼瞼
に遮られることなく適切に角膜上で結像する。しかし、
実際に角膜反射像によって角膜の曲率の中心を求めるに
は、光源の位置、撮像面の向き、そして、撮像面におけ
る虚像の位置を知る必要がある。図１４のような場合に
は、どの反射像が実空間内のどの光源に対応するかを判
定することが非常に困難である。As described in the section of the prior art, the corneal reflection image has a very high brightness for the iris and the pupil and is very easy to extract, and is a feature often used for visual axis recognition. However, there are problems that the eyelids are likely to block the light and that the cornea is not properly irradiated with light when the rotation angle of the eyeball with respect to the imaging surface is large. In order to solve such a problem, as schematically shown in FIG. 14, a plurality of light sources 10 are widely arranged in the space in front of the eyeball E, and the corneal reflection image thereof is picked up by the image pickup means 11. It is also possible to take a picture and extract it. In this way, since the light sources 10 are widely arranged in the space, some of them are properly imaged on the cornea without being blocked by the eyelids. But,
In order to actually obtain the center of curvature of the cornea from the corneal reflection image, it is necessary to know the position of the light source, the orientation of the imaging surface, and the position of the virtual image on the imaging surface. In the case of FIG. 14, it is very difficult to determine which reflection image corresponds to which light source in the real space.
【００１３】そこで、本発明においては、光源に幾何学
的な特徴を持たせることで、その対応付けを容易にする
手法を用いる。そのために、図１に模式的に示すよう
に、それぞれ異なる光源パターンＰ1 、Ｐ2 ・・を用い
る。それらの場合、虚像は図示のようになる。このよう
に、照射光源に幾何学的な特徴を持たせることにより、
どの光源の虚像が角膜上に映り込んでいるかが容易に分
かる。ただし、球面上の反射像であるために、実空間に
おける光源形状と反射像としての形状は異なる。例え
ば、実空間内で直線であるものは、反射像としては曲線
に見えることは自明である。しかし、図１に例示するよ
うに、実空間内における連続性、微分可能性、交差、ル
ープ等の幾何学的な特徴は球面反射像においても保たれ
る。図４に光源パターンＰ1 、Ｐ2 ・・として有効な幾
何学的な特徴の例を示す。図の左から、曲線の端点、屈
曲点、分岐点、交差点、ループを示す。これらの特徴
は、球面反射像においても保たれる。Therefore, in the present invention, a method is used in which the light sources have geometrical characteristics to facilitate their correspondence. For that purpose, different light source patterns P 1 , P 2, ... Are used as schematically shown in FIG. In those cases, the virtual image is as shown. In this way, by giving the irradiation light source a geometrical characteristic,
It is easy to see which virtual image of the light source is reflected on the cornea. However, since it is a reflection image on a spherical surface, the shape of the light source in the real space is different from the shape of the reflection image. For example, it is obvious that what is a straight line in real space looks like a curved line as a reflection image. However, as illustrated in FIG. 1, geometric features such as continuity, differentiability, intersection, and loop in the real space are maintained even in the spherical reflection image. FIG. 4 shows an example of geometrical features effective as the light source patterns P 1 , P 2, ... From the left of the figure, the end points of the curve, the bending points, the branch points, the intersections, and the loops are shown. These features are retained in the spherical reflection image.
【００１４】このような特徴を実際に画像処理、解析し
て、虚像と実空間内の光源との対応を付ける。具体的な
対応付けの手法としては、予め光源Ｐ1 、Ｐ2 ・・の特
徴と位置の情報をデータベースに格納しておき、抽出さ
れた特徴から位置情報を引き出す方法が考えられる。図
２のシステム構成図及び図３の処理の流れ図において
は、まず、ステップにおいて、撮影手段１１で撮影さ
れた画像のノイズを画像処理手段１２で除去し、画像解
析、認識手段１３で閾値処理等を行って虹彩、眼瞼等の
像を除去し、角膜反射像のみを抽出し、ステップにお
いて、画像解析、認識手段１３で、例えば図５に示した
ような矩形マスクＭを用いた解析手法を使う。このよう
なマスクＭを、図５に示すように、撮影手段１１で撮影
された画像中に走査させ、予め用意されたパターンに合
うものを検出して、特徴を認識する。図６に特徴量の例
を示す。図の（ａ）は反射像がマスクＭの一辺を横切る
場合、（ｂ）は相対する二辺を横切る場合、（ｃ）は隣
合う二辺を横切る場合、（ｄ）は四辺全てを横切る場
合、（ｅ）は三辺を横切る場合を示す。このようにして
特徴が認識された場合には、次のステップで、予め情
報記録媒体の光源パターンデータベース１４に用意され
た光源位置とその特徴の部分を参照して、光源位置を同
定する。Image processing and analysis of these features are performed to establish correspondence between virtual images and light sources in the real space. As a specific associating method, a method of preliminarily storing the characteristic and position information of the light sources P 1 , P 2, ... In a database and extracting the position information from the extracted characteristic is considered. In the system configuration diagram of FIG. 2 and the process flow chart of FIG. 3, first, in step, the noise of the image captured by the image capturing unit 11 is removed by the image processing unit 12, and the image analyzing and recognizing unit 13 performs threshold processing and the like. Is performed to remove the image of the iris, eyelid, etc., and only the corneal reflection image is extracted, and in the step, the image analysis / recognition means 13 uses the analysis method using the rectangular mask M as shown in FIG. 5, for example. . As shown in FIG. 5, such a mask M is scanned in the image photographed by the photographing means 11, and a feature that matches a prepared pattern is detected to recognize the feature. FIG. 6 shows an example of the feature amount. In the figure, (a) shows a case where the reflected image crosses one side of the mask M, (b) shows two opposite sides, (c) shows two adjacent sides, and (d) shows all four sides. , (E) shows the case of crossing three sides. When the feature is recognized in this way, in the next step, the light source position is identified by referring to the light source position and its characteristic portion prepared in advance in the light source pattern database 14 of the information recording medium.
【００１５】次に、図３のステップで、曲率中心演算
手段１５により、撮影された画像中の曲率中心を求め
る。以下の例では、２つの反射像を用いて曲率中心を求
める。この手法を図７と図８の説明図を参照にして説明
する。角膜を球面としてモデル化すると、図８のように
撮影された画像中の曲率中心Ｏは、光源位置ＳA3' 、Ｓ
B3' 、虚像位置ＩA3、ＩB3、撮像面の方向から求まる。
すなわち、球面鏡における反射の様子を模式的に描いた
のが図７であるが、図（ａ）は角膜曲率中心Ｏを中心と
する斜視図、（ｂ）は撮影面における位置を示す図であ
り、図（ａ）に示すように、撮像手段の方向（ｘ軸方
向）から見た場合の光源Ｓの反射点Ｒは、光源Ｓと角膜
の球の曲率中心Ｏと撮像手段１１を含む平面内にあり、
入射角と反射角が等しいような位置である。したがっ
て、同図（ａ）のｙ−ｚ面に平行な撮影面の画像中での
曲率中心Ｏの位置は、光源Ｓを倍率補正してこの撮像面
に正射影した点Ｓ’（図（ａ）には図示がないが、
（ｂ）のＳ0'又はＳ1'が対応）と反射像Ｉ（又は、反射
点Ｒ）を結ぶ線ｌ上にある。光源が２点Ｓ0 、Ｓ1 あ
り、その虚像Ｉ0 、Ｉ1 が求まっている場合、そのよう
な直線が２本ｌ0 、ｌ1 定まり、撮影画像中の曲率中心
Ｏが求まる。図８中では、光源の正射影点をＳA3' 、Ｓ
B3' 、虚像位置をＩA3、ＩB3としている。Next, in the step of FIG. 3, the curvature center calculating means 15 finds the center of curvature in the photographed image. In the following example, the center of curvature is obtained using two reflection images. This method will be described with reference to the explanatory diagrams of FIGS. 7 and 8. When the cornea is modeled as a spherical surface, the center of curvature O in the image photographed as shown in FIG. 8 has the light source positions S A3 'and S
B3 ′, virtual image positions I A3 , I B3 , and the direction of the imaging surface.
That is, FIG. 7 schematically shows how the spherical mirror reflects light. FIG. 7A is a perspective view centering on the corneal curvature center O, and FIG. 7B is a diagram showing a position on the imaging plane. As shown in FIG. 3A, the reflection point R of the light source S when viewed from the direction of the image pickup means (x-axis direction) is within a plane including the light source S, the center of curvature O of the corneal sphere, and the image pickup means 11. In
It is a position where the incident angle and the reflection angle are equal. Therefore, the position of the center of curvature O in the image of the imaging plane parallel to the yz plane of FIG. 10A is the point S ′ that is orthographically projected onto this imaging plane by correcting the magnification of the light source S (FIG. ) Is not shown,
It is on the line 1 connecting the reflected image I (or the reflection point R) and S 0 'or S 1 ' in (b). When there are two light sources S 0 and S 1 and their virtual images I 0 and I 1 are obtained, two such straight lines l 0 and l 1 are determined, and the center of curvature O in the captured image is obtained. In FIG. 8, the orthogonal projection points of the light source are S A3 'and S
B3 'and the virtual image positions are I A3 and I B3 .
【００１６】以上の図３のステップで求まった角膜の
曲率中心と画像処理手段１２で求めた瞳孔中心とを用い
て、図３のステップで、視線演算手段１６により視線
を決定する。図９に眼球モデルを示すが、このモデルか
ら分かるように、視線は、眼球の曲率中心Ｏと瞳孔の中
心Ｄを結ぶ線とモデル化される。実際の曲率中心Ｏと瞳
孔中心Ｄの距離ｄが分かっているので、図８の場合は、
右方向に角度θ＝ｓｉｎ-1（ＯＤ／ｄ）を見ていること
が分かる。Using the center of curvature of the cornea obtained in the above steps of FIG. 3 and the center of the pupil obtained by the image processing means 12, the line of sight is determined by the line of sight calculating means 16 in the step of FIG. An eyeball model is shown in FIG. 9. As can be seen from this model, the line of sight is modeled as a line connecting the center of curvature O of the eyeball and the center D of the pupil. Since the distance d between the actual center O of curvature and the center D of the pupil is known, in the case of FIG.
It can be seen that the angle θ = sin −1 (OD / d) is seen in the right direction.
【００１７】なお、本実施例の前提として、角膜の曲率
半径（ｒ）と角膜の曲率中心Ｏと瞳孔中心Ｄの距離
（ｄ）が既知であることであったが、人によって個人差
もあることから、これらを事前に調べておく必要があ
る。例えば、角膜の曲率半径（ｒ）については、「光学
技術シリーズ１０ めがね光学」（小瀬輝次監修，大頭
仁他著，共立出版（株）発行）に記載されているような
オフサルモメータ（ｏｐｈｔｈａｌｍｏｍｅｔｅｒ）の
ような原理で計測することも一つの方法である。また、
角膜の曲率中心と瞳孔中心の距離（ｄ）については、眼
球Ｅを図１０の断面図に示すようにモデル化した場合、
虹彩半径（Ｒ）と曲率半径（ｒ）が分かれば、ｄは求ま
る。すなわち、 ｄ＝（ｒ2 −Ｒ2 ）1/2 として与えられる。虹彩径（２Ｒ）は、正面から虹彩を
撮影して、カメラの倍率から実際の大きさを計算するこ
とにより求まる。Although the radius of curvature (r) of the cornea and the distance (d) between the center O of curvature of the cornea and the center D of the pupil are known as a premise of the present embodiment, there are individual differences among people. Therefore, it is necessary to investigate these in advance. For example, regarding the radius of curvature (r) of the cornea, an off-salmometer as described in “Optical Technology Series 10 Eyeglass Optics” (edited by Teruji Kose, Hitoshi Ohto et al., Published by Kyoritsu Shuppan Co., Ltd.) ) Is one method. Also,
Regarding the distance (d) between the center of curvature of the cornea and the center of the pupil, when the eyeball E is modeled as shown in the sectional view of FIG.
If the iris radius (R) and the curvature radius (r) are known, d can be obtained. That is, it is given as d = (r 2 −R 2 ) 1/2 . The iris diameter (2R) is obtained by photographing the iris from the front and calculating the actual size from the magnification of the camera.
【００１８】なお、人間の角膜を模擬した球面鏡（曲率
半径ｒ＝７．８ｍｍ、正面より見た直径Ｒ’＝１０ｍ
ｍ）を用いて、その向き（すなわち、視線）を検出する
実験についても、実施例として付記しておく。実験装置
として、図１１に斜視図を示すように、角膜を模擬した
球面鏡２１を配置し、光源としてコの字状に配置された
線光源２２を球面鏡２１の前側方に設け、また、球面鏡
２１の前方にディスプレイ２３と撮像手段であるＣＣＤ
カメラ２４とを配置した。そして、球面鏡２１の光軸と
ディスプレイ２３の画面上の交点（視点）を認識する実
験を行った。なお、ここで、球面鏡２１の曲率中心の位
置は既知である状況で実験を行った。図１２は、球面鏡
２１に映り込んでいる虚像を示す図である。図の（ａ）
は右を見ている場合、（ｂ）は左を見ている場合の図で
ある。なお、処理を簡易化するために、光源２２は上記
のように横方向に長くとり、球面鏡２１の縁２点（人間
の場合は虹彩の輪郭２点）を抽出しやすくしている。す
なわち、虚像が切れている所が球面鏡２１の縁になる。
図５のようなマスクＭを用い、さらに、虚像の連続性の
情報から蛍光灯のようなノイズを除去して、図１２の
Ａ、Ｂ、Ｃ、Ｄ点を精度良く検出する。点ＡとＢから、
球面鏡２１の曲率中心Ｏを計算し、さらに、この曲率中
心Ｏと点Ｃ、Ｄから球面鏡２１の光軸方向を計算する。
実際に、Ｏ、Ｃ、Ｄから球面鏡２１の向きを計算する時
には、カメラ２４から球面鏡２４までの距離（ｌ）、カ
メラ２４のレンズの倍率（ｆ）を用いて計算する。画像
では、ＯとＣ、Ｄの２次元的な位置関係しか分からない
が、ｌとｆが分かっていて、さらに、曲率半径（ｒ）が
既知の球の一部であることが分かっているので、３次元
的な位置関係が分かる。したがって、求める光軸方向
は、Ｃ、Ｄを通り、かつ、曲率中心Ｏから｛ｒ2 −
（Ｒ’／２)2｝1/2 の距離にある平面の法線方向とし
て求まる。図１３は、ある位置に球面鏡２１を配置し
て、ディスプレイ２３の画面上の９点の方向に向けた時
の認識結果を示す図である。実際の視点と本発明に基づ
いて認識された視点が良く一致していることが確認でき
る。A spherical mirror simulating a human cornea (radius of curvature r = 7.8 mm, diameter R'when viewed from the front = 10 m)
The experiment for detecting the direction (that is, the line of sight) using m) will be additionally described as an example. As a test device, as shown in a perspective view in FIG. 11, a spherical mirror 21 simulating a cornea is arranged, and a linear light source 22 arranged in a U-shape as a light source is provided on the front side of the spherical mirror 21. In front of the display 23 and the CCD as the image pickup means
And a camera 24. Then, an experiment for recognizing the intersection (viewpoint) of the optical axis of the spherical mirror 21 and the screen of the display 23 was conducted. Here, the experiment was conducted under the condition that the position of the center of curvature of the spherical mirror 21 is known. FIG. 12 is a diagram showing a virtual image reflected on the spherical mirror 21. Figure (a)
Is a view when looking at the right, and (b) is a view when looking at the left. In order to simplify the processing, the light source 22 is set to be long in the horizontal direction as described above, so that the two edges of the spherical mirror 21 (in the case of a human, the two points of the iris) are easily extracted. That is, the edge of the spherical mirror 21 is where the virtual image is cut off.
Using the mask M as shown in FIG. 5, noises such as fluorescent lights are further removed from the information on the continuity of the virtual image, and the points A, B, C, and D in FIG. 12 are accurately detected. From points A and B,
The center of curvature O of the spherical mirror 21 is calculated, and the optical axis direction of the spherical mirror 21 is calculated from the center of curvature O and the points C and D.
Actually, when calculating the orientation of the spherical mirror 21 from O, C, and D, the distance (l) from the camera 24 to the spherical mirror 24 and the magnification (f) of the lens of the camera 24 are used. In the image, only the two-dimensional positional relationship between O, C, and D is known, but l and f are known, and it is further known that the radius of curvature (r) is a part of a known sphere. You can see the three-dimensional positional relationship. Therefore, the optical axis direction to be obtained passes through C and D, and from the center of curvature O to {r 2 −
It is obtained as the normal direction of the plane at a distance of (R '/ 2) 2 } 1/2 . FIG. 13 is a diagram showing a recognition result when the spherical mirror 21 is arranged at a certain position and is directed toward nine points on the screen of the display 23. It can be confirmed that the actual viewpoint and the viewpoint recognized based on the present invention are in good agreement.
【００１９】なお、実際には、眼球が動く場合が一般的
な状況であるが、その場合には、瞳孔等の位置をステレ
オ画像計測で求める方法も一つの方法である。また、自
動焦点調節機構を有する単眼のカメラを用いて、そのレ
ンズの駆動信号により眼球までの距離を認識することも
一つの手法である。Actually, it is a general situation that the eyeball moves, but in that case, a method of obtaining the position of the pupil or the like by stereo image measurement is also one method. Further, using a monocular camera having an automatic focus adjustment mechanism to recognize the distance to the eyeball by the drive signal of the lens is also one method.
【００２０】以上の実施例では、角膜曲率中心と瞳孔中
心から視線を求める手法を示したが、瞳孔情報以外の眼
球の向きに関係する情報と求めた角膜曲率中心とを用い
て視線を求めることもできる。なお、本発明による視線
認識装置は、カメラ、ＯＡ機器、自動車等、視線を認識
する必要のある用途であれば、いかなるものにも適用で
きる。In the above embodiments, the method of obtaining the line of sight from the center of the corneal curvature and the center of the pupil has been shown. However, the line of sight is obtained by using the information relating to the direction of the eyeball other than the pupil information and the obtained center of the corneal curvature. You can also The visual line recognition device according to the present invention can be applied to any device such as a camera, an OA device, an automobile, etc. as long as the visual line needs to be recognized.
【００２１】[0021]
【発明の効果】以上の説明から明らかなように、本発明
の視線認識装置によると、視線認識対象の眼球に光を照
射してその角膜上に幾何学的な特徴を有する図形パター
ンを結像させる光源と、前記角膜上に結像された図形パ
ターンの特徴の位置から前記眼球の角膜曲率中心を求め
る手段とを有し、求められた眼球角膜曲率中心情報を用
いて視線を認識するので、例えば、複数の光源からなる
意図的な図形パターンを用いて、角膜上の広範囲にそれ
らの角膜反射像を結像させ、その情報と虹彩輪郭、瞳孔
等の情報を用いることにより、眼球が広範囲の対象を見
る場合、ディスプレイ、蛍光灯のようなノイズとなる光
源像と、目的とする像との区別も、その像の特徴を見る
ことで判断することができ、ノイズの多い環境下等で
も、安定した高精度な視線認識を行えるようになる。ま
た、図形パターンに空間的な冗長性を持たせることによ
り、頭部の動きにも対応できるようになり、さらに、点
光源を用いていた場合に角膜反射像は眼瞼の影響で隠れ
やすいという欠点が指摘されていたが、それに対する一
つの解決にもなる。また、頭部装着型の視線認識装置の
ように光源、観測系に関する微妙な調節が必要でないこ
とも、効果としてあげられる。As is apparent from the above description, according to the visual line recognition device of the present invention, the eyeball of the visual line recognition target is irradiated with light to form a graphic pattern having geometrical features on the cornea. A light source to have, and means for obtaining the corneal curvature center of the eyeball from the position of the feature of the graphic pattern imaged on the cornea, and to recognize the line of sight using the obtained eyeball corneal curvature center information, For example, by using an intentional graphic pattern composed of a plurality of light sources, images of the corneal reflection images are formed over a wide area on the cornea, and by using the information and the information such as the iris contour and the pupil, the eyeball can be displayed in a wide area. When looking at the target, the display, the light source image that causes noise such as fluorescent light, and the target image can be distinguished by observing the features of the image, even in a noisy environment, etc. Stable and high precision It will allow the line of sight recognition. In addition, by adding spatial redundancy to the figure pattern, it becomes possible to deal with head movements, and when using a point light source, the corneal reflection image is easily hidden by the effect of the eyelid. Was pointed out, but it could be one solution to that. In addition, it is also effective that the light source and the observation system need not be finely adjusted unlike the head-mounted type visual line recognition device.
【００２２】なお、本発明は、撮像手段に対して頭部が
自由に動くような場合、撮像面に対して視線方向が大き
な角度をなす場合等に特に有効である。The present invention is particularly effective when the head moves freely with respect to the image pickup means, when the line-of-sight direction forms a large angle with the image pickup surface, and the like.
【図面の簡単な説明】[Brief description of drawings]
【図１】 本発明における光源パターンと反射像と撮像
手段を模式的に示す図FIG. 1 is a diagram schematically showing a light source pattern, a reflection image, and an image pickup means in the present invention.
【図２】 本発明の視線認識装置の１実施例のシステム
構成図FIG. 2 is a system configuration diagram of an embodiment of a visual line recognition device of the present invention.
【図３】 処理の流れを示すフローチャートFIG. 3 is a flowchart showing the flow of processing.
【図４】 角膜反射像においても保たれる特徴を例示す
る図FIG. 4 is a diagram illustrating a feature retained in a corneal reflection image.
【図５】 画像に対して矩形マスクを走査している様子
を示す図FIG. 5 is a diagram showing how a rectangular mask is scanned with respect to an image.
【図６】 矩形マスクにおける特徴量の例を示す図FIG. 6 is a diagram showing an example of feature amounts in a rectangular mask.
【図７】 球面鏡における反射の様子を模式的に示す図FIG. 7 is a diagram schematically showing how a spherical mirror reflects.
【図８】 角膜を球面としてモデル化した場合に撮影さ
れた画像を示す図FIG. 8 is a diagram showing an image captured when the cornea is modeled as a spherical surface.
【図９】 眼球モデルを示す図FIG. 9 is a diagram showing an eyeball model.
【図１０】 眼球パラメータを示す眼球モデルの断面図FIG. 10 is a sectional view of an eyeball model showing eyeball parameters.
【図１１】 球面鏡を用いた実験装置の配置を示す斜視
図FIG. 11 is a perspective view showing the arrangement of an experimental device using a spherical mirror.
【図１２】 球面鏡に映り込む虚像を示す図FIG. 12 is a diagram showing a virtual image reflected on a spherical mirror.
【図１３】 球面鏡の光軸方向とディスプレイの交点を
認識した結果を示す図FIG. 13 is a diagram showing the result of recognizing the intersection of the optical axis direction of the spherical mirror and the display.
【図１４】 複数の光源と反射像と撮像手段を模式的に
示す図FIG. 14 is a diagram schematically showing a plurality of light sources, a reflection image, and an imaging unit.
Ｅ…眼球、Ｐ1 、Ｐ2 …光源パターン、Ｍ…矩形マス
ク、１１…撮影手段、１２…画像処理手段、１３…画像
解析、認識手段、１４…光源パターンデータベース、１
５…曲率中心演算手段、１６…視線演算手段、２１…球
面鏡、２２…線光源、２３…ディスプレイ、２４…ＣＣ
ＤカメラE ... Eyeball, P 1 , P 2 ... Light source pattern, M ... Rectangular mask, 11 ... Imaging means, 12 ... Image processing means, 13 ... Image analysis, recognition means, 14 ... Light source pattern database, 1
5 ... Curvature center calculation means, 16 ... Line-of-sight calculation means, 21 ... Spherical mirror, 22 ... Line light source, 23 ... Display, 24 ... CC
D camera
Claims (3)
角膜上に幾何学的な特徴を有する図形パターンを結像さ
せる光源と、前記角膜上に結像された図形パターンの特
徴の位置から前記眼球の角膜曲率中心を求める手段とを
有し、求められた眼球角膜曲率中心情報を用いて視線を
認識することを特徴とする視線認識装置。1. A light source that illuminates an eyeball to be recognized by a line of sight to form a graphic pattern having a geometrical feature on the cornea, and a position of the feature of the graphic pattern imaged on the cornea. And a means for obtaining the corneal curvature center of the eyeball from the eyeball, and recognizing the visual line using the obtained eyeball corneal curvature center information.
おいても保たれる特徴であることを特徴とする請求項１
記載の視線認識装置。2. The feature of the graphic pattern is a feature that is retained even in a spherical reflection image.
The gaze recognition device described.
孔、虹彩等の眼球の他の情報とを用いて視線を認識する
ことを特徴とする請求項１又は２記載の視線認識装置。3. The visual line recognition device according to claim 1, wherein the visual line is recognized using the obtained eye corneal curvature center information and other information of the eyeball such as a pupil and an iris.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5109204A JPH06319701A (en) | 1993-05-11 | 1993-05-11 | Glance recognizing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5109204A JPH06319701A (en) | 1993-05-11 | 1993-05-11 | Glance recognizing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06319701A true JPH06319701A (en) | 1994-11-22 |
Family
ID=14504247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5109204A Pending JPH06319701A (en) | 1993-05-11 | 1993-05-11 | Glance recognizing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06319701A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5552854A (en) * | 1992-09-14 | 1996-09-03 | Nikon Corporation | Visual line detection device and camera equipped therewith |
| JP2004167152A (en) * | 2002-11-22 | 2004-06-17 | National Institute Of Advanced Industrial & Technology | Method and system for correcting deviation movement of the head in visual axis position measurement |
| JP2008113902A (en) * | 2006-11-06 | 2008-05-22 | Toyota Motor Corp | Apparatus and method for detecting eye opening degree |
| JP2009291516A (en) * | 2008-06-09 | 2009-12-17 | Konan Medical Inc | Ophthalmologic examination apparatus |
| WO2015080104A1 (en) * | 2013-11-28 | 2015-06-04 | 株式会社Ｊｖｃケンウッド | Line-of-sight detection assistance device and line-of-sight detection assistance method |
| JP2019512726A (en) * | 2016-03-11 | 2019-05-16 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ | Corneal sphere tracking to generate an eye model |
| US10614577B1 (en) | 2016-03-11 | 2020-04-07 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| WO2024004416A1 (en) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | Line-of-sight detection device |
-
1993
- 1993-05-11 JP JP5109204A patent/JPH06319701A/en active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5552854A (en) * | 1992-09-14 | 1996-09-03 | Nikon Corporation | Visual line detection device and camera equipped therewith |
| JP2004167152A (en) * | 2002-11-22 | 2004-06-17 | National Institute Of Advanced Industrial & Technology | Method and system for correcting deviation movement of the head in visual axis position measurement |
| JP2008113902A (en) * | 2006-11-06 | 2008-05-22 | Toyota Motor Corp | Apparatus and method for detecting eye opening degree |
| US8435188B2 (en) | 2006-11-06 | 2013-05-07 | Toyota Jidosha Kabushiki Kaisha | Eye opening detection system and method of detecting eye opening |
| JP2009291516A (en) * | 2008-06-09 | 2009-12-17 | Konan Medical Inc | Ophthalmologic examination apparatus |
| WO2015080104A1 (en) * | 2013-11-28 | 2015-06-04 | 株式会社Ｊｖｃケンウッド | Line-of-sight detection assistance device and line-of-sight detection assistance method |
| JP2015126857A (en) * | 2013-11-28 | 2015-07-09 | 株式会社Ｊｖｃケンウッド | Line of sight detection support device and line of sight detection support method |
| JP2019512726A (en) * | 2016-03-11 | 2019-05-16 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ | Corneal sphere tracking to generate an eye model |
| US10614577B1 (en) | 2016-03-11 | 2020-04-07 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| WO2024004416A1 (en) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | Line-of-sight detection device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8457352B2 (en) | Methods and apparatus for estimating point-of-gaze in three dimensions | |
| US6394602B1 (en) | Eye tracking system | |
| US8121356B2 (en) | Long distance multimodal biometric system and method | |
| US6580448B1 (en) | Process and device for the parallel capture of visual information | |
| KR101640536B1 (en) | Image-processor-controlled misalignment-reduction for ophthalmic systems | |
| KR102073460B1 (en) | Head-mounted eye tracking device and method that provides drift-free eye tracking through lens system | |
| US9861279B2 (en) | Method and device for determining the eye position | |
| US20040189935A1 (en) | Custom eyeglass manufacturing method | |
| US20090051871A1 (en) | Custom eyeglass manufacturing method | |
| JP3453911B2 (en) | Gaze recognition device | |
| CN107890337A (en) | Method for the geometric parameter of the eyes that determine subject | |
| JP2007136000A (en) | Apparatus, method and program for measuring visual axis | |
| US20220100268A1 (en) | Eye tracking device and a method thereof | |
| EP1571974B1 (en) | System for movement tracking of spherical object | |
| JP4500992B2 (en) | 3D viewpoint measuring device | |
| US20020154269A1 (en) | Stereoscopic measurement of cornea and illumination patterns | |
| US20220148218A1 (en) | System and method for eye tracking | |
| US11822089B2 (en) | Head wearable virtual image module for superimposing virtual image on real-time image | |
| JP5092120B2 (en) | Eye movement measurement device | |
| JP2006095008A (en) | Visual axis detecting method | |
| JPH06319701A (en) | Glance recognizing device | |
| JPH1066678A (en) | Non-contact line-of-sight measurement device | |
| JP3711053B2 (en) | Line-of-sight measurement device and method, line-of-sight measurement program, and recording medium recording the program | |
| JP3576656B2 (en) | Alignment detection device for ophthalmic instruments | |
| JPH11347016A (en) | Imaging device |