KR20000026497A - One's eyes tracking apparatus based on computer vision - Google Patents

One's eyes tracking apparatus based on computer vision Download PDF

Info

Publication number
KR20000026497A
KR20000026497A KR1019980044034A KR19980044034A KR20000026497A KR 20000026497 A KR20000026497 A KR 20000026497A KR 1019980044034 A KR1019980044034 A KR 1019980044034A KR 19980044034 A KR19980044034 A KR 19980044034A KR 20000026497 A KR20000026497 A KR 20000026497A
Authority
KR
South Korea
Prior art keywords
iris
center
face
image
user
Prior art date
Application number
KR1019980044034A
Other languages
Korean (ko)
Other versions
KR100311605B1 (en
Inventor
김경남
Original Assignee
김경남
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김경남 filed Critical 김경남
Priority to KR1019980044034A priority Critical patent/KR100311605B1/en
Publication of KR20000026497A publication Critical patent/KR20000026497A/en
Application granted granted Critical
Publication of KR100311605B1 publication Critical patent/KR100311605B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: An one's eyes tracking apparatus based on a computer vis ion is provided to tracking an apple of the eye by comparing a user characteristics value stored in advance and detected value obtained in a manner that of expecting face direction of the user using a reference model of stick-shaped and detecting an iris center on the bases of the iris collar. CONSTITUTION: A look-up table is prepared by measuring characteristic value of a face and eyes of a user(step 20). The face direction and iris center is measured after receiving face image of the user(steps 21 to 24). And the characteristic value and measured value are compared each other(step 25). If the measured value is reasonable, the direction of one's eyes is calculated by combining coordinate systems of both the face direction and the iris center. The face direction is measured in searching exact angle by applying a T-shaped reference model. The iris center is measured in obtaining a center point of a most longer horizontal line within an edge of oval-shaped iris by searching weight center of the iris collar using collar distribution analysis of the iris and up/down scanning from the weight center as a starting point.

Description

컴퓨터비전 기반의 시선 추적 방법Computer Vision-based Eye Tracking Method

본 발명은 컴퓨터 비전 시스템에 관한 것으로, 특히 카메라를 통해 획득한 사용자의 영상으로부터 얼굴 방향 및 홍채 위치를 정확하게 검출해 내는 컴퓨터비전 기반의 시선 추적 방법에 관한 것이다.The present invention relates to a computer vision system, and more particularly, to a computer vision based gaze tracking method for accurately detecting a face direction and an iris position from an image of a user acquired through a camera.

일반적으로 눈의 움직임과 시선 추적에 대한 기술은 인간의 내부 메커니즘을 연구하기 위한 의학, 심리학뿐만 아니라, 전기/전자/컴퓨터 과학 분야에서도 다양한 응용분야에 적용하기 위해 연구되고 있다. 그 응용분야로서 예컨대, 컴퓨터 인터페이스, 가상현실, 손을 사용할 수 없는 장애자를 위한 인터페이스, 의료, 우주항공 분야를 들 수 있다.In general, techniques for eye movement and eye tracking have been studied to be applied to various applications not only in medicine and psychology for studying human internal mechanisms, but also in the fields of electrical / electronic / computer science. Applications include computer interfaces, virtual reality, interfaces for the handicapped, medical, and aerospace.

이러한, 종래의 시선 추적 방법에 있어서, 다양한 방법이 제시되는 바, 예를 들어, 콘택트렌즈를 이용한 눈의 각막의 반사점과 동공과의 상대적 거리를 측정하는 방법, 적외선 센서를 이용해서 반사된 빛을 이용하는 방법, 눈동자나 동공 이미지를 추적하는 방법, 뉴럴 네트워크를 이용해서 분석하는 방법, 눈 주위에 조그마한 전극봉을 설치해서 눈의 움직임을 파악하는 방법 등이 있다. 그러나, 이러한 방법을 구현하는 기술은 무거운 장비를 착용하거나, 혹은 인체에 해로운 적외선을 사용하거나, 혹은 특수한 고가의 장비를 이용해야하는 등의 문제점이 있다. 또한 시선 추적의 정확도가 만족할 만한 수준에 있지 않은 것도 있다.In such a conventional eye tracking method, various methods are proposed, for example, a method of measuring a relative distance between a reflection point of a cornea of an eye and a pupil using a contact lens, and reflecting light reflected using an infrared sensor. There are methods to use, tracking eye and pupil images, analyzing using neural networks, and installing small electrodes around the eyes to identify eye movements. However, the technology for implementing such a method has a problem such as wearing heavy equipment, using infrared rays harmful to the human body, or using special expensive equipment. In addition, the accuracy of eye tracking may not be satisfactory.

이에 반해, 외부에서 카메라를 이용한 컴퓨터비전 기반의 시선 추적 방식은 사용자에게 거추장스러운 장비의 착용을 요구하지 않는 장점을 갖는다. 컴퓨터비전 기반 기술은, 도 1에서 보여주는 바와 같이, 컴퓨터와 사용자간의 능동적인 정보전달 수단으로 사용할 수 있다. 도 1에서, 컴퓨터 모니터(10)의 상단부에 장착된 카메라(12)를 통해 사용자(11)가 응시하는 응시지점(15)을 추적한다. 이렇게 눈의 시선은 커서를 위치시키는 것과 같은 역할을 하여 컴퓨터와 통신이 가능할 수 있다.On the contrary, the computer vision based gaze tracking method using the camera from the outside has an advantage of not requiring the user to wear cumbersome equipment. Computer vision-based technology, as shown in Figure 1, can be used as an active information transfer means between the computer and the user. In FIG. 1, the gaze point 15 gazed by the user 11 is tracked through a camera 12 mounted on the upper end of the computer monitor 10. In this way, the eye's line of sight can act as a cursor position, enabling communication with the computer.

그러나, 종래의 컴퓨터비전 기반의 시선 추적 기술은 정확도나 처리 속도의 성능 면에서 만족할 만한 수준에 미치지 못하는 문제점이 있다. 예컨대, 시선 추적을 위해서는 시선 각도는 0.1(degree) 정도로, 속도는 적어도 5~10(frame/sec)을 유지할 수 있어야 한다.However, the conventional computer vision based gaze tracking technology has a problem that it is not satisfactory in terms of accuracy or performance of processing speed. For example, for eye tracking, the eye angle should be maintained at about 0.1 (degree) and the speed at least 5 to 10 (frame / sec).

따라서, 시선의 각도를 정확히 구별함은 물론, 영상 프레임을 실시간 적으로 빠르게 처리할 수 있는 시선 추적 알고리즘에 대한 개발이 요구된다.Therefore, it is necessary to develop a gaze tracking algorithm capable of accurately distinguishing angles of gaze and rapidly processing image frames in real time.

이에, 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로서, 본 발명은 고안된 스틱형 참조모델을 이용해서 사용자의 얼굴 방향을 예측하고, 홍채의 색깔을 기준으로 홍채 중심을 검출하여, 미리 저장된 사용자의 고유 특성값과의 비교를 통해 정확한 눈동자 위치를 추적하는, 컴퓨터비전 기반의 시선 추적 방법을 제공하는 데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems, the present invention predicts the direction of the user's face using the designed stick-type reference model, detects the center of the iris based on the color of the iris, the user stored in advance The purpose of the present invention is to provide a computer vision-based eye tracking method that tracks accurate eye position by comparing with the unique characteristic value of.

상기 목적을 달성하기 위한 본 방법은, 하나이상의 룩업테이블과 하나이상의 영상처리 프로세서 및 하나이상의 프레임 메모리를 구비하고, 카메라로부터 사용자 얼굴 영상을 입력받아 처리하는 컴퓨터비전 기반의 시스템에서의 시선 추적 방법에 있어서, (a) 사용자의 얼굴 및 눈에 대한 특성값을 측정하여 상기 룩업테이블에 저장하는 초기화 단계; (b) 상기 카메라를 통해 얼굴부분의 영상을 입력받아 상기 프레임 메모리로 로딩하는 단계; (c) 상기 프레임 메모리의 영상 프레임을 잡음제거 필터링 하고, 홍채 에지를 검출하는 단계; (d) 상기 (c)의 영상으로부터 얼굴방향을 측정하고, 홍채의 중심점을 검출하는 단계; (e) 상기 (a)의 특성값과 상기 (d)의 측정값을 비교하여 타당한 값인지를 판단하는 단계; (f) 상기 (e)의 판단결과, 부정인 경우, 상기 (b)~(e)단계를 순서대로 반복 수행하고, 긍정인 경우, 상기 (d)의 측정된 얼굴 방향 좌표계 및 홍채 중심 좌표계를 합성하여 시선 방향을 계산하는 단계를 포함하는 것을 특징을 한다.The present invention provides a gaze tracking method in a computer vision based system including at least one lookup table, at least one image processing processor, and at least one frame memory, and receiving and processing a user's face image from a camera. The method may include: (a) an initialization step of measuring characteristic values of a user's face and eyes and storing them in the lookup table; (b) receiving an image of a face portion through the camera and loading the image into the frame memory; (c) noise reduction filtering the image frame of the frame memory and detecting an iris edge; (d) measuring a face direction from the image of (c) and detecting a center point of the iris; (e) comparing the characteristic value of (a) with the measured value of (d) to determine whether it is a valid value; (f) If the result of the determination in (e) is negative, repeat steps (b) to (e) in order, and if positive, measure the measured face orientation coordinate system and iris center coordinate system of (d). And synthesizing the gaze direction.

도 1은 일반적인 컴퓨터비전 기반의 시선 추적에 의한 컴퓨터-사용자간의 인터페이스를 보여주는 도면,1 is a diagram illustrating an interface between a computer and a user by using general computer vision-based eye tracking;

도 2는 본 발명에 따른 얼굴 및 시선 정보를 추적하는 방법에 대한 흐름도,2 is a flowchart of a method for tracking face and gaze information according to the present invention;

도 3a 내지 도 3d는 도 2의 얼굴 방향을 위한 참조모델의 모양 및 적용 방법을 설명하기 위한 도면,3a to 3d are views for explaining the shape and application method of the reference model for the face direction of FIG.

도 4는 안구의 동공 및 홍채의 명암 분포도,4 is a contrast map of pupils and irises of the eyeball,

도 5는 도 2의 홍채 중심점을 검출하는 방식을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of detecting the iris center point of FIG. 2.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

본 실시예를 위한 시스템은, 하나이상의 카메라와, 하나이상의 룩업테이블과 하나이상의 영상처리 프로세서 및 하나이상의 프레임 메모리를 구비한 컴퓨터 시스템을 포함한다. 상기 룩업테이블에는 사용자마다의 개인의 고유 특성 예컨대, 눈의 크기, 눈의 움직임 정도, 색깔 등의 데이터를 미리 측정하여 저장해둔다. 카메라를 통해 획득한 사용자의 얼굴 영상은 프레임 메모리로 로딩된다. 프레임 메모리로부터 전달된 프레임 단위의 영상은 상기 영상처리 프로세서를 통해, 현재 얼굴 위치 및 눈(홍채)의 위치를 측정하고, 그 측정값과 미리 저장된 룩업 테이블값과 비교하면서 얼굴 방향 및 시선 방향을 추적해 낸다.The system for this embodiment includes a computer system having one or more cameras, one or more lookup tables, one or more image processing processors and one or more frame memories. The look-up table measures and stores data such as personal characteristics of each user, for example, eye size, eye movement degree, and color. The face image of the user acquired through the camera is loaded into the frame memory. The frame-based image transmitted from the frame memory measures the current face position and the position of the eye (iris) through the image processing processor, and tracks the face direction and gaze direction while comparing the measured value with a pre-stored lookup table value. Do it.

본 실시예에서는 얼굴 방향을 추적하기 위해 고안된 스틱모양(stick-shaped)의 참조모델을 이용하고, 시선 방향을 추적하기 위해 홍채의 색깔을 기준으로 홍채의 중심점을 검출한다.In this embodiment, a stick-shaped reference model designed to track the direction of the face is used, and the center point of the iris is detected based on the color of the iris to track the gaze direction.

이어서, 도 2는 본 발명에 따른 얼굴 및 시선 정보를 추적하는 방법에 대한 흐름도이다.2 is a flowchart of a method for tracking face and gaze information according to the present invention.

단계20에서는 사용자 개인의 특성치를 측정하고, 이를 초기값으로 설정하여 상기 룩업테이블에 저장한다. 개인의 특성치로는 예컨대, 얼굴의 움직임, 눈의 크기, 눈의 움직임 정도, 홍채의 색깔 등의 데이터 일 수 있다. 또한, 이 특성치는 수회의 시스템 학습을 통해서 좌표 및 벡터값을 보정(calibration)하여 룩업테이블을 구성할 수 도 있다.In step 20, a characteristic value of a user is measured and set as an initial value and stored in the lookup table. The characteristic value of the individual may be, for example, data such as face movement, eye size, eye movement degree, iris color, and the like. In addition, this characteristic value can be constructed by a look-up table by calibrating coordinates and vector values through several system learning.

단계21에서는 얼굴 부분에 대한 영상을 상기 카메라로부터 입력받아 프레임 단위로 처리하여 상기 프레임 메모리로 로딩한다.In step 21, an image of a face part is received from the camera and processed in units of frames and loaded into the frame memory.

단계22에서는 상기 프레임 메모리의 프레임 영상에서 잡음을 제거하기 위해 저역통과 필터를 통해 전처리한 다음, 히스토그램 템플레이트를 계산하여 눈과 눈썹의 분할영역으로부터 양쪽 눈동자 부분의 에지를 검출해낸다. 이 때, 홍채의 에지를 보다 정확히 검출하기 위해 canny operator 나 vertical sobel operator를 사용할 수 있다.In step 22, preprocessing is performed through a lowpass filter to remove noise in the frame image of the frame memory, and then a histogram template is calculated to detect edges of both pupils from the segment of the eye and the eyebrows. At this time, the canny operator or the vertical sobel operator can be used to detect the edge of the iris more accurately.

단계23에서는 얼굴방향의 각도를 측정하기 위해서, 좌표기준이 되는 참조모델을 이용한다. 얼굴 방향 측정 알고리즘은, 도 3a에 도시된 바와 같이, T자 스틱모양의 참조모델(30)을 눈에 착용해서 얼굴을 움직이는 방향에 따라 결정되는 스틱의 위치를 측정하고, 그 스틱의 위치로부터 움직인 각도를 계산하여 얼굴 방향을 예측한다. 즉, 도 3b에서와 같이, T자 스틱의 가로축(31)을 우안(33)과 좌안(34) 사이에 수평으로 착용한다. T자 스틱의 세로축(32)의 움직임에 따라 도 3c에서와 같이, 얼굴 방향은 상하 좌우의 각도 θ1,θ2를 이룬다. 이 각도는 도 3d에서와 같이, 참조모델의 가로축(31) 중심점으로부터 홍채의 중심점까지의 떨어진 수평거리 xi를 측정하여 각도θ1을 구하고, 참조모델의 가로축 선상으로부터 홍채중심점까지의 떨어진 수직거리 yi를 측정하여 각도θ2를 구한다.In step 23, a reference model, which is a coordinate reference, is used to measure the angle in the face direction. As shown in FIG. 3A, the face direction measurement algorithm wears a T-shaped stick-shaped reference model 30 on the eye, measures the position of the stick determined according to the direction of moving the face, and moves from the position of the stick. Predict the face direction by calculating the angle that is. That is, as shown in FIG. 3B, the horizontal axis 31 of the T-stick is worn horizontally between the right eye 33 and the left eye 34. According to the movement of the vertical axis 32 of the T-stick, as shown in FIG. 3C, the face direction forms angles θ 1 , θ 2 of up, down, left, and right. This angle is obtained by measuring the horizontal distance x i from the center point of the horizontal axis 31 of the reference model to the center point of the iris, as shown in FIG. 3D, to obtain the angle θ 1 , and the vertical distance away from the line of the reference model to the iris center point. Measure y i to find the angle θ 2 .

단계24에서는 홍채의 색깔을 이용하여 홍채의 중심점을 검출한다. 안구의 명암분포는, 도 4에서 보는 바와 같이, 가운데 중앙의 동공(40)이 가장 어둡고, 동공을 싸고 있는 홍채(41)는 밝은 어두운 색을 갖고, 홍채(41)를 둘러싼 주변영역은 가장 밝은 색을 갖는다. 이러한 안구의 홍채의 색깔분포 분석을 통해 알아낸 RGB값으로 얼굴이미지내의 적절한 크기의 서치 윈도우(search window)내에서의 홍채색깔의 무게 중심을 구한다. 이제, 도 5에서와 보는 바와 같이, 그 무게 중심점(51)에 의해 타원형의 홍채 에지(50) 내부의 가장 긴 수평라인을 추적하는 데, 무게 중심점(51)을 시작으로 위방향으로 업스캔(52)하거나 아랫방향으로 다운스캔(53)하면서, 가장 긴 수평라인을 추적하는 것이다. 이 때 얻은 가장 긴 라인의 중심점을 찾아서 그 점을 홍채중심(55)으로 결정한다.In step 24, the center point of the iris is detected using the color of the iris. As shown in FIG. 4, the intensity distribution of the eyeball is the darkest in the center pupil 40, the iris 41 surrounding the pupil has a bright dark color, and the peripheral region surrounding the iris 41 is the brightest. Have color. The center of gravity of the iris color in the search window of the appropriate size in the face image is obtained from the RGB value obtained through the color distribution analysis of the eye iris. Now, as shown in FIG. 5, the longest horizontal line inside the elliptical iris edge 50 by its center of gravity 51 is traced upwards starting from the center of gravity 51. 52) or downscan 53 downward, to trace the longest horizontal line. Find the center point of the longest line obtained at this time and determine that point as the iris center (55).

단계25에서는 상기 단계23에서 획득한 참조 모델의 측정값과 상기 단계24에서 획득한 홍채 중심의 측정값을, 상기 단계20에서의 룩업테이블의 설정값과 비교하여 타당한 값인지를 판단한다. 만일, 판단 결과 타당하지 않을 우에는 상기 단계21로 진입하여 단계22,23,24,25를 순서대로 반복 수행한다.In step 25, the measured value of the reference model acquired in step 23 and the measured value of the iris center obtained in step 24 are compared with the set value of the lookup table in step 20 to determine whether it is a valid value. If the result of the determination is not valid, the process proceeds to the step 21 and repeats the steps 22, 23, 24, and 25 in order.

단계25의 판단 결과 타당할 경우에는, 단계26으로 진입하여, 상기 단계23의 참조모델의 좌표계와 상기 단계24의 홍채의 중심의 좌표계를 하나의 좌표계로 합성하여 시선 벡터를 계산해 낸다. 이렇게 하여 최종적으로 사용자의 시선 방향을 정확히 추적해 낸다.If the result of the determination in step 25 is valid, the process proceeds to step 26, and the gaze vector is calculated by combining the coordinate system of the reference model of step 23 and the coordinate system of the center of the iris of step 24 into one coordinate system. This finally tracks the user's gaze exactly.

본 발명의 추가 실시예로서, 상기 단계25에서 구한 시선 벡터와 컴퓨터 스크린과의 교차점을 구하여 스크린상의 포인터(일종의 마우스의 커서 역할)를 제어할 수도 있다.As a further embodiment of the present invention, an intersection of the gaze vector obtained in step 25 and the computer screen may be obtained to control a pointer on the screen (a kind of cursor of a mouse).

본 발명은 상기에 기술된 실시예에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.The invention is not limited by the embodiments described above, but can be variously modified and changed by those skilled in the art, which are included in the spirit and scope of the invention as defined in the appended claims.

이상에서 살펴본 바와 같이, 본 발명은 스틱형 참조모델을 이용해서 사용자의 얼굴 방향을 예측하고, 홍채의 색깔을 기준으로 홍채 중심을 검출하여, 상기 얼굴 좌표계와 홍채 중심 좌표계를 합성함으로써, 보다 정확한 시선 추적이 가능하다.As described above, the present invention predicts the user's face direction using a stick-type reference model, detects the iris center based on the color of the iris, and synthesizes the face coordinate system and the iris center coordinate system, thereby providing more accurate gaze. Tracking is possible.

Claims (3)

하나이상의 룩업테이블과 하나이상의 영상처리 프로세서 및 하나이상의 프레임 메모리를 구비하고, 카메라로부터 사용자 얼굴 영상을 입력받아 처리하는 컴퓨터비전 기반의 시스템에서의 시선 추적 방법에 있어서,A gaze tracking method in a computer vision based system including at least one lookup table, at least one image processing processor, and at least one frame memory, and receiving and processing a user's face image from a camera, (a) 사용자의 얼굴 및 눈에 대한 특성값을 측정하여 상기 룩업테이블에 저장하는 초기화 단계;(a) an initialization step of measuring characteristic values of a user's face and eyes and storing them in the lookup table; (b) 상기 카메라를 통해 얼굴부분의 영상을 입력받아 상기 프레임 메모리로 로딩하는 단계;(b) receiving an image of a face portion through the camera and loading the image into the frame memory; (c) 상기 프레임 메모리의 영상 프레임을 잡음제거 필터링 하고, 홍채 에지를 검출하는 단계;(c) noise reduction filtering the image frame of the frame memory and detecting an iris edge; (d) 상기 (c)의 영상으로부터 얼굴방향을 측정하고, 홍채의 중심점을 검출하는 단계;(d) measuring a face direction from the image of (c) and detecting a center point of the iris; (e) 상기 (a)의 특성값과 상기 (d)의 측정값을 비교하여 타당한 값인지를 판단하는 단계;(e) comparing the characteristic value of (a) with the measured value of (d) to determine whether it is a valid value; (f) 상기 (e)의 판단결과,(f) the judgment result of (e) above; 부정인 경우, 상기 (b)~(e)단계를 순서대로 반복 수행하고,If negative, repeat steps (b) to (e) in order, 긍정인 경우, 상기 (d)의 측정된 얼굴 방향 좌표계 및 홍채 중심 좌표계를 합성하여 시선 방향을 계산하는 단계를 포함하는 것을 특징으로 하는 컴퓨터비전 기반의 시선 추적 방법.If yes, computer vision based gaze tracking method comprising the step of calculating the gaze direction by synthesizing the measured face direction coordinate system and the iris center coordinate system of (d). 제 1 항에 있어서, 상기 (a)단계는 수회의 시스템 학습을 통해서 좌표 및 벡터값을 보정(calibration)하는 단계를 포함하는 것을 특징으로 하는 컴퓨터비전 기반의 시선 추적 방법.The computer vision based gaze tracking method of claim 1, wherein the step (a) comprises calibrating coordinates and vector values through several system learning. 제 1 항에 있어서, 상기 (d) 단계는,The method of claim 1, wherein step (d) (d1) 얼굴 방향을 측정하기 위해, 스틱형상의 참조모델을 착용하여 얼굴 움직임에 따른 스틱의 위치로부터 얼굴 방향의 각도를 계산하는 단계;(d1) calculating an angle in the face direction from the position of the stick according to the face movement by wearing a stick-shaped reference model to measure the face direction; (d2) 홍채의 중심점을 검출하기 위해,(d2) to detect the center point of the iris, (d21) 소정의 서치 윈도우 내에서 홍채 색깔의 무게중심을 구하는 단계;(d21) obtaining a center of gravity of the iris color within the predetermined search window; (d22) 상기 무게중심을 이용하여 상기 (c)의 홍채 에지 범위 내에서 가장 긴 수평라인을 찾는 단계;(d22) using the center of gravity to find the longest horizontal line within the iris edge range of (c); (d23) 상기 가장 긴 수평라인의 중심을 홍채 중심점으로 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터비전 기반의 시선 추적 방법.and (d23) determining the center of the longest horizontal line as an iris center point.
KR1019980044034A 1998-10-20 1998-10-20 Computer Vision Based Eye Tracking Method KR100311605B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980044034A KR100311605B1 (en) 1998-10-20 1998-10-20 Computer Vision Based Eye Tracking Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980044034A KR100311605B1 (en) 1998-10-20 1998-10-20 Computer Vision Based Eye Tracking Method

Publications (2)

Publication Number Publication Date
KR20000026497A true KR20000026497A (en) 2000-05-15
KR100311605B1 KR100311605B1 (en) 2001-12-28

Family

ID=19554794

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980044034A KR100311605B1 (en) 1998-10-20 1998-10-20 Computer Vision Based Eye Tracking Method

Country Status (1)

Country Link
KR (1) KR100311605B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889526A (en) * 2022-04-13 2022-08-12 广州优创电子有限公司 Vehicle-mounted intelligent electronic external rearview mirror with built-in left and right display screens

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101037710B1 (en) * 2009-06-08 2011-05-30 삼육대학교산학협력단 Presentation system of the picture

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889526A (en) * 2022-04-13 2022-08-12 广州优创电子有限公司 Vehicle-mounted intelligent electronic external rearview mirror with built-in left and right display screens
CN114889526B (en) * 2022-04-13 2024-05-07 广州优创电子有限公司 Vehicle-mounted intelligent electronic exterior rearview mirror with built-in left and right display screens

Also Published As

Publication number Publication date
KR100311605B1 (en) 2001-12-28

Similar Documents

Publication Publication Date Title
US10878237B2 (en) Systems and methods for performing eye gaze tracking
Noureddin et al. A non-contact device for tracking gaze in a human computer interface
Sigut et al. Iris center corneal reflection method for gaze tracking using visible light
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
US20110228975A1 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
JP5578603B2 (en) Gaze control device, gaze control method, and program thereof
CN106796449A (en) Eye-controlling focus method and device
US20220100268A1 (en) Eye tracking device and a method thereof
US10722112B2 (en) Measuring device and measuring method
Toennies et al. Feasibility of hough-transform-based iris localisation for real-time-application
CN109634431B (en) Medium-free floating projection visual tracking interaction system
KR20110038568A (en) Apparatus and mehtod for tracking eye
JP2018099174A (en) Pupil detector and pupil detection method
US10867252B2 (en) Continuous calibration based on pupil characteristics
Long et al. A high speed eye tracking system with robust pupil center estimation algorithm
CN114931353B (en) Convenient and fast contrast sensitivity detection system
CN114360043B (en) Model parameter calibration method, sight tracking method, device, medium and equipment
CN113160260B (en) Head-eye double-channel intelligent man-machine interaction system and operation method
Young et al. Specialised hough transform and active contour methods for real-time eye tracking
CN112987910A (en) Testing method, device, equipment and storage medium of eyeball tracking equipment
Lin An eye behavior measuring device for VR system
CN111539984A (en) Continuous calibration based on pupil characteristics
Piratla et al. A neural network based real-time gaze tracker
KR20000026497A (en) One's eyes tracking apparatus based on computer vision
Lee et al. A study on eye gaze estimation method based on cornea model of human eye

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
N231 Notification of change of applicant
LAPS Lapse due to unpaid annual fee