KR102294029B1 - Apparatus and method for gaze tracking by detecting pupil and using eyelid curvature - Google Patents

Apparatus and method for gaze tracking by detecting pupil and using eyelid curvature Download PDF

Info

Publication number
KR102294029B1
KR102294029B1 KR1020190159782A KR20190159782A KR102294029B1 KR 102294029 B1 KR102294029 B1 KR 102294029B1 KR 1020190159782 A KR1020190159782 A KR 1020190159782A KR 20190159782 A KR20190159782 A KR 20190159782A KR 102294029 B1 KR102294029 B1 KR 102294029B1
Authority
KR
South Korea
Prior art keywords
eyelid
detected
gaze
pupil
eye
Prior art date
Application number
KR1020190159782A
Other languages
Korean (ko)
Other versions
KR20210069933A (en
Inventor
신영길
이상화
한상윤
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020190159782A priority Critical patent/KR102294029B1/en
Priority to PCT/KR2019/017051 priority patent/WO2021112282A1/en
Publication of KR20210069933A publication Critical patent/KR20210069933A/en
Application granted granted Critical
Publication of KR102294029B1 publication Critical patent/KR102294029B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/38—
    • G06K9/40—
    • G06K9/4604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Abstract

본 발명은 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법에 관한 것으로, 카메라를 통해 촬영되는 사용자의 눈 영상으로부터 동공과 눈 영역을 검출하여, 상기 검출한 눈 영역에 위치하는 동공의 상대위치를 산출하고, 상기 산출한 동공의 상대위치와 상기 동공의 높낮이에 따라 변화되는 눈꺼풀의 곡률을 이용하여, 상하좌우 방향으로 움직이는 사용자의 시선을 실시간으로 정확하게 추적할 수 있도록 하는 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법에 관한 것이다. The present invention relates to a gaze tracking apparatus and method using pupil detection and eyelid curvature, and a relative position of the pupil located in the detected eye region by detecting a pupil and an eye region from a user's eye image photographed through a camera. , and using the calculated relative position of the pupil and the curvature of the eyelid that changes according to the height of the pupil, the pupil detection and the eyelid curvature are It relates to a gaze tracking device and method using the same.

Description

동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법{APPARATUS AND METHOD FOR GAZE TRACKING BY DETECTING PUPIL AND USING EYELID CURVATURE}Eye tracking device and method using pupil detection and eyelid curvature

본 발명은 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 카메라를 통해 촬영되는 사용자의 눈 영상으로부터 동공과 눈 영역을 검출하여, 상기 검출한 눈 영역에 위치하는 동공의 상대위치를 산출하고, 상기 산출한 동공의 상대위치와 상기 동공의 높낮이에 따라 변화되는 눈꺼풀의 곡률을 이용하여, 상하좌우 방향으로 움직이는 사용자의 시선을 실시간으로 정확하게 추적할 수 있도록 하는 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법에 관한 것이다. The present invention relates to a gaze tracking apparatus and method using pupil detection and eyelid curvature, and more particularly, to a pupil and an eye region from a user's eye image taken through a camera, and located in the detected eye region. Pupil detection that calculates the relative position of the pupil and uses the calculated relative position of the pupil and the curvature of the eyelid that changes according to the height of the pupil to accurately track the gaze of the user moving in the up, down, left, and right directions in real time And to a gaze tracking device and method using the eyelid curvature.

시각은, 외부세계를 인지하고 정보를 수집하는 사람의 감각 중에서 가장 중요한 감각이며, 사람의 인지능역은 대부분 시각에 의존하고 있기 때문에, 사람의 시선을 추적하여 다양한 분야에 이용하고자 하는 시선 추적 장치에 대한 관심이 높아지고 있다.Vision is the most important sense among the senses of a person who recognizes the external world and collects information. There is growing interest in

일반적으로 시선 추적 장치는, 사람이 보는 방향을 실시간으로 인식하는 장치를 의미하는 것으로, 운전자 졸음 감지, 학습 장애에 대한 연구, 비행조종사 훈련, 인체 공학, 광고, 홍채인식 등과 같은 다양한 분야에 적용되고 있다.In general, the eye tracking device refers to a device that recognizes the direction in which a person looks in real time, and is applied to various fields such as driver drowsiness detection, research on learning disabilities, pilot training, ergonomics, advertisement, iris recognition, etc. have.

특히 최근에는 VR(Virtual Reality) 또는 AR(Augmented Reality) 장치와 같이 인간과 장치간의 상호작용 인터페이스가 필수적인 디바이스들이 개발되고 보급화 되면서 시선 추적 장치의 중요도가 높아지고 있다. 이와 같은 디바이스들은 마우스나 키보드 또는 리모컨을 통해 명령을 입력하는 것 보다, 사람의 시선을 통해서 명령을 입력받아 처리하는 것이 더 직관적인 경우가 많기 때문이다.In particular, recently, as devices that require an interaction interface between humans and devices, such as VR (Virtual Reality) or AR (Augmented Reality) devices, have been developed and popularized, the importance of eye tracking devices is increasing. This is because in many cases, it is more intuitive to receive and process a command through a human gaze than to input a command through a mouse, a keyboard, or a remote control in such devices.

이러한 시선 추적 장치는, 카메라를 통해 획득한 이미지로부터 동공의 위치를 검출하여 검출한 동공의 위치를 토대로 사람의 시선을 추적하여 인식한다. 그러나 종래의 시선 추적 장치는, 동공에 대한 특정 기준점 없이 동공의 위치만을 이용하여 시선을 추적하기 때문에, 사람의 몸이 움직이는 상태에서 동일한 방향을 보고 있는 경우에도 상기 검출한 동공의 위치가 매 순간마다 달라져서 시선의 방향을 정확하게 추적하지 못하는 한계점이 있다.Such a gaze tracking apparatus detects a position of a pupil from an image acquired through a camera, and tracks and recognizes the gaze of a person based on the detected position of the pupil. However, since the conventional gaze tracking apparatus tracks the gaze using only the position of the pupil without a specific reference point for the pupil, the detected position of the pupil is determined every moment even when the person is looking in the same direction while the body is moving. There is a limitation in that it is not possible to accurately track the direction of the gaze because it is different.

또한 종래의 시선 추적 장치는, 시선 추적에 있어서 동공의 위치만을 검출하여 이용하기 때문에 좌우 시선에 비하여 상하 시선(즉, 시선의 높낮이)에 대해서는 정확도가 현저하게 떨어지는 문제점을 내포하고 있다.In addition, the conventional gaze tracking apparatus has a problem in that the accuracy of the vertical gaze (ie, the height of the gaze) is significantly lowered compared to the left and right gaze because only the position of the pupil is detected and used in the gaze tracking.

이와 같은 문제점을 해결하기 위해, 본 발명에서는 카메라를 통해 입력되는 사용자의 눈 영상으로부터 동공을 검출하고, 상기 검출한 동공을 기준으로 눈의 가장자리와 형태를 포함하는 눈 영역을 추출하여, 상기 눈 영역에 위치하는 동공의 상대위치를 산출함으로써, 사용자의 시선 방향을 추정하고, 상기 추정한 시선 방향에 상기 검출한 동공의 높낮이에 따른 눈꺼풀의 곡률 변화를 적용함으로써, 사용자의 상하 시선을 정확하게 인식함으로써, 사용자의 전체적인 시선을 실시간으로 정확하게 추적하여, 신뢰성 높은 시선 추적 결과를 제공할 수 있도록 하는 방안을 제안하고자 한다.In order to solve this problem, in the present invention, the pupil is detected from the user's eye image input through the camera, and the eye region including the edge and shape of the eye is extracted based on the detected pupil, and the eye region By calculating the relative position of the pupil located at It is intended to propose a method for accurately tracking the user's overall gaze in real time, thereby providing a reliable gaze tracking result.

즉, 본 발명은 카메라나 시선 추적 장치의 위치가 바뀌어도 눈 영역에 대한 동공의 상대위치와 눈꺼풀의 곡률을 이용하기 때문에 안정적이고 강인한 시선 추적 결과를 실시간으로 제공할 수 있도록 하는 것이다. That is, the present invention is to provide a stable and robust gaze tracking result in real time because the relative position of the pupil with respect to the eye region and the curvature of the eyelid are used even if the position of the camera or the gaze tracking device is changed.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, the prior art existing in the technical field of the present invention will be briefly described, and then the technical matters that the present invention intends to achieve differently compared to the prior art will be described.

먼저 한국등록특허 제2016308호(2018.10.31.)는 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법에 관한 것으로, 카메라를 통해 취득되는 영상으로부터 얼굴 영역을 검출하고, 상기 검출한 얼굴영역을 토대로 눈동자의 이동거리, 시선의 방향 및 각도를 산출하고, 상기 영상정보에서 사람의 형체와, 기존에 설치 놓은 기준과 바닥 및 벽에 표시된 마커를 이용하여, 상기 기준과 사람의 거리와 사람의 눈높이를 산출하여, 상기 산출한 시선 방향, 각도, 사람의 눈높이를 이용하여 시선 위치를 산출함으로써, 시선을 추적하도록 하는 눈동자의 이동과, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법에 관한 것이다.First, Korean Patent Registration No. 2016308 (October 31, 2018) relates to a gaze tracking method using the movement of the pupil and the distance between the eyes and the face edge. Based on the area, the movement distance of the pupil, the direction and angle of the gaze are calculated, and using the shape of the person in the image information, the standard installed previously, and the markers displayed on the floor and the wall, the distance between the reference and the person and the person It relates to a gaze tracking method using the movement of the pupil to track the gaze by calculating the eye level of .

즉, 상기 선행기술은 영상정보로부터 눈동자의 이동거리와, 각 눈의 바깥쪽 끝부분에서 얼굴 가장자리까지의 거리 차이를 산출하여 시선 방향과 각도를 산출하고, 상기 산출한 시선 방향 및 각도와 마커를 이용하여 산출되는 사람의 눈높이를 토대로 사람의 시선을 추적하도록 하는 것이다.That is, the prior art calculates the gaze direction and angle by calculating the difference between the movement distance of the pupil and the distance from the outer end of each eye to the edge of the face from the image information, and calculates the gaze direction and angle and the marker. It is to track a person's gaze based on the person's eye level calculated by using it.

반면에 본 발명은, 눈 영상으로부터 동공을 검출하고, 상기 검출한 동공을 토대로 눈 영역을 검출하여, 상기 검출한 눈 영역에서 상기 검출한 동공의 상대위치를 산출하고, 상기 산출한 동공의 상대위치와, 상기 검출한 동공의 높낮이에 따라 변화되는 눈꺼풀의 곡률을 이용하여 시선의 상하좌우 움직임을 실시간으로 정확하게 추적할 수 있도록 하는 것으로, 본 발명과 상기 선행기술은 구성상의 차이점이 분명하다.On the other hand, the present invention detects a pupil from an eye image, detects an eye region based on the detected pupil, calculates a relative position of the detected pupil in the detected eye region, and calculates the relative position of the pupil And, using the curvature of the eyelid that changes according to the detected height of the pupil, it is possible to accurately track the movement of the gaze up, down, left and right in real time, and there is a clear difference in configuration between the present invention and the prior art.

또한 한국등록특허 제1706992호(2017.02.09.)는 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체에 관한 것으로, 카메라로 촬영된 주변영상으로부터 사람의 얼굴 영역, 눈 영역 및 코 영역을 검출하여, 상기 검출한 눈 영역으로부터 동공 영역과 그 중심을 검출하고, 상기 눈 영역 및 코 영역으로부터 사람의 얼굴 포즈에 대한 각도를 산출하여, 상기 산출한 각도에 따른 안구 중심을 검출하여, 상기 검출한 동공 영역의 중심과 안구 중심을 연결함으로써, 사람의 시선 방향을 검출하는 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체에 관한 것이다.In addition, Korea Patent No. 1706992 (2017.02.09.) relates to a gaze tracking apparatus and method, and a recording medium for performing the same, by detecting a person's face area, eye area, and nose area from surrounding images taken with a camera. , detects a pupil region and its center from the detected eye region, calculates an angle for a human face pose from the eye region and nose region, detects an eyeball center according to the calculated angle, and detects the detected pupil The present invention relates to a gaze tracking apparatus and method for detecting a gaze direction of a person by connecting a center of an area and a center of an eyeball, and a recording medium for performing the same.

즉, 상기 선행기술은 사람의 얼굴영상에서 동공 영역에 대한 중심과 안구의 중심을 검출하여 사람의 시선을 추적하도록 하는 방법을 기재하고 있다.That is, the prior art describes a method for tracking a person's gaze by detecting the center of the pupil region and the center of the eyeball in the face image of a person.

반면에 본 발명은 눈 영역에 대한 동공의 상대위치와 동공의 높낮이에 따른 눈꺼풀의 곡률변화를 적용하여 시선의 상하좌우 움직임을 실시간으로 추적할 수 있도록 하는 것으로, 상기 선행기술은 본 발명의 이러한 기술적 특징을 기재하거나 시사 혹은 암시도 없음이 분명하다.On the other hand, the present invention applies the change in the curvature of the eyelid according to the relative position of the pupil with respect to the eye region and the height of the pupil so that the movement of the gaze up, down, left, and right can be tracked in real time. It is clear that there is no characterization or suggestion or suggestion.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 사용자를 촬영한 영상으로부터 동공을 검출하고, 상기 검출한 동공을 이용하여 눈 영역을 추출하고, 상기 추출한 눈 영역에서 상기 검출한 동공의 상대위치를 산출하고, 상기 산출한 동공의 상대위치, 상기 동공의 높낮이에 따른 눈꺼풀의 곡률변화 및 3차원 안구 모델을 결합하여, 상기 사용자의 시선을 실시간으로 인식하여 추적함으로써, 신뢰성 높은 시선 추적 결과를 제공할 수 있도록 하는 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.The present invention was created to solve the above problems, detects a pupil from an image captured by the user, extracts an eye region using the detected pupil, and compares the detected pupil from the extracted eye region. By calculating the position, and combining the calculated relative position of the pupil, the change in the curvature of the eyelid according to the height of the pupil, and a three-dimensional eye model, the user's gaze is recognized and tracked in real time, resulting in highly reliable gaze tracking An object of the present invention is to provide a gaze tracking device and method using pupil detection and eyelid curvature that can be provided.

또한 본 발명은, 동공을 검출한 후, 상기 검출한 동공을 기준으로 눈 영역을 검출하기 위한 윈도우를 설정하고, 상기 동공의 가장자리에 해당하는 눈꺼풀의 에지를 중심으로 상기 눈꺼풀의 에지가 지속되는 가장자리의 경계까지 상기 윈도우를 좌우로 확장시키고, 상기 눈꺼풀의 상하 에지 경계까지 상기 윈도우를 상하로 축소 또는 확장시켜 상기 눈꺼풀의 윤곽선을 추출함으로써, 상기 전체 눈 영역을 정확하게 검출하여, 신뢰성 높은 시선 추적 결과를 제공할 수 있도록 하는 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법을 제공하는 것을 그 목적으로 한다. In addition, the present invention sets a window for detecting an eye region based on the detected pupil after detecting the pupil, and the edge of the eyelid continues around the edge of the eyelid corresponding to the edge of the pupil. By extending the window left and right up to the boundary of the eyelid and reducing or expanding the window up and down to the upper and lower edge boundaries of the eyelids to extract the outline of the eyelid, the entire eye area is accurately detected, resulting in highly reliable eye tracking An object of the present invention is to provide a gaze tracking device and method using pupil detection and eyelid curvature that can be provided.

또한 본 발명은, 상기 최소제곱법을 이용하여 상부 눈꺼풀의 윤곽선을 2차 곡선으로 정합하고, 상기 정합한 2차 곡선의 꼭짓점과 눈꺼풀의 좌측 가장자리 끝점에 위치하는 눈 앞꼬리 위치점의 내분점을 이용하여 정면을 응시하는 기준점을 설정하고, 상기 설정한 기준점을 토대로 상기 검출한 동공의 상대위치를 산출함으로써, 해당 사용자의 시선 방향을 추정하고, 상기 추정한 시선 방향에 동공의 높낮이에 따른 눈꺼풀의 곡률변화를 반영하여, 상기 사용자의 시선에 대한 상하좌우 움직임을 실시간으로 인식하여 추적할 수 있도록 하는 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법을 제공하는 것을 그 목적으로 한다. In addition, the present invention matches the contour of the upper eyelid with a quadratic curve using the least squares method, and uses the inner branch point of the vertex of the matched quadratic curve and the front tail of the eye located at the end point of the left edge of the eyelid to set a reference point for gazing at the front, and calculate the relative position of the detected pupil based on the set reference point to estimate the gaze direction of the user, and the curvature of the eyelid according to the height of the pupil in the estimated gaze direction An object of the present invention is to provide a gaze tracking apparatus and method using pupil detection and eyelid curvature that can recognize and track the user's vertical, horizontal, and vertical movements in real time by reflecting the change.

본 발명의 일 실시예에 따른 시선 추적 장치는, 사용자의 눈 영상을 이진영상으로 변환하여 상기 눈 영상으로부터 에지를 검출하는 에지 검출부, 상기 검출한 에지로부터 동공을 검출하는 동공 검출부, 상기 검출한 동공 및 에지로부터 눈꺼풀의 윤곽선을 검출하여, 눈 영역을 검출하는 눈 영역 검출부 및 상기 검출한 동공, 눈꺼풀의 윤곽선 및 눈 영역을 이용하여 상기 사용자의 시선을 실시간으로 추적하는 시선 추적부를 포함하며, 상기 사용자의 시선을 실시간으로 추적하는 것은, 상기 검출한 눈 영역에서 위치하는 상기 검출한 동공의 높낮이에 따라, 변화되는 상기 검출한 눈꺼풀의 윤곽선에 대한 곡률을 이용하여 사용자의 시선에 대한 방향을 인식함으로써 수행되는 것을 특징으로 한다.The gaze tracking apparatus according to an embodiment of the present invention includes an edge detector configured to convert a user's eye image into a binary image to detect an edge from the eye image, a pupil detector configured to detect a pupil from the detected edge, and the detected pupil. and an eye region detector configured to detect an eye region by detecting an eyelid contour from an edge, and a gaze tracking unit configured to track the user's gaze in real time using the detected pupil, eyelid contour, and eye region, wherein the user Real-time tracking of the gaze of the user is performed by recognizing the direction of the user's gaze using the curvature of the detected eyelid contour that changes according to the detected height of the pupil located in the detected eye region. characterized by being

또한 상기 눈 영역 검출부는, 상기 추출한 동공을 기준으로 상기 변환한 이진영상에 사전에 설정한 크기의 윈도우를 설정하고, 상기 동공의 가장자리에 인접한 눈꺼풀의 에지를 중심으로 눈꺼풀의 에지가 지속되는 눈꺼풀의 가장자리 경계까지 상기 설정한 윈도우를 좌우 방향으로 확장하고, 상기 눈꺼풀의 상하 에지 경계까지 상기 설정한 윈도우를 상하 방향으로 확장 또는 축소하여 상기 눈꺼풀의 윤곽선을 검출함으로써, 상기 눈 영역을 검출하는 것을 특징으로 한다.In addition, the eye region detection unit sets a window of a preset size on the converted binary image based on the extracted pupil, and the edge of the eyelid continues around the edge of the eyelid adjacent to the edge of the pupil. The eye region is detected by extending the set window in the left and right directions up to the edge boundary, and by detecting the outline of the eyelid by expanding or reducing the set window up to the upper and lower edge boundaries of the eyelid in the vertical direction. do.

또한 상기 시선 추적 장치는, 상기 검출한 동공이 상기 검출한 눈 영역에 대한 상대위치를 검출하는 동공 상대위치 산출부 및 상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 정합하는 눈꺼풀 2차 곡선 정합부를 더 포함하며, 상기 동공의 상대위치는, 상기 검출한 전체 눈 영역에서, 상기 검출한 눈꺼풀의 윤곽선에 대한 좌측 가장자리의 끝점인 눈 앞꼬리에 대한 위치좌표와 상기 정합한 2차 곡선의 꼭짓점에 대한 위치좌표를 내분한 내분점을 상기 시선의 정면 응시 기준점으로 설정하고, 상기 설정한 정면 응시 기준점을 원점으로 하여 상기 검출한 동공의 위치를 계산함으로써, 산출되는 것을 특징으로 한다.In addition, the eye tracking device further includes a pupil relative position calculation unit for detecting a relative position of the detected pupil with respect to the detected eye region, and an eyelid secondary curve matching unit for matching the detected eyelid contour with a quadratic curve. The relative position of the pupil is, in the entire detected eye region, the position coordinate for the front tail of the eye, which is the end point of the left edge of the detected eyelid contour, and the position with respect to the vertex of the matched quadratic curve It is characterized in that it is calculated by setting an internal division point obtained by internalizing the coordinates as the frontal gaze reference point of the gaze, and calculating the position of the detected pupil using the set frontal gaze reference point as the origin.

또한 상기 시선 추적 장치는, 상기 검출한 눈꺼풀의 윤곽선에 대해 정합한 2차 곡선의 곡률을 산출하여, 상기 눈꺼풀의 곡률을 산출하는 눈꺼풀 곡률 산출부를 더 포함하며, 상기 시선 추적부는, 상기 산출한 동공의 상대위치를 토대로 좌우상하 방향에 대한 시선을 추정하고, 상기 산출한 눈꺼풀 곡률과 상기 설정한 정면 응시 기준점에 따른 정중앙 방향으로의 시선에 대하여 산출되는 눈꺼풀 곡률을 토대로, 상기 정중앙 방향으로의 시선에서 상기 추정한 시선에 대한 눈꺼풀의 곡률변화를 산출하여 상기 산출한 곡률변화를 토대로 상기 추정한 시선의 상하방향을 보정함으로써, 상기 사용자의 시선을 추적하는 것을 특징으로 한다.In addition, the gaze tracking device further includes an eyelid curvature calculator configured to calculate the curvature of a quadratic curve matched with the detected eyelid contour line, and calculate the eyelid curvature, wherein the gaze tracking unit includes the calculated pupil Estimate the gaze in the left, right, top and bottom directions based on the relative position of The user's gaze is tracked by calculating a change in the curvature of the eyelid with respect to the estimated gaze and correcting the vertical direction of the estimated gaze based on the calculated change in curvature.

또한 상기 시선 추적 장치는, 상기 사용자에 대한 눈 영상을 가시광영상이나 적외선 영상으로 획득하는 영상 획득부 및 상기 시선을 추적한 결과를 제공하는 시선 추적 결과 제공부를 더 포함하며, 상기 에지 검출부는, 상기 획득한 눈 영상의 노이즈를 제거하여 상기 이진영상으로 변환하는 것을 더 포함하는 것을 특징으로 한다.In addition, the gaze tracking apparatus further includes an image acquisition unit for acquiring an eye image of the user as a visible light image or an infrared image, and a gaze tracking result providing unit providing a result of tracking the gaze, wherein the edge detection unit includes: The method further comprises converting the obtained eye image into the binary image by removing noise.

아울러 본 발명의 일 실시예에 따른 시선 추적 방법은, 사용자의 눈 영상을 이진영상으로 변환하여 상기 눈 영상으로부터 에지를 검출하는 에지 검출 단계, 상기 검출한 에지로부터 동공을 검출하는 동공 검출 단계, 상기 검출한 동공 및 에지로부터 눈꺼풀의 윤곽선을 검출하여, 눈 영역을 검출하는 눈 영역 검출 단계 및 상기 검출한 동공, 눈꺼풀의 윤곽선 및 눈 영역을 이용하여 상기 사용자의 시선을 실시간으로 추적하는 시선 추적 단계를 포함하며, 상기 사용자의 시선을 실시간으로 추적하는 것은, 상기 검출한 눈 영역에서 위치하는 상기 검출한 동공의 높낮이에 따라, 변화되는 상기 검출한 눈꺼풀의 윤곽선에 대한 곡률을 이용하여 사용자의 시선에 대한 방향을 인식함으로써 수행되는 것을 특징으로 한다.In addition, the gaze tracking method according to an embodiment of the present invention includes an edge detection step of converting a user's eye image into a binary image and detecting an edge from the eye image, a pupil detection step of detecting a pupil from the detected edge, the The eye area detection step of detecting the eye area by detecting the outline of the eyelid from the detected pupil and the edge, and the eye tracking step of tracking the user's gaze in real time using the detected pupil, the outline of the eyelid, and the eye area Including, wherein the tracking of the user's gaze in real time includes using the curvature of the detected eyelid contour that changes according to the detected height of the pupil located in the detected eye region to determine the user's gaze It is characterized in that it is performed by recognizing the direction.

또한 상기 눈 영역 검출 단계는, 상기 추출한 동공을 기준으로 상기 변환한 이진영상에 사전에 설정한 크기의 윈도우를 설정하고, 상기 동공의 가장자리에 인접한 눈꺼풀의 에지를 중심으로 상기 눈꺼풀의 에지가 지속되는 눈꺼풀의 가장자리 경계까지 상기 설정한 윈도우를 좌우 방향으로 확장하고, 상기 눈꺼풀의 상하 에지 경계까지 상기 설정한 윈도우를 상하 방향으로 확장 또는 축소하여 상기 눈꺼풀의 윤곽선을 검출함으로써, 상기 눈 영역을 검출하는 것을 특징으로 한다.In addition, in the step of detecting the eye region, a window of a preset size is set on the converted binary image based on the extracted pupil, and the edge of the eyelid is maintained around the edge of the eyelid adjacent to the edge of the pupil. Detecting the eye area by extending the set window in the left and right directions up to the edge boundary of the eyelid, and extending or reducing the set window in the vertical direction up to the upper and lower edge boundary of the eyelid to detect the outline of the eyelid characterized.

또한 상기 시선 추적 방법은, 상기 검출한 동공이 상기 검출한 눈 영역에 대한 상대위치를 검출하는 동공 상대위치 산출 단계 및 상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 정합하는 눈꺼풀 2차 곡선 정합 단계를 더 포함하며, 상기 동공의 상대위치는, 상기 검출한 전체 눈 영역에서, 상기 검출한 눈꺼풀의 윤곽선에 대한 좌측 가장자리의 끝점인 눈 앞꼬리에 대한 위치좌표와 상기 정합한 2차 곡선의 꼭짓점에 대한 위치좌표를 내분한 내분점을 상기 시선의 정면 응시 기준점으로 설정하고, 상기 설정한 정면 응시 기준점을 원점으로 하여 상기 검출한 동공의 위치를 계산함으로써, 산출되는 것을 특징으로 한다.In addition, the eye tracking method includes a pupil relative position calculation step of detecting a relative position of the detected pupil with respect to the detected eye region, and an eyelid secondary curve matching step of matching the detected eyelid contour with a quadratic curve. Further comprising, the relative position of the pupil is, in the detected entire eye region, the position coordinate for the front tail of the eye, which is the end point of the left edge of the detected eyelid contour, and the vertex of the matched quadratic curve. It is characterized in that the calculation is performed by setting an internal division point obtained by internalizing the positional coordinates as the frontal gaze reference point of the gaze, and calculating the position of the detected pupil using the set frontal gaze reference point as the origin.

또한 상기 시선 추적 방법은, 상기 검출한 눈꺼풀의 윤곽선에 대해 정합한 2차 곡선의 곡률을 산출하여, 상기 눈꺼풀의 곡률을 산출하는 눈꺼풀 곡률 산출 단계를 더 포함하며, 상기 시선 추적 단계는, 상기 산출한 동공의 상대위치를 토대로 좌우상하 방향에 대한 시선을 추정하고, 상기 산출한 눈꺼풀 곡률과 상기 설정한 정면 응시 기준점에 따른 정중앙 방향으로의 시선에 대하여 산출되는 눈꺼풀 곡률을 토대로, 상기 정중앙 방향으로의 시선에서 상기 추정한 시선에 대한 눈꺼풀의 곡률변화를 산출하여, 상기 산출한 곡률변화를 이용하여 상기 추정한 시선의 상하방향을 보정함으로써, 상기 사용자의 시선을 추적하는 것을 특징으로 한다.In addition, the gaze tracking method further includes calculating a curvature of a quadratic curve matched to the detected eyelid contour, and calculating the curvature of the eyelid, wherein the eye tracking step includes: Based on the relative position of one pupil, the gaze in the left, right, up and down directions is estimated, and based on the calculated eyelid curvature and the eyelid curvature calculated with respect to the gaze in the mid-center direction according to the set frontal gaze reference point, The user's gaze is tracked by calculating a change in the curvature of the eyelid with respect to the estimated gaze from the gaze, and correcting the vertical direction of the estimated gaze using the calculated change in curvature.

또한 상기 시선 추적 방법은, 상기 사용자에 대한 눈 영상을 가시광영상이나 적외선 영상으로 획득하는 영상 획득 단계 및 상기 시선을 추적한 결과를 제공하는 시선 추적 결과 제공 단계를 더 포함하며, 상기 에지 검출 단계는, 상기 획득한 눈 영상의 노이즈를 제거하여 상기 이진영상으로 변환하는 것을 더 포함하는 것을 특징으로 한다.In addition, the gaze tracking method further includes an image acquisition step of acquiring an eye image of the user as a visible light image or an infrared image, and a gaze tracking result providing step of providing a result of tracking the gaze, wherein the edge detection step includes: , It characterized in that it further comprises converting the obtained eye image into the binary image by removing the noise.

이상에서와 같이 본 발명의 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법에 따르면, 눈 영역을 포함하는 입력영상으로부터 동공을 검출하고, 상기 검출한 동공을 토대로 사용자의 눈 영역을 검출하여, 상기 검출한 눈 영역에서의 상기 동공에 대한 상대위치를 산출하며, 상기 산출한 동공에 대한 상대위치와, 상기 동공의 높낮이에 따른 눈꺼풀의 곡률을 이용하여 사용자의 시선에 대한 상하좌우 움직임을 실시간으로 추적함으로써, 신뢰성 높은 시선 추적 결과를 제공할 수 있는 효과가 있다.As described above, according to the eye tracking apparatus and method using pupil detection and eyelid curvature of the present invention, the pupil is detected from the input image including the eye region, and the user's eye region is detected based on the detected pupil, Calculate the relative position with respect to the pupil in the detected eye region, and use the calculated relative position with respect to the pupil and the curvature of the eyelid according to the height of the pupil in real time By tracking, there is an effect of providing a reliable gaze tracking result.

즉, 본 발명은 시선의 좌우방향에 한정되는 것이 아니라, 시선의 상하방향도 정확하게 인식함으로써, 사용자의 전체적인 시선을 정확하게 인식하여 제공하도록 하는 것이다.That is, the present invention is not limited to the left and right directions of the gaze, but also accurately recognizes the vertical direction of the gaze, thereby accurately recognizing and providing the user's overall gaze.

도 1은 본 발명의 일 실시예에 따른 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 사용자의 눈 영역을 검출하는 과정을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 눈꺼풀 2차 곡선 정합과정을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 동공의 상대위치를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 2차원 안구 모델을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 3차원 안구 모델을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 안구 모델만을 이용한 시선 추정 결과를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 동공의 상하 높낮이에 따른 눈꺼풀 곡률변화를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 눈꺼풀의 곡률을 반영한 시선 추적 결과를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 동공검출 및 눈꺼풀 곡률을 이용한 시선 추적 장치의 구성을 나타낸 블록도이다.
도 11은 본 발명의 일 실시예에 따른 동공검출과 눈꺼풀 곡률을 이용하여 시선을 추적하는 절차를 나타낸 흐름도이다.1 is a conceptual diagram illustrating a gaze tracking apparatus and method using pupil detection and eyelid curvature according to an embodiment of the present invention.
2 is a diagram illustrating a process of detecting a user's eye region according to an embodiment of the present invention.
3 is a diagram illustrating a process of matching the second-order eyelid curve according to an embodiment of the present invention.
4 is a view showing the relative position of the pupil according to an embodiment of the present invention.
5 is a view showing a two-dimensional eye model according to an embodiment of the present invention.
6 is a diagram illustrating a three-dimensional eye model according to an embodiment of the present invention.
7 is a diagram illustrating a gaze estimation result using only a three-dimensional eye model according to an embodiment of the present invention.
8 is a view showing changes in the eyelid curvature according to the vertical height of the pupil according to an embodiment of the present invention.
9 is a diagram illustrating a gaze tracking result reflecting a curvature of an eyelid according to an embodiment of the present invention.
10 is a block diagram illustrating a configuration of a gaze tracking apparatus using pupil detection and eyelid curvature according to an embodiment of the present invention.
11 is a flowchart illustrating a procedure for tracking gaze using pupil detection and eyelid curvature according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Hereinafter, a preferred embodiment of a gaze tracking apparatus and method using pupil detection and eyelid curvature according to the present invention will be described in detail with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements. In addition, specific structural or functional descriptions for the embodiments of the present invention are only exemplified for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all terms used herein, including technical or scientific terms They have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. It is preferable not to

도 1은 본 발명의 일 실시예에 따른 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.1 is a conceptual diagram illustrating a gaze tracking apparatus and method using pupil detection and eyelid curvature according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 동공검출과 눈꺼풀 곡률을 이용한 시선 추적 장치(100)(이하, 시선 추적 장치라 칭함)는, 사용자를 촬영하여 획득되는 눈 영상으로부터, 홍채와 동공을 추출하고, 상기 추출한 동공의 높낮이에 따라 변화되는 눈꺼풀의 곡률을 이용하여 상기 사용자의 시선을 실시간으로 추적하는 기능을 수행한다.As shown in FIG. 1 , the gaze tracking apparatus 100 (hereinafter referred to as the gaze tracking device) using pupil detection and eyelid curvature according to an embodiment of the present invention, from an eye image obtained by photographing a user, The iris and pupil are extracted, and the function of tracking the user's gaze in real time is performed using the curvature of the eyelid that changes according to the height of the extracted pupil.

상기 시선 추적 장치(100)는, 가상현실 장치(VR 장치), 증강현실 장치(AR 장치)에 적용되어 시선 추적 결과를 통해 상기 가상현실 장치 또는 증강현실 장치와 상기 사용자간의 인터랙션을 간편하게 수행하도록 하거나, 홍채인식장치에 적용되어 사용자의 시선을 추적하여 홍재를 정확하게 인식하도록 하거나, 자동차에 구비되는 졸음감지장치에 적용되어 눈꺼풀의 곡률변화에 따라 사용자의 졸음여부를 판단할 수 있도록 하여 안전한 운행을 수행하도록 하는 것과 같이 다양한 장치에 적용될 수 있다. 즉, 상기 시선 추적 장치(100)는, 장착식 장치(예: 가상현실 장치, 증강현실 장치) 또는 비장착식 장치(예: 홍채인식 장치, 졸음감지장치)에 상관없이 다양한 장치에 적용되어, 사용자의 시선을 추적함으로써, 상기 시선을 추적한 결과를 상기와 같은 다양한 장치에서 용이하게 사용할 수 있도록 구현된다.The eye tracking device 100 is applied to a virtual reality device (VR device) or an augmented reality device (AR device) to easily perform an interaction between the virtual reality device or the augmented reality device and the user through the eye tracking result, or , applied to the iris recognition device to accurately recognize the iris by tracking the user's gaze, or applied to the drowsiness detection device provided in automobiles to determine whether the user is drowsy according to the change in the curvature of the eyelids to ensure safe operation It can be applied to a variety of devices, such as That is, the eye tracking device 100 is applied to various devices regardless of whether it is a wearable device (eg, a virtual reality device, an augmented reality device) or a non-mountable device (eg, an iris recognition device, a drowsiness detection device), By tracking the user's gaze, it is implemented so that the result of tracking the gaze can be easily used in various devices as described above.

상기 사용자의 눈 영상은, 가시광 카메라 또는 적외선 카메라를 통해 해당 사용자의 눈 영역을 촬영함으로써, 획득된다.The user's eye image is obtained by photographing the user's eye area through a visible light camera or an infrared camera.

또한 상기 시선 추적 장치(100)는, 상기 획득한 눈 영상을 이진영상으로 변환하고, 상기 변환한 이진영상으로부터 복수의 에지를 검출한다.Also, the gaze tracking apparatus 100 converts the obtained eye image into a binary image, and detects a plurality of edges from the converted binary image.

이때, 상기 시선 추적 장치(100)는, 상기 에지를 정확하게 검출하기 위해, 노이즈 제거과정을 수행한다. 이때, 상기 시선 추적 장치(100)는, 사전에 설정한 크기(예: 3x3)의 중간값 필터(median filter)를 이용하여, 특정 픽셀과 이웃하는 복수의 픽셀의 값 중 중간값에 해당하는 픽셀값을 상기 특정 픽셀의 픽셀값으로 출력함으로써, 상기 눈 영상에서 급격한 변화를 나타내는 임펄스 잡음을 포함한 노이즈를 제거하여 불필요한 작은 에지들을 제거한다. 다만 본 발명은 상기 중간값 필터 이외에 평균값 필터(average filter) 등과 같은 다양한 필터를 이용하여 상기 노이즈를 제거할 수 있다.In this case, the eye tracking apparatus 100 performs a noise removal process in order to accurately detect the edge. In this case, the eye tracking apparatus 100 uses a median filter having a preset size (eg, 3x3), and a pixel corresponding to a median value among values of a plurality of pixels adjacent to a specific pixel. By outputting the value as the pixel value of the specific pixel, unnecessary small edges are removed by removing noise including impulse noise representing a sudden change in the eye image. However, in the present invention, the noise can be removed by using various filters such as an average filter in addition to the median filter.

또한 상기 에지를 검출하는 것은, 캐니(canny) 에지 검출방법을 통해 수행되며, 상기 캐니 에지 검출방법은, 두개의 임계값을 사용하고, 높은 임계값을 사용하여 에지의 기울기 방향에서 낮은 값의 임계값이 나올 때까지 추적하여 에지를 연결하는 방법을 이용하는 것으로, 소벨(sobel)함수를 통한 에지 검출방법이나, 라플라시안(laplacian) 에지 검출방법과 같이 에지가 아님에도 에지를 검출하는 문제점을 해소하여, 정확한 에지를 검출하는 장점이 있다.In addition, the detection of the edge is performed through a canny edge detection method, wherein the canny edge detection method uses two threshold values and uses a high threshold value to set a low threshold value in the slope direction of the edge. By using a method of connecting edges by tracking until a value comes out, it solves the problem of detecting an edge even though it is not an edge, such as an edge detection method using a sobel function or a laplacian edge detection method, It has the advantage of detecting an accurate edge.

또한 상기 시선 추적 장치(100)는, 상기 검출한 에지로부터 동공을 검출한다. 이때, 상기 동공을 검출하는 것은, 상기 검출한 에지에 원형 허프 변환(hough transform)을 적용하여, 상기 검출한 에지 중 선형구조의 에지를 검출함으로써, 수행된다. 이때, 상기 시선 추적 장치(100)는 동공과 함께 홍채도 같이 검출할 수 있다.Also, the eye tracking apparatus 100 detects a pupil from the detected edge. In this case, the detection of the pupil is performed by applying a circular hough transform to the detected edge, and detecting an edge of a linear structure among the detected edges. In this case, the eye tracking apparatus 100 may detect the iris as well as the pupil.

또한 상기 시선 추적 장치(100)는, 상기 검출한 에지 및 동공을 이용하여 상기 이진영상으로부터 눈꺼풀의 윤곽선을 검출함으로써, 사용자의 눈 영역을 검출하며, 상기 검출한 눈꺼풀의 윤곽선을 토대로 눈꺼풀 곡률을 산출한다. 한편, 상기 눈 영역의 검출 및 상기 눈꺼풀 곡률의 산출은 도 2 및 도 3을 참조하여 각각 설명하도록 한다.In addition, the eye tracking apparatus 100 detects the user's eye region by detecting the outline of the eyelid from the binary image using the detected edge and the pupil, and calculates the eyelid curvature based on the detected outline of the eyelid do. Meanwhile, the detection of the eye region and the calculation of the eyelid curvature will be described with reference to FIGS. 2 and 3 , respectively.

또한 상기 시선 추적 장치(100)는, 상기 검출한 눈 영역 내에서의 상기 검출한 동공의 상대위치를 산출하여, 상기 산출한 동공의 상대위치를 토대로 상기 사용자의 시선에 대한 방향을 추정한다.In addition, the gaze tracking apparatus 100 calculates the relative position of the detected pupil within the detected eye region, and estimates the direction of the user's gaze based on the calculated relative position of the pupil.

이때, 상기 동공의 상대위치에 따라 추정되는 사용자의 시선은, 시선에 대한 상하 방향이 반영되어 있지 않은 것으로, 사용자의 정확한 시선을 추적하기 위해서는 좌우 시선 방향 이외에 상하 시선 방향을 인식하여야 한다.In this case, the user's gaze, which is estimated according to the relative position of the pupil, does not reflect the vertical direction with respect to the gaze, and in order to accurately track the user's gaze, the vertical gaze direction must be recognized in addition to the left and right gaze direction.

이를 위해 상기 시선 추적 장치(100)는 검출한 눈꺼풀의 윤곽선을 토대로 동공의 높낮이에 따른 눈꺼풀 곡률을 산출하여, 상기 산출한 동공의 상대위치, 상기 산출한 눈꺼풀 곡률과 본 발명의 3차원 안구 모델을 결합함으로써, 상하좌우로 움직이는 사용자의 시선을 상기 눈 영상의 매 프레임마다 실시간으로 정확하게 인식하여 추적함으로서, 신뢰성 높은 시선 추적 결과를 제공하게 된다.To this end, the eye tracking device 100 calculates the eyelid curvature according to the height of the pupil based on the detected eyelid contour, and calculates the calculated relative position of the pupil, the calculated eyelid curvature, and the three-dimensional eye model of the present invention. By combining, the user's gaze moving up, down, left and right is accurately recognized and tracked in real time for every frame of the eye image, thereby providing a reliable gaze tracking result.

상기 시선을 정확하게 추출하기 위해서는 상기 검출한 동공에 대한 상대위치를 산출해야 되는데, 이를 위해서는 상기 사용자가 정면을 응시하고 있을 때의 동공위치(즉, 정면 응시 기준점)를 설정해야 된다. 따라서 상기 시선 추적 장치(100)는, 눈꺼풀 2차 곡선 정합과정을 통해 눈꺼풀에 대한 2차 곡선(즉, 눈꺼풀의 윤곽선에 대한 이차 곡선)과 상기 검출한 눈 영역에서의 눈 앞꼬리에 대한 위치를 산출하여야 한다. 한편 상기 눈꺼풀 2차 곡선 정합과정은 도 3을 참조하여 상세히 설명하도록 하며, 상기 3차원 안구 모델은 도 6을 참조하여 상세히 설명하도록 한다.In order to accurately extract the gaze, it is necessary to calculate a relative position with respect to the detected pupil. Therefore, the eye tracking device 100 determines the position of the forelimb of the eye in the detected eye region and the secondary curve for the eyelid (that is, the secondary curve for the contour of the eyelid) through the eyelid secondary curve matching process. should be calculated. Meanwhile, the eyelid secondary curve matching process will be described in detail with reference to FIG. 3 , and the 3D eye model will be described in detail with reference to FIG. 6 .

이와 같이 본 발명은, 동공의 상대위치와, 동공의 높낮이에 따른 눈꺼풀 곡률을 이용하여 사용자의 좌우 시선 방향뿐만 아니라 상하 시선 방향을 인식하여, 사용자의 시선을 정확하게 실시간으로 추적하여 제공할 수 있도록 함으로써, 다양한 장치에서 사용자의 시선 추적 결과를 이용할 수 있도록 한다.As described above, the present invention recognizes the user's left and right gaze directions as well as the vertical gaze directions using the relative position of the pupil and the eyelid curvature according to the height of the pupil, so that the user's gaze can be accurately tracked in real time and provided. , to make the user's eye tracking results available on various devices.

도 2는 본 발명의 일 실시예에 따른 사용자의 눈 영역을 검출하는 과정을 설명하기 위해 나타낸 도면이다.2 is a diagram illustrating a process of detecting a user's eye region according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 사용자의 눈 영역을 검출하는 과정은, 우선 시선 추정 장치(100)는, 도 1에서 설명한 것과 같이 사용자의 눈 영상으로부터 검출한 동공을 중심으로 눈꺼풀의 윤곽선을 검출함으로써, 상기 눈 영역을 검출한다.As shown in FIG. 2 , in the process of detecting the user's eye region according to an embodiment of the present invention, the gaze estimating apparatus 100 first determines the pupil detected from the user's eye image as described in FIG. 1 . By detecting the outline of the eyelid as a center, the eye region is detected.

이를 위해, 상기 시선 추적 장치(100)는, 상기 검출한 동공을 기준으로 상기 변환한 이진영상에 사전에 설정한 크기의 윈도우를 설정하고, 상기 동공의 가장자리에 인접한 눈꺼풀의 에지를 중심으로, 상기 눈꺼풀의 에지가 지속되는 가장자기 경계까지 상기 설정한 윈도우를 좌우로 확장시킨다.To this end, the eye tracking apparatus 100 sets a window of a preset size on the converted binary image based on the detected pupil, and sets the edge of the eyelid adjacent to the edge of the pupil as the center, The set window is extended to the left and right to the most magnetic boundary where the edge of the eyelid continues.

이후, 상기 시선 추적 장치(100)는, 상기 확장시킨 윈도우를 상기 눈꺼풀의 에지에 대한 상하 경계까지 확장 또는 축소시킴으로써, 상기 눈꺼풀의 윤곽선을 최종 검출하여 상기 사용자의 눈 영상으로부터 눈 영역을 검출한다.Thereafter, the eye tracking apparatus 100 detects the eye region from the user's eye image by finally detecting the outline of the eyelid by expanding or reducing the expanded window to the upper and lower boundaries of the edge of the eyelid.

한편, 상기 윈도우의 상하부분이 상기 눈 영역의 외부에 위치하는 경우, 상기 눈꺼풀의 에지에 대한 경계까지 윈도우를 축소하며, 상기 윈도우의 상하부분이 상기 눈 영역의 내부에 위치하여 상기 윈도우가 축소됨에 따라 동공에 대응하는 원형 에지가 검출되는 경우, 해당 윈도우를 다시 상기 눈꺼풀의 에지에 대한 상하 경계까지 확장시켜 상기 눈 영역을 검출하게 된다.On the other hand, when the upper and lower portions of the window are located outside the eye area, the window is reduced to the boundary of the edge of the eyelid, and the upper and lower portions of the window are located inside the eye area so that the window is reduced. Accordingly, when the circular edge corresponding to the pupil is detected, the corresponding window is again extended to the upper and lower boundaries of the edge of the eyelid to detect the eye region.

도 3은 본 발명의 일 실시예에 따른 눈꺼풀 2차 곡선 정합과정을 설명하기 위해 나타낸 도면이다.3 is a diagram illustrating a process of matching the second-order eyelid curve according to an embodiment of the present invention.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 눈꺼풀 2차 곡선 정합과정은, 사용자의 시선을 정확하게 추적하기 위한 기반이 되는 것으로, 동공의 상대위치와, 상기 눈꺼풀의 윤곽선에 대한 2차 곡선을 산출하기 위해 수행된다.As shown in FIG. 3 , the eyelid secondary curve matching process according to an embodiment of the present invention is the basis for accurately tracking the user's gaze. This is done to calculate the difference curve.

상기 사용자의 시선을 정확하게 추적하기 위해, 상기 검출한 눈 영역에서 위치하는 동공의 상대위치를 산출해야 되며, 이를 위해서는 상기 사용자가 정면을 응시하고 있을 때의 동공의 위치(즉, 정면 응시 기준점)를 설정해야 된다.In order to accurately track the user's gaze, it is necessary to calculate the relative position of the pupil located in the detected eye region. must be set

이를 위해 상기 시선 추적 장치(100)는, 모폴로지 필터(morphology filter)를 이용한 모폴로지 침식(erosion)과정을 통해, 상기 변환한 이진영상에서 검출한 눈 영역에 대한 윤곽선(즉, 에지)을 단순화시키는 윤곽선 단순화 과정을 수행한다.To this end, the eye tracking apparatus 100 simplifies the outline (ie, edge) of the eye region detected in the converted binary image through a morphology erosion process using a morphology filter. carry out the process

즉, 상기 시선 추적 장치(100)는, 상기 변환한 이진영상에 사전에 설정한 크기의 모폴로지 필터를 이동시켜가며, 상기 모폴로지 중심에 위치하는 픽셀의 값을 상기 모폴로지 필터 내의 픽셀의 값 중 가장 작은 픽셀의 값으로 변환함으로써, 상기 검출한 눈 영역에 대한 윤곽선(즉, 눈꺼풀의 윤곽선)을 단순화시키는 것이다.That is, the eye tracking apparatus 100 moves a morphology filter of a preset size to the converted binary image, and sets the value of the pixel located at the center of the morphology to the smallest value among the pixel values in the morphology filter. By converting to pixel values, the outline for the detected eye region (ie, the outline of the eyelid) is simplified.

다음으로, 상기 시선 추적 장치(100)는, 상기 에지를 단순화시킨 이진영상을 스켈레톤화(skeletonize)하여, 최소제곱법을 기반으로 하는 란삭(RANSAC, random sample consensus) 알고리즘을 통해 상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 정합(fitting)한다.Next, the eye tracking apparatus 100 skeletonizes the binary image obtained by simplifying the edge, and uses a RANSAC (random sample consensus) algorithm based on the least squares method of the detected eyelid. Fit the contour to a quadratic curve.

상기 란삭 알고리즘은, 최소제곱법을 기반으로 주어진 데이터에 적합한 수학적 모델을 예측하는 것으로, 상기 시선 추적 장치(100)는, 상기 검출한 눈꺼풀의 윤곽선을 상기 란삭 알고리즘을 이용하여, 해당 눈꺼풀의 윤곽선에 대한 2차 곡선 정합을 통해, 상기 눈꺼풀에 대한 2차 곡선 그래프를 획득한다.The Lansack algorithm predicts a mathematical model suitable for given data based on the least squares method, and the eye tracking apparatus 100 uses the Lansak algorithm to apply the detected outline of the eyelid to the outline of the corresponding eyelid. Through quadratic curve matching, a quadratic curve graph for the eyelid is obtained.

한편, 상기 눈꺼풀은 사용자의 눈을 상부에서 덮어 보호하는 상부 눈꺼풀과 하부에서 덮어 보호하는 하부 눈꺼풀로 구성되는데, 상기 2차 곡선 정합은, 상부 눈꺼풀에 대해서 수행되는 것이 바람직하다.Meanwhile, the eyelid is composed of an upper eyelid that covers and protects the user's eyes from the top and a lower eyelid that covers and protects the user's eyes from the bottom.

다음으로, 상기 시선 추적 장치(100)는, 상기 이진영상에서 상기 검출한 눈꺼풀의 좌측 가장자리 끝점을 해당 사용자의 눈 앞꼬리로 판단하고, 상기 판단한 눈 앞꼬리 위치에 대한 위치좌표(x, y)와, 상기 정합한 2차 곡선의 꼭짓점에 대한 위치좌표(x, y)를 내분한 내분점을 해당 사용자의 상기 정면 응시 기준점으로 설정한다.Next, the eye tracking apparatus 100 determines the left edge end point of the detected eyelid in the binary image as the front tail of the user's eye, and the position coordinates (x, y) for the determined front tail position of the eye and , an internal division point obtained by internalizing the position coordinates (x, y) for the vertices of the matched quadratic curve is set as the reference point for the frontal gaze of the user.

이후, 상기 시선 추적 장치(100)는, 상기 설정한 정면 응시 기준점을 원점으로 하여 상기 검출한 동공의 위치를 계산함으로써, 상기 검출한 눈 영역에서 상기 검출한 동공에 대한 상대위치를 산출하게 된다.Thereafter, the gaze tracking apparatus 100 calculates the position of the detected pupil using the set frontal gaze reference point as an origin, thereby calculating the relative position of the detected pupil in the detected eye region.

도 4는 본 발명의 일 실시예에 따른 동공의 상대위치를 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 2차원 안구 모델을 나타낸 도면이다.4 is a view showing the relative position of the pupil according to an embodiment of the present invention, Figure 5 is a view showing a two-dimensional eye model according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 동공의 상대위치는, 눈꺼풀의 윤곽선에 대해 정합한 2차 곡선과 눈 앞꼬리의 위치를 이용하여, 사용자가 정면을 응시하고 있을 때의 정면 응시 기준점으로부터 현재 검출한 동공이 얼마나 떨어져 있는지를 나타낸다.As shown in FIG. 4 , the relative position of the pupil according to an embodiment of the present invention uses a quadratic curve matched with the outline of the eyelid and the position of the front edge of the eye when the user is gazing at the front. It indicates how far the currently detected pupil is from the frontal gaze reference point.

여기서, 도 4에 도시한 diff_x는 상기 설정한 정면 응시 기준점으로부터 상기 동공이 좌우(즉, x축 방향)로 얼마나 이동하였는지를 나타내며, diff_y는 상기 설정한 정면 응시 기준점으로부터 상기 동공이 상하(즉, y축 방향)로 얼마나 이동하였는지를 보여주는 값이다.Here, diff_x shown in FIG. 4 represents how much the pupil has moved left and right (ie, in the x-axis direction) from the set frontal gaze reference point, and diff_y is the vertical distance of the pupil from the set frontal gaze reference point (ie, y It is a value showing how much it has moved in the axial direction).

즉, 상기 diff_x와 diff_y는 상기 동공의 상기 정면 응시 기준점에 대한 상대적인 위치좌표를 나타낸다. 도 5에 도시한 바와 같이, 상기 산출한 동공의 상대위치를 2차원 안구 모델에 적용하면, 다음의 [수학식 1]을 통해 스크린 상에 사용자가 응시하는 위치를 도출할 수 있다.That is, the diff_x and diff_y represent the relative positional coordinates of the pupil with respect to the frontal gaze reference point. As shown in FIG. 5 , when the calculated relative position of the pupil is applied to the two-dimensional eye model, the position at which the user gazes on the screen can be derived through the following [Equation 1].

[수학식 1][Equation 1]

Figure 112019125331672-pat00001
Figure 112019125331672-pat00001

여기서, 여기서 도 5에 나타낸 diff_x1은 카메라를 통해 사용자의 눈 영상을 촬영하였을 때, 상기 산출된 동공의 상대위치가 정면 응시 기준점과 비교하여 좌측으로 이동되었을 때의 거리를 나타내며, diff_x2는 상기 diff_x1보다 좌측으로 더 많이 이동되었을 때의 거리를 나타내며, x1 및 x2는, 스크린 상에서 사용자가 실제 응시하고 있는 위치(즉, 스크린의 중심에서 떨어진 위치)를 의미한다. Here, diff_x 1 shown in FIG. 5 represents the distance when the calculated relative position of the pupil is moved to the left compared to the frontal gaze reference point when the user's eye image is taken through the camera, and diff_x 2 is the represents the distance moved to the left when more than diff_x 1, x 1 and x 2 are, means a position (that is, a position away from the center of the screen), the user is the actual gaze on the screen.

하지만, 상기 diff_x와 diff_y에 대한 두 값과, 상기 사용자가 실제로 바라보는 시선 방향은 선형적인 관계를 갖고 있지 않음을 알 수 있다.However, it can be seen that the two values of diff_x and diff_y do not have a linear relationship between the user's actual gaze direction.

즉, diff_x1과 diff_x2는, 약 2.2배의 관계를 보이지만, x1과 x2는 약 3배의 관계를 보인다. 이때 상기 두 수치의 배수관계에 대한 차이는 diff_x가 점점 커질수록 더 극단적으로 벌어지게 되며, 이는 카메라에 의해 촬영된 거리의 차이와, 실제 사용자가 스크린 상에 응시하고 있는 위치의 차이가 선형관계를 가지지 못함을 나타내는 것이다.That is, diff_x 1 and diff_x 2 show a relationship of about 2.2 times, but x 1 and x 2 show a relationship of about 3 times. At this time, the difference in the multiple relationship between the two numerical values becomes more extreme as diff_x increases, which is a linear relationship between the difference between the distance captured by the camera and the location where the actual user is gazing on the screen. It means you don't have it.

이에 따라 본 발명은, 이러한 문제점을 해결하기 위해 3차원 안구 모델을 제안한다.Accordingly, the present invention proposes a three-dimensional eye model to solve this problem.

도 6은 본 발명의 일 실시예에 따른 3차원 안구 모델을 나타낸 도면이며, 도 7은 본 발명의 일 실시예에 따른 3차원 안구 모델만을 이용한 시선 추정 결과를 나타낸 도면이다. 또한 도 8은 본 발명의 일 실시예에 따른 동공의 상하 높낮이에 따른 눈꺼풀 곡률변화를 나타낸 도면이다. 6 is a view showing a 3D eye model according to an embodiment of the present invention, and FIG. 7 is a view showing a gaze estimation result using only the 3D eye model according to an embodiment of the present invention. Also, FIG. 8 is a view showing changes in the eyelid curvature according to the vertical height of the pupil according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 3차원 안구 모델은, 스크린에 대한 사용자의 실제 응시지점과 촬영거리 및 사용자의 아이 볼(eyeball)간의 변수를 규정한 것으로, 상기 3차원 안구 모델을 통하여 상기 [수학식 1]을 다음의 [수학식 2]로 유도할 수 있다. As shown in FIG. 6 , the 3D eye model according to an embodiment of the present invention stipulates a variable between the user's actual gaze point and the shooting distance on the screen and the user's eyeball. The [Equation 1] can be derived into the following [Equation 2] through the dimensional eye model.

[수학식 2][Equation 2]

Figure 112019125331672-pat00002
Figure 112019125331672-pat00002

여기서, x 및 y는 상기 스크린상의 응시지점을 나타내며, d는 촬영거리를 나타내고, r은 상기 사용자의 안구에 대한 반지름을 나타낸다.Here, x and y denote a gaze point on the screen, d denotes a photographing distance, and r denotes a radius of the user's eyeball.

도 7에 도시한 바와 같이, 본 발명의 3차원 안구 모델을 통해 사용자의 시선을 추정한 결과, 상기 스크린 상에 사용자의 시선이 어느 방향으로 향하는지를 추정할 수 있으나, 상기 [수학식 2]는 동공의 높낮이에 따라 눈꺼풀의 곡률이 변하지 않는다는 전제로 하고 있기 때문에, 사용자의 좌우 시선방향(즉, x축 방향)은 정확하지만 상하 시선방향(즉, y축 방향)에 대해서는 정확도가 떨어진다.As shown in FIG. 7 , as a result of estimating the user's gaze through the three-dimensional eye model of the present invention, it is possible to estimate which direction the user's gaze is directed to on the screen, but [Equation 2] is Since it is assumed that the curvature of the eyelids does not change according to the height of the pupil, the user's left and right gaze directions (ie, the x-axis direction) are accurate, but the accuracy is low with respect to the vertical gaze direction (ie, the y-axis direction).

즉, 도 8에 도시한 바와 같이, 동공의 상하 높낮이, 즉, 시선이 위아래로 움직임에 따라서 눈꺼풀의 곡률이 변함을 알 수 있다.That is, as shown in FIG. 8 , it can be seen that the curvature of the eyelid changes according to the vertical height of the pupil, that is, the movement of the gaze up and down.

다시 말해, 동공의 위아래로 움직임에 따라 상기 사용자의 시선이 위아래 방향으로 움직이는 경우, 눈꺼풀의 곡률 또한 필연적으로 변화될 수밖에 없다. In other words, when the user's gaze moves up and down as the pupil moves up and down, the curvature of the eyelids inevitably also changes.

예를 들어, 도 8에 도시한 것과 같이, 사용자가 하측방향(즉, 아래)으로 바라보고 있는 상황이라면 정면을 응시할 때와 비교하여 눈꺼풀의 곡률이 작아지며, 사용자가 상측방향(즉, 위쪽)으로 바라보고 있는 상황이라면 정면을 응시할 때와 비교하여 눈꺼풀의 곡률이 커짐을 알 수 있다.For example, as shown in FIG. 8 , if the user is looking in the downward direction (ie, downward), the curvature of the eyelid is reduced compared to when the user is gazing in the front direction, and the user is in the upward direction (ie, upward). It can be seen that the curvature of the eyelids is increased compared to the case of looking straight ahead.

따라서 본 발명은 상기 [수학식 2]에 동공의 높낮이에 따라 변화되는 눈꺼풀의 곡률을 반영하여 상기 추정한 사용자의 시선에 y축 방향(즉, 상하방향)으로 시선방향을 보정함으로써, 정밀하게 상기 사용자의 시선을 추적하도록 한다.Therefore, the present invention reflects the curvature of the eyelid that changes according to the height of the pupil in [Equation 2], and corrects the gaze direction in the y-axis direction (ie, up and down) to the estimated user's gaze, precisely, To track the user's gaze.

상기 눈꺼풀의 곡률을 반영하기 위해, 상기 시선 추적 장치(100)는 우선적으로, 상기 정면 응시 기준점에서 정면 정중앙 시선에 대한 눈꺼풀의 곡률을 산출한다.In order to reflect the curvature of the eyelids, the gaze tracking apparatus 100 first calculates the curvature of the eyelids from the frontal gaze reference point with respect to the frontal central gaze.

이때, 상기 눈꺼풀의 곡률은, 상기 동공의 상하 이동에 보다 민감하게 변화되는 상부 눈꺼풀에 대한 곡률로 산출하는 것이 바람직하다.In this case, the curvature of the eyelid is preferably calculated as the curvature of the upper eyelid that is changed more sensitively to the vertical movement of the pupil.

또한 상기 눈꺼풀의 곡률을 구하기 위한 일 실시예로서, 상기 눈꺼풀의 윤곽선을 2차 곡선으로 정합하면, 눈꺼풀의 곡률에 대한 2차 곡선의 2차 함수에 대한 2차항의 계수가 산출되는데, 여기서 상기 정중앙 시선에 대한 눈꺼풀 곡률에 대한 2차항의 계수를 a0로 설정하고, 현재 추정한 상기 사용자의 시선에 대한 눈꺼풀의 곡률에 대한 2차항의 계수를 a라고 설정하면, 상기 추정한 사용자의 시선의 y방향은 다음의 [수학식 3]과 같이 보정된다.In addition, as an embodiment for obtaining the curvature of the eyelid, when the contour of the eyelid is matched with a quadratic curve, the coefficient of the quadratic term for the quadratic function of the quadratic curve for the curvature of the eyelid is calculated, where the center If the coefficient of the quadratic term for the curvature of the eyelid with respect to the gaze is set to a 0 and the coefficient of the quadratic term for the curvature of the eyelid with respect to the currently estimated user's gaze is set to a, y of the estimated user's gaze The direction is corrected as in the following [Equation 3].

[수학식 3][Equation 3]

Figure 112019125331672-pat00003
Figure 112019125331672-pat00003

여기서, w는 사전에 설정한 가중치값을 의미한다.Here, w denotes a preset weight value.

이를 통해 상기 시선 추적 장치(100)는, 상기 추정한 사용자의 시선에 대한 상하방향을 눈꺼풀 곡률을 이용하여 보정함으로써, 상하좌우로 이동하는 사용자의 시선을 실시간으로 정확하게 추적하여 제공할 수 있다.Through this, the gaze tracking apparatus 100 can accurately track and provide the gaze of the user moving up, down, left and right in real time by correcting the estimated vertical direction of the user's gaze using the eyelid curvature.

도 9는 본 발명의 일 실시예에 따른 눈꺼풀의 곡률을 반영한 시선 추적 결과를 나타낸 도면이다.9 is a diagram illustrating a gaze tracking result reflecting a curvature of an eyelid according to an embodiment of the present invention.

도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 눈꺼풀의 곡률을 반영한 시선 추적 결과에 따르면, 본 발명의 시선 추적 장치(100)는, 사용자에 대한 좌우방향의 시선뿐만 아니라 상항방향의 시선까지 정확하게 인식함으로써, 실시간으로 이동하는 사용자의 시선을 추적하여 신뢰성 높은 시선 추적 결과를 제공하는 것이 가능함을 알 수 있다.As shown in FIG. 9 , according to the gaze tracking result reflecting the curvature of the eyelids according to an embodiment of the present invention, the gaze tracking apparatus 100 of the present invention provides not only the left and right gaze to the user but also the upward direction of the gaze. It can be seen that by accurately recognizing the gaze, it is possible to provide a reliable gaze tracking result by tracking the gaze of the moving user in real time.

도 10은 본 발명의 일 실시예에 따른 동공검출 및 눈꺼풀 곡률을 이용한 시선 추적 장치의 구성을 나타낸 블록도이다.10 is a block diagram illustrating a configuration of a gaze tracking apparatus using pupil detection and eyelid curvature according to an embodiment of the present invention.

도 10에 도시한 바와 같이, 본 발명의 일 실시예에 따른 시선 추적 장치(100)는, 사용자를 촬영하여 해당 사용자의 눈 영상을 획득하는 영상 획득부(110), 상기 획득한 눈 영상으로부터 에지를 검출하는 에지 검출부(120), 상기 검출한 에지로부터 동공을 검출하는 동공 검출부(130), 상기 검출한 동공 및 에지로부터 눈꺼풀의 윤곽선을 검출하여, 해당 사용자의 눈 영역을 검출하는 눈 영역 검출부(140), 상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 정합하는 눈꺼풀 2차 곡선 정합부(150), 상기 검출한 눈 영역에서, 상기 검출한 동공에 대한 상대적 위치를 산출하는 동공 상대위치 산출부(160), 상기 정한한 2차 곡선을 이용하여 상기 눈꺼풀의 곡률을 산출하는 눈꺼풀 곡률 산출부(170), 상기 검출한 동공, 상기 검출한 눈 영역 및 상기 산출한 눈꺼풀 곡률을 이용하여 상기 사용자의 시선을 추적하는 시선 추적부(180) 및 상기 추적한 결과를 제공하는 시선 추적 결과 제공부(190)를 포함하여 구성된다. As shown in FIG. 10 , the gaze tracking apparatus 100 according to an embodiment of the present invention includes an image acquisition unit 110 that captures a user to acquire an eye image of the user, and an edge from the acquired eye image. Edge detection unit 120 for detecting , pupil detection unit 130 for detecting pupil from the detected edge, eye region detection unit for detecting the eye region of the user by detecting the outline of the eyelid from the detected pupil and edge ( 140), an eyelid secondary curve matching unit 150 for matching the detected eyelid contour with a quadratic curve, and a pupil relative position calculating unit for calculating a relative position with respect to the detected pupil in the detected eye region ( 160), the eyelid curvature calculator 170 that calculates the curvature of the eyelid using the defined quadratic curve, the user's gaze using the detected pupil, the detected eye region, and the calculated eyelid curvature It is configured to include a gaze tracking unit 180 for tracking and a gaze tracking result providing unit 190 providing the tracking result.

또한 상기 영상 획득부(110)는, 가시광 카메라 또는 적외선 카메라를 통해 상기 사용자의 눈 부분을 실시간으로 촬영하여 해당 사용자에 대한 눈 영상을 획득하는 기능을 수행한다.In addition, the image acquisition unit 110 performs a function of acquiring an eye image of the user by photographing the user's eye part in real time through a visible light camera or an infrared camera.

또한 상기 에지 검출부(120)는, 상기 획득한 눈 영상으로부터 에지를 검출하는 기능을 수행한다.In addition, the edge detector 120 performs a function of detecting an edge from the acquired eye image.

이때, 상기 에지 검출부(120)는, 노이즈 제거과정을 통해 상기 획득한 눈 영상에 대한 노이즈를 제거하고, 상기 노이즈를 제거한 눈 영상을 이진영상으로 변환하여 상기 에지를 검출한다.In this case, the edge detector 120 removes noise from the acquired eye image through a noise removal process, and converts the noise-removed eye image into a binary image to detect the edge.

또한 동공 검출부(130)는, 상기 검출한 에지를 토대로 상기 이진영상으로부터 동공을 검출하는 기능을 수행한다. 상기 동공은 검출하는 것은 허프 변환을 통해 수행됨은 상술한 바와 같다.Also, the pupil detection unit 130 performs a function of detecting a pupil from the binary image based on the detected edge. As described above, detecting the pupil is performed through Hough transform.

또한 상기 눈 영역 검출부(140)는, 상기 검출한 동공 및 에지로부터 눈꺼풀의 윤곽선을 검출함으로써, 상기 사용자의 눈 영역을 검출하는 기능을 수행한다.In addition, the eye region detection unit 140 detects the eye region of the user by detecting the outline of the eyelid from the detected pupil and edge.

이때, 상기 눈 영역 검출부(140)는, 상기 검출한 동공을 기준으로 상기 변환한 이진영상에 사전에 설정한 크기의 윈도우를 설정하고, 상기 동공의 가장자리에 인접한 눈꺼풀의 에지를 중심으로 눈꺼풀 에지가 지속되어 연속하여 이어지는 해당 눈꺼풀 에지의 가장자리 경계까지 상기 윈도우를 좌우로 확장하고, 상기 눈꺼풀 에지의 상하 경계까지 상기 윈도우를 상하로 확장 또는 축소시켜, 상기 눈꺼풀에 대한 윤곽선을 검출함으로써, 상기 눈 영역을 검출한다.In this case, the eye region detection unit 140 sets a window of a preset size on the converted binary image based on the detected pupil, and sets the eyelid edge around the edge of the eyelid adjacent to the edge of the pupil. By extending the window from side to side to the edge boundary of the eyelid edge that continues continuously and vertically extending or reducing the window up to the upper and lower boundary of the eyelid edge, by detecting the outline of the eyelid, the eye region detect

또한 상기 눈꺼풀 2차 곡선 정합부(150)는, 상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 정합하는 기능을 수행한다.In addition, the eyelid secondary curve matching unit 150 performs a function of matching the detected outline of the eyelid to the secondary curve.

상기 눈꺼풀 2차 곡선 정합부(150)는, 모폴로지 침식과정을 통해 상기 검출한 눈꺼풀의 윤곽선을 단순화하고, 상기 단수화한 눈꺼풀의 윤곽선을 스켈레톤 처리한 후, 상기 스켈레톤 처리한 눈꺼풀의 윤곽선을 최소제곱법을 기반으로 2차 곡선으로 근사함으로써, 상기 눈꺼풀에 대한 윤곽선을 2차 곡선으로 정합한다.The eyelid secondary curve matching unit 150 simplifies the contour of the detected eyelid through the morphological erosion process, and after skeleton-processing the simplified outline of the eyelid, the contour of the skeleton-treated eyelid is least squares By approximating the quadratic curve based on the method, the contour line for the eyelid is matched to the quadratic curve.

또한 상기 동공 상대위치 검출부(160)는, 상기 검출한 눈 영역 내에서, 상기 검출한 동공에 대한 상대적인 위치인 동공 상대위치를 검출하는 기능을 수행한다.In addition, the pupil relative position detection unit 160 performs a function of detecting a pupil relative position, which is a position relative to the detected pupil, within the detected eye region.

상기 동공 상대위치는, 상기 검출한 눈꺼풀의 좌측 가장자리 끝점으로 형성되는 눈 앞꼬리에 대한 위치좌표와, 상기 정합한 눈꺼풀의 2차 곡선에 대한 꼭짓점에 대한 위치좌표를 내분한 내분점을 상기 사용자가 정면을 응시하고 있을 때의 동공에 대한 위치인 정면 응시 기준점으로 설정하고, 상기 검출한 동공이 상기 설정한 정면 응시 기준점을 원점으로 상기 검출한 동공의 위치를 계산함으로써, 산출된다.The pupil relative position is an internal division point obtained by internalizing the position coordinates for the front tail of the eye formed by the end point of the left edge of the detected eyelid and the position coordinate for the vertex of the matched quadratic curve of the eyelid. It is calculated by setting as a frontal gaze reference point, which is a position for the pupil when gazing, and calculating the position of the detected pupil using the set frontal gaze reference point as the origin.

또한 상기 눈꺼풀 곡률 산출부(170)는, 상기 정합한 2차 곡선에 대한 곡률을 산출함으로써, 상기 검출한 눈꺼풀의 곡률을 산출하는 기능을 수행한다.In addition, the eyelid curvature calculator 170 calculates the curvature of the detected eyelid by calculating the curvature of the matched quadratic curve.

상기 눈꺼풀의 곡률을 산출하는 것은, 상기 눈꺼풀의 윤곽선을 2차 곡선으로 정합할 때, 해당 2차 곡선에 대한 2차항의 계수를 산출함으로써, 수행된다.Calculating the curvature of the eyelid is performed by calculating a coefficient of a quadratic term for the quadratic curve when the contour of the eyelid is matched with a quadratic curve.

한편, 상기 눈꺼풀 곡률 산출부(170)는, 상기 검출한 동공의 상대위치에 대한 눈꺼풀 곡률뿐만 아니라, 상기 정중앙 시서의 산출한 동공의 상대위치에 대한 눈꺼풀 곡률뿐만 아니라 상기 설정한 정면 응시 기준점에서의 동공의 상대위치에 대한 눈꺼풀 곡률 또한 산출하게 된다.On the other hand, the eyelid curvature calculating unit 170, not only the eyelid curvature with respect to the detected relative position of the pupil, but also the eyelid curvature with respect to the relative position of the calculated pupil of the central vision, as well as the set frontal gaze reference point. The eyelid curvature with respect to the relative position of the pupil is also calculated.

또한 상기 시선 추적부(180)는, 상기 검출한 동공의 상대위치에 따라 상기 사용자의 시선 방향을 추정하고, 상기 [수학식 3]을 이용하여 상기 추정한 사용자의 시선 방향에 상기 산출한 눈꺼풀 곡률을 반영함으로서, 상기 사용자가 실질적으로 바라보고 있는 시선의 방향을 정확하게 인식하는 기능을 수행한다.Also, the gaze tracking unit 180 estimates the user's gaze direction according to the detected relative position of the pupil, and the calculated eyelid curvature is based on the estimated user's gaze direction using Equation 3 By reflecting the , it performs a function of accurately recognizing the direction of the gaze that the user is actually looking at.

이때, 상기 시선 추적부(180)는, 상기 동공 상대위치 산출부(160)를 통해 산출한 동공의 상대위치에 따라 사용자의 시선을 추정하고, 상기 눈꺼풀 곡률 산출부(170)에서 산출한 상기 검출한 동공의 상대위치에 따른 눈꺼풀 곡률과, 상기 설정한 정면 응시 기준점에 따른 정중한 방향으로의 시선에 대하여 산출한 눈꺼풀 곡률을 토대로 상기 정중앙 방향으로의 시선에서, 상기 추정한 시선에 대한 눈꺼풀의 곡률변화를 산출하여, 상기 산출한 곡률변화를 이용하여 상기 추정한 사용자의 시선에 대한 상하방향을 보정함으로써, 상기 사용자의 시선을 정확하게 인식하여 추적한다.At this time, the gaze tracking unit 180 estimates the user's gaze according to the relative position of the pupil calculated by the pupil relative position calculation unit 160 , and the detection calculated by the eyelid curvature calculation unit 170 . Based on the eyelid curvature according to the relative position of one pupil and the eyelid curvature calculated for the gaze in the polite direction according to the set frontal gaze reference point, the curvature of the eyelid with respect to the estimated gaze in the gaze in the central direction By calculating the change and correcting the vertical direction of the estimated user's gaze using the calculated change in curvature, the user's gaze is accurately recognized and tracked.

즉 ,상기 시선 추적부(180)는, 상기 검출한 눈 영역에서 상기 동공의 높낮이에 따라 변화되는 눈꺼풀의 곡률을 이용하여, 상하좌우로 이동하는 사용자의 시선을 실시간으로 정확하게 추적하여 신뢰성 높은 시선 추적 결과를 제공할 수 있도록 하는 것이다. That is, the gaze tracking unit 180 accurately tracks the gaze of the user moving up, down, left, and right in real time using the curvature of the eyelid that changes according to the height of the pupil in the detected eye region, thereby tracking the gaze with high reliability. to provide results.

또한 시선 추적 결과 제공부(190)는, 상기 시선 추적 결과를 출력하여 제공함으로써, 상기 시선 추적 장치(100)와 연동된 다양한 장치에서 상기 시선 추적 결과를 이용할 수 있도록 한다. In addition, the gaze tracking result providing unit 190 outputs and provides the gaze tracking result, so that various devices interworking with the gaze tracking apparatus 100 can use the gaze tracking result.

도 11은 본 발명의 일 실시예에 따른 동공검출과 눈꺼풀 곡률을 이용하여 시선을 추적하는 절차를 나타낸 흐름도이다.11 is a flowchart illustrating a procedure for tracking gaze using pupil detection and eyelid curvature according to an embodiment of the present invention.

도 11에 도시한 바와 같이, 본 발명의 일 실시예에 따른 시선 추적 장치(100)를 통해 동공검출과 눈꺼풀 곡률을 이용하여 시선을 추적하는 절차는 우선, 상기 시선 추적 장치(100)는, 사용자를 촬영하여 해당 사용자에 대한 눈 영상을 획득하는 영상 획득 단계를 수행한다(S110).As shown in FIG. 11 , the procedure of tracking the gaze using the pupil detection and the eyelid curvature through the gaze tracking device 100 according to an embodiment of the present invention is first performed by the gaze tracking device 100, the user An image acquisition step of acquiring an eye image for a corresponding user by photographing is performed (S110).

상기 눈 영상은, 가시광 카메라나 적외선 카메라를 통해 획득되며, 상기 시전 추적 장치(100)가 적용된 가상현실 장치, 증강현실 장치, 홍채인식장치, 졸음감지장치 등과 같이 다양한 장치가 구동될 때, 실시간으로 획득된다.The eye image is obtained through a visible light camera or an infrared camera, and when various devices such as a virtual reality device to which the cast tracking device 100 is applied, an augmented reality device, an iris recognition device, and a drowsiness detection device are driven, in real time is obtained

다음으로, 상기 시선 추적 장치(100)는, 상기 획득한 눈 영상을 이진영상으로 변환하여, 에지를 검출하는 에지 검출 단계를 수행한다(S120).Next, the eye tracking apparatus 100 converts the obtained eye image into a binary image and performs an edge detection step of detecting an edge (S120).

상기 에지 검출 단계는, 정확한 에지를 검출하기 위해 상기 획득한 눈 영상으로부터 노이즈를 제거하여 상기 눈 영상을 이진영상으로 변환한다. 이후, 상기 에지 검출 단계는, 캐니 에지 검출 방법과 같은 다양한 에지 검출 방법을 통해 상기 에지를 검출하게 된다. 즉, 본 발명에서 상기 에지를 검출하는 에지 검출 방법에 대해서는 그 제한을 두지 아니한다.The edge detection step converts the eye image into a binary image by removing noise from the acquired eye image in order to detect an accurate edge. Thereafter, in the edge detection step, the edge is detected through various edge detection methods such as a Canny edge detection method. That is, the edge detection method for detecting the edge in the present invention is not limited thereto.

다음으로, 상기 검출한 에지를 토대로 동공을 검출하는 동공 검출 단계를 수행한다(S130).Next, a pupil detection step of detecting a pupil based on the detected edge is performed (S130).

또한 상기 동공 검출 단계는, 허프 변환을 통해 원형으로 형성되는 에지를 검출함으로써, 상기 동공을 검출하며, 상기 동공과 함께 홍재를 같이 검출함은 상술한 바와 같다.In addition, in the step of detecting the pupil, by detecting an edge formed in a circular shape through Hough transform, the pupil is detected, and the hongjae is detected together with the pupil as described above.

다음으로, 상기 시선 추적 장치(100)는, 상기 검출한 동공과 에지를 토대로 눈꺼풀의 윤곽선을 검출하여, 사용자의 전체 눈 영역에 대한 눈 영역을 검출하는 눈 영역 검출 단계를 수행한다(S140).Next, the eye tracking apparatus 100 detects the outline of the eyelid based on the detected pupil and edge, and performs an eye region detection step of detecting the eye region for the entire eye region of the user ( S140 ).

상기 눈 영역을 검출하는 것은, 상기 검출한 동공을 기준으로 사전에 설정한 크기의 윈도우를 상기 변환한 이진영상에 설정하고, 상기 설정한 윈도우를 확장, 축소 또는 이들의 조합을 수행하여, 눈꺼풀에 대한 윤곽선을 검출함으로서, 수행됨은 상술한 바와 같다.To detect the eye region, a window of a preset size is set on the basis of the detected pupil on the converted binary image, and the set window is expanded, reduced, or a combination thereof is performed on the eyelid. By detecting the contour for the , it is performed as described above.

다음으로, 상기 시선 추적 장치(100)는, 상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 정합하는 눈꺼풀 2차 곡선 정합 단계를 수행한다(S150).Next, the eye tracking apparatus 100 performs an eyelid secondary curve matching step of matching the detected eyelid contour with a secondary curve (S150).

상기 눈꺼풀 2차 곡선 정합 단계는, 상기 검출한 눈꺼풀의 윤곽선을 단순화하고, 이를 다시 스켈레톤(즉, 골격화)처리한 후, 최소제곱법을 기반으로 상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 근사함으로써, 수행된다.The eyelid quadratic curve matching step simplifies the contour of the detected eyelid, and after re-skeletonizing it (ie, skeletalizing), approximates the detected eyelid contour as a quadratic curve based on the least squares method by doing so.

다음으로, 상기 시선 추적 장치(100)는, 상기 정합한 눈꺼풀의 윤곽선에 대한 2차 곡선을 이용하여, 상기 검출한 눈 영역에 위치하는 상기 검출한 동공의 상대위치를 산출하는 동공 상대위치 산출 단계를 수행한다(S160).Next, the eye tracking device 100 calculates the relative position of the detected pupil located in the detected eye region by using a quadratic curve with respect to the contour of the matched eyelid. to perform (S160).

이때, 상기 동공 상대위치 산출 단계는, 상기 정합한 2차 곡선의 꼭짓점에 대한 위치좌표와, 상기 검출한 눈꺼풀의 윤곽선에 대한 좌측 가장자리 끝점인 눈 앞꼬리에 대한 위치좌표를 내분하여 상기 검출한 눈 영역에서 검출한 눈 영역에서 사용자가 정면을 응시하고 있을 때의 동공의 위치인 정면 응시 기준점을 설정하고, 상기 설정한 정면 응시 기준점을 원점으로 하여 상기 검출한 동공의 위치를 계산함으로써, 상기 동공의 상대위치를 산출한다. In this case, the step of calculating the relative position of the pupil comprises internally dividing the position coordinates for the vertices of the matched quadratic curve and the position coordinates for the front tail of the eyes, which is the left edge end point of the detected eyelid contour line. By setting a frontal gaze reference point, which is the position of the pupil when the user is gazing at the front in the eye region detected in the region, and calculating the detected position of the pupil using the set frontal gaze reference point as the origin, Calculate the relative position.

다음으로, 상기 시선 추적 장치(100)는, 상기 산출한 동공의 상대위치와, 상기 정합한 2차 곡선을 이용한 눈꺼풀 곡률을 이용하여 상기 사용자의 시선을 추적하여 상기 추적한 결과를 제공할 수 있도록 하는 시선 추적 단계를 수행한다(S170).Next, the gaze tracking apparatus 100 tracks the user's gaze using the calculated relative position of the pupil and the eyelid curvature using the matched quadratic curve to provide the tracking result. to perform a gaze tracking step (S170).

한편, 상기 눈꺼풀의 윤곽선을 2차 곡선으로 정합하거나, 상기 눈꺼풀의 곡률을 산출하는 것은 상부 눈꺼풀에 대해 수행되는 것이 바람직함은 상술한 바와 같다. On the other hand, as described above, matching the contour of the eyelid with a quadratic curve or calculating the curvature of the eyelid is preferably performed for the upper eyelid.

이때, 상기 시선 추적 단계는, 상기 검출한 동공의 상대위치를 상기 도 6에 도시한 본 발명의 3차원 안구 모델에 적용하여, 상기 사용자의 시선 방향을 추정하고, 상기 [수학식 3]에 따라 상기 추정한 사용자의 시선 방향에 상기 검출한 동공의 높낮이에 따른 눈꺼풀의 곡률변화를 반영함으로서, 상기 사용자가 실질적으로 바라보고 있는 시선의 방향을 정확하게 인식함으로써, 해당 사용자에 대한 시선을 실시간으로 추적함은 상술한 바와 같다. In this case, in the eye tracking step, the user's gaze direction is estimated by applying the detected relative position of the pupil to the three-dimensional eye model of the present invention shown in FIG. 6, and according to Equation 3 By reflecting the change in the curvature of the eyelids according to the detected height of the pupil in the estimated user's gaze direction, by accurately recognizing the direction of the gaze the user is actually looking at, the gaze toward the user is tracked in real time. is as described above.

상기 사용자의 시선을 추정하는 것과, 상기 시선을 추적하는 방법에 대해서는 도 10을 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략하도록 한다.Since the method of estimating the user's gaze and tracking the gaze has been described with reference to FIG. 10 , a further detailed description thereof will be omitted.

이처럼, 본 발명은 사용의 시선을 추적할 때, 동공의 높낮이 즉, 시선의 상하방향에 따라 변화되는 눈꺼풀의 곡률을 이용하여, 상하좌우 방향으로 움직이는 사용자의 시선을 정확하게 인식하여 추적할 수 있으며, 매우 정밀한 시선 추적 결과를 제공할 수 있다.As such, the present invention can accurately recognize and track the user's gaze moving in the vertical, horizontal, left, and right directions by using the height of the pupil, that is, the curvature of the eyelid that changes according to the vertical direction of the gaze, when tracking the user's gaze, It can provide very precise eye tracking results.

상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.In the above, the preferred embodiment according to the present invention has been mainly described above, but the technical spirit of the present invention is not limited thereto, and each component of the present invention is changed or modified within the technical scope of the present invention to achieve the same purpose and effect. it could be

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims Various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

100 : 동공검출 및 눈꺼풀 곡률을 이용한 시선 추적 장치
110 : 영상 획득부 120 : 에지 검출부
130 : 동공 검출부 140 : 눈 영역 검출부
150 : 눈꺼풀 2차 곡선 정합부 160 : 동공 상대위치 산출부
170 : 눈꺼풀 곡률 산출부 180 : 시선 추적부
190 : 시선 추적 결과 제공부100: Eye tracking device using pupil detection and eyelid curvature
110: image acquisition unit 120: edge detection unit
130: pupil detection unit 140: eye region detection unit
150: eyelid secondary curve matching unit 160: pupil relative position calculation unit
170: eyelid curvature calculation unit 180: eye tracking unit
190: Eye tracking result providing unit

Claims (10)

사용자의 눈 영상을 이진영상으로 변환하여 상기 눈 영상으로부터 에지를 검출하는 에지 검출부;
상기 검출한 에지로부터 동공을 검출하는 동공 검출부;
상기 검출한 동공 및 에지로부터 눈꺼풀의 윤곽선을 검출하여, 눈 영역을 검출하는 눈 영역 검출부;
상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 정합하는 눈꺼풀 2차 곡선 정합부;
상기 정합한 눈꺼풀의 윤곽선에 대한 2차 곡선을 이용하여, 상기 검출한 눈 영역에서 상기 검출한 동공의 상대위치를 산출하는 동공 상대위치 산출부; 및
상기 산출한 동공의 상대위치, 상기 검출한 눈꺼풀의 윤곽선 및 눈 영역을 이용하여 상기 사용자의 시선을 실시간으로 추적하는 시선 추적부;를 포함하며,
상기 눈 영역 검출부는,
상기 검출한 동공을 기준으로 상기 변환한 이진영상에 소정의 크기로 윈도우를 설정하고, 상기 설정한 윈도우의 상하 부분이 눈 영역의 외부에 있는 경우, 상기 검출한 동공의 가장자리에 인접한 눈꺼풀의 에지를 중심으로 상기 눈꺼풀의 에지가 지속되는 눈꺼풀의 가장자리 경계까지 상기 설정한 윈도우를 좌우 방향으로 확장하고, 상기 눈꺼풀의 에지에 대한 상하 경계까지 상기 설정한 윈도우를 축소하여 상기 눈꺼풀의 윤곽선을 검출하며,
상기 설정한 윈도우의 상하 부분이 눈 영역의 내부에 있는 경우, 상기 윈도우가 축소됨에 따라 상기 검출한 동공에 대응하는 원형 에지가 검출되면 해당 윈도우를 상기 눈꺼풀의 에지에 대한 상하 경계까지 다시 확장함으로써 상기 눈꺼풀의 윤곽선을 검출하는 것을 포함하고,
상기 눈꺼풀 2차 곡선 정합부는,
상기 검출한 눈꺼풀의 윤곽선을 단순화하고, 이를 다시 스켈레톤 처리한 후, 최소제곱법을 기반으로 상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 근사화하는 것을 포함하며,
상기 동공의 상대위치는,
상기 검출한 전체 눈 영역에서, 상기 검출한 눈꺼풀의 윤곽선에 대한 좌측 가장자리의 끝점인 눈 앞꼬리에 대한 위치좌표와 상기 정합한 2차 곡선의 꼭짓점에 대한 위치좌표를 내분한 내분점을 상기 시선의 정면 응시 기준점으로 설정하고, 상기 설정한 정면 응시 기준점을 원점으로 하여 상기 검출한 동공의 위치를 계산함으로써 산출되며,
상기 검출한 눈 영역에서 상기 검출한 동공의 상대위치에 따른 상기 검출한 동공의 높낮이에 따라 변화되는 상기 검출한 눈꺼풀의 윤곽선에 대한 곡률을 이용하여 상기 사용자의 시선에 대한 방향을 인식하는 것을 특징으로 하는 시선 추적 장치.an edge detection unit that converts a user's eye image into a binary image and detects an edge from the eye image;
a pupil detection unit for detecting a pupil from the detected edge;
an eye region detection unit detecting an eye region by detecting an outline of the eyelid from the detected pupil and edge;
an eyelid secondary curve matching unit that matches the detected eyelid contour with a secondary curve;
a pupil relative position calculating unit for calculating the relative position of the detected pupil in the detected eye region by using a quadratic curve with respect to the matched eyelid contour; and
a gaze tracking unit that tracks the user's gaze in real time using the calculated relative position of the pupil, the detected eyelid contour, and the eye region;
The eye region detection unit,
A window with a predetermined size is set on the converted binary image based on the detected pupil, and when the upper and lower portions of the set window are outside the eye area, the edge of the eyelid adjacent to the edge of the detected pupil is set. Detecting the outline of the eyelid by extending the set window in the left and right direction to the edge boundary of the eyelid where the edge of the eyelid continues as the center, and reducing the set window to the upper and lower boundary of the edge of the eyelid,
When the upper and lower portions of the set window are inside the eye region, when a circular edge corresponding to the detected pupil is detected as the window is reduced, the window is expanded again to the upper and lower boundaries of the edge of the eyelid. detecting the contour of the eyelid;
The eyelid secondary curve matching part,
Simplifying the contours of the detected eyelids, re-skeletoning them, and approximating the contours of the detected eyelids to a quadratic curve based on the least squares method,
The relative position of the pupil is,
In the entire detected eye region, the internal division point obtained by internalizing the position coordinates for the forelimb of the eye, which is the end point of the left edge of the detected eyelid contour, and the position coordinates for the vertex of the matched quadratic curve, is the front of the gaze. It is calculated by setting the gaze reference point, and calculating the position of the detected pupil using the set front gaze reference point as the origin,
In the detected eye region, the direction of the user's gaze is recognized using the curvature of the detected eyelid contour that changes according to the detected height of the pupil according to the relative position of the detected pupil in the detected eye region. eye tracking device. 삭제delete 삭제delete 청구항 1에 있어서,
상기 시선 추적 장치는,
상기 검출한 눈꺼풀의 윤곽선에 대해 정합한 2차 곡선의 곡률을 산출하여, 상기 눈꺼풀의 곡률을 산출하는 눈꺼풀 곡률 산출부;를 더 포함하며,
상기 시선 추적부는,
상기 산출한 동공의 상대위치를 토대로 좌우상하 방향에 대한 상기 사용자의 시선을 추정하고, 상기 산출한 눈꺼풀의 곡률과 상기 설정한 정면 응시 기준점에 따른 정중앙 방향으로의 시선에 대하여 산출되는 눈꺼풀의 곡률을 토대로, 상기 정중앙 방향으로의 시선에서 상기 추정한 시선에 대한 눈꺼풀의 곡률변화를 산출하고, 상기 추정한 시선에 상기 산출한 곡률변화를 반영하여 상기 추정한 시선의 상하방향을 보정함으로써, 상기 사용자의 시선을 추적하는 것을 특징으로 하는 시선 추적 장치.The method according to claim 1,
The eye tracking device,
It further includes; an eyelid curvature calculator that calculates the curvature of a quadratic curve matched with the detected eyelid contour, and calculates the curvature of the eyelid.
The eye tracking unit,
Based on the calculated relative position of the pupil, the user's gaze is estimated in the left, right, up and down directions, and the calculated curvature of the eyelid and the curvature of the eyelid calculated with respect to the gaze in the central direction according to the set frontal gaze reference point are calculated Based on the calculation of the curvature change of the eyelid with respect to the estimated gaze from the gaze in the central direction, and correcting the vertical direction of the estimated gaze by reflecting the calculated change in curvature to the estimated gaze, the user's Eye tracking device, characterized in that for tracking the gaze. 청구항 1에 있어서,
상기 시선 추적 장치는,
상기 사용자의 눈 영상을 가시광영상이나 적외선 영상으로 획득하는 영상 획득부; 및
상기 시선을 추적한 결과를 제공하는 시선 추적 결과 제공부;를 더 포함하며,
상기 에지 검출부는, 상기 획득한 눈 영상의 노이즈를 제거하여 상기 이진영상으로 변환하는 것을 더 포함하는 것을 특징으로 하는 시선 추적 장치.The method according to claim 1,
The eye tracking device,
an image acquisition unit for acquiring the user's eye image as a visible light image or an infrared image; and
It further includes; a gaze tracking result providing unit that provides a result of tracking the gaze,
The eye tracking apparatus further comprising: the edge detector, converting the obtained eye image into the binary image by removing the noise. 사용자의 눈 영상을 이진영상으로 변환하여 상기 눈 영상으로부터 에지를 검출하는 에지 검출 단계;
상기 검출한 에지로부터 동공을 검출하는 동공 검출 단계;
상기 검출한 동공 및 에지로부터 눈꺼풀의 윤곽선을 검출하여, 눈 영역을 검출하는 눈 영역 검출 단계;
상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 정합하는 눈꺼풀 2차 곡선 정합 단계;
상기 정합한 눈꺼풀의 윤곽선에 대한 2차 곡선을 이용하여, 상기 검출한 눈 영역에서 상기 검출한 동공의 상대위치를 산출하는 동공 상대위치 산출 단계; 및
상기 산출한 동공의 상대위치, 상기 검출한 눈꺼풀의 윤곽선 및 눈 영역을 이용하여 상기 사용자의 시선을 실시간으로 추적하는 시선 추적 단계;를 포함하며,
상기 눈 영역 검출 단계는,
상기 검출한 동공을 기준으로 상기 변환한 이진영상에 소정의 크기로 윈도우를 설정하고, 상기 설정한 윈도우의 상하 부분이 눈 영역의 외부에 있는 경우, 상기 검출한 동공의 가장자리에 인접한 눈꺼풀의 에지를 중심으로 상기 눈꺼풀의 에지가 지속되는 눈꺼풀의 가장자리 경계까지 상기 설정한 윈도우를 좌우 방향으로 확장하고, 상기 눈꺼풀의 에지에 대한 상하 경계까지 상기 설정한 윈도우를 축소하여 상기 눈꺼풀의 윤곽선을 검출하며,
상기 설정한 윈도우의 상하 부분이 눈 영역의 내부에 있는 경우, 상기 윈도우가 축소됨에 따라 상기 검출한 동공에 대응하는 원형 에지가 검출되면 해당 윈도우를 상기 눈꺼풀의 에지에 대한 상하 경계까지 다시 확장함으로써 상기 눈꺼풀의 윤곽선을 검출하는 것을 포함하고,
상기 눈꺼풀 2차 곡선 정합 단계는,
상기 검출한 눈꺼풀의 윤곽선을 단순화하고, 이를 다시 스켈레톤 처리한 후, 최소제곱법을 기반으로 상기 검출한 눈꺼풀의 윤곽선을 2차 곡선으로 근사화하는 것을 포함하며,
상기 동공의 상대위치는,
상기 검출한 전체 눈 영역에서, 상기 검출한 눈꺼풀의 윤곽선에 대한 좌측 가장자리의 끝점인 눈 앞꼬리에 대한 위치좌표와 상기 정합한 2차 곡선의 꼭짓점에 대한 위치좌표를 내분한 내분점을 상기 시선의 정면 응시 기준점으로 설정하고, 상기 설정한 정면 응시 기준점을 원점으로 하여 상기 검출한 동공의 위치를 계산함으로써 산출되며,
상기 검출한 눈 영역에서 상기 검출한 동공의 상대위치에 따른 상기 검출한 동공의 높낮이에 따라 변화되는 상기 검출한 눈꺼풀의 윤곽선에 대한 곡률을 이용하여 상기 사용자의 시선에 대한 방향을 인식하는 것을 특징으로 하는 시선 추적 방법.an edge detection step of converting a user's eye image into a binary image and detecting an edge from the eye image;
a pupil detection step of detecting a pupil from the detected edge;
an eye region detection step of detecting an eye region by detecting an outline of the eyelid from the detected pupil and edge;
an eyelid secondary curve matching step of matching the detected eyelid contour with a secondary curve;
a pupil relative position calculation step of calculating a relative position of the detected pupil in the detected eye region by using a quadratic curve with respect to the matched eyelid contour; and
a gaze tracking step of tracking the gaze of the user in real time using the calculated relative position of the pupil, the detected eyelid outline, and the eye region;
The eye region detection step includes:
A window with a predetermined size is set on the converted binary image based on the detected pupil, and when the upper and lower portions of the set window are outside the eye area, the edge of the eyelid adjacent to the edge of the detected pupil is set. Detecting the outline of the eyelid by extending the set window in the left and right direction to the edge boundary of the eyelid where the edge of the eyelid continues as the center, and reducing the set window to the upper and lower boundary of the edge of the eyelid,
When the upper and lower portions of the set window are inside the eye region, when a circular edge corresponding to the detected pupil is detected as the window is reduced, the window is expanded again to the upper and lower boundaries of the edge of the eyelid. detecting the contour of the eyelid;
The eyelid secondary curve matching step is,
Simplifying the contours of the detected eyelids, re-skeletoning them, and approximating the contours of the detected eyelids to a quadratic curve based on the least squares method,
The relative position of the pupil is,
In the entire detected eye region, the internal division point obtained by internalizing the position coordinates for the forelimb of the eye, which is the end point of the left edge of the detected eyelid contour, and the position coordinates for the vertex of the matched quadratic curve, is the front of the gaze. It is calculated by setting the gaze reference point, and calculating the position of the detected pupil using the set front gaze reference point as the origin,
In the detected eye region, the direction of the user's gaze is recognized using the curvature of the detected eyelid contour that changes according to the detected height of the pupil according to the relative position of the detected pupil in the detected eye region. How to do eye tracking. 삭제delete 삭제delete 청구항 6에 있어서,
상기 시선 추적 방법은,
상기 검출한 눈꺼풀의 윤곽선에 대해 정합한 2차 곡선의 곡률을 산출하여, 상기 눈꺼풀의 곡률을 산출하는 눈꺼풀 곡률 산출 단계;를 더 포함하며,
상기 시선 추적 단계는,
상기 산출한 동공의 상대위치를 토대로 좌우상하 방향에 대한 상기 사용자의 시선을 추정하고, 상기 산출한 눈꺼풀의 곡률과 상기 설정한 정면 응시 기준점에 따른 정중앙 방향으로의 시선에 대하여 산출되는 눈꺼풀의 곡률을 토대로, 상기 정중앙 방향으로의 시선에서 상기 추정한 시선에 대한 눈꺼풀의 곡률변화를 산출하고, 상기 추정한 시선에 상기 산출한 곡률변화를 반영하여 상기 추정한 시선의 상하방향을 보정함으로써, 상기 사용자의 시선을 추적하는 것을 특징으로 하는 시선 추적 방법.7. The method of claim 6,
The eye tracking method is
Further comprising; an eyelid curvature calculation step of calculating the curvature of a quadratic curve matched with the detected eyelid contour line, and calculating the curvature of the eyelid;
The eye tracking step is
Based on the calculated relative position of the pupil, the user's gaze is estimated in the left, right, up and down directions, and the calculated curvature of the eyelid and the curvature of the eyelid calculated with respect to the gaze in the central direction according to the set frontal gaze reference point are calculated Based on the calculation of the curvature change of the eyelid with respect to the estimated gaze from the gaze in the central direction, and correcting the vertical direction of the estimated gaze by reflecting the calculated change in curvature to the estimated gaze, the user's Eye tracking method, characterized in that the eye tracking. 청구항 6에 있어서,
상기 시선 추적 방법은,
상기 사용자의 눈 영상을 가시광영상이나 적외선 영상으로 획득하는 영상 획득 단계; 및
상기 시선을 추적한 결과를 제공하는 시선 추적 결과 제공 단계;를 더 포함하며,
상기 에지 검출 단계는, 상기 획득한 눈 영상의 노이즈를 제거하여 상기 이진영상으로 변환하는 것을 더 포함하는 것을 특징으로 하는 시선 추적 방법.7. The method of claim 6,
The eye tracking method is
an image acquisition step of acquiring the user's eye image as a visible light image or an infrared image; and
Further comprising; providing a result of eye tracking providing the result of tracking the gaze;
The edge detection step further comprises converting the obtained eye image into the binary image by removing noise.
KR1020190159782A 2019-12-04 2019-12-04 Apparatus and method for gaze tracking by detecting pupil and using eyelid curvature KR102294029B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190159782A KR102294029B1 (en) 2019-12-04 2019-12-04 Apparatus and method for gaze tracking by detecting pupil and using eyelid curvature
PCT/KR2019/017051 WO2021112282A1 (en) 2019-12-04 2019-12-05 Gaze tracking device using pupil detection and eyelid-line curvature, and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190159782A KR102294029B1 (en) 2019-12-04 2019-12-04 Apparatus and method for gaze tracking by detecting pupil and using eyelid curvature

Publications (2)

Publication Number Publication Date
KR20210069933A KR20210069933A (en) 2021-06-14
KR102294029B1 true KR102294029B1 (en) 2021-08-26

Family

ID=76221976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190159782A KR102294029B1 (en) 2019-12-04 2019-12-04 Apparatus and method for gaze tracking by detecting pupil and using eyelid curvature

Country Status (2)

Country Link
KR (1) KR102294029B1 (en)
WO (1) WO2021112282A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117350A1 (en) 2017-12-14 2019-06-20 삼성전자 주식회사 Staring distance determination method and device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5956479B2 (en) * 2014-01-29 2016-07-27 株式会社東芝 Display device and gaze estimation device
NZ740746A (en) * 2015-08-21 2019-08-30 Magic Leap Inc Eyelid shape estimation
KR102591552B1 (en) * 2015-08-21 2023-10-18 매직 립, 인코포레이티드 Eyelid shape estimation using eye pose measurement
CN111033442A (en) * 2017-09-01 2020-04-17 奇跃公司 Detailed eye shape model for robust biometric applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117350A1 (en) 2017-12-14 2019-06-20 삼성전자 주식회사 Staring distance determination method and device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S. Han et al., ‘Gaze Estimnation Using 3-D Eyeball Model And Eyelid Shapes,’The Proceedings on 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA) 13-16. Dec. 2016 (2016.11.13.) 1부.*

Also Published As

Publication number Publication date
KR20210069933A (en) 2021-06-14
WO2021112282A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
US11538280B2 (en) Eyelid shape estimation using eye pose measurement
US10282611B2 (en) Eyelid shape estimation
AU2021240222B2 (en) Eye pose identification using eye features
JP6695503B2 (en) Method and system for monitoring the condition of a vehicle driver
US11227158B2 (en) Detailed eye shape model for robust biometric applications
CN107004275B (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least a part of a physical object
JP5001930B2 (en) Motion recognition apparatus and method
KR20100094560A (en) Face posture estimating device, face posture estimating method, and face posture estimating program
US20220301217A1 (en) Eye tracking latency enhancements
KR102460665B1 (en) Method and device for determining gaze distance
JP6855872B2 (en) Face recognition device
JP4682372B2 (en) Gaze direction detection device, gaze direction detection method, and program for causing computer to execute gaze direction detection method
KR102294029B1 (en) Apparatus and method for gaze tracking by detecting pupil and using eyelid curvature
JP5688514B2 (en) Gaze measurement system, method and program
Tsai et al. Gaze direction estimation using only a depth camera
JP4687097B2 (en) Gaze direction estimation apparatus, gaze direction estimation method, and program for causing computer to execute gaze direction estimation method
Konovalov et al. Automatic hand detection in RGB-depth data sequences
Kande et al. Automatic detection and boundary estimation of optic disc in fundus images using geometric active contours
CN114550209A (en) Target following method and robot
Covarrubias et al. Development of Computer Algorithms to Control a Weelchair through the Movement of the Head by Artificial Vision.

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)