KR101288447B1 - Gaze tracking apparatus, display apparatus and method therof - Google Patents

Gaze tracking apparatus, display apparatus and method therof Download PDF

Info

Publication number
KR101288447B1
KR101288447B1 KR1020110107423A KR20110107423A KR101288447B1 KR 101288447 B1 KR101288447 B1 KR 101288447B1 KR 1020110107423 A KR1020110107423 A KR 1020110107423A KR 20110107423 A KR20110107423 A KR 20110107423A KR 101288447 B1 KR101288447 B1 KR 101288447B1
Authority
KR
South Korea
Prior art keywords
user
center coordinates
gaze
pupil
pupil center
Prior art date
Application number
KR1020110107423A
Other languages
Korean (ko)
Other versions
KR20130043366A (en
Inventor
이민호
장영민
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110107423A priority Critical patent/KR101288447B1/en
Publication of KR20130043366A publication Critical patent/KR20130043366A/en
Application granted granted Critical
Publication of KR101288447B1 publication Critical patent/KR101288447B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는 디스플레이 화면을 제공하는 디스플레이부, 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 촬상부, 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부, 적외선 카메라로 촬상된 적외선 안구 이미지 정보가 저장된 저장부, 검출부에서 검출된 안구 영역에 대한 정보와 적외선 안구 이미지 정보를 이용하여, 안구 영역 내의 동공 위치를 추측하여 사용자의 시선을 판단하는 판단부 및 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 제어부를 포함한다. 이에 따라, 디스플레이 화면상의 사용자 시선을 판단하고, 사용자 시선에 따라 디스플레이 장치를 제어할 수 있다.A display device is disclosed. The display apparatus includes a display unit for providing a display screen, an imaging unit for capturing an image of a user viewing a display screen, a detector for detecting information about an eyeball area of the user from the captured image, and an infrared eyeball image captured with an infrared camera. Determination unit for determining the eye gaze of the user by guessing the pupil position in the eye area using information on the eye unit and the information on the eye region detected by the storage unit, the detection unit and the display device according to the user's eye It includes a control unit for controlling the operation. Accordingly, the user's gaze on the display screen may be determined, and the display apparatus may be controlled according to the user's gaze.

Description

시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법{GAZE TRACKING APPARATUS, DISPLAY APPARATUS AND METHOD THEROF}Gaze tracking device, display device using same and method thereof {GAZE TRACKING APPARATUS, DISPLAY APPARATUS AND METHOD THEROF}
시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법들에 관한 것으로, 보다 상세하게는 본 발명은 촬상된 사용자 이미지로부터 사용자의 시선을 추적하는 장치와 이를 이용하는 디스플레이 장치 및 그 방법에 관한 것이다.The present invention relates to a gaze tracking device, a display device using the same, and methods thereof, and more particularly, to an apparatus for tracking the gaze of a user from a captured user image, a display device using the same, and a method thereof.
모바일 IT 장치가 일상 생활에서 대중적으로 사용되는 가운데 인간 컴퓨터 상호 작용(HCI:Human Computer Interaction)은 높은 우선권의 연구 주제로 남아있다. 최근 몇 년간 스마트폰, 테블렛 PC, 상호적인 게임 컨솔 등과 같은 모바일 IT 장치에 멀티터치 인터페이스 기술 및 제스처 인식 등과 같은 다양한 HCI 기술들이 적용되고 있다.Human computer interaction (HCI) remains a high-priority research topic while mobile IT devices are popular in everyday life. In recent years, various HCI technologies, such as multi-touch interface technology and gesture recognition, have been applied to mobile IT devices such as smartphones, tablet PCs, and interactive game consoles.
이러한 기술들 외에, 사용자의 눈동자 움직임을 이용하는 HCI는 편리성과 높은 속도의 입력을 제공하기 때문에, 컴퓨터를 조작하거나 사용자의 심리적 사실들을 분석하기 위해 눈동자의 움직임을 검출하는 인터페이스 기술 역시 개발되고 있다. In addition to these techniques, HCI, which utilizes the user's eye movements, provides convenience and high speed input, so interface technologies for detecting eye movements for manipulating a computer or analyzing the user's psychological facts are also being developed.
사용자의 시선을 추적하는 장치는 몇 가지 종류가 있다. 머리에 쓰는 타입 또는 안경 타입의 시선 추적 시스템은 상대적으로 정확한 응시점을 제공할 수 있다. 이러한 장치에 붙어 있는 카메라는 인간 눈동자에 가깝게 위치하기 때문에 눈동자 및 동공을 항상 안정적으로 검출할 수 있다. 그러나, 이러한 타입의 장치가 아닌 경우 촬상된 이미지가 사용자의 얼굴뿐만 아니라 눈동자 움직임을 검출하는데 불필요한 부분들까지도 포함하고 있을 수 있기 때문에 사용자의 응시점을 쉽게 측정할 수 없다.There are several types of devices that track the eyes of the user. Head-type or eyeglass-type eye tracking systems can provide relatively accurate gaze points. The camera attached to such a device is located close to the human pupil, so that the pupil and the pupil can be stably detected at all times. However, in the case of this type of device, the gaze point of the user may not be easily measured since the captured image may include not only the user's face but also parts unnecessary for detecting eye movement.
따라서, 대부분의 정확한 시선 추적 장치는 동공을 검출하기 위해 일반적으로 IR(Infrared Ray)근처의 발광원을 사용한다. IR 카메라를 이용한 동공 검출은 시선 추적을 수행하는데 높은 정확도를 제공하고 동공을 더 쉽게 찾을 수 있다. 그러나, IR을 이용한 방법은 사용자의 눈에 직접적으로 에너지를 방출하고, 가동할 때 많은 열을 방출하기 때문에 오랜 시간 사용하는 것은 안정하지 않다. 이러한 이유들로, 스마트 폰이나 테블렛 PC와 같은 내장형 장치는 IR 카메라를 사용하는 시선 추적 시스템의 적용이 제한되어 통상적인 USB 카메라를 이용하여 사용자의 시선을 추적하는 방법이 요청된다.Therefore, most accurate eye tracking devices generally use light emitting sources near IR (Infrared Ray) to detect pupils. Pupil detection using an IR camera provides high accuracy in performing eye tracking and makes finding the pupil easier. However, the method using the IR emits energy directly to the eyes of the user and emits a lot of heat when operating, so it is not stable to use for a long time. For these reasons, embedded devices such as smart phones and tablet PCs have limited application of eye tracking systems using IR cameras, so a method of tracking a user's eyes using a conventional USB camera is required.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 통상적인 USB 카메라를 이용하여 촬상된 사용자 이미지로부터 사용자의 시선을 추적하는 시선 추적 장치, 이를 이용하는 디스플레이 장치 및 그 방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention is directed to the above-described needs, and an object of the present invention is to provide a gaze tracking device, a display device using the same, and a method for tracking the gaze of a user from a user image photographed using a conventional USB camera.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 디스플레이 화면을 제공하는 디스플레이부, 상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 촬상부, 상기 촬상부에 의해 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부, 적외선 카메라로 촬상된 적외선 안구 이미지 정보가 저장된 저장부, 상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부 및 상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 제어부를 포함한다.Display device according to an embodiment of the present invention for achieving the above object, the display unit for providing a display screen, an image pickup unit for picking up the image of the user viewing the display screen, the image picked up by the image pickup unit A detection unit for detecting information about an eyeball area of a user from an image, a storage unit storing infrared eyeball image information captured by an infrared camera, information on the eyeball area detected by the detection unit, and the infrared eyeball image information And a determining unit determining the eye position of the user by estimating a pupil position in an area, and a controller controlling the operation of the display apparatus according to the user's eye.
여기서, 상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고, 상기 검출부는, 상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출할 수 있다.Here, the information about the eyeball area is characterized in that the iris center coordinates, the detection unit detects the face area in the captured image, detects the eyeball area in the detected face area, the iris in the detected eyeball area By detecting the region, the center coordinates of the detected iris region can be detected.
또한, 상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고, 상기 판단부는, 상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크(Neural Network)를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부, 상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부를 포함할 수 있다.In addition, the infrared eyeball image information is characterized in that the coordinates of the center of the pupil contained in the infrared eye image, the determination unit, the neural network (Neural Network) to which the MLP algorithm is applied using the center coordinate of the pupil as learning data The apparatus may include a pupil estimating unit that estimates the pupil center coordinates of the user from the detected iris center coordinates, and a gaze determination unit that determines the eyes of the user on the display screen using the estimated pupil center coordinates.
그리고, 상기 시선 판단부는, 아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단할 수 있고,The gaze determination unit may determine the gaze of the user on the display screen by using the following formula,
Figure 112011082107802-pat00001
Figure 112011082107802-pat00001
여기서,
Figure 112011082107802-pat00002
Figure 112011082107802-pat00003
는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고,
Figure 112011082107802-pat00004
Figure 112011082107802-pat00005
는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이다.
here,
Figure 112011082107802-pat00002
And
Figure 112011082107802-pat00003
Is the x- and y-axis coordinates of the user's line of sight on the display screen,
Figure 112011082107802-pat00004
And
Figure 112011082107802-pat00005
Is the x-axis and y-axis coordinates of the pupil center coordinates of the user.
또한, 상기 제어부는, 상기 디스플레이 화면상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이할 수 있다.The controller may display an application UI by executing an application corresponding to the application icon when the gaze of the user is located on the application icon displayed on the display screen.
그리고, 상기 저장부는, 사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며, 상기 시선 판단부는, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있다.The storage unit may further store the pupil center coordinates derived from the eyeball area of the user and the user gaze coordinates corresponding to the pupil center coordinates, and the gaze determination unit stores the pupil center coordinates estimated by the pupil guessing unit. When matching with the pupil center coordinates, the user's gaze on the display screen corresponding to the stored pupil center coordinates may be determined as the gaze of the user.
또한, 상기 저장부는, 복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며, 상기 제어부는, 상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 시선 판단부는, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교할 수 있다.The storage unit may further store feature information of the face area for each of the plurality of users, and the controller may identify a user corresponding to the captured image by using the stored feature information of the face area and the gaze. The determination unit may compare the pupil center coordinates estimated by the pupil guessing unit with the pupil center coordinates corresponding to the identified user among the stored pupil center coordinates.
한편 본 발명의 일 실시 예에 따른 시선 추적 장치는, 촬상된 사용자 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부, 적외선 카메라로 촬상된 적외선 안구 이미지 정보가 저장된 저장부 및 상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부를 포함한다.On the other hand, the eye tracking apparatus according to an embodiment of the present invention, the detection unit for detecting information about the eyeball area of the user from the captured user image, the storage unit storing the infrared eye image information captured by the infrared camera and the detection unit detected And a determination unit configured to determine the gaze of the user by estimating a pupil position in the eyeball area using information on the eyeball area and the infrared eyeball image information.
여기서, 상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고, 상기 검출부는, 상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출할 수 있다.Here, the information about the eyeball area is characterized in that the iris center coordinates, the detection unit detects the face area in the captured image, detects the eyeball area in the detected face area, the iris in the detected eyeball area By detecting the region, the center coordinates of the detected iris region can be detected.
그리고, 상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고, 상기 판단부는, 상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부, 상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부를 포함할 수 있다.In addition, the infrared eyeball image information is characterized in that the coordinates of the center of the pupil included in the infrared eye image, the determination unit, the detection using a neural network applied MLP algorithm using the center coordinate of the pupil as learning data It may include a pupil guessing unit for guessing the pupil center coordinates of the user from the iris center coordinates, and a gaze determination unit for determining the gaze of the user on the display screen using the estimated pupil center coordinates.
그리고, 상기 저장부는, 사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며, 상기 시선 판단부는, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있다.The storage unit may further store the pupil center coordinates derived from the eyeball area of the user and the user gaze coordinates corresponding to the pupil center coordinates, and the gaze determination unit stores the pupil center coordinates estimated by the pupil guessing unit. When matching with the pupil center coordinates, the user's gaze on the display screen corresponding to the stored pupil center coordinates may be determined as the gaze of the user.
또한, 상기 저장부는, 복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며, 상기 제어부는, 상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 시선 판단부는, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교할 수 있다.The storage unit may further store feature information of the face area for each of the plurality of users, and the controller may identify a user corresponding to the captured image by using the stored feature information of the face area and the gaze. The determination unit may compare the pupil center coordinates estimated by the pupil guessing unit with the pupil center coordinates corresponding to the identified user among the stored pupil center coordinates.
한편, 본 발명을 일 실시 예에 따른 디스플레이 방법은, 디스플레이 화면을 제공하는 단계, 상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 단계, 상기 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계, 상기 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 단계 및 상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 단계를 포함할 수 있다.On the other hand, the display method according to an embodiment of the present invention, providing a display screen, photographing the image of the user viewing the display screen, detecting the information on the eyeball area of the user from the captured image Determining eye gaze of the user by estimating a pupil position in the eye area using information on the detected eye area and pre-stored infrared eye image information, and operation of the display apparatus according to the user's gaze It may include the step of controlling.
여기서, 상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고, 상기 검출하는 단계는, 상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계, 검출된 얼굴 영역에서 안구 영역을 검출하는 단계, 검출된 안구 영역에서 홍채 영역을 검출하는 단계, 검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계를 포함할 수 있다.Here, the information about the eyeball area is characterized in that the iris center coordinates, the detecting step, detecting the face area in the captured image, detecting the eyeball area in the detected face area, The method may include detecting an iris region in the eyeball region and detecting an iris center coordinate of the detected iris region.
그리고, 상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고, 상기 판단하는 단계는, 상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 단계, 상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계를 포함할 수 있다.In addition, the infrared eyeball image information is characterized in that the coordinates of the center of the pupil contained in the infrared eye image, the step of determining, using a neural network to which the MLP algorithm is applied using the center coordinates of the pupil as learning data And estimating the pupil center coordinates of the user from the detected iris center coordinates, and determining the eyes of the user on a display screen using the estimated pupil center coordinates.
또한, 상기 시선을 판단하는 단계는, 아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단할 수 있고,In the determining of the gaze, the gaze of the user on the display screen may be determined by using the following formula,
Figure 112011082107802-pat00006
Figure 112011082107802-pat00006
여기서,
Figure 112011082107802-pat00007
Figure 112011082107802-pat00008
는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고,
Figure 112011082107802-pat00009
Figure 112011082107802-pat00010
는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이다.
here,
Figure 112011082107802-pat00007
And
Figure 112011082107802-pat00008
Is the x- and y-axis coordinates of the user's line of sight on the display screen,
Figure 112011082107802-pat00009
And
Figure 112011082107802-pat00010
Is the x-axis and y-axis coordinates of the pupil center coordinates of the user.
그리고, 상기 제어하는 단계는, 상기 디스플레이 화면 상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이할 수 있다.The controlling may include displaying an application UI by executing an application corresponding to the application icon when the gaze of the user is located on the application icon displayed on the display screen.
또한, 사용자의 안구영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 저장하는 단계를 더 포함하고, 상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는, 상기 동공 중심 위치를 추측하는 단계에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있다.The method may further include storing pupil center coordinates derived from the eyeball area of the user and user gaze coordinates corresponding to the pupil center coordinates, and determining the gaze of the user on the display screen may include determining the pupil center position. When the guessed pupil center coordinates are matched with the stored pupil center coordinates, the user's gaze on the display screen corresponding to the stored pupil center coordinates may be determined as the user's gaze.
여기서, 복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 저장하는 단계를 더 포함하고, 상기 제어하는 단계는, 상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는, 상기 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교할 수 있다.Here, the method may further include storing feature information of a face area for each of the plurality of users, and the controlling may include identifying a user corresponding to the captured image by using feature information of the stored face area. The determining of the gaze of the user on the display screen may compare the estimated pupil center coordinates with pupil center coordinates corresponding to the identified user among the stored pupil center coordinates.
한편 본 발명을 일 실시 예에 따른 시선 추적 방법은, 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계, 상기 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지를 이용하는 단계를 포함할 수 있다.Meanwhile, a gaze tracking method according to an exemplary embodiment may include detecting information about an eyeball area of a user from a captured image, and using information about the detected eyeball area and a pre-stored infrared eyeball image. Can be.
그리고, 상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고, 상기 검출하는 단계는, 상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계, 검출된 얼굴 영역에서 안구 영역을 검출하는 단계, 검출된 안구 영역에서 홍채 영역을 검출하는 단계, 검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계를 포함할 수 있다.The information on the eyeball area may be an iris center coordinate, and the detecting may include detecting a face area in the captured image, detecting an eyeball area in the detected face area, and detecting the detected eyeball area. The method may include detecting an iris region in the eyeball region and detecting an iris center coordinate of the detected iris region.
또한, 상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고, 상기 판단하는 단계는, 상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 위치를 추측하는 단계, 상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계를 포함할 수 있다.In addition, the infrared eyeball image information is characterized in that the coordinates of the center of the pupil contained in the infrared eye image, the determining step, using a neural network to which the MLP algorithm is applied using the center coordinates of the pupil as learning data And estimating the pupil center position of the user from the detected iris center coordinates, and determining the gaze of the user on the display screen using the estimated pupil center coordinates.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 통상적인 USB 카메라를 이용하여 촬영된 이미지로부터 사용자의 시선을 추적할 수 있고, 사용자의 시선을 이용해 디스플레이를 조작할 수 있다.According to various embodiments of the present disclosure as described above, the gaze of the user may be tracked from an image photographed using a conventional USB camera, and the display may be manipulated using the gaze of the user.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 시선 추적 장치의 구성을 나타내는 블럭도이다.
도 3은 촬상된 사용자 이미지로부터 사용자의 홍채 중심 좌표를 검출하는 과정을 도시한 흐름도이다.
도 4는 촬상된 사용자 이미지로부터 얼굴 영역을 검출하는 과정을 도시한 흐름도이다.
도 5는 검출된 얼굴 영역에서 안구 영역을 검출한 결과를 나타낸다.
도 6은 검출된 안구 영역에서 눈꼬리를 검출한 결과를 나타낸다.
도 7은 홍채 영역 및 홍채 중심 좌표 검출하기 위해 안구 영역을 수평 및 수직 축으로 투영한 그래프를 나타낸다.
도 8a 및 도 8b는 적외선 안구 이미지에서 동공 중심 좌표를 검출하는 흐름도 및 그 결과를 나타낸다.
도 9는 동공 중심 좌표를 추측하기 위한 뉴럴 네트워크의 구조를 나타낸다.
도 10a 및 도 10b는 뉴럴 네트워크의 트레이닝 페이즈 및 테스트 페이즈의 동작 과정을 나타내는 흐름도이다.
도 11은 디스플레이 화면으로의 칼리브레이션을 나타낸다.
도 12a 및 도 12b는 본 발명의 일 실시 예에 따른 시선 추적 장치를 이용한 시선 추적 결과를 보여준다.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 방법을 나타내는 흐름도이다.
도 14는 본 발명의 일 실시 예에 따른 시선 추적 방법을 나타내는 흐름도이다.
1 is a block diagram illustrating a configuration of a display apparatus according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a gaze tracking device according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a process of detecting a center coordinate of an iris of a user from a captured user image.
4 is a flowchart illustrating a process of detecting a face region from a captured user image.
5 shows a result of detecting an eyeball area in the detected face area.
6 shows the result of detecting the tail of the eye in the detected eye area.
7 shows a graph in which the eyeball area is projected on the horizontal and vertical axes to detect the iris area and the iris center coordinates.
8A and 8B show flow charts and results of detecting pupil center coordinates in an infrared eye image.
9 shows the structure of a neural network for estimating pupil center coordinates.
10A and 10B are flowcharts illustrating an operation process of a training phase and a test phase of a neural network.
11 shows calibration to the display screen.
12A and 12B illustrate a gaze tracking result using a gaze tracking device according to an exemplary embodiment.
13 is a flowchart illustrating a display method according to an exemplary embodiment.
14 is a flowchart illustrating a gaze tracking method according to an exemplary embodiment.
이하에서, 첨부된 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the present invention.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 디스플레이 장치(100)은 디스플레이부(110), 촬상부(120), 저장부(130), 검출부(140), 판단부(150), 제어부(160)를 포함한다. 본 디스플레이 장치(100)는 TV, 홈씨어터, 휴대폰, PDA, 게임기, 노트북 PC, 전자 책, MP3 플레이어 등과 같은 다양한 유형의 장치로 구현될 수 있다.1 is a block diagram showing a configuration of a display device according to an embodiment of the present invention. According to FIG. 1, the display apparatus 100 includes a display 110, an imaging unit 120, a storage 130, a detector 140, a determiner 150, and a controller 160. The display device 100 may be implemented by various types of devices such as a TV, a home theater, a mobile phone, a PDA, a game machine, a notebook PC, an e-book, an MP3 player, and the like.
디스플레이부(110)는 각종 정보를 디스플레이 화면에 표시할 수 있다. 구체적으로, 디스플레이부(110)는 저장부(150)에 기저장된 정보 또는 외부에서 제공되는 동영상, 사진, 문서, UI, 아이콘 등과 같은 각종 정보를 사용자에게 표시할 수 있다. 이러한 디스플레이부(110)는 CRT, LCD 등과 같은 장치로 구현될 수 있다.The display 110 may display various types of information on the display screen. In detail, the display 110 may display information previously stored in the storage 150 or various information such as a video, a photo, a document, a UI, an icon, and the like, which are provided from the outside, to the user. The display unit 110 may be implemented as a device such as a CRT, an LCD, or the like.
촬상부(120)는 사용자의 이미지를 촬상한다. 구체적으로, 촬상부(120)는 디스플레이 화면을 시청하는 사용자의 이미지를 촬상할 수 있다. 이러한 촬상부(120)는 TV, 휴대폰, 노트북 PC등과 같은 다양한 유형의 장치에 내장된 촬영장치로 구현할 수 있다. 또한, 종래에는 이러한 촬상부(120)를 IR 카메라 등 IR 촬상 장치를 이용하여 구현하였으나, 본 발명의 일 실시 예에 따르면 촬상부(120)를 통상적인 USB 촬상 장치로 구현할 수 있다. 한편, 본 발명의 실시 예에서는 촬상부(120)가 디스플레이 장치(100)에 내장된 것으로 표현하였으나, 이러한 촬상부(120)는 디스플레이 장치(100)와 연결된 외부 장치로 구현될 수도 있다.The imaging unit 120 captures an image of a user. In detail, the imaging unit 120 may capture an image of a user who views a display screen. The imaging unit 120 may be implemented as a photographing device embedded in various types of devices such as a TV, a mobile phone, a notebook PC, and the like. In addition, although the conventional imaging unit 120 is implemented using an IR imaging device such as an IR camera, the imaging unit 120 may be implemented as a conventional USB imaging device according to an embodiment of the present invention. Meanwhile, in the exemplary embodiment of the present invention, the imaging unit 120 is expressed as being embedded in the display apparatus 100, but the imaging unit 120 may be implemented as an external device connected to the display apparatus 100.
저장부(130)는 적외선 카메라로 촬상된 적외선 안구 이미지 정보를 저장한다. 그리고, 저장부(130)는 디스플레이부(110)에 표시할 각종 정보를 저장할 수 있다. 그리고, 저장부(130)는 촬상부(120)에서 촬상된 사용자의 이미지를 저장할 수 있다. 또한, 저장부(130)는 후술할 검출부(140)에서 사용되는 각종 검출 알고리즘 및 검출된 사용자 안구 영역에 대한 정보를 저장할 수 있다. 특히, 얼굴 검출 과정에서 사용자 얼굴 특징 정보를 저장할 수 있다. 그리고, 저장부(130)는 후술할 판단부(150)에서 사용되는 알고리즘, 수학식, 매트릭스, 판단부(150)에 의해 추측되는 사용자 동공 중심 좌표 및 사용자 시선 위치 좌표를 저장할 수 있다. The storage unit 130 stores infrared eye image information captured by an infrared camera. The storage unit 130 may store various types of information to be displayed on the display unit 110. In addition, the storage 130 may store an image of the user captured by the imaging unit 120. In addition, the storage unit 130 may store various detection algorithms used in the detection unit 140 to be described later and information about the detected user eye area. In particular, user face feature information may be stored in the face detection process. The storage unit 130 may store algorithms, equations, matrices, user pupil center coordinates, and user gaze position coordinates used by the determination unit 150 to be described later.
그리고 저장부(130)는 각종 메모리, 예를 들면, ROM, 플래시 메모리 또는 HDD로 구성될 수 있다. 한편, 본 발명의 실시 예에 따르면, 저장부(130)는 디스플레이 장치(100) 내부에 내장된 것으로 표현하였으나, 이러한 저장부(130)는 디스플레이 장치(100)와 연결된 외장형 HDD 또는 메모리 카드, 예를 들면, 플래시 메모리(Flash Memory: M/S, XD, SD 등)나 USB 메모리 등으로 구현될 수도 있다.The storage unit 130 may be configured of various memories, for example, a ROM, a flash memory, or an HDD. Meanwhile, according to an exemplary embodiment of the present disclosure, the storage unit 130 is represented as being embedded in the display apparatus 100, but the storage unit 130 is an external HDD or a memory card connected to the display apparatus 100, eg, For example, it may be implemented as a flash memory (M / S, XD, SD, etc.) or a USB memory.
검출부(140)는 촬상된 이미지에서 사용자의 안구 영역에 대한 정보를 검출한다. 구체적으로, 검출부(140)는 촬상부(120)에서 촬상된 사용자 이미지로부터 얼굴 영역, 안구 영역, 홍채 영역 및 홍채 중심 좌표를 순차적으로 검출할 수 있으며, 사용자의 홍채 중심 좌표를 검출하는 방법을 도 3 내지 도 7을 참고하여 구체적으로 설명한다. 여기서, 안구 영역은 사전적 의미의 눈동자 영역만을 의미하는 것이 아니라 사람의 얼굴을 볼 때 보여지는 눈 및 그 근처의 영역을 의미할 수 있다.The detector 140 detects information on the eyeball area of the user from the captured image. In detail, the detector 140 may sequentially detect the face area, the eye area, the iris area, and the iris center coordinates from the user image picked up by the imaging unit 120, and illustrates a method of detecting the iris center coordinates of the user. It will be described in detail with reference to 3 to 7. Here, the eyeball area may not only mean a pupil area of a dictionary meaning, but may mean an eye and an area near the eye when the face of the person is viewed.
도 3은 촬상된 사용자 이미지로부터 사용자의 홍채 중심 좌표를 검출하는 과정을 도시한 흐름도이다. 도 3에 따른 검출 과정은 도 1에 도시된 디스플레이 장치(100)의 검출부(140)에서 수행가능하다.3 is a flowchart illustrating a process of detecting a center coordinate of an iris of a user from a captured user image. The detection process according to FIG. 3 may be performed by the detector 140 of the display apparatus 100 shown in FIG. 1.
여기서, 홍채 중심과 동공 중심과의 관계에 대해 설명한다. 사람은 물체를 보기 위하여 안구를 이동시킨다. 이때 홍채는 안구의 고정된 위치에 존재하므로 안구이동에 따라 함께 움직이게 된다. 홍채 내에 존재하는 동공은 홍채근육의 움직임에 의해서도 변하기 때문에 안구의 움직임에 대한 동일한 위치변화량을 가진다고 볼 수는 없다. 동공은 몸의 긴장상태에 의해 꾸준히 수축, 팽창운동을 하고 있으며, 동공의 크기 변화와 함께 그 중심도 일정하지 않다. 따라서 동공의 위치는 유연성을 갖는다고 볼 수 있다. 동공은 홍채의 중심부분에 존재하지만 동공의 중심과 홍채의 중심은 일치하지 않는다. 일반적으로 동공의 중심은 홍채의 중심으로부터 얼굴 가운데 쪽으로 위치하고 있다. Here, the relationship between the iris center and the pupil center will be described. The person moves the eye to see the object. At this time, since the iris exists at a fixed position of the eyeball, it moves along with the eyeball movement. The pupils present in the iris are also changed by the movement of the iris muscles, so they cannot be regarded as having the same positional change with respect to eye movement. The pupil is steadily contracting and expanding by the tension of the body, and the center of the pupil is not constant with the size of the pupil. Therefore, the position of the pupil can be seen as having flexibility. The pupil exists in the central part of the iris, but the center of the pupil does not coincide with the center of the iris. In general, the center of the pupil is located from the center of the iris toward the center of the face.
도 3에 도시된 홍채 중심 좌표 검출과정에 따르면, 촬상된 사용자 이미지에서 SM(Saliency Map)모델을 사용하여 얼굴 영역을 검출한다(S310). 이어서, 검출된 얼굴 영역에서 AdaBoost알고리즘을 사용하여 안구 영역을 검출한다(S320). 그리고, 검출된 안구 영역에서 균등화 및 Otsu의 임계 방법에 따라 홍채 영역을 검출하고(S330), 검출된 홍채 영역에서 그 중심좌표를 검출할 수 있다(S340).According to the iris center coordinate detection process illustrated in FIG. 3, a face region is detected from a captured user image using a SM (Saliency Map) model (S310). Subsequently, the eyeball area is detected using the AdaBoost algorithm in the detected face area (S320). The iris region may be detected according to the equalization method and the Otsu threshold method in the detected eye region (S330), and the center coordinates may be detected in the detected iris region (S340).
도 4는 촬상된 사용자 이미지로부터 얼굴 영역을 검출하는 과정을 도시한 흐름도이다. 4 is a flowchart illustrating a process of detecting a face region from a captured user image.
사용자의 얼굴을 검출하기 위해 선택적 주의 집중 모델이 사용된다. 구체적으로 사용자의 얼굴을 검출하기 위해 상향식 SM 모델을 사용할 수 있다. 상향식 SM 모델은 레티나(Retina) 함수 및 LGN(Lateral Geinculate Nucleus)를 사용할 수 있다. 레티나 함수를 사용하여 색의 요소 R(Red), G(Green), B(blue)가 추출되며, Intensity 특징과 함께 사용자 얼굴 검출에 사용될 수 있다. 추출된 피부색은 필터링 되며 이때 색의 요소 중 Red가 필터링에 지배적으로 공헌할 수 있고, Red 와 Green의 반대되는 색 특징은 얼굴 영역과 비 얼굴 영역의 경계 특징을 나타낼 수 있다. LGN 및 레티나 함수를 사용하여, 각 레벨이 2n 에 의해 만들어지는 0레벨 부터 n레벨까지의 상이한 스케일의 가우스 피라미드 이미지에 의해 on-center 및 off-center 동작을 수행하여 I(Intensity), E(Edge), C(color)와 같은 특징 지도를 구성할 수 있다. 세 가지 특징 지도의 합에 의해 SM 이 생성될 수 있다. SM 에서 상대적으로 많이 돌출된 영역을 후보영역으로 선택하고, Otsu의 임계 방법을 사용하여 선택 영역의 2차원 데이터를 생성한 후, 라벨링 방법을 사용하여 분할된 영역의 그룹을 생성할 수 있다. 선택된 후보영역이 AdaBoost(Adaptive Boosting) 알고리즘의 입력으로 사용되어 얼굴 영역을 검출할 수 있다. The selective attention model is used to detect the user's face. In detail, a bottom-up SM model may be used to detect a face of a user. The bottom-up SM model may use Retina functions and Lateral Geinculate Nucleus (LGN). Color elements R (Red), G (Green), and B (blue) are extracted using the Retina function, and can be used to detect the user's face along with the Intensity feature. The extracted skin color is filtered and Red can be the dominant contributor to filtering, and the opposite color features of Red and Green can represent the boundary features of the face and non-face areas. Using LGN and Retina functions, I (Intensity), E by performing on-center and off-center operations with different scale Gaussian pyramid images from level 0 to level n where each level is made by 2 n . Feature maps such as Edge and C (color) can be constructed. SM can be generated by the sum of three feature maps. In the SM, a relatively protruding region may be selected as a candidate region, two-dimensional data of the selected region may be generated using Otsu's critical method, and a group of divided regions may be generated using a labeling method. The selected candidate area may be used as an input of the AdaBoost (Adaptive Boosting) algorithm to detect the face area.
또한, 검출부(140)는 검출된 얼굴영역에 대해 점진적(Incremental) (2D)2PCA(Incremental two directional two dimensional PCA)기법을 적용하여 얼굴 특징 정보를 추출할 수 있다. 복수 개의 트레이닝 데이터의 열방향 데이터 행렬의 공분산에서 초기 열방향 고유벡터(eigenvector) 및 고유값(Eigen value)을 구하고, 2DPCA를 이용하여 열방향 데이터의 고유벡터(Eigen vector) 및 고유값(Eigen value)를 생성하고 소정의 고유벡터를 선택하여 열방향 표현공간의 차원(dimension)을 선택한다.In addition, the detector 140 may extract face feature information by applying an incremental (2D) 2 incremental two directional two dimensional PCA (PCA) technique to the detected face region. An initial column eigenvector and an eigen value are obtained from the covariance of a column data matrix of a plurality of training data, and the eigen vector and eigen value of the column data are obtained using 2DPCA. ) And select a predetermined eigenvector to select the dimension of the columnar representation space.
여기서, (2D)2PCA는 2DPCA를 행방향과 열방향으로 동시에 각각 실행하여 투영 행렬을 구한다. 그 후 두 개의 투영 행렬을 동시에 적용하여 특징 행렬을 구하는 방식으로 특징 행렬의 크기는 매우 작게 하면서도 인식률은 2DPCA 정도의 수준을 유지할 수 있으므로, 저장 공간 및 계산량을 현저히 줄일 수 있게 된다. 또한, Incremental (2D)2PCA란 점진적으로 표현공간을 추정하는 동시에 2DPCA를 행방향과 열방향으로 각각 실행하는 방식을 의미한다. 이는 Incremental PCA가 특징 자체의 변화를 시간적으로 모델링하는 점진적 부공간(Incremental Subspace) 알고리즘이라는 점에 기인한다. Here, (2D) 2 PCA simultaneously executes 2DPCA in the row direction and column direction to obtain the projection matrix. Then, the feature matrix is obtained by applying the two projection matrices at the same time, so that the size of the feature matrix can be made very small while the recognition rate can be maintained at the level of 2DPCA, and thus the storage space and calculation amount can be remarkably reduced. Incremental (2D) 2 PCA means a method of incrementally estimating the expression space and simultaneously executing the 2DPCA in the row direction and the column direction. This is due to the fact that the Incremental PCA is an incremental subspace algorithm that temporally models the change in the feature itself.
구체적으로 검출부(140)는 검출된 얼굴 영역과 사용자(또는 감독자)가 입력한 인식자 정보를 이용하여 Incremental (2D)2PCA 학습 임계값을 측정한 후 온라인 학습을 수행할 수 있다. In detail, the detector 140 may perform an online learning after measuring the Incremental (2D) 2 PCA learning threshold value using the detected face region and the identifier information input by the user (or supervisor).
여기서 온라인 학습이란 새로운 학습데이터만을 이용해 기존의 학습 모델을 효율적으로 업데이트하는 방법으로, 점진적/적응적(Incremental/Adaptive) 학습이라고도 한다. 한편, 본 발명에서는, IPCA(Incremental Principal Component Analysis)를 적용하는 것으로 설명하였다. 하지만, 점진적/온라인/적응적(Incremental/Online/Adaptive) 학습에는 ILDA(Incremental Linear Discriminant Analysis), INMF(Incremental Non-negative Matrix Factorization)같은 특징 자체의 변화를 시간적으로 모델링하는 점진적 부공간(Incremental Subspace) 알고리즘, ISVM(Incremental Support Vector Machine)과 INN(Incremental Neural Network)같은 특징분포의 변화를 시간적으로 모델링하는 분류기들도 적용될 수 있다. Here, online learning is a method of efficiently updating an existing learning model using only new learning data, which is also called incremental / adaptive learning. Meanwhile, in the present invention, it has been described that IPCA (Incremental Principal Component Analysis) is applied. Incremental / Online / Adaptive learning, however, requires incremental subspace to model temporal changes in features such as Incremental Linear Discriminant Analysis (ILDA) and Incremental Non-negative Matrix Factorization (INMF) ) Algorithm, and classifiers for temporally modeling changes in feature distribution such as Incremental Support Vector Machine (ISVM) and Incremental Neural Network (INN).
여기서, 상술한 바와 같이 상기 얼굴 영역 검출 단계에서 나타난 사용자 얼굴영역의 특징 정보들은 저장부(130)에 저장될 수 있다.As described above, the feature information of the user's face region displayed in the face region detection step may be stored in the storage unit 130.
도 3의 검출된 얼굴 영역에서 안구 영역을 검출하는 단계(S320)는 도 5를 참고하여 구체적으로 설명한다.The detecting of the eyeball area in the detected face area of FIG. 3 (S320) will be described in detail with reference to FIG. 5.
도 5는 검출된 얼굴 영역으로부터 안구 영역을 검출한 결과를 나타낸다. 검출된 얼굴 영역에서 안구 영역을 검출하는 과정은 Adaboost 알고리즘을 사용하여 수행되며, 당해 기술분야에서 널리 알려진 기술로서 이에 대한 설명은 생략한다.5 shows the result of detecting the eyeball area from the detected face area. The process of detecting the eyeball area in the detected face area is performed using the Adaboost algorithm, which is well known in the art and description thereof will be omitted.
도 6은 검출된 안구 영역에서 눈꼬리를 검출한 결과를 보여준다. 검출된 안구 영역에서 눈꼬리를 검출하는 단계(미도시)는 간단한 견본 매칭 알고리즘(template matching algorithm)을 사용하여 수행될 수 있으며, 당해 기술분야에서 널리 알려진 기술로서 이에 대한 설명은 생략한다. 눈꼬리를 검출하는 과정이 필요한 이유는 사용자를 촬상하는 과정에서 사용자의 얼굴이 움직일 수 있기 때문이다. 사용자의 얼굴 움직임을 정규화에 의한 보정을 수행하기 위해 양 눈꼬리의 중심위치로부터 상술할 홍채 중심 및 추측된 동공 중심 좌표까지의 상대적 거리를 이용할 수 있다. 6 shows the result of detecting the tail of the eye in the detected eye area. Detecting the tail of the eye in the detected eye area (not shown) may be performed using a simple template matching algorithm, which is well known in the art and will not be described. The reason for detecting the tail is necessary because the user's face may move in the process of photographing the user. In order to perform correction by normalizing a user's face movement, the relative distance from the center position of both eye tails to the iris center and the estimated pupil center coordinates described above may be used.
도 3의 검출된 안구 영역에서 홍채 영역 및 홍채의 중심 좌표를 검출하는 단계(S330 및 S340)는 도 7을 참고하여 구체적으로 설명한다.Detecting the center coordinates of the iris region and the iris in the detected eye region of FIG. 3 will be described in detail with reference to FIG. 7.
도 7은 홍채 영역 및 홍채 중심 좌표 검출하기 위해 안구 영역을 수평 및 수직 축으로 투영한 그래프를 나타낸다. 도 3의 홍채 영역을 검출하는 단계(S330)는 균등화 및 Otsu 임계 방법에 기초한 2차원화 과정을 포함하는 이미지 처리과정을 사용할 수 있다. 이에 따라, 검출된 눈 영역에서 홍채 영역을 검출하기 위해 수평/수직 투영 히스토그램을 순차적으로 얻을 수 있다. 수평 및 수직 투영 히스토그램은 각각 수평 및 수직축에 합쳐진다. 다음 수학식 1은 수평 및 수직 투영 히스토그램을 얻는 식을 보여준다.7 shows a graph in which the eyeball area is projected on the horizontal and vertical axes to detect the iris area and the iris center coordinates. The detecting of the iris region of FIG. 3 (S330) may use an image processing process including a two-dimensionalization process based on the equalization and the Otsu threshold method. Accordingly, a horizontal / vertical projection histogram can be obtained sequentially to detect the iris region in the detected eye region. The horizontal and vertical projection histograms are combined on the horizontal and vertical axes, respectively. Equation 1 shows an equation for obtaining horizontal and vertical projection histograms.
Figure 112011082107802-pat00011
Figure 112011082107802-pat00011
여기서,
Figure 112011082107802-pat00012
Figure 112011082107802-pat00013
는 각각 x축 및 y축의 히스토그램이다. w 및 h는 각각 검출된 안구 영역의 너비 및 높이를 나타낸다. 홍채 영역은
Figure 112011082107802-pat00014
Figure 112011082107802-pat00015
에 의해 검출될 수 있다. 구체적으로, 홍채 영역은 다음 수학식 2에 의해 검출될 수 있다.
here,
Figure 112011082107802-pat00012
And
Figure 112011082107802-pat00013
Are histograms of the x and y axes, respectively. w and h represent the width and height of the detected eye area, respectively. Iris area
Figure 112011082107802-pat00014
And
Figure 112011082107802-pat00015
As shown in FIG. In detail, the iris region may be detected by Equation 2 below.
Figure 112011082107802-pat00016
Figure 112011082107802-pat00016
여기서,
Figure 112011082107802-pat00017
,
Figure 112011082107802-pat00018
,
Figure 112011082107802-pat00019
Figure 112011082107802-pat00020
는 각각 검출 영역의 가장 좌측 좌표, 가장 우측 좌표, 가장 위쪽 좌표 및 가장 아래쪽 좌표를 나타낸다.
here,
Figure 112011082107802-pat00017
,
Figure 112011082107802-pat00018
,
Figure 112011082107802-pat00019
And
Figure 112011082107802-pat00020
Denotes the leftmost, rightmost, topmost and bottommost coordinates of the detection area, respectively.
검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계(S340)는, 다음 수학식 3에 의해 수행될 수 있다.Detecting the iris center coordinates of the detected iris region (S340) may be performed by the following equation (3).
Figure 112011082107802-pat00021
Figure 112011082107802-pat00021
여기서,
Figure 112011082107802-pat00022
Figure 112011082107802-pat00023
는 각각 홍채 중심 좌표의 x축 좌표 및 y축 좌표를 나타낸다.
here,
Figure 112011082107802-pat00022
And
Figure 112011082107802-pat00023
Denote x-axis coordinates and y-axis coordinates of the iris center coordinates, respectively.
여기서, 도 3 내지 도 7을 참고하여 사용자의 홍채 중심 좌표를 검출하는 방법을 통상적인 USB 카메라를 이용한 이미지에 대해 설명하였지만, 도 3 내지 도 7에 나타난 홍채 중심 좌표를 검출하는 방법은 적외선 카메라로 촬상된 이미지에도 동일하게 적용될 수 있다.Here, although the method of detecting the iris center coordinates of the user has been described with reference to FIGS. 3 to 7 using a conventional USB camera, the method of detecting the iris center coordinates shown in FIGS. The same can be applied to the captured image.
도 1의 판단부(150)는 디스플레이 화면상의 사용자의 시선을 판단한다. 이를 위해, 판단부(150)는 동공 추측부(151) 및 시선 판단부(152)로 구성될 수 있다.The determination unit 150 of FIG. 1 determines the eyes of the user on the display screen. To this end, the determination unit 150 may be composed of a pupil guessing unit 151 and a gaze determination unit 152.
동공 추측부(151)는 사용자의 동공 중심 좌표를 추측한다. 구체적으로, 동공 추측부(151)는 저장부(130)에 기 저장된 적외선 안구 이미지 내에 포함된 동공의 중심 좌표를 학습데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 검출부(140)에서 검출된 홍채 중심 좌표로부터 사용자의 동공 중심 좌표를 추측할 수 있다. (여기서, 적외선 안구 이미지 내에 포함된 동공의 중심 좌표는 추측된 동공 중심 좌표 및 이를 저장부(120)에 저장한 동공 중심 좌표와 상이하며, '적외선'이라는 수식어가 없는 동공 중심 좌표는 동공 추측부(151)의 추측과정에서 사용되는 동공 중심 좌표가 아니고, 적외선 안구 이미지에서 검출된 동공 중심 좌표는 동공 추측부(151)에 의한 동공 추측과정에만 사용된다.)The pupil estimator 151 estimates the pupil center coordinates of the user. Specifically, the pupil estimation unit 151 detects the detection unit 140 using a neural network to which the MLP algorithm using the center coordinates of the pupil included in the infrared eye image stored in the storage unit 130 as learning data is applied. The pupil center coordinates of the user can be estimated from the obtained iris center coordinates. Here, the center coordinates of the pupil included in the infrared eye image are different from the estimated pupil center coordinates and the pupil center coordinates stored in the storage unit 120, and the pupil center coordinates without the 'infrared' modifier is the pupil guess unit. The pupil center coordinates detected in the infrared eye image are used only for the pupil guessing process by the pupil guessing unit 151, not the pupil center coordinates used in the guessing process of 151.)
또한, 바람직하게는, 적외선 안구 이미지에서 동공 중심 좌표를 검출하는 과정 및 검출된 동공 중심 좌표를 학습 데이터로 사용하여 MLP 알고리즘에 의해 학습하는 과정은 미리 수행될 수 있다. 구체적으로, 검출부(140)는 저장부(130)에 기 저장되어 있는 적외선 안구 이미지를 이용하여 적외선 안구 이미지상의 동공의 중심 좌표를 검출할 수 있고, 적외선 안구 이미지상에서 기 검출된 동공 중심 좌표가 기 저장되어 있을 수도 있다. 그러면, 동공 중심 좌표를 추측하기 전에, 동공 추측부(151)는 적외선 이미지 상의 동공 중심 좌표를 MLP 알고리즘의 학습 데이터로 사용하여 미리 학습할 수 있다.Also, preferably, the process of detecting the pupil center coordinates in the infrared eyeball image and the process of learning by the MLP algorithm using the detected pupil center coordinates as learning data may be performed in advance. Specifically, the detector 140 may detect the center coordinates of the pupil on the infrared eye image by using the infrared eye image previously stored in the storage 130, and the pupil center coordinates previously detected on the infrared eye image may be pre-recorded. It may be stored. Then, before estimating the pupil center coordinates, the pupil estimator 151 may pre-learn using the pupil center coordinates on the infrared image as learning data of the MLP algorithm.
여기서, 뉴럴 네트워크는 뇌기능의 특성 몇 가지를 컴퓨터 시뮬레이션으로 표현하는 것을 목표로 하는 수학 모델이다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. 좁은 의미에서는 오차역전파법을 이용한 다층퍼셉트론(MLP)을 가리키는 경우도 있지만, 이것은 잘못된 용법으로, 뉴럴 네트워크는 이에 국한되지 않는다. 뉴럴 네트워크는 교사 신호(정답)의 입력에 의해서 문제에 최적화되어 가는 교사 학습과 교사 신호를 필요로 하지 않는 비교사 학습이 있다. 명확한 해답이 있는 경우에는 교사 학습이, 데이터 클러스터링에는 비교사 학습이 이용된다. 결과적으로 모두 차원을 줄이기 위해, 화상이나 통계 등 다차원량의 데이터로, 선형 분리 불가능한 문제에 대해서, 비교적 작은 계산량으로 양호한 회답을 얻을 수 있는 것이 많다. 그 때문에, 패턴 인식이나 데이터 마이닝 등, 다양한 분야에서 응용되고 있다.Here, the neural network is a mathematical model that aims to represent some of the characteristics of the brain function by computer simulation. A neural network refers to a model in which artificial neurons (nodes) that form a network by synapse change change the strength of synapse through learning, and have problem solving ability. In a narrow sense, it may refer to multi-layer perceptron (MLP) using error backpropagation, but this is a misuse, and neural networks are not limited to this. Neural networks have teacher learning that is optimized for problems by the input of teacher signals (correct answers) and comparative learning that does not require teacher signals. Teacher learning is used when there is clear answer, and comparative learning is used for data clustering. As a result, in order to reduce the dimensionality of all, it is often the case that a good answer can be obtained with a comparatively small amount of calculation with respect to a problem that can not be linearly separated by data of a multidimensional quantity such as an image or statistics. Therefore, it is applied in various fields such as pattern recognition and data mining.
도 8a는 적외선 안구 이미지에서 동공 중심 좌표를 검출하는 흐름도를 나타낸다. 동공 중심 좌표를 검출하는 단계는 히스토그램 균등화(equalization) 단계, 히스토그램 경계화(binarization) 단계, 딜레이션(dilation) 단계, 에로젼(erosion) 단계, 블랍 라벨링(blob labeling) 단계를 포함할 수 있다. 히스토그램 균등화 과정은 이미지의 히스토그램을 이용하여 그레이 스케일된 눈 이미지의 콘트라스트(contrast) 조정 역할을 할 수 있다. 그리고, 히스트그램 경계화과정에서 적절한 경계값을 이용한 경계화가 적용될 수 있다. 그리고, 동공 주위의 glint 및 noise에 의한 오차를 감소시키기 위해 딜레이션 및 에로젼 같은 수학적인 모폴로지 동작이 사용될 수 있다. 마지막으로, 안구 이미지에 블럽 라벨링을 하는 과정이 이루어지고, 동공에 해당하는 적절한 색깔 부분을 찾음으로써 동공영역 및 동공의 중심좌표를 검출할 수 있다. 도 8b는 적외선 안구 이미지에서 동공 중심을 찾은 결과를 보여준다.8A shows a flowchart for detecting pupil center coordinates in an infrared eye image. The detecting of the pupil center coordinates may include a histogram equalization step, a histogram binarization step, a dilation step, an erosion step, and a blob labeling step. The histogram equalization process may serve as a contrast adjustment of the grayscale eye image using the histogram of the image. And, in the histogram boundary process, an edge boundary using an appropriate boundary value may be applied. And mathematical morphology operations such as dilation and erosion can be used to reduce errors caused by glint and noise around the pupil. Finally, a blob labeling process is performed on the eyeball image, and the pupil area and the center coordinate of the pupil may be detected by finding an appropriate color part corresponding to the pupil. Figure 8b shows the results of finding the pupil center in the infrared eye image.
도 9는 동공 중심 좌표를 추측하기 위한 뉴럴 네트워크의 구조를 나타낸다. 뉴럴 네트워크는 7개의 노드와 바이어스를 포함하는 하나의 숨겨진 층을 사용할 수있다. 뉴럴 네트워크의 입력 벡터는 홍채 중심의 2차원 좌표로 구성되고, 타겟 벡터는 IR 카메라로부터 얻어진 동공 중심의 2차원 좌표로 구성될 수 있다. 또한, 뉴럴 네트워크는 트레이닝 페이즈(training phase) 및 테스트 페이즈(test phase)로 구분하여 나타낼 수 있다.9 shows the structure of a neural network for estimating pupil center coordinates. The neural network can use one hidden layer containing seven nodes and a bias. The input vector of the neural network may consist of two-dimensional coordinates of the iris center, and the target vector may consist of two-dimensional coordinates of the pupil center obtained from the IR camera. In addition, the neural network may be divided into a training phase and a test phase.
도 10a는 뉴럴 네트워크의 트레이닝 페이즈의 동작 과정을 나타내는 흐름도이다.10A is a flowchart illustrating an operation process of a training phase of a neural network.
트레이닝 페이즈는, 상술할 테스트 페이즈에서 동공 중심 좌표를 추측하기 전에, 홍채 중심과 동공 중심 사이의 관계에 대해 미리 학습할 수 있다. 트레이닝 페이즈에서 뉴럴 네트워크는 검출된 양 눈꼬리의 중심좌표를 이용하여 검출된 홍채 중심 좌표 및 적외선 이미지 상의 동공 중심 좌표를 정규화할 수 있다. 정규화된 홍채 중심 좌표는 입력 벡터로, 정규화된 적외선 이미지상의 동공 중심 좌표는 타겟 벡터로 주어지고, 홍채 중심과 동공 중심 사이의 관계에 대해 타겟 정확도가 만족될 때까지 반복적으로 학습할 수 있다. The training phase can learn in advance about the relationship between the iris center and the pupil center before estimating the pupil center coordinates in the test phase to be described above. In the training phase, the neural network can normalize the detected iris center coordinates and the pupil center coordinates on the infrared image using the detected center coordinates of both eyes. The normalized iris center coordinates are given as input vectors, the pupil center coordinates on the normalized infrared image are given as target vectors, and the relationship between the iris center and the pupil center can be repeatedly learned until the target accuracy is satisfied.
도 10b는 뉴럴 네트워크의 테스트 페이즈의 동작 과정을 나타내는 흐름도이다.10B is a flowchart illustrating an operation process of a test phase of a neural network.
테스트 페이즈에서는 홍채 중심 좌표를 이용하여 동공 중심 좌표를 추측할 수 있다. 테스트 페이즈는 검출된 홍채 중심 좌표를 눈꼬리 중심 좌표를 이용하여 정규화하고, 정규화된 홍채 중심 좌표는 입력벡터로 사용된다. 뉴럴 네트워크는 미리 학습된 데이터를 이용하여 동공 중심 좌표를 출력 벡터로서 출력한다.In the test phase, the pupil center coordinates can be estimated using the iris center coordinates. The test phase normalizes the detected iris center coordinates using the eye-tail center coordinates, and the normalized iris center coordinates are used as the input vector. The neural network outputs pupil center coordinates as an output vector using previously learned data.
시선 판단부(152)는 디스플레이 화면상의 사용자의 시선을 판단한다. 구체적으로, 시선 판단부(152)는 동공 추측부(151)에서 추측된 동공 중심 좌표를 칼리브레이션과정을 통하여 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있다. 칼리브레이션을 위해 사용자는 미리 데이터를 입력할 필요가 있다. 예를 들어, 디스플레이 화면상의 일정한 지점을 응시하고 입력키를 누르면, 디스플레이 화면상의 시선 위치 좌표에 대응하는 동공 위치 좌표에 대한 관계를 도출할 수 있다. 도 11은 동공 중심 좌표로부터 디스플레이 화면상으로의 칼리브레이션을 나타낸다. The gaze determination unit 152 determines the gaze of the user on the display screen. In detail, the gaze determination unit 152 may determine the gaze position of the user on the display screen through a calibration process of the pupil center coordinates estimated by the pupil estimating unit 151. For calibration, the user needs to enter the data in advance. For example, when a user gazes at a certain point on the display screen and presses an input key, a relationship with respect to the pupil position coordinates corresponding to the gaze position coordinates on the display screen may be derived. 11 shows calibration from the pupil center coordinates onto the display screen.
동공 추측부(151)에서 추측된 동공 중심좌표를 사용하여 디스플레이 화면으로의 시선을 추적하기 위해 다음 수학식 4와 같은 2차 다항식 함수를 고려할 수 있다.In order to track the gaze to the display screen using the pupil center coordinates estimated by the pupil guessing unit 151, a second order polynomial function such as Equation 4 may be considered.
Figure 112011082107802-pat00024
Figure 112011082107802-pat00024
Figure 112011082107802-pat00025
내지
Figure 112011082107802-pat00026
Figure 112011082107802-pat00027
내지
Figure 112011082107802-pat00028
는 미정 계수이다. 이러한 시스템은 12개의 미지수를 가지므로 6번 이상의 사용자 입력을 받음으로써 쉽게 풀 수 있다. 예를 들어, 칼레브레이션을 위해 9개의 점을 사용한다면, 이 시스템은 12개의 미지수 및 18개의 식으로 이루어진 과잉 결정되는 시스템이 되어 쉽게 계수들을 결정할 수 있다. 더 높은 차수의 다항식을 사용하면 정확성을 더 높일 수 있지만, 2차 다항식으로도 응시점의 칼리브레이션을 수행하는데 충분한 근사치로 수행될 수 있다.
Figure 112011082107802-pat00025
To
Figure 112011082107802-pat00026
And
Figure 112011082107802-pat00027
To
Figure 112011082107802-pat00028
Is an undetermined coefficient. Such a system has 12 unknowns, which can be easily solved by receiving more than six user inputs. For example, if we use nine points for calibration, the system becomes an overdetermined system of twelve unknowns and eighteen equations, making it easy to determine coefficients. Higher order polynomials provide better accuracy, but even quadratic polynomials can be approximated enough to perform calibration of the gaze point.
계수들의 관계는 다음 수학식 5와 같은 매트릭스로 나타낼 수 있다.The relationship between the coefficients may be represented by a matrix as shown in Equation 5 below.
Figure 112011082107802-pat00029
Figure 112011082107802-pat00029
상기 매트릭스는
Figure 112011082107802-pat00030
로 간단하게 나타낼 수 있다.
The matrix is
Figure 112011082107802-pat00030
Can be represented simply.
여기서,
Figure 112011082107802-pat00031
를 얻을 수 있다. 칼리브레이션 매트릭스
Figure 112011082107802-pat00032
를 이용하여 추측된 동공 중심 좌표로부터 디스플레이 화면상의 사용자의 시선 위치를 칼리브레이션 할 수 있다.
here,
Figure 112011082107802-pat00031
Can be obtained. Calibration matrix
Figure 112011082107802-pat00032
The gaze position of the user on the display screen may be calibrated from the estimated pupil center coordinates.
또한, 시선 판단부(152)는 도출된 동공 중심 좌표를 상기 저장부(130)에 저장된 동공 중심 좌표와 비교하여 서로 일치하는 경우, 상기 칼리브레이션 과정 없이 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있다. 이로써, 디스플레이 화면상의 사용자의 시선 위치를 더욱 효율적으로 판단할 수 있다. Also, when the gaze determination unit 152 compares the derived pupil center coordinates with the pupil center coordinates stored in the storage unit 130 and matches each other, the user's gaze on the display screen corresponding to the stored pupil center coordinates without the calibration process. May be determined by the user's gaze. As a result, the user's gaze position on the display screen can be more efficiently determined.
여기서, 시선 판단부(152)는 후술할 제어부(160)에 의해 현재 사용자가 식별된 경우, 상기 저장부(130)에 저장된 동공 중심 좌표 중 식별된 사용자에 대응되는 동공 중심 좌표를 상기 동공 추측부(151)에서 추측된 동공 중심 좌표와 비교할 수 있다. 즉, 여러 사용자가 있는 경우, 현재 사용자를 식별하여 해당 사용자에 해당하는 저장 정보만을 비교하여 시선 판단 과정을 간소화할 수 있다.Here, when the current user is identified by the controller 160 to be described later, the gaze determination unit 152 may determine the pupil center coordinates corresponding to the identified user among the pupil center coordinates stored in the storage unit 130. The pupil center coordinates estimated at 151 can be compared. That is, when there are several users, the process of determining the gaze may be simplified by identifying the current user and comparing only the stored information corresponding to the user.
제어부(160)는 디스플레이부(110)의 동작을 제어한다. 일 실시 예로, 제어부(160)는 디스플레이 화면상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이할 수 있다.The controller 160 controls the operation of the display 110. According to an embodiment, when the user's gaze is located on an application icon displayed on a display screen, the controller 160 may execute an application corresponding to the application icon and display an application UI.
또한, 제어부(160)는 상기 저장부(130)에 저장된 사용자들의 얼굴 영역의 특징 정보를 이용하여 촬상부(120)에 의해 촬상된 이미지에 대응하는 현재 사용자를 식별할 수 있다. 구체적으로, 현재 사용자 이미지에서 검출된 얼굴 영역의 특징 정보와 저장부(130)에 저장된 각각의 사용자의 얼굴 영역의 특징 정보들을 비교하여, 일치하는 얼굴 영역의 특징 정보에 해당하는 사용자를 현재 사용자로 판단할 수 있다.In addition, the controller 160 may identify the current user corresponding to the image captured by the imaging unit 120 using the feature information of the face regions of the users stored in the storage 130. Specifically, by comparing the feature information of the face area detected in the current user image and the feature information of each user's face area stored in the storage unit 130, a user corresponding to the feature information of the matching face area is used as the current user. You can judge.
여기서, 제어부(160)는 추출된 얼굴 특징을 기초로 점진적 분류기를 적용하여 얼굴 인식 결과를 산출한다. 구체적으로, 약분류기 및 강분류기를 이용하여 얼굴 인식 결과를 산출할 수 있다. 일 실시 예로서, 약분류기는 SVM(Support Vector Machine)으로 구현될 수 있으며, 강분류기는 Adaboosted SVM으로 구현될 수 있다. Here, the controller 160 calculates a face recognition result by applying a gradual classifier based on the extracted face feature. Specifically, face recognition results may be calculated using the weak classifier and the strong classifier. As an example, the weak classifier may be implemented as a support vector machine (SVM), and the strong classifier may be implemented as an adaboosted SVM.
Adaboosted SVM 란, 약분류기인 SVM에 Adaboost 기법을 적용하여 생성된 분류기를 의미한다. Adaboost 기법이란, 약분류기의 선형적인 결합을 통하여 최종적으로 높은 검출 성능을 가지는 강분류기를 생성하는 알고리즘이다. 검출된 얼굴 영역에서 추출한 특징 정보를 기 분류된 인식자 정보와 결합시켜 약분류기를 훈련시키고, 훈련결과에 따라 인식자 정보 별로 설정된 가중치를 적용하여 Adaboost 연산한 강분류기를 생성할 수 있다. 이와 같이 약 분류기 및 강분류기를 적용하여 분류하는 기법을 이진 분류 기법이라고 한다.Adaboosted SVM is a classifier generated by applying Adaboost technique to SVM which is weak classifier. The Adaboost technique is an algorithm for generating a strong classifier with high detection performance through linear combination of weak classifiers. The weak classifier may be trained by combining feature information extracted from the detected face region with pre-classified recognizer information, and a strong classifier calculated by applying an adaboost may be generated by applying a weight set for each recognizer information according to the training result. In this way, the classification method using a drug classifier and a strong classifier is called a binary classification technique.
또한, 제어부(160)는 디스플레이 장치(100)의 디스플레이부(110), 촬상부(120), 저장부(130), 검출부(140), 판단부(150)의 동작을 제어한다. 구체적으로, 제어부(160)는 저장부(130)에 저장된 각종 제어프로그램 및 알고리즘들을 사용하여 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다. In addition, the controller 160 controls the operations of the display 110, the image capturer 120, the storage 130, the detector 140, and the determiner 150 of the display apparatus 100. In detail, the controller 160 may control the overall operation of the display apparatus 100 using various control programs and algorithms stored in the storage 130.
따라서 본 실시 예에 따른 디스플레이 장치는, 촬상된 사용자 이미지로부터 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있고, 판단된 사용자의 시선 위치를 이용해 디스플레이 장치를 제어할 수 있게 된다.Accordingly, the display apparatus according to the present embodiment may determine the gaze position of the user on the display screen from the captured user image, and control the display apparatus by using the determined gaze position of the user.
도 2는 본 발명의 일 실시 예에 따른 시선 추적 장치(200)의 구성을 나타내는 블럭도이다. 시선 추적 장치(200)는 촬상된 사용자의 이미지를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하기 위한 장치로서, 검출부(240), 판단부(250)로 구성될 수 있다. 시선 추적 장치(200)의 검출부(240), 판단부(250)는 각각 디스플레이장치(100)의 검출부(140), 판단부(150)에 대응될 수 있다. 2 is a block diagram illustrating a configuration of an eye gaze tracking apparatus 200 according to an exemplary embodiment. The gaze tracking device 200 is a device for determining the gaze of the user on the display screen by using the captured image of the user. The gaze tracking device 200 may include a detector 240 and a determiner 250. The detector 240 and the determiner 250 of the eye tracking apparatus 200 may correspond to the detector 140 and the determiner 150 of the display apparatus 100, respectively.
검출부(240)는 촬상된 이미지에서 사용자의 안구 영역에 대한 정보를 검출한다. 구체적으로, 검출부(240)는 촬상된 사용자 이미지로부터 얼굴 영역, 안구 영역, 홍채 영역 및 홍채 중심 좌표를 순차적으로 검출할 수 있으며, 사용자의 홍채 중심 좌표를 검출하는 방법을 도 3 내지 도 7에 나타난다. 여기서, 안구 영역은 사전적 의미의 눈동자 영역만을 의미하는 것이 아니라 사람의 얼굴을 볼 때 보여지는 눈 및 그 근처의 영역을 의미할 수 있다. 검출부(240)에서 홍채 중심 좌표를 검출하는 과정은 디스플레이 장치(100)의 검출부(140)에서 홍채 중심 좌표를 검출하는 과정과 동일하다.The detector 240 detects information about an eyeball area of the user from the captured image. Specifically, the detection unit 240 may sequentially detect the face area, the eye area, the iris area, and the iris center coordinates from the captured user image, and a method of detecting the iris center coordinates of the user is shown in FIGS. 3 to 7. . Here, the eyeball area may not only mean a pupil area of a dictionary meaning, but may mean an eye and an area near the eye when the face of the person is viewed. The process of detecting the iris center coordinates by the detector 240 is the same as the process of detecting the iris center coordinates by the detector 140 of the display apparatus 100.
판단부(250)는 디스플레이 화면상의 사용자의 시선을 판단한다. 이를 위해, 판단부(240)는 동공 추측부(251) 및 시선 판단부(252)로 구성될 수 있다. 판단부(240)의 동공 추측부(251) 및 시선 판단부(252)는 디스플레이 장치(100)의 판단부(150)의 동공 추측부(151) 및 시선 판단부(152)에 대응된다.The determination unit 250 determines the eyes of the user on the display screen. To this end, the determination unit 240 may be composed of a pupil guessing unit 251 and a gaze determination unit 252. The pupil guessing unit 251 and the gaze determination unit 252 of the determination unit 240 correspond to the pupil estimation unit 151 and the gaze determination unit 152 of the determination unit 150 of the display apparatus 100.
동공 추측부(251)는 사용자의 동공 중심 좌표를 추측한다. 구체적으로, 동공 추측부(251)는 저장부(230)에 기 저장된 적외선 안구 이미지 내에 포함된 동공의 중심 좌표를 학습데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 검출부(240)에서 검출된 홍채 중심 좌표로부터 사용자의 동공 중심 좌표를 추측할 수 있고, 동공 중심 좌표를 추측하는 과정은 디스플레이 장치(100)의 동공 추측부(151)에서 동공 중심 좌표를 추측하는 과정과 동일하다.The pupil estimator 251 estimates the pupil center coordinates of the user. In detail, the pupil estimator 251 detects the detection unit 240 using a neural network to which the MLP algorithm using the center coordinates of the pupil included in the infrared eye image stored in the storage 230 as learning data is applied. The pupil center coordinates of the user may be estimated from the iris center coordinates, and the process of estimating the pupil center coordinates is the same as the process of estimating the pupil center coordinates by the pupil guessing unit 151 of the display apparatus 100.
시선 판단부(252)는 디스플레이 화면상의 사용자의 시선을 판단한다. 구체적으로, 동공 추측부(251)에서 추측된 동공 중심 좌표를 칼리브레이션과정을 통하여 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있다. 디스플레이 화면상의 사용자의 시선 위치를 판단하는 과정은 디스플레이 장치(100)의 시선 판단부(152)에서 디스플레이 화면상의 사용자의 시선 위치를 판단하는 과정과 동일하다.The gaze determination unit 252 determines the gaze of the user on the display screen. In detail, the pupil center coordinates estimated by the pupil estimator 251 may determine the position of the user's gaze on the display screen through a calibration process. The process of determining the gaze position of the user on the display screen is the same as the process of determining the gaze position of the user on the display screen by the gaze determination unit 152 of the display apparatus 100.
따라서 본 실시 예에 따른 시선 추적 장치는, 촬상된 사용자 이미지로부터 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있게 된다.Accordingly, the gaze tracking apparatus according to the present exemplary embodiment may determine the gaze position of the user on the display screen from the captured user image.
도 13은 본 발명의 일 실시 예에 따른 디스플레이 방법을 나타내는 흐름도이다. 도 13에 따르면 디스플레이 방법은 디스플레이 화면을 제공하면(S1310), 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하고(S1320), 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출한다(S1330). 이어서, 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지를 이용하여, 안구 영역 내의 동공 위치를 추측하여 사용자의 시선을 판단한다(S1340). 그리고, 사용자의 시선에 따라 디스플레이 장치의 동작을 제어한다(S1350). 13 is a flowchart illustrating a display method according to an exemplary embodiment. According to FIG. 13, when the display method provides a display screen (S1310), an image of a user viewing the display screen is captured (S1320), and information about an eyeball area of the user is detected from the captured image (S1330). Subsequently, by using the detected information on the eyeball area and the pre-stored infrared eyeball image, the pupil position in the eyeball area is estimated to determine the user's gaze (S1340). In operation S1350, the operation of the display apparatus is controlled according to the line of sight of the user.
도 1, 도 3, 도 13을 참고하여 디스플레이 방법을 구체적으로 설명하면, 디스플레이부(110)는 저장부(150)에 기저장된 정보 또는 외부에서 제공되는 동영상, 사진, 문서, UI, 아이콘 등과 같은 각종 정보를 사용자에게 표시한다(S1310). 그러면, 촬상부(120)는 디스플레이 화면을 시청하는 사용자의 이미지를 촬상한다(S1320). 검출부(140)는 촬상된 이미지에서 사용자의 안구 영역에 대한 정보를 검출한다(S1330). 구체적으로, 검출부(140)는 촬상부(120)에서 촬상된 사용자 이미지로부터 얼굴 영역, 안구 영역, 홍채 영역 및 홍채 중심 좌표를 순차적으로 검출할 수 있다. 도 3을 참고하면, 사용자의 홍채 중심 좌표를 검출하는 과정은 촬상된 사용자 이미지에서 얼굴 영역을 검출하는 단계(S310), 검출된 얼굴 영역에서 안구 영역을 검출하는 단계(S320), 검출된 안구 영역에서 홍채 영역을 검출하는 단계(S330), 검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계(S340)로 구성될 수 있다.Referring to FIGS. 1, 3, and 13, the display method will be described in detail. The display 110 includes information previously stored in the storage 150 or an externally provided video, photo, document, UI, icon, or the like. Various information is displayed to the user (S1310). Then, the imaging unit 120 captures an image of the user viewing the display screen (S1320). The detector 140 detects information on the eyeball area of the user from the captured image (S1330). In detail, the detector 140 may sequentially detect the face area, the eyeball area, the iris area, and the iris center coordinates from the user image captured by the imaging unit 120. Referring to FIG. 3, the process of detecting the iris center coordinates of the user includes detecting a face region from the captured user image (S310), detecting an eye region from the detected face region (S320), and detecting the detected eye region. The method may include detecting an iris region (S330) and detecting an iris center coordinate of the detected iris region (S340).
판단부(150)는 검출부(140)에서 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지를 이용하여, 안구 영역 내의 동공 위치를 추측하여 사용자의 시선을 판단한다(S1340). 이를 위해, 판단부(150)는 동공 추측부(151) 및 시선 판단부(152)로 구성될 수 있다. 동공 추측부(151)는 저장부(130)에 기 저장된 적외선 안구 이미지 내에 포함된 동공의 중심 좌표를 학습데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 검출부(140)에서 검출된 홍채 중심 좌표로부터 사용자의 동공 중심 좌표를 추측할 수 있다. 여기서, 적외선 안구 이미지에서 동공 중심 좌표를 검출하는 과정 및 검출된 동공 중심 좌표를 학습 데이터로 사용하여 MLP 알고리즘에 의해 학습하는 과정은 미리 수행될 수 있다. 시선 판단부(152)는 동공 추측부(151)에서 추측된 동공 중심 좌표를 칼리브레이션과정을 통하여 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있다. 또한, 시선 판단부(152)는 도출된 동공 중심 좌표를 상기 저장부(130)에 저장된 동공 중심 좌표와 비교하여 서로 일치하는 경우, 상기 칼리브레이션 과정 없이 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단할 수 있으며, 제어부(160)에 의해 현재 사용자가 식별된 경우, 상기 저장부(130)에 저장된 동공 중심 좌표 중 식별된 사용자에 대응되는 동공 중심 좌표를 상기 동공 추측부(151)에서 추측된 동공 중심 좌표와 비교할 수 있다 The determination unit 150 determines the gaze of the user by guessing the pupil position in the eyeball area using the information on the eyeball area detected by the detector 140 and the pre-stored infrared eyeball image (S1340). To this end, the determination unit 150 may be composed of a pupil guessing unit 151 and a gaze determination unit 152. The pupil estimator 151 uses an neural network to which the MLP algorithm using the pupil coordinates included in the infrared eye image stored in the storage 130 as learning data is applied, and the iris center detected by the detector 140. The coordinates of the pupil center of the user can be estimated from the coordinates. Here, the process of detecting the pupil center coordinates from the infrared eye image and the process of learning by the MLP algorithm using the detected pupil center coordinates as learning data may be performed in advance. The gaze determination unit 152 may determine the gaze position of the user on the display screen by calibrating the pupil center coordinates estimated by the pupil estimating unit 151. Also, when the gaze determination unit 152 compares the derived pupil center coordinates with the pupil center coordinates stored in the storage unit 130 and matches each other, the user's gaze on the display screen corresponding to the stored pupil center coordinates without the calibration process. It may be determined by the eyes of the user, and if the current user is identified by the controller 160, the pupil guessing unit to determine the pupil center coordinates corresponding to the identified user from the pupil center coordinates stored in the storage unit 130 It can be compared with the pupil center coordinates estimated at 151.
제어부(160)는 디스플레이부(110)의 동작을 제어한다(S1350). 일 실시 예로, 제어부(160)는 디스플레이 화면상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이할 수 있다. 또한, 제어부(160)는 상기 저장부(130)에 저장된 사용자들의 얼굴 영역의 특징 정보를 이용하여 촬상부(120)에 의해 촬상된 이미지에 대응하는 현재 사용자를 식별할 수 있다.The controller 160 controls the operation of the display 110 (S1350). According to an embodiment, when the user's gaze is located on an application icon displayed on a display screen, the controller 160 may execute an application corresponding to the application icon and display an application UI. In addition, the controller 160 may identify the current user corresponding to the image captured by the imaging unit 120 using the feature information of the face regions of the users stored in the storage 130.
따라서 본 실시 예에 따른 디스플레이 방법은, 촬상된 사용자 이미지로부터 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있고, 판단된 사용자의 시선 위치를 이용해 디스플레이 장치를 제어할 수 있게 된다.Therefore, the display method according to the present exemplary embodiment may determine the gaze position of the user on the display screen from the captured user image, and control the display apparatus by using the determined gaze position of the user.
도 14는 본 발명의 일 실시 예에 따른 시선 추적 방법을 나타내는 흐름도이다. 도 14에 따르면 시선 추적 방법은 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하고(S1430), 검출된 안구 영역에 대한 정보와 기 저장된 적외선 안구 이미지를 이용하여, 안구 영역 내의 동공 위치를 추측하여 사용자의 시선을 판단한다(S1440). 시선 추적 방법을 구성하는 각 단계는 도 13의 디스플레이 방법을 나타내는 흐름도의 단계(S1330) 및 단계(S1340)에 대응하며, 동일하게 수행된다.14 is a flowchart illustrating a gaze tracking method according to an exemplary embodiment. According to FIG. 14, a gaze tracking method detects information on an eyeball area of a user from a captured image (S1430), and estimates a pupil position in an eyeball area using information on the detected eyeball area and a pre-stored infrared eyeball image. The eyes of the user are determined (S1440). Each step of configuring the gaze tracking method corresponds to steps S1330 and S1340 of the flowchart illustrating the display method of FIG. 13, and is performed in the same manner.
따라서 본 실시 예에 따른 시선 추적 방법은, 촬상된 사용자 이미지로부터 디스플레이 화면상의 사용자의 시선 위치를 판단할 수 있게 된다.Accordingly, the gaze tracking method according to the present exemplary embodiment may determine the gaze position of the user on the display screen from the captured user image.
도 12a 및 도 12b는 본 발명의 일 실시 예에 따른 시선 추적 장치(200)를 이용한 시선 추적 결과를 보여준다. 12A and 12B illustrate a gaze tracking result using the gaze tracking device 200 according to an exemplary embodiment.
도 12a는 시선 추적 장치(200)을 이용해 시선을 추적하기 위해 800*600의 해상도를 가지는 디스플레이 화면을 7*5 영역으로 분할한 화면을 보여준다. 즉, 7*5의 해상도를 가지는 화면상에 테스트한다. 각 분할된 영역의 중심에는 시선 추적을 위한 타겟이 위치한다. 사용자가 각 타겟을 바라보면 시선 추적 장치(200)은 디스플레이 화면상의 사용자의 시선 위치를 판단한다. 아래 표 1은 각 타겟에 10회의 테스트한 결과를 보여준다. 표 1의 각 숫자는 디스플레이 화면상의 타겟의 위치와, 시선 추적 장치(200)에 의해 홍채 중심 좌표, 적외선 이미지로 검출한 동공 중심 좌표, 추측된 동공 중심 좌표를 이용하여 판단된 사용자의 시선 위치 사이의 오차의 평균 및 분산을 나타낸다. 타겟과의 거리는 Manhattan distance에 의해 측정되었다.FIG. 12A illustrates a screen obtained by dividing a display screen having a resolution of 800 * 600 into 7 * 5 areas to track the gaze using the gaze tracking apparatus 200. That is, the test on the screen having a resolution of 7 * 5. At the center of each divided area, a target for eye tracking is located. When the user looks at each target, the gaze tracking device 200 determines the user's gaze position on the display screen. Table 1 below shows the results of 10 tests on each target. Each number in Table 1 is between the position of the target on the display screen and the user's gaze position determined using the iris center coordinates, the pupil center coordinates detected by the infrared image, and the estimated pupil center coordinates by the gaze tracking device 200. The mean and the variance of the error are shown. The distance to the target was measured by Manhattan distance.
Figure 112011082107802-pat00033
Figure 112011082107802-pat00033
표 1에 나타난 결과를 보면 적외선 이미지로 검출한 동공 중심 좌표를 이용한 사용자 시선 판단은 가장 높은 정확도를 가진다. 홍채 중심 좌표를 이용한 사용자의 시선 판단은 가장 낮은 정확도를 가진다. 추측된 동공 중심을 이용하여 사용자의 시선을 판단한 결과는 적외선 이미지로 검출한 동공 중심 좌표를 이용한 결과에 못미치지만 만족할 만한 정확도를 보여준다.From the results shown in Table 1, the user's gaze determination using the pupil center coordinates detected by the infrared image has the highest accuracy. The user's gaze determination using the iris center coordinates has the lowest accuracy. The result of judging the user's line of sight using the estimated pupil center shows satisfactory accuracy, although less than the result using the pupil center coordinates detected by the infrared image.
도 12b는 더욱 정확한 테스트를 위해 800*600의 해상도를 가지는 화면에 테스트한 결과를 보여준다. 35개의 타겟 위치에 대해 각각 10번씩 테스트하였다. 표 2의 각 숫자는 디스플레이 화면상의 타겟의 위치와, 시선 추적 장치(200)에 의해 홍채 중심 좌표, 적외선 이미지로 검출한 동공 중심 좌표, 추측된 동공 중심 좌표를 이용하여 판단된 사용자의 시선 위치 사이의 오차의 평균 제곱근을 나타낸다. 타겟과의 거리는 Manhattan distance에 의해 측정되었다.Figure 12b shows the test results on the screen with a resolution of 800 * 600 for a more accurate test. Ten tests of 35 target locations each were tested. Each number in Table 2 is between the position of the target on the display screen and the user's gaze position determined using the iris center coordinates, the pupil center coordinates detected by the infrared image, and the estimated pupil center coordinates by the gaze tracking device 200. Represents the root mean square of the error. The distance to the target was measured by Manhattan distance.
Figure 112011082107802-pat00034
Figure 112011082107802-pat00034
표 2의 결과는 표 1의 결과와 마찬가지로, 적외선 이미지로 검출한 동공 중심 좌표에 의한 테스트가 가장 정확한 결과를 나타내고 홍채 중심 좌표를 이용한 테스트는 가장 부정확한 결과를 나타냄을 알 수 있다. 통상 적인 USB 카메라를 이용하여 얻은 결과는 적외선 이미지로 검출한 동공 중심 좌표에 의한 테스트 결과에 못미치지만, 사용자 시선을 추적하기 위해 IR 카메라와 같은 다른 추가적인 장비 없이 만족할 만한 정확도를 보여준다. As shown in Table 1, the results of Table 2 show that the test using the pupil center coordinates detected by the infrared image shows the most accurate result, and the test using the iris center coordinates shows the most inaccurate result. The results obtained with conventional USB cameras are less than the test results by pupil center coordinates detected with infrared images, but show satisfactory accuracy without any additional equipment such as IR cameras to track the user's eye.
상술한 본 발명의 다양한 실시 예들에 따른 시선 추적 방법 및 디스플레이 방법은, 다양한 유형의 기록 매체에 저장되어, 전자 장치에 구비된 CPU에 의해 실행될 수 있는 프로그램 코드에 의해 구현될 수도 있다.The eye-tracking method and display method according to various embodiments of the present disclosure described above may be implemented by program codes stored in various types of recording media and executed by a CPU included in the electronic device.
구체적으로는, 상술한 시선 추적 방법 및 디스플레이 방법을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다. Specifically, the code for performing the above-described eye tracking method and display method may include random access memory (RAM), flash memory, read only memory (ROM), erasable programmable ROM (EPROM), and electronically erasable and programmable ROM (EPEROM). ), A register, a hard disk, a removable disk, a memory card, a USB memory, a CD-ROM, and the like, may be stored in various types of recording media readable by the terminal.
이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다. Although the above has been illustrated and described with respect to the preferred embodiments of the present invention, the present invention is not limited to the above-described specific embodiments, it is usually in the art without departing from the spirit of the invention claimed in the claims. Anyone skilled in the art can make various modifications, as well as such changes are within the scope of the claims.
100 : 디스플레이 장치 110 : 디스플레이부
120 : 촬상부 130 : 저장부
140 : 검출부 150 : 판단부
151 : 동공 추측부 152 : 시선 판단부
160 : 제어부 200 : 시선 추적 장치
240 : 검출부 250 : 판단부
251 : 동공 추측부 252 : 시선 판단부
100: display device 110: display part
120: imaging unit 130: storage unit
140: detection unit 150: determination unit
151: pupil guessing unit 152: gaze determination unit
160: control unit 200: gaze tracking device
240 detection unit 250 determination unit
251: pupil guessing unit 252: gaze determination unit

Claims (24)

  1. 디스플레이 장치에 있어서,
    디스플레이 화면을 제공하는 디스플레이부;
    상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 촬상부;
    상기 촬상부에 의해 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부;
    학습 데이터로 사용될 적외선 안구 이미지 정보가 저장된 저장부;
    상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부; 및
    상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 제어부;를 포함하는 디스플레이 장치.
    In the display device,
    A display unit providing a display screen;
    An imaging unit for capturing an image of a user viewing the display screen;
    A detector for detecting information about an eyeball area of a user from the image picked up by the image pickup unit;
    A storage unit for storing infrared eye image information to be used as learning data;
    A determination unit determining the eye gaze of the user by estimating a pupil position in the eye region using information on the eye region detected by the detection unit and the stored infrared eye image information; And
    And a controller configured to control an operation of the display apparatus according to the eyes of the user.
  2. 제1항에 있어서,
    상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,
    상기 검출부는,
    상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출하는 것을 특징으로 하는 디스플레이 장치.
    The method of claim 1,
    The information on the eye region is characterized in that the iris center coordinates,
    Wherein:
    And detecting a face region from the captured image, detecting an eye region from the detected face region, and detecting an iris region from the detected eye region, thereby detecting a center coordinate of the detected iris region.
  3. 제2항에 있어서,
    상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,
    상기 판단부는,
    상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부; 및
    상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부;를 포함하는 것을 특징으로 하는 디스플레이 장치.
    The method of claim 2,
    The infrared eyeball image information is characterized in that the center coordinates of the pupil contained in the infrared eyeball image,
    The determination unit,
    A pupil guessing unit for estimating the pupil center coordinates of the user from the detected iris center coordinates using a neural network to which an MLP algorithm using the pupil center coordinates as learning data is applied; And
    And a gaze determination unit configured to determine a gaze of a user on a display screen by using the estimated pupil center coordinates.
  4. 제3항에 있어서,
    상기 시선 판단부는,
    아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단하는 것을 특징으로 하는 디스플레이 장치:
    Figure 112013028355618-pat00035

    여기서,
    Figure 112013028355618-pat00036
    Figure 112013028355618-pat00037
    는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고,
    Figure 112013028355618-pat00038
    Figure 112013028355618-pat00039
    는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이며,
    Figure 112013028355618-pat00062
    내지
    Figure 112013028355618-pat00063
    Figure 112013028355618-pat00064
    내지
    Figure 112013028355618-pat00065
    는 캘리브레이션 매트릭스의 미정 계수이다.
    The method of claim 3,
    The gaze determination unit,
    Display device, characterized in that for determining the eyes of the user on the display screen using the following equation:
    Figure 112013028355618-pat00035

    here,
    Figure 112013028355618-pat00036
    And
    Figure 112013028355618-pat00037
    Is the x- and y-axis coordinates of the user's line of sight on the display screen,
    Figure 112013028355618-pat00038
    And
    Figure 112013028355618-pat00039
    Is the x-axis and y-axis coordinates of the pupil center coordinates of the user,
    Figure 112013028355618-pat00062
    To
    Figure 112013028355618-pat00063
    And
    Figure 112013028355618-pat00064
    To
    Figure 112013028355618-pat00065
    Is the unknown coefficient of the calibration matrix.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 디스플레이 화면상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
    5. The method of claim 4,
    The control unit,
    And when the gaze of the user is located on an application icon displayed on the display screen, executing the application corresponding to the application icon to display an application UI.
  6. 제3항에 있어서,
    상기 저장부는,
    사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며,
    상기 시선 판단부는,
    상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 디스플레이 장치.
    The method of claim 3,
    Wherein,
    Further storing a pupil center coordinate derived from the eyeball area of the user and a user gaze coordinate corresponding to the pupil center coordinate,
    The gaze determination unit,
    The display apparatus, characterized in that the user's gaze on the display screen corresponding to the stored pupil center coordinates is determined as the user's gaze when the pupil center coordinates estimated by the pupil guessing unit match with the stored pupil center coordinates. .
  7. 제6항에 있어서,
    상기 저장부는,
    복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며,
    상기 제어부는,
    상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고,
    상기 시선 판단부는,
    상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 디스플레이 장치.
    The method according to claim 6,
    Wherein,
    Further stores feature information of a face area for each of the plurality of users,
    The control unit,
    Identify the user corresponding to the captured image by using the feature information of the stored face region,
    The gaze determination unit,
    And a pupil center coordinate estimated by the pupil guessing unit with a pupil center coordinate corresponding to the identified user among the stored pupil center coordinates.
  8. 시선 추적 장치에 있어서,
    촬상된 사용자 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부;
    학습 데이터로 사용될 적외선 안구 이미지 정보가 저장된 저장부; 및
    상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부;를 포함하는 시선 추적 장치.
    In the eye tracking apparatus,
    A detector for detecting information about an eyeball area of a user from the captured user image;
    A storage unit for storing infrared eye image information to be used as learning data; And
    And a determination unit determining the eye gaze of the user by estimating a pupil position in the eye region using the information on the eye region detected by the detection unit and the stored infrared eyeball image information.
  9. 제8항에 있어서,
    상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,
    상기 검출부는,
    상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출하는 것을 특징으로 하는 시선 추적 장치.
    9. The method of claim 8,
    The information on the eye region is characterized in that the iris center coordinates,
    Wherein:
    A gaze tracking device for detecting a face region in the captured image, detecting an eye region in the detected face region, detecting an iris region in the detected eye region, and detecting a center coordinate of the detected iris region .
  10. 제9항에 있어서,
    상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,
    상기 판단부는,
    상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부; 및
    상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부;를 포함하는 것을 특징으로 하는 시선 추적 장치.
    10. The method of claim 9,
    The infrared eyeball image information is characterized in that the center coordinates of the pupil contained in the infrared eyeball image,
    The determination unit,
    A pupil guessing unit for estimating the pupil center coordinates of the user from the detected iris center coordinates using a neural network to which an MLP algorithm using the pupil center coordinates as learning data is applied; And
    A gaze determination unit configured to determine a gaze of a user on a display screen using the estimated pupil center coordinates.
  11. 제10항에 있어서,
    상기 저장부는,
    사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며,
    상기 시선 판단부는,
    상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면 상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 시선 추적 장치.
    The method of claim 10,
    Wherein,
    Further storing a pupil center coordinate derived from the eyeball area of the user and a user gaze coordinate corresponding to the pupil center coordinate,
    The gaze determination unit,
    When the pupil center coordinates estimated by the pupil guessing unit coincide with each other by comparing the stored pupil center coordinates, a gaze tracking method of determining a user's gaze on a display screen corresponding to the stored pupil center coordinates as the gaze of the user. Device.
  12. 제11항에 있어서,
    상기 저장부는,
    복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며,
    상기 시선 판단부는,
    상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 시선 추적 장치.
    12. The method of claim 11,
    Wherein,
    Further stores feature information of a face area for each of the plurality of users,
    The gaze determination unit,
    Identify the user corresponding to the captured image by using the feature information of the stored face region, and determine the pupil center coordinates estimated by the pupil guessing unit with the pupil center coordinates corresponding to the identified user among the stored pupil center coordinates. A gaze tracking device, characterized in that the comparison.
  13. 디스플레이 방법에 있어서,
    디스플레이 화면을 제공하는 단계;
    상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 단계;
    상기 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계;
    상기 검출된 안구 영역에 대한 정보와 학습 데이터로 사용될 기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 단계; 및
    상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 단계;를 포함하는 디스플레이 방법.
    In the display method,
    Providing a display screen;
    Imaging an image of a user viewing the display screen;
    Detecting information about an eyeball area of a user from the captured image;
    Determining the gaze of the user by inferring a pupil position in the eyeball area using information on the detected eyeball area and pre-stored infrared eyeball image information to be used as learning data; And
    And controlling an operation of the display apparatus according to the gaze of the user.
  14. 제13항에 있어서,
    상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,
    상기 검출하는 단계는,
    상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계;
    검출된 얼굴 영역에서 안구 영역을 검출하는 단계;
    검출된 안구 영역에서 홍채 영역을 검출하는 단계; 및
    검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 방법.
    The method of claim 13,
    The information on the eye region is characterized in that the iris center coordinates,
    Wherein the detecting comprises:
    Detecting a face area in the captured image;
    Detecting an eyeball area in the detected face area;
    Detecting an iris region in the detected eye region; And
    Detecting iris center coordinates of the detected iris region.
  15. 제14항에 있어서,
    상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,
    상기 판단하는 단계는,
    상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 단계; 및
    상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 방법.
    15. The method of claim 14,
    The infrared eyeball image information is characterized in that the center coordinates of the pupil contained in the infrared eyeball image,
    The determining step,
    Inferring the pupil center coordinates of the user from the detected iris center coordinates using a neural network to which an MLP algorithm using the pupil center coordinates as learning data is applied; And
    And determining the gaze of the user on the display screen using the estimated pupil center coordinates.
  16. 제15항에 있어서,
    상기 시선을 판단하는 단계는,
    아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단하는 것을 특징으로 하는 디스플레이 방법:
    Figure 112013028355618-pat00040

    여기서,
    Figure 112013028355618-pat00041
    Figure 112013028355618-pat00042
    는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고,
    Figure 112013028355618-pat00043
    Figure 112013028355618-pat00044
    는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이며,
    Figure 112013028355618-pat00066
    내지
    Figure 112013028355618-pat00067
    Figure 112013028355618-pat00068
    내지
    Figure 112013028355618-pat00069
    는 캘리브레이션 매트릭스의 미정 계수이다.
    16. The method of claim 15,
    The determining of the gaze may include
    Display method, characterized in that to determine the eyes of the user on the display screen using the following formula:
    Figure 112013028355618-pat00040

    here,
    Figure 112013028355618-pat00041
    And
    Figure 112013028355618-pat00042
    Is the x- and y-axis coordinates of the user's line of sight on the display screen,
    Figure 112013028355618-pat00043
    And
    Figure 112013028355618-pat00044
    Is the x-axis and y-axis coordinates of the pupil center coordinates of the user,
    Figure 112013028355618-pat00066
    To
    Figure 112013028355618-pat00067
    And
    Figure 112013028355618-pat00068
    To
    Figure 112013028355618-pat00069
    Is the unknown coefficient of the calibration matrix.
  17. 제16항에 있어서,
    상기 제어하는 단계는,
    상기 디스플레이 화면 상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이하는 것을 특징으로 하는 디스플레이 방법.
    17. The method of claim 16,
    Wherein the controlling comprises:
    And when the gaze of the user is located on an application icon displayed on the display screen, executing the application corresponding to the application icon to display an application UI.
  18. 제15항에 있어서,
    사용자의 안구영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 저장하는 단계를 더 포함하고,
    상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,
    상기 동공 중심 좌표를 추측하는 단계에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 디스플레이 방법.
    16. The method of claim 15,
    Storing pupil center coordinates derived from the eyeball area of the user and user gaze coordinates corresponding to the pupil center coordinates;
    Determining the eyes of the user on the display screen,
    In the step of estimating the pupil center coordinates, if the estimated pupil center coordinates match with the stored pupil center coordinates, the user's gaze on the display screen corresponding to the stored pupil center coordinates is determined as the user's gaze. Display method.
  19. 제18항에 있어서,
    복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 저장하는 단계를 더 포함하고,
    상기 제어하는 단계는,
    상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고,
    상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,
    상기 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 디스플레이 방법.
    19. The method of claim 18,
    Storing feature information of the face area for each of the plurality of users;
    Wherein the controlling comprises:
    Identify the user corresponding to the captured image by using the feature information of the stored face region,
    Determining the eyes of the user on the display screen,
    And displaying the estimated pupil center coordinates with the pupil center coordinates corresponding to the identified user among the stored pupil center coordinates.
  20. 시선 추적 방법에 있어서,
    촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계; 및
    상기 검출된 안구 영역에 대한 정보와 학습 데이터로 사용될 기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 단계;를 포함하는 시선 추적 방법.
    In the eye tracking method,
    Detecting information about an eyeball area of a user from the captured image; And
    And determining the gaze of the user by estimating a pupil position in the eyeball area using information on the detected eyeball area and pre-stored infrared eyeball image information to be used as learning data.
  21. 제20항에 있어서,
    상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,
    상기 검출하는 단계는,
    상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계;
    검출된 얼굴 영역에서 안구 영역을 검출하는 단계;
    검출된 안구 영역에서 홍채 영역을 검출하는 단계; 및
    검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계;를 포함하는 것을 특징으로 하는 시선 추적 방법.
    21. The method of claim 20,
    The information on the eye region is characterized in that the iris center coordinates,
    Wherein the detecting comprises:
    Detecting a face area in the captured image;
    Detecting an eyeball area in the detected face area;
    Detecting an iris region in the detected eye region; And
    Detecting the iris center coordinates of the detected iris region.
  22. 제21항에 있어서,
    상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,
    상기 판단하는 단계는,
    상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 단계; 및
    상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계;를 포함하는 것을 특징으로 하는 시선 추적 방법.
    The method of claim 21,
    The infrared eyeball image information is characterized in that the center coordinates of the pupil contained in the infrared eyeball image,
    The determining step,
    Inferring the pupil center coordinates of the user from the detected iris center coordinates using a neural network to which an MLP algorithm using the pupil center coordinates as learning data is applied; And
    And determining the gaze of the user on the display screen using the estimated pupil center coordinates.
  23. 제22항에 있어서,
    사용자의 안구영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 저장하는 단계를 더 포함하고,
    상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,
    상기 동공 중심 좌표를 추측하는 단계에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 시선 추적 방법.
    The method of claim 22,
    Storing pupil center coordinates derived from the eyeball area of the user and user gaze coordinates corresponding to the pupil center coordinates;
    Determining the eyes of the user on the display screen,
    In the step of estimating the pupil center coordinates, if the estimated pupil center coordinates match with the stored pupil center coordinates, the user's gaze on the display screen corresponding to the stored pupil center coordinates is determined as the user's gaze. Eye tracking method.
  24. 제23항에 있어서,
    복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 저장하는 단계를 더 포함하고,
    상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,
    상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 시선 추적 방법.
    24. The method of claim 23,
    Storing feature information of the face area for each of the plurality of users;
    Determining the eyes of the user on the display screen,
    Identify the user corresponding to the captured image by using the feature information of the stored face region, and compare the estimated pupil center coordinates with the pupil center coordinates corresponding to the identified user among the stored pupil center coordinates. Eye tracking method.
KR1020110107423A 2011-10-20 2011-10-20 Gaze tracking apparatus, display apparatus and method therof KR101288447B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110107423A KR101288447B1 (en) 2011-10-20 2011-10-20 Gaze tracking apparatus, display apparatus and method therof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110107423A KR101288447B1 (en) 2011-10-20 2011-10-20 Gaze tracking apparatus, display apparatus and method therof

Publications (2)

Publication Number Publication Date
KR20130043366A KR20130043366A (en) 2013-04-30
KR101288447B1 true KR101288447B1 (en) 2013-07-26

Family

ID=48441616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110107423A KR101288447B1 (en) 2011-10-20 2011-10-20 Gaze tracking apparatus, display apparatus and method therof

Country Status (1)

Country Link
KR (1) KR101288447B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019190076A1 (en) * 2018-03-28 2019-10-03 주식회사 비주얼캠프 Eye tracking method and terminal for performing same
KR20210067451A (en) * 2019-11-29 2021-06-08 주식회사 비엔알아이 Reading ability improvement training apparatus and method for providing training service to improve reading ability in connection with reading ability diagnosis apparatus based on eye tracking

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071139A (en) * 2014-12-11 2016-06-21 삼성전자주식회사 Method for calibrating a gaze and electronic device thereof
KR101638095B1 (en) * 2015-01-16 2016-07-20 한국과학기술원 Method for providing user interface through head mount display by using gaze recognition and bio-signal, and device, and computer-readable recording media using the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285956A (en) 2005-03-11 2006-10-19 Fuji Photo Film Co Ltd Red eye detecting method and device, and program
JP2009266086A (en) 2008-04-28 2009-11-12 Omron Corp Line of sight detecting device and method and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285956A (en) 2005-03-11 2006-10-19 Fuji Photo Film Co Ltd Red eye detecting method and device, and program
JP2009266086A (en) 2008-04-28 2009-11-12 Omron Corp Line of sight detecting device and method and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019190076A1 (en) * 2018-03-28 2019-10-03 주식회사 비주얼캠프 Eye tracking method and terminal for performing same
KR20190113252A (en) * 2018-03-28 2019-10-08 주식회사 비주얼캠프 Method for eye-tracking and terminal for executing the same
KR102094953B1 (en) * 2018-03-28 2020-03-30 주식회사 비주얼캠프 Method for eye-tracking and terminal for executing the same
KR20210067451A (en) * 2019-11-29 2021-06-08 주식회사 비엔알아이 Reading ability improvement training apparatus and method for providing training service to improve reading ability in connection with reading ability diagnosis apparatus based on eye tracking
KR102262890B1 (en) 2019-11-29 2021-06-09 주식회사 비엔알아이 Reading ability improvement training apparatus for providing training service to improve reading ability in connection with reading ability diagnosis apparatus based on eye tracking and apparatus for providing service comprising the same

Also Published As

Publication number Publication date
KR20130043366A (en) 2013-04-30

Similar Documents

Publication Publication Date Title
US10616475B2 (en) Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium
US10048749B2 (en) Gaze detection offset for gaze tracking models
US20180211104A1 (en) Method and device for target tracking
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
US9691007B2 (en) Identification apparatus and method for controlling identification apparatus
JP2008146539A (en) Face authentication device
US10318797B2 (en) Image processing apparatus and image processing method
US7925093B2 (en) Image recognition apparatus
US10872272B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
CN108369785A (en) Activity determination
Chen et al. Efficient and robust pupil size and blink estimation from near-field video sequences for human–machine interaction
JP2017033469A (en) Image identification method, image identification device and program
KR101288447B1 (en) Gaze tracking apparatus, display apparatus and method therof
Florea et al. Can Your Eyes Tell Me How You Think? A Gaze Directed Estimation of the Mental Activity.
US9858501B2 (en) Reliability acquiring apparatus, reliability acquiring method, and reliability acquiring program
Pires et al. Visible-spectrum gaze tracking for sports
Ghani et al. GazePointer: A real time mouse pointer control implementation based on eye gaze tracking
WO2020042542A1 (en) Method and apparatus for acquiring eye movement control calibration data
WO2015181729A1 (en) Method of determining liveness for eye biometric authentication
CN106471440A (en) Eye tracking based on efficient forest sensing
CN109375765B (en) Eyeball tracking interaction method and device
Kuo et al. Behavior recognition using multiple depth cameras based on a time-variant skeleton vector projection
Xia et al. Hybrid regression and isophote curvature for accurate eye center localization
JP6822482B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
Kim et al. Gaze tracking based on pupil estimation using multilayer perception

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 7