KR102526544B1 - Apparatus and method for eye tracking based on multi array - Google Patents

Apparatus and method for eye tracking based on multi array Download PDF

Info

Publication number
KR102526544B1
KR102526544B1 KR1020160011820A KR20160011820A KR102526544B1 KR 102526544 B1 KR102526544 B1 KR 102526544B1 KR 1020160011820 A KR1020160011820 A KR 1020160011820A KR 20160011820 A KR20160011820 A KR 20160011820A KR 102526544 B1 KR102526544 B1 KR 102526544B1
Authority
KR
South Korea
Prior art keywords
angle image
narrow
wide
array
image capture
Prior art date
Application number
KR1020160011820A
Other languages
Korean (ko)
Other versions
KR20170090881A (en
Inventor
이인재
김현철
황인욱
서정일
이희경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160011820A priority Critical patent/KR102526544B1/en
Publication of KR20170090881A publication Critical patent/KR20170090881A/en
Application granted granted Critical
Publication of KR102526544B1 publication Critical patent/KR102526544B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Abstract

본 발명에 따른 멀티 어레이 기반의 시선추적 장치는 광각 영상 촬영부 및 다수의 협각 영상 촬영부에 대한 캘리브레이션을 수행하는 캘리브레이션 처리부, 광각 영상 정보를 생성하는 광각 영상 촬영부, 멀티 어레이로 배열되어 협각 영상 정보를 생성하는 다수의 협각 영상 촬영부, 광각 영상 정보에서 사용자의 얼굴 및 눈을 검출하고 검출된 얼굴 및 눈의 위치정보에 대응하는 협각 영상 촬영부를 검출하여 활성화시키는 객체 검출부, 활성화된 편각 영상 촬영 장치에서 생성된 편각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성하는 고화질 영상 생성부 및 생성된 고화질 영상으로부터 시선추적을 수행하는 영상 처리부를 포함한다.An eye tracking device based on a multi-array according to the present invention includes a wide-angle image capturing unit and a calibration processing unit that performs calibration for a plurality of narrow-angle image capturing units, a wide-angle image capturing unit that generates wide-angle image information, and a multi-array arranged to obtain a narrow-angle image A plurality of narrow-angle image capture units that generate information, an object detection unit that detects the user's face and eyes from the wide-angle image information and detects and activates the narrow-angle image capture unit corresponding to the detected face and eye location information, and activated polarized image capture It includes a high-definition image generator that generates high-definition face and eye images from polarization image information generated by the device, and an image processor that performs eye tracking from the generated high-definition image.

Figure R1020160011820
Figure R1020160011820

Description

멀티 어레이 기반의 시선추적 장치 및 방법{APPARATUS AND METHOD FOR EYE TRACKING BASED ON MULTI ARRAY}Multi-array based eye tracking device and method {APPARATUS AND METHOD FOR EYE TRACKING BASED ON MULTI ARRAY}

본 발명은 시선추적에 관한 기술로서, 보다 상세하게는 영상 촬영 장치를 이용하여 원거리에 존재하는 객체의 시선을 추적하는 기술이다.The present invention relates to eye tracking technology, and more particularly, to tracking the eye gaze of an object existing at a distance by using an image capturing device.

최근 몇 년 사이 시선추적(Eye Tracking) 기술이 다양한 분야에서 활용되며 각광을 받고 있다. 사용자 경험(User Experience, UX)을 조사하는 관점에서 시선추적과 같은 인지적 정보는 매우 유용하게 활용될 수 있다. 일례로서, 양문형 냉장고 내부를 고객들이 어떻게 인지하고 바라보는지는 설문 조사를 통해서는 얻어내기 힘들지만 시선추적과 같은 방법을 사용하면 매우 명확하고 직관적으로 정보를 얻어낼 수 있다. 이에 따라, 신문, 잡지 등의 광고 및 제품 배치, 디지털 UI 분석 등에 시선추적이 활용되고 있다.In recent years, eye tracking technology has been used in various fields and is in the spotlight. From the perspective of investigating user experience (UX), cognitive information such as eye tracking can be very useful. As an example, it is difficult to obtain information about how customers perceive and view the inside of a double-door refrigerator through a survey, but using a method such as eye tracking can obtain information very clearly and intuitively. Accordingly, eye tracking is being used for advertising and product placement in newspapers and magazines, digital UI analysis, and the like.

이와 같은 시선추적 기술의 경우 대부분 추적거리 100cm 내외의 근거리 위주로 수행되고 있다. 원거리를 위한 시선추적의 경우 안경을 착용하는 착용형 시선기를 사용하거나 비착용형 시선추적기를 사용하고 있다. 원거리에서의 시선추적 정확도를 보장하기 위해서 기본적으로 홍채의 크기가 200X200 pixels 이상인 눈 영상을 획득할 수 있어야 한다. In the case of such eye-tracking technology, most of them are performed mainly at a short distance of about 100 cm tracking distance. In the case of gaze tracking for a long distance, a wearable gaze device that wears glasses or a non-wearable gaze tracker is used. In order to guarantee the accuracy of eye tracking at a distance, it is basically necessary to acquire an eye image with an iris size of 200X200 pixels or more.

고화질 눈영상 획득을 위해 시선 추적 장치는 PTZ(Pan/Tilt/Zoom) 기능을 탑재하지만, 크기와 무게가 커져 착용에 어려움이 있으며 상용화하는데 걸림돌이 되고 있다. 반면에, PTZ 기능을 탑재하지 않는 경우, 거리에 따른 고화질 눈영상 획득에 한계가 있어서 근접한 추적거리에서만 정확도를 보장할 수 있는 문제가 있다. Eye tracking devices are equipped with PTZ (Pan/Tilt/Zoom) functions to acquire high-definition eye images. On the other hand, if the PTZ function is not installed, there is a problem in that accuracy can be guaranteed only at a close tracking distance because there is a limit to acquiring high-quality eye images according to distance.

대한민국 공개특허 제10-2012-0060978호Republic of Korea Patent Publication No. 10-2012-0060978

본 발명이 해결하고자 하는 과제는 시선추적을 위해 카메라 모듈을 멀티 어레이(Multi-array)로 배열하고 선택적으로 활성화시킴으로써, PTZ 기능 없이 원거리에 존재하는 사용자의 고화질 얼굴/눈 영상을 획득하기 위한 장치 및 방법을 제공하는 것이다.The problem to be solved by the present invention is a device for acquiring high-definition face / eye images of a user at a distance without a PTZ function by arranging camera modules in a multi-array for eye tracking and selectively activating them, and is to provide a way

본 발명에 따른 멀티 어레이 기반의 시선추적 장치는 광각 영상 촬영부 및 다수의 협각 영상 촬영부에 대한 캘리브레이션을 수행하는 캘리브레이션 처리부, 광각 영상 정보를 생성하는 광각 영상 촬영부, 멀티 어레이로 배열되어 협각 영상 정보를 생성하는 다수의 협각 영상 촬영부, 광각 영상 정보에서 사용자의 얼굴 및 눈을 검출하고 검출된 얼굴 및 눈의 위치정보에 대응하는 협각 영상 촬영부를 검출하여 활성화시키는 객체 검출부, 활성화된 편각 영상 촬영 장치에서 생성된 편각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성하는 고화질 영상 생성부 및 생성된 고화질 영상으로부터 시선추적을 수행하는 영상 처리부를 포함한다.An eye tracking device based on a multi-array according to the present invention includes a wide-angle image capturing unit and a calibration processing unit that performs calibration for a plurality of narrow-angle image capturing units, a wide-angle image capturing unit that generates wide-angle image information, and a multi-array arranged to obtain a narrow-angle image A plurality of narrow-angle image capture units that generate information, an object detection unit that detects the user's face and eyes from the wide-angle image information and detects and activates the narrow-angle image capture unit corresponding to the detected face and eye location information, and activated polarized image capture It includes a high-definition image generator that generates high-definition face and eye images from polarization image information generated by the device, and an image processor that performs eye tracking from the generated high-definition image.

본 발명에 따른 멀티 어레이 기반의 시선추적 방법은 캘리브레이션 단계를 수행한 후, 광각 영상을 촬영한다. 그리고 촬영된 광각 영상으로부터 얼굴 및 눈을 검출하고, 검출된 얼굴 및 눈의 위치좌표와 대응하는 협각 영상 촬영부의 ID를 검출한다. 다음으로, 사용자 움직임 추적 기반 얼굴 및 눈 검출 영역을 추적하여 얼굴 및 눈의 위치정보 변동여부를 확인하여, 대응하는 협각 영상 촬영부만을 활성화시키고 나머지 협각 영상 촬영부를 비활성화한다. 그리고 협각 영상 스티칭을 통해 고화질 얼굴 및 눈 영상을 생성하고, 고화질 얼굴 및 눈 영상을 통해 시선추적을 수행한다.In the multi-array-based eye tracking method according to the present invention, a wide-angle image is captured after performing a calibration step. In addition, the face and eyes are detected from the captured wide-angle image, and the ID of the narrow-angle image capture unit corresponding to the detected face and eye positional coordinates is detected. Next, the face and eye detection regions based on user motion tracking are tracked to check whether the location information of the face and eyes is changed, and only the corresponding narrow-angle image capture unit is activated and the remaining narrow-angle image capture units are deactivated. Then, high-definition face and eye images are generated through narrow-angle image stitching, and eye tracking is performed through the high-definition face and eye images.

본 발명에 따른 멀티 어레이 기반의 시선추적 장치 및 방법은 PZT 기능을 지원하지 않고 카메라 모듈을 멀티 어레이로 배열한 후, 관련 카메라만을 선택적으로 활성화시킴으로써 시선추적 장치의 크기 및 무게를 줄일 수 있다. 이를 통해, 본 발명은 시선추적 장치의 상용화 및 활성화에 기여할 수 있다. 또한, 현재 멀티미디어 획득 및 영상 처리 기술에 대한 수요가 높아 저가의 소형 HD급 카메라 모듈들이 많이 시판되고 있어 이를 활용하여 원거리 시선추적 장치의 단가를 낮출 수 있다.The eye tracking apparatus and method based on a multi-array according to the present invention can reduce the size and weight of the eye-tracking device by arranging camera modules in a multi-array without supporting the PZT function and then selectively activating only related cameras. Through this, the present invention can contribute to the commercialization and activation of eye tracking devices. In addition, since demand for multimedia acquisition and image processing technology is currently high, many low-priced, small HD-class camera modules are on the market.

도 1은 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 구성도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치의 광각 영상 촬영부 및 협각 영상 촬영부의 멀티 어레이 구조의 다양한 일례를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 협각 영상 촬영부(130)의 사시도이다.
도 4는 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 방법의 흐름도이다.1 is a configuration diagram of a multi-array-based eye tracking device 100 according to an embodiment of the present invention.
2A and 2B are views illustrating various examples of a multi-array structure of a wide-angle image capture unit and a narrow-angle image capture unit of a multi-array-based eye tracking device according to an embodiment of the present invention.
3 is a perspective view of the narrow-angle image capture unit 130 of the multi-array-based eye tracking device 100 according to an embodiment of the present invention.
4 is a flowchart of a multi-array-based eye tracking method according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Terms and words used in this specification are terms selected in consideration of functions in the embodiments, and the meanings of the terms may vary depending on the intention or practice of the invention. Therefore, the terms used in the embodiments to be described later, when specifically defined in the present specification, follow the definition, and when there is no specific definition, they should be interpreted as meanings generally recognized by those skilled in the art.

도 1은 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 구성도이다.1 is a configuration diagram of a multi-array-based eye tracking device 100 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)는 원거리 시선추적 장치의 확산에 걸림돌이 되는 PTZ 기능을 지원(탑재)하지 않고 영상 촬영 모듈을 멀티 어레이로 배열한 후, 선택적으로 활성화시킴으로써, 장치의 크기 및 무게를 줄이면서 사용자의 고화질 얼굴 및 눈 영상을 획득한다.Referring to FIG. 1 , the multi-array-based eye-tracking device 100 according to an embodiment of the present invention does not support (mounts) the PTZ function, which is an obstacle to the spread of long-distance eye-tracking devices, and uses a multi-array image capture module. After arranging, by selectively activating, high-definition face and eye images of the user are acquired while reducing the size and weight of the device.

본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)는 캘리브레이션 처리부(110), 광각 영상 촬영부(120), 다수의 협각 영상 촬영부(130), 객체 검출부(140), 고화질 영상 생성부(150) 및 영상 처리부(160)를 포함한다.The eye tracking device 100 based on a multi-array according to an embodiment of the present invention includes a calibration processor 110, a wide-angle image capture unit 120, a plurality of narrow-angle image capture units 130, an object detector 140, a high-resolution It includes an image generator 150 and an image processor 160.

캘리브레이션 처리부(110)는 광각 영상 촬영부(120)와 다수의 협각 영상 촬영부(130) 사이의 캘리브레이션을 수행한다. 본 발명에 따른 멀티 어레이 기반의 시선추적 장치(100)는 광각 영상 촬영부(120)와 다수의 협각 영상 촬영부(130)를 함께 사용하여 생성된 영상 정보를 활용한다. 따라서, 캘리브레이션 처리부(110)는 캘리브레이션 단계를 거쳐 광각 영상 촬영부(120)의 광각 영상 정보에서의 위치 좌표가 어떤 협각 영상 촬영부(130)의 협각 영상과 매핑될 수 있는지 상호관계 계산이 가능하도록 한다.The calibration processor 110 performs calibration between the wide-angle image capture unit 120 and the plurality of narrow-angle image capture units 130 . The eye tracking device 100 based on the multi-array according to the present invention utilizes image information generated by using the wide-angle image capture unit 120 and the plurality of narrow-angle image capture units 130 together. Therefore, the calibration processing unit 110, through a calibration step, calculates the correlation between the location coordinates in the wide-angle image information of the wide-angle image capture unit 120 and which narrow-angle image of the narrow-angle image capture unit 130 can be mapped. do.

광각 영상 촬영부(120)는 광각(Wide Angle) 영상을 촬영하는 영상 촬영 장비이다. 본 발명은 하나 또는 둘 이상의 광각 영상 촬영부(120)를 활용하여 1차적으로 광각 영상 정보를 획득하고, 획득된 광각 영상 정보를 분석하여 다수의 협각 영상 촬영부(130) 중에서 해당하는 협각 영상 촬영부(13)를 활성화하는 절차를 수행한다. 일례로서, 광각 영상 촬영부(120)는 하나 또는 둘을 포함할 수 있다.The wide-angle image capture unit 120 is an image capture device that captures a wide-angle image. The present invention primarily acquires wide-angle image information by using one or more wide-angle image capture units 120, analyzes the acquired wide-angle image information, and captures a corresponding narrow-angle image among a plurality of narrow-angle image capture units 130. A procedure for activating the unit 13 is performed. As an example, the wide-angle image capture unit 120 may include one or two.

다수의 협각 영상 촬영부(130)는 멀티 어레이(Multi array) 형태로 배열된다. 즉, 다수의 협각 영상 촬영부(130)는 예를 들어, 4*5 형태 또는 기타 다양한 형태로 배열(array)될 수 있다. 다수의 협각 영상 촬영부(130)는 서로 식별할 수 있도록 각각에 식별자(Identification)이 부여된다.A plurality of narrow-angle image capture units 130 are arranged in a multi-array form. That is, the plurality of narrow-angle image capture units 130 may be arranged in a 4*5 shape or various other shapes, for example. Identification is given to each of the plurality of narrow-angle image capture units 130 so that they can be identified from each other.

광각 영상 촬영부(120) 및 협각 영상 촬영부(130)의 배치형태는 후술하는 도면에서 일례를 들어 설명한다.The arrangement of the wide-angle image capture unit 120 and the narrow-angle image capture unit 130 will be described with an example in the drawings to be described later.

객체 검출부(140)는 광각 영상 촬영부(120)에서 생성(촬영)된 광각 영상 정보로부터 피사체인 대상 객체(사용자)의 얼굴을 검출하고, 검출된 얼굴로부터 눈을 검출한다. 객체 검출부(140)에서 사용자의 얼굴 및 눈을 검출하는 과정은 Haar-like 기반 에이다부스트(Adaboost)를 적용할 수 있으며, 딥러닝 기반의 기계학습 방법을 적용하여 검출할 수 있다. 뿐만 아니라, 객체 검출부(140)는 다양한 객체 검출 기술을 활용하여 사용자의 얼굴 및 눈을 검출할 수 있다. 또한, 객체 검출부(140)는 광각 영상 촬영부(120)가 두 개일 경우, 두 개의 광각 영상 촬영부(120)에서 촬영된 광각 영상 정보를 비교하여 검출된 얼굴 및 눈과 광각 영상 촬영부(120) 사이의 거리값을 추가로 산출할 수 있다.The object detector 140 detects a face of a target object (user) as a subject from wide-angle image information generated (captured) by the wide-angle image capture unit 120 and detects eyes from the detected face. In the process of detecting the user's face and eyes in the object detection unit 140, Haar-like-based Adaboost may be applied, and deep learning-based machine learning method may be applied for detection. In addition, the object detector 140 may detect the user's face and eyes using various object detection techniques. In addition, when there are two wide-angle image capture units 120, the object detection unit 140 compares wide-angle image information captured by the two wide-angle image capture units 120 and detects the face and eyes and the wide-angle image capture unit 120. ) can be additionally calculated.

그리고 객체 검출부(140)는 검출된 얼굴 및 눈의 위치 좌표로부터 해당 위치와 연관이 있는 하나 이상의 협각 영상 촬영부(130)의 식별자를 검출한다. 즉, 객체 검출부(140)는 멀티 어레이 형태로 배열된 다수의 협각 영상 찰영부(130)와 검출된 얼굴 및 눈의 위치 좌표를 대비하여, 얼굴 및 눈의 위치 좌표에 대응하는 하나 이상의 협각 영상 촬영부(130)의 식별자를 검출한다. In addition, the object detector 140 detects an identifier of one or more narrow-angle image capture units 130 associated with the corresponding position from the detected positional coordinates of the face and eyes. That is, the object detector 140 compares the plurality of narrow-angle image capture units 130 arranged in a multi-array with the detected face and eye position coordinates, and captures one or more narrow-angle images corresponding to the face and eye position coordinates. The identifier of unit 130 is detected.

다음으로, 객체 검출부(140)는 검출된 협각 영상 촬영부(130)의 식별자를 기반으로 대응하는 하나 이상의 협각 영상 촬영부(130)를 활성화한다. 동시에, 객체 검출부(140)는 대응하지 않는 나머지 협각 영상 촬영부(130)를 비활성화시켜, 활성화된 협각 영상 촬영부(130)의 협각 영상만을 생성한다. 이를 통해, 얼굴 및 눈을 포함한 고화질 영상 생성시 발생할 수 있는 과부하를 줄이고 처리속도를 높일 수 있다.Next, the object detector 140 activates one or more corresponding narrow-angle image capture units 130 based on the detected identifier of the narrow-angle image capture unit 130 . At the same time, the object detector 140 deactivates the remaining narrow-angle image capture units 130 that do not correspond to each other, and generates only the narrow-angle image of the activated narrow-angle image capture unit 130 . Through this, it is possible to reduce overload that may occur when generating high-definition images including faces and eyes and increase processing speed.

객체 검출부(140)는 광각 영상 정보를 이용하여 검출된 얼굴 및 눈 영역을 지속적으로 추적(Tracking)한다. 지속적인 추적을 통해, 객체 검출부(140)는 대응되는 협각 영상 촬영부(130)의 식별자에 변동이 있을 경우, 변동된 식별자에 기반하여 관련 없는 협각 영상 촬영부(130)는 비활성화시키고, 새로이 관련된 협각 영상 촬영부(130)를 활성화시킨다. 그리고 객체 검출부(140)는 얼굴 및 눈 영역에 대한 추적이 실패하면 얼굴 및 눈 검출 기능을 재수행 한다.The object detector 140 continuously tracks the detected face and eye regions using wide-angle image information. Through continuous tracking, if there is a change in the identifier of the corresponding narrow angle image capture unit 130, the object detector 140 deactivates the unrelated narrow angle image capture unit 130 based on the changed identifier, and newly related narrow angle image capture unit 130 through continuous tracking. The image capturing unit 130 is activated. In addition, the object detection unit 140 re-performs the face and eye detection function when tracking of the face and eye regions fails.

고화질 영상 생성부(150)는 활성화된 협각 영상 촬영부(130)로부터 수신된 협각 영상 정보에 기초하여 고화질 영상을 생성한다. 일례로서, 고화질 영상 생성부(150)는 영상 스티칭 기술을 통해 둘 이상의 협각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성한다. 스티칭 기술이란, 다수의 카메라로부터 획득된 다수의 동일시점의 이미지를 하나의 합성된 영상으로 생성하는 기술이다. 고화질 영상 생성부(150)는 다수의 활성화된 협각 영상 촬영부(130)에서 생성된 동일 시점에 대한 다수의 협각 영상 정보를 영상 스티칭 기술을 통해 합성하여 고화질 영상을 생성할 수 있다.The high-definition image generator 150 generates a high-definition image based on the narrow-angle image information received from the activated narrow-angle image capturing unit 130 . As an example, the high-definition image generator 150 generates high-definition face and eye images from two or more narrow-angle image information through image stitching technology. The stitching technique is a technique of generating a plurality of images of the same viewpoint obtained from a plurality of cameras into one synthesized image. The high-definition image generator 150 may generate a high-definition image by synthesizing a plurality of narrow-angle image information for the same viewpoint generated by the plurality of activated narrow-angle image capture units 130 through image stitching technology.

영상 처리부(160)는 고화질 영상 생성부(150)에서 생성된 고화질 얼굴 및 눈 영상에 기초하여 사용자의 시선을 추적하거나, 사용자의 표정을 인식할 수 있다. 또한, 영상 처리부(160)는 고화질 얼굴 및 눈 영상으로부터 사용자를 인식할 수 있다. The image processor 160 may track the user's gaze or recognize the user's facial expression based on the high-definition face and eye images generated by the high-definition image generator 150 . Also, the image processing unit 160 may recognize a user from high-definition face and eye images.

본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)는 PTZ 기능을 구비하지 않기 때문에 경량화 및 소형화가 가능하다. 또한, 멀티 어레이 형태의 다수의 협각 영상 촬영부(130)를 통해 촬영된 협각 영상 정보에 영상 스티칭 기술을 적용하여 고화질 영상을 생성함으로써, PTZ 부재에 따른 인식거리 저하 문제를 해소할 수 있다.Since the multi-array-based eye tracking device 100 according to an embodiment of the present invention does not have a PTZ function, it is possible to reduce the weight and size. In addition, by applying image stitching technology to narrow-angle image information captured through a plurality of narrow-angle image capture units 130 in a multi-array form to generate a high-definition image, it is possible to solve the problem of a recognition distance deterioration due to a PTZ member.

도 2a 및 도 2b는 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치의 광각 영상 촬영부 및 협각 영상 촬영부의 멀티 어레이 구조의 다양한 일례를 나타내는 도면이다.2A and 2B are views illustrating various examples of a multi-array structure of a wide-angle image capture unit and a narrow-angle image capture unit of a multi-array-based eye tracking device according to an embodiment of the present invention.

도 2a 및 도 2b를 참조하면, 본 발명에서, 다수의 협각 영상 촬영부는 멀티 어레이 형태로 배열된다. 도 2a의 (a)는 멀티 어레이로 배열된 다수의 협각 영상 촬영부(220)과 별도로 위치한 하나의 광각 영상 촬영부(210)로 구성된다. 그리고 도 2a의 (b)는 하나의 광각 영상 촬영부(210)가 다수의 협각 영상 촬영부(220)와 함께 멀티 어레이로 배열된다. 이 때, 광각 영상 촬영부(210)의 위치는 시선추적자가 존재할 확률이 낮은 하단의 코너 혹은 상단의 코너에 배치시켜 시선추적 과정을 용이하게 할 수 있다.Referring to FIGS. 2A and 2B , in the present invention, a plurality of narrow angle imaging units are arranged in a multi-array type. 2A(a) is composed of a plurality of narrow-angle image capture units 220 arranged in a multi-array and one wide-angle image capture unit 210 separately located. In (b) of FIG. 2A , one wide-angle image capture unit 210 is arranged in a multi-array together with a plurality of narrow-angle image capture units 220 . At this time, the location of the wide-angle image capture unit 210 may be arranged at a lower corner or an upper corner where the probability of an eye tracker being present is low, thereby facilitating the eye tracking process.

도 2b의 (c)는 두 개의 광각 영상 촬영부(210)와 다수의 협각 영상 촬영부(220)가 함께 멀티 어레이로 배열된다. 광각 영상 촬영부(210)가 두 개일 경우, 두 개의 광각 영상 촬영부(120)에서 촬영된 광각 영상 정보를 비교하여 검출된 얼굴 및 눈과 광각 영상 촬영부(120) 사이의 거리값을 추가로 산출할 수 있다.In (c) of FIG. 2B , two wide-angle image capture units 210 and a plurality of narrow-angle image capture units 220 are arranged in a multi-array. When there are two wide-angle image capture units 210, wide-angle image information captured by the two wide-angle image capture units 120 is compared, and distance values between the detected face and eyes and the wide-angle image capture unit 120 are additionally calculated. can be calculated

다수의 협각 영상 촬영부(220)를 배열할 때, 서로 다른 소정의 각도로 배열할 수 있다. 도 2b의 (d)는 다수의 협각 영상 촬영부(220)를 멀티 어레이로 배열할 때, 하나는 일정각도 위를 보도록 방향을 배치하고, 그 다음 카메라는 일정각도 아래 방향을 보도록 엇갈려 배치할 수 있다. 본 발명에서는 이를 통해, 협각 영상 촬영부(200)의 개수를 줄이면서, 상대적으로 넓은 추적 범위를 커버할 수 있다.When arranging the plurality of narrow-angle image capture units 220, they may be arranged at different predetermined angles. In (d) of FIG. 2B , when a plurality of narrow-angle image capture units 220 are arranged in a multi-array, one may be arranged to look upward at a certain angle, and then the cameras may be alternately arranged to look downward at a certain angle. there is. In the present invention, through this, it is possible to cover a relatively wide tracking range while reducing the number of narrow-angle image capture units 200 .

도 3은 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 협각 영상 촬영부(130)의 사시도이다.3 is a perspective view of the narrow-angle image capture unit 130 of the multi-array-based eye tracking device 100 according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치(100)의 협각 영상 촬영부(130)는 멀티 어레이(Multi array) 형태로 배열될 수 있으며, 다수의 협각 영상 촬영부(130)는 서로 식별할 수 있도록 각각에 식별자(Identification)이 부여된다. 일례로서, 좌측 상단의 협각 영상 촬영부(130)로부터 순차적으로 #1, #2, …, #25와 같은 식별자가 부여될 수 있다.Referring to FIG. 3 , the narrow-angle image capture unit 130 of the multi-array-based eye tracking device 100 according to an embodiment of the present invention may be arranged in a multi-array form, and a plurality of narrow-angle images Identification is given to each of the photographing units 130 so that they can be identified from each other. As an example, sequentially #1, #2, ... from the narrow-angle image capturing unit 130 at the upper left. , an identifier such as #25 may be assigned.

도 4는 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 방법의 흐름도이다.4 is a flowchart of a multi-array-based eye tracking method according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치는 다음과 같은 절차를 통해 시선추적 방법을 수행한다. 먼저 시선추적 장치는 광각 영상 촬영부와 다수의 협각 영상 촬영부 사이의 캘리브레이션을 수행한다(S401). 본 발명에 따른 멀티 어레이 기반의 시선추적 방법은 광각 영상 촬영부와 다수의 협각 영상 촬영부를 함께 사용하여 생성된 영상 정보를 활용한다. 따라서, 캘리브레이션 단계를 거쳐 광각 영상 정보에서의 위치 좌표가 협각 영상과 매핑될 수 있는지 상호관계 계산이 가능하도록 한다.Referring to FIG. 4 , the multi-array-based eye-tracking apparatus according to an embodiment of the present invention performs the eye-tracking method through the following procedure. First, the eye tracking device performs calibration between a wide-angle image capture unit and a plurality of narrow-angle image capture units (S401). The multi-array-based eye tracking method according to the present invention utilizes image information generated by using a wide-angle image capture unit and a plurality of narrow-angle image capture units together. Therefore, it is possible to calculate the correlation between position coordinates in the wide-angle image information and mapped to the narrow-angle image through a calibration step.

다음으로, 시선추적 장치는 광각 영상을 촬영(S402)하고, 광각 영상에서 얼굴 및 눈을 검출한다(S403). 시선추적 장치는 광각 영상 정보로부터 피사체인 대상 객체(사용자)의 얼굴을 검출하고, 검출된 얼굴로부터 눈을 검출한다. 사용자의 얼굴 및 눈을 검출하는 과정은 Haar-like 기반 에이다부스트(Adaboost)를 적용할 수 있으며, 딥러닝 기반의 기계학습 방법을 적용하여 검출할 수 있다. 뿐만 아니라, 다양한 객체 검출 기술을 활용하여 사용자의 얼굴 및 눈을 검출할 수 있다. Next, the gaze tracking device captures a wide-angle image (S402) and detects a face and eyes in the wide-angle image (S403). The gaze tracking device detects a face of a target object (user), which is a subject, from wide-angle image information, and detects eyes from the detected face. The process of detecting the user's face and eyes can apply Haar-like based Adaboost, and can be detected by applying deep learning based machine learning method. In addition, the user's face and eyes may be detected using various object detection technologies.

다음으로, 시선추적 장치는 검출된 얼굴 및 눈의 위치 좌표로부터 해당 위치와 연관이 있는 하나 이상의 협각 영상 촬영부의 식별자(ID)를 검출한다(S404). 즉, 시선추적 장치는 멀티 어레이 형태로 배열된 다수의 협각 영상 찰영부와 검출된 얼굴 및 눈의 위치 좌표를 대비하여, 얼굴 및 눈의 위치 좌표에 대응하는 하나 이상의 협각 영상 촬영부의 식별자를 검출한다.Next, the eye tracking device detects identifiers (IDs) of one or more narrow-angle image capture units associated with the corresponding positions from the detected positional coordinates of the face and eyes (S404). That is, the eye tracking device compares a plurality of narrow-angle image capturing units arranged in a multi-array and the detected face and eye position coordinates, and detects identifiers of one or more narrow-angle imaging units corresponding to the face and eye position coordinates. .

시선추적 장치는 지속적으로 검출된 사용자 얼굴 및 눈 검출 영역을 추적한다(S405). 시선추적 장치는 사용자 움직임 추적 기반으로 지속적인 추적을 통해, 시선추적 장치는 대응되는 협각 영상 촬영부의 식별자에 변동이 발생하는지 여부를 판단한다(S406). The gaze tracking device continuously tracks the detected user's face and eye detection area (S405). Through continuous tracking based on user motion tracking, the eye tracking device determines whether a change occurs in an identifier of a corresponding narrow-angle image capture unit (S406).

얼굴 및 눈 위치에 변동이 발생하지 않으면, 시선추적 장치는 식별자에 기반하여 대응하는 하나 이상의 협각 영상 촬영부를 활성화하고, 대응하지 않는 나머지 협각 영상 촬영부를 비활성화한다(S407). 이를 통해, 활성화된 협각 영상 촬영부의 협각 영상만을 생성하여, 얼굴 및 눈을 포함한 고화질 영상 생성시 발생할 수 있는 과부하를 줄이고 처리속도를 높일 수 있다.If there is no change in the positions of the face and eyes, the eye tracking device activates one or more corresponding narrow-angle image capture units based on the identifier and deactivates the remaining narrow-angle image capture units that do not correspond (S407). Through this, only the narrow-angle image of the activated narrow-angle image capture unit is generated, thereby reducing overload that may occur when generating a high-definition image including the face and eyes and increasing processing speed.

그리고 시선추적 장치는 활성화된 협각 영상 촬영부로부터 수신된 협각 영상 정보에 기초하여 고화질 영상을 생성한다(S408). 일례로서, 영상 스티칭 기술을 통해 둘 이상의 협각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성한다. 시선처리 장치는 다수의 활성화된 협각 영상 촬영부에서 생성된 동일 시점에 대한 다수의 협각 영상 정보를 영상 스티칭 기술을 통해 합성하여 고화질 영상을 생성할 수 있다. 다음으로, 시선처리 장치는 고화질 얼굴 및 눈 영상에 기초하여 사용자의 시선을 추적하거나, 사용자의 표정을 인식한다(S409).The gaze tracking device generates a high-definition image based on the narrow-angle image information received from the activated narrow-angle image capturing unit (S408). As an example, high-definition face and eye images are generated from two or more narrow-angle image information through image stitching technology. The gaze processing device may generate a high-definition image by synthesizing a plurality of narrow-angle image information for the same viewpoint generated by a plurality of activated narrow-angle image capture units through image stitching technology. Next, the gaze processing device tracks the user's gaze or recognizes the user's expression based on the high-definition face and eye images (S409).

S406 단계에서, 얼굴 및 눈의 위치정보가 변동되면, 시선처리 장치는 변동된 얼굴 및 눈의 위치정보에 따라 영상 촬영부ID를 재검출(S404)하여 새로운 얼굴 및 눈 검출 영역을 추척(S405)한다. In step S406, if the positional information of the face and eyes is changed, the gaze processing device re-detects the image capture unit ID according to the changed positional information of the face and eyes (S404) and tracks a new face and eye detection area (S405). do.

본 발명의 일 실시예에 따른 멀티 어레이 기반의 시선추적 장치 및 방법은 PTZ 기능을 구비하지 않기 때문에 경량화 및 소형화가 가능하다. 또한, 멀티 어레이 형태의 다수의 협각 영상 촬영부를 통해 촬영된 협각 영상 정보에 영상 스티칭 기술을 적용하여 고화질 영상을 생성함으로써, PTZ 부재에 따른 인식거리 저하 문제를 해소할 수 있다.Since the multi-array based eye tracking apparatus and method according to an embodiment of the present invention does not have a PTZ function, it is possible to reduce the weight and size. In addition, by applying image stitching technology to narrow-angle image information captured through a plurality of narrow-angle image capture units in a multi-array form to generate a high-definition image, it is possible to solve the problem of a recognition distance deterioration due to a PTZ member.

이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.Although the present invention has been described in detail with preferred embodiments, the present invention is not limited to the above-described embodiments, and various modifications may be made by those skilled in the art within the scope of the technical idea of the present invention. possible.

100: 멀티 어레이 기반의 시선추적 장치
110: 캘리브레이션 처리부
120: 광각 영상 촬영부
130: 협각 영상 촬영부
140: 객체 검출부
150: 고화질 영상 생성부
160: 영상 처리부100: multi-array based eye tracking device
110: calibration processing unit
120: wide-angle video recording unit
130: narrow angle imaging unit
140: object detection unit
150: high-definition image generator
160: image processing unit

Claims (10)

광각 영상 촬영부 및 다수의 협각 영상 촬영부에 대한 캘리브레이션을 수행하는 캘리브레이션 처리부;
광각 영상 정보를 생성하는 광각 영상 촬영부;
멀티 어레이로 배열되어 협각 영상 정보를 생성하는 다수의 협각 영상 촬영부;
광각 영상 정보에서 사용자의 얼굴 및 눈을 검출하고 검출된 얼굴 및 눈의 위치정보에 대응하는 협각 영상 촬영부를 검출하여 활성화시키는 객체 검출부;
활성화된 협각 영상 촬영부에서 생성된 협각 영상 정보로부터 고화질 얼굴 및 눈 영상을 생성하는 고화질 영상 생성부; 및
생성된 고화질 영상으로부터 시선추적을 수행하는 영상 처리부;
를 포함하는 멀티 어레이 기반의 시선추적 장치.a calibration processing unit that performs calibration on the wide-angle image capture unit and the plurality of narrow-angle image capture units;
a wide-angle image capturing unit generating wide-angle image information;
a plurality of narrow-angle image capture units arranged in a multi-array to generate narrow-angle image information;
an object detection unit that detects the user's face and eyes from the wide-angle image information and detects and activates a narrow-angle image capture unit corresponding to the detected face and eye location information;
a high-definition image generator for generating high-definition face and eye images from the narrow-angle image information generated by the activated narrow-angle image capturing unit; and
An image processor performing eye tracking from the generated high-definition image;
A multi-array-based eye tracking device comprising a. 제1항에 있어서,
상기 다수의 협각 영상 촬영부는,
식별할 수 있는 협각 영상 촬영부의 식별자(Identification)가 각각 할당되는 멀티 어레이 기반의 시선추적 장치.According to claim 1,
The plurality of narrow angle imaging units,
An eye-tracking device based on a multi-array in which an identifiable narrow-angle image capturing unit is assigned to each identification. 제2항에 있어서,
상기 객체 검출부는,
상기 검출된 얼굴 및 눈의 위치 좌표로부터 해당 위치와 연관이 있는 적어도 하나의 상기협각 영상 촬영부의 식별자를 검출하는 멀티 어레이 기반의 시선추적 장치.According to claim 2,
The object detection unit,
A multi-array based gaze tracking device for detecting an identifier of at least one narrow angle image capture unit associated with a corresponding position from the detected positional coordinates of the face and eyes. 제2항에 있어서,
상기 객체 검출부는 멀티 어레이 형태로 배열된 상기 다수의 협각 영상 촬영부와 상기 검출된 얼굴 및 눈의 위치 좌표를 대비하여, 얼굴 및 눈의 위치 좌표에 대응하는 적어도 하나의 협각 영상 촬영부의 식별자를 검출하는 멀티 어레이 기반의 시선추적 장치.According to claim 2,
The object detector detects an identifier of at least one narrow-angle image capture unit corresponding to the position coordinates of the face and eyes by comparing the detected position coordinates of the face and eyes with the plurality of narrow-angle image capture units arranged in a multi-array form. A multi-array based eye tracking device. 제1항에 있어서,
상기 고화질 영상 생성부는,
상기 다수의 협각 영상 촬영부에서 생성된 동일 시점에 대한 다수의 상기 협각 영상 정보를 영상 스티칭 처리하여 고화질 영상을 생성하는 멀티 어레이 기반의 시선추적 장치.According to claim 1,
The high-definition image generator,
A multi-array-based eye tracking device for generating a high-definition image by performing image stitching on a plurality of narrow-angle image information for the same viewpoint generated by the plurality of narrow-angle image capture units. 제1항에 있어서,
상기 다수의 협각 영상 촬영부는, 멀티 어레이로 배열되어 구비되며,
적어도 하나의 상기 광각 영상 촬영부는, 상기 멀티 어레이와 분리되어 별도로 구비되는 멀티 어레이 기반의 시선추적 장치.According to claim 1,
The plurality of narrow-angle image capture units are arranged in a multi-array,
At least one of the wide-angle image capturing unit is provided separately from the multi-array based eye tracking device. 제1항에 있어서,
상기 다수의 협각 영상 촬영부는, 멀티 어레이로 배열되어 구비되며,
적어도 하나의 상기 광각 영상 촬영부는, 상기 멀티 어레이 내에 포함되어 구비되는 멀티 어레이 기반의 시선추적 장치.According to claim 1,
The plurality of narrow-angle image capture units are arranged in a multi-array,
At least one of the wide-angle image capturing unit is included in the multi-array based eye tracking device. 제6항 또는 제7항에 있어서,
상기 고화질 영상 생성부는,
상기 광각 영상 촬영부가 복수개 구비됨에 대응하여, 복수개의 상기 광각 영상 촬영부에서 촬영된 복수개의 상기 광각 영상 정보를 비교하고, 검출된 얼굴 및 눈과 상기 복수개의 광각 영상 촬영부 사이의 거리값을 산출하는 멀티 어레이 기반의 시선추적 장치.According to claim 6 or 7,
The high-definition image generator,
Corresponding to the plurality of wide-angle image capture units, a plurality of pieces of wide-angle image information captured by the plurality of wide-angle image capture units are compared, and distance values between detected faces and eyes and the plurality of wide-angle image capture units are calculated. A multi-array based eye tracking device. 제1항에 있어서,
상기 다수의 협각 영상 촬영부는,
상기 멀티 어레이로 배열되되, 상기 멀티 어레이로 배열된 위치에 따라 미리 정해진 방향 및 각도로 마련되는 멀티 어레이 기반의 시선추적 장치.According to claim 1,
The plurality of narrow angle imaging units,
A multi-array-based eye tracking device that is arranged in the multi-array and provided in a predetermined direction and angle according to the position of the multi-array. 멀티 어레이 기반의 시선추적 방법에 있어서,
캘리브레이션 처리부에 의해 광각 영상 정보를 생성하는 광각 영상 촬영부와, 멀티 어레이로 배열되어 협각 영상 정보를 생성하는 다수의 협각 영상 촬영부 사이의 캘리브레이션을 수행하는 단계와,
상기 광각 영상 촬영부에 의해 광각 영상 정보를 획득하는 단계와,
객체 검출부에 의해 상기 획득된 광각 영상 정보로부터 얼굴 및 눈을 검출하고, 검출된 얼굴 및 눈의 위치좌표와 대응하는 적어도 하나의 상기 협각 영상 촬영부를 검출하는 단계와,
상기 객체 검출부에 의해 얼굴 및 눈의 위치정보의 변동여부를 확인하고, 상기 얼굴 및 눈의 위치정보의 변동여부를 고려하여, 상기 적어도 하나의 협각 영상 촬영부의 활성화 또는 비활성화 상태를 결정하는 단계와,
고화질 영상 생성부에 의해 활성화된 상기 적어도 하나의 협각 영상 촬영부에 의해 획득된 적어도 하나의 상기 협각 영상 정보를 조합하여 고화질 얼굴 및 눈 영상을 생성하는 단계와,
영상 처리부에 의해 상기 고화질 얼굴 및 눈 영상을 사용하여 시선추적을 수행하는 단계를 포함하는 멀티 어레이 기반의 시선추적 방법.In the multi-array based gaze tracking method,
performing calibration between a wide-angle image capture unit generating wide-angle image information and a plurality of narrow-angle image capture units arranged in a multi-array to generate narrow-angle image information;
obtaining wide-angle image information by the wide-angle image capturing unit;
detecting a face and eyes from the obtained wide-angle image information by an object detector, and detecting at least one narrow-angle image capture unit corresponding to the positional coordinates of the detected face and eyes;
determining whether the positional information of the face and eyes is changed by the object detector, and determining an activation or inactivation state of the at least one narrow-angle image capturing unit in consideration of the change in the positional information of the face and eyes;
generating a high-definition face and eye image by combining at least one narrow-angle image information acquired by the at least one narrow-angle image capturing unit activated by the high-definition image generating unit;
A multi-array based gaze tracking method comprising the step of performing gaze tracking using the high-definition face and eye images by an image processing unit.
KR1020160011820A 2016-01-29 2016-01-29 Apparatus and method for eye tracking based on multi array KR102526544B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160011820A KR102526544B1 (en) 2016-01-29 2016-01-29 Apparatus and method for eye tracking based on multi array

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160011820A KR102526544B1 (en) 2016-01-29 2016-01-29 Apparatus and method for eye tracking based on multi array

Publications (2)

Publication Number Publication Date
KR20170090881A KR20170090881A (en) 2017-08-08
KR102526544B1 true KR102526544B1 (en) 2023-04-27

Family

ID=59652982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160011820A KR102526544B1 (en) 2016-01-29 2016-01-29 Apparatus and method for eye tracking based on multi array

Country Status (1)

Country Link
KR (1) KR102526544B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3766040A4 (en) 2018-07-20 2021-04-28 Samsung Electronics Co., Ltd. Method and electronic device for recommending image capture mode

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526557B1 (en) 2012-01-31 2015-06-10 한국전자통신연구원 Apparatus and method for gaze tracking based on multiple camera
KR101533686B1 (en) 2014-06-30 2015-07-09 숭실대학교산학협력단 Apparatus and method for tracking gaze, recording medium for performing the method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120060978A (en) 2010-09-30 2012-06-12 한국기초과학지원연구원 Method and Apparatus for 3D Human-Computer Interaction based on Eye Tracking
KR20120057033A (en) * 2010-11-26 2012-06-05 한국전자통신연구원 Gaze tracking system and method for controlling internet protocol tv at a distance
KR101739768B1 (en) * 2012-05-24 2017-05-26 한국전자통신연구원 Gaze tracking system at a distance using stereo camera and narrow angle camera
KR101769177B1 (en) * 2012-10-09 2017-08-18 한국전자통신연구원 Apparatus and method for eye tracking
KR20150067608A (en) * 2013-12-10 2015-06-18 한국전자통신연구원 Gaze tracking method regardless of whether wearing viewing aids and moving

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526557B1 (en) 2012-01-31 2015-06-10 한국전자통신연구원 Apparatus and method for gaze tracking based on multiple camera
KR101533686B1 (en) 2014-06-30 2015-07-09 숭실대학교산학협력단 Apparatus and method for tracking gaze, recording medium for performing the method

Also Published As

Publication number Publication date
KR20170090881A (en) 2017-08-08

Similar Documents

Publication Publication Date Title
US11042994B2 (en) Systems and methods for gaze tracking from arbitrary viewpoints
US20160309081A1 (en) Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
Cho et al. Long range eye gaze tracking system for a large screen
JP6077655B2 (en) Shooting system
US20140085451A1 (en) Gaze detection apparatus, gaze detection computer program, and display apparatus
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
CN101814130A (en) Iris identification device by using camera array and multimodal biometrics identification method
CN105844202A (en) Image recognition system and method
US11137824B2 (en) Physical input device in virtual reality
JP2014039617A (en) Visual axis detection device and visual axis detection method
US11388388B2 (en) System and method for processing three dimensional images
JP5672112B2 (en) Stereo image calibration method, stereo image calibration apparatus, and computer program for stereo image calibration
WO2014028477A1 (en) Systems and methods for iris detection and gaze estimation
CN115223514B (en) Liquid crystal display driving system and method capable of intelligently adjusting parameters
US20170164829A1 (en) Registration Using a Microscope Insert
WO2008132741A2 (en) Apparatus and method for tracking human objects and determining attention metrics
US20180049840A1 (en) Methods and systems for registration using a microscope insert
Reale et al. Pointing with the eyes: Gaze estimation using a static/active camera system and 3D iris disk model
Voit et al. Multi-view head pose estimation using neural networks
KR101739768B1 (en) Gaze tracking system at a distance using stereo camera and narrow angle camera
KR102526544B1 (en) Apparatus and method for eye tracking based on multi array
KR101961266B1 (en) Gaze Tracking Apparatus and Method
JP2017199148A (en) Visual line detection device, visual line detection method and visual line detection-purpose computer program
JP2017102731A (en) Gaze detection device and gaze detection method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant