KR102094953B1 - 시선 추적 방법 및 이를 수행하기 위한 단말 - Google Patents

시선 추적 방법 및 이를 수행하기 위한 단말 Download PDF

Info

Publication number
KR102094953B1
KR102094953B1 KR1020180035690A KR20180035690A KR102094953B1 KR 102094953 B1 KR102094953 B1 KR 102094953B1 KR 1020180035690 A KR1020180035690 A KR 1020180035690A KR 20180035690 A KR20180035690 A KR 20180035690A KR 102094953 B1 KR102094953 B1 KR 102094953B1
Authority
KR
South Korea
Prior art keywords
user
gaze
information
point
gaze tracking
Prior art date
Application number
KR1020180035690A
Other languages
English (en)
Other versions
KR20190113252A (ko
Inventor
석윤찬
이태희
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to KR1020180035690A priority Critical patent/KR102094953B1/ko
Priority to PCT/KR2019/002753 priority patent/WO2019190076A1/ko
Priority to US17/040,256 priority patent/US11216067B2/en
Priority to CN201980001858.0A priority patent/CN110546596A/zh
Publication of KR20190113252A publication Critical patent/KR20190113252A/ko
Application granted granted Critical
Publication of KR102094953B1 publication Critical patent/KR102094953B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G06K9/00221—
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

시선 추적 방법 및 이를 수행하기 위한 단말이 개시된다. 본 발명의 일 실시예에 따른 단말은, 시선 정보와 관련된 다수의 학습 데이터가 축적된 제1 시선 추적 모델을 기반으로 시선을 추적하는 단말로서, 촬영 장치를 이용하여 사용자의 얼굴 이미지를 획득하고, 상기 얼굴 이미지로부터 상기 사용자의 시선 정보를 추출하는 데이터 수집부; 상기 사용자의 시선 정보 및 상기 단말의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 서버로 전송하는 데이터 전송부; 상기 제1 시선 추적 모델에 상기 사용자의 시선 정보 및 상기 위치 정보가 학습된 제2 시선 추적 모델을 상기 서버로부터 수신하는 모델 수신부; 및 상기 제2 시선 추적 모델을 이용하여 상기 사용자의 시선을 추적하는 시선 추적부를 포함한다.

Description

시선 추적 방법 및 이를 수행하기 위한 단말{METHOD FOR EYE-TRACKING AND TERMINAL FOR EXECUTING THE SAME}
본 발명의 실시예들은 시선 추적 기술과 관련된다.
시선 추적(Eye Tracking)은 사용자의 안구 움직임을 감지하여 시선의 위치를 추적하는 기술로서, 영상 분석 방식, 콘택트렌즈 방식, 센서 부착 방식 등의 방법이 사용될 수 있다. 영상 분석 방식은 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서 부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장의 변화를 이용하여 안구의 움직임을 감지하며, 눈을 감고 있는 경우(수면 등)에도 안구 움직임의 검출이 가능하다.
최근, 시선 추적 기술의 적용 대상 기기 및 적용 분야가 점차 확대되고 있으며, 이에 따라 스마트폰 등과 같은 단말에서 광고 서비스를 제공함에 있어 상기 시선 추적 기술을 활용하는 시도가 증가하고 있다. 또한, 딥러닝 기반의 인공지능과 시선 추적 기술을 결합하여 다양한 서비스를 제공하는 여러 응용 사례가 증가하고 있다.
그러나, 각 사용자마다 안구 움직임이 상이할 수 있으며 이에 따라 특정 지점을 응시하는 응시 패턴 또한 각 사용자마다 조금씩 상이할 수 있다. 따라서, 획일화된 시선 정보만으로는 사용자에게 최적화된 시선 추적 모델을 구현하기 어려우며 시선 추적의 정확도 또한 떨어질 수 있다.
한국등록특허 제10-1479471호 (2015.01.13)
본 발명의 실시예들은 사용자에게 최적화된 시선 추적 모델을 이용하여 해당 사용자의 시선을 추적함으로써 시선 추적의 정확도를 향상시키기 위한 것이다.
본 발명의 일 실시예에 따른 단말은, 시선 정보와 관련된 다수의 학습 데이터가 축적된 제1 시선 추적 모델을 기반으로 시선을 추적하는 단말로서, 촬영 장치를 이용하여 사용자의 얼굴 이미지를 획득하고, 상기 얼굴 이미지로부터 상기 사용자의 시선 정보를 추출하는 데이터 수집부; 상기 사용자의 시선 정보 및 상기 단말의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 서버로 전송하는 데이터 전송부; 상기 제1 시선 추적 모델에 상기 사용자의 시선 정보 및 상기 위치 정보가 학습된 제2 시선 추적 모델을 상기 서버로부터 수신하는 모델 수신부; 및 상기 제2 시선 추적 모델을 이용하여 상기 사용자의 시선을 추적하는 시선 추적부를 포함한다.
상기 제2 시선 추적 모델은, 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보에 설정된 서로 다른 가중치가 각각 부여된 후 상기 가중치가 부여된 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보가 상기 제1 시선 추적 모델에 입력됨으로써 생성될 수 있다.
상기 제2 시선 추적 모델은, 각 사용자별로 서로 상이할 수 있다.
상기 사용자의 시선 정보 및 상기 위치 정보가 적용된 상기 제1 시선 추적 모델 또는 상기 제2 시선 추적 모델은, 상기 서버에서 타 단말로 배포될 수 있다.
상기 데이터 수집부는, 상기 사용자가 상기 단말의 화면 내 설정된 복수의 지점을 응시하는 경우 상기 지점 각각을 응시하는 시점에서 촬영된 상기 사용자의 얼굴 이미지 각각으로부터 상기 사용자의 시선 정보를 추출하며, 상기 데이터 전송부는, 상기 사용자의 시선 정보 및 상기 지점 각각의 위치 정보를 상기 서버로 전송할 수 있다.
상기 데이터 수집부는, 상기 화면 내 상기 지점을 응시하는 사용자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점을 상기 사용자가 상기 지점을 응시하는 시점으로 판단할 수 있다.
상기 액션을 입력 받는 시점은, 상기 사용자가 상기 지점을 터치하는 시점, 및 상기 지점에서 설정된 문구를 디스플레이함에 따라 상기 사용자가 음성을 발화하는 경우 상기 발화가 시작되는 시점 중 하나 이상을 포함할 수 있다.
본 발명의 일 실시예에 따른 시선 추적 방법은, 시선 정보와 관련된 다수의 학습 데이터가 축적된 제1 시선 추적 모델을 기반으로 시선을 추적하는 단말에서 수행되는 시선 추적 방법으로서, 촬영 장치를 이용하여 사용자의 얼굴 이미지를 획득하는 단계; 상기 얼굴 이미지로부터 상기 사용자의 시선 정보를 추출하는 단계; 상기 사용자의 시선 정보 및 상기 단말의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 서버로 전송하는 단계; 상기 제1 시선 추적 모델에 상기 사용자의 시선 정보 및 상기 위치 정보가 학습된 제2 시선 추적 모델을 상기 서버로부터 수신하는 단계; 및 상기 제2 시선 추적 모델을 이용하여 상기 사용자의 시선을 추적하는 단계를 포함한다.
상기 제2 시선 추적 모델은, 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보에 설정된 서로 다른 가중치가 각각 부여된 후 상기 가중치가 부여된 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보가 상기 제1 시선 추적 모델에 입력됨으로써 생성될 수 있다.
상기 제2 시선 추적 모델은, 각 사용자별로 서로 상이할 수 있다.
상기 사용자의 시선 정보 및 상기 위치 정보가 적용된 상기 제1 시선 추적 모델 또는 상기 제2 시선 추적 모델은, 상기 서버에서 타 단말로 배포될 수 있다.
상기 추출하는 단계는, 상기 사용자가 단말의 화면 내 설정된 복수의 지점을 응시하는 경우 상기 지점 각각을 응시하는 시점에서 촬영된 상기 사용자의 얼굴 이미지 각각으로부터 상기 사용자의 시선 정보를 추출하며, 상기 전송하는 단계는, 상기 사용자의 시선 정보 및 상기 지점 각각의 위치 정보를 상기 서버로 전송할 수 있다.
상기 추출하는 단계는, 상기 화면 내 상기 지점을 응시하는 사용자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점을 상기 사용자가 상기 지점을 응시하는 시점으로 판단할 수 있다.
상기 액션을 입력 받는 시점은, 상기 사용자가 상기 지점을 터치하는 시점, 및 상기 지점에서 설정된 문구를 디스플레이함에 따라 상기 사용자가 음성을 발화하는 경우 상기 발화가 시작되는 시점 중 하나 이상을 포함할 수 있다.
본 발명의 실시예들에 따르면, 다수의 학습 데이터가 축적된 시선 추적 모델에 사용자의 시선 정보를 입력한 후 학습시켜 해당 사용자에게 최적화된 시선 추적 모델을 새롭게 생성하고 이를 통해 해당 사용자의 시선을 추적함으로써, 시선 추적의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 시선 추적 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 단말의 상세 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 제2 시선 추적 모델이 생성되는 과정을 설명하기 위한 예시도
도 4는 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도
도 5는 예시적인 실시예들에서 사용되기 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 시선 추적 시스템(100)의 상세 구성을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 시선 추적 시스템(100)은 단말(110) 및 서버(120)를 포함한다.
본 발명의 일 실시예에 따른 단말(110)은 사용자의 시선 추적이 가능한 기기로서, 예를 들어 스마트폰, 테블릿 PC 노트북 등과 같은 모바일 기기일 수 있다. 다만, 단말(110)의 종류가 이에 한정되는 것은 아니며, 각종 컨텐츠를 디스플레이하기 위한 화면 및 사용자 촬영을 위한 촬영 장치(미도시)를 구비하는 다양한 통신 기기가 본 발명의 실시예들에 따른 단말(110)에 해당할 수 있다.
단말(110)은 시선 정보와 관련된 다수의 학습 데이터가 축적된 제1 시선 추적 모델을 기반으로 시선을 추적할 수 있다. 상기 제1 시선 추적 모델은 상기 학습 데이터를 기초로 사용자의 시선을 추적하는 데 사용되는 모델로서, 예를 들어 딥러닝(deep learning) 모델일 수 있다. 상기 딥러닝 모델은 예를 들어, 합성곱 신경망(CNN : Convolutional Neural Network) 모델일 수 있다. 또한, 단말(110)은 상기 제1 시선 추적 모델뿐 아니라 기 정의된 영상 처리 기법, 이미지 처리 기법, 수학식 등과 같은 룰 기반(rule-based) 알고리즘을 이용하여 시선 추적을 위한 각종 데이터를 획득할 수 있다. 상기 룰 기반 알고리즘은 예를 들어, 얼굴 인식 알고리즘(예를 들어, 주성분 분석(PCA : Principal Component Analysis), 선형판별 분석(LDA : Linear Discriminant Analysis) 등), 얼굴의 특징점 검출 알고리즘(예를 들어, SVM : Support Vector Machine, SURF: Speeded Up Robust Features 등), 이미지 기반의 헤드-추적(head-tracking) 알고리즘, 눈동자 추출 및 눈동자 위치좌표 계산 알고리즘 등이 될 수 있다.
이때, 단말(110)은 촬영 장치(미도시)를 이용하여 사용자의 얼굴 이미지를 획득하고, 상기 얼굴 이미지로부터 사용자의 시선 정보를 추출할 수 있다. 또한, 단말(110)은 상기 제1 시선 추적 모델을 기반으로 사용자의 시선을 추적하여 단말(110)의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 획득할 수 있다. 단말(110)은 상기 사용자의 시선 정보 및 상기 위치 정보를 서버(120)로 전송할 수 있다. 서버(120)는 상기 사용자의 시선 정보 및 상기 위치 정보를 제1 시선 추적 모델에 적용하여 정확성이 보다 향상된 제1 시선 추적 모델을 생성할 수 있다. 또한, 서버(120)는 제1 시선 추적 모델에 상기 사용자의 시선 정보 및 상기 위치 정보를 반복 학습시켜 제2 시선 추적 모델을 생성하고, 상기 제2 시선 추적 모델을 단말(110)로 전송할 수 있다. 상기 제2 시선 추적 모델은 사용자의 시선 추적을 위해 최적화된 모델로서, 제1 시선 추적 모델을 기반으로 생성될 수 있다. 구체적으로, 상기 제2 시선 추적 모델은 다수의 학습 데이터가 축적된 제1 시선 추적 모델에 상기 사용자의 시선 정보 및 상기 위치 정보가 반복 학습되어 상기 사용자의 특성, 즉 상기 사용자의 응시 패턴이 가중 학습된 모델일 수 있다. 예를 들어, 상기 제2 시선 추적 모델은 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보(즉, 사용자 데이터)에 설정된 서로 다른 가중치가 각각 부여된 후 상기 가중치가 부여된 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보가 제1 시선 추적 모델에 입력됨으로써 생성될 수 있다.
단말(110)은 상기 제2 시선 추적 모델을 서버(120)로부터 수신하고, 상기 제2 시선 추적 모델을 이용하여 상기 사용자의 시선을 추적할 수 있다. 이때, 상기 제2 시선 추적 모델은 각 사용자(또는 각 단말)별로 서로 상이할 수 있다. 단말(110)은 사용자에게 최적화된 시선 추적 모델을 이용하여 상기 사용자의 시선을 추적할 수 있으며, 이에 따라 시선 추적의 정확도가 향상될 수 있다.
서버(120)는 네트워크(미도시)를 통해 단말(110)과 연결될 수 있다. 서버(120)는 단말(110)의 요청에 따라 시선 추적의 기본 모델인 제1 시선 추적 모델을 단말(110)로 전송할 수 있다. 또한, 서버(120)는 단말(110)로부터 사용자의 시선 정보 및 상기 위치 정보를 수신하고, 상기 사용자의 시선 정보 및 상기 위치 정보를 기초로 정확성이 보다 향상된 제1 시선 추적 모델(즉, 개선된 제1 시선 추적 모델) 및 제2 시선 추적 모델을 생성할 수 있다. 이때, 서버(120)는 각 사용자별로 상기 제2 시선 추적 모델을 생성할 수 있다. 구체적으로, 서버(120)는 다수의 학습 데이터가 축적된 제1 시선 추적 모델에 상기 사용자의 시선 정보 및 상기 위치 정보를 설정된 횟수 이상 반복 학습시킴으로써 제2 시선 추적 모델을 생성할 수 있다. 서버(120)는 생성된 제2 시선 추적 모델을 단말(110)로 전송하고, 단말(110)은 상기 제2 시선 추적 모델을 이용하여 사용자의 시선을 추적할 수 있다. 또한, 서버(120)는 개선된 제1 시선 추적 모델 및 제2 시선 추적 모델을 타 단말(미도시)로 배포할 수 있으며, 타 단말은 타 사용자의 시선 정보 및 타 단말의 화면 내에서 타 사용자의 시선이 향하는 지점의 위치 정보를 서버(120)로 전송할 수 있다. 이와 같은 과정을 통해, 제1 시선 추적 모델 및 제2 시선 추적 모델의 정확도가 점차 향상될 수 있다.
도 2는 본 발명의 일 실시예에 따른 단말(110)의 상세 구성을 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 단말(110)은 데이터 수집부(202), 데이터 전송부(204), 모델 수신부(206) 및 시선 추적부(208)를 포함한다.
데이터 수집부(202)는 촬영 장치를 이용하여 사용자의 얼굴 이미지를 획득하고, 얼굴 이미지로부터 사용자의 시선 정보를 추출한다. 이때, 촬영 장치는 예를 들어, 카메라, 캠코더 등이 될 수 있으며, 단말(110)의 일측에 구비될 수 있다. 데이터 수집부(202)는 각종 룰 기반 알고리즘을 이용하여 사용자의 얼굴 영역 및 눈 영역을 추출하고, 이로부터 얼굴 이미지 및 위치좌표, 눈동자 이미지 및 위치좌표, 눈동자의 방향벡터 등과 같은 각종 데이터를 수집할 수 있다. 상기 수집된 사용자의 시선 정보는 후술할 제2 시선 추적 모델을 생성하는 데 사용되는 정보로서, 예를 들어 시선 추적을 위한 애플리케이션(미도시)의 최초 구동시 여러 각도에서 촬영된 사용자의 얼굴 이미지로부터 획득될 수 있다. 다만, 사용자의 시선 정보를 수집하는 시점이 이에 한정되는 것은 아니며, 데이터 수집부(202)는 상기 애플리케이션이 실행되고 있는 도중에 상기 촬영 장치를 이용하여 상기 사용자의 시선 정보를 수시로 수집할 수도 있다. 또한, 데이터 수집부(202)는 후술할 시선 추적부(208)와 연동하여 사용자의 시선 정보와 맵핑되는 위치 정보, 즉 단말(110)의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 획득할 수 있다. 예를 들어, 사용자가 화면 내 X 지점을 응시하는 경우, 데이터 수집부(202)는 X 지점을 응시하는 사용자의 시선 정보 및 상기 X 지점의 위치 정보(예를 들어, 위치 좌표)를 획득할 수 있다.
이때, 데이터 수집부(202)는 사용자가 단말(110)의 화면 내 설정된 복수의 지점을 응시하는 경우 상기 지점 각각을 응시하는 시점에서 촬영된 사용자의 얼굴 이미지 각각으로부터 사용자의 시선 정보를 추출할 수 있다. 또한, 이 경우 데이터 수집부(202)는 상기 지점 각각의 위치 정보를 획득할 수 있다.
이를 위해, 데이터 수집부(202)는 사용자가 단말(110)의 화면 내 특정 지점을 응시하도록 유도하는 내용의 메시지를 상기 화면에 출력할 수 있다. 이에 따라, 사용자는 상기 특정 지점(예를 들어, 화면의 상측, 하측, 좌측, 우측 등)을 응시할 수 있으며, 이 경우 데이터 수집부(202)는 상기 특정 지점을 응시하는 시점에서 촬영된 사용자의 얼굴 이미지로부터 상기 사용자의 시선 정보를 추출할 수 있다.
또한, 데이터 수집부(202)는 보다 정확한 사용자의 응시 시점을 결정하기 위해 상기 화면 내 상기 지점을 응시하는 사용자로부터 설정된 액션을 입력 받을 수 있으며, 상기 액션을 입력 받는 시점을 상기 사용자가 상기 지점을 응시하는 시점으로 판단할 수 있다. 여기서, 상기 액션을 입력 받는 시점은 상기 사용자가 상기 지점을 터치하는 시점, 및 상기 지점에서 설정된 문구를 디스플레이함에 따라 상기 사용자가 음성을 발화하는 경우 상기 발화가 시작되는 시점 중 하나 이상을 포함할 수 있다.
일 예시로서, 사용자가 A 영역을 응시하면서 상기 A 영역을 터치하는 경우, 데이터 수집부(202)는 사용자가 상기 A 영역을 터치하는 시점에서 촬영된 사용자의 얼굴 이미지로부터 상기 사용자의 시선 정보를 추출할 수 있다. 이때, 데이터 수집부(202)는 단말(110)의 배터리 소모를 최소화하기 위해 사용자가 상기 A 영역을 터치하는 시점에서 촬영 장치를 구동시킬 수 있다. 즉, 단말(110)의 촬영 장치는 평상시에 구동되지 않다가 사용자가 설정된 지점을 터치하는 시점에서 구동되어 사용자를 촬영할 수 있다.
다른 예시로서, 데이터 수집부(202)는 A 영역에서 설정된 문구(예를 들어, "당신의 이름을 말하시오.")를 디스플레이하고, 이에 따라 사용자가 음성을 발화하는 경우 상기 발화가 시작되는 시점에서 촬영된 사용자의 얼굴 이미지로부터 상기 사용자의 시선 정보를 추출할 수 있다.
데이터 전송부(204)는 데이터 수집부(202)에 의해 추출된 사용자의 시선 정보 및 단말(110)의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 서버(120)로 전송한다. 이때, 사용자의 시선 정보 및 위치 정보를 전송하기 위해 예를 들어, 와이파이(wi-fi), 지그비(Zigbee), 블루투스(Bluetooth) 등과 같은 무선 통신 방식이 이용될 수 있으나, 이에 한정되는 것은 아니고 다양한 형태의 무선 통신 방식이 이용될 수 있다.
모델 수신부(206)는 서버(120)로부터 제1 시선 추적 모델을 수신한다. 상술한 바와 같이, 제1 시선 추적 모델은 시선 정보와 관련된 다수의 학습 데이터가 축적된 딥러닝 기반의 모델로서, 단말(110)은 상기 제1 시선 추적 모델을 기반으로 사용자의 시선을 추적할 수 있다.
또한, 모델 수신부(206)는 서버(120)로부터 제2 시선 추적 모델을 수신할 수 있다. 상술한 바와 같이, 상기 제2 시선 추적 모델은 다수의 학습 데이터가 축적된 제1 시선 추적 모델에 상기 사용자의 시선 정보 및 상기 위치 정보가 반복 학습되어 상기 사용자의 특성, 즉 상기 사용자의 응시 패턴이 가중 학습된 모델일 수 있다. 상기 제2 시선 추적 모델은 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보에 설정된 서로 다른 가중치(예를 들어, 0.2, 0.8)가 각각 부여된 후 상기 가중치가 부여된 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보가 상기 제1 시선 추적 모델에 입력됨으로써 생성될 수 있다.
시선 추적부(208)는 제1 시선 추적 모델 또는 제2 시선 추적 모델을 이용하여 사용자의 시선을 추적한다. 시선 추적부(208)는 제1 시선 추적 모델을 이용하여 사용자의 시선을 추적하되, 시선 추적의 정확도를 보다 향상시키기 위해 해당 사용자에게 최적화된 제2 시선 추적 모델을 이용하여 해당 사용자의 시선을 추적할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 제2 시선 추적 모델(303)이 생성되는 과정을 설명하기 위한 예시도이다.
도 3을 참조하면, 제1 시선 추적 모델(301)은 딥러닝(deep learning) 기반으로 시선 정보와 관련된 다수의 학습데이터가 축적되어 생성된다. 예를 들어, 제1 시선 추적 모델(301)은 임의의 사용자들(예를 들어, 사용자 A, B, C, D 및 E)로부터 수집된 복수의 시선 정보(예를 들어, A-1 내지 A-3, B-1, C-1 내지 C-3, D-1, D-2, E-1 내지 E-3)를 포함하는 학습 데이터를 기반으로 사용자의 시선을 추적하는 모델일 수 있다.
또한, 제2 시선 추적 모델(303)은 학습 데이터와, 사용자의 시선 정보 및 상기 위치 정보에 설정된 서로 다른 가중치가 각각 부여된 후 가중치가 부여된 학습 데이터와, 사용자의 시선 정보 및 상기 위치 정보가 제1 시선 추적 모델(301)에 입력됨으로써 생성될 수 있다. 이때, 제2 시선 추적 모델은 각 사용자별로 서로 상이할 수 있다. 예를 들어, 제2 시선 추적 모델(303)이 A 사용자에 대한 시선 추적 모델이라 가정하는 경우, 서버(120)는 A 사용자에 대한 시선 정보(A-1, A-2, A-3, A-4, A-5, A-6 등)(및 상기 위치 정보)를 단말(110)로부터 수신하고, 상기 A 사용자에 대한 시선 정보(및 상기 위치 정보)를 제1 시선 추적 모델(301)에 반복 학습시킬 수 있다. 서버(120)는 상기 A 사용자에 대한 시선 정보(및 상기 위치 정보)와 기 축적된 학습 데이터에 가중치 0.8, 0.2를 각각 부여한 후 이들을 반복 학습시켜 제2 시선 추적 모델(303)을 생성할 수 있다. 이와 같은 과정을 통해 생성된 제2 시선 추적 모델(303)은 A 사용자에게 최적화된 모델로서, A 사용자의 시선을 추적하는 과정에서 사용될 수 있다.
한편, 상술한 예시에서 설명된 0.8, 0.2의 가중치는 일 예시에 불과하며, 상기 가중치는 실시예에 따라 변경될 수 있다.
도 4는 본 발명의 일 실시예에 따른 시선 추적 방법(400)을 설명하기 위한 흐름도이다. 도 4에 도시된 방법은 예를 들어, 도 2에 도시된 단말(110)에 의해 수행될 수 있다.
먼저, 단말(110)은 촬영 장치를 이용하여 사용자의 얼굴 이미지를 획득한다(S402).
다음으로, 단말(110)은 촬영 장치에 의해 촬영된 얼굴 이미지로부터 사용자의 시선 정보를 추출한다(S404). 이때, 단말(110)은 사용자가 단말(110)의 화면 내 설정된 복수의 지점을 응시하는 경우 지점 각각을 응시하는 시점에서 촬영된 사용자의 얼굴 이미지 각각으로부터 사용자의 시선 정보를 추출할 수 있다. 또한, 사용자의 시선 정보는 지점 각각의 위치 정보를 포함할 수 있다.
다음으로, 단말(110)은 추출된 사용자의 시선 정보 및 단말(110)의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 서버(120)로 전송한다(S406).
다음으로, 단말(110)은 제2 시선 추적 모델(303)을 서버(120)로부터 수신한다(S408). 제2 시선 추적 모델(303)은 학습 데이터와, 사용자의 시선 정보 및 상기 위치 정보에 설정된 서로 다른 가중치가 각각 부여된 후 가중치가 부여된 학습 데이터와, 사용자의 시선 정보 및 상기 위치 정보가 제1 시선 추적 모델(301)에 입력됨으로써 생성될 수 있다.
다음으로, 단말(110)은 서버(120)로부터 수신된 제2 시선 추적 모델(303)을 이용하여 사용자의 시선을 추적한다(S410).
한편, 도 4에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 시선 추적 시스템(100), 또는 시선 추적 시스템(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22)는 스크롤 화면, 입력 인터페이스, 입력 화면 등을 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 단말
120: 서버
202: 데이터 수집부
204: 데이터 전송부
206: 모델 수신부
208: 시선 추적부
301: 제1 시선 추적 모델
303: 제2 시선 추적 모델

Claims (14)

  1. 시선 정보와 관련된 다수의 다른 사용자들의 학습 데이터가 축적된 제1 시선 추적 모델을 기반으로 시선을 추적하는 단말로서,
    촬영 장치를 이용하여 사용자의 얼굴 이미지를 획득하고, 상기 얼굴 이미지로부터 상기 사용자의 시선 정보를 추출하는 데이터 수집부;
    상기 사용자의 시선 정보와 상기 제1 시선 추적 모델을 기반으로 상기 단말의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 획득하는 시선 추적부;
    상기 사용자의 시선 정보 및 상기 단말의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 제2 시선 추적 모델의 학습 데이터로 사용하도록 하기 위해 서버로 전송하는 데이터 전송부; 및
    상기 제1 시선 추적 모델에 상기 사용자의 시선 정보 및 상기 위치 정보가 학습된 제2 시선 추적 모델을 상기 서버로부터 수신하는 모델 수신부를 포함하고,
    상기 시선 추적부는, 상기 제2 시선 추적 모델을 이용하여 상기 사용자의 시선을 추적하는, 단말.
  2. 청구항 1에 있어서,
    상기 제2 시선 추적 모델은, 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보에 설정된 서로 다른 가중치가 각각 부여된 후 상기 가중치가 부여된 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보가 상기 제1 시선 추적 모델에 입력됨으로써 생성되는, 단말.
  3. 청구항 1에 있어서,
    상기 제2 시선 추적 모델은, 각 사용자별로 서로 상이한, 단말.
  4. 청구항 1에 있어서,
    상기 사용자의 시선 정보 및 상기 위치 정보가 적용된 상기 제1 시선 추적 모델 또는 상기 제2 시선 추적 모델은, 상기 서버에서 타 단말로 배포되는, 단말.
  5. 청구항 1에 있어서,
    상기 데이터 수집부는, 상기 사용자가 상기 단말의 화면 내 설정된 복수의 지점을 응시하는 경우 상기 지점 각각을 응시하는 시점에서 촬영된 상기 사용자의 얼굴 이미지 각각으로부터 상기 사용자의 시선 정보를 추출하며,
    상기 데이터 전송부는, 상기 사용자의 시선 정보 및 상기 지점 각각의 위치 정보를 상기 서버로 전송하는, 단말.
  6. 청구항 5에 있어서,
    상기 데이터 수집부는, 상기 화면 내 상기 지점을 응시하는 사용자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점을 상기 사용자가 상기 지점을 응시하는 시점으로 판단하는, 단말.
  7. 청구항 6에 있어서,
    상기 액션을 입력 받는 시점은, 상기 사용자가 상기 지점을 터치하는 시점, 및 상기 지점에서 설정된 문구를 디스플레이함에 따라 상기 사용자가 음성을 발화하는 경우 상기 발화가 시작되는 시점 중 하나 이상을 포함하는, 단말.
  8. 시선 정보와 관련된 다수의 다른 사용자들의 학습 데이터가 축적된 제1 시선 추적 모델을 기반으로 시선을 추적하는 단말에서 수행되는 시선 추적 방법으로서,
    촬영 장치를 이용하여 사용자의 얼굴 이미지를 획득하는 단계;
    상기 얼굴 이미지로부터 상기 사용자의 시선 정보를 추출하는 단계;
    상기 사용자의 시선 정보와 상기 제1 시선 추적 모델을 기반으로 상기 단말의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 획득하는 단계;
    상기 사용자의 시선 정보 및 상기 단말의 화면 내에서 상기 사용자의 시선이 향하는 지점의 위치 정보를 제2 시선 추적 모델의 학습 데이터로 사용하도록 하기 위해 서버로 전송하는 단계;
    상기 제1 시선 추적 모델에 상기 사용자의 시선 정보 및 상기 위치 정보가 학습된 제2 시선 추적 모델을 상기 서버로부터 수신하는 단계; 및
    상기 제2 시선 추적 모델을 이용하여 상기 사용자의 시선을 추적하는 단계를 포함하는, 시선 추적 방법.
  9. 청구항 8에 있어서,
    상기 제2 시선 추적 모델은, 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보에 설정된 서로 다른 가중치가 각각 부여된 후 상기 가중치가 부여된 상기 학습 데이터와, 상기 사용자의 시선 정보 및 상기 위치 정보가 상기 제1 시선 추적 모델에 입력됨으로써 생성되는, 시선 추적 방법.
  10. 청구항 8에 있어서,
    상기 제2 시선 추적 모델은, 각 사용자별로 서로 상이한, 시선 추적 방법.
  11. 청구항 8에 있어서,
    상기 사용자의 시선 정보 및 상기 위치 정보가 적용된 상기 제1 시선 추적 모델 또는 상기 제2 시선 추적 모델은, 상기 서버에서 타 단말로 배포되는, 시선 추적 방법.
  12. 청구항 8에 있어서,
    상기 추출하는 단계는, 상기 사용자가 단말의 화면 내 설정된 복수의 지점을 응시하는 경우 상기 지점 각각을 응시하는 시점에서 촬영된 상기 사용자의 얼굴 이미지 각각으로부터 상기 사용자의 시선 정보를 추출하며,
    상기 전송하는 단계는, 상기 사용자의 시선 정보 및 상기 지점 각각의 위치 정보를 상기 서버로 전송하는, 시선 추적 방법.
  13. 청구항 12에 있어서,
    상기 추출하는 단계는, 상기 화면 내 상기 지점을 응시하는 사용자로부터 설정된 액션을 입력 받는 경우 상기 액션을 입력 받는 시점을 상기 사용자가 상기 지점을 응시하는 시점으로 판단하는, 시선 추적 방법.
  14. 청구항 13에 있어서,
    상기 액션을 입력 받는 시점은, 상기 사용자가 상기 지점을 터치하는 시점, 및 상기 지점에서 설정된 문구를 디스플레이함에 따라 상기 사용자가 음성을 발화하는 경우 상기 발화가 시작되는 시점 중 하나 이상을 포함하는, 시선 추적 방법.
KR1020180035690A 2018-03-28 2018-03-28 시선 추적 방법 및 이를 수행하기 위한 단말 KR102094953B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180035690A KR102094953B1 (ko) 2018-03-28 2018-03-28 시선 추적 방법 및 이를 수행하기 위한 단말
PCT/KR2019/002753 WO2019190076A1 (ko) 2018-03-28 2019-03-08 시선 추적 방법 및 이를 수행하기 위한 단말
US17/040,256 US11216067B2 (en) 2018-03-28 2019-03-08 Method for eye-tracking and terminal for executing the same
CN201980001858.0A CN110546596A (zh) 2018-03-28 2019-03-08 一种视线跟踪方法及用于执行所述方法的终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180035690A KR102094953B1 (ko) 2018-03-28 2018-03-28 시선 추적 방법 및 이를 수행하기 위한 단말

Publications (2)

Publication Number Publication Date
KR20190113252A KR20190113252A (ko) 2019-10-08
KR102094953B1 true KR102094953B1 (ko) 2020-03-30

Family

ID=68062333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180035690A KR102094953B1 (ko) 2018-03-28 2018-03-28 시선 추적 방법 및 이를 수행하기 위한 단말

Country Status (4)

Country Link
US (1) US11216067B2 (ko)
KR (1) KR102094953B1 (ko)
CN (1) CN110546596A (ko)
WO (1) WO2019190076A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250242B2 (en) * 2017-09-13 2022-02-15 Visualcamp Co., Ltd. Eye tracking method and user terminal performing same
SE543354C2 (en) * 2019-09-30 2020-12-15 Tobii Ab Methods and systems for a head-mounted device for updating an eye tracking model
KR102587813B1 (ko) * 2021-04-08 2023-10-12 주식회사 이모코그 기계 학습 기반 시선 추적 장치 및 방법
CN116107534A (zh) 2021-11-10 2023-05-12 财团法人工业技术研究院 信息显示方法及其处理装置与信息显示系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101288447B1 (ko) * 2011-10-20 2013-07-26 경북대학교 산학협력단 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
US20180052514A1 (en) * 2015-03-13 2018-02-22 Sensomotoric Insturments Gesellschaft Für Innovati Ve Sensorik Mbh Method for Automatically Identifying at least one User of an Eye Tracking Device and Eye Tracking Device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547123B (zh) * 2012-01-05 2014-02-26 天津师范大学 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法
KR101479471B1 (ko) 2012-09-24 2015-01-13 네이버 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템
KR20140132246A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 오브젝트 선택 방법 및 오브젝트 선택 장치
US9684827B2 (en) * 2014-03-26 2017-06-20 Microsoft Technology Licensing, Llc Eye gaze tracking based upon adaptive homography mapping
CN104156643B (zh) * 2014-07-25 2017-02-22 中山大学 一种利用眼睛视线来实现密码输入的方法及其硬件装置
CN106796443A (zh) * 2014-08-07 2017-05-31 Fove股份有限公司 三维上的凝视点的位置确定方法
WO2018039269A1 (en) * 2016-08-22 2018-03-01 Magic Leap, Inc. Augmented reality display device with deep learning sensors
KR20180025524A (ko) * 2016-08-31 2018-03-09 엘지디스플레이 주식회사 개인 몰입형 표시장치 및 이의 구동방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101288447B1 (ko) * 2011-10-20 2013-07-26 경북대학교 산학협력단 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
US20180052514A1 (en) * 2015-03-13 2018-02-22 Sensomotoric Insturments Gesellschaft Für Innovati Ve Sensorik Mbh Method for Automatically Identifying at least one User of an Eye Tracking Device and Eye Tracking Device

Also Published As

Publication number Publication date
WO2019190076A1 (ko) 2019-10-03
US20210004082A1 (en) 2021-01-07
KR20190113252A (ko) 2019-10-08
US11216067B2 (en) 2022-01-04
CN110546596A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
AU2018280235B2 (en) Face liveness detection method and apparatus, and electronic device
KR102094953B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
WO2021056808A1 (zh) 图像处理方法及装置、电子设备和存储介质
US9529428B1 (en) Using head movement to adjust focus on content of a display
US11436866B2 (en) System and method for eye-tracking
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
WO2022095674A1 (zh) 用于操作移动设备的方法和装置
EP2888716B1 (en) Target object angle determination using multiple cameras
KR20190067433A (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
KR102457247B1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
CN112818733B (zh) 信息处理方法、装置、存储介质及终端
CN111160251B (zh) 一种活体识别方法及装置
US10091436B2 (en) Electronic device for processing image and method for controlling the same
US11715332B2 (en) System and method for eye-tracking
KR102337217B1 (ko) 전자 장치 및 그 동작 방법
KR20190143287A (ko) 홍채와 촬영 장치간 거리 예측 방법 및 이를 수행하기 위한 단말
KR102094944B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
US11250242B2 (en) Eye tracking method and user terminal performing same
OA19067A (en) Face liveness detection method and apparatus, and electronic device.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant