KR102334139B1 - 적응적 호모그래피 매핑에 기초한 눈 시선 추적 - Google Patents

적응적 호모그래피 매핑에 기초한 눈 시선 추적 Download PDF

Info

Publication number
KR102334139B1
KR102334139B1 KR1020167026540A KR20167026540A KR102334139B1 KR 102334139 B1 KR102334139 B1 KR 102334139B1 KR 1020167026540 A KR1020167026540 A KR 1020167026540A KR 20167026540 A KR20167026540 A KR 20167026540A KR 102334139 B1 KR102334139 B1 KR 102334139B1
Authority
KR
South Korea
Prior art keywords
gaze
data
head
adaptive homography
adaptive
Prior art date
Application number
KR1020167026540A
Other languages
English (en)
Other versions
KR20160138062A (ko
Inventor
젱유 쟝
퀸 카이
지쳉 리우
지아빈 후앙
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160138062A publication Critical patent/KR20160138062A/ko
Application granted granted Critical
Publication of KR102334139B1 publication Critical patent/KR102334139B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Abstract

본 개시 내용은 적응적 호모그래피 매핑 모델과 함께 다수의 카메라들 및/또는 광원들에 기초한 눈 시선 검출에 관한 것이다. 모델을 학습시키는 것은 공간적으로 변하는 시선 오차 및 머리 자세 의존 오차를 통합된 프레임워크에서 동시에 보상하는 것을 포함한다. 양태들은 다양한 머리 위치들에서의 시뮬레이트된 데이터를 사용하여 적응적 호모그래피 모델을 오프라인으로 훈련시키는 것을 포함한다.

Description

적응적 호모그래피 매핑에 기초한 눈 시선 추적{EYE GAZE TRACKING BASED UPON ADAPTIVE HOMOGRAPHY MAPPING}
모바일 디바이스, 핸드헬드 디바이스 및 디스플레이와 같은 관련 기술을 포함하는 컴퓨터가 발전함에 따라, 사람 입력 메커니즘도 유사하게 진보하였다. 음성 인식, 머리 및 골격 추적 그리고 제스처 검출에 기초한 것과 같은 내추럴 사용자 인터페이스(natural user interface)가 키보드, 포인팅 디바이스(마우스 또는 스타일러스) 및/또는 인식된 심볼/필기 입력을 보완하거나, 어떤 경우에, 그를 대체하기 위해 점점 널리 확산되고 있다. 눈 시선 검출(눈 추적)은 또 하나의 내추럴 사용자 인터페이스 기술이다.
한 유형의 눈 추적 기술은 CR(cross-ratio: 교차비) 기반 눈 추적이라고 지칭된다. 이 기술은 교정되지 않은 셋업(uncalibrated setup)에서 단일 카메라를 사용한 피사체의 원격 시선 추정(remote gaze estimation)을 가능하게 하기 위해 평면 투영(plane projectivity)의 불변성을 이용한다. 일반적으로, 적외선 광이 사용자 쪽으로 투사되고, 사용자의 눈으로부터의 각막 반사(글린트(glint))가 카메라에 의해 감지되며 시선을 추적하기 위해 처리된다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 더 기술되는 선택된 대표적인 개념들을 간략화된 형태로 소개하기 위해 제공된 것이다. 이 발명의 내용은 청구된 발명 요지의 핵심적인 특징들 또는 필수적인 특징들을 확인하는 것으로 의도되어 있지도 않고, 청구된 발명 요지의 범주를 제한하게 될 임의의 방식으로 사용되는 것으로 의도되어 있지도 않다.
단순화 가정의 결과로서, 공지된 CR-기반 눈 시선 추적기들의 성능은 피사체가 초기의(고정된) 교정 위치(calibration position)로부터 멀어지는 쪽으로 이동함에 따라 상당히 떨어진다. 이와 동시에, 피사체가 현실 세계 사용에서 일어나는 많은 가능한 x, y 및 z 머리 위치들 각각에서 눈 추적을 교정할 필요가 있는 시스템을 구현하는 것이 실현불가능하다. 이와 같이, CR-기반 및 다른 눈 시선 추적기들에 대한 개선된 기술이 요망된다.
간략히 말하면, 본원에 기술되는 발명 요지의 다양한 양태들은 시선 검출을 달성하기 위한 적응적 호모그래피 매핑(adaptive homography mapping)에 관한 것이다. 하나 이상의 양태들에서, 적어도 4 개의 광원들이 피사체의 눈으로부터의 글린트로서 각막 반사를 발생시키고, 카메라는 글린트를 포함하는 현재 영상을 포착하도록 구성되어 있다. 교정 위치에 상대적인 머리 위치 및/또는 시선 방향(gaze direction)을 나타내는 변수들을 비롯한, 변수들을 통해 학습되는 적응적 호모그래피 매핑 모델은, 피사체의 눈이 현재 주시하고 있는 곳을 나타내는 시선 정보(gaze information)를 출력하기 위해, 글린트에 대응하는 특징 데이터, 동공 관련 데이터 및/또는 시선 데이터를 매칭하도록 구성되어 있다.
하나 이상의 양태들은 시선 검출을 위해 적응적 호모그래피 매핑 모델을 사용하는 것에 관한 것이고, 여기서 적응적 호모그래피 매핑 모델은 공간적으로 변하는 시선 오차(spatially-varying gaze error) 및 교정 위치에 상대적인 머리 자세 의존 오차(head pose-dependent error)를 보상하도록 훈련된다. 현재 글린트 데이터 및 동공 관련 데이터는 영상에 포착되고 영상으로부터 적응적 호모그래피 매핑 모델에 제공되는 특징들로서 처리된다. 현재 시선 정보에 대응하는 특징들에 기초하여 적응적 호모그래피 매핑 모델로부터 데이터가 수신된다.
하나 이상의 양태들은 피사체의 눈을 포함하는 영상 - 이로부터 글린트 데이터 및 동공 관련 데이터가 특징들로서 추출됨 - 을 포착하는 것, 및 시선 방향을 결정하기 위해 특징들을 적응적 호모그래피 매핑 모델에의 입력으로서 사용하는 것에 관한 것이다. 적응적 호모그래피 매핑 모델은 상이한 머리 위치들에서의 예측된 편차 보정 값(bias correction value)들에 대응하는 적어도 어떤 시뮬레이트된 데이터를 사용하여 학습될 수 있다. 적응적 호모그래피 매핑 모델은 상대적 머리 위치(relative head position)에 대응하는 움직임 벡터를 포함하는 제1 예측 변수(predictor variable)를 획득하는 것, 및 시선 방향에 대응하는 제2 예측 변수를 획득하는 것에 의해 학습될 수 있다. 학습하는 것은 복수의 머리 위치들 및 시선 방향들에 대응하는 데이터에 기초하여 목적 함수(objective function)를 최소화하는 것을 포함할 수 있다. 일반적으로, 적응적 호모그래피 매핑 모델은 예측을 위해서는 스케일링(scaling) 및 평행 이동(translation)을 그리고 보정을 위해서는 호모그래피를 사용한다.
다른 장점들은, 도면들과 관련하여 살펴볼 때, 이하의 발명을 실시하기 위한 구체적인 내용으로부터 명백하게 될 수 있다.
본 발명이 첨부 도면들에 제한이 아닌 예로서 도시되어 있고, 도면들에서 유사한 참조 번호들은 유사한 요소들을 나타낸다.
도 1은 하나 이상의 예시적인 구현들에 따른, 눈 시선 검출에서 사용될 수 있는 학습된 적응적 호모그래피 매핑 모델을 비롯한 예시적인 컴포넌트들을 나타낸 블록도.
도 2는 하나 이상의 예시적인 구현들에 따른, 시선 검출을 위해 학습된 적응적 호모그래피 매핑 모델에 대해 특징으로서 사용하기 위해, 글린트가 시선 검출에서 사용하기 위해 어떻게 포착되는지를 나타낸 도면.
도 3은 하나 이상의 예시적인 구현들에 따른, 학습된 적응적 호모그래피 매핑 모델로부터 시선 정보를 획득하기 위해 글린트 및 동공 관련 데이터(예컨대, 동공 중심)가 어떻게 사용되는지를 나타낸 도면.
도 4는 하나 이상의 예시적인 구현들에 따른, 적응적 호모그래피 매핑 모델을 훈련시키기 위해 교차비 기반 변환(cross-ratio-based transformation)들이 어떻게 사용될 수 있는지를 나타낸 도면.
도 5는 하나 이상의 예시적인 구현들에 따른, 다양한 머리 위치들에서 적응적 호모그래피 매핑 모델을 훈련시키는 것을 나타낸 도면.
도 6a와 도 6b, 그리고 도 7a와 도 7b는 하나 이상의 예시적인 구현들에 따른, 시뮬레이트된 훈련 데이터가 머리 움직임으로 인한 매끄러운 스케일링 및 평행 이동 변동에 어떻게 기초할 수 있는지를 예시적으로 나타낸 도면.
도 8은 하나 이상의 예시적인 구현들에 따른, 학습된 적응적 호모그래피 매핑 모델로부터 시선 정보를 획득하기 위해 취해질 수 있는 예시적인 단계들을 나타낸 흐름도.
도 9는 본원에 기술되는 다양한 실시예들의 하나 이상의 양태들이 구현될 수 있는, 모바일 및/또는 핸드헬드 컴퓨팅 및/또는 통신 디바이스 형태의 예시적인 비제한적 컴퓨팅 시스템 또는 운영 환경을 나타낸 블록도.
본원에 기술되는 기술의 다양한 양태들은 일반적으로 교정 위치에서는 보다 높은 정확도로 그리고 머리 움직임 하에서는 보다 안정적으로 시선 예측을 달성하기 위한 적응적 호모그래피 매핑에 관한 것이다. 이것은 공간적으로 변하는 시선 오차 및 머리 자세 의존 오차를 통합된 프레임워크에서 동시에 보상하는 학습 기반 기술에 의해 달성된다. 하나 이상의 양태들에서, 적응적 호모그래피 모델이 시뮬레이트된 데이터를 사용하여 오프라인으로 훈련될 수 있어, 데이터 수집에서 상당한 시간 및 노력을 절감할 수 있고, 환언하면, 피사체가 많은 다양한 가능한 머리 위치들에서 교정을 수행해야 할 필요가 없다. 예를 들어, x, y에 대한 스케일링 항 및 평행 이동 항이 실제로는 매끄럽게 변하고, 따라서 시뮬레이트된 데이터는, 기준 실제 데이터(ground truth data)(의 적어도 일부)로서 사용하기 위해, 편차 보정 호모그래피(bias correcting homography)가 새로운 머리 위치에서 어떻게 변하는지에 관한 예측을 포함할 수 있다.
잘 알 것인 바와 같이, 적응적 호모그래피 매핑은 교정 위치에 상대적인 머리 움직임 및 화면 상에서의 시선의 위치를 포착하는 예측 변수들에 기초한다. 적응적 호모그래피 매핑을 훈련시키기 위한 기준 실제 데이터는, 위치들에서의 시뮬레이션/시뮬레이트된 데이터를 사용하는 것을 비롯하여, 다양한 머리 위치들에서의 일련의 피사체 독립적 교정(subject-independent calibration)을 통해 수집될 수 있다.
온라인 동작 동안, 훈련된 모델이 공간적으로 변하는 시선 오차 및 머리 자세 의존 오차로부터 유발되는 편차를 적응적으로 보정하기 위해 사용된다. 실제로는, 이 실시간 동작이 다른 공지된 눈 시선 기술들보다 더 정확하고 머리 움직임에 대해 더 안정적이다.
이를 위해, 학습 기반 적응 접근법은 글린트 변환을 사용하는 것에 의해 공간적으로 변하는 오차와 머리 움직임으로부터 유발된 오차를, 예컨대, 글린트 패턴들 사이의 기하학적 변환을 고려하는 것에 의해 글린트들 사이의 거리 및/또는 글린트 패턴의 크기 변동을 동시에 보상한다. 그 결과 얻어진 모델은 피사체의 깊이 변동뿐만 아니라 화면 평면에 평행한 움직임도 보상한다. 유의할 점은, 적응 함수가 시뮬레이트된 데이터를 바탕으로 훈련되는 학습 프로세스를 통해 획득될 수 있지만, 시스템 설정(system setup)에 관한 임의의 사전 지식(이용가능한 경우)이 시스템에 용이하게 포함될 수 있다는 것이다.
본 명세서에서의 예들 중 임의의 것이 제한하는 것이 아님을 잘 알 것이다. 예를 들어, 4 개의 광원들 및 하나의 카메라가 예시되어 있지만, (적당한 글린트 패턴을 제공하는) 임의의 수의 카메라들 및 광원들이 임의의 수의 방식들로 배치될 수 있다. 더욱이, 눈 시선을 검출하는 데 사용되는 알고리즘 등이 예에 불과하고, 본원에서 설명되는 기술이 임의의 특정의 것과 무관하고 그것으로 제한되지 않으며, 또한 새로운 알고리즘이 개발될 때 적응될 수 있다. 그에 따라, 본 발명은 본원에 기술되는 임의의 특정의 실시예, 양태, 개념, 구조, 기능, 또는 예로 제한되지 않는다. 오히려, 본원에 기술되는 실시예들, 양태들, 개념들, 구조들, 기능들 또는 예들 중 임의의 것은 제한하는 것이 아니며, 본 발명은 일반적으로 눈 시선 검출에서의 이점들 및 장점들을 제공하는 다양한 방식들로 사용될 수 있다.
도 1은 눈 시선 검출을 수행하는 데 사용될 수 있는 예시적인 컴포넌트들을 나타낸 일반 블록도이다. 도 1에, 컴퓨팅 디바이스(102) 및 디스플레이(104)가 도시되어 있다. 디스플레이(104)는 컴퓨팅 디바이스에 결합된 외부 디스플레이 또는 컴퓨팅 디바이스, 예컨대, 그의 하우징 내에 포함되는 디스플레이일 수 있다.
도 1에 도시된 바와 같이, 복수의 IR 광원들(106(1) 내지 106(m))이, 하나 이상의 IR 광 감지 카메라들(108(1) 내지 108(n))과 함께, 도시되어 있다. 유의할 점은, 교차비 기반 눈 시선 검출을 위해서는, 전형적으로 단일의 카메라로 충분하지만, 존재하는 경우, 다수의 카메라들로부터의 영상들이, 잡음의 효과를 감소시키는 것 등을 위해, 어떤 방식으로 처리되고 결합(예컨대, 평균)될 수 있다는 것이다.
광원들은 레이저 LED(light emitting diode)와 같은 개별 광원, 및/또는 광을 회절/반사시킴으로써 복수의 광원들을 제공하는 광학 요소를 통해 투사하는 LED 등일 수 있다. 유의할 점은 IR 광 감지 카메라들 중 일부 또는 전부가 가시광 카메라들과 결합될 수 있다는 것이다. 또한 유의할 점은 카메라(또는 카메라들)가 디바이스에 부착될 수 있거나 - 예컨대, 가장자리에 매립됨(예컨대, 원으로 둘러싸인 X로 나타내어져 있는 도 2의 카메라(208)) -, 디바이스의 외부에 있을 수 있거나(예컨대, 도 4의 카메라(408)), 이 둘의 조합일 수 있다는 것이다.
교차비 기반 눈 추적에서 이해되는 바와 같이, 호모그래피를 계산할 글린트를 제공하기 위해 적어도 4 개의 광원들이 필요하고, 이 광원들은 그들 중 임의의 하나와 다른 것들 사이에 적어도 3 개의 상이한 방향들이 있도록 하여, 사변형(quadrilateral)을 제공하도록 배열된다 - 예컨대, 도 2에서와 같은 광원들(222 내지 225)의 직사각형 패턴이 전형적인 배열이다 -. 그럼에도 불구하고, 보다 많은 광원들을 포함하는 다른 배열들이 실현가능하고, 예를 들어, 다른 글린트들 중 하나가 검출되지 않을 때 적어도 4 개의 글린트들을 제공하는 것과 같은 이점들을 제공할 수 있다.
제어기(110)는 IR 광원들(106(1) 내지 106(m)) 및/또는 IR 광 감지 카메라들(108(1) 내지 108(n))의 동작을 제어하기 위해 사용될 수 있지만, 하나 이상의 구현들에서, 광원들 및 카메라들이 "항상 켜져(always-on)" 있을 수 있고, 그로써 어쩌면 온/오프 기능을 갖는 전원 이외의 어떤 "제어기"도 필요하지 않다. 유의할 점은 사람이 알아챌 수 없기 때문에 IR 광이 사용되지만, 피사체의 눈이 사용 중인 특정의 가시 광 파장을 차단하는 콘택트 렌즈를 착용하고 있는 것과 같은 특정 상황에서, 가시 광을 사용하는 것이 바람직할 수 있다는 것이다. 이와 같이, 본원에서 사용되는 바와 같이, "광원"은 IR 파장으로 제한되지 않는다.
일반적으로, 하나 이상의 카메라들(108(1) 내지 108(n))은 머리 위치 시선 편차 보정기(head-position gaze bias corrector)(116)에 결합되거나 그를 포함하는, 눈 시선 검출기(114)를 비롯한, 영상 처리 컴포넌트(112)에 피드되는 영상을 포착하고, 본원에 기술되는 바와 같이, 편차 보정기는 훈련된 적응적 호모그래피 매핑 컴포넌트를 포함한다. 영상 처리 컴포넌트(112)는, 처리 중인 주어진 프레임 등에서 사용자가 현재 주시하고 있는 곳을 나타내는 시선 좌표와 같은, 눈 시선 검출 출력(118)을 제공한다. 이러한 출력(118)은, 예컨대, 다른 입력(예컨대, 마우스 클릭 또는 제스처)과 함께 사용하기 위해, 버퍼링될 수 있고, 운영 체제에 의해 (예컨대, 커서를 움직이기 위해) 사용될 수 있으며, 애플리케이션에 의해 (예컨대, 메뉴 항목을 하이라이트하기 위해) 사용될 수 있고 그리고/또는 기타일 수 있다. 일반적으로, 현재 시선 정보는 사용자 인터페이스의 상태를 변경하는 것과 관련하여 조치를 취하기 위해 사용될 수 있다. 눈 시선 검출은, 어쩌면 눈 깜박임 패턴과 같은 다른(예컨대, 제스처) 검출과 결합하여, 다른 상태 변경들을 위해, 예컨대, 디스플레이를 대기 상태 또는 오프 상태로부터 활성 상태로 켜기 위해(또는 그 반대로 하기 위해) 사용될 수 있다.
눈 시선 검출기(114)와 관련하여, 임의의 기존의 또는 개발될 기법들(교차비 기술 등)이 감지된 글린트, 동공 데이터 및 임의의 다른 포착된 특징들을 눈 시선 정보 출력(118)으로 변환하기 위해 이용될 수 있다. 기법들 중 하나 이상의 기법들의 결정들이 최종 출력을 결정하기 위해 결합(예컨대, 평균)될 수 있다. 본원에 기술되는 바와 같이, 머리 위치 시선 편차 보정기(116)는 다른 편차 보정 기법들보다 더 정확하고 안정적인 편차 보정을 눈 시선 검출 알고리즘(114)에 제공한다.
일반적으로, 원격 시선 추적 시스템은 피사체의 눈 영상의 일부로서 포착되는, 글린트라고 지칭되는, 각막 반사를 발생시키기 위해 적외선 광원을 사용하여 동작한다. 포착된 영상은 동공 중심, 각막 반사(예컨대, 안구의 위치를 나타냄) 및/또는 홍채와 공막 사이의 윤곽선(limbus contour)과 같은, 조명 및 시점에 불변인 정보 제공 특징들을 추출하기 위해 처리된다.
유의할 점은, 도 2에서, IR 광원(225)으로부터 반사되는 글린트의 개념이 사용자가 화면 상의 현재 시선 위치(226)를 바라보고 있는 동안 카메라(208)에 의해 포착되는 것으로 도시되어 있다는 것이다. 쉽게 알 수 있는 바와 같이, 다른 광원들(222 내지 224)로부터의 글린트들도 이와 유사하게 동시에 포착된다(그렇지만, 단지 하나의 이러한 눈으로의/카메라로 반사되는 화살표 세트가 도 2에 도시되어 있다).
이해되는 바와 같이, 피사체(228)의 머리 위치 및 시선 위치(226)는 포착되는 글린트들(g1 내지 g4)의 위치 및 크기에 영향을 미친다. 이 정보는, 동공 중심 up와 같은 다른 정보와 함께, 학습된 머리 위치 시선 편차 보정기(116)에 피드되는 영상(302)으로부터 추출되는 특징 데이터(304)에 대응한다. 그곳으로부터, 화면 좌표와 같은 시선 정보(310)가 획득되고 프로그램(312)에 제공된다.
본원에 기술되는 바와 같이, 시선 추정 편차 보정(gaze estimation bias correction)을 위한 호모그래피 기반 방법들은, 어떤 상황들에서, 시선 추정의 정확도 및/또는 안정성을 증가시킨다. 편차 보정을 위한 호모그래피 기반 방법은 편차 보정 호모그래피 변환(bias-correcting homography transformation)을 구현할 수 있다. 편차 보정 호모그래피 변환은 교정 훈련 단계 동안 화면 상의 기준 실제 타겟(ground truth target)에 대한 기본적인 교차비 방법에 의해 예측된 시선 지점(gaze point)들로부터 지점 세트 위치 맞춤(point set registration) 문제를 해결하는 것에 의해 계산될 수 있다.
일반적으로, 호모그래피 기반 방법들은, 도 4에 일반적으로 나타낸 바와 같이, 광축과 시축 오프셋(optical and visual axis offset)을 효과적으로 모델링하기 때문에, 일반적으로 교정 위치에서는 잘 동작한다. 그렇지만, 동공 중심에 대한 평면성(planarity) 가정 및 글린트들에 의해 형성되는 평면으로부터의 모델 오차(model error)로 인해, 공간적으로 변하는 오차가 발생한다. 정확한 예측을 위해, 편차 보정 호모그래피 매핑(bias correcting homography mapping)이 피사체의 시선 방향에 의존할 필요가 있다.
최적의 편차 보정 호모그래피가 머리 위치의 함수이기 때문에 피사체가 교정 위치로부터 멀어지는 쪽으로 이동할 때 호모그래피 기반 방법들의 성능이 상당히 열화된다. 본원에 기술되는 하나 이상의 양태들은 적응적 호모그래피 매핑에 관한 것으로서, 편차 보정 호모그래피가 새로운 머리 위치에서 어떻게 변하는지를, 눈 추적기의 성능이 그 새로운 머리 위치에서 교정된 것처럼 되도록, "예측"하는 것에 관한 것이다. 현재 머리 위치와 교정 위치 사이의 상대적 변화 및 현재 시선 방향에 기초하여 교정 위치에서 계산된 편차 보정 호모그래피의 변동을 예측하는 방식이 기술되어 있다.
호모그래피 기반 편차 보정을 갖는 호모그래피 매핑 교차비와 관련하여, 도 4에 일반적으로 도시된 바와 같이, 4 개의 화면 코너들에 위치된 점광원들을 Li(1≤ i≤ 4)로서, 대응하는 각막 반사를 Gi로서, 그리고 Gi의 영상을 gi로서 표기한다. P는 3D에서의 동공 중심이고 p는 영상에서의 그의 투영이다. 4 개의 점광원들이 화면 코너들에 도시되어 있지만, 많은 상이한 구조, 개수, 배치의 다수의 광원들이 적절한 경우 사용될 수 있고, 4 개의 코너 광이 여기서 예시를 위해 도시되어 있다. 교차비 방법은 그룹 (Li, Gi, gi)의 각각이 동일 평면 - 각각, 평면
Figure 112016092904588-pct00001
로 표기됨 - 에 있는 것으로 가정한다. 평면들
Figure 112016092904588-pct00002
사이의 변환은 호모그래피를 통해 기술될 수 있다. 동공 중심 P가
Figure 112016092904588-pct00003
에 있다는 가정 하에서, 주시점 예측(point of regard prediction)은 수학식 1에 의해 주어진다.
Figure 112016092904588-pct00004
여기서 H gG는 평면
Figure 112016092904588-pct00005
를 평면
Figure 112016092904588-pct00006
에 매핑하고, H GL은 평면
Figure 112016092904588-pct00007
를 평면
Figure 112016092904588-pct00008
에 매핑하며, H CR은 H GL과 H gG의 결합된 변환이다. 그렇지만, 이 단순화 가정들이 실제로는 유효하지 않기 때문에, 큰 시선 추정 편차가 관찰된다.
호모그래피 기반 기법들은 이 시선 추정 편차를 보정하기 위해 다른 호모그래피 변환을 적용한다. 하나의 기법에서, 영상에서의 글린트가 먼저, 정규화된 공간에서의 추정된 시선 지점들을 화면 공간
Figure 112016092904588-pct00009
에서의 예상된 시선 지점들에 매핑하는 데 사용되는 편차 보정 호모그래피에 의해, 정규화된 공간(예컨대, 단위 정사각형(unitary square)
Figure 112016092904588-pct00010
) 상으로 매핑된다. 호모그래피 기반 예측에 의한 주시점 예측은 수학식 2에 의해 주어진다.
Figure 112016092904588-pct00011
여기서
Figure 112016092904588-pct00012
은 영상 공간을 정규화된 공간에 매핑하고 H NL은 정규화된 공간을 화면 공간에 매핑한다. 화면 상의 타겟 위치에 대한 인덱스를 v로서, 타겟 인덱스의 세트를 V로서, 그리고 화면 공간에서의 타겟 위치를 tv로서 표기할 때, 피사체 의존 교정(subject-dependent calibration)의 목표는 재투영 오차(re-projection error)를 최소화하는 최적의 편차 보정 호모그래피
Figure 112016092904588-pct00013
을 구하는 것이다.
Figure 112016092904588-pct00014
여기서 pv는 타겟 v를 주시할 때 영상에서의 2D 동공 중심 위치이다.
다른 호모그래피 매핑 H A를 사용하여 편차 보정 호모그래피 H NL의 변동을 모델링하는 적응적 호모그래피 매핑이 본원에 기술되어 있다. 적응적 호모그래피에 의한 주시점은 수학식 4에 의해 주어진다.
Figure 112016092904588-pct00015
유의할 점은 수학식 4에서, 편차 보정 호모그래피 H NL이 교정에서 수학식 3에서의 동일한 최소화 프로세스에 의해 계산되고 동일한 피사체에 대해 변하지 않은 채로 있다는 것이다. 이와 달리, 적응적 호모그래피 매핑 H A가 교정 위치에 상대적인 현재 머리 위치는 물론 시선 방향에 따라 적응적으로 변할 필요가 있다. 하나 이상의 양태들에서, 적응적 호모그래피가 본원에서 회귀 문제(regression problem)로서 기술된다. 즉, 상대적 머리 위치 및 시선 방향을 기술하는 예측 변수들이 주어진 경우, 본 시스템은 H A에서 값들을 예측하고자 한다.
(머리 위치에 대응하는) 움직임 및 시선 방향(이들로 제한되지 않음)을 비롯한, 상이한 유형의 예측 변수들 x = [xm, xg]T이 사용될 수 있다. 먼저, 교정 위치에서 저장된 글린트의 사변형과 현재 글린트의 사변형 사이의 기하학적 변환을 사용하여 교정 위치에 상대적인 머리 움직임이 포착된다. 실제로는, 상대적 움직임을 인코딩하기 위해 아핀 변환(affine transformation) 또는 상사 변환(similarity transformation)이 사용될 수 있다. 예를 들어, 피사체가 교정 후에 화면 쪽으로 이동할 때, 변환의 스케일 항이 1보다 클 것이다. 호모그래피 변환은 일반적으로 편차 보정과 관련하여 앞서 개괄적으로 기술된 다른 적당한 기법이다.
제1 유형의 예측 변수 xm은 움직임 파라미터들을 벡터화하는 것에 의해 획득된다. 아핀 변환을 사용할 때의 xm에 대한 6차원 벡터 또는 상사 변환을 사용할 때의 xm에 대한 4차원 벡터가 있다. 게다가, 공간적으로 변하는 매핑에 대한 시선 방향을 인코딩하기 위해, 동공 관련 데이터가 특징들 중 하나로서 사용되고 - 예컨대, 정규화된 공간에서의 동공 중심 위치 xg = H CR(p - p0) -, 여기서 p0은 화면의 중심을 주시할 때의 동공 중심 위치이다.
이 예측 변수들을 사용해, 적응적 호모그래피가 차수 2의 다항식 회귀(polynomial regression)(즉, 이차 회귀(quadratic regression))로서 모델링될 수 있다.
Figure 112016092904588-pct00016
이차 회귀에서, 적응적 호모그래피의 값들은 상수항(constant term), 일차항(linear term), 이차항(quadratic term)은 물론 상호작용항(interaction term)을 포함하는 예측 변수들에 대해 선형적이다.
깊이 변동에 대한 오차 보상은 교정 위치와 현재 위치에서의 글린트 사변형의 상대적 크기를 사용하여 평행 이동 보정 벡터를 적응적으로 스케일링하는 것에 의해 달성될 수 있다. 하나 이상의 구현들에서, 본원에서 설명되는 기술은 예측을 위해 스케일링하는 것보다 더 풍부한 변환 세트를 고려하고 보정을 위해 (평행 이동만을 사용하는 대신에) 호모그래피를 사용한다. 최적의 편차 보정 호모그래피의 값은 머리 움직임에 의존한다.
유의할 점은, 피사체로 하여금 각각의 가능한 머리 위치에서 시선을 교정하게 하는 것 대신에, 하나 이상의 구현들에서, 오차 보상이 먼저 시뮬레이션 데이터를 통해 적응을 학습하는 것 그리고 이어서 적응을 학습하기 위한 그 시뮬레이트된 훈련 데이터를 사용하여 현재 평행 이동 벡터를 예측하는 것에 의해 달성될 수 있다는 것이다. 이 방법을 사용하는 것은 상당한 피사체 교정 시간과 노력을 절감할 수 있는 것은 물론 계산 속도를 향상시킬 수 있다. 그에 부가하여, 시뮬레이션의 사용은 예측을 위해 단순히 평행 이동을 사용하는 것보다 더 복잡한 모델을 사용하는 것을 가능하게 한다.
도 5는 하나의 구현의 전체적인 프로세스를 요약한 것이다. 훈련 동안, 머리 위치들 H0 내지 Hn 및 시선 위치들에 대한 다양한 변환들(예컨대, 아핀 변환 A) 각각이 알려져 있고, X = {(A1, g1), (A2, g2), ..., (An, gn)}으로서 표현될 수 있다. 도 5에서 H0 내지 Hn으로서 도시된 대응하는 머리 위치들은 훈련 동안 알려져 있고, 따라서 Y가 학습될 수 있다, Y = {H0 -1H1, H0 -1H2, ..., H0 -1Hn}. 유의할 점은 기준 실제 훈련 데이터(ground truth training data)가, 적어도 부분적으로, 시뮬레이트된 데이터일 수 있다는 것이다.
이와 같이, 앞서 기술된 바와 같이 훈련 동작은 회귀 함수(regression function) f: X -> Y(차수 2의 다항식)를 학습하는 데 사용되는 데이터를 획득한다. 훈련된 데이터에 기초한 이 학습된 머리 위치들 및/또는 회귀 함수는 임의의 적절한 방식으로, 예컨대, 로컬 저장소 및/또는 클라우드 저장소에, 저장될 수 있고, 도 1의 시선 추적 시스템에 의해 액세스가능할 수 있다.
애플리케이션, 온라인 환경 내에, 컴퓨팅 디바이스의 기본 운영 체제 내에, 기타에 있을 수 있는 현재 사용자에 의한 사용 동안, 포착된 글린트 위치들에 대응하는 현재 글린트 세트의 아핀 위치 맞춤(affine registration) A가 영상 포착을 통해 획득된다. 이것이 시선 방향 g와 함께 획득되면, 회귀 y = f(x)(단, x = (A, g)임)을 사용하는 것은 편차 보정 호모그래피 H = H0y를 제공한다.
호모그래피 적응을 학습하는 것과 관련하여, 3차원에서의 머리 위치를 u로서 그리고 샘플링된 머리 위치들의 세트를 U로서 표기한다. 적당한 목적 함수가 수학식 6으로서 정의된다.
Figure 112016092904588-pct00017
여기서 HA,x = f(x, β)(수학식 5)는 적응적 호모그래피에 대한 이차 회귀 모델이다. 적응적 호모그래피를 학습하는 목표는 시뮬레이트된 피사체들이 샘플링된 머리 위치들에 위치될 때 예측된 시선 위치들과 화면 상에서의 기준 실제 시선 위치들 사이의 제곱 오차를 합산하는 것에 의해 재투영 오차를 최소화하는 계수들의 행렬을 찾아내는 것이다.
수학식 6에서 정의된 목적 함수를 최소화하기 위해, 2 단계 접근법이 사용될 수 있다. 첫째, 예측 함수(prediction function)가 대수적 오차(algebraic error)를 최소화하는 것에 의해 추정될 수 있다. 각각의 머리 위치 u에서, 위치 u에서 피사체 의존 교정을 수행하는 것에 의해 최적의 편차 보정 호모그래피
Figure 112016092904588-pct00018
을 계산한다. 이상적으로는, 스케일 인자에 이르기까지,
Figure 112016092904588-pct00019
이다. 프로세스는 이와 같이 예측
Figure 112016092904588-pct00020
와 편차 보정 호모그래피
Figure 112016092904588-pct00021
(마지막 요소는 1로 정규화됨)의 차이 사이의 대수적 오차를 최소화할 수 있고, 여기서
Figure 112016092904588-pct00022
은 기본 교정 위치(default calibration position)에서 계산된 편차 보정 호모그래피이다. 대수적 오차 최소화는 따라서 수학식 7로서 수식화될 수 있다.
Figure 112016092904588-pct00023
여기서 βα는 대수적 오차를 최소화한 후의 추정된 계수들의 행렬이다.
둘째, 수학식 6에서의 재투영 오차를 최소화하기 위해, 프로세스는 βα를 사용한 초기 해(initial solution)부터 시작하고, Levenberg-Marquardt 알고리즘을 사용하여 비선형 최소 제곱 최적화(nonlinear least square optimization)를 수행한다.
교정 프로세스의 하나의 예시적인 구현을 참조하면, 한 세트의 훈련 피사체들이 사용되고, 각각은 화면에 걸쳐 균일하게 분포되어 있는 규칙적인
Figure 112016092904588-pct00024
격자 패턴으로 주시하도록 요청받는다. 하나의 훈련 시나리오에서, 화면 상의 균일하게 분포된 5 x 5 격자가 사용되었다. 훈련 데이터의 수집을 위해, 화면 평면을 x-y 평면으로서 그리고 화면으로부터의 깊이를 월드 좌표계(world coordinate system)에서의 z-축으로서 정의한다. 화면의 전방에 있는 전형적인 작업 공간은 -200mm부터 200mm까지의 범위를 갖고 중심이 위치 [0, 0, 600] mm에 있는 5 x 5 x 5 격자를 사용하여 샘플링될 수 있다. 각각의 머리 위치 u에서, 예컨대, 화면 상의 n x n(예컨대, 5 x 5) 교정 패턴을 사용하여, 수학식 3에서의 피사체 의존 교정을 수행한다. 상이한 눈 파라미터들을 갖는 피사체들을 고려하기 위해, 전형적인 눈 파라미터들의 평균 및 파라미터의 값의 10 퍼센트의 표준 편차를 갖는 가우스 분포(Gaussian distribution)를 사용하여 어떤 수의(예컨대, 50 개의) 가상 피사체들을 랜덤하게 샘플링한다. 예를 들어, 각막 반경의 전형적인 크기는 7.8 mm이다. 프로세스는 이어서 평균 7.8 및 표준 편차 0.78을 갖는 가우스 분포를 사용하여 랜덤한 샘플들을 도출한다.
예를 들어, 전형적인 눈 파라미터들(각막 반경 Rc = 7.8mm, 각막 중심부터 동공 중심까지의 거리 K = 4.2mm, 수평 및 수직 각편위(angular deviation)는 5.0도와 1.5도임)에서 시작하여, 프로세스는 각각의 눈 파라미터의 값을 원래의 값의 [-30, 30]%에 의해 변화시킨다.
피사체의 실제 데이터 대신에 또는 그에 부가하여 시뮬레이트된 데이터가 사용될 수 있다. 예를 들어, 도 6a 및 도 6b는 x, y에 대한 스케일링을 위해 깊이 축을 따라 있는 상이한 머리 위치들에서 계산된 최적의 편차 보정 호모그래피의 값들의 플롯을 나타낸 것이다. 도 7a 및 도 7b는 x, y 상에서의 평행 이동에 대한 유사한 플롯을 나타낸 것이다. 유의할 점은 각각의 호모그래피의 마지막 요소가 1로 정규화된다는 것이다. 알 수 있는 바와 같이, 플롯은 매끄럽다. 이와 같이, 최적의 값들이 기준 실제에 대한 시뮬레이트된 데이터로서 예측될 수 있다.
유의할 점은 피사체에 대한 실제 교정 데이터 대신에 시뮬레이트된 데이터를 사용하는 것이 교차비 기술로 제한되지 않는다는 것이다. (3D 시선 벡터를 추정하고 3D 광선들을 2D 화면 평면과 교차시키는 것에 의해 2D 관심점들을 계산하는) 모델 기반 방법들과 같은, 다른 눈 시선 검출 해결책들이 또한 교정을 위해 시뮬레이션을 사용할 수 있다.
도 8은 학습된 적응적 호모그래피 모델의 실제 사용에서의 예시적인 단계들을 나타낸 일반화된 흐름도이다. 단계(802)는 영상을 포착하고, 영상이 특징들로서 사용(단계(806))하기 위한 글린트 데이터 및 동공 관련 데이터로 처리된다(단계(804)). 훈련된 모델은 보정된 시선 정보 - 예컨대, 피사체의 눈이 화면에서 어디를 주시하고 있는지의 좌표(또는 일반적인 격자 식별자) - 를 계산하는 데 사용되는 머리 위치 보정 데이터를 결정하기 위해 특징 데이터를 사용하고, 이 시선 정보는, 애플리케이션, 온라인 환경, 운영 체제 등과 같은, 시선 추적 시스템의 운영 환경에 의한 사용을 위해 버퍼 등으로 출력될 수 있다. 시선 정보 결과들이 내추럴 사용자 인터페이스 상호작용, 사용자 관심사 해석을 위한 관심 결정(attention determination) 등을 비롯한 많은 상이한 시나리오들에서 사용될 수 있다. 단계(810)는 다른 프레임에 대해 프로세스를 반복하고, 너무 많은 점프를 방지하기 위해 프레임 레이트 또는 어떤 평활화 동작이 사용될 수 있다. 시선 좌표의 변화에 응답하여, 시선 추적 시스템은 사용자의 시선의 변화에 따라 시선 추적 시스템의 다른 동작 또는 응답을 트리거할 수 있다 - 예컨대, 상이한 내추럴 사용자 인터페이스 상호작용을 트리거하거나 중단하거나 개시하고, 사용자 관심사 해석을 위해 상이한 관심 결정을 표시하고, 기타를 할 수 있다 -.
앞서 기술된 방법에서 기술된 것과 같은 적응적 호모그래피는 공지된 호모그래피 기반 방법들을 넘어서는 정확도를 제공하는데, 그 이유는, 머리 움직임으로부터의 편차를 보정하는 것에 부가하여, 적응적 호모그래피가 또한 정규화된 공간에서의 동공 위치 xg에 의해 예측되는 공간적으로 변하는 시선 오차를 고려하기 때문이다.
이상의 기술은 다른 눈 시선 추적 기술들과 결합될 수 있다. 예를 들어, 본원에서 설명되는 기술은 어떤 시스템에서 본원과 동시에 출원된, 발명의 명칭이 "EYE GAZE TRACKING USING BINOCULAR FIXATION CONSTRAINTS"인 동시 계류 중인 미국 특허 출원(대리인 사건 번호 340834.01)에 기술된 것과 같은, 두 눈에 기초한 다른 기술과 결합될 수 있다.
알 수 있는 바와 같이, 적어도 4 개의 광원들 및 하나의 카메라를 포함하는 시스템이 제공되고, 여기서 적어도 4 개의 광원들은 피사체의 눈으로부터의 글린트로서 각막 반사를 발생시키도록 구성되어 있고, 카메라는 글린트를 포함하는 현재 영상을 포착하도록 구성되어 있다. 교정 위치에 상대적인 머리 위치 및/또는 시선 방향을 나타내는 변수들을 비롯한, 변수들을 통해 학습되는 적응적 호모그래피 매핑 모델은, 피사체의 눈이 현재 주시하고 있는 곳을 나타내는 시선 정보를 출력하기 위해, 글린트에 대응하는 특징 데이터, 동공 관련 데이터 및/또는 시선 데이터를 매칭하도록 구성되어 있다.
하나 이상의 양태들에서, 교정 위치에 상대적인 머리 위치들 및 시선 위치들을 나타내는 변수들이 시뮬레이트된 데이터에 적어도 부분적으로 기초할 수 있다. 시뮬레이트된 데이터는 다양한 머리 위치들에서의 예측 변수들을 획득하기 위해 교정을 통해 적응적 호모그래피 매핑을 훈련시키기 위한 기준 실제 데이터를 표현하는 데 사용될 수 있다. 기준 실제 데이터는 적응적 호모그래피를 다항식 회귀로서 모델링한다.
하나 이상의 양태들에서, 교정 위치에 상대적인 머리 위치들을 나타내는 변수들은 아핀 변환, 상사 변환 또는 호모그래피 변환에 의해 인코딩되는 다양한 머리 위치들 간의 상대적 머리 움직임에 대응한다. 시선 방향을 나타내는 변수가 동공 관련 데이터에 의해 인코딩된다.
하나 이상의 양태들은 시선 검출을 위해 적응적 호모그래피 매핑 모델을 사용하는 것에 관한 것이고, 여기서 적응적 호모그래피 매핑 모델은 공간적으로 변하는 시선 오차 및 교정 위치에 대한 머리 자세 의존 오차를 보상하도록 훈련된다. 현재 글린트 데이터 및 동공 관련 데이터는 영상에 포착되고 영상으로부터 적응적 호모그래피 매핑 모델에 제공되는 특징들로서 처리된다. 현재 시선 정보에 대응하는 특징들에 기초하여 적응적 호모그래피 매핑 모델로부터 데이터가 수신된다.
하나 이상의 양태들은, 적응적 호모그래피를 이차 회귀로서 모델링하기 위해 복수의 위치 데이터 및 동공 관련 데이터 세트들을 예측 변수들로서 사용하는 것을 비롯하여, 적응적 호모그래피 매핑 모델을 학습시키는 것에 관한 것이다. 복수의 위치 데이터 및 동공 위치 데이터 세트들을 사용하는 것은, 예컨대, 상이한 머리 위치 스케일링 및/또는 평행 이동에서 편차 보정 값들을 예측하는 것에 의해, 적어도 일부 시뮬레이트된 데이터를 사용하는 것을 포함한다.
하나 이상의 양태들은 피사체의 눈을 포함하는 영상 - 이로부터 글린트 데이터 및 동공 관련 데이터가 특징들로서 추출됨 - 을 포착하는 것, 및 시선 방향을 결정하기 위해 특징들을 적응적 호모그래피 매핑 모델에의 입력으로서 사용하는 것에 관한 것이다. 적응적 호모그래피 매핑 모델은 상이한 머리 위치들에서의 예측된 편차 보정 값들에 대응하는 적어도 어떤 시뮬레이트된 데이터를 사용하여 학습될 수 있다. 적응적 호모그래피 매핑 모델은 상대적 머리 위치에 대응하는 움직임 벡터를 포함하는 제1 예측 변수를 획득하는 것, 및 시선 방향에 대응하는 제2 예측 변수를 획득하는 것에 의해 학습될 수 있다. 학습하는 것은 복수의 머리 위치들 및 시선 방향들에 대응하는 데이터에 기초하여 목적 함수를 최소화하는 것을 포함할 수 있다. 일반적으로, 적응적 호모그래피 매핑 모델은 예측을 위해서는 스케일링 및 평행 이동을 그리고 보정을 위해서는 호모그래피를 사용한다.
예시적인 운영 환경
도 9는 본원에 기술되는 발명 요지의 양태들이 구현될 수 있는 적당한 모바일 디바이스(900)의 일 예를 나타낸 것이다. 모바일 디바이스(900)는 디바이스의 일 예에 불과하고, 본원에 기술되는 발명 요지의 양태들의 용도 또는 기능의 범주에 관한 어떤 제한을 암시하는 것으로 의도되어 있지 않다. 모바일 디바이스(900)가 예시적인 모바일 디바이스(900)에 예시된 컴포넌트들 중 임의의 것 또는 그 컴포넌트들의 임의의 조합에 관한 어떤 의존성 또는 요구사항을 갖는 것으로 해석되어서도 안된다. 모바일 디바이스는 스마트폰, 태블릿, 랩톱 등과 같은 핸드헬드 디바이스를 포함할 수 있다. 예를 들어, 카메라(들) 및 광원들이 디스플레이에 탑재되어 있는, 개인용 컴퓨터가 대안적으로 사용될 수 있다.
예시적인 모바일 디바이스(900)는, 외부 컴퓨터들이 모두 적당한 환경인 것을 비롯하여, 안경, 고글 또는 모자, 또는 손목시계형 디바이스와 같은 다른 웨어러블 디바이스 상에 착용될 수 있다. 유의할 점은 안경 및 모자가 머리에 착용되지만, 그들이 머리에 대해 상이한 위치들에 착용될 수 있고 따라서 머리 위치 편차 보정이 적절할 수 있다는 것이다.
도 9를 참조하면, 본원에 기술되는 발명 요지의 양태들을 구현하기 위한 예시적인 디바이스는 모바일 디바이스(900)를 포함한다. 일부 실시예에서, 모바일 디바이스(900)는 휴대폰, 다른 사람들과의 음성 통신을 가능하게 하는 핸드헬드 디바이스, 어떤 다른 음성 통신 디바이스 등을 포함한다. 이 실시예들에서, 모바일 디바이스(900)는 사진을 촬영하기 위한 카메라를 갖추고 있을 수 있지만, 다른 실시예들에서는, 이것이 필요하지 않을 수 있다. 다른 실시예들에서, 모바일 디바이스(900)는 PDA(personal digital assistant), 핸드헬드 게임 디바이스, 노트북 컴퓨터, 프린터, 셋톱, 미디어 센터, 또는 다른 가전 제품을 비롯한 가전 제품, 다른 모바일 디바이스 등을 포함할 수 있다. 또 다른 실시예들에서, 모바일 디바이스(900)는, 개인용 컴퓨터, 서버 등과 같은, 일반적으로 비모바일(non-mobile)인 것으로 생각되는 디바이스들을 포함할 수 있다.
모바일 디바이스(900)의 컴포넌트들은 처리 유닛(905), 시스템 메모리(910), 및 시스템 메모리(910)를 비롯한 다양한 시스템 컴포넌트들을 처리 유닛(905)에 결합시키는 버스(915)를 포함할 수 있지만, 이들로 제한되지 않는다. 버스(915)는 메모리 버스, 메모리 제어기, 주변기기 버스(peripheral bus), 및 각종의 버스 아키텍처들 중 임의의 것을 사용하는 로컬 버스 등을 비롯한 몇 가지 유형의 버스 구조들 중 임의의 것을 포함할 수 있다. 버스(915)는 모바일 디바이스(900)의 다양한 컴포넌트들 사이에서 데이터가 전송될 수 있게 한다.
모바일 디바이스(900)는 각종의 컴퓨터 판독가능/머신 판독가능 매체를 포함할 수 있다. 이러한 매체는 모바일 디바이스(900)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 그리고 이동식 및 비이동식 매체 둘 다를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보를 저장하기 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광 디스크 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하는 데 사용될 수 있고 모바일 디바이스(900)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다.
통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 반송파 또는 다른 전송 메커니즘과 같은 피변조 데이터 신호(modulated data signal)에 구현하고 임의의 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경된 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 연결(direct-wired connection)과 같은 유선 매체와, 음향, RF, 블루투스®, 무선 USB, 적외선, Wi-Fi, WiMAX, 및 다른 무선 매체와 같은 무선 매체를 포함한다. 상기한 것들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 매체의 범주 내에 포함되어야 한다.
시스템 메모리(910)는 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함하고 ROM(read only memory) 및 RAM(random access memory)을 포함할 수 있다. 휴대폰과 같은 모바일 디바이스에서, 운영 체제 코드(920)는 때때로 ROM에 포함되어 있지만, 다른 실시예들에서, 꼭 이럴 필요는 없다. 이와 유사하게, 애플리케이션 프로그램들(925)이 종종 RAM에 위치되지만, 다시 말하지만, 다른 실시예들에서는, 애플리케이션 프로그램들이 ROM에 또는 다른 컴퓨터 판독가능 메모리에 위치될 수 있다. 힙(heap)(930)은 운영 체제(920) 및 애플리케이션 프로그램들(925)과 연관된 상태를 위한 메모리를 제공한다. 예를 들어, 운영 체제(920) 및 애플리케이션 프로그램들(925)은 그들의 동작 동안 변수들 및 데이터 구조들을 힙(930)에 저장할 수 있다.
모바일 디바이스(900)는 다른 이동식/비이동식, 휘발성/비휘발성 메모리도 포함할 수 있다. 예로서, 도 9는 플래시 카드(935), 하드 디스크 드라이브(835), 및 메모리 스틱(937)을 나타내고 있다. 하드 디스크 드라이브(936)는, 예를 들어, 메모리 슬롯(memory slot)에 꼭 들어맞도록 소형화될 수 있다. 모바일 디바이스(900)는 이동식 메모리 인터페이스(931)를 통해 이 유형들의 비휘발성 이동식 메모리와 인터페이싱할 수 있거나, USB(universal serial bus), IEEE 9394, 유선 포트(들)(940) 또는 안테나(들)(965) 중 하나 이상을 통해 연결될 수 있다. 이 실시예들에서, 이동식 메모리 디바이스들(935 내지 937)은 통신 모듈(들)(932)을 통해 모바일 디바이스와 인터페이싱할 수 있다. 일부 실시예에서, 이 유형의 메모리 전부가 단일의 모바일 디바이스 상에 포함되어 있지는 않을 수 있다. 다른 실시예들에서, 이 유형 및 다른 유형의 이동식 메모리 중 하나 이상이 단일의 모바일 디바이스 상에 포함될 수 있다.
일부 실시예에서, 하드 디스크 드라이브(936)는 모바일 디바이스(900)에 보다 영구적으로 접속되는 방식으로 연결될 수 있다. 예를 들어, 하드 디스크 드라이브(936)는 버스(915)에 연결될 수 있는, PATA(parallel advanced technology attachment), SATA(serial advanced technology attachment) 등과 같은 인터페이스에 연결될 수 있다. 이러한 실시예에서, 하드 드라이브를 제거하는 것은 모바일 디바이스(900)의 커버를 제거하는 것 및 하드 드라이브(936)를 모바일 디바이스(900) 내의 지지 구조물들에 연결시키는 나사들 또는 다른 체결구들을 제거하는 것을 수반할 수 있다.
이상에서 논의되고 도 9에 예시되어 있는 이동식 메모리 디바이스들(935 내지 937) 및 이들과 연관된 컴퓨터 저장 매체는 모바일 디바이스(900)에 대한 컴퓨터 판독가능 명령어, 프로그램 모듈, 데이터 구조, 및 다른 데이터의 저장을 제공한다. 예를 들어, 이동식 메모리 디바이스 또는 디바이스들(935 내지 937)은 모바일 디바이스(900)에 의해 촬영된 영상, 음성 녹음, 연락처 정보, 프로그램, 프로그램에 대한 데이터 등을 저장할 수 있다.
사용자는 키 패드(941) 및 마이크로폰(942)과 같은 입력 디바이스들을 통해 모바일 디바이스(900)에 명령들 및 정보를 입력할 수 있다. 일부 실시예에서, 디스플레이(943)는 터치 감응 스크린일 수 있고, 사용자가 그 상에서 명령들 및 정보를 입력하게 할 수 있다. 키 패드(941) 및 디스플레이(943)는 버스(915)에 결합되어 있는 사용자 입력 인터페이스(950)를 통해 처리 유닛(905)에 연결될 수 있지만, 또한 통신 모듈(들)(932) 및 유선 포트(들)(940)와 같은 다른 인터페이스 및 버스 구조들에 의해 연결될 수 있다. 디바이스(900)로 행해지는 제스처들을 결정하기 위해 움직임 검출(952)이 사용될 수 있다.
본원에 기술되는 바와 같이, 눈 글린트 및 다른 눈 관련 데이터가 포착되고 입력하기 위해 처리될 수 있다. 처리는 소프트웨어에서, 하드웨어 논리에서, 또는 소프트웨어와 하드웨어 논리의 조합에서 수행될 수 있다.
사용자는 마이크로폰(942)에 대고 말하는 것을 통해 그리고, 예를 들어, 키 패드(941) 또는 터치 감응 디스플레이(943) 상에서 입력되는 문자 메시지들을 통해 다른 사용자들과 통신할 수 있다. 오디오 유닛(955)은 스피커(944)를 구동하기 위해 전기 신호들을 제공하는 것은 물론, 마이크로폰(942)으로부터 수신되는 오디오 신호들을 수신하여 디지털화할 수 있다.
모바일 디바이스(900)는 카메라(961)를 구동하는 신호들을 제공하는 비디오 유닛(960)을 포함할 수 있다. 비디오 유닛(960)은 또한 카메라(961)에 의해 획득된 영상들을 수신하고 이 영상들을 모바일 디바이스(900) 상에 포함된 처리 유닛(905) 및/또는 메모리에 제공할 수 있다. 카메라(961)에 의해 획득된 영상들은 비디오, 비디오를 형성하지 않는 하나 이상의 영상들, 또는 이들의 어떤 조합을 포함할 수 있다.
통신 모듈(들)(932)은 하나 이상의 안테나(들)(965)에 신호들을 제공하고 그로부터 신호들을 수신할 수 있다. 안테나(들)(965) 중 하나는 휴대폰 네트워크에 대한 메시지들을 전송하고 수신할 수 있다. 다른 안테나는 블루투스® 메시지들을 전송하고 수신할 수 있다. 또 다른 안테나(또는 공유 안테나)는 무선 이더넷 네트워크 표준을 통해 네트워크 메시지들을 전송하고 수신할 수 있다.
게다가, 안테나는 위치 기반 정보(예컨대, GPS 신호들)를 GPS 인터페이스 및 메커니즘(972)에 제공한다. 차례로, GPS 메커니즘(972)은 처리를 위한 대응하는 GPS 데이터(예컨대, 시간 및 좌표)를 이용가능하게 만든다.
일부 실시예에서, 2 개 이상의 유형의 네트워크에 대한 메시지들을 전송 및/또는 수신하기 위해 단일의 안테나가 사용될 수 있다. 예를 들어, 단일의 안테나가 음성 및 패킷 메시지들을 전송하고 수신할 수 있다.
네트워크화된 환경에서 동작될 때, 모바일 디바이스(900)는 하나 이상의 원격 디바이스들에 연결될 수 있다. 원격 디바이스들은 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 휴대폰, 미디어 재생 디바이스, 피어 디바이스(peer device) 또는 다른 통상의 네트워크 노드를 포함할 수 있고, 전형적으로 모바일 디바이스(900)와 관련하여 앞서 기술된 요소들 중 다수 또는 전부를 포함한다.
본원에 기술되는 발명 요지의 양태들은 수많은 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경들 또는 구성들에서 동작된다. 본원에 기술되는 발명 요지의 양태들에서 사용하기에 적합할 수 있는 공지의 컴퓨팅 시스템, 환경, 및/또는 구성의 예는 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 디바이스, 멀티프로세서 시스템, 마이크로컨트롤러 기반 시스템, 셋톱 박스, 프로그램가능 가전 제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이들로 제한되지 않는다.
본원에 기술되는 발명 요지의 양태들은 일반적으로 모바일 디바이스에 의해 실행되는, 프로그램 모듈과 같은, 컴퓨터 실행가능 명령어와 관련하여 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정의 작업을 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 본원에 기술되는 발명 요지의 양태들은 작업들이 통신 네트워크를 통해 연결되어 있는 원격 처리 디바이스들에 의해 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다. 분산 컴퓨팅 환경에서는, 프로그램 모듈이 메모리 저장 디바이스를 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘 다에 위치될 수 있다.
게다가, 서버라는 용어가 본원에서 사용될 수 있지만, 이 용어가 또한 클라이언트, 하나 이상의 컴퓨터들 상에 분산되어 있는 한 세트의 하나 이상의 프로세스들, 하나 이상의 독립형 저장 디바이스들, 한 세트의 하나 이상의 다른 디바이스들, 상기한 것들 중 하나 이상의 조합 등을 포괄할 수 있다는 것을 잘 알 것이다.
결론
본 발명에 대한 다양한 수정들 및 대안의 구성들이 있을 수 있지만, 본 발명의 특정의 예시된 실시예들이 도면들에 도시되고 이상에서 상세히 기술되었다. 그렇지만, 본 발명을 개시된 구체적인 형태들로 제한하려는 의도가 없으며, 그와 반대로 본 발명의 사상 및 범주 내에 속하는 모든 수정들, 대안의 구성들 및 등가물들을 포함하도록 의도되어 있다는 것을 잘 알 것이다.
본원에 기술되는 다양한 실시예들에 부가하여, 본원으로부터 벗어남이 없이 대응하는 실시예(들)의 동일하거나 등가의 기능을 수행하기 위해 다른 유사한 실시예들이 사용될 수 있거나 기술된 실시예(들)에 대해 수정 및 추가가 행해질 수 있다는 것을 잘 알 것이다. 또한, 다수의 처리 칩들 또는 다수의 디바이스들이 본원에 기술되는 하나 이상의 기능들의 수행을 공유할 수 있고, 이와 유사하게, 저장이 복수의 디바이스들에 걸쳐 수행될 수 있다. 따라서, 본 발명이 임의의 단일의 실시예로 제한되어서는 안되고, 오히려 첨부된 청구범위에 따라 범위, 사상 및 범주가 해석되어야 한다.

Claims (20)

  1. 시스템에 있어서,
    피사체(subject)의 눈으로부터의 글린트(glint)들로서 각막 반사들(corneal reflections)을 발생시키기 위한 적어도 4 개의 광원들;
    상기 글린트들을 포함하는 현재 영상(image)을 포착(capture)하기 위한 카메라; 및
    시선 머리 위치 편차 보정기(gaze head-position bias corrector)를 포함하거나 그에 결합된 눈 시선 검출기(eye gaze detector)를 포함하고,
    상기 눈 시선 검출기는,
    상기 글린트들을 포함하는 상기 현재 영상을 수신하고;
    상기 피사체의 눈의 눈 시선을 추정하며,
    상기 시선 머리 위치 편차 보정기는,
    상기 피사체의 눈의 상기 추정된 눈 시선을 수신하고;
    상기 피사체의 눈이 현재 주시하고 있는 곳을 나타내는 보정된 시선 정보를 출력하도록 상기 글린트들에 대응하는 특징 데이터 - 상기 특징 데이터는 상기 글린트들의 위치 및 크기를 포함함 - 와 상기 피사체의 동공 관련 데이터를 매칭함으로써 상기 추정된 눈 시선에서의 편차(bias)를 보정하며,
    상기 시선 머리 위치 편차 보정기는, 상대적 머리 위치를 사용하여, 공간적으로 변하는 시선 오차(spatially-varying gaze error) 및 교정 위치(calibration position)에 상대적인 머리 자세 의존 오차(head pose-dependent error)를 보상하도록 훈련된 적응적 호모그래피 매핑 변환(adaptive homography mapping transformation)을 사용하여 상기 추정된 눈 시선에서의 상기 편차를 보정하는 것인, 시스템.
  2. 제1항에 있어서, 상기 상대적 머리 위치는 시뮬레이트된 데이터에 적어도 부분적으로 기초하는 것인, 시스템.
  3. 제2항에 있어서, 상기 시뮬레이트된 데이터는, 다양한 머리 위치들에서의 예측 변수(predictor variable)들을 획득하기 위해 교정을 통해 상기 적응적 호모그래피 매핑을 훈련시키기 위한 기준 실제 데이터(ground truth data)를 수집하는 것인, 시스템.
  4. 제3항에 있어서, 상기 기준 실제 데이터의 적응적 호모그래피는 다항식 회귀(polynomial regression)에 적어도 부분적으로 기초하는 것인, 시스템.
  5. 제1항에 있어서, 상기 상대적 머리 위치는, 아핀 변환(affine transformation)에 의해 적어도 부분적으로 인코딩되는 다양한 머리 위치들 간의 상대적 머리 움직임들에 대응하는 것인, 시스템.
  6. 제1항에 있어서, 상기 상대적 머리 위치는, 상사 변환(similarity transformation)에 의해 적어도 부분적으로 인코딩되는 다양한 머리 위치들 간의 상대적 머리 움직임들에 대응하는 것인, 시스템.
  7. 제1항에 있어서, 상기 상대적 머리 위치는, 호모그래피 변환(homography transformation)에 의해 적어도 부분적으로 인코딩되는 다양한 머리 위치들 간의 상대적 머리 움직임들에 대응하는 것인, 시스템.
  8. 제1항에 있어서, 상기 공간적으로 변하는 시선 오차 및 교정 위치에 상대적인 머리 자세 의존 오차를 보상하도록 훈련된 상기 적응적 호모그래피 매핑 변환은, 시선 방향(gaze direction)을 사용하는 것인, 시스템.
  9. 방법에 있어서,
    편차 보정을 위해 적응적 호모그래피 매핑을 사용하여 시선을 추정하는 단계를 포함하고, 상기 적응적 호모그래피 매핑은 공간적으로 변하는 시선 오차 및 교정 위치에 상대적인 머리 자세 의존 오차를 보상하도록 훈련되며, 상기 추정하는 단계는,
    영상에서의 현재 글린트 데이터 및 동공 관련 데이터를 포착하고;
    현재 시선 정보를 결정하는 데 사용되는, 학습된 적응적 호모그래피 매핑에 기초하여, 머리 자세 의존 데이터(head-pose dependent data)를 획득하기 위해, 상기 영상으로부터 처리된 상기 현재 글린트 데이터 및 동공 관련 데이터를 특징들 - 상기 특징들은 상기 현재 글린트 데이터에 대응하는 글린트들의 위치 및 크기를 포함함 - 로서 제공하는 것
    을 포함하는 것인, 방법.
  10. 제9항에 있어서, 이차 회귀(quadratic regression)로서 적응적 호모그래피를 모델링하기 위해 복수의 위치 데이터 및 동공 관련 데이터 세트들을 예측 변수들로서 사용하는 것을 비롯하여, 적응적 호모그래피 매핑 모델을 학습시키는 단계를 더 포함하는, 방법.
  11. 제10항에 있어서, 상기 복수의 위치 데이터 및 동공 위치 데이터 세트들을 사용하는 것은, 적어도 일부 시뮬레이트된 데이터를 사용하는 것을 포함하는 것인, 방법.
  12. 제11항에 있어서, 상기 적어도 일부 시뮬레이트된 데이터를 사용하는 것은, 상이한 머리 위치 스케일링들(scalings), 및 상이한 머리 위치 스케일링들에서의 상이한 머리 위치 평행 이동들과 상이한 머리 위치 평행 이동들(translations) 중의 하나 이상에서 편차 보정 값(bias correction value)들을 예측하는 것을 포함하는 것인, 방법.
  13. 제10항에 있어서, 상기 적응적 호모그래피 매핑 모델을 학습시키는 단계는, 아핀 변환에 의해, 상사 변환에 의해 또는 호모그래피 변환에 의해 상대적 머리 움직임들을 인코딩하는 단계를 포함하는 것인, 방법.
  14. 제10항에 있어서, 상기 적응적 호모그래피 매핑 모델을 학습시키는 단계는, 시선 방향들을 나타내는 동공 관련 데이터를 하나 이상의 특징들로서 인코딩하는 단계를 포함하는 것인, 방법.
  15. 제9항에 있어서,
    상기 현재 시선 정보를 출력하는 단계; 및
    사용자 인터페이스의 상태를 변경하는 것과 관련한 조치를 취하기 위해 상기 현재 시선 정보를 사용하는 단계를 더 포함하는, 방법.
  16. 실행가능한 명령어들을 갖는 하나 이상의 머신 판독가능 저장 디바이스에 있어서, 상기 실행가능한 명령어들은 실행될 때,
    피사체의 눈 - 상기 피사체의 눈으로부터 글린트 데이터 및 동공 관련 데이터가 특징들로서 추출됨 - 을 포함한 영상을 포착하는 동작; 및
    상대적 머리 위치를 사용하여, 공간적으로 변하는 시선 오차 및 교정 위치에 상대적인 머리 자세 의존 오차를 보상하는 적응적 호모그래피 매핑에 대응하는 머리 위치 편차 보정에 기초하여 시선 방향을 결정하도록, 상기 적응적 호모그래피 매핑과 함께 상기 특징들을 사용하는 동작 - 상기 특징들은 상기 글린트 데이터에 대응하는 글린트들의 위치 및 크기를 포함함 -
    을 포함한 동작들을 수행하는 것인, 하나 이상의 머신 판독가능 저장 디바이스.
  17. 제16항에 있어서, 상기 동작들은, 상이한 머리 위치들에서의 예측된 편차 보정 값들에 대응하는 적어도 일부 시뮬레이트된 데이터를 사용함으로써 상기 적응적 호모그래피 매핑을 학습시키는 동작을 더 포함하는 것인, 하나 이상의 머신 판독가능 저장 디바이스.
  18. 제16항에 있어서, 상기 동작들은, 상대적 머리 위치에 대응하는 움직임 벡터를 포함한 제1 예측 변수를 획득하고 시선 방향에 대응하는 제2 예측 변수를 획득함으로써, 상기 적응적 호모그래피 매핑을 학습시키는 동작을 더 포함하는 것인, 하나 이상의 머신 판독가능 저장 디바이스.
  19. 제16항에 있어서, 상기 동작들은, 복수의 머리 위치들 및 시선 방향들에 대응하는 데이터에 기초하여 목적 함수(objective function)를 최소화함으로써, 상기 적응적 호모그래피 매핑을 학습시키는 동작을 더 포함하는 것인, 하나 이상의 머신 판독가능 저장 디바이스.
  20. 제16항에 있어서, 상기 적응적 호모그래피 매핑은, 예측을 위해서는 스케일링(scaling) 및 평행 이동(translation)을 그리고 보정을 위해서는 호모그래피를 사용하는 것인, 하나 이상의 머신 판독가능 저장 디바이스.
KR1020167026540A 2014-03-26 2015-03-12 적응적 호모그래피 매핑에 기초한 눈 시선 추적 KR102334139B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/226,467 2014-03-26
US14/226,467 US9684827B2 (en) 2014-03-26 2014-03-26 Eye gaze tracking based upon adaptive homography mapping
PCT/US2015/020178 WO2015179008A1 (en) 2014-03-26 2015-03-12 Eye gaze tracking based upon adaptive homography mapping

Publications (2)

Publication Number Publication Date
KR20160138062A KR20160138062A (ko) 2016-12-02
KR102334139B1 true KR102334139B1 (ko) 2021-12-03

Family

ID=54066176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167026540A KR102334139B1 (ko) 2014-03-26 2015-03-12 적응적 호모그래피 매핑에 기초한 눈 시선 추적

Country Status (11)

Country Link
US (1) US9684827B2 (ko)
EP (1) EP3123283B1 (ko)
JP (1) JP6502370B2 (ko)
KR (1) KR102334139B1 (ko)
CN (1) CN106133648B (ko)
AU (1) AU2015264699B2 (ko)
CA (1) CA2940241C (ko)
ES (1) ES2680825T3 (ko)
MX (1) MX2016012193A (ko)
RU (1) RU2685020C2 (ko)
WO (1) WO2015179008A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9465444B1 (en) * 2014-06-30 2016-10-11 Amazon Technologies, Inc. Object recognition for gesture tracking
JP6547268B2 (ja) * 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム
RU2596062C1 (ru) * 2015-03-20 2016-08-27 Автономная Некоммерческая Образовательная Организация Высшего Профессионального Образования "Сколковский Институт Науки И Технологий" Способ коррекции изображения глаз с использованием машинного обучения и способ машинного обучения
US9990921B2 (en) * 2015-12-09 2018-06-05 Lenovo (Singapore) Pte. Ltd. User focus activated voice recognition
US10423830B2 (en) 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
US10664949B2 (en) * 2016-04-22 2020-05-26 Intel Corporation Eye contact correction in real time using machine learning
US10178948B2 (en) * 2016-05-11 2019-01-15 Miraco Light Inc. Self operatable ophthalmic device
JP2017211430A (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置および情報処理方法
DE102016210288A1 (de) 2016-06-10 2017-12-14 Volkswagen Aktiengesellschaft Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
US11042984B2 (en) * 2016-11-10 2021-06-22 Movea Systems and methods for providing image depth information
KR20180061956A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 눈 위치 예측 방법 및 장치
US10152822B2 (en) 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US10319064B2 (en) 2017-04-10 2019-06-11 Intel Corporation Graphics anti-aliasing resolve with stencil mask
US11647903B2 (en) * 2017-06-01 2023-05-16 University Of Washington Smartphone-based digital pupillometer
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
US11250242B2 (en) * 2017-09-13 2022-02-15 Visualcamp Co., Ltd. Eye tracking method and user terminal performing same
US11181977B2 (en) 2017-11-17 2021-11-23 Dolby Laboratories Licensing Corporation Slippage compensation in eye tracking
EP3540574B1 (en) * 2018-03-15 2021-08-11 HTC Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
KR102094953B1 (ko) * 2018-03-28 2020-03-30 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
JP7118697B2 (ja) * 2018-03-30 2022-08-16 株式会社Preferred Networks 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
SE542553C2 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
US11113842B2 (en) 2018-12-24 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus with gaze estimation
US11221671B2 (en) 2019-01-31 2022-01-11 Toyota Research Institute, Inc. Opengaze: gaze-tracking in the wild
CN112183160A (zh) * 2019-07-04 2021-01-05 北京七鑫易维科技有限公司 视线估计方法及装置
CN110647800B (zh) * 2019-08-06 2022-06-03 广东工业大学 一种基于深度学习的眼神交流检测方法
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
CN113057860B (zh) * 2021-03-17 2023-06-27 上海海洋大学 一种基于物联网的眼部肌肉锻炼装置及使用方法
US11816260B2 (en) * 2022-04-06 2023-11-14 Inseye Inc. System and method for continuous calibration of eye tracking systems used in VR/AR HMD units

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040174496A1 (en) 2003-03-06 2004-09-09 Qiang Ji Calibration-free gaze tracking under natural head movement
US20040227693A1 (en) 2003-05-14 2004-11-18 Darwin Rambo Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices
US20110182472A1 (en) 2008-07-08 2011-07-28 Dan Witzner Hansen Eye gaze tracking

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US7515173B2 (en) * 2002-05-23 2009-04-07 Microsoft Corporation Head pose tracking system
US8159519B2 (en) * 2007-05-31 2012-04-17 Eastman Kodak Company Personal controls for personal video communications
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
CN102063624A (zh) * 2010-11-13 2011-05-18 天津大学 基于单应性约束的立体图像匹配方法
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
CN102567989A (zh) * 2011-11-30 2012-07-11 重庆大学 基于双目立体视觉的空间定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040174496A1 (en) 2003-03-06 2004-09-09 Qiang Ji Calibration-free gaze tracking under natural head movement
US20040227693A1 (en) 2003-05-14 2004-11-18 Darwin Rambo Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices
US20110182472A1 (en) 2008-07-08 2011-07-28 Dan Witzner Hansen Eye gaze tracking

Also Published As

Publication number Publication date
JP6502370B2 (ja) 2019-04-17
RU2685020C2 (ru) 2019-04-16
KR20160138062A (ko) 2016-12-02
RU2016137779A (ru) 2018-03-23
WO2015179008A1 (en) 2015-11-26
EP3123283B1 (en) 2018-04-25
US9684827B2 (en) 2017-06-20
AU2015264699B2 (en) 2019-11-14
CA2940241A1 (en) 2015-11-26
JP2017523487A (ja) 2017-08-17
CN106133648A (zh) 2016-11-16
MX2016012193A (es) 2017-01-05
CA2940241C (en) 2023-01-17
CN106133648B (zh) 2019-05-31
RU2016137779A3 (ko) 2018-10-02
EP3123283A1 (en) 2017-02-01
US20150278599A1 (en) 2015-10-01
AU2015264699A1 (en) 2016-09-08
ES2680825T3 (es) 2018-09-11

Similar Documents

Publication Publication Date Title
KR102334139B1 (ko) 적응적 호모그래피 매핑에 기초한 눈 시선 추적
US10146305B2 (en) Eye gaze tracking using binocular fixation constraints
US9202280B2 (en) Position estimation based rotation of switched off light source
US9430040B2 (en) Eye gaze detection with multiple light sources and sensors
KR101320683B1 (ko) 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
US20230169686A1 (en) Joint Environmental Reconstruction and Camera Calibration
Perra et al. Adaptive eye-camera calibration for head-worn devices
Kanis et al. Combination of Positions and Angles for Hand Pose Estimation
KR20230066752A (ko) 영상 정보 수집 방법 및 장치
CN117372545A (zh) 位姿信息确定方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant