KR101470243B1 - 시선 검출 장치 및 그 시선 검출 방법 - Google Patents

시선 검출 장치 및 그 시선 검출 방법 Download PDF

Info

Publication number
KR101470243B1
KR101470243B1 KR20130138977A KR20130138977A KR101470243B1 KR 101470243 B1 KR101470243 B1 KR 101470243B1 KR 20130138977 A KR20130138977 A KR 20130138977A KR 20130138977 A KR20130138977 A KR 20130138977A KR 101470243 B1 KR101470243 B1 KR 101470243B1
Authority
KR
South Korea
Prior art keywords
vector
rotation angle
gaze
line
eye
Prior art date
Application number
KR20130138977A
Other languages
English (en)
Inventor
석동희
이석범
김양신
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR20130138977A priority Critical patent/KR101470243B1/ko
Priority to US14/317,608 priority patent/US9606623B2/en
Priority to CN201410342855.2A priority patent/CN104644120B/zh
Application granted granted Critical
Publication of KR101470243B1 publication Critical patent/KR101470243B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

본 발명의 일 실시 예에 따른 시선 검출 장치는 기준 시선, 제1 기준 벡터 및 제2 기준 벡터를 저장하는 저장부, 사용자의 눈(eyes)을 촬상하는 촬상부, 촬상된 영상으로부터 동공 및 안구의 중심점을 검출하는 중심점 검출부, 세 개의 중심점이 검출된 경우 하나의 안구에 대한 시선 벡터 및 세 개의 중심점이 이루는 평면의 법선 벡터를 생성하는 벡터 생성부, 시선 벡터 및 법선 벡터를 각각 제1 기준 벡터 및 제2 기준 벡터와 비교하여 제1 회전각 및 제2 회전각을 계산하고 평균값을 산출하는 연산부 및 기준 시선을 평균값만큼 회전시켜 사용자의 시선을 검출하는 시선 검출부를 포함한다.

Description

시선 검출 장치 및 그 시선 검출 방법{GAZE DETECTING APPARATUS AND GAZE DETECTING METHOD THEREOF}
본 발명은 사용자의 눈이 포함된 영상으로부터 사용자의 시선을 검출하는 시선 검출 장치 및 그 시선 검출 방법에 관한 것이다.
전자 기술이 발전함에 따라 다양한 전자 장치가 일상 생활에서 사용되는 가운데 인간-컴퓨터 상호 작용(HCI:Human Computer Interaction)에 대한 연구가 활발히 진행되고 있다. 특히, 최근에는 음성 인식 및 모션 인식 등과 같은 다양한 HCI 기술들이 적용되고 있다.
이러한 기술들 외에, 사용자의 눈동자 움직임을 이용하는 HCI는 편리성과 높은 입력 속도를 제공하기 때문에, 전자 장치를 조작하거나 사용자의 심리적 상태를 분석하거나 전자 장치의 조작을 위해 사용자의 시선을 추적하는 기술도 개발되고 있다.
본 발명은 시선 검출 과정에서 필요한 특징점이 모두 검출되지 않은 경우에도 높은 신뢰도로 사용자의 시선을 검출할 수 있는 시선 검출 장치 및 그 시선 검출 방법을 제공함에 있다.
본 발명의 일 실시 예에 따른 시선 검출 장치는, 기준 시선, 제1 기준 벡터 및 제2 기준 벡터를 저장하는 저장부, 사용자의 눈(eyes)을 촬상하는 촬상부, 상기 촬상된 영상으로부터 동공 및 안구의 중심점을 검출하는 중심점 검출부, 세 개의 중심점이 검출된 경우 하나의 안구에 대한 시선 벡터 및 상기 세 개의 중심점이 이루는 평면의 법선 벡터를 생성하는 벡터 생성부, 상기 시선 벡터 및 상기 법선 벡터를 각각 상기 제1 기준 벡터 및 상기 제2 기준 벡터와 비교하여 제1 회전각 및 제2 회전각을 계산하고 평균값을 산출하는 연산부 및 상기 기준 시선을 상기 평균값만큼 회전시켜 사용자의 시선을 검출하는 시선 검출부를 포함한다.
그리고, 상기 저장부는, 좌안 및 우안 각각에 대한 제1 기준 벡터를 저장할 수 있으며, 상기 연산부는, 상기 하나의 안구에 대한 시선 벡터를 상기 좌안 및 우안 중 어느 하나의 제1 기준 벡터와 비교하여 상기 제1 회전각을 계산할 수 있다.
그리고, 상기 연산부는, 오일러 각(Euler angle) 기반의 알고리즘을 이용하여 상기 제1 회전각 및 제2 회전각을 계산할 수 있다.
한편, 본 발명의 일 실시 예에 따른 시선 검출 방법은, 시선 칼리브레이션을 수행하여 기준 시선, 제1 기준 벡터 및 제2 기준 벡터를 검출하는 단계, 사용자의 눈(eyes)이 포함된 영상으로부터 동공 및 안구의 중심점을 검출하는 단계, 세 개의 중심점이 검출된 경우 상기 세 개의 중심점을 이용하여 하나의 안구에 대한 시선 벡터 및 상기 세 개의 중심점이 이루는 평면의 법선 벡터를 생성하는 단계, 상기 시선 벡터 및 상기 법선 벡터를 각각 상기 제1 기준 벡터 및 상기 제2 기준 벡터와 비교하여 제1 회전각 및 제2 회전각을 계산하는 단계, 상기 제1 회전각 및 제2 회전각의 평균값을 산출하는 단계 및 상기 사용자의 시선을 상기 평균값만큼 회전시켜 사용자의 시선을 검출하는 단계를 포함한다.
여기서, 상기 제1 기준 벡터를 검출하는 단계는, 좌안 및 우안 각각에 대한 제1 기준 벡터를 검출할 수 있으며, 상기 제1 회전각을 계산하는 단계는, 상기 하나의 안구에 대한 시선 벡터를 상기 좌안 및 우안 중 어느 하나의 제1 기준 벡터와 비교하여 상기 제1 회전각을 계산할 수 있다.
그리고, 상기 제1 회전각 및 제2 회전각을 계산하는 단계는, 오일러 각(Euler angle) 기반의 알고리즘을 이용할 수 있다.
본 발명의 다양한 실시 예에 따르면 시선 검출 과정에서 세 개의 중심점이 검출된 경우에도 사용자의 시선을 검출할 수 있으며, 기 검출된 기준 시선 및 기준 벡터를 이용함으로써 신뢰성 있는 시선 데이터를 획득할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 시선 검출 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 시선 벡터를 생성하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 시선 벡터 및 법선 벡터를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 기준 벡터를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 회전각 계산 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 시선 검출 방법을 설명하기 위한 흐름도이다.
이하에서 첨부한 도면을 참조하여 본 발명에 대해 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 시선 검출 장치의 구성을 나타내는 도면이다.
도 1에 따르면 시선 검출 장치(100)는 촬상부(110), 중심점 검출부(120), 벡터 생성부(130), 저장부(140), 연산부(150), 시선 검출부(160)를 포함한다.
촬상부(110)는 사용자의 눈(eyes)을 촬상한다. 즉, 촬상부(110)는 사용자의 얼굴 영역을 촬상하여 사용자의 눈이 포함된 영상을 획득할 수 있다. 이를 위해 촬상부(110)는 적외선 카메라로 구현될 수 있다.
중심점 검출부(120)는 촬상부(110)에 의해 촬상된 영상으로부터 동공 및 안구의 중심점을 검출한다. 중심점 검출부(120)는 촬상된 영상에 영상 처리를 수행하여 동공 및 안구 중심점을 검출할 수 있다. 중심점 검출부(120) 촬상된 이미지에서 눈 영역을 검출하고, 눈 영역 내에서 동공 중심점을 검출할 수 있다. 그리고, 중심점 검출부(120)는 조명이 안구에 반사되는 부분을 검출하여 안구의 중심점을 검출할 수 있다.
동공 및 안구의 중심점은 최대 네 개가 검출될 수 있다. 좌안 및 우안 모두에 대해 동공 및 안구의 중심점이 검출되면 네 개의 중심점이 검출될 수 있다. 기존 시선 검출 방법에서 시선을 검출하기 위해서는 네 개의 중심점이 모두 검출되어야 하며, 네 개의 중심점 중 하나라도 검출되지 않으면 시선을 검출할 수 없게 된다. 그러나, 본 발명의 일 실시 예에 따른 시선 검출 장치(100)는 네 개의 중심점이 검출된 경우뿐만 아니라 세 개의 중심점이 검출된 경우에도 사용자의 시선을 검출할 수 있다. 시선 검출 장치(100)는 네 개의 중심점이 모두 검출되면 기존 시선 검출 방법으로 사용자의 시선을 검출하고, 세 개의 중심점이 검출된 경우에는 후술하는 방식에 따라 사용자의 시선을 검출할 수 있다.
벡터 생성부(130)는 세 개의 중심점이 검출된 경우 세 개의 중심점을 이용한 두 벡터를 생성할 수 있다. 벡터 생성부(130)는 좌안 및 우안 중 동공 및 안구 중시점이 모두 검출된 안구에 대해 안구 중심점으로부터 동공 중심점을 이용하여 시선 벡터를 생성할 수 있다. 그리고, 벡터 생성부(130)는 세 개의 중심점이 이루는 평면의 법선 벡터를 생성할 수 있다. 시선 벡터 및 법선 벡터를 생성하는 방법에 대해 도 2 및 도 3을 참조하여 구체적으로 설명한다.
도 2는 본 발명의 일 실시 예에 따른 시선 벡터를 생성하는 과정을 설명하기 위한 도면이다.
도 2를 참조하면 사용자의 안구 및 중심점 검출부(120)에 의해 검출된 동공 중심점 및 안구 중심점이 표시되어 있다. 중심점 검출부(120)에 의해 세 개의 중심점이 검출된 경우 좌안 및 우안 중 어느 하나에 대해서는 동공 중심점 및 안구 중심점이 모두 검출될 수 있다. 벡터 생성부(130)는 동공 중심점 및 안구 중심점이 모두 검출된 안구에 대해 도 2에서와 같이 안구 중심점으로부터 동공 중심점을 향하는 시선 벡터를 생성할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 시선 벡터 및 법선 벡터를 생성하는 과정을 설명하기 위한 도면이다.
도 3의 (a)는 사용자의 좌안(L) 및 우안(R)을 탑 뷰(Top-View) 이미지로 나타낸 모식도이다. 도 3의 (a)는 세 개의 중심점 중 사용자의 우안에 대해 동공 중심점 및 안구 중심점이 검출되고 사용자의 좌안에 대해 동공 중심점이 검출된 상황의 예를 나타낸다.
벡터 생성부(130)는 동공 중심점 및 안구 중심점이 모두 검출된 우안에 대해 도 2를 참조하여 설명한 방법으로 시선 벡터(G)를 생성한다. 그리고, 벡터 생성부(130)는 검출된 세 개의 중심점을 이용하여 하나의 평면(P)을 형성하고, 형성된 평면(P)을 이용하여 법선 벡터를 생성할 수 있다. 도 3의 (b)를 참조하면 세 개의 중심점에 의해 형성된 평면에 대응하는 법선 벡터(N)가 도시되어 있다.
저장부(140)는 기준 시선, 제1 기준 벡터 및 제2 기준 벡터를 저장한다. 시선 검출 장치(100)는 세 개의 중심점을 이용한 시선 검출 전에 시선 칼리브레이션을 수행할 수 있다. 그리고, 시선 칼리브레이션 과정에서 기준 시선, 제1 기준 벡터를 검출하여 저장부(140)에 저장할 수 있다. 기준 시선은 시선 칼리브레이션 과정에서 네 개의 중심점을 이용하여 검출된 사용자의 시선을 의미한다. 제1 기준 벡터는 시선 칼리브레이션 과정에서 생성된 시선 벡터를 의미한다. 즉, 벡터 생성부(130)는 시선 칼리브레이션 과정에서 검출된 중심점을 이용하여 시제1 기준 벡터를 생성할 수 있다. 여기서, 벡터 생성부(130)는 좌안 및 우안 각각에 대해 제1 기준 벡터를 생성할 수 있다. 그리고, 제2 기준 벡터는 아래 방향 즉, 지면 방향으로의 벡터를 의미한다. 제1 기준 벡터 및 제2 기준 벡터에 대해 도 4를 참조하여 구체적으로 설명한다.
도 4는 본 발명의 일 실시 예에 따른 기준 벡터를 설명하기 위한 도면이다.
도 4의 (a)는 제1 기준 벡터 및 제2 기준 벡터를 탑 뷰(Top View) 이미지로 나타낸 모식도이며, 도 4의 (b)는 제1 기준 벡터 및 제2 기준 벡터를 사이드 뷰(Side-View) 이미지로 나타낸 모식도이다.
도 4의 (a) 및 (b)를 참조하면 사용자의 안구(좌안 또는 우안)에 안구 중심점으로부터 동공 중심점을 향하는 제1 기준 벡터(H1)가 도시되어 있다. 그리고, 아래(지면) 방향을 향하는 제2 기준 벡터(H2)가 도시되어 있다. 제2 기준 벡터(H2)를 도 4의 좌표계에 따라 좌표로 나타내면 (0, 1, 0)이 될 수 있다. 즉, 제2 기준 벡터는 항상 지면을 향하는 고정된 벡터가 될 수 있다. 도 4에서는 하나의 안구에 대한 제1 기준 벡터만을 도시하였으나, 상술한 바와 같이 벡터 생성부(130)는 시선 칼리브레이션 과정에서 좌안 및 우안 각각에 대해 제1 기준 벡터를 생성할 수 있다.
연산부(150)는 벡터 생성부(130)에 의해 생성된 시선 벡터(도 3의 G) 및 저장부(140)에 저장된 제1 기준 벡터(도 4의 H1)를 비교하여 제1 회전각을 계산한다. 그리고, 연산부(150)는 벡터 생성부(130)에 의해 생성된 법선 벡터(도 3의 N) 및 저장부(140)에 저장된 제2 기준 벡터(도 4의 H2)를 비교하여 제2 회전각을 계산한다. 회전각을 계산하는 과정에 대해 도 5를 참조하여 구체적으로 설명한다.
도 5는 본 발명의 일 실시 예에 따른 회전각 계산 과정을 설명하기 위한 도면이다.
도 5를 참조하면 시선 벡터(G) 및 제1 기준 벡터(H1)를 동일한 시작점에 위치시켰을 때 두 벡터간의 각도 차이를 제1 회전각으로 계산할 수 있다. 연산부(140)는 제1 회전각을 계산할 때, 시선 벡터(G)가 좌안에 대한 시선 벡터이면 좌안에 대한 제1 기준 벡터와 비교하고, 우안에 대한 시선 벡터이면 우안에 대한 제1 기준 벡터와 비교할 수 있다. 그리고, 법선 벡터(N) 및 제2 기준 벡터(H2)를 동일한 시적점에 위치시켰을 때 두 벡터간의 각도 차이를 제2 회전각(A2)으로 계산할 수 있다. 여기서, 제1 회전각(A1) 및 제2 회전각(A2)은 제1 기준 벡터(H1) 및 제2 기준 벡터(H2)를 기준으로 시선 벡터(G) 및 법선 벡터(N)를 비교하여 검출될 수 있다.
제1 회전각 및 제2 회전각은 오일러 각(Euler angle) 기반의 알고리즘을 이용하여 계산할 수 있다. 오일러 각은 좌표계의 3차원 회전을 1차원 회전각 3개로 표시한 것으로, z축을 회전축으로 하여 회전한 각도, 회전된 x축을 회전축으로 하여 회전한 각도, 다시 회전된 z 축을 회전축으로 하여 회전한 각도로 나타낼 수 있다.
연산부(150)는 제1 회전각 및 제2 회전각이 계산되면 제1 회전각 및 제2 회전각의 평균값을 산출한다. 여기서, 평균값은 산술 평균뿐만 아니라 기하 평균, 조화 평균 등 다양한 평균값 산출 방법이 이용될 수 있다.
시선 검출부(160)는 저장부(140)에 저장된 기준 시선 및 연산부(150)에서 산출된 회전각의 평균값을 이용하여 사용자의 시선을 검출한다. 구체적으로, 시선 검출부(160)는 저장부(140)에 저장된 기준 시선을 연산부(150)에서 산출된 평균값만큼 회전시켜 사용자의 시선을 검출할 수 있다.
이에 따라, 시선 검출 장치(100)는 시선 검출 과정에서 세 개의 중심점이 검출된 경우에도 사용자의 시선을 검출할 수 있으며, 기 검출된 기준 시선 및 기준 벡터를 이용함으로써 신뢰성 있는 시선 데이터를 획득할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 시선 검출 방법을 설명하기 위한 흐름도이다.
도 6에 따르면 시선 검출 장치(100)는 시선 칼리브레이션을 수행한다(S610). 구체적으로, 시선 칼리브레이션을 수행하여 기준 시선, 제1 기준 벡터 및 제2 기준 벡터를 검출할 수 있다. 기준 시선은 시선 칼리브레이션 과정에서 네 개의 중심점을 이용하여 검출된 사용자의 시선을 의미한다. 그리고, 제1 기준 벡터는 시선 칼리브레이션 과정에서 생성된 시선 벡터를 의미한다. 제1 기준 벡터는 좌안 및 우안 각각에 대해 검출될 수 있다. 제2 기준 벡터는 아래 방향 즉, 지면 방향으로의 벡터를 의미하며, 시선 칼리브레이션과 무관한 기 설정된 벡터일 수 있다. 제1 기준 벡터 및 제2 기준 벡터에 대해서는 도 4를 참조하여 설명하였으므로 구체적인 설명은 생략한다.
이후, 사용자의 눈(eyes)이 포함된 영상으로부터 동공 및 안구의 중심점을 검출한다(S620). 그리고, 세 개의 중심점이 검출되었는지 판단한다(S630). 세 개의 중심점이 검출되지 않았으면(S630-N), 종료한다. 구체적으로, 두 개 이하의 중심점이 검출된 경우에는 시선 검출이 불가능하다고 판단하여 종료하고, 네 개의 중심점이 검출된 경우에는 기존 시선 검출 방식에 따라 시선을 검출한 후 종료할 수 있다.
세 개의 중심점이 검출되면(S630-Y), 세 개의 중심점을 이용하여 시선 벡터 및 법선 벡터를 생성한다(S640). 구체적으로, 세 개의 중심점을 이용하여 하나의 안구에 대한 시선 벡터 및 세 개의 중심점이 이루는 평면의 법선 벡터를 검출할 수 있다. 이에 대해서는, 도 3을 참조하여 설명하였으므로 구체적인 설명은 생략한다.
이후, 제1 회전각 및 제2 회전각을 계산한다(S650). 단계 S640에서 생성된 시선 벡터 및 법선 벡터를 제1 기준 벡터 및 제2 기준 벡터와 비교하여 제1 회전각 및 제2 회전각을 계산할 수 있다. 여기서, 제1 회전각 및 제2 회전각은 오일러 각(Euler angle) 기반의 알고리즘을 이용하여 계산할 수 있다. 회전각을 계산하는 과정은 도 5를 참조하여 설명하였으므로 구체적인 설명은 생략한다.
제1 회전각 및 제2 회전각이 계산되면 제1 회전각 및 제2 회전각의 평균값을 산출한다(S660). 그리고, 산출된 평균값 및 기준 시선을 이용하여 사용자의 시선을 검출한다(S670). 기준 시선을 평균값만큼 회전시켜 사용자의 시선을 검출할 수 있다.
100 : 시선 검출 장치 110 : 촬상부
120 : 중심점 검출부 130 : 벡터 검출부
140 : 저장부 150 : 연산부
160 : 시선 검출부

Claims (6)

  1. 기준 시선, 제1 기준 벡터 및 제2 기준 벡터를 저장하는 저장부;
    사용자의 눈(eyes)을 촬상하는 촬상부;
    상기 촬상된 영상으로부터 동공 및 안구의 중심점을 검출하는 중심점 검출부;
    세 개의 중심점이 검출된 경우 하나의 안구에 대한 시선 벡터 및 상기 세 개의 중심점이 이루는 평면의 법선 벡터를 생성하는 벡터 생성부;
    상기 시선 벡터 및 상기 법선 벡터를 각각 상기 제1 기준 벡터 및 상기 제2 기준 벡터와 비교하여 제1 회전각 및 제2 회전각을 계산하고 평균값을 산출하는 연산부; 및
    상기 기준 시선을 상기 평균값만큼 회전시켜 사용자의 시선을 검출하는 시선 검출부;를 포함하는 것을 특징으로 하는 시선 검출 장치.
  2. 제1항에 있어서,
    상기 저장부는,
    좌안 및 우안 각각에 대한 제1 기준 벡터를 저장하며,
    상기 연산부는,
    상기 하나의 안구에 대한 시선 벡터를 상기 좌안 및 우안 중 어느 하나의 제1 기준 벡터와 비교하여 상기 제1 회전각을 계산하는 것을 특징으로 하는 시선 검출 장치.
  3. 제1항에 있어서,
    상기 연산부는,
    오일러 각(Euler angle) 기반의 알고리즘을 이용하여 상기 제1 회전각 및 제2 회전각을 계산하는 것을 특징으로 하는 시선 검출 장치.
  4. 시선 칼리브레이션을 수행하여 기준 시선, 제1 기준 벡터 및 제2 기준 벡터를 검출하는 단계;
    사용자의 눈(eyes)이 포함된 영상으로부터 동공 및 안구의 중심점을 검출하는 단계;
    세 개의 중심점이 검출된 경우 상기 세 개의 중심점을 이용하여 하나의 안구에 대한 시선 벡터 및 상기 세 개의 중심점이 이루는 평면의 법선 벡터를 생성하는 단계;
    상기 시선 벡터 및 상기 법선 벡터를 각각 상기 제1 기준 벡터 및 상기 제2 기준 벡터와 비교하여 제1 회전각 및 제2 회전각을 계산하는 단계;
    상기 제1 회전각 및 제2 회전각의 평균값을 산출하는 단계; 및
    상기 사용자의 시선을 상기 평균값만큼 회전시켜 사용자의 시선을 검출하는 단계;를 포함하는 것을 특징으로 하는 시선 검출 방법.
  5. 제4항에 있어서,
    상기 제1 기준 벡터를 검출하는 단계는,
    좌안 및 우안 각각에 대한 제1 기준 벡터를 검출하며,
    상기 제1 회전각을 계산하는 단계는,
    상기 하나의 안구에 대한 시선 벡터를 상기 좌안 및 우안 중 어느 하나의 제1 기준 벡터와 비교하여 상기 제1 회전각을 계산하는 것을 특징으로 하는 시선 검출 방법.
  6. 제4항에 있어서,
    상기 제1 회전각 및 제2 회전각을 계산하는 단계는,
    오일러 각(Euler angle) 기반의 알고리즘을 이용하는 것을 특징으로 하는 시선 검출 방법.
KR20130138977A 2013-11-15 2013-11-15 시선 검출 장치 및 그 시선 검출 방법 KR101470243B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130138977A KR101470243B1 (ko) 2013-11-15 2013-11-15 시선 검출 장치 및 그 시선 검출 방법
US14/317,608 US9606623B2 (en) 2013-11-15 2014-06-27 Gaze detecting apparatus and method
CN201410342855.2A CN104644120B (zh) 2013-11-15 2014-07-17 凝视检测设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130138977A KR101470243B1 (ko) 2013-11-15 2013-11-15 시선 검출 장치 및 그 시선 검출 방법

Publications (1)

Publication Number Publication Date
KR101470243B1 true KR101470243B1 (ko) 2014-12-05

Family

ID=52678029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130138977A KR101470243B1 (ko) 2013-11-15 2013-11-15 시선 검출 장치 및 그 시선 검출 방법

Country Status (3)

Country Link
US (1) US9606623B2 (ko)
KR (1) KR101470243B1 (ko)
CN (1) CN104644120B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210008638A (ko) * 2019-07-15 2021-01-25 상명대학교산학협력단 심리적 불안도 측정 장치 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
CN108135469B (zh) 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
KR102463169B1 (ko) 2015-09-07 2022-11-04 삼성전자주식회사 시점 추적 방법 및 장치
CN114140867A (zh) 2015-10-16 2022-03-04 奇跃公司 使用眼睛特征的眼睛姿态识别
CN105700677A (zh) * 2015-12-29 2016-06-22 努比亚技术有限公司 一种移动终端及其控制方法
US9874934B1 (en) * 2016-07-29 2018-01-23 International Business Machines Corporation System, method, and recording medium for tracking gaze with respect to a moving plane with a camera with respect to the moving plane
DE102017214546B4 (de) * 2017-08-21 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
US11880504B2 (en) * 2021-09-28 2024-01-23 Ramot At Tel-Aviv University Ltd. Automatic preference quantification of displayed objects based on eye tracker data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5230748B2 (ja) * 2008-09-26 2013-07-10 パナソニック株式会社 視線方向判定装置及び視線方向判定方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5230748B2 (ko) 1973-07-25 1977-08-10
CN1071030C (zh) * 1992-06-02 2001-09-12 佳能株式会社 具有视线检测器的光学装置
KR100325365B1 (ko) 1999-02-23 2002-03-04 김재희 응시위치 추적시스템
KR100372933B1 (ko) 2000-05-27 2003-03-04 김재한 응시점의 삼차원 좌표값 산출 장치 및 방법
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US8406479B2 (en) * 2006-07-14 2013-03-26 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
KR100850357B1 (ko) 2006-12-06 2008-08-04 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
JP2011138064A (ja) * 2009-12-29 2011-07-14 Seiko Epson Corp 視線移動量測定方法および視線移動量測定治具
JP5466610B2 (ja) * 2010-09-27 2014-04-09 パナソニック株式会社 視線推定装置
KR101200096B1 (ko) 2010-10-27 2012-11-12 동국대학교 산학협력단 시선 추적 시스템 및 그 방법
CN102043952B (zh) * 2010-12-31 2012-09-19 山东大学 一种基于双光源的视线跟踪方法
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9244529B2 (en) * 2013-01-27 2016-01-26 Dmitri Model Point-of-gaze estimation robust to head rotations and/or device rotations
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5230748B2 (ja) * 2008-09-26 2013-07-10 パナソニック株式会社 視線方向判定装置及び視線方向判定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210008638A (ko) * 2019-07-15 2021-01-25 상명대학교산학협력단 심리적 불안도 측정 장치 및 방법
KR102235932B1 (ko) 2019-07-15 2021-04-05 상명대학교산학협력단 심리적 불안도 측정 장치 및 방법

Also Published As

Publication number Publication date
US9606623B2 (en) 2017-03-28
CN104644120B (zh) 2017-10-13
US20150138066A1 (en) 2015-05-21
CN104644120A (zh) 2015-05-27

Similar Documents

Publication Publication Date Title
KR101470243B1 (ko) 시선 검출 장치 및 그 시선 검출 방법
US11749025B2 (en) Eye pose identification using eye features
CN110320999B (zh) 用于三维(3d)注视预测的深度学习的方法和系统
CN110913751B (zh) 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
TWI631506B (zh) 螢幕旋轉控制方法及系統
CN106547341A (zh) 注视跟踪器及其跟踪注视的方法
JP6840697B2 (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
US20160232708A1 (en) Intuitive interaction apparatus and method
TWI570638B (zh) 凝視分析方法與裝置
EP3188075B1 (en) Apparatus and method for recognizing hand gestures in a virtual reality headset
EP3994510A1 (en) Eye tracking latency enhancements
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
JP2016099759A (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
US20190369807A1 (en) Information processing device, information processing method, and program
JP6441581B2 (ja) フレキシブルディスプレイの曲げモーションに対する光検出
JP2018101211A (ja) 車載器
US20220350167A1 (en) Two-Eye Tracking Based on Measurements from a Pair of Electronic Contact Lenses
Kar et al. Eye-gaze systems-An analysis of error sources and potential accuracy in consumer electronics use cases
WO2014201667A1 (en) Method and device for detecting an object
Fujiyoshi et al. Inside-out camera for acquiring 3D gaze points
JP2005032254A (ja) 実空間内での指示対象物検知装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 4