KR102463169B1 - 시점 추적 방법 및 장치 - Google Patents

시점 추적 방법 및 장치 Download PDF

Info

Publication number
KR102463169B1
KR102463169B1 KR1020150126149A KR20150126149A KR102463169B1 KR 102463169 B1 KR102463169 B1 KR 102463169B1 KR 1020150126149 A KR1020150126149 A KR 1020150126149A KR 20150126149 A KR20150126149 A KR 20150126149A KR 102463169 B1 KR102463169 B1 KR 102463169B1
Authority
KR
South Korea
Prior art keywords
eye
region
feature point
determining
user
Prior art date
Application number
KR1020150126149A
Other languages
English (en)
Other versions
KR20170029166A (ko
Inventor
강병민
허진구
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150126149A priority Critical patent/KR102463169B1/ko
Priority to US15/014,722 priority patent/US9898080B2/en
Priority to EP16166079.0A priority patent/EP3139303B1/en
Priority to CN201610308480.7A priority patent/CN106504271B/zh
Priority to JP2016167769A priority patent/JP6795930B2/ja
Publication of KR20170029166A publication Critical patent/KR20170029166A/ko
Application granted granted Critical
Publication of KR102463169B1 publication Critical patent/KR102463169B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

시점 추적 방법 및 장치가 개시된다. 일 실시예에 따른 시점 추적 장치는 특징점들에 기초하여 영상에서 사용자의 눈 영역을 결정하고, 눈 영역에 포함된 픽셀들의 위치와 특징점들의 위치에 기초하여 눈 내부 영역을 결정할 수 있다. 시점 추적 장치는 눈 내부 영역에 포함된 픽셀들의 픽셀 값에 기초하여 동공 영역을 결정하고, 동공 영역에 포함된 픽셀들의 위치 값에 기초하여 사용자의 눈 위치를 결정할 수 있다.

Description

시점 추적 방법 및 장치{METHOD AND APPARATUS FOR EYE TRACKING}
아래의 설명은 시점 추적 기술에 관한 것이다.
디지털 기술의 발전에 따라 영상 분석을 통해 영상으로부터 특정 정보를 추출하고, 추출된 특정 정보를 이용하여 성능을 개선하고자 하는 시도가 활발히 진행되고 있다. 이러한 시도 중 하나로서, 양안 시차의 원리를 이용하여 입체감을 구현하는 무안경식 3D 디스플레이와 관련하여 사용자의 위치를 추적하고 사용자의 위치에 기초하여 3D 영상의 디스플레이를 제어하는 기술이 있다. 이와 같은 사용자 위치 기반 무안경 3D 디스플레이에서 화질의 저하 없이 3D 영상을 출력하기 위해서는 사용자의 위치를 보다 정확히 추적하는 것이 중요하다.
일 실시예에 따른 시점 추적 방법은, 특징점들에 기초하여 영상에서 사용자의 눈 영역을 결정하는 단계; 상기 눈 영역에 포함된 픽셀들의 위치와 상기 특징점들의 위치에 기초하여 눈 내부 영역을 결정하는 단계; 상기 눈 내부 영역에 포함된 픽셀들의 픽셀 값에 기초하여 동공 영역을 결정하는 단계; 및 상기 동공 영역에 포함된 픽셀들의 위치 값에 기초하여 상기 사용자의 눈 위치를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 시점 추적 방법에서, 상기 동공 영역을 결정하는 단계는, 상기 눈 내부 영역에 포함된 픽셀들의 제1 밝기 평균 값과 눈 중심 특징점의 주변 픽셀들의 제2 밝기 평균 값에 기초하여 상기 동공 영역에 포함되는 픽셀들을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 시점 추적 방법에서, 상기 동공 영역에 포함되는 픽셀들을 결정하는 단계는, 상기 눈 내부 영역에 포함된 현재 픽셀의 밝기 값이 상기 제1 밝기 평균 값에 기초한 제1 임계 값 및 상기 제2 밝기 평균 값에 기초한 제2 임계 값보다 작은 경우, 상기 현재 픽셀을 상기 동공 영역에 포함되는 것으로 결정할 수 있다.
일 실시예에 따른 시점 추적 방법에서, 상기 눈 내부 영역을 결정하는 단계는, 상기 눈 영역에 포함된 현재 픽셀과 눈 윤곽 특징점에 기초하여 제1 벡터를 계산하는 단계; 상기 눈 윤곽 특징점과 인접 눈 윤곽 특징점에 기초하여 제2 벡터를 계산하는 단계; 및 상기 제1 벡터와 상기 제2 벡터에 기초한 벡터 연산 결과에 기초하여 상기 현재 픽셀이 상기 눈 내부 영역에 포함되는지 여부를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 시점 추적 방법에서, 상기 눈 영역에 포함된 픽셀이 상기 눈 내부 영역에 포함되는지 여부를 결정하는 단계는, 각 눈 윤곽 특징점들에 대한 벡터 연산 결과들이 서로 동일한 부호를 나타내는 경우, 상기 눈 영역에 포함된 픽셀이 상기 눈 내부 영역에 포함되는 것으로 결정할 수 있다.
일 실시예에 따른 시점 추적 장치는, 특징점들에 기초하여 영상에서 사용자의 눈 영역을 결정하는 눈 영역 결정기; 상기 눈 영역에 포함된 픽셀들의 위치와 상기 특징점들의 위치에 기초하여 눈 내부 영역을 결정하는 눈 내부 영역 결정기; 상기 눈 내부 영역에 포함된 픽셀들의 픽셀 값에 기초하여 동공 영역을 결정하는 동공 영역 결정기; 및 상기 동공 영역에 포함된 픽셀들의 위치 값에 기초하여 상기 사용자의 눈 위치를 결정하는 눈 위치 결정기를 포함할 수 있다.
일 실시예에 따른 시점 추적 장치에서, 상기 눈 내부 영역 결정기는, 상기 눈 영역에 포함된 픽셀들 중 픽셀과 상기 특징점들 간의 위치 관계에 기초한 벡터 연산 결과에 기초하여 상기 눈 내부 영역에 포함되는 픽셀을 결정할 수 있다.
일 실시예에 따른 시점 추적 장치에서, 상기 동공 영역 결정기는, 상기 눈 내부 영역에 포함된 픽셀의 밝기 값을 상기 눈 내부 영역에 포함된 픽셀들의 제1 밝기 평균 값 및 눈 중심 특징점의 주변 픽셀들의 제2 밝기 평균 값과 비교하여 상기 동공 영역에 포함되는 픽셀들을 결정할 수 있다.
다른 실시예에 따른 시점 추적 장치는, 특징점들에 기초하여 영상에서 사용자의 눈 영역을 결정하는 눈 영역 결정기; 상기 눈 영역 내에서 세로 방향의 에지 성분을 검출하고, 상기 검출된 에지 성분에 기초하여 동공 영역과 관련된 타원 성분을 검출하는 동공 영역 결정기; 및 상기 타원 성분에 기초한 타원의 중심을 상기 사용자의 눈 위치로 결정하는 눈 위치 결정기를 포함할 수 있다.
도 1은 일 실시예에 따른 시점 추적 장치의 구성을 설명하기 위한 도면이다.
도 2 내지 도 8은 일 실시예에 따른 시점 추적 장치가 영상에서 사용자의 눈 위치를 추정하는 일례를 설명하기 위한 도면들이다.
도 9 내지 도 14는 다른 실시예에 따른 시점 추적 장치가 영상에서 사용자의 눈 위치를 추정하는 일례를 설명하기 위한 도면들이다.
도 15는 일 실시예에 따른 디스플레이 장치의 구성을 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 시점 추적 방법의 동작을 설명하기 위한 흐름도이다.
아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 특허출원의 범위가 본 명세서에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 설명한 분야에 속하는 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 관련하여 설명되는 특정한 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 언급이 모두 동일한 실시예를 지칭하는 것이라고 이해되어서는 안된다.
제1 또는 제2 등의 용어가 다양한 구성요소들을 구분하기 위해 사용될 수 있지만, 구성요소들이 제1 또는 제2의 용어에 의해 한정되는 것으로 해석되어서는 안된다. 또한, 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하의 설명된 실시예들은 무안경식 3D 디스플레이, 안경 형태의 웨어러블 장치, 가상현실(Virtual Reality, VR), 비디오 게임, 퍼스널 컴퓨터, 태블릿 컴퓨터, 모바일 장치, 스마트 가전 기기, 지능형 자동차 등의 다양한 응용에서 사용자의 시선을 추적하는데 적용될 수 있다. 예를 들어, 실시예들은 무안경식 3D 디스플레이에서 사용자의 눈 위치를 추적하여 사용자의 눈 위치에 따른 입체 영상을 디스플레이하는데 적용될 수 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 시점 추적(eye tracking) 장치의 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 시점 추적 장치(100)는 사용자의 눈 영역이 촬영된 영상으로부터 사용자의 눈 위치를 결정한다. 영상은 카메라와 같은 영상 획득 장치(미도시)에 의해 획득될 수 있고, 획득된 영상은 시점 추적 장치(100)에 전달될 수 있다. 시점 추적 장치(100)는 수신한 영상 프레임마다 사용자의 눈 위치를 결정하고, 결정된 눈 위치에 대한 정보를 출력할 수 있다. 출력된 정보는 사용자의 눈 위치 정보에 기반하는 다양한 응용에서 이용될 수 있다.
시점 추적 장치(100)는 특징점 검출기(110), 눈 영역 결정기(120), 눈 내부 영역 결정기(130), 동공 영역 결정기(140) 및 눈 위치 결정기(150)를 포함한다. 특징점 검출기(110), 눈 영역 결정기(120), 눈 내부 영역 결정기(130), 동공 영역 결정기(140) 및 눈 위치 결정기(150)의 동작은 하나 이상의 프로세서에 의해 수행될 수 있다.
특징점 검출기(110)는 영상으로부터 눈의 특징점들을 검출한다. 특징점 검출기(110)는 영상에서 사용자의 얼굴 영역 또는 눈/코 영역을 검출하고, 검출된 얼굴 영역 또는 눈/코 영역에서 눈 중심 특징점 및 하나 이상의 눈 윤곽 특징점을 검출할 수 있다. 눈 중심 특징점은 눈 영역의 중심 부근에서 검출되는 특징점이고, 눈 윤곽 특징점은 눈의 윤곽에서 검출되는 특징점이다.
특징점 검출기(110)는 예를 들어, LBP(Local Binary Pattern), SIFT(Scale Invariant Feature Transform), HoG(Histogram of Oriented Gradient), MCT(Modified Census Transform) 또는 Gabor Jet 등과 같은 영상의 국부적인 특징을 추출하고, 미리 학습된 눈/코 영역 인식기(미도시)에 추출된 특징을 입력하여 영상으로부터 눈/코 영역을 검출할 수 있다. 일 실시예에 따르면, 특징점 검출기(110)는 능동적 윤곽 모델(ACM, Active Contour Model), 능동적 형상 모델(ASM, Active Shape Model), 능동적 외양 모델(AAM, Active Appearance model), 또는 SDM(Supervised Descent Method) 등을 이용하여 눈/코 영역에서 눈 윤곽 특징점들을 검출하고, 검출된 눈 윤곽 특징점들 간의 중심점을 눈 중심 특징점으로 결정할 수 있다.
눈 영역 결정기(120)는 특징점 검출기(110)에 의해 검출된 특징점들에 기초하여 영상에서 사용자의 눈 영역을 결정한다. 눈 영역 결정기(120)는 눈 중심 특징점과 각 눈 윤곽 특징점들 간의 거리들을 계산하여 눈 중심 특징점과 눈 윤곽 특징점 간의 최대 거리를 결정하고, 눈 중심 특징점과 최대 거리에 기초하여 눈 영역을 결정할 수 있다. 예를 들어, 눈 영역 결정기(120)는 눈 중심 특징점을 중심으로 최대 거리 이내에 위치하는 영역 또는 눈 중심 특징점을 기준으로 상하좌우 최대 거리 이내에 위치하는 영역을 눈 영역으로 결정할 수 있다.
눈 내부 영역 결정기(130)는 눈 영역에서 눈 내부 영역을 결정한다. 눈 내부 영역은 실제 사용자의 눈에 대응되는 영역을 나타낸다. 눈 내부 영역 결정기(130)는 눈 영역에 포함된 픽셀과 눈 윤곽 특징점들의 위치 관계에 기초한 벡터 연산 결과에 기초하여 눈 내부 영역을 결정할 수 있다. 예를 들어, 눈 내부 영역 결정기(130)는 눈 영역에 포함된 현재 픽셀의 위치와 눈 윤곽 특징점의 위치에 기초하여 제1 벡터를 계산하고, 해당 눈 윤곽 특징점의 위치와 주변 눈 윤곽 특징점의 위치에 기초하여 제2 벡터를 계산할 수 있다. 눈 윤곽 특징점으로부터 시계 방향에 위치한 다른 눈 윤곽 특징점이 주변 눈 윤곽 특징점으로서 결정될 수 있다. 눈 내부 영역 결정기(130)는 제1 벡터와 제2 벡터에 기초하여 벡터의 외적(outer product) 연산을 수행할 수 있다.
눈 내부 영역 결정기(130)는 다른 눈 윤곽 특징점들에 대해서도 위와 동일하게 제1 벡터 및 제2 벡터를 계산하고, 벡터의 외적 연산을 수행할 수 있다. 눈 내부 영역 결정기(130)는 현재 픽셀과 각 눈 윤곽 특징점들에 대한 외적 연산 결과들의 부호가 서로 동일한 경우에 현재 픽셀이 눈 내부 영역에 포함되는 것으로 결정할 수 있다. 외적 연산 결과들의 부호가 서로 동일하지 않는 경우, 눈 내부 영역 결정기(130)는 현재 픽셀이 눈 내부 영역이 아닌 눈 외부 영역에 포함되는 것으로 결정할 수 있다.
동공 영역 결정기(140)는 눈 내부 영역에 포함된 픽셀들의 픽셀 값에 기초하여 동공 영역을 결정한다. 동공 영역 결정기(140)는 눈 내부 영역에 포함된 픽셀들의 제1 밝기 평균 값과 눈 중심 특징점의 주변 픽셀들의 제2 밝기 평균 값에 기초하여 동공 영역에 포함되는 픽셀들을 결정할 수 있다. 예를 들어, 동공 영역 결정기(140)는 눈 내부 영역에 포함된 현재 픽셀의 밝기 값이 제1 밝기 평균 값에 기초한 제1 임계 값 및 제2 밝기 평균 값에 기초한 제2 임계 값보다 작은 경우, 해당 현재 픽셀을 동공 영역에 포함되는 것으로 결정할 수 있다. 일 실시예에 따르면, 제1 임계 값은 제1 밝기 평균 값과 동일할 수 있고, 제2 임계 값은 제2 밝기 평균 값 이상의 값을 가질 수 있다.
눈 위치 결정기(150)는 동공 영역에 포함된 픽셀들의 위치 값에 기초하여 사용자의 눈 위치를 결정한다. 예를 들어, 눈 위치 결정기(150)는 동공 영역에 포함된 픽셀들의 위치 값들의 평균 값을 사용자의 눈 위치로 결정할 수 있다.
다른 실시예에 따르면, 특징점 검출기(110)는 영상에서 눈 영역에 대한 특징점을 충분히 검출하지 못할 수도 있다. 이하에서는, 특징점 검출기(110)가 영상으로부터 소수의 눈 윤곽 특징점들을 검출한 경우에 시점 추적 장치(100)가 영상으로부터 사용자의 눈 위치를 결정하는 과정을 설명하도록 한다.
눈 영역 결정기(120)는 영상에서 검출된 눈 윤곽 특징점들에 기초하여 영상에서 사용자의 눈 영역을 결정할 수 있다. 예를 들어, 눈의 가장자리에 위치한 눈 윤곽 특징점들이 검출되었다고 가정하면, 눈 영역 결정기(120)는 눈 윤곽 특징점들 간의 중심을 계산하고, 결정된 중심에 기초하여 눈 윤곽 특징점들 간의 가로 방향 거리를 계산할 수 있다. 눈 영역 결정기(120)는 가로 방향 거리에 미리 설정된 비율을 곱하여 세로 방향 거리를 결정하고, 눈 윤곽 특징점들 간의 중심을 기준으로 가로 방향 거리와 세로 방향 거리에 기초한 영역을 눈 영역으로 결정할 수 있다. 동공 영역 결정기(140)는 결정된 눈 영역 내에서 세로 방향의 에지(edge) 성분을 검출하고, 검출된 에지 성분에 기초하여 동공 영역과 관련된 타원(원 포함) 성분을 검출할 수 있다. 눈 위치 결정기(150)는 검출된 타원 성분에 기초하여 동공 영역과 중첩되는 가상의 타원을 추정하고, 타원의 무게 중심을 사용자의 눈 위치로 결정할 수 있다.
눈 위치 결정기(150)는 위와 같은 과정을 거쳐 결정된 2D 좌표 값의 눈 위치 정보를 3D 좌표 값으로 변환할 수 있다. 예를 들어, 눈 위치 결정기(150)는 사용자의 두 눈 사이의 거리 정보와 사용자 얼굴의 방향 정보에 기초하여 눈 위치 정보를 3D 좌표 값으로 변환할 수 있다. 여기서, 두 눈 사이의 거리 정보로서 표준 값인 65 mm가 이용될 수 있으나, 이에 한정되는 것은 아니다. 눈 위치 결정기(150)는 예를 들어, 영상에서 검출된 특징점들을 3D 얼굴 모델에 정합하여 개인화된 3D 얼굴 모델을 생성하고, 개인화된 3D 얼굴 모델의 방향 정보에 기초하여 사용자 얼굴의 방향 정보를 추정할 수 있다.
이상 설명된 과정을 통해 시점 추적 장치(100)는 영상에서 사용자의 눈 위치를 보다 정확하게 검출할 수 있다. 또한, 시점 추적 장치(100)는 영상 프레임마다 두 동공 영역의 중심을 추적함으로써 영상 프레임들 사이에서 발생하는 눈 위치의 떨림을 저감시킬 수 있다.
도 2 내지 도 8은 일 실시예에 따른 시점 추적 장치가 영상에서 사용자의 눈 위치를 추정하는 일례를 설명하기 위한 도면들이다.
도 2를 참조하면, 시점 추적 장치는 영상에서 눈 중심에 위치하는 것으로 추정한 눈 중심 특징점(210) 및 눈 윤곽에 위치한 눈 윤곽 특징점들(222, 224, 226, 228, 230, 232)을 검출할 수 있다. 시점 추적 장치는 눈 중심 특징점(210)과 각 눈 윤곽 특징점들(222, 224, 226, 228, 230, 232) 간의 거리를 계산하고, 계산된 거리 값들 중 최대 거리 값 dmax를 결정할 수 있다.
도 3을 참조하면, 시점 추적 장치는 도 2에서 결정된 최대 거리 값 dmax에 기초하여 눈 영역(310)을 결정할 수 있다. 시점 추적 장치는 눈 중심 특징점(210)을 기준으로 상하좌우로 최대 거리 값 dmax 내에 위치하는 영역을 눈 영역(310)으로 결정할 수 있다. 눈 영역(310)의 형태는 도 3에서와 같이 사각의 형태를 가지거나, 또는 눈 중심 특징점(210)을 중심으로 하고 최대 거리 값 dmax 을 반지름 길이로 하는 원의 형태를 가질 수도 있으나, 실시예의 범위가 이에 한정되는 것은 아니다.
도 4를 참조하면, 시점 추적 장치는 눈 영역(310)에서 눈 내부 영역을 결정할 수 있다. 시점 추적 장치는 눈 영역(310)에 포함된 픽셀(410)과 눈 윤곽 특징점들(222, 224, 226, 228, 230, 232) 간의 위치 관계에 기초하여 픽셀(410)이 눈 내부 영역에 포함되는지 여부를 결정할 수 있다. 시점 추적 장치는 눈 윤곽 특징점(224)과 픽셀(410)이 이루는 제1 벡터 및 눈 윤곽 특징점(224)과 눈 윤곽 특징점(224)의 시계 방향으로 인접한 눈 윤곽 특징점(226)이 이루는 제2 벡터 간의 외적 연산을 수행할 수 있다. 이와 동일하게, 시점 추적 장치는 눈 윤곽 특징점(226)에 대해서도 눈 윤곽 특징점(226)과 픽셀(410)이 이루는 제1 벡터 및 눈 윤곽 특징점(226)과 눈 윤곽 특징점(226)의 시계 방향으로 인접한 눈 윤곽 특징점(228)이 이루는 제2 벡터 간의 외적 연산을 수행할 수 있다. 시점 추적 장치는 다른 눈 윤곽 특징점들(228, 230, 232)에 대해서도 위와 동일하게 외적 연산을 수행하고, 모든 외적 연산 결과들의 부호가 모두 동일한지 여부를 판단할 수 있다. 픽셀(410)의 경우, 외적 연산 결과들의 부호가 모두 동일하게 되어 픽셀(410)은 눈 내부 영역에 포함되는 것으로 결정될 수 있다.
도 5에 도시된 것과 같이 눈 영역(310) 내에 존재하지만 실제 눈 외부 영역에 위치한 픽셀(510)에 대해 도 4의 과정과 동일한 과정을 수행하면, 픽셀(510)과 각 눈 윤곽 특징점들(222, 224, 226, 228, 230, 232) 간의 외적 연산 결과들의 부호가 서로 동일하지 않다는 것을 알 수 있다. 예를 들어, 눈 윤곽 특징점(228)과 픽셀(510)이 이루는 제1 벡터 및 눈 윤곽 특징점(228)과 눈 윤곽 특징점(228)의 시계 방향으로 인접한 눈 윤곽 특징점(230)이 이루는 제2 벡터 간의 외적 연산 결과의 부호를 '+'라고 하면, 눈 윤곽 특징점(230)과 픽셀(510)이 이루는 제1 벡터 및 눈 윤곽 특징점(230)과 눈 윤곽 특징점(230)의 시계 방향으로 인접한 눈 윤곽 특징점(232)이 이루는 제2 벡터 간의 외적 연산 결과의 부호는 '-'가 된다. 픽셀(510)과 각 눈 윤곽 특징점들(222, 224, 226, 228, 230, 232) 간에 외적 연산 결과들의 부호가 모두 동일하지 않으므로, 시점 추적 장치는 픽셀(510)이 눈 내부 영역에 포함되지 않는 것으로 결정할 수 있다.
시점 추적 장치는 눈 영역(310)에 포함된 각 픽셀들에 대해 도 4 및 도 5에서와 같은 과정을 수행하여 눈 영역(310)에서 눈 내부 영역에 포함되는 픽셀들을 결정할 수 있다. 도 6은 도 4 및 도 5의 과정에 따라 눈 영역(310)으로부터 검출된 눈 내부 영역(610)을 도시한다.
도 7을 참조하면, 시점 추적 장치는 픽셀들의 픽셀 값 정보에 기초하여 눈 내부 영역(610) 내에서 동공 영역을 결정할 수 있다. 시점 추적 장치는 눈 내부 영역(610)에 포함된 픽셀들의 밝기 값들의 평균 값인 제1 밝기 평균 값을 계산하고, 눈 내부 영역(610)에 포함된 픽셀들 중 눈 중심 특징점(210)의 인접 영역(710)에 포함된 픽셀들의 밝기 값들의 평균 값인 제2 밝기 평균 값을 계산할 수 있다.
시점 추적 장치는 예를 들어, 눈 내부 영역(610)에 포함된 임의의 픽셀이 아래 수학식 1을 만족하면 해당 픽셀이 동공 영역에 포함되는 것으로 결정할 수 있다.
Figure 112015086641522-pat00001
수학식 1에서, "보상 값"은 수학식 1의 조건을 조정하기 위한 임의의 값으로 0 이상의 값을 갖는다.
대부분의 경우, 동공 영역의 밝기가 동공 영역의 주변 밝기 값보다 작기 때문에 눈 내부 영역(610)에 대한 제1 밝기 평균 값을 임계 값으로서 고려할 수 있다. 그러나, 눈 내부 영역(610)에서 동공 영역의 크기는 주변 영역보다 작기 때문에 제1 밝기 평균 값만을 임계 값으로 고려하면 동공 영역의 일부 주변 영역에 포함된 픽셀도 동공 영역으로 잘못 결정될 가능성이 있다. 수학식 1에서와 같이, 제1 밝기 평균 값뿐만 아니라 눈 중심 특징점(210) 주변 영역(710)에 대한 제2 밝기 평균 값을 더 고려함으로써 시점 추적 장치는 눈 내부 영역(610)에서 동공 영역을 보다 정확히 결정할 수 있다.
시점 추적 장치는 눈 내부 영역(610)에 포함된 모든 픽셀들에 대해 위와 같은 과정을 수행하고, 동공 영역이라고 결정된 픽셀들에 대한 정보(예, 위치 값)를 저장할 수 있다.
도 8에는 도 7의 추적 과정을 통해 결정된 동공 영역(810)이 도시되어 있다. 시점 추적 장치는 결정된 동공 영역(810)에 포함된 픽셀들의 위치 값들의 평균을 사용자의 눈 위치(820)로 결정할 수 있다.
도 9 내지 도 14는 다른 실시예에 따른 시점 추적 장치가 영상에서 사용자의 눈 위치를 추정하는 일례를 설명하기 위한 도면들이다.
도 9를 참조하면, 시점 추적 장치는 영상에서 눈/코 영역(910)을 검출한 후 눈에 대한 특징점들(922, 924, 926, 928)을 검출할 수 있다. 도 9 내지 도 14에서는 특징점들이 도 9에 도시된 것과 같이 각 눈의 가장자리에서만 검출되었다고 가정한다. 시점 추적 장치는 소수의 특징점들을 이용하는 것에 의해 사용자의 눈의 위치를 보다 빠른 속도로 검출할 수 있다.
도 10을 참조하면, 시점 추적 장치는 각 눈에서 검출된 두 특징점들 간의 위치 관계에 기초하여 특징점들 간의 중심을 계산할 수 있다. 시점 추적 장치는 특징점들(922, 924)의 간의 중심(1010)을 계산하고, 특징점들(926, 928) 간의 중심(1020)을 계산할 수 있다.
도 11을 참조하면, 시점 추적 장치는 검출된 중심들(1010, 1020)과 특징점들(922, 924, 926, 928)의 위치에 기초하여 눈 영역들(1110, 1120)을 결정할 수 있다. 예를 들어, 시점 추적 장치는 특징점(922) 및 특징점(924) 간의 가로 방향 거리를 계산하고, 계산한 거리 방향 거리에 미리 설정된 비율(예, 1/3)을 곱하여 세로 방향 거리를 결정할 수 있다. 시점 추적 장치는 중심(1010)을 기준으로 가로 방향 거리 및 세로 방향 거리에 기초한 영역을 눈 영역(1110)으로 결정할 수 있다. 시점 추적 장치는 중심(1020)과 특징점들(926, 928)에 대해서도 위와 같은 과정을 통해 눈 영역(1120)을 결정할 수 있다.
도 12를 참조하면, 시점 추적 장치는 결정된 눈 영역들 내에서 세로 방향의 에지 성분들(1212, 1214, 1216, 1218)을 검출할 수 있다. 예를 들어, 시점 추적 장치는 소벨(Sobel) 에지 추출 기법, 프리윗(Prewitt) 에지 추출 기법, 로버츠(Roberts) 에지 추출 기법 또는 캐니(Canny) 에지 추출 기법 등을 이용하여 에지 성분들(1212, 1214, 1216, 1218)을 검출할 수 있다.
도 13을 참조하면, 시점 추적 장치는 검출된 에지 성분들(1212, 1214, 1216, 1218)에 기초하여 타원을 피팅(fitting)하여 눈 영역 내에서 동공 영역과 관련된 타원들(1310, 1320)을 검출할 수 있다. 도 14를 참조하면, 시점 추적 장치는 검출된 각 타원들(1310, 1320)의 무게 중심을 계산하고, 계산된 무게 중심을 사용자의 눈 위치들(1410, 1420)로 결정할 수 있다.
도 15는 일 실시예에 따른 디스플레이 장치의 구성을 설명하기 위한 도면이다.
도 15를 참조하면, 디스플레이 장치(1510)는 예를 들어, 3D 안경의 필요 없이 3D 영상을 출력하는 무안경식 디스플레이일 수 있다. 디스플레이 장치(1510)는 사용자의 눈 위치를 추적하고, 추적된 사용자의 눈 위치에 따라 3D 영상을 재구성하여 출력할 수 있다. 디스플레이 장치(1510)는 카메라(1520), 눈 위치 검출기(1530), 영상 처리기(1540) 및 디스플레이부(1550)를 포함한다.
카메라(1520)는 디스플레이 장치(1510)의 전방에 위치한 사용자를 촬영하여 사용자의 얼굴 영역이 나타난 얼굴 영상을 획득할 수 있다.
눈 위치 검출기(1530)는 얼굴 영상 내에서 사용자의 눈 위치를 검출할 수 있다. 눈 위치 검출기(1530)는 얼굴 영상 내 얼굴 영역 또는 눈/코 영역에서 눈의 특징점들을 검출하고, 검출된 특징점들에 기초하여 사용자의 눈 위치를 검출할 수 있다. 눈 위치 검출기(1530)는 검출된 특징점의 개수에 따라 서로 다른 방식으로 눈의 위치를 검출할 수 있다. 예를 들어, 얼굴 영상에서 다수의 눈 윤곽 특징점들 및 눈 중심 특징점이 검출된 경우, 눈 위치 검출기(1530)는 도 2 내지 도 8에 도시된 과정에 따라 얼굴 영상으로부터 사용자의 눈의 위치를 검출할 수 있다. 얼굴 영상에서 소수의 눈 윤곽 특징점들만이 검출된 경우, 눈 위치 검출기(1530)는 도 9 내지 도 14에 도시된 과정에 따라 얼굴 영상으로부터 사용자의 눈의 위치를 검출할 수 있다. 다른 예로, 눈 위치 검출기(1530)는 눈/코 영역 내에서 템플릿 매칭(template matching)을 통해 눈 영역을 검출한 후에 템플릿의 중심 값을 눈 중심 위치로 결정할 수도 있다.
눈 위치 검출기(1530)는 위 과정을 거쳐 결정된 2D 좌표 값의 눈 위치 정보를 3D 좌표 값으로 변환할 수 있다. 디스플레이 장치(1510)가 3차원 공간 상에서 사용자의 좌우 두 눈의 위치에 대응하는 3D 영상을 생성하기 위해서는, 사용자의 두 눈 위치를 2D 좌표 값에서 3D 좌표 값으로 변환할 필요가 있다. 눈 위치 검출기(1530)는 사용자의 두 눈 사이의 거리 정보와 사용자 얼굴의 방향 정보에 기초하여 눈 위치 정보를 3D 좌표 값으로 변환할 수 있다. 두 눈 사이의 거리 정보로서 미리 정해진 표준 거리 값(예, 65 mm)이 이용될 수 있으나, 이에 한정되는 것은 아니다. 얼굴의 방향 정보는 얼굴 영상으로부터 검출된 특징점들을 3D 얼굴 모델에 정합시킨 후 3D 얼굴 모델의 회전된 각도를 계산함으로써 획득될 수 있다. 다른 예로, 눈 위치 검출기(1530)는 두 대 이상의 카메라(1520)들을 이용한 삼각 측량법에 기초하여 사용자의 눈 위치의 3D 좌표 값을 결정할 수도 있다.
일 실시예에 따르면, 눈 위치 검출기(1530)는 눈 위치 정보를 3D 좌표 값으로 변환한 후 눈 위치 예측을 수행하여 눈 위치 정보를 수정한 후 영상 처리기(1540)에 전달할 수 있다. 영상 처리기(1540)가 눈 위치 검출기(1530)로부터 눈 위치 정보를 수신한 후 사용자의 눈 위치에 대응하는 3D 영상을 생성하기까지 일정 시간이 소요될 수 있다. 또한, 사용자가 움직이는 경우, 사용자의 눈 위치가 검출된 시점과 영상 처리기(1540)가 3D 영상을 생성하여 출력하는 시점 간에는 지연 시간이 발생하기 때문에 사용자의 눈 위치 정보를 보정할 필요가 있다. 이를 위해, 눈 위치 검출기(1530)는 사용자의 움직임 정보에 기초하여 사용자의 눈 위치 경로를 예측할 수 있고, 영상 처리기(1540)는 예측된 눈 위치 경로에 기초하여 3D 영상을 재구성할 수 있다.
영상 처리기(1540)는 눈 위치 검출기(1530)에 의해 결정된 사용자의 눈 위치에 기초하여 3D 영상(예, 스테레오 영상 또는 3D 그래픽 데이터)을 재구성할 수 있다. 영상 처리기(1540)는 사용자의 눈 위치에 3D 영상이 도달할 수 있도록 디스플레이부(1550)를 통해 출력할 3D 영상을 재구성할 수 있다.
디스플레이부(1550)는 영상 처리기(1540)에 의해 처리된 3D 영상을 디스플레이한다. 예를 들어, 디스플레이부(1550)는 렌티큘러 렌즈(lenticular lens), 패럴랙스 배리어(parallax barrier), 지향성 백 라이트(Directional Backlight) 등을 이용하여 3D 영상을 구현할 수 있다.
도 16은 일 실시예에 따른 시점 추적 방법의 동작을 설명하기 위한 흐름도이다. 시점 추적 방법은 하나 이상의 프로세서를 포함하는 시점 추적 장치에 의해 수행될 수 있다.
도 16을 참조하면, 단계(1610)에서 시점 추적 장치는 특징점들을 검출할 수 있다. 예를 들어, 시점 추적 장치는 사용자의 얼굴이 촬영된 영상에서 눈/코 영역을 검출하고, 눈/코 영역에서 눈 중심 특징점 및 하나 이상의 눈 윤곽 특징점을 검출할 수 있다.
단계(1620)에서, 시점 추적 장치는 검출된 특징점들에 기초하여 영상에서 눈 영역을 결정할 수 있다. 예를 들어, 시점 추적 장치는 눈 중심 특징점과 각 눈 윤곽 특징점들 간의 거리들을 계산하여 눈 중심 특징점과 눈 윤곽 특징점 간의 최대 거리를 결정하고, 눈 중심 특징점과 최대 거리에 기초하여 눈 영역을 결정할 수 있다.
단계(1630)에서, 시점 추적 장치는 눈 영역에 포함된 픽셀들의 위치와 특징점의 위치에 기초하여 눈 내부 영역을 결정할 수 있다. 시점 추적 장치는 눈 영역에 포함된 현재 픽셀의 위치와 눈 윤곽 특징점의 위치에 기초하여 제1 벡터를 계산하고, 해당 눈 윤곽 특징점의 위치와 주변 눈 윤곽 특징점의 위치에 기초하여 제2 벡터를 계산할 수 있다. 시점 추적 장치는 제1 벡터와 제2 벡터에 기초하여 벡터의 외적 연산을 수행할 수 있다. 시점 추적 장치는 다른 눈 윤곽 특징점들에 대해서도 위와 동일하게 제1 벡터 및 제2 벡터를 계산하고, 벡터의 외적 연산을 수행할 수 있다. 시점 추적 장치는 눈 윤곽 특징점들 각각에 대한 외적 연산 결과들의 부호가 모두 동일하면 현재 픽셀이 눈 내부 영역에 포함되는 것으로 결정하고, 동일하지 않은 경우에는 현재 픽셀이 눈 내부 영역에 포함되지 않는 것으로 결정할 수 있다. 시점 추적 장치는 눈 내부 영역에 포함되는 것으로 결정된 픽셀들에 대한 정보(예, 밝기, 위치)를 저장할 수 있다.
단계(1640)에서, 시점 추적 장치는 눈 내부 영역에 포함된 픽셀들의 픽셀 값에 기초하여 동공 영역을 결정할 수 있다. 시점 추적 장치는 눈 내부 영역에 포함된 현재 픽셀의 밝기 값이 제1 밝기 평균 값에 기초한 제1 임계 값 및 제2 밝기 평균 값에 기초한 제2 임계 값보다 작은 경우, 해당 현재 픽셀을 동공 영역에 포함되는 것으로 결정할 수 있다. 여기서, 제1 밝기 평균 값은 눈 내부 영역에 포함된 픽셀들의 밝기 값들의 평균 값을 나타내고, 제2 밝기 평균 값은 눈 중심 특징점의 주변 픽셀들의 밝기 값들의 평균 값을 나타낸다. 시점 추적 장치는 동공 영역에 포함되는 것으로 결정된 픽셀들에 대한 정보(예, 위치)를 저장할 수 있다.
단계(1650)에서, 시점 추적 장치는 동공 영역에 포함된 픽셀들의 위치 값에 기초하여 사용자의 눈 위치를 결정할 수 있다. 시점 추적 장치는 동공 영역에 포함된 픽셀들의 위치 값들의 평균 값을 사용자의 눈 위치로 결정할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 특징점들에 기초하여 영상에서 사용자의 눈 영역을 결정하는 단계;
    상기 눈 영역에 포함된 픽셀들의 위치와 상기 특징점들의 위치에 기초하여 눈 내부 영역을 결정하는 단계;
    상기 눈 내부 영역에 포함된 픽셀들의 픽셀 값에 기초하여 동공 영역을 결정하는 단계; 및
    상기 동공 영역에 포함된 픽셀들의 위치 값에 기초하여 상기 사용자의 눈 위치를 결정하는 단계를 포함하고,
    상기 눈 내부 영역을 결정하는 단계는,
    상기 눈 영역에 포함된 현재 픽셀과 눈 윤곽 특징점에 기초하여 제1 벡터를 계산하는 단계;
    상기 눈 윤곽 특징점과 인접 눈 윤곽 특징점에 기초하여 제2 벡터를 계산하는 단계; 및
    상기 제1 벡터와 상기 제2 벡터에 기초한 벡터 연산 결과에 기초하여 상기 현재 픽셀이 상기 눈 내부 영역에 포함되는지 여부를 결정하는 단계
    를 포함하는 시점 추적 방법.
    시점 추적 방법.
  2. 제1항에 있어서,
    상기 동공 영역을 결정하는 단계는,
    상기 눈 내부 영역에 포함된 픽셀들의 제1 밝기 평균 값과 눈 중심 특징점의 주변 픽셀들의 제2 밝기 평균 값에 기초하여 상기 동공 영역에 포함되는 픽셀들을 결정하는 단계
    를 포함하는 시점 추적 방법.
  3. 제2항에 있어서,
    상기 동공 영역에 포함되는 픽셀들을 결정하는 단계는,
    상기 눈 내부 영역에 포함된 현재 픽셀의 밝기 값이 상기 제1 밝기 평균 값에 기초한 제1 임계 값 및 상기 제2 밝기 평균 값에 기초한 제2 임계 값보다 작은 경우, 상기 현재 픽셀을 상기 동공 영역에 포함되는 것으로 결정하는, 시점 추적 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 눈 영역에 포함된 픽셀이 상기 눈 내부 영역에 포함되는지 여부를 결정하는 단계는,
    각 눈 윤곽 특징점들에 대한 벡터 연산 결과들이 서로 동일한 부호를 나타내는 경우, 상기 눈 영역에 포함된 픽셀이 상기 눈 내부 영역에 포함되는 것으로 결정하는, 시점 추적 방법.
  6. 제1항에 있어서,
    상기 사용자의 눈 위치를 결정하는 단계는,
    상기 동공 영역에 포함된 픽셀들의 위치 값들의 평균 값을 상기 사용자의 눈 위치로 결정하는, 시점 추적 방법.
  7. 제1항에 있어서,
    상기 눈 영역을 결정하는 단계는,
    눈 중심 특징점과 각 눈 윤곽 특징점들 간의 거리들 중에서 최대 거리를 결정하는 단계; 및
    상기 눈 중심 특징점의 위치와 상기 최대 거리에 기초하여 상기 눈 영역을 결정하는 단계
    를 포함하는 시점 추적 방법.
  8. 제1항에 있어서,
    상기 사용자의 눈 영역을 결정하는 단계는,
    상기 영상에서 눈 중심 특징점 및 적어도 하나의 눈 윤곽 특징점을 검출하는 단계; 및
    상기 검출된 눈 중심 특징점 및 상기 적어도 하나의 눈 윤곽 특징점에 기초하여 상기 눈 영역을 결정하는 단계
    를 포함하는 시점 추적 방법.
  9. 제1항에 있어서,
    상기 사용자의 눈 위치를 결정하는 단계는,
    상기 사용자의 두 눈 사이의 거리 정보와 사용자 얼굴의 방향 정보에 기초하여 눈 위치 정보를 3D 좌표 값으로 변환하는 단계
    를 포함하는 시점 추적 방법.
  10. 제9항에 있어서,
    상기 눈 위치 정보를 3D 좌표 값으로 변환하는 단계는,
    상기 특징점들을 3D 얼굴 모델에 정합하여 개인화된 3D 얼굴 모델을 생성하고, 상기 개인화된 3D 얼굴 모델의 방향 정보에 기초하여 상기 사용자 얼굴의 방향 정보를 추정하는 단계
    를 포함하는 시점 추적 방법.
  11. 하드웨어와 결합되어 제1항 내지 제3항, 및 제5항 내지 제10항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  12. 특징점들에 기초하여 영상에서 사용자의 눈 영역을 결정하는 눈 영역 결정기;
    상기 눈 영역에 포함된 픽셀들의 위치와 상기 특징점들의 위치에 기초하여 눈 내부 영역을 결정하는 눈 내부 영역 결정기;
    상기 눈 내부 영역에 포함된 픽셀들의 픽셀 값에 기초하여 동공 영역을 결정하는 동공 영역 결정기; 및
    상기 동공 영역에 포함된 픽셀들의 위치 값에 기초하여 상기 사용자의 눈 위치를 결정하는 눈 위치 결정기를 포함하고,
    상기 눈 내부 영역 결정기는,
    상기 눈 영역에 포함된 현재 픽셀과 눈 윤곽 특징점에 기초하여 제1 벡터를 계산하고, 상기 눈 윤곽 특징점과 인접 눈 윤곽 특징점에 기초하여 제2 벡터를 계산하고, 및 상기 제1 벡터와 상기 제2 벡터에 기초한 벡터 연산 결과에 기초하여 상기 현재 픽셀이 상기 눈 내부 영역에 포함되는지 여부를 결정하는,
    시점 추적 장치.
  13. 삭제
  14. 제12항에 있어서,
    상기 동공 영역 결정기는,
    상기 눈 내부 영역에 포함된 픽셀의 밝기 값을 상기 눈 내부 영역에 포함된 픽셀들의 제1 밝기 평균 값 및 눈 중심 특징점의 주변 픽셀들의 제2 밝기 평균 값과 비교하여 상기 동공 영역에 포함되는 픽셀들을 결정하는, 시점 추적 장치.
  15. 제12항에 있어서,
    상기 영상으로부터 눈 중심 특징점 및 적어도 하나 이상의 눈 윤곽 특징점을 검출하는 특징점 검출기
    를 더 포함하는 시점 추적 장치.
  16. 삭제
  17. 삭제
  18. 삭제
KR1020150126149A 2015-09-07 2015-09-07 시점 추적 방법 및 장치 KR102463169B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150126149A KR102463169B1 (ko) 2015-09-07 2015-09-07 시점 추적 방법 및 장치
US15/014,722 US9898080B2 (en) 2015-09-07 2016-02-03 Method and apparatus for eye tracking
EP16166079.0A EP3139303B1 (en) 2015-09-07 2016-04-19 Method and apparatus for eye tracking
CN201610308480.7A CN106504271B (zh) 2015-09-07 2016-05-11 用于眼睛跟踪的方法和设备
JP2016167769A JP6795930B2 (ja) 2015-09-07 2016-08-30 視点追跡方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150126149A KR102463169B1 (ko) 2015-09-07 2015-09-07 시점 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170029166A KR20170029166A (ko) 2017-03-15
KR102463169B1 true KR102463169B1 (ko) 2022-11-04

Family

ID=56081220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150126149A KR102463169B1 (ko) 2015-09-07 2015-09-07 시점 추적 방법 및 장치

Country Status (5)

Country Link
US (1) US9898080B2 (ko)
EP (1) EP3139303B1 (ko)
JP (1) JP6795930B2 (ko)
KR (1) KR102463169B1 (ko)
CN (1) CN106504271B (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564479B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
CN107862732B (zh) * 2017-11-08 2020-06-19 清华大学 实时的三维眼皮重建方法及装置
KR102444666B1 (ko) * 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
CN108134928A (zh) * 2017-12-26 2018-06-08 深圳Tcl新技术有限公司 Vr显示方法和装置
CN108304071A (zh) * 2018-02-02 2018-07-20 惠州学院 一种基于眼球跟踪实现交互式2.5d的方法
CN108282650B (zh) * 2018-02-12 2019-12-24 深圳超多维科技有限公司 一种裸眼立体显示方法、装置、系统及存储介质
CN108446595A (zh) * 2018-02-12 2018-08-24 深圳超多维科技有限公司 一种空间定位方法、装置、系统及存储介质
CN108737714A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 一种拍照方法及装置
WO2019205007A1 (en) 2018-04-25 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for blink action recognition based on facial feature points
CN108922085B (zh) * 2018-07-18 2020-12-18 北京七鑫易维信息技术有限公司 一种监护方法、装置、监护设备及存储介质
CN109086713B (zh) * 2018-07-27 2019-11-15 腾讯科技（深圳）有限公司 眼部识别方法、装置、终端及存储介质
CN109102528A (zh) * 2018-08-07 2018-12-28 上海海事大学 一种船舶跟踪方法及系统
CN112655016A (zh) * 2018-09-11 2021-04-13 索尼公司 信息处理设备、信息处理方法和程序
CN109151445B (zh) * 2018-09-26 2020-08-04 深圳市新致维科技有限公司 一种裸眼3d显示系统及其显示方法和计算机存储设备
CN109471527B (zh) * 2018-10-15 2022-07-22 上海理工大学 基于视觉跟踪技术的特殊病人信息交互系统及使用方法
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN109784285A (zh) * 2019-01-21 2019-05-21 深圳市云眸科技有限公司 实现人脸识别的方法及装置、电子设备、存储介质
CN110032278B (zh) * 2019-03-29 2020-07-14 华中科技大学 一种人眼感兴趣物体的位姿识别方法、装置及系统
KR102214411B1 (ko) * 2019-03-29 2021-02-09 상명대학교산학협력단 렌즈 가상 착용 장치 및 방법
JP6717477B1 (ja) * 2019-09-13 2020-07-01 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
US11442540B2 (en) * 2019-09-18 2022-09-13 Apple Inc. Eye tracking using low resolution images
US12075022B2 (en) 2019-12-19 2024-08-27 Sony Group Corporation Image processing device and image processing method
WO2021134160A1 (en) * 2019-12-30 2021-07-08 Fresenius Medical Care Deutschland Gmbh Method for driving a display, tracking monitor and storage medium
JP7536590B2 (ja) 2020-04-02 2024-08-20 京セラ株式会社 検出装置および画像表示モジュール
WO2021201161A1 (ja) * 2020-04-02 2021-10-07 京セラ株式会社 検出装置および画像表示モジュール
JP6757949B1 (ja) * 2020-05-28 2020-09-23 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
CN111784806B (zh) * 2020-07-03 2024-10-01 珠海金山数字网络科技有限公司 一种虚拟角色的绘制方法及装置
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
CN113160765A (zh) * 2021-01-22 2021-07-23 京东方科技集团股份有限公司 显示装置的驱动方法、装置、电子设备及存储介质
CN114939272B (zh) * 2022-06-15 2023-08-04 广州汽车集团股份有限公司 一种基于hud的车载互动游戏方法与系统
CN115953332B (zh) * 2023-03-15 2023-08-18 四川新视创伟超高清科技有限公司 动态图像融合的亮度调整方法、系统、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009181424A (ja) * 2008-01-31 2009-08-13 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2012190351A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、および画像処理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2324428A (en) 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
DE19953835C1 (de) 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
JP4898026B2 (ja) 2001-06-29 2012-03-14 本田技研工業株式会社 ステレオカメラを使用した顔・視線認識装置
EP2150170B1 (en) 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
US20090196460A1 (en) 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
KR101286965B1 (ko) * 2009-12-29 2013-07-23 동국대학교 산학협력단 시선 추적 장치 및 방법
JP5618686B2 (ja) * 2010-08-03 2014-11-05 キヤノン株式会社 視線検出装置、視線検出方法及びプログラム
US9185352B1 (en) * 2010-12-22 2015-11-10 Thomas Jacques Mobile eye tracking system
JP4893862B1 (ja) * 2011-03-11 2012-03-07 オムロン株式会社 画像処理装置、および画像処理方法
CN102830793B (zh) * 2011-06-16 2017-04-05 北京三星通信技术研究有限公司 视线跟踪方法和设备
KR101874494B1 (ko) 2011-11-25 2018-07-06 삼성전자주식회사 특징점의 삼차원 위치 계산 장치 및 방법
KR20130068732A (ko) 2011-12-16 2013-06-26 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 시야각을 확장하기 위한 방법
JP2013143736A (ja) * 2012-01-12 2013-07-22 Toshiba Corp 情報処理装置および表示制御方法
WO2013111140A2 (en) * 2012-01-26 2013-08-01 Umoove Services Ltd. Eye tracking
KR101471488B1 (ko) 2012-03-23 2014-12-10 경북대학교 산학협력단 시선 추적 장치 및 방법
CN103793045B (zh) * 2012-10-31 2016-12-28 原相科技股份有限公司 瞳孔追踪装置
CN103136512A (zh) * 2013-02-04 2013-06-05 重庆市科学技术研究院 一种瞳孔定位方法及系统
KR101387775B1 (ko) * 2013-02-14 2014-04-21 인하대학교 산학협력단 강화학습을 이용한 눈동자 추적 시스템 및 그 추적 방법
CN104346621A (zh) * 2013-07-30 2015-02-11 展讯通信(天津)有限公司 创建眼睛模板及检测眼睛状态的方法与装置
US20150097925A1 (en) 2013-10-04 2015-04-09 Electronics And Telecommunications Research Institute Apparatus and method for displaying hologram based on pupil tracking using hybrid camera
KR102093455B1 (ko) * 2013-10-04 2020-03-25 한국전자통신연구원 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
KR101470243B1 (ko) 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
JP6322986B2 (ja) * 2013-12-09 2018-05-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR20150070802A (ko) * 2013-12-17 2015-06-25 현대자동차주식회사 동공 검출 장치 및 동공 검출 방법
KR101808129B1 (ko) * 2014-10-14 2017-12-13 한국전자통신연구원 디지털 홀로그래픽 테이블탑형 디스플레이 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009181424A (ja) * 2008-01-31 2009-08-13 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2012190351A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、および画像処理方法

Also Published As

Publication number Publication date
EP3139303B1 (en) 2021-06-30
KR20170029166A (ko) 2017-03-15
JP2017054503A (ja) 2017-03-16
CN106504271A (zh) 2017-03-15
JP6795930B2 (ja) 2020-12-02
US9898080B2 (en) 2018-02-20
EP3139303A1 (en) 2017-03-08
CN106504271B (zh) 2022-01-25
US20170068315A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
KR102463169B1 (ko) 시점 추적 방법 및 장치
KR102696652B1 (ko) 스테레오 매칭 방법 및 영상 처리 장치
KR102468897B1 (ko) 깊이 값을 추정하는 방법 및 장치
EP3008695B1 (en) Robust tracking using point and line features
US10482656B2 (en) 3D face modeling methods and apparatuses
JP6329635B2 (ja) 視線追跡
US10268875B2 (en) Method and apparatus for registering face, and method and apparatus for recognizing face
US9600714B2 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
EP3016071B1 (en) Estimating device and estimation method
KR102455632B1 (ko) 스테레오 매칭 방법 및 장치
US20190080462A1 (en) Method and apparatus for calculating depth map based on reliability
US20130301911A1 (en) Apparatus and method for detecting body parts
KR102550931B1 (ko) 스테레오 매칭 방법 및 장치
KR20160093809A (ko) 프레임 영상과 모션 벡터에 기초하는 객체 검출 방법 및 장치
JP2020201922A (ja) 拡張現実アプリケーションに関するシステム及び方法
KR102509823B1 (ko) 그리드 기반의 평면 추정 방법 및 장치
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
KR20170012191A (ko) 영상 처리 방법 및 영상 처리 장치
EP3786838A1 (en) Face tracking method and apparatus
KR20230060029A (ko) 평면 검출 장치 및 방법
JP7283734B2 (ja) 追跡装置、追跡方法、及びプログラム
KR102269088B1 (ko) 동공 추적 장치 및 방법
KR102564477B1 (ko) 객체 검출 방법 및 장치
Elloumi et al. Real-time estimation of camera orientation by tracking orthogonal vanishing points in videos
KR101373982B1 (ko) 스테레오 비전에서 탐색 영역 예측을 통한 빠른 스테레오 정합 방법 및 장치와 이를 이용한 스테레오 비전 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant