KR20110038568A - 시선 위치 추적 장치 및 방법 - Google Patents

시선 위치 추적 장치 및 방법 Download PDF

Info

Publication number
KR20110038568A
KR20110038568A KR1020100026005A KR20100026005A KR20110038568A KR 20110038568 A KR20110038568 A KR 20110038568A KR 1020100026005 A KR1020100026005 A KR 1020100026005A KR 20100026005 A KR20100026005 A KR 20100026005A KR 20110038568 A KR20110038568 A KR 20110038568A
Authority
KR
South Korea
Prior art keywords
pupil
user
coordinates
eye
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100026005A
Other languages
English (en)
Other versions
KR101094766B1 (ko
Inventor
박민식
박강령
이희경
조철우
이의철
이한규
홍진우
이지우
Original Assignee
한국전자통신연구원
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 동국대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20110038568A publication Critical patent/KR20110038568A/ko
Application granted granted Critical
Publication of KR101094766B1 publication Critical patent/KR101094766B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시선 위치 추적 장치 및 방법에 관한 것으로, 보다 구체적으로 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적하는 시선 위치 추적 장치 및 방법에 관한 것이다.
본 발명의 일 실시 에에 따른 시선 방향을 추적하는 장치는, 카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 수신부; 상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공 위치를 검출하고, 상기 검출된 동공 위치를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 검출부; 및 상기 검출된 조명 반사광의 좌표를 이용하여 상기 사용자의 얼굴 움직임 보정 값을 계산하고, 상기 동공의 이동 영역의 좌표와 상기 사용자가 응시하는 모니터의 좌표를 이용하여 상기 사용자의 시선 위치를 산출하는 계산부를 포함한다.

Description

시선 위치 추적 장치 및 방법{APPARATUS AND MEHTOD FOR TRACKING EYE}
본 발명은 시선 위치 추적 장치 및 방법에 관한 것으로, 보다 구체적으로 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적하는 시선 위치 추적 장치 및 방법에 관한 것이다.
오늘날 디지털 기술이 발전함에 따라 영상 정보를 분석하여 특정 영역 또는 특정 부분으로 구분할 수 있는 기술이 개발되고 있다. 이러한, 분석 기술 중에 얼굴 인식 기술은 디지털 카메라뿐만 아니라, 보안 기술을 수행하는 장치 등에 접목 되는 기술로써, 다양한 방식으로 다각도로 연구 및 개발되고 있는 실정이다.
또한, 유전자 형질, 지문, 목소리, 정맥, 얼굴 생김새, 눈동자 홍채 등의 생물학적 특징을 이용하여 개개인의 신원을 인증하는 시스템에 대하여 활발한 연구가 진행되고 있다. 이중에서, 홍채 인식 분야는 높은 인식률과 위조의 불가성, 데이터량이 많은 패턴 특성, 변화 요인이 없다는 점 등의 장점으로 인하여, 보안시스템에 있어서 향후 가장 많이 사용될 것으로 전망된다.
홍채(Iris)란, 동공과 흰 부위 사이에 존재하는 영역을 의미하는데, 빗살 무늬의 인대, 붉은색의 섬유질, 속눈썹 모양의 돌기, 혈관계 형태, 링 형태의 조직, 동공을 둘러싸는 코로나모양의 인대, 홍채 고유의 색, 얼룩점 등의 고유 특성을 가지고 있으므로 홍채를 이용하면 개개인을 식별할 수 있다.
데이터 연산량을 감소시키기 위하여, 홍채를 인식하기 전에 눈 위치를 찾는 전처리 과정이 수행되는데, 이러한 과정은 여러 가지 방법으로 진행될 수 있다. 종래에는, 눈의 위치를 찾기 위해서 눈의 형태에 따른 영상 정보를 이용하거나 동공에 의하여 나타나는 반사 잡음을 이용하는 방법 등이 있다.
여기서, 반사 잡음은 빛이 동공에 반사되는 경우에 나타나는 잡음 성분으로 크기와 패턴에 규칙적인 특징을 가진다. 이렇게 하여 눈의 위치를 찾게 되면, 피인증자의 눈과 카메라의 렌즈가 광학적으로 일치되도록 홍채인식시스템이 정밀하게 구동되고, 홍채를 정교하게 촬영하여 홍채 인식 과정을 처리하게 된다.
그러나, 눈의 형태를 이용하여 눈의 위치를 찾는 경우, 화장, 인공 눈썹 등의 요인에 의하여 눈의 형태가 달라지거나 개인의 특성에 따라 눈의 형태가 다른 점, 컨텍트 렌즈나 안경의 착용으로 인하여 눈의 형태가 다르게 인지될 수 있는 점 등 장애적인 요소가 많으므로 영상 처리를 통하여 눈이라는 영상 객체를 일률적으로 검출하는 것은 기술적으로 많은 어려움이 따른다.
또한, 안구 영역을 촬영한 영상에는 반사 잡음을 비롯하여 여러 가지 잡음 성분들이 나타나게 되며, 이러한 잡음 성분들은 눈의 일부를 가림으로써 눈의 형태를 인지할 수 없게 하므로 종래의 방법으로는 눈의 위치를 찾을 수 없는 경우가 종종 발생된다.
따라서, 본 발명의 목적은, 시선 위치 추적 장치 및 방법을 제공함에 있다.
또한, 본 발명의 목적은, 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적하는 시선 위치 추적 장치 및 방법을 제공함에 있다.
상기한 목적들을 해결하기 위해 본 발명의 일 실시 예에 따른 시선 위치 추적 장치는, 카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 수신부; 상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공 위치를 검출하고, 상기 검출된 동공 위치를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 검출부; 상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 추출된 동공의 중심 좌표에 소정의 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 제 1 계산부; 및 상기 보정된 동공 중심 좌표를 이용하여 상기 동공의 이동영역을 정의하고, 상기 동공의 이동영역과 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 제 2 계산부를 포함한다.
본 발명의 일 실시 예에 따른 시선 위치 추적 방법은, 카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 단계; 상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공 위치를 검출하고, 상기 검출된 동공 위치를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 단계; 상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 추출된 동공의 중심 좌표에 소정의 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 단계; 및
상기 보정된 동공 중심 좌표를 이용하여 상기 동공의 이동영역을 정의하고, 상기 동공의 이동영역과 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 단계를 포함한다.
본 발명은, 눈 영상에 포함된 조명광들 사이의 거리에 따라 얼굴 움직임을 보정하여 사용자의 시선 위치를 추적할 수 있다. 또한, 본 발명은, 사용자의 시선 위치를 추적하여 다양한 분야에 활용함으로써 사용자의 편의성이 증대된다.
도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 구조를 개략적으로 도시한 도면,
도 2는 본 발명의 실시 예에 따른 시선 추적 장치의 눈 영상 취득용 카메라를 도시하면 도면,
도 3은 본 발명의 실시 예에 따른 시선 추적 장치의 적외선 LED를 장착한 모니터를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 시선 추적 장치의 검출부(102)가 원형 검출 방법을 이용하여 초기 동공 위치를 추출하고, 이진화 과정, 라벨링 과정, 모폴로지 과정을 거쳐 최종 동공 위치를 추출하는 과정을 도시한 도면,
도 5는 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상을 도시한 도면,
도 6은 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상에 포함된 조명 반사광 사이의 길이를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 캘리브레이션 수행을 위한 기하학적 변환 방법을 도시한 도면,
도 8은 본 발명의 실시 예에 따른 시선 추적 시스템의 도시한 도면,
도 9는 본 발명의 실시 예에 따른 시선 추적 과정을 개략적으로 도시한 도면이다.
본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
그러면 먼저 시선 추적 방법이 사용되고 있는 예들을 살펴보기로 하자. 시선 위치 추적 방법은 크게 스킨 전극(Skin Electrodes) 기반 방법, 콘텍트 렌즈(Contact Lens) 기반 방법, 두부 장착형 디스플레이(Head Mounted Display) 부착 기반 방법, 원격 팬&틸트(Remote Pan&Tilting) 장치 기반 방법으로 나누어져 있다.
상기 스킨 전극 기반 방법은 사용자 눈 주변에 전극(electrode)을 부착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하고, 측정된 전위차를 통해 응시 위치를 계산하는 방법이다. 상기 스킨 전극 기반 방법은 양 눈의 응시위치를 모두 파악할 수 있으며, 가격이 저렴하며 사용 방법이 간편하다는 장점이 있다. 하지만, 스킨 전극 기반 방법은 가로세로 방향의 움직임이 제한적이어서 정확성이 떨어진다.
상기 콘텍트 렌즈 기반 방법은 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산하는 방법이다. 상기 콘텍트 렌즈 기반 방법은 정확히 응시위치를 계산할 수 있다. 하지만, 사용이 불편하고 눈의 깜박거림이 자유롭지 못하며, 계산이 가능한 범위가 제한되어 있다.
상기 두부 장착형 디스플레이 부착 기반 방법은 헤드밴드 또는 헬멧 밑에 장착된 작은 카메라를 이용하여 응시위치를 계산한다. 두부 장착형 디스플레이 부착 기반 방법은 사용자의 머리 움직임에 관계없이 응시위치를 계산할 수 있다. 그러나, 카메라가 사용자 눈높이보다 아래에 기울어져 있어 눈의 상하 움직임에 민감하지 못하여, 두부 장착형 디스플레이에만 적용된다.
원격 팬&틸트 장치 기반 방법은 모니터 주변에 팬&틸트가 되는 카메라와 조명을 장치하여 응시위치를 계산하는 방법이다. 원격 팬&틸트 장치 기반 방법은 응시위치 계산이 정확하고 빠르며, 그 적용이 쉬운 장점을 가지나, 머리의 움직임을 추적하기 위해 2대 이상의 고가 스테레오 카메라 장치와 복잡한 알고리즘을 요구하며, 추가로 카메라와 모니터간의 복잡한 캘리브레이션을 요구한다. 그러면 여기서, 도 1을 참조하여 본 발명의 실시 예에 따른 시선 추적 장치의 내부구조를 보다 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 시선 추적 장치의 구조를 개략적으로 도시한 도면이다.
상기 시선 추적 장치는 다양항 형태의 동영상 재생기, 예컨대 IPTV(Internet
Protocol Television) 시스템, TV, 컴퓨터, 게임기 등과 같은 다양한 응용 분야에 적용될 수 있다. 그러면 이하에서는, 설명의 편의를 위해서 IPTV 시스템을 예를 들어 설명하기로 한다.
여기서, 사용자는 눈 영상을 촬영하기 위한 영상촬영기기가 장착된 안경을 착용하고 두 개의 적외선 LED를 포함하는 모니터를 응시하고 있다고 있으며, 사용자의 얼굴 움직임을 검출하기 위하여 소정의 시간 간격으로 사용자의 눈 영상을 촬영하여 IPTV 시스템으로 유선 또는 무선, 예컨대 블루투스, 적외선 등으로 전송한다고 가정하여 설명하기로 한다.
또한, 상기 눈 영상 촬영용 영상촬영기기는 카메라뿐만 아니라 영상을 촬영할 수 있는 다른 기기를 포함하고, 여기서는 설명의 편의를 위해서 카메라로 칭하여 설명하기로 한다. 상기 카메라는 안경, 보안경 헬맷형 기기, 또는 기타 고정할 수 있는 지지대 등에 부착되어 사용자 눈 영상을 촬영한다. 그리고, 상기 촬영된 눈 영상에 포함된 조명 반사광을 조명하는 장치는 상기 적외선 LED 뿐만 아니라 할로겐(Halogen), 크세논 램프(Xenon Lamp), 백열등 등으로 구성되어 사용자 눈에 적외선을 조명하는 기능을 수행한다.
도 1을 참조하면, 상기 시선 추적 장치는 수신부(101), 검출부(102), 계산부(103), 및 제어부(104)를 포함한다. 상기 계산부(103)는 얼굴 움직임 계산부(113)와 시선위치 계산부(123)를 포함한다. 상기 수신부(101)는 카메라로부터 촬영된 눈 영상을 소정의 시간 간격으로 수신한다.
상기 눈 영상에는 적외선 LED(Light Emitteng Diode)로부터 조명된 조명 반사광을 포함한다. 그러면 여기서, 도 2 및 도 3을 참조하여 상기 카메라와 적외선 LED의 구조를 보다 구체적으로 설명하기로 한다.
도 2은 본 발명의 실시 예에 따른 눈 영상 취득용 카메라가 장착된 안경의 예시도이고, 도 3는 본 발명의 실시 예에 따른 상기 적외선 LED가 장착된 모니터의 예시도이다.
도 2 및 도 3을 참조하면, 사용자는 도 2와 같은 눈 영상 취득용 카메라가 장착된 안경을 착용하고 도 3과 같은 적외선 LED를 장착한 모니터를 응시한다. 상기 눈 영상 취득용 카메라는 사용자의 오른쪽 눈 하단에 설치되어 눈 영상을 촬영한다.
이때, 도 3의 모니터에 장착된 적외선 LED는 사용자의 눈에 적외선을 조명함으로써, 얼굴 움직임 보정 및 동공과 홍채의 경계가 구분된 눈 영상을 촬영할 수 있다. 그리고, 카메라의 렌즈에 부착된 적외선 차단 필터를 제거하고 적외선 투과, 예컨대 가시광산 차단 필터를 부착하여 적외선에 의해 조사된 물체만을 영상으로 취득할 수 있도록 한다.
또한 카메라의 렌즈 대신 고배울 렌즈를 부착하여 사용자의 시야를 가리지 않는 범위에서 시선 추적에 적합한 크기의 동공을 포함한 눈 영상을 취득할 수 있도록 한다. 여기서, 상기 눈 영상 취득용 카메라는 안경, 보안경 헬맷형 기기, 또는 기타 고정할 수 있는 지지대 등에 부착되어 사용자 눈 영상을 촬영한다.
그리고, 상기 촬영된 눈 영상에 포함된 조명 반사광을 조명하는 장치는 상기 적외선 LED 뿐만 아니라 할로겐(Halogen), 크세논 램프(Xenon Lamp), 백열등 등으로 구성되어 사용자 눈에 적외선을 조명하는 기능을 수행한다.
여기서, 적외선 조명은 사용자의 얼굴이 움직임에 따라 발생하는 시선 위치 오차를 보정해주기 위해서 사용되며, 화면상에 2개 이상의 적외선 조명을 설치하여 사용자의 얼굴 움직임에 따른 오차를 계산할 수 있다.
상기 눈 영상에 포함된 동공의 모양은 원의 형태로 단순화 하기에는 불규칙적인 모양을 가지고 있으며, 카메라 위치를 중심으로 동공의 위치에 따라 타원의 형태로 관찰될 수 있다. 또한 조명의 반사광이 동공의 경계에 위치할 때에는 동공의 중심 위치가 정확하게 추출될 수 없다. 그러면 여기서, 도 4를 참조하여 상기 검출부(102)가 상기 수신부(101)로부터 수신한 눈 영상에서 동공 위치를 결정하는 과정을 보다 구체적으로 설명하기로 한다.
도 4는 본 발명의 실시 예에 따른 시선 추적 장치의 검출부(102)가 원형 검출 방법을 이용하여 초기 동공 위치를 추출하고, 이진화 과정, 라벨링 과정, 모폴로지 과정을 거쳐 최종 동공 위치를 추출하는 과정을 도시한 도면이다.
도 4를 참조하면, 상기 검출부(102)는 원형 검출 방법을 이용하여 내부원(401a)과 외부원(401b)으로 구성되는 원형 검출 템플릿을 동공 영역(401c)으로 이동시킨다(401). 그리고, 원형 검출 템플릿의 내부원(402a)와 외부원(402b)의 그레이 레벨합의 차이가 가장 큰 부분을 검출하여 동공 영역(402)을 결정한다.
그런 다음, 상기 검출부(102)는 상기 동공 영역을 중심으로 지역 이진화(403)를 수행한다. 여기서, 이진화 방법은 영상 내에 원하는 객체의 정보, 예컨대 위치, 크기, 모양 등을 얻기 위해서 영상의 픽셀 값을 0 또는 255로 만드는 방법이다.
이진화 방법은 전역적 이진화 방법과 지역적 이진화 방법으로 나누어진다. 전역적 이진화 방법은 영상 전체 픽셀에 대하여 하나의 임계값을 사용하여 이진화를 수행하는 방법이다. 지역적 이진화 방법은 영상을 여러 개의 구역으로 분할하여 각 구역마다 다른 임계값을 사용하여 이진화를 수행하는 방법이다.
상기 검출부(102)는 상기 동공 영역을 중심으로 미리 결정된 거리만큼 이격된 정사각형 모양(403a)의 구역을 형성하고, 구역에 포함되는 영상의 픽셀을 255, 예컨대 검은색(403)으로 만든다. 그리고, 상기 검출부(102)는 이진화된 영역 중 어두운 영역의 무게중심을 구하기 위하여 모폴로지 연산을 수행(404)한다.
이와 같이 상기 검출부(102)는, 동공의 중심점을 정확하게 획득하기 위하여 원형검출 알고리즘과 더불어 지역적 이진화(403)를 수행하고, 이진화된 영역 중 어두운 영역의 무게중심을 구하기 위하여 모폴로지 연산을 수행(404)하고, 이진화된 영역 중 어두운 부분을 동공 영역으로 판단하여 어두운 영역에 대한 무게중심(405)을 사용자 동공의 실질적인 중심점(406)으로 판단할 수 있다.
상기 검출부(102)는 상기 동공 중심점을 이용하여 조명 반사광 좌표와 동공 중심 좌표를 검출한다. 그리고, 상기 검출부(102)는 상기 검출된 조명 반사광 좌표를 얼굴 움직임 계산부(113)로 전송하고, 상기 검출된 동공 중심 좌표를 시선위치 계산부(123)로 전송한다.
상기 얼굴 움직임 계산부(113)는 상기 검출부(102)로부터 조명 반사광 좌표를 수신하고, 상기 수신한 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산한다. 여기서, 소정의 시간 간격으로 수신된 눈 영상의 조명 반사광을 이용하여 계산된 조명 반사광 사이의 거리들을 이용하여 상기 검출된 동공 중심 좌표를 보정할 수 있다.
사용자가 IPTV, 컴퓨터, 게임기 등과 같은 동영상 재생기를 이용할 시, 고정된 위치에서만 상기 동영상 재생기를 응시하지 않으므로, 상기 얼굴 움직임 계산부(113)는 소정의 시간 간격으로 눈 영상을 수신하고, 눈 영상의 조명 반사광을 이용하여 계산된 조명 반사광 사이의 거리들을 이용하여 상기 검출된 동공 중심 좌표를 보정한다.
보다 구체적으로, 상기 얼굴 움직임 계산부(113)는 사용자의 동공에 형성된 조명의 거리가 멀어지면 사용자의 얼굴이 화면과 가까워지고, 사용자의 동공에 형성된 조명의 거리가 좁아지면 사용자의 얼굴이 화면과 멀어진다는 것을 이용하여 최초에 구한 시선 위치에 일정한 가중치와 조명 반사광 사이의 거리를 곱하여 상기 검출된 동공 중심 좌표를 보정한다.
그러면 여기서, 상기 얼굴 움직임 계산부(113)가 하기 <수학식1>을 이용하여 조명 반사광 거리에 따라 사용자의 얼굴 움직임 보정 값을 계산하는 과정을 보다 구체적으로 설명하기로 한다.
Figure pat00001
상기 <수학식 1>을 참조하면, X와 Y는 각각 X축, Y축을 나타내며 wx는 동공이 X축으로 이동된 가중치를 나타내고, wy는 동공이 X축으로 이동된 가중치를 나타낸다. 그리고, gx 및gy는 각각 동공의 실제 응시위치를 X축, Y축으로 나타낸 것이다. 그리고,
Figure pat00002
는 조명 반사광 사이의 길이를 나타낸다. 그리면 여기서, 도 5 및 도 6를 참조하여, 상기 조명 반사광 및 조명 반사광 사이의 길이를 설명하기로 한다.
도 5는 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상을 도시한 도면이고, 도 6은 본 발명의 실시 예에 따른 시선 추적 장치의 수신부(101)가 수신한 눈 영상에 포함된 조명 반사광 사이의 길이를 도시한 도면이다.
도 5 및 도 6을 참조하면, 상기 수신부(101)는 카메라로부터 촬영된 도 5와 같은 눈 영상을 수신하고, 상기 도 5의 눈 영상은 적외선 LED(Light Emitteng Diode)로부터 조명된 조명 반사광(501, 502)을 포함한 눈 영상을 포함한다. 상기 검출부(102)는 상기 눈 영상에서 최종 동공 위치를 검색하고, 상기 최종 동공 위치를 이용하여 조명 반사광 좌표와 동공 중심 좌표를 검출한다.
그리고, 상기 얼굴 움직임 계산부(113)는 상기 조명 반사광(501, 502) 좌표를 이용하여 조명 반사광 사이의 거리(503), 예컨대
Figure pat00003
를 계산하고, 상기 조명 반사광 거리에 따라 사용자의 얼굴 움직임 보정 값을 계산한다.
그리고 얼굴 움직임 계산부(113)는 상기 계산한 얼굴 움직임 보정 값을 상기 시선위치 계산부(123)으로 전송한다. 상기 시선위치 계산부(123)는 상기 얼굴 움직임 계산부(113)로부터 수신한 얼굴 움직임 보정 값과 상기 상기 검출부(102)로부터 수신한 동공 중심 좌표를 이용하여 사용자의 관심 시선 위치 좌표를 계산한다.
즉, 상기 시선위치 계산부(123)는 화면의 네 점을 응시하는 사용자 캘리브레이션 과정을 통해 동공의 이동영역을 정의하고 동공의 이동영역과 화면 좌표계간의 관계를 기학학적 변환(Geometric Transform)을 사용하여 동공 위치에 따른 시선 위치를 계산한다.
상기 변환함수는, 선형 보간, 기하학적 또는 복비 변환함수 중 적어도 하나이다. 그러면 여기서, 도 7을 참조하여 본 발명의 실시 예에 따른 캘리브레이션 수행을 위한 기하학적 변환 방법을 보다 구체적으로 설명하기로 한다.
도 7은 본 발명의 실시 예에 따른 캘리브레이션 수행을 위한 기하학적 변환 방법을 도시한 도면이다.
도 7을 참조하면, 상기 검출부(102)가 눈 영상 취득용 카메라가 장착된 안경을 착용한 사용자가 도 3의 모니터의 좌측 상단, 우측 상단, 우측 하단, 좌측 하단을 각각 응시할 경우의 눈 영상을 순차적으로 수신하고, 상기 검출부(102)가 도 4의 과정을 거쳐 동공 중심 좌표를 계산한 후, 시선위치 계산부(123)은 하기 <수학식 2>의 기하학적 변환함수를 이용하여 각 상기 검출부(102)에서 검출된 동공 중심 좌표에 대응되는 실제 평면(S2)의 좌표를 계산할 수 있다.
먼저, 상기 시선위치 계산부(123)는 눈 영상 취득용 카메라가 장착된 안경을 착용한 사용자가 도 3의 모니터의 좌측 상단, 우측 상단, 우측 하단, 좌측 하단을 각각 응시 할 경우의 동공 중심 좌표를 이용하여 사용자 동공의 이동 영역(S1)을 정의한다.
상기 사용자 동공의 이동 영역(S1)의 좌표는 좌측상단 좌표(X1, Y1), 우측상단 좌표(X2, Y2), 좌측하단 좌표(X4, Y4), 우측하단 좌표(X3, Y3)를 포함한다. 상기 시선위치 계산부(123)는 상기 사용자 동공의 이동 영역(S1)의 좌표와 기하학적 변환함수를 이용하여 각 동공의 이동 영역(S1)의 좌표에 대응되는 실제 평면(S2)의 좌표, 예컨대 좌측상단 좌표(X1, Y1)', 우측상단 좌표(X2, Y2)', 좌측하단 좌표(X4, Y4)', 우측하단 좌표(X3, Y3)'를 산출한다.
여기서, 평면(S2)의 좌표는 상기 사용자가 응시하는 모니터의 좌표를 나타낸다. 그러면 여기서, <수학식 2>를 참조하여 눈 영상 취득용 카메라가 장착된 안경을 착용한 사용자가 도 3의 모니터의 임의의 위치를 응시할 때, 사용자 동공 중심에 대응되는 모니터 평면 위치를 산출하는 과정을 보다 구체적으로 설명하기로 한다.
Figure pat00004
상기 <수학식 2>를 참조하면, S1은 동공의 이동 영역(S1)의 좌표를 행렬로 표시한 것이며, S2는 실제 평면(S2)의 좌표를 행렬로 표시한 것이다. T는 기하학적 변환함수를 행렬로 표시한 것이다. 상기 시선위치 계산부(123)는 동공의 이동 영역(S1)의 좌표의 행렬 과 기하학적 변환함수를 행렬을 연산하여 각 동공의 이동 영역의 좌표에 대응되는 실제 평면(S2)의 좌표를 산출한다. 그리고 상기 시선위치 계산부(123)는 하기 <수학식 3>을 이용하여 사용자의 실제 응시위치를 계산한다.
Figure pat00005
상기 <수학식 3>을 참조하면, G는 사용자의 실제 응시위치를 나타낸 행렬이고, W는 사용자가 응시하는 순간 추출된 동공의 위치를 나타낸 행렬이다. 또한, T는 기하학적 변환함수를 행렬로 표시한 것이다.
즉, 상기 시선위치 계산부(123)는 상기 <수학식 2>를 이용하여 사용자가 모니터의 임의의 위치를 응시할 때, 사용자 동공 중심에 대응되는 모니터 평면 위치를 계산하고, <수학식 3>을 이용하여 사용자의 실제 응시위치, 예컨대 사용자의 관심 시선 위치를 계산한다.
그리고, 상기 시선위치 계산부(123)는 상기 얼굴 움직임 계산부(113)로부터 수신한 얼굴 움직임 보정 값을 이용하여 상기 사용자의 최종 관심 시선 위치를 계산한다. 상기 계산된 최종 관심 시선 위치는 제어부(104)으로 유선 또는 무선으로 전송된다.
상기 제어부(104)는 소정의 시간 간격으로 상기 계산부(103)로부터 사용자의 최종 관심 시선 위치를 수신한다. 상기 제어부(104)는 도 1에는 도시되어 있지 않지만 타이머를 포함할 수 있다. 상기 제어부(104)는 타이머를 이용하여 소정의 시간 동안 상기 계산부(103)로부터 수신한 사용자의 최종 관심 시선 위치가 일정하다고 판단되면, 사용자의 최종 관심 시선 위치에 존재하는 메뉴 등을 활성화한다.
상기와 같이 본 발명의 실시 예에 따른 시선 추적 장치를 IPTV 시스템에 적용함으로써, 손을 사용하지 못하는 장애인도 리모컨 등의 장치의 조작 없이 IPTV 시스템에서 제공되는 기능을 제어할 수 있다. 또한, IPTV 시스템을 통해서 양방향 화상회의, 실시가 문건 구매 등의 기능을 실행하는 버튼 및 다이얼을 리모컨에 포함시키지 않고도 사용자에게 해당 서비스를 서비스를 제공할 수 있다.
또한, 상기 시선 추적 장치를 컴퓨터에 적용함으로써, 키보드, 마우스 등의
조작 없이 사용자가 요구하는 소프트웨어 등을 실행시킬 수 있다. 상기 시선 추적 장치를 게임기 등에 적용함으로써, 조이스틱의 조작 없이 사용자의 시선을 추적하여 게임을 실행 및 정지할 수 있다.
도 8은 본 발명의 실시 예에 따른 시선 추적 시스템의 시뮬레이션 화면을 도
시한 도면이다. 그러면 여기서, 도 9를 참조하여 본 발명의 실시 예에 따른 시선 추적 과정을 보다 구체적으로 설명하기로 한다.
도 9는 본 발명의 실시 예에 따른 시선 추적 과정을 개략적으로 도시한 도면이다.
도 9를 참조하면, 상기 시선 추적 장치는 900단계에서 카메라로부터 촬영된 눈 영상을 수신하고, 상기 눈 영상에 포함된 조명 반사광을 이용하여 동공 위치를 검출한다. 상기 시선 추적 장치는 901단계에서 상기 900단계에서 검출된 동공 위치를 이용하여 조명 반사광 위치와 동공 중심 좌표를 검출한다.
보다 구체적으로, 상기 시선 추적 장치는 901단계에서 원형 검출 방법을 이용하여 초기 동공 위치를 추출하고, 초기 동공 위치를 기반으로 이진화 과정, 라벨링 과정, 모폴로지 과정을 거쳐 최종 동공 위치를 추출한다. 그리고, 상기 최종 동공 위치를 이용하여 조명 반사광 좌표와 동공 중심 좌표를 검출한다.
다음으로, 상기 시선 추적 장치는 902단계에서 상기 조명 반사광을 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 계산된 조명 반사광 사이의 거리를 이용하여 사용자의 얼굴 움직임 보정 값을 계산한다. 그리고, 상기 시선 추적 장치는 903단계에서 상기 검출된 동공 중심 좌표와 상기 보정된 사용자의 얼굴 움직임 보정 값을 이용하여 사용자의 최종 관심 시선 위치 좌표를 계산한다.
그런 다음, 상기 시선 추적 장치는 904단계에서 상기 사용자의 최종 관심 시선 위치 좌표를 시스템으로 전송하고, 사용자가 일정시간 같은 곳을 응시할 경우 메뉴를 활성화한다.
한편, 본 발명의 상세한 설명에서는 IPTV 시스템, 컴퓨터, 게임기 등의 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
101: 수신부
102: 검출부
103: 계산부
104: 제어부
201: 눈 영상 촬영용 카메라
301 및 302 : 적외선 LED

Claims (15)

  1. 시선 위치 추적 장치에 있어서,
    카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 수신부;
    상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공의 중심 좌표를 검출하고, 상기 검출된 동공의 중심 좌표를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 검출부;
    상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 검출된 동공의 중심 좌표에 상기 동공의 이동에 따른 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 제 1 계산부; 및
    상기 보정된 동공의 중심 좌표를 이용하여 사용자 캘리브레이션에 따라 상기 동공의 이동영역 좌표를 정의하고, 상기 동공의 이동영역 좌표와 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 제 2 계산부를 포함함을 특징으로 하는 시선 추적 장치.
  2. 제 1 항에 있어서,
    상기 산출된 사용자의 시선 위치가 미리 결정된 시간 동안 한 곳에 위치할 경우에는 상기 사용자의 시선 위치에 해당하는 메뉴를 활성화 하는 제어부를 더 포함함을 특징으로 하는 시선 추적 장치.
  3. 제 1 항에 있어서, 상기 카메라는,
    안경, 보안경, 헬맷형 기기 또는 고정할 수 있는 지지대 중 적어도 하나에 부착되는 것을 특징으로 하는 시선 추적 장치.
  4. 제 1 항에 있어서, 상기 검출부는,
    원형 동공 템플릿의 내부원과 외부원의 그레이 레벨합의 차이를 이용하여 동공 영역을 검출함을 특징으로 하는 시선 추적 장치.
  5. 제 4 항에 있어서, 상기 검출부는,
    상기 검출된 동공 영역을 중심으로 미리 결정된 거리만큼 이격되어 형성된 정사각형 모양의 영역에 포함된 동공의 픽셀 값을 0 또는 255로 결정하고, 상기 영역 중 어두운 영역에 대한 무게중심을 동공 중심점을 검출함을 특징으로 하는 시선 추적 장치.
  6. 제 1 항에 있어서, 상기 제 2 계산부는,
    상기 동공이 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단에 위치할 경우에 검출된 동공의 중심 좌표를 이용하여 동공의 이동영역 좌표를 정의함을 특징으로 하는 시선 추적 장치.
  7. 제 1 항에 있어서, 상기 제 2 계산부는,
    상기 동공의 이동 영역의 좌표를 선형보간, 기하학적 또는 복비 변환함수 중 적어도 하나를 이용하여 상기 사용자가 응시하는 모니터에 매핑하여 상기 모니터의 좌표를 계산하는 것을 특징으로 하는 시선 추적 장치.
  8. 제 1 항에 있어서, 상기 시선 추적 장치는,
    IPTV 시스템에 사용됨을 특징으로 하는 시선추적 장치.
  9. 시선 위치 추적 방법에 있어서,
    카메라에 의해 촬영된 조명 반사광을 포함하는 사용자의 눈 영상을 수신하는 단계;
    상기 수신된 눈 영상으로부터 미리 결정된 방법을 이용하여 동공의 중심 좌표를 검출하고, 상기 검출된 동공의 중심 좌표를 이용하여 상기 조명 반사광의 좌표와 상기 동공의 중심 좌표를 검출하는 단계;
    상기 검출된 조명 반사광의 좌표를 이용하여 조명 반사광 사이의 거리를 계산하고, 상기 검출된 동공의 중심 좌표에 상기 동공의 이동에 따른 가중치와 상기 조명 반사광 사이의 거리를 적용하여 상기 동공의 중심 좌표를 보정하는 단계;
    상기 보정된 동공의 중심 좌표를 이용하여 사용자 캘리브레이션에 따라 상기 동공의 이동영역 좌표를 정의하고, 상기 동공의 이동영역 좌표와 상기 사용자가 응시하는 모니터간의 좌표계간의 관계를 이용하여 사용자의 시선 위치를 산출하는 단계를 포함함을 특징으로 하는 시선 위치 추적 방법.
  10. 제 9 항에 있어서,
    상기 산출된 사용자의 시선 위치가 미리 결정된 시간 동안 한 곳에 위치할 경우에는 상기 사용자의 시선 위치에 해당하는 메뉴를 활성화 하는 단계를 더 포함함을 특징으로 하는 시선 추적 방법.
  11. 제 9 항에 있어서, 상기 카메라는,
    안경, 보안경, 헬맷형 기기 또는 고정할 수 있는 지지대 중 적어도 하나에 부착되는 것을 특징으로 하는 시선 추적 방법.
  12. 제 9 항에 있어서, 상기 검출하는 단계는,
    원형 동공 템플릿의 내부원과 외부원의 그레이 레벨합의 차이를 이용하여 동공 영역을 검출함을 특징으로 하는 시선 추적 방법.
  13. 제 12 항에 있어서, 상기 검출하는 단계는,
    상기 검출된 동공 영역을 중심으로 미리 결정된 거리만큼 이격되어 형성된 정사각형 모양의 영역에 포함된 동공의 픽셀 값을 0 또는 255로 결정하여 이진화 하는 단계를 포함함을 특징으로 하는 시선 추적 방법.
  14. 제 12 항에 있어서, 상기 검출하는 단계는,
    상기 영역 중 어두운 영역에 대한 무게중심점을 계산하는 모폴로지 연산 단계를 포함함을 특징으로 하는 시선 추적 방법.
  15. 제 9 항에 있어서, 상기 사용자의 시선 위치를 산출하는 단계는,
    상기 동공의 이동 영역의 좌표를 선형보간, 기하학적 또는 복비 변환함수 중 적어도 하나를 이용하여 상기 사용자가 응시하는 모니터에 매핑하여 상기 모니터의 좌표를 계산하는 것을 특징으로 하는 시선 추적 방법.
KR1020100026005A 2009-10-08 2010-03-23 시선 위치 추적 장치 및 방법 Active KR101094766B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090095857 2009-10-08
KR1020090095857 2009-10-08

Publications (2)

Publication Number Publication Date
KR20110038568A true KR20110038568A (ko) 2011-04-14
KR101094766B1 KR101094766B1 (ko) 2011-12-20

Family

ID=44065197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100026005A Active KR101094766B1 (ko) 2009-10-08 2010-03-23 시선 위치 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101094766B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140099899A (ko) * 2011-11-07 2014-08-13 아이플루언스, 인크. 고-분해능 주시 추적을 위한 시스템들 및 방법들
KR20140132906A (ko) * 2013-05-09 2014-11-19 에스케이플래닛 주식회사 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치
KR101492933B1 (ko) * 2014-05-23 2015-02-12 동국대학교 산학협력단 눈 인식 장치 및 방법
US8994654B2 (en) 2012-12-12 2015-03-31 Hyundai Motor Company Apparatus and method for controlling gaze tracking
KR20150146078A (ko) * 2014-06-20 2015-12-31 한국표준과학연구원 언어학습 및 저시력 보조를 위한 문자인식 기능을 갖는 스마트 안경 및 그 스마트 안경을 이용한 문자 인식방법
KR20160057360A (ko) * 2016-04-29 2016-05-23 세종대학교산학협력단 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치
KR20170084900A (ko) * 2016-01-13 2017-07-21 한국전자통신연구원 시선 추적식 추가 정보 제공 장치 및 방법
US10990172B2 (en) 2018-11-16 2021-04-27 Electronics And Telecommunications Research Institute Pupil tracking device and pupil tracking method for measuring pupil center position and proximity depth between object and pupil moving by optokinetic reflex
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869713B1 (ko) 2016-12-30 2018-06-21 (주)씽크포비엘 뇌파 정보 기반의 사용성 테스트 방법 및 장치
KR102016308B1 (ko) 2017-11-17 2019-08-30 포인드 주식회사 눈동자의 이동, 눈과 얼굴가장자리의 간격을 이용한 시선 추적 방법
KR102483010B1 (ko) * 2021-01-29 2022-12-30 원텍 주식회사 안구미세운동 측정장치
KR102587813B1 (ko) 2021-04-08 2023-10-12 주식회사 이모코그 기계 학습 기반 시선 추적 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097376A (ja) 1996-09-20 1998-04-14 Canon Inc 視線操作装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140099899A (ko) * 2011-11-07 2014-08-13 아이플루언스, 인크. 고-분해능 주시 추적을 위한 시스템들 및 방법들
US8994654B2 (en) 2012-12-12 2015-03-31 Hyundai Motor Company Apparatus and method for controlling gaze tracking
KR20140132906A (ko) * 2013-05-09 2014-11-19 에스케이플래닛 주식회사 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치
KR101492933B1 (ko) * 2014-05-23 2015-02-12 동국대학교 산학협력단 눈 인식 장치 및 방법
KR20150146078A (ko) * 2014-06-20 2015-12-31 한국표준과학연구원 언어학습 및 저시력 보조를 위한 문자인식 기능을 갖는 스마트 안경 및 그 스마트 안경을 이용한 문자 인식방법
KR20170084900A (ko) * 2016-01-13 2017-07-21 한국전자통신연구원 시선 추적식 추가 정보 제공 장치 및 방법
KR20160057360A (ko) * 2016-04-29 2016-05-23 세종대학교산학협력단 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치
US10990172B2 (en) 2018-11-16 2021-04-27 Electronics And Telecommunications Research Institute Pupil tracking device and pupil tracking method for measuring pupil center position and proximity depth between object and pupil moving by optokinetic reflex
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof

Also Published As

Publication number Publication date
KR101094766B1 (ko) 2011-12-20

Similar Documents

Publication Publication Date Title
KR101094766B1 (ko) 시선 위치 추적 장치 및 방법
KR100850357B1 (ko) 시선 위치 추적 방법 및 그 장치
EP3453316B1 (en) Eye tracking using eyeball center position
EP2710516B1 (en) Systems and methods for identifying gaze tracking scene reference locations
JP4783018B2 (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
US10032074B2 (en) Systems and methods for high-resolution gaze tracking
US7380938B2 (en) Apparatus to detect and measure saccade and pupilary changes
US20190235624A1 (en) Systems and methods for predictive visual rendering
KR100949743B1 (ko) 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
US7657062B2 (en) Self-calibration for an eye tracker
US7819525B2 (en) Automatic direct gaze detection based on pupil symmetry
KR20120057033A (ko) Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
EP3905943B1 (en) System and method for eye tracking
JP6631951B2 (ja) 視線検出装置及び視線検出方法
KR101471488B1 (ko) 시선 추적 장치 및 방법
US20110170060A1 (en) Gaze Tracking Using Polarized Light
TW201416908A (zh) 瞳孔追蹤裝置
JP5818233B2 (ja) 視線計測装置および方法
JP2012217524A (ja) 視線測定装置および視線測定プログラム
JP2002000567A (ja) 瞳孔中心位置計測方法及び視点位置検出方法
Kim et al. Resolution estimation technique in gaze tracking system for HCI

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100323

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110418

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20111130

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20111209

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20111212

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20141208

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20141208

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161206

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20161206

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20171204

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20191128

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20201124

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20211124

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20221208

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20231226

Start annual number: 13

End annual number: 13