KR20210122271A - 눈 추적 장치 및 방법 - Google Patents
눈 추적 장치 및 방법 Download PDFInfo
- Publication number
- KR20210122271A KR20210122271A KR1020217027139A KR20217027139A KR20210122271A KR 20210122271 A KR20210122271 A KR 20210122271A KR 1020217027139 A KR1020217027139 A KR 1020217027139A KR 20217027139 A KR20217027139 A KR 20217027139A KR 20210122271 A KR20210122271 A KR 20210122271A
- Authority
- KR
- South Korea
- Prior art keywords
- limbal
- eye
- image
- region
- pupil
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 210000001508 eye Anatomy 0.000 claims abstract description 228
- 210000001747 pupil Anatomy 0.000 claims description 104
- 238000012545 processing Methods 0.000 claims description 49
- 210000000744 eyelid Anatomy 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 25
- 210000000554 iris Anatomy 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 15
- 210000003786 sclera Anatomy 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 8
- 210000000720 eyelash Anatomy 0.000 claims description 7
- 238000007670 refining Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 20
- 238000013459 approach Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000004424 eye movement Effects 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 210000004087 cornea Anatomy 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000002570 electrooculography Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010044613 Trichomegaly Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 208000019737 familial isolated trichomegaly Diseases 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
본 발명은 눈 추적 방법 및 장치와 관련된다. 상기 방법은 사용자의 눈의 적어도 두 개의 이미지를 나타내는 데이터를 수신하는 단계, 각각의 이미지에서, 눈 윤부와 관련된 영역을 식별하는 단계, 윤부 구조의 기하학적 표현을 결정하는 단계, 적어도 2개의 이미지의 윤부 구조의 기하학적 표현의 삼각측량에 의해 사용자의 눈의 3차원 위치 및 시선 방향(즉, 눈의 완전한 6자유도)을 결정하는 단계를 포함한다.
Description
본 발명은 눈 위치 및/또는 시야 방향을 결정하기 위한 눈 추적 장치 및 방법과 관련된다.
본 개시 발명의 배경 기술로서 관련성이 있다고 여겨지는 참고 문헌이 다음과 같다:
1.
미국 특허 출원 번호 2013/120712,
2.
국제 특허 출원 번호 WO9418883,
3.
미국 특허 출원 번호 2014/180162,
4.
미국 특허 출원 번호 2001/035938.
5.
Constable PA, Bach M, Frishman LJ, Jeffrey BG, Robson AG, International Society for Clinical Electrophysiology of Vision.ISCEV Standard for clinical electro-oculography (2017 update).Doc Ophthalmol.2017;134(1):1-9.
6.
McCamy, Michael & Collins, Niamh & Otero-Millan, Jorge & Al-Kalbani, Mohammed & Macknik, Stephen & Coakley, Davis & Troncoso, Xoana & Boyle, Gerard & Narayanan, Vinodh & R Wolf, Thomas & Martinez-Conde, Susana.(2013).Simultaneous recordings of ocular microtremor and microsaccades with a piezoelectric sensor and a video-oculography system.Peer J.1.e14.10.7717/peerj.14.
본 명세서에서의 상기 참고 문헌에 대한 승인은 이들이 본 명세서에 개시된 주제 사항의 특허 가능성과 어떠한 식으로도 관련되어 있음을 의미하는 것으로 추론되지 않는다.
배경 기술
종래 기술에서 알려진 상이한 눈 추적 장치, 가령, 원격 눈 추적기 또는 두부 장착형 눈 추적기 및 상이한 눈 추적 방법이 존재한다. 최초의 눈 추적기는 19세기 말에 만들어졌다. 이들은 만들기가 어려웠고 참가자들에게 불편함을 주었다. 눈 운동 측정을 돕기 위해 특수하게 설계된 링, 콘택트 렌즈 및 흡입 컵이 눈에 부착되었다. 눈의 상이한 부분들로부터 반사된 광을 검사하는 최초의 사진 기반 눈 추적기는 20세기 초에야 도입되었다. 이들은 훨씬 덜 방해가 되었고 눈 연구의 새로운 시대를 열었다. 20세기의 대부분 동안, 연구원들은 비용이 많이 들고 가용성이 제한된 자체 눈 추적기를 제작했다. 상업적으로 이용 가능한 최초의 눈 추적기는 70년대에만 등장했다. 50년대쯤에, 연구소에 의해 오늘날에도 여전히 사용 중인 다수의 상이한 기법, 가령, 거울이 있는콘택트 렌즈(더 구체적으로, 흡입 컵), 코일이 있는 콘택트 렌즈, 안전도 기법(electrooculography) (EOG) [5], 및 압전 센서 [6]가 개발되었다. 그러나 이들 방법은 각 눈 운동(angular eye movement)만 가능하며 그 특성으로 인해 횡방향 눈 이동을 측정할 수 없다(거울, 코일 및 EOG는 각도만 측정할 수 있음). 또한, 이들 시스템은 고정되어 있으며 사용자의 머리를 안정화해야 하므로, 보다 자연스러운 환경에서 눈 운동을 연구하는 데 적합하지 않다.
20세기의 두 번째 부분은 훨씬 덜 간섭적인 조명과 광 센서 기반 접근 방식이 지배했다. 이 접근 방식의 주요 한계는 눈 움직임 데이터를 추출하는 데 필요한 노출 및 처리 능력으로 인해 카메라가 상대적으로 느리다는 것이다. 위치 감지 광검출기(PSD) 또는 쿼드 기반 접근 방식은 20세기 중반에 개발되었다. 이중 푸르킨예 이미징(Dual Purkinje Imaging) 눈 추적기 시스템은 70년대에 개발되었으며 오늘날에도 여전히 사용되고 있다. 그러나 이중 푸르킨예 이미징 눈 추적기 시스템은 상대적으로 낮은 녹화 각도로 고가의 고정식 무거운 카메라리스(PSD 기반) 시스템이다. 80년대부터, 카메라 센서와 컴퓨터 기술의 발전으로, 눈 추적 시장은 이른바 VOG(Video OculoGraphy) 시스템이 지배하게 되었습니다. VOG 시스템은 일반적으로 사용자의 눈 이미지를 캡처하고 캡처된 이미지를 기반으로 눈의 특정 기능을 결정한다. 이들 시스템은 방해가 되지 않으며 일반적으로 사용자에게 방해나 불편을 일으키지 않는 눈의 적외선 조명에 의존한다. 그들 중 일부는 착용할 수 있는 소형 경량 카메라에 의존하지만, 위에서 언급한 대부분의 시스템과 같이 더 정밀한 시스템은 고정되어 있다. 좋은 조명(그러나 안전 수준 미만)이 필요하고 카메라 센서의 노출 요구 사항을 고려할 때 이러한 시스템의 프레임 속도는 제한된다.
결합된 동공/각막 반사(제1 푸르킨예) 눈 추적기 접근법(고정 하이 엔드 및 웨어러블 로우 엔드 모두)은 다수의 적외선 다이오드로 눈을 조명하고, 하나 이상의 (일반적으로 프레임-율을 증가시키기 위해) 카메라로 눈의 표면을 이미징하여, (눈의 가장 어두운 부분으로서) 동공과 다이오드의 제1 푸르킨예 이미지를 분할한다. IR 다이오드의 제1 푸르킨예 이미지에 대한 동공 위치의 변화는 눈의 움직임을 나타낸다. 실제 각도를 계산하기 위해 사용자 교정이 사용되어야 한다. 일반적으로, 사용자는 시스템을 교정하기 위해 알려진 경로로 이동하여 일부 타깃에 초점을 맞춰야 한다.
동공 위치가 각막에 의해 왜곡되고, 동공 확장이 측정 정밀도를 더 감소시키고, 각막에 대한 주변 반사가 이미지 처리 알고리즘을 교란시키기 때문에 이 방법의 정확도 및 정밀도는 비교적 낮다. 상이한 눈 색상, 긴 속눈썹 및 콘택트 렌즈는 모두 추가 요소이며 이미지 처리 시스템을 더욱 복잡하게 만든다. 따라서, 일반적으로 이들 시스템은 노이즈가 많고 횡방향 눈 운동에 대한 어떠한 정보도 없이 각도 운동에 대해 1도 미만의 정밀도를 제공한다. 또한, 두부에 대한 시스템의 이동 후에는 재교정이 필요하다. 다수의 그 밖의 다른 일반적인 접근법, 가령, 망막 이미징, 밝은 동공 접근법, MRI 기계를 이용한 눈 운동 검사가 존재한다. 이들 방식은 한계가 있으며 일반적이지 않다. 일반적으로 눈 추적기 및 눈 추적 방법과 관련하여, 정확도, 정밀도, 짧은 대기 시간 및 소형 크기를 향상시켜야 할 필요성이 항상 존재할 것이다. 또한, 눈 추적기가 다양한 장치, 가령, 컴퓨터, 자동차, 가상현실 안경 등에 더 일체화됨에 따라, 더 많은 유연성을 제공하는 매우 컴팩트한 눈 추적 장치를 제공할 필요가 있다.
눈 추적 시스템은 상대적인 눈 회전을 측정하기 위해 특히 윤부(limbus)(공막과 홍채 영역 사이의 경계), 또는 동공-홍채 경계 등을 추적할 수 있다. 윤부는 각막의 광도에 영향을 받지 않으므로 윤부를 추적하면 정확한 결과를 얻을 수 있다. 또한, 윤부는 직선 평면을 만든다. 윤부는 홍채의 근육들 사이의 연결 영역을 정의하므로 윤부의 3차원 파라미터와 눈의 3차원 파라미터 사이에는 직접적인 상관관계가 있다. 불행히도, 윤부는 날카로운 경계라기보다는 각막과 공막 사이의 전이 영역이다. 윤부는 소위 특징점 또는 가장자리 검출에 의존하는 기술에 대한 열악한 후보이기 때문에 이전의 윤부 추적기는 성공하지 못했다. 따라서, 회전으로 인해 변형되는 것처럼 보이는, 잘못 정의된 가장자리 및 형태가 노이즈로부터 신호를 추출하는 데 곤란함이 있다. 결과적으로, 윤부의 가장자리 검출 또는 특징점 검출을 이용하는 기법에서는 원하는 정확도 및 정밀도가 부족할 수 있다. 홍채/공막 계면의 가장자리를 따라 정확하게 배치된 정확하게 정렬된 광검출기가 있는 알려진 "핀 포인트" 윤부 추적기를 사용하여 적절한 추적 응답이 가능할 수 있지만, 이러한 정렬을 제공 및/또는 유지하는 것은, 특히 상이한 환자들 간 눈의 기하학적 형태의 가변성 때문에, 추가 시스템 구성요소 및 복잡도를 추가한다. 윤부 추적을 위한 일부 기법은 위치-감지 광검출기(PSD)로서 두 개의 사분면 검출기 세트에 의존한다. 윤부로 둘러싸인 홍채가 공막보다 더 어둡다는 단순한 사실은 홍채/공막 영역, 즉 윤부 경계를 검사하는 하나 이상의 쿼드로 구성된 시스템을 구축할 수 있게 해준다. 눈이 움직일 때, 홍채 이미지가 PSD를 가로질러 움직이므로 이를 유발하는 눈 움직임을 추정할 수 있다. 각막 영역 상에 레이저를 안정화할 수 있음에도 불구하고, 눈이 보고 있는 위치를 직접 표시하지 않으며 이 데이터를 얻으려면 사용자 보정이 필요하다. 또한, 눈꺼풀의 움직임, 속눈썹, 작은 조명 변화와 같이 눈 수술 중에 제어할 수 있는 많은 요소가 이 접근법의 정밀도에 영향을 미치고 눈 연구에 적합하지 않다. PSD 기반의 윤부 추적기는 광점 위치의 질량 중심을 측정한다. 이는 흰 공막과 어두운 홍채 사이에 대비가 있기 때문이다. 눈이 시스템을 기준으로 움직이면 PSD의 광점도 그에 따라 움직인다. 이러한 시스템은 홍채의 이미지가 PSD 상의 동일한 지점에 위치하도록 제어할 뿐 측정하지 않으며 실제 눈 위치를 추정할 수 없다.
눈 추적은 눈의 움직임을 추적하여 사용자가 보고 있는 위치를 파악하는 과정을 의미한다. 앞서 기재된 상이한 기법은 대략적으로 눈 움직임의 규모를 추정하고 움직임이 발생했음을 나타낼 수 있다. 그러나, 이들은 눈 운동의 6 자유도를 측정하지 않는다. 또한 이들 시스템은 눈의 시각적 특징을 추적하지 않는다. 눈의 시각적 특징을 추적하는 것과 연관된 문제 중 하나는 눈의 가장 독특한 특징이 홍채 상에 있다는 것이다. 동공과 홍채 모두 각막 수정체에 의해 심하게 왜곡된다. 이수정체의 형태는 사람마다 상이하기 때문에 이들 특징이 정확히 어디에 위치하는지 이해하기가 어렵다. 난시(각막 비대칭)는 이 문제를 더욱 복잡하게 만든다. 윤부(즉, 백색 공막과 어두운 홍채 사이의 경계)는 각막에 의해 왜곡되지 않지만, 매우 균일하게 보이고 약간 흐릿하며, 전통적인 이미지 처리 알고리즘에서 찾아지는 두드러진 특징이 없다. 따라서, 윤부 추적을 기반으로 하는 눈 추적을 위한 기법을 제공할 필요가 있다. 발명자들은 실제인, 즉, 일부 직접 가시 해부학적 또는 가상 특징, 즉, 계산된 특징에 직접 대응하는 식별된 안정한 영역을 삼각측량함으로써 윤부 눈 추적이 제공될 수 있음을 발견했다.
본 발명의 넓은 양태에 따라, 눈 추적 방법이 제공되며, 상기 방법은 사용자의 눈의 적어도 두 개의 이미지를 나타내는 이미지 데이터를 수신하는 단계, 각각의 이미지에서 눈 윤부와 관련된 영역을 식별하는 단계, 윤부 구조의 기하학적 표현을 결정하는 단계, 및 적어도 두 개의 이미지의 윤부 구조의 기하학적 표현의 삼각측량에 의해 사용자의 눈의 3차원 위치 및 시선 방향(즉, 눈의 완전한 6 자유도)을 결정하는 단계를 포함한다. 윤부는 각막의 수정체에 대해 고정된 관계 및 가까운 원형을 유지하기 때문에, 적어도 두 개의 이미지의 윤부 구조(즉, 2차원 눈 윤부 파라미터)의 기하학적 표현의 삼각측량에 의해 사용자의 눈의 3차원 위치 및 시선 방향이 획득될 수 있다. 적어도 두 개의 이미지 내 형태들이 식별되고 매칭된다. 매칭되는 영역까지의 3차원 거리는 삼각측량을 사용하여 결정될 수 있다. 현장에서 일반적으로 사용되는 에피폴라 기하학 기법이 적용되어 대응하는 영역들을 매칭시키고 선택적으로 3차원 눈 윤부 파라미터를 결정한다. 사용자의 눈의 3차원 위치 및 시선 방향은 3차원 윤부 파라미터를 기반으로 결정된다.
이와 관련하여, 일반적으로 스테레오 비전 알고리즘은 두 이미지 간의 매칭되는 대응하는 점 또는 가장자리를 이용함을 이해해야 한다. 두 가지 기본적인 접근법 분류가 다음과 같이 존재한다: 각각의 선의 강도 값의 정보가 각각의 픽셀에서 매칭되는 강도-기반 기법 - 강도의 차이가 최소화됨 - , 및 픽셀 값의 그룹 및 이들의 공간 분포를 이용해 정보가 추출되는 특징부-기반 기법. 일반적으로 사용되는 특징부는 단순한 특징부, 가령, 가장자리 및 모서리 검출기(Canny, Harris, LoG 필터)이다. 일반적으로, 앞서 언급되는 특징부를 이용하는 눈 추적 시스템은 몇 가지 단점, 가령, 각막 상의기생 반사의 결과로서의 복수의 광검출기 각각에 의해 생성된 상이한 노이즈 및 각막 수정체의 곡률의 결과로서의 홍채 및 동공 특징부의 왜곡을 가진다. 따라서 특징부 기반 기법에 기반한 시선 추적은 충분히 정확한 결과를 제공하지 못한다. 또한, 각막 반사와 눈의 특징부를 매칭하는 것에 기초하는 방법은 사용자 교정을 필요로 한다. 윤부 추적과 관련하여, 앞서 기재된 바와 같이, 윤부는 잘 정의된 특징부를 갖지 않으므로, 고전적인 접근법이 3차원 눈 윤부 파라미터를 제공하지 않는다. 본 발명의 기법은 안구 추적 장치의 사용자 교정을 필요로 하지 않고 약 1/6도 내지 1/60도 범위의 정확도 및 정밀도로 정확한 눈 추적을 제공한다는 점에 유의해야 한다.
일부 실시예에서, 방법은 상이한 각도에서 사용자의 눈의 적어도 두 개의 이미지를 캡처하는 단계를 포함한다.
일부 실시예에서, 윤부 구조의 기하학적 표현을 결정하는 것은 디지털 이미지 전처리를 포함한다. 디지털 이미지 전처리는 동공 방향에 기초하여 윤부의 이미지 강도 구배 맵을 계산하는 것, 각각의 이미지에서, 구배의 국소 방향이 실질적으로 균일한 윤부 구조의 적어도 하나의 영역을 식별하는 것, 및 이러한 영역의 픽셀을 가중화하고 눈 윤부와 관련된 매칭된 픽셀에 기초하여 윤부 구조의 기하학적 표현을 생성함으로써 윤부 구조를 나타내는 데이터를 처리하는 것을 포함한다.
일부 실시예에서, 방법은 상기 3차원 윤부 파라미터를 결정하는 단계를 포함하며, 상기 파라미터는 윤부의 중심의 3개의 좌표, 윤부 평면에 대한 법선의 방향, 윤부의 평면의 위치, 및 윤부의 크기 중 적어도 하나를 포함한다. 사용자의 눈의 3차원 위치 및 시선 방향을 결정하는 것은 3차원 윤부 파라미터를 기반으로 할 수 있다.
일부 실시예에서, 방법은 윤부의 반지름 및/또는 윤부의 비틀림 회전을 결정하는 단계를 더 포함한다.
일부 실시예에서, 방법은 반복적 픽셀 필터링 프로세스를 이용하고 초기 윤부 영역을 나타내는 데이터를 생성함으로써, 각각의 이미지에서 초기 윤부 영역을 나타내는 이미지 데이터를 식별하는 단계를 더 포함한다.
일부 실시예에서, 각각의 이미지에서, 초기 윤부 영역을 나타내는 이미지 데이터를 식별하는 단계는 동공, 눈꺼풀, 공막, 홍채 및 속눈썹 같은 눈 특징부를 나타내는 이미지 데이터를 식별하는 단계 및 해부학적 파라미터에 기초하여 초기 윤부 영역을 식별하는 단계 중 적어도 하나를 포함한다. 눈 특징부를 나타내는 이미지 데이터를 식별하는 것은 머신 러닝을 사용하여 수행될 수 있다.
일부 실시예에서, 눈 특징부를 나타내는 이미지 데이터의 식별은 동공 영역과 관련된 픽셀을 식별하기 위한 각각의 이미지를 분할하는 단계를 포함한다.
일부 실시예에서, 방법은 적어도 두 개의 동공의 기하학적 표현 간 삼각측량을 수행하여 3차원 동공 파라미터를 결정하는 단계, 3차원 동공 파라미터에 기초하여 초기 눈 윤부 영역의 위치를 추정하는 단계, 및 각각의 이미지에서 윤부의 초기 영역 위치를 나타내는 데이터를 생성하는 단계를 더 포함한다. 3차원 동공 파라미터는 각각의 이미지에서 동공 평면에 대한 법선의 방향, 동공의 중심의 좌표, 및 동공 지름 중 적어도 하나를 포함한다.
일부 실시예에서, 상기 방법은 삼각측량된 3차원 윤부를 처리하고, 삼각측량된 윤부 영역을 이미지 평면으로 다시 투사하고, 각각의 이미지에서 윤부 영역을 정제하는 단계를 더 포함한다.
본 발명의 또 다른 넓은 양태에 따라, 사용자의 눈을 나타내는 적어도 두 개의 이미지를 수신하고, 각각의 이미지에서 눈 윤부와 관련된 영역을 식별하며, 윤부 구조의 기하학적 표현을 결정하고, 적어도 두 개의 이미지의 윤부 구조의 기하학적 표현의 삼각측량에 의해 사용자의 눈의 3차원 위치 및 시선 방향을 결정하도록 구성 및 동작하는 처리 유닛을 포함하는 눈 추적 장치가 제공된다. 처리 유닛은 상기 3차원 윤부 파라미터에 기초하여 사용자의 눈의 3차원 위치 및 시선 방향을 결정하도록 구성 및 동작 가능하다. 본 발명의 눈 추적 장치는 두부-장착 눈 추적 장치, 가령, 눈 추적 안경 장치, 또는 헬멧에 일체 구성되거나 두부-장착 디스플레이 장치, 가상 현실 안경, 증강 현실 안경, 또는 그 밖의 다른 두부 착용 장치에 일체 구성되는 눈 추적기일 수 있다. 눈 추적 장치는 또한 그 박의 다른 장치, 가령, 컴퓨터, 디스플레이, 모니터 등과 일체 구성되거나 연결되는 원격 눈 추적기일 수 있다.
일부 실시예에서, 눈 추적 장치는 적어도 2개의 이미저를 더 포함하고, 각각의 이미저는 상이한 각도에서 사용자의 눈의 적어도 하나의 이미지를 캡처하도록 구성된다.
이미저는 캡처 유닛일 수 있고 하나 이상의 카메라(즉, 디지털 카메라 또는 비디오 카메라), 이미지 센서, 예를 들어 CCD 센서 또는 CMOS 센서와 같은 광 센서를 포함할 수 있다. 하나의 이미저가 사용되고 알려진 궤적으로 그리고 알려진 속도로 빠르게 이동할 수 있다. 또는, 일종의 거울이 있는 광학 이미지가 사용될 수 있다. 일부 실시예에서, 본 발명은 정확하게 알려진 상대 오프셋을 갖는 둘 이상의 이미저를 사용하기 위해 스테레오 이미저를 사용한다. 두 개 이상의 이미저가 동시에 또는 알려진 시간 딜레이를 갖고(가령, 인터레이스 모드에서), 이미지를 촬영할 수 있다.
일반적으로, 처리 유닛은 프로세서, 제어기, 마이크로제어기 또는 임의의 종류의 집적 회로일 수 있다. 눈 추적 장치는 임의의 광학 요소, 가령, 하나 이상의 렌즈, 프리즘, 빔 스플리터, 거울, 반사체, 도파관, 시준기 등을 포함할 수 있는 광학 시스템과 연관될 수 있다. 눈 추적 장치는 또한 가능한 한 많이 분산된 조명을 생성하도록 구성된 조명원, 바람직하게는 눈 표면에 패턴의 양을 생성하지 않거나 최소화하는 조명원과 연관된다. 눈 추적 장치는 적어도 2개의 이미지를 수신하기 위해 적어도 2개의 이미저 각각과 데이터 통신하는 처리 유닛을 포함한다.
본 발명의 신규한 기술은 2개 이상의 캡처된 눈 이미지를 사용하고, 각각의 캡처된 이미지에서, 반복적인 픽셀 필터링 프로세스에 의해 3차원 눈 윤부 파라미터를 검출하고, 따라서 이미지로부터 획득된 눈 윤부의 2차원 파라미터의 삼각측량에 의해 안구의 배향을 결정할 수 있다. 신규한 기법이 이미지 데이터에서 사용자의 눈에서의 윤부의 식별에 기초하여 눈 배향을 결정한다. 둘 이상의 이미저가 사용자 눈의 각각의 둘 이상의 이미지를 캡처하는 데 사용될 수 있다. 각각의 이미저는 상이한 각도에서 사용자의 눈을 캡처하도록 구성되어 있다. 각각의 이미지는 사용자의 홍채 및 인접 주위 영역, 가령, 동공, 공막, 눈꺼풀 등을 이미징한다. 윤부 영역의 삼각측량을 위해, 눈의 복수 이미지는 바람직하게는 시간적으로 가깝게(가령, 동시에), 둘 이상의 다른 각도에서 캡처된다.
일부 실시예에서, 처리 유닛은 사용자의 눈을 나타내는 적어도 두 개의 이미지의 각각의 이미지를 수신하고, 반복적인 픽셀 필터링 프로세스를 이용하고, 초기 윤부 영역을 나타내는 데이터를 생성함으로써, 각각의 이미지 상에서, 초기 윤부 영역 즉, 일부 바람직하게는 왜곡되지 않은 초기(즉, 눈 옵틱, 가령, 각막에 의해 왜곡되지 않은) 영역(즉, 실제 또는 가상의 계산된 영역), 또는 눈의 동일한 물리적 영역에 대응하는 알려진 왜곡을 갖는 영역을 나타내는 이미지 데이터를 식별하도록 구성되는 영역 검출기를 포함한다. 본 발명자들은 이들 식별된 안정한 영역이 삼각측량 계산을 위해 사용될 수 있음을 발견했다. 본 발명에 의해 눈의 동일한 물리적 영역에 대응하는 이러한 안정 영역을 생성하고, 스테레오 이미지 상에서 이를 식별할 수 있다. 영역 검출기는 문 특징부, 가령, 동공, 눈꺼풀, 공막, 홍채 및 속눈썹을 나타내는 이미지 데이터를 식별하는 것, 및 해부학적 파라미터에 기초하여 초기 윤부 영역을 식별하는 것 중 적어도 하나에 의해 초기 윤부 영역을 나타내는 이미지 데이터를 식별하도록 구성된다. 이들 영역은 각각의 이미지 상의 눈 특징부(가령, 동공)의 기하학적 표현을 투사한 후, 상이한 각도에서 취해진 이미지들 간에 매칭되는 영역을 투사함으로써 식별될 수 있다. 이미지 상에서 이러한 영역의 크기가 클수록, 대응하는 물리적 영역의 위치가 더 정확하게 삼각측량되고 결과적으로 눈 자체의 위치가 결정된다. 영역 검출기는 삼각측량을 수행할 수 있는 반복적인 픽셀 필터링 프로세스를 사용함으로써 눈 상의 2차원 가상 객체를 형성하는 함수를 생성한다. 이 삼각측량은 시선 방향에 해당하는 윤부 방향을 정의한다. 윤부 파라미터는 3차원 공간에서의 강체의 움직임의 6 자유도를 나타내는 변수가 (x, y, z, α, 
및 δ)인 수학 수식으로 정의된다. 특히, x, y, z는 3개의 수직 축들에서의 앞/뒤(서지(surge)), 위/아래(히브(heave)), 좌/우(스웨이(sway)) 이동에서 위치 변화와 3개의 수직 축들을 중심으로 하는 회전, 즉, 요(yaw)(수직 축), 피치(pitch)(횡방향 축) 및 롤(roll)(종방향 축)을 통한 배향의 변화의 조합을 정의한다.
이와 관련하여, 윤부의 치수는 크고, 실제로 각막에 의해 왜곡되지 않기 때문에, 3차원 윤부 파라미터의 결정은 이러한 왜곡되지 않은 영역, 또는 눈의 동일한 물리 영역에 대응하는 알려진 왜곡을 갖는 영역의 위치를 찾는 것을 가능하게 한다. 그러나, 앞서 언급된 바와 같이, 윤부 자체는 경계가 약간 흐릿하고 선명하지 않은 것처럼 보이는 경계를 가지며, 각각의 이미지 상에서 상이하게 보이며, 이러한 매칭에 대한 앵커 포인트로서 역할 할 수 있는 구별 가능한 특징부를 갖지 않는다. 따라서, 둘 이상의 상이한 이미지 상의 윤부 영역 자체를 매칭하는 것은 어려운 일이다. 본 발명자들은 윤부 영역 자체의 특징부를 매칭하려 하는 대신, 눈의 동일한 물리 영역에 잘 대응하는 각각의 이미지의 윤부 3차원 파라미터에 기초하여 일부 가상 영역을 계산할 수 있도록 하는 디지털 이미지 전처리가 수행될 수 있음을 발견했다. 디지털 이미지 전처리는 복잡한 알고리즘, 가령, 분류, 특징부 추출, 멀티-스케일 신호 분석, 패턴 인식 또는 투사 수학적 변환의 사용을 포함한다. 가상 영역은 이미지가 촬영된 각도에 의존하지 않고, 눈의 동일한 물리적 영역에 대응해야 한다. 따라서 영역 검출기는 각각의 이미지에서 윤부 영역을 나타내는 이미지 데이터를 식별하고 윤부 영역을 나타내는 데이터를 생성하도록 구성 및 작동 가능하다. 이는 특정 눈 특징부에 대응하는 식별된 가상 영역과 윤부 간 해부학적 관계를 사용함으로써 윤부 영역을 추정함으로써 구현될 수 있다. 예를 들어, 동공의 위치와 중심이 두 개의 이미지 간 동공 영역(즉, 정의된 원형 콘트라스트를 갖는 영역)을 삼각측량함으로써 계산된 후, 윤부 영역이 동공의 중심 주위에 특정 반지름 범위(가령, 약 5.5mm 내지 6.5mm)를 갖는 원형 영역으로 정의될 수 있다. 반지름 범위는 윤부와 동공 중심 사이의 거리의 가우스 분포를 정의하는 통계 데이터에 기초할 수 있다.
일부 실시예에서, 패턴 인식 도구가 각각의 이미지에서 동공의 픽셀 및 눈꺼풀의 픽셀을 식별하는 데 사용된다. 동공의 이미지 픽셀은 이미지 내 특정 콘트라스트로 인해 식별될 수 있다. 동공에 대응하는 식별된 이미지 영역이 폐기되고, 눈꺼풀의 이미지 영역은 교정 데이터(가령, 각각의 이미저의 거리/각도, 동공/윤부 중심 및 전체 방향)를 결정하는 데 사용될 수 있다. 더 구체적으로, 눈꺼풀과 추정 윤부 영역 사이의 교차 가능성과 관련된 데이터 이미지가 폐기되어 잠재적 윤부 픽셀의 수를 더 감소시킬 수 있다. 그런 다음 교정 데이터 및 눈의 3차원 모델을 기반으로 2차원 눈 윤부 파라미터가 식별된다. 그런 다음 반복적인 필터링 프로세스가 사용되어, 두 개 이상의 캡처된 이미지 각각에서 윤부의 경계에 위치한 픽셀을 폐기할 수 있다. 윤부 구조의 기하학적 표현은 링 형태 또는 타원 형태의 구조를 포함한다. 윤부가 원형인 것으로 가정될 때, 각각의 이미지로부터 획득된 윤부 2차원 파라미터가 사용되어, 각각의 이미지에 대해, (윤부 영역을 숨기는 눈꺼풀 영역을 폐기한 후 재구성된) 완전한 윤부 링/타원 구조 함수를 정의하고, 각각의 이미지로부터 획득된 정의된 윤부 링/타원 구조의 삼각측량에 의해 눈 배향이 결정된다. 특정 눈 특징부에 대응하는 이미지 데이터의 필터링은 특정 픽셀을 폐기하고, 해상도를 향상시키는 것을 가능하게 할 수 있다. 기법이 눈 배향을 결정하는 데 성공하지 못하면, 윤부 영역이 잠재적으로 윤부 관련 픽셀을 유지하도록 증가되는 동안 프로세스가 다시 반복된다.
일부 실시예에서, 방법은, 우선, 윤부 영역이 분리되고, 그런 다음 수학적 변환이 수행되는데, 가령, (가령, 윤부 링의 중간을 통과하는 타원 함수의 세트를 투사함으로써) 각각의 이미지 상에서 윤부 구조의 기하학적 표현을 찾는 단계, 및 실제 눈에 강력하게 정렬되는 6 자유도(6DOF)로 대응하는 원을 삼각측량하는 단계를 포함한다.
일부 실시예에서, 처리 유닛은 윤부 영역을 나타내는 데이터를 수신하고, 디지털 이미지 전처리, 가령, 각각의 이미지에 대한 윤부 인식 프로세스의 수행 및/또는 강도 구배 맵을 이용하는 것을 포함하는 수학적 변환의 수행에 의해 윤부 구조의 기하학적 표현을 결정하도록 구성 및 동작 가능한 윤부 검출기를 포함한다. 더 구체적으로, 디지털 이미지 전처리 단계는 윤부 영역의 이미지 강도 구배 맵을 계산하는 단계, 구배의 국소적인 방향이 실질적으로 균일한 윤부 구조의 적어도 하나의 영역을 식별하는 단계, 및 이러한 영역의 픽셀을 가중화하고 눈 윤부와 관련된 매칭 픽셀에 기초하여 윤부 구조의 기하학적 표현을 결정함으로써 윤부 구조를 나타내는 데이터를 처리하는 단계를 포함할 수 있다.
더 구체적으로, 윤부 영역을 추정한 후, 링-형태 영역이 추정 윤부 영역에서 눈 표면 상으로 투사된다. 이미지의 대부분의 픽셀, 가령, 동공, 홍채의 대부분, 공막의 대부분 및 눈꺼풀의 대부분이 폐기되어, 보통의 눈의 추정된 해부학적 속성 및 선택적으로 계산된 3차원 동공 위치에 기초하여, 잠재적인 윤부 위치 주위의 링만 남겨둘 수 있다. 그러나 동공 이미지의 각막 왜곡으로 인해 추가적인 추정 에러가 발생할 수 있다. 이 왜곡은 윤부 영역의 초기 추정을 증가시킨다.
일부 실시예에서, 영역 검출기는 머신 러닝을 사용하여 눈 특징부를 나타내는 이미지 데이터를 식별하도록 구성된다. 반복적인 픽셀 필터링 프로세스는 각각의 획득된 이미지에서 윤부 영역을 식별하도록 신경망을 훈련시키는 데 사용된다. 영역 검출기는 동공 영역과 관련된 픽셀을 식별하기 위해 각각의 이미지를 분할함으로써 눈 특징부를 나타내는 이미지 데이터를 식별하도록 구성 및 동작 가능할 수 있다. 따라서 신경망(들)은 대략적인 윤부 영역을 직접 분할하는 데 사용될 수 있다. 더 구체적으로, 윤부 영역을 추정하기 위해 동공이 추적될 수 있다. 추가로 또는 대안으로, 신경망은 동공 추적을 거치지 않고 눈꺼풀 및 공막과 같은 다른 눈 특징의 위치를 직접 추정하는 데 사용될 수도 있다. 신경망은 이미지 자체 또는 수학적으로 변환된 이미지, 즉, 구배 맵에 적용될 수 있다. 신경망은 예를 들어 눈 특징부 특성이 이전에 정의된 다른 눈 추적 기법의 결과에 기초하여 종래의 머신 러닝 알고리즘 상에서 훈련될 수 있다.
일부 실시예에서, 처리 유닛은 윤부의 크기를 결정하도록 구성 및 작동 가능하다.
일부 실시예에서, 식별된 눈꺼풀 영역의 픽셀은 눈의 위치의 추정을 개선하기 위해 삼각측량된다.
일부 실시예에서, 눈 추적 장치는 각각의 이미지에 대한 윤부 구조의 기하학적 표현을 나타내는 데이터를 수신하고, 적어도 두 개의 이미지의 기하학적 표현의 삼각측량을 수행하여 3차원 윤부 파라미터를 결정하도록 구성 및 동작 가능한 윤부 삼각측량기를 더 포함한다. 상기 3차원 윤부 파라미터는 윤부의 중심의 3개의 좌표, 윤부 평면에 대한 법선의 방향, 윤부의 평면의 위치, 및 윤부의 크기 중 적어도 하나를 포함한다. 윤부 삼각측량기는 윤부의 반지름 및/또는 윤부의 비틀림 회전을 결정하도록 구성 및 작동될 수 있다.
일부 실시예에서, 상기 윤부 삼각측량기는 적어도 두 개의 동공의 기하학적 표현 간에 삼각측량을 수행하여 3차원 동공 파라미터를 결정하며 - 상기 3차원 동공 파라미터는 동공 평면에 대한 법선 방향, 동공 중심의 좌표 및 동공 지름 중 적어도 하나를 포함함 - , 3차원 동공 파라미터에 기초하여 초기 눈 윤부 영역의 위치를 추정하고, 각각의 이미지에서 윤부의 초기 영역 위치를 나타내는 데이터를 생성하도록 구성된다.
일부 실시예에서, 윤부 삼각측량기는 삼각측량된 3차원 윤부를 처리하고, 삼각측량된 윤부 영역을 이미지 평면으로 다시 투사하고, 각각의 이미지에서 윤부 영역을 정제하도록 구성된다.
본 명세서에 개시된 주제를 더 잘 이해하고 그것이 실제로 어떻게 수행될 수 있는지를 예시하기 위해, 실시예가 첨부 도면을 참조하여 비제한적인 예로서 설명될 것이다.
도 1은 본 발명의 눈 추적 장치의 주요 기능 부분을 나타내는 개략적인 블록도이다.
도 2는 본 발명의 눈 추적 방법의 주요 단계를 나타내는 개략적인 흐름도이다.
도 3은 상이한 각도에서 포착된 눈의 2개의 스테레오 이미지를 도시한다.
도 4a 내지 4d는 본 발명의 일부 실시예에 따른 동공 검출 스테이지의 예이다.
도 5는 본 발명의 일부 실시예에 따르는 도 3의 이미지에 예시된 눈 특징 검출 단계의 예이다.
도 6은 본 발명의 일부 실시예에 따르는 도 3의 이미지에 예시된 윤부 원의 투사의 예이다.
도 7은 본 발명의 일부 실시예에 따른 눈 추적 장치의 가능한 기능 부분을 예시하는 개략적인 블록도이다.
도 8은 본 발명의 교시를 사용하여 얻은 2차원 눈 추적 궤적을 나타낸다.
도 9는 시간의 함수로서 방위각 및 피치의 관점에서 눈 추적 배향 궤적(즉, 각도 측정)의 2개의 각 자유도를 나타낸다.
도 10a 내지 10b는 본 발명의 교시를 사용함으로써 얻어진 눈 추적 궤적의 5 자유도를 나타낸다.
도 1은 본 발명의 눈 추적 장치의 주요 기능 부분을 나타내는 개략적인 블록도이다.
도 2는 본 발명의 눈 추적 방법의 주요 단계를 나타내는 개략적인 흐름도이다.
도 3은 상이한 각도에서 포착된 눈의 2개의 스테레오 이미지를 도시한다.
도 4a 내지 4d는 본 발명의 일부 실시예에 따른 동공 검출 스테이지의 예이다.
도 5는 본 발명의 일부 실시예에 따르는 도 3의 이미지에 예시된 눈 특징 검출 단계의 예이다.
도 6은 본 발명의 일부 실시예에 따르는 도 3의 이미지에 예시된 윤부 원의 투사의 예이다.
도 7은 본 발명의 일부 실시예에 따른 눈 추적 장치의 가능한 기능 부분을 예시하는 개략적인 블록도이다.
도 8은 본 발명의 교시를 사용하여 얻은 2차원 눈 추적 궤적을 나타낸다.
도 9는 시간의 함수로서 방위각 및 피치의 관점에서 눈 추적 배향 궤적(즉, 각도 측정)의 2개의 각 자유도를 나타낸다.
도 10a 내지 10b는 본 발명의 교시를 사용함으로써 얻어진 눈 추적 궤적의 5 자유도를 나타낸다.
본 발명의 눈 추적 장치의 주요 기능 부분을 예시하는 블록도를 예시하는 도 1을 참조한다. 눈 추적 장치(100)는 사용자의 눈을 나타내는 적어도 두 개의 이미지를 수신하고, 각각의 이미지에서, 눈 윤부와 관련된 영역을 식별하며, 윤부 구조의 기하학적 표현을 결정하고, 적어도 두 개의 이미지의 윤부 구조의 기하학적 표현의 삼각측량에 의해 사용자의 눈의 3차원 위치 및 시선 방향을 결정하기 위한 처리 유닛(106)을 포함한다. 이와 관련하여, 위에서 상세히 설명된 바와 같이, 본 발명은 개별 대응하는 점 또는 가장자리가 아니라 형태(기하학적 표현)를 삼각측량한다.
처리 유닛(106)은 일반적으로 컴퓨팅/전자 유틸리티로서 구성되며, 이러한 유틸리티, 가령, 데이터 입력 및 출력 모듈/유틸리티(106A 및 106B), 메모리(106D)(즉, 비휘발성 컴퓨터 판독형 매체), 및 분석기/데이터 처리 유틸리티(106C)로서 구성된다. 따라서 처리 유닛(106)의 유틸리티는 적절한 회로에 의해 및/또는 도 2에 도시되고 후술되는 방법(200)의 동작을 구현하도록 구성된 컴퓨터 판독형 코드를 포함하는 소프트웨어 및/또는 하드웨어 구성요소에 의해 구현될 수 있다.
본 발명의 특징은 이하에서 더 상세히 언급될 다양한 컴퓨터 하드웨어 구성요소를 포함하는 범용 또는 특수 용도 컴퓨터 시스템을 포함할 수 있다. 본 발명의 범위 내의 특징은 또한 컴퓨터 실행 명령, 컴퓨터 판독형 명령, 또는 데이터 구조를 실행하거나 이들을 저장하는 컴퓨터 판독형 매체를 더 포함한다. 이러한 컴퓨터 판독형 매체는 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 비제한적 예를 들면, 이러한 컴퓨터 판독형 매체는 컴퓨터 실행형 명령, 컴퓨터 판독형 명령, 또는 데이터 구조의 형태로 바람직한 프로그램 코드 수단을 실행 또는 저장하도록 사용될 수 있고 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스될 수 있는 물리 저장 매체, 가령, RAM, ROM, EPROM, 플래시 디스크, CD-ROM 또는 그 밖의 다른 광학 디스크 저장소, 자기 디스크 저장소 또는 그 밖의 다른 자기 저장 장치, 또는 그 밖의 다른 임의의 매체를 포함할 수 있다. 컴퓨터 판독형 매체는 네트워크, 가령, WAN(Wide Area Network), 가령, 인터넷을 통해 컴퓨터 시스템으로 다운로드 가능한 컴퓨터 프로그램 또는 컴퓨터 애플리케이션을 포함할 수 있다.
이 설명 및 이하의 청구범위에서, "처리 장치"는 전자 데이터를 조작하도록 함께 동작하는 하나 이상의 소프트웨어 모듈, 하나 이상의 하드웨어 모듈, 또는 이의 조합으로 정의된다. 예를 들어, 처리 유틸리티의 정의는 개인 컴퓨터의 하드웨어 구성요소 및 소프트웨어 모듈, 가령, 개인 컴퓨터의 운영 체제를 포함한다. 모듈의 물리적 레이아웃은 관련이 없다. 컴퓨터 시스템은 컴퓨터 네트워크를 통해 연결된 하나 이상의 컴퓨터를 포함할 수 있다. 마찬가지로, 컴퓨터 시스템은 내부 모듈(가령, 메모리 및 프로세서)이 함께 작동하여 전자 데이터에 대한 작업을 수행하는 단일 물리적 장치를 포함할 수 있다. 임의의 컴퓨터 시스템이 모바일일 수 있지만, 본 명세서에서 사용되는 용어 "모바일 컴퓨터 시스템" 또는 "모바일 컴퓨터 장치"는 특히 랩톱 컴퓨터, 넷북 컴퓨터, 휴대 전화, 스마트폰, 무선 전화기, 개인용 정보 단말기, 터치 감지 스크린을 갖는 휴대용 컴퓨터 등을 포함한다. 처리 유닛(106)은 컴퓨터 프로그램을 실행하는 프로세서에 내장되거나 그에 부착되는 프로세서로 구성될 수 있다. 컴퓨터 프로그램 프로덕트는 구현된 컴퓨터 판독형 프로그램 코드를 갖는 하나 이상의 컴퓨터 판독형 매체(들)로 구현될 수 있다. 컴퓨터 판독형 매체는 컴퓨터 판독형 신호 매체 또는 컴퓨터 판독형 저장 매체일 수 있다. 본 발명의 양태에 대한 동작을 수행하기 위한 컴퓨터 프로그램 코드는 하나 이상의 프로그래밍 언어의 임의의 조합으로 써질 수 있다. 프로그램 코드는 사용자의 컴퓨터 상에서 전체적으로, 사용자의 컴퓨터 상에서 부분적으로, 자립형 소프트웨어 패키지로서, 사용자의 컴퓨터 상에서 부분적으로 그리고 원격 컴퓨터 상에서 부분적으로, 또는 원격 컴퓨터 또는 서버 상에서 전체적으로 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 임의의 유형의 네트워크, 가령, LAN(Local Area Network) 또는 WAN(Wide Area Network)를 통해 사용자의 컴퓨터에 연결될 수 있거나, (가령, 인터넷 서비스 프로바이더를 이용해 인터넷을 통해) 외부 컴퓨터로의 연결이 이뤄질 수 있다. 이들 컴퓨터 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터, 또는 그 밖의 다른 프로그램 가능 데이터 처리 장치의 프로세서로 제공되어, 컴퓨터 또는 그 밖의 다른 프로그램 가능 데이터 처리 장치의 프로세서를 통해 실행되는 명령이 흐름도 및/또는 블록도에서 특정된 기능/동작을 구현하기 위한 수단을 만든다. 프로세서의 특정된 기능은 특정 기능 또는 동작을 수행하는 특수 목적 하드웨어-기반 시스템, 또는 특수 목적 하드웨어 및 컴퓨터 명령에 의해 구현될 수 있다.
눈 추적 장치(100)는 적어도 2개의 이미저(110)를 포함할 수 있고, 각각의 이미저는 상이한 각도에서 사용자의 눈의 적어도 하나의 이미지를 캡처하도록 구성된다. 각각의 이미저는 사용자의 홍채에 초점을 맞출 수 있다. 이와 관련하여, 본 발명의 윤부 추적은 각각의 눈에 대해 독립적으로 수행된다는 점에 유의해야 한다.
일부 실시예에서, 처리 유닛(106)은 윤부 영역을 나타내는 데이터를 수신하고, 디지털 이미지 전처리에 의해 윤부 구조(예를 들어, 링형 또는 타원형 구조)의 기하학적 표현을 결정하도록 구성되고 동작가능한 윤부 검출기(102)를 포함한다. 구체적이고 비제한적인 예에서, 윤부 검출기(102)는 각각의 이미지에 대해 윤부 인식 프로세스를 수행 및/또는 강도 구배 맵(intensity gradient map)을 이용하는 것을 포함하는 이미지의 수학적 변환을 수행하고 변형된 이미지에 윤부 영역 인식 프로세스를 실행하도록 구성되고 작동 가능하다. 다시 말해, 윤부 검출기(102)는 이미지를 강도 구배 맵으로 변환한 후 변환된 이미지에서 윤부 영역을 검색할 수 있다. 엔트로피 맵은 구배 맵 대신, 또는 구배 맵에 추가하여 사용될 수 있거나, 처리가 이미지 상에서 직접 수행될 수 있다. 강도 구배 맵이 사용되는 경우, 윤부 검출기(102)는 윤부 영역의 이미지 강도 구배 맵을 계산하고, 구배의 로컬 방향이 실질적으로 균일한 윤부 구조의 적어도 하나의 영역을 식별하며, 이러한 영역의 픽셀을 가중화하고 눈 윤부와 관련된 매칭 픽셀에 기초하여 윤부 구조의 기하학적 표현을 결정함으로써 윤부 구조를 나타내는 데이터를 처리할 수 있다. 공선성(collinearity)에 추가하여, 윤부의 해부학적 형태에 대한 지식이 사용될 수 있다, 즉, 공선 벡터(collinear vector)는 윤부의 중심으로부터 방사 방향으로 뻗어야 하고 전체 윤부 영역은 연속이다. 보다 구체적으로, 윤부 구조의 영역은 국소 균일성을 식별함으로써 결정된다, 즉, 각각의 점의 구배의 방향은 이웃과만 공선 상에 있다
처리 유닛(106)의 각각의 모듈, 가령, 윤부 검출기(102)는 특정 개수의 모듈에 한정되지 않고 복수의 이미지를 독립적으로, 동시에, 또는 그 밖의 다른 방식으로 처리하도록 구성될 수 있다. 윤부 삼각측량기(limbus triangulator)(108)가 적어도 두 개의 이미지에서 윤부 구조의 기하학적 표현의 삼각측량을 수행하여 3차원 윤부 파라미터를 결정할 수 있다. 윤부 삼각측량기(108)는 또한 윤부의 반지름 및/또는 윤부의 비틀림 회전을 결정하도록 구성 및 작동될 수 있다. 3차원 윤부 파라미터는 윤부의 위치 및 방향의 적어도 5 자유도를 정의한다. 3차원 윤부 파라미터는 윤부의 평면의 위치 및/또는 윤부 평면에 대한 법선 방향 및/또는 윤부 크기 및/또는 윤부 중심 또는 이들의 조합 중 어느 하나를 포함한다.
일부 실시예에서, 처리 유닛(106)은 각각의 사용자의 눈을 나타내는 적어도 2개의 이미지의 각각의 이미지를 수신하고, 반복 픽셀 필터링 프로세스를 이용함으로써 각각의 이미지에서 초기 윤부 영역을 나타내는 이미지 데이터를 식별하고 초기 윤부 영역을 나타내는 데이터를 생성하도록 구성 및 동작 가능한 영역 검출기(104)를 포함한다. 이는 눈 특징부, 가령, 동공, 눈꺼풀, 공막, 홍채 및 속눈썹을 나타내는 이미지 데이터를 식별하는 것 및/또는 해부학적 파라미터에 기초하여 초기 윤부 영역을 식별하는 것에 의해 구현될 수 있다. 더 구체적으로, 초기 윤부 영역을 식별하는 것은 동공 분할 및 동공의 삼각측량 및/또는 해부학에 기초하는 윤부 영역 추적 및/또는 눈꺼풀 영역 추정 및/또는 눈꺼풀 영역이 없는 윤부 영역 추정을 포함할 수 있다. 이는 윤부 삼각측량기(108) 또는 임의의 다른 처리 모듈에 의해 구현될 수 있다. 그러나, 본 발명은 처리 유닛(106)의 임의의 특정 모듈 구성으로 제한되지 않는다. 처리 유닛(106)은 동공 검출기, 동공 삼각측량기 및 기타 모듈을 포함할 수 있다. 예를 들어, 눈 특징부를 나타내는 이미지 데이터의 식별은 동공 분할을 포함할 수 있다. 따라서, 영역 검출기(104)는 초기 윤부 링을 제공하는 것을 목표로 하는 동공 검출기일 수 있다. 이 두 영역, 즉, 동공 및 윤부 모두는 중심이 동일하고 동일 평면 상에 있다고 가정된다. 동공 분할은 동공 영역과 관련된 픽셀을 식별하기 위해 각각의 이미지를 분할하고, 3차원 동공 파라미터를 결정하기 위해 적어도 2개의 이미지 간에 삼각측량을 수행하며, 3차원 동공 파라미터에 기초하여 초기 눈 윤부 영역의 위치를 추정하고, 각각의 이미지에서 윤부의 초기 영역 위치를 나타내는 데이터를 생성함으로써 구현될 수 있다. 3차원 동공 파라미터는 동공 평면에 대한 법선의 방향 및/또는 동공 중심의 좌표 및/또는 동공의 지름을 포함한다. 3차원 동공 파라미터는 3차원 윤부 파라미터를 추정하는 데 사용되며, 따라서 더 정제될 수 있는 초기 윤부 영역을 정의한다. 눈 특징부를 나타내는 이미지 데이터의 식별은 또한 눈꺼풀의 식별 및 이 이미지 데이터의 필터링 제거를 포함할 수 있는데, 이는 눈꺼풀과 관련된 이미지 데이터가 윤부 링의 일부를 차단하기 때문이다. 본 발명은 초기 윤부를 나타내는 이미지 데이터를 식별하는 특정 방식으로 제한되지 않는다. 신경망 기반 접근법은 초기 윤부를 나타내는 이미지 데이터를 식별하는 데 사용될 수 있다. 예를 들어, 신경망에 의한 윤부 영역 추정이 수행될 수 있지만, 동공 검출기가 사용되어 기존 알고리즘으로 눈꺼풀 영역을 추정할 수 있다. 대안으로, 윤부 영역 추정 및 눈꺼풀 영역 추정이 신경망 기반 접근법과 함께 수행될 수 있다. 또는 신경망은 동공 분할에만 사용할 수 있다.
일부 실시예에서, 영역 검출기(104)는 머신 러닝을 사용하여 눈 특징부를 나타내는 이미지 데이터를 식별하도록 구성된다. 머신 러닝은 눈 특징부와 관련된 입력 데이터의 특성을 자체 분류/학습할 수 있다. 영역 검출기(104)는 3차원 눈 윤부 파라미터를 예측하기 위해 신경망에 기초한 데이터 인식 모델을 사용할 수 있다. 네트워크는 전통적인 방식의 분할 결과에 기초하여 훈련되거나, 훈련을 위한 기존 시스템을 이용해 훈련될 수 있다. 추가로 또는 대안으로, 본 발명의 눈 추적 장치에 의해 획득된 3차원 눈 윤부 파라미터는 신경망을 훈련하는 데 사용될 수 있다. 딥-러닝 네트워크(DLN: deep-learning network), 가령, 영역 검출기(104)에 의해 구현되는 인공 신경망(ANN)이 일련의 이미지에 기초하여 윤부의 표현을 생성할 수 있다. 예를 들어, DLN에 의해 생성된 표현은 윤부의 배치에 대한 확률을 포함할 수 있다. 이 표현은 인식 분류기(recognition classifier)를 사람에 맞게 조정하는 윤부 모델을 생성하는 데 사용된다.
윤부 검출기(102)가 3차원 윤부 파라미터를 결정한 후, 영역 검출기(104)는 윤부 영역을 나타내는 더 정확한 데이터를 생성하기 위해 3차원 윤부 파라미터를 수신할 수 있다. 예를 들어, 윤부 삼각측량기(108)는 삼각측량된 3차원 윤부를 처리하고, 삼각측량된 윤부 영역을 이미지 평면으로 다시 투사하고, 각각의 이미지에서 윤부 영역을 정제하도록 구성된다.
본 발명의 시선 추적 방법의 주요 단계를 예시하는 흐름도를 예시하는 도 2를 참조한다. 눈 추적 방법(200)은 사용자의 눈의 적어도 두 개의 이미지를 나타내는 이미지 데이터를 수신하는 단계(204), 각각의 이미지에서 눈 윤부와 관련된 영역을 식별하는 단계(206), 윤부 구조의 기하학적 표현을 결정하는 단계(208), 및 적어도 두 개의 이미지의 윤부 구조의 기하학적 표현의 삼각측량을 수행하여(210), 사용자의 눈의 3차원 위치 및 시선 방향을 결정하는 단계(212)를 포함한다.
일부 실시예에서, 단계(210)는 전술한 바와 같이 3차원 윤부 파라미터를 결정하기 위해 적어도 2개의 이미지에서 윤부 구조의 기하학적 표현의 삼각측량을 수행하는 단계를 포함한다. 3차원 윤부 파라미터를 결정하는 것은 윤부의 반지름 및/또는 윤부의 비틀림 회전을 결정하는 것을 포함할 수 있다.
일부 실시예에서, 적어도 2개의 이미지의 윤부 구조의 기하학적 표현의 삼각측량(210) 후, 방법(200)은 3차원 윤부 파라미터를 처리함으로써 윤부 구조의 기하학적 표현을 결정하여 윤부 영역을 나타내는 더 정밀한 데이터를 생성하는 단계를 포함할 수 있다.
일부 실시예에서, 방법(200)은 또한 상이한 각도로 각각의 사용자의 눈의 적어도 두 개의 이미지를 캡처하는 단계(202)를 더 포함할 수 있다.
일부 실시예에서, 윤부 구조의 기하학적 표현을 결정하는 것(208)은 디지털 이미지 전처리(218), 가령, 각각의 이미지 상에서 윤부 인식 프로세스를 수행하는 것 또는 강도 구배 맵을 이용하는 것을 포함하는 이미지의 수학적 변환을 수행한 후 변환된 이미지에 윤부 영역 인식 처리를 실행하는 것을 포함할 수 있다. 디지털 이미지 전처리 단계(218)는 윤부 영역의 이미지 강도 구배 맵을 계산하는 단계, 구배의 국소적인 방향이 실질적으로 균일한 윤부 구조의 적어도 하나의 영역을 식별하는 단계, 및 이러한 영역의 픽셀을 가중화하고 눈 윤부와 관련된 매칭 픽셀에 기초하여 윤부 구조의 기하학적 표현을 결정함으로써 윤부 구조를 나타내는 데이터를 처리하는 단계를 포함할 수 있다. 더 구체적으로, 디지털 이미지 전처리는 국소 균일성, 즉, 각각의 포인트의 구배의 방향이 자신의 이웃과만 공선상에 있음을 식별함으로써 윤부 구조의 영역을 결정하는 단계를 포함할 수 있다. 앞서 기재된 바와 같이, 엔트로피 맵이 또한 (구배 맵을 대신하여 또는 구배 맵에 추가로) 강도 구배 맵으로서 사용되거나, 이미지에 직접 처리가 수행될 수 있다.
일부 실시예에서, 각각의 이미지에서 눈 윤부와 관련된 영역을 식별하는 단계(206)는 눈 특징부, 가령, 동공, 눈꺼풀, 공막, 홍채 및 속눈썹을 나타내는 이미지 데이터를 식별하는 것 및/또는 반복적인 픽셀 필터링 프로세스를 이용하고 초기 윤부 영역을 나타내는 데이터를 생성함으로써 해부학적 파라미터에 기초하여 초기 윤부 영역을 식별하는 것을 포함할 수 있다. 예를 들어, 눈꺼풀 영역 추정은 동공 및 윤부 영역과 병렬로 구현될 수 있다. 본 발명은 상이한 영역의 추정 순서에 제한되지 않는다. 상이한 눈 특징부 영역은 임의의 기하학적 형태 모델(가령, 타원 또는 원)을 기반으로 결정될 수 있다.
일부 실시예에서, 초기 윤부 영역을 식별하는 것은 동공 분할 및 동공의 삼각측량 및/또는 해부학에 기초하는 윤부 영역 추적 및/또는 눈꺼풀 영역 추정 및/또는 눈꺼풀 영역이 없는 윤부 영역 추정을 포함할 수 있다. 상기 방법은 동공 영역과 관련된 픽셀을 식별하기 위해 각각의 이미지를 분할하는 단계, 3차원 동공 파라미터를 결정하기 위해 적어도 2개의 이미지 간에 삼각측량을 수행하는 단계, 3차원 동공 파라미터에 기초하여 초기 눈 윤부 영역의 위치를 추정하는 단계, 및 각각의 이미지에서 윤부의 초기 영역 위치를 나타내는 데이터를 생성하는 단계를 포함할 수 있다. 눈 특징부를 나타내는 이미지 데이터를 식별하는 것은 또한 눈꺼풀의 식별 및 이 이미지 데이터의 필터링 제거를 포함할 수 있는데, 이는 눈꺼풀과 관련된 이미지 데이터가 윤부 링의 일부를 차단하기 때문이다. 전술한 바와 같이, 본 발명은 초기 윤부를 나타내는 이미지 데이터를 식별하는 특정 방식으로 제한되지 않는다. 신경망 기반 접근법은 초기 윤부를 나타내는 이미지 데이터를 식별하는 데 사용될 수 있다. 윤부 영역 추정 및 눈꺼풀 영역 추정은 또한 신경망 기반 접근 방식으로 수행될 수 있다. 신경망은 동공 분할에만 사용될 수도 있다.
일부 실시예에서, 눈 특징부를 나타내는 이미지 데이터를 식별하는 것은 기계 학습을 사용하여 구현될 수 있다. 3차원 눈 윤부 파라미터를 결정하는 것(즉, 예측하는 것)은 신경망에 기초한 데이터 인식 모델을 사용하는 것을 포함할 수 있다. 상기 방법은 전통적인 방식의 분할 결과에 기초하여 또는 훈련을 위해 기존 시스템을 이용함으로써 네트워크를 훈련시키는 단계를 포함할 수 있다. 일련의 이미지들에 기초하여 윤부의 표현을 생성하는 것은 딥 러닝 네트워크(DLN), 가령, 인공 신경망(ANN)을 사용함으로써 얻어질 수 있다. 예를 들어, 윤부의 표현을 생성하는 것은 윤부의 배치에 대한 확률을 계산하는 것 및/또는 윤부의 모델을 생성하는 것, 인식 분류기를 사람에 적응시키는 것을 포함할 수 있다.
상이한 각도에서 취해진 사용자의 눈의 2개의 스테레오 이미지를 보여주는 도 3을 참조한다.
본 발명의 일부 실시예에 따른 동공 영역 검출을 위한 도 3의 2개의 스테레오 이미지의 데이터 처리의 예를 도시하는 도 4a 내지 4d를 참조할 수 있다. 도 4a는 각각의 이미지가 동공 영역과 관련된 픽셀을 식별하기 위해 분할되는 분할 단계를 예시한다. 도 4b에 도시된 바와 같이 동공 영역과 관련이 없는 픽셀은 폐기되고 해상도가 향상된다. 도 4c는 각각의 이미지의 강도 맵에 기초한 동공 경계의 분할을 나타낸다. 도 4d는 각각의 이미지 상의 동공의 기하학적 표현(가령, 링 모양)의 투사를 기반으로 한 동공 경계 정제를 보여준다. 그런 다음 도 4d의 영역이 이미지와 동공 지름 사이에서 삼각측량되고, 3D 위치 및 방향이 결정된다.
본 발명의 일부 실시예에 따르는 도 3의 두 개의 스테레오 이미지의 눈 특징부의 데이터 식별의 예시를 보여주는 도 5가 참조된다. 마킹된 영역은 이미지 강도 구배의 국소적 방향이 실질적으로 균일한 영역을 나타냅니다.
본 발명의 일부 실시예에 따른 도 3의 두 개의 스테레오 이미지의 각각의 이미지에 대한 타원 함수의 투사에 기초한 윤부 인식 프로세스의 예를 보여주는 도 6을 참조한다.
본 발명의 눈 추적 장치의 주요 기능 부분을 예시하는 블록도를 예시하는 도 7을 참조한다. 이 특정하고 비제한적인 예에서, 눈 추적 장치(300)는 상이한 각도에서 각각의 사용자의 눈의 적어도 하나의 이미지를 캡처하도록 구성되는 캠 1 및 캠 2로 지칭되는 두 개의 이미저를 포함한다. 각각의 이미저는 사용자의 홍채에 초점을 맞춥니다. 눈 추적 장치(300)는 동공 검출기(302) 및 윤부 검출기(304)를 포함하는 처리 유닛(310)을 포함한다. 동공 검출기(302)는 상기 도 1과 관련하여 정의된 영역 검출기의 특정 예이다. 동공 검출기(302)는 복수의 모듈을 포함하고 각각의 사용자의 눈을 나타내는 적어도 2개의 이미지의 각각의 이미지를 수신하고 각각의 이미지에서 윤부 영역을 나타내는 이미지 데이터를 식별하고 윤부 영역을 나타내는 데이터를 생성하도록 구성되고 동작 가능하다. 이는 눈 특징부 검출, 가령, 동공 영역 검출을 이용함으로써 또는 신경망을 이용함으로써 구현될 수 있다. 각각의 이미지는 분할 모듈에 의해 분할되어 동공 영역과 관련된 픽셀을 식별할 수 있다. 동공 영역과 관련이 없는 픽셀은 각각의 이미지에서 폐기되고 해상도가 향상된다. 그런 다음, 각각의 타원 모듈 Ell은 각각의 이미지 상의 동공 영역에 해당하는 타원 곡선을 계산하여 일치하는 타원 곡선을 찾는다. 3차원 동공 영역을 나타내는 3차원 방정식이 각각의 이미지에 대해 생성된다. 그런 다음, 두 개의 스테레오 이미지를 캡처하는 두 개의 이미저 간 거리가 알려져 있을 때 공동의 방향을 제공하도록 두 개의 스테레오 이미지의 3차원 수식과 매칭되는 제1 삼각측량이 수행된다. 그 다음, 윤부의 평균 크기를 사용하고 동공과 윤부 모두 중심이 동일하고 동일 평면 상에 있음을 가정하여, 알고리즘이 3차원 윤부 파라미터 추정을 생성한다. 이 3차원 윤부 영역은 각각의 이미지 상으로 투사되며, 이는 도 3에 예시된 바와 같이 본 명세서에서 마스크 수식(Mask equation)으로 지칭된다. 예를 들어, 윤부 영역은 2개의 타원 곡선에 의해 경계가 지정될 수 있다. 마스크 수식은 각각의 이미지 상으로의 윤부 투사의 첫 번째 추정을 제공하는 공선성 맵 모듈에서 사용된다. 마스크 수식은 가중화 모듈(Weight module)에 의해서도 사용된다.
3차원 윤부 파라미터를 결정하기 위해, 본 명세서에서 공선성 맵이라고 지칭되는 공선성 모듈은 수학적 변환을 수행한다. 구체적인 비제한적 예에서, 이러한 수학적 변환은 동공 방향에 기초하여 윤부의 이미지 강도 구배 맵을 계산하는 것, 구배의 방향이 실질적으로 균일한 윤부 구조의 적어도 하나의 영역을 식별하는 것, 이러한 영역의 픽셀을 가중화함으로써 윤부 구조를 나타내는 데이터를 처리하는 것, 및 눈 윤부와 관련된 매칭 픽셀에 기초하는 3차원 윤부 파라미터를 결정하는 것을 포함할 수 있다. 대안으로, 이러한 수학적 변환은 이미지의 엔트로피를 사용하는 것을 포함할 수 있다. 구체적이고 비제한적인 예에서, 공선성 맵 모듈은 (동공 3D 파라미터 및 평균 윤부 크기로부터 계산된) 추정된 윤부 영역 영역에 의해 마스킹된 원본 이미지로부터 구배 공선성 맵을 생성한다. 윤부 검출기(304)는 3차원 윤부 영역 및 윤부 방향을 나타내는 3차원 수식을 수신한다. 그런 다음, 추정된 윤부 영역을 생성하기 위해 링-형태의 영역이 각각의 눈 이미지 상으로 투사된다. 이미지의 대부분의 픽셀, 가령, 동공, 대부분의 홍채, 대부분의 공막 및 대부분의 눈꺼풀이 마스크 수식을 이용해 폐기되어, 보통의 눈의 추정되는 해부학적 속성에 기초하여, 가능한 윤부 위치 주위의 링만 남겨진다.
공선성 맵 모듈을 기반으로 하는 가중화 모듈은 윤부 영역에 속하는 이 픽셀의 확률의 각각의 픽셀에 가중치를 할당한다. 그런 다음, 가중화 모듈이 가능한 윤부 영역을 정제하도록 사용되고, 윤부의 매칭되는 타원 추정을 찾는 Ell 모듈에 입력을 제공한다.
제2 삼각측량을 수행하기 위해, 몇 가지 기법, 가령, 원뿔 삼각측량 또는 2차 추정(선형 또는 비선형)이 구현될 수 있다. 처리 유닛(310)은 선형 또는 비선형 2차 추정을 사용하여 적어도 2개의 이미지의 윤부 구조의 기하학적 표현의 삼각 측량에 의해 사용자의 눈의 3차원 위치 및 시선 방향을 결정하도록 구성되고 작동 가능하다. 이 구체적이고 비제한적 예에서, 원뿔의 삼각측량이 다음과 같이 수행될 수 있다: 각각의 타원 모듈 EII이 특정 눈 특징부(가령, 동공의 중심에 대응하는 중심을 갖는 타원)에 대응하는 식별된 가상 영역들 간 해부학적 관계를 정의하는 윤부의 기하학적 표현의 수학적 함수/수식을 생성하고 윤부가 각각의 이미지에 대해 계산된다. 각각의 이미지의 타원 구조가 비교되고, 타원 구조에 의해 정의된 원뿔들 간 교차점은 공간에서 타원을 정의하며, 투사는 두 이미지의 타원 구조와 일치한다. 이는 여기에서 limbusR, Cx, Cy, Cz, 방위각(Azimuth) 및 피치(Pitch)로 지칭되는 3차원 윤부 파라미터를 정의한다. 이와 관련하여, 본 발명에서 3차원 윤부 파라미터는 픽셀 삼각측량이 아니라 타원의 삼각측량에 의해 획득된다는 점에 유의해야 한다. 앞서 기재된 바와 같이, (제2 이미지의 에피폴라 라인을 따르는 대부분의 픽셀이 너무 유사하기 때문에) 상이한 이미지의 픽셀 간 대응관계가 알려져 있지 않기 때문에 윤부의 픽셀 삼각측량은 사실상 불가능하다. 기존 컴퓨터 비전에서, 특수 폐쇄 픽셀 영역 특성이 사용되며, 가령, 상이한 이미지로부터 에피폴라 라인을 따르는 두 개의 픽셀 간 매칭을 특징화할 수 있는 상이한 컬러, 모서리, 선 교차 또는 텍스처 패치가 사용된다. 일반적으로 넓은 영역으로 형성된 윤부의 거친 경계부 때문에, 이러한 특징부는 윤부 영역에서 빠져 있음으로써, 전통적인 자연 특징부 추적 알고리즘의 사용이 가능하지 않다. 그런 다음 마스크가 사용되어 눈 특징부와 관련된 영역을 폐기할 수 있다. 그런 다음, 앞서 기재된 동일한 절차를 반복하는 반복적인 픽셀 필터링 프로세스가 사용되어, 윤부 영역을 더 정확하게 정의하고 윤부 영역 크기를 감소시킬 수 있다.
대안으로 또는 추가로, 선형 2차 추정, 가령, 칼만 필터 또는 비-선형 2차 추정, 가령, 확장 칼만 필터 및 무향 칼만 필터를 이용함으로써 반복적 픽셀 필터링 프로세스가 구현될 수 있다. 칼만 필터는 가중 평균을 사용하여 눈의 예측 상태와 새 측정값의 평균으로서 5자유도(가령, 타원 구조)의 윤부 수식의 추정치를 생성한다. 가중치는 눈의 상태의 예측의 추정된 불확실성의 척도인 공분산으로부터 계산된다. 가중 평균의 결과는 예측 상태와 측정 상태 사이에 있는 새 상태 추정치이며, 어느 한 상태가 단독으로 취해진 것보다 더 나은 추정 불확실성을 가진다. 이 프로세스는 모든 시간 단계에서 반복되며, 새 추정치 및 이의 공분산은 다음 반복에서 사용되는 예측을 알려준다.
프로세스의 마지막에서, 처리 유닛(310)은 3차원 윤부 파라미터에 기초하는 사용자 눈의 3차원 위치 및 시선 방향을 결정한다.
상이한 컬러가 궤적, 즉, 시간에 따른 컬러 변화의 상이한 부분들을 구별하는 본 발명의 교시를 이용함으로써 획득된 2차원 눈 추적 위치 궤적을 예시하는 도 8이 참조된다. 축 Xc 및 Yc는 밀리미터로 측정된다.
시간의 함수(밀리초로 측정)로서 방위각 및 피치의 관점에서 도 8의 눈 추적 배향 궤적의 2 각 자유도(즉, 도(degree) 단위로 측정된 각도 측정치)를 예시하는 도 9가 참조된다. 도 8, 9 및 10 모두 동일한 기록으로부터의 데이터를 보여준다.
도 8의 눈 추적 궤적의 5 자유도를 예시하는 도 10a-10b가 참조된다. 더 구체적으로, 도 10a는 시간의 함수로서 방위각 및 피치의 관점에서, 눈 추적 배향 궤적의 2 각 자유도(즉, 도 단위로 측정된 각도 측정치)를 보여준다. 도 10a는 상기 도 9의 그래프의 일부 단면의 확대도이다. 도 10b는 시간(밀리초 단위로 측정)의 함수로서 데카르트 좌표 공간에서의 눈 추적 위치 궤적의 3차원 자유도를 보여준다.
Claims (29)
- 사용자의 눈을 나타내는 적어도 두 개의 이미지를 수신하고, 각각의 이미지에서 눈 윤부와 관련된 영역을 식별하며, 윤부 구조의 기하학적 표현을 결정하고, 적어도 두 개의 이미지의 윤부 구조의 기하학적 표현의 삼각측량에 의해 사용자의 눈의 3차원 위치 및 시선 방향을 결정하도록 구성 및 동작하는 처리 유닛을 포함하는 눈 추적 장치.
- 제1항에 있어서, 윤부 구조의 상기 기하학적 표현은 링-형태 또는 타원-형태 구조를 포함하는, 눈 추적 장치.
- 제1항 또는 제2항에 있어서, 적어도 두 개의 이미저를 더 포함하며, 각각의 이미저는 상이한 각도에서 사용자의 눈의 적어도 하나의 이미지를 캡처하도록 구성되는, 눈 추적 장치.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 처리 유닛은 윤부 영역을 나타내는 데이터를 수신하고, 디지털 이미지 전처리에 의해 윤부 구조의 기하학적 표현을 결정하도록 구성 및 동작 가능한 윤부 검출기를 포함하는, 눈 추적 장치.
- 제4항에 있어서, 각각의 이미지에 대해, 상기 윤부 검출기는 윤부 영역의 이미지 강도 구배 맵을 계산하는 것, 구배의 국소 방향이 실질적으로 균일한 윤부 구조의 적어도 하나의 영역을 식별하는 것, 이러한 영역의 픽셀을 가중화함으로써 윤부 구조를 나타내는 데이터를 처리하는 것, 및 눈 윤부와 관련된 매칭되는 픽셀에 기초하여 윤부 구조의 기하학적 표현을 결정하는 것을 포함하는 디지털 이미지 전처리를 위해 구성 및 동작 가능한, 눈 추적 장치.
- 제4항 또는 제5항에 있어서, 각각의 이미지에 대한 윤부 구조의 기하학적 표현을 나타내는 데이터를 수신하고, 적어도 두 개의 이미지의 기하학적 표현의 삼각측량을 수행하여 3차원 윤부 파라미터를 결정하도록 구성 및 동작 가능한 윤부 삼각측량기를 더 포함하는, 눈 추적 장치.
- 제6항에 있어서, 상기 처리 유닛은 상기 3차원 윤부 파라미터에 기초하여 사용자의 눈의 3차원 위치 및 시선 방향을 결정하도록 구성 및 동작 가능한, 눈 추적 장치.
- 제6항 또는 제7항에 있어서, 상기 3차원 윤부 파라미터는 윤부의 중심의 3개의 좌표, 윤부 평면에 대한 법선의 방향, 윤부의 평면의 위치, 및 윤부의 크기 중 적어도 하나를 포함하는, 눈 추적 장치.
- 제6항 내지 제8항 중 어느 한 항에 있어서, 상기 윤부 삼각측량기는 윤부의 반지름 및 윤부의 비틀림 회전 중 적어도 하나를 결정하도록 구성 및 동작 가능한, 눈 추적 장치.
- 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 처리 유닛은 사용자의 눈을 나타내는 적어도 두 개의 이미지의 각각의 이미지를 수신하고, 반복적인 픽셀 필터링 프로세스를 이용하고 초기 윤부 영역을 나타내는 데이터를 생성함으로써 각각의 이미지에서 초기 윤부 영역을 나타내는 이미지 데이터를 식별하도록 구성 및 동작 가능한 영역 검출기를 포함하는, 눈 추적 장치.
- 제10항에 있어서, 상기 영역 검출기는 동공, 눈꺼풀, 공막, 홍채 및 속눈썹 같은 눈 특징부를 나타내는 이미지 데이터의 식별 및 해부학적 파라미터에 기초한 초기 윤부 영역의 식별 중 적어도 하나에 의해, 초기 윤부 영역을 나타내는 이미지 데이터를 식별하도록 구성되는, 눈 추적 장치.
- 제11항에 있어서, 상기 영역 검출기는 머신 러닝을 이용함으로써 눈 특징부를 나타내는 이미지 데이터를 식별하도록 구성되는, 눈 추적 장치.
- 제11항 또는 제12항에 있어서, 상기 영역 검출기는 동공 영역과 관련된 픽셀을 식별하도록 각각의 이미지를 분할함으로써 눈 특징부를 나타내는 이미지 데이터를 식별하도록 구성 및 동작 가능한, 눈 추적 장치.
- 제13항에 있어서, 상기 윤부 삼각측량기는 적어도 두 개의 동공의 기하학적 표현 간에 삼각측량을 수행하여 3차원 동공 파라미터를 결정하며 - 상기 3차원 동공 파라미터는 동공 평면에 대한 법선 방향, 동공 중심의 좌표 및 동공 지름 중 적어도 하나를 포함함 - , 3차원 동공 파라미터에 기초하여 초기 눈 윤부 영역의 위치를 추정하고, 각각의 이미지에서 윤부의 초기 영역 위치를 나타내는 데이터를 생성하도록 구성되는, 눈 추적 장치.
- 제6항 내지 제14항 중 어느 한 항에 있어서, 상기 윤부 삼각측량기는 삼각측량된 3차원 윤부를 처리하고, 삼각측량된 윤부 영역을 이미지 평면으로 다시 재-투사(re-project)하며, 각각의 이미지에서 윤부 영역을 정제하도록 구성되는, 눈 추적 장치.
- 눈 추적 방법으로서, 상기 방법은
사용자의 눈의 적어도 두 개의 이미지를 나타내는 이미지 데이터를 수신하는 단계,
각각의 이미지에서 눈 윤부와 관련된 영역을 식별하는 단계,
윤부 구조의 기하학적 표현을 결정하는 단계,
적어도 두 개의 이미지의 윤부 구조의 기하학적 표현의 삼각측량을 수행하여, 사용자의 눈의 3차원 위치 및 시선 방향을 결정하는 단계
를 포함하는, 눈 추적 방법. - 제16항에 있어서, 상이한 각도에서 사용자의 눈의 적어도 두 개의 이미지를 캡처하는 단계를 포함하는, 눈 추적 방법.
- 제16항 또는 제17항에 있어서, 상기 윤부 구조의 기하학적 표현을 결정하는 단계는 디지털 이미지 전처리 단계를 포함하는, 눈 추적 방법.
- 제18항에 있어서, 상기 디지털 이미지 전처리 단계는 동공 방향에 기초하여 윤부의 이미지 강도 구배 맵을 계산하는 단계, 각각의 이미지에서, 구배의 국소 방향이 실질적으로 균일한 윤부 구조의 적어도 하나의 영역을 식별하는 단계, 및 이러한 영역의 픽셀을 가중화하고 눈 윤부와 관련된 매칭된 픽셀에 기초하여 윤부 구조의 기하학적 표현을 생성함으로써 윤부 구조를 나타내는 데이터를 처리하는 단계를 포함하는, 눈 추적 방법.
- 제19항에 있어서, 윤부의 중심의 3개의 좌표 및 윤부의 방향 중 적어도 하나를 포함하는 3차원 윤부 파라미터를 결정하는 단계, 및 3차원 윤부 파라미터에 기초하여, 사용자의 눈의 3차원 위치 및 시선 방향을 결정하는 단계를 포함하는, 눈 추적 방법.
- 제20항에 있어서, 사용자의 눈의 3차원 위치 및 시선 방향의 결정은 3차원 윤부 파라미터의 처리를 포함하는, 눈 추적 방법.
- 제16항 내지 제21항 중 어느 한 항에 있어서, 윤부의 반지름 및 윤부의 비틀림 회전 중 적어도 하나를 결정하는 단계를 더 포함하는, 눈 추적 방법.
- 제16항 내지 제22항 중 어느 한 항에 있어서, 윤부 구조의 기하학적 표현은 링 형태 또는 타원 형태 구조를 포함하는, 눈 추적 방법.
- 제16항 내지 제23항 중 어느 한 항에 있어서, 반복적 픽셀 필터링 프로세스를 이용하고 초기 윤부 영역을 나타내는 데이터를 생성함으로써, 각각의 이미지에서 초기 윤부 영역을 나타내는 이미지 데이터를 식별하는 단계를 더 포함하는, 눈 추적 방법.
- 제24항에 있어서, 각각의 이미지에서, 초기 윤부 영역을 나타내는 이미지 데이터를 식별하는 단계는 동공, 눈꺼풀, 공막, 홍채 및 속눈썹 같은 눈 특징부를 나타내는 이미지 데이터를 식별하는 단계 및 해부학적 파라미터에 기초하여 초기 윤부 영역을 식별하는 단계 중 적어도 하나를 포함하는, 눈 추적 방법.
- 제25항에 있어서, 눈 특징부를 나타내는 이미지 데이터를 식별하는 단계는 머신 러닝을 이용함으로써 수행되는, 눈 추적 방법.
- 제25항 또는 제26항에 있어서, 눈 특징부를 나타내는 이미지 데이터의 식별은 동공 영역과 관련된 픽셀을 식별하기 위한 각각의 이미지를 분할하는 단계를 포함하는, 눈 추적 방법.
- 제27항에 있어서, 적어도 두 개의 동공의 기하학적 표현 간 삼각측량을 수행하여, 3차원 동공 파라미터를 결정하는 단계 - 상기 3차원 동공 파라미터는 각각의 이미지에서의 동공 평면에 대한 법선의 방향, 동공의 중심의 좌표 및 동종 지름 중 적어도 하나를 포함함 - , 3차원 동공 파라미터에 기초하여 초기 눈 윤부 영역의 위치를 추정하는 단계, 및 각각의 이미지에서 윤부의 초기 영역 위치를 나타내는 데이터를 생성하는 단계를 더 포함하는, 눈 추적 방법.
- 제16항 내지 제28항 중 어느 한 항에 있어서, 삼각측량된 3차원 윤부를 처리하는 단계, 삼각측량된 윤부 영역을 이미지 평면으로 다시 재-투사하는 단계, 및 각각의 이미지에서 윤부 영역을 정제하는 단계를 더 포함하는, 눈 추적 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IL264530 | 2019-01-29 | ||
| IL264530A IL264530B1 (en) | 2019-01-29 | 2019-01-29 | Device for tracking eye movement and method therefor |
| PCT/IL2020/050100 WO2020157746A1 (en) | 2019-01-29 | 2020-01-27 | Eye tracking device and a method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210122271A true KR20210122271A (ko) | 2021-10-08 |
Family
ID=65656139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217027139A KR20210122271A (ko) | 2019-01-29 | 2020-01-27 | 눈 추적 장치 및 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20220100268A1 (ko) |
| EP (1) | EP3918571A1 (ko) |
| JP (1) | JP2022523306A (ko) |
| KR (1) | KR20210122271A (ko) |
| CN (1) | CN113348487A (ko) |
| IL (1) | IL264530B1 (ko) |
| TW (1) | TW202044828A (ko) |
| WO (1) | WO2020157746A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023239072A1 (ko) * | 2022-06-09 | 2023-12-14 | 삼성전자 주식회사 | 부호화 이미지로부터 특징점을 획득하는 전자 장치 및 그 동작 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3136459A1 (en) * | 2020-11-02 | 2022-05-02 | Princeton Identity | COMPACT SYSTEM AND IRIS RECOGNITION METHOD |
| CN113448435B (zh) * | 2021-06-11 | 2023-06-13 | 北京数易科技有限公司 | 一种基于卡尔曼滤波的眼控光标稳定方法 |
| CN115147462B (zh) * | 2022-07-08 | 2023-07-21 | 浙江大学 | 一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法 |
| CN114937307B (zh) * | 2022-07-19 | 2023-04-18 | 北京鹰瞳科技发展股份有限公司 | 用于近视预测的方法及其相关产品 |
| CN115840502B (zh) * | 2022-11-23 | 2023-07-21 | 深圳市华弘智谷科技有限公司 | 三维视线追踪方法、装置、设备及存储介质 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL108672A (en) | 1993-02-19 | 1997-07-13 | Phoenix Laser Systems | System for detecting, measuring and compensating for lateral movements of a target |
| US6604825B2 (en) | 2000-04-03 | 2003-08-12 | Ming Lai | Hybrid tracking system |
| US6926429B2 (en) * | 2002-01-30 | 2005-08-09 | Delphi Technologies, Inc. | Eye tracking/HUD system |
| AU2004311482B2 (en) * | 2004-01-09 | 2011-09-29 | Cv Laser Pty Ltd. | Limbal-based eye tracking |
| US7773111B2 (en) * | 2005-03-16 | 2010-08-10 | Lc Technologies, Inc. | System and method for perceived image processing in a gaze tracking system |
| DE102007055922A1 (de) * | 2007-12-21 | 2009-06-25 | Carl Zeiss Surgical Gmbh | Verfahren zur Ermittlung von Eigenschaften und/oder der Position charakteristischer Augenbestandteile |
| JP5448758B2 (ja) * | 2009-11-30 | 2014-03-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム、プログラム及びデータ構造 |
| DE102010024407B4 (de) | 2010-06-19 | 2017-03-30 | Chronos Vision Gmbh | Verfahren und Vorrichtung zur Bestimmung der Augenposition |
| DE102011082901A1 (de) * | 2011-09-16 | 2013-03-21 | Carl Zeiss Meditec Ag | Bestimmen der azimutalen Orientierung eines Patientenauges |
| US8824779B1 (en) * | 2011-12-20 | 2014-09-02 | Christopher Charles Smyth | Apparatus and method for determining eye gaze from stereo-optic views |
| US9788714B2 (en) * | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
| US9370302B2 (en) * | 2014-07-08 | 2016-06-21 | Wesley W. O. Krueger | System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment |
| WO2014146199A1 (en) * | 2013-03-18 | 2014-09-25 | Mirametrix Inc. | System and method for on-axis eye gaze tracking |
| US9545200B2 (en) * | 2013-11-08 | 2017-01-17 | Precision Ocular Metrology, L.L.C. | Systems and methods for mapping the ocular surface |
| US9775512B1 (en) * | 2014-03-19 | 2017-10-03 | Christopher W. Tyler | Binocular eye tracking from video frame sequences |
| JP6435740B2 (ja) * | 2014-09-22 | 2018-12-12 | 日本電気株式会社 | データ処理システム、データ処理方法およびデータ処理プログラム |
| US9704038B2 (en) * | 2015-01-07 | 2017-07-11 | Microsoft Technology Licensing, Llc | Eye tracking |
| WO2017066296A1 (en) * | 2015-10-16 | 2017-04-20 | Magic Leap, Inc. | Eye pose identification using eye features |
| US10043075B2 (en) * | 2015-11-19 | 2018-08-07 | Microsoft Technology Licensing, Llc | Eye feature identification |
| JP6866467B2 (ja) * | 2017-02-20 | 2021-04-28 | シャープＮｅｃディスプレイソリューションズ株式会社 | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 |
| WO2019005644A1 (en) * | 2017-06-30 | 2019-01-03 | Xiaochun Nie | EYE TRACKING SYSTEM WITH DETECTION AND CORRECTION OF SLIDING |
| WO2019012817A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
| CN111201502A (zh) * | 2017-10-10 | 2020-05-26 | 聂小春 | 用于校准眼睛跟踪系统的系统和方法 |
| US11513593B2 (en) * | 2018-11-29 | 2022-11-29 | Blink Technologies Inc. | Systems and methods for anatomy-constrained gaze estimation |
| US11803237B2 (en) * | 2020-11-14 | 2023-10-31 | Facense Ltd. | Controlling an eye tracking camera according to eye movement velocity |
-
2019
- 2019-01-29 IL IL264530A patent/IL264530B1/en unknown
-
2020
- 2020-01-22 TW TW109102452A patent/TW202044828A/zh unknown
- 2020-01-27 US US17/426,578 patent/US20220100268A1/en active Pending
- 2020-01-27 CN CN202080011133.2A patent/CN113348487A/zh active Pending
- 2020-01-27 WO PCT/IL2020/050100 patent/WO2020157746A1/en unknown
- 2020-01-27 JP JP2021543374A patent/JP2022523306A/ja active Pending
- 2020-01-27 KR KR1020217027139A patent/KR20210122271A/ko active Search and Examination
- 2020-01-27 EP EP20705804.1A patent/EP3918571A1/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023239072A1 (ko) * | 2022-06-09 | 2023-12-14 | 삼성전자 주식회사 | 부호화 이미지로부터 특징점을 획득하는 전자 장치 및 그 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202044828A (zh) | 2020-12-01 |
| IL264530A (en) | 2020-07-30 |
| US20220100268A1 (en) | 2022-03-31 |
| WO2020157746A1 (en) | 2020-08-06 |
| IL264530B1 (en) | 2024-03-01 |
| EP3918571A1 (en) | 2021-12-08 |
| JP2022523306A (ja) | 2022-04-22 |
| CN113348487A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220100268A1 (en) | Eye tracking device and a method thereof | |
| US8457352B2 (en) | Methods and apparatus for estimating point-of-gaze in three dimensions | |
| JP6586523B2 (ja) | 構造化光を用いた視線追跡 | |
| US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
| JP2019519859A (ja) | 視線追跡を実行するシステム及び方法 | |
| CN107357429B (zh) | 用于确定视线的方法、设备和计算机可读存储介质 | |
| KR20140125713A (ko) | 카메라 어레이에 기반하여 시선을 추적하는 방법 및 장치 | |
| CN104809424B (zh) | 一种基于虹膜特征实现视线追踪的方法 | |
| US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
| US20140313308A1 (en) | Apparatus and method for tracking gaze based on camera array | |
| US20220301217A1 (en) | Eye tracking latency enhancements | |
| US20230210365A1 (en) | Eye tracking using aspheric cornea model | |
| CN113692527A (zh) | 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置 | |
| US11054659B2 (en) | Head mounted display apparatus and distance measurement device thereof | |
| Park | A real-time gaze position estimation method based on a 3-D eye model | |
| JP3711053B2 (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
| CN111539984A (zh) | 基于瞳孔特性的连续校准 | |
| Chaudhary et al. | $ pi_t $-Enhancing the Precision of Eye Tracking using Iris Feature Motion Vectors | |
| García-Dopico et al. | Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups. | |
| WO2022024104A1 (en) | Eye tracking systems and methods | |
| Meriläinen | Adapting a gaze tracking system to mobile environments | |
| Noureddin | A non-contact video-oculograph for tracking gaze in a human computer interface | |
| CN112528713A (zh) | 一种注视点估计方法、系统、处理器及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |