KR102455734B1 - 안경류를 통한 시선 추적 시스템 및 그 방법 - Google Patents

안경류를 통한 시선 추적 시스템 및 그 방법 Download PDF

Info

Publication number
KR102455734B1
KR102455734B1 KR1020177012507A KR20177012507A KR102455734B1 KR 102455734 B1 KR102455734 B1 KR 102455734B1 KR 1020177012507 A KR1020177012507 A KR 1020177012507A KR 20177012507 A KR20177012507 A KR 20177012507A KR 102455734 B1 KR102455734 B1 KR 102455734B1
Authority
KR
South Korea
Prior art keywords
eye
illumination
reflection
image
emitter
Prior art date
Application number
KR1020177012507A
Other languages
English (en)
Other versions
KR20170070110A (ko
Inventor
휘민 구오
이브라힘 에덴
바이브하브 투크랄
데이비드 자크리스 니스터
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170070110A publication Critical patent/KR20170070110A/ko
Application granted granted Critical
Publication of KR102455734B1 publication Critical patent/KR102455734B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Eyeglasses (AREA)
  • Position Input By Displaying (AREA)

Abstract

비전 시스템에 동작적으로 결합된 컴퓨터 시스템에서 시선 방향을 표시하는 입력을 공급하는 방법(74)이 개시된다. 이 방법에서, 제1 조명 레벨에서의 눈의 제1 이미지가 비전 시스템(78)의 카메라에 의해 획득된다. 제1 이미지는 카메라로부터 획득되고, 제2의 다른 조명 레벨에 대응하는 눈의 제2 이미지가 또한 획득된다(80). 제1 이미지의 대응하는 픽셀의 휘도와 제2 이미지의 대응하는 픽셀의 휘도를 비교하여 안경류에 의한 조명의 반사로부터 눈에 의한 조명의 반사를 구별한다(84). 그 다음에 입력이 눈에 의한 조명의 반사에 기초하여 공급된다(90).

Description

안경류를 통한 시선 추적{GAZE TRACKING THROUGH EYEWEAR}
최근의 하드웨어 및 소프트웨어 진보는 컴퓨터 시스템에 대한 새로운 모드의 자연 사용자 입력(NUI)을 가능하게 하고 있다. 제스처 인식, 음성 인식 및 시선 추적은 예시적인 NUI 모드이고, 이것은 사용자가 다양한 목적으로 다양한 환경에서 컴퓨터 시스템과 직관적으로 상호작용할 수 있게 한다.
눈 추적(eye tracking) 시스템에서 안경류로부터의 반사와 눈으로부터의 반사를 구별하는 것과 관련된 실시형태가 개시된다. 개시되는 일 실시형태는 비전 시스템에 동작적으로 결합된 컴퓨터 시스템에서 시선 방향을 표시하는 입력을 공급하는 방법을 제공한다. 이 실시형태에 있어서, 제1 조명 레벨에서 눈의 제1 이미지가 비전 시스템의 카메라에 의해 획득된다. 제1 이미지는 카메라로부터 획득되고, 제2의 다른 조명 레벨에 대응하는 눈의 제2 이미지가 또한 획득된다. 제1 이미지의 대응하는 픽셀의 휘도와 제2 이미지의 대응하는 픽셀의 휘도를 비교하여 안경류에 의한 조명의 반사로부터 눈에 의한 조명의 반사를 구별한다. 그 다음에 입력이 눈에 의한 조명의 반사에 기초하여 공급된다.
이 요약은 뒤의 상세한 설명 부분에서 추가로 설명되는 개념들의 선택을 단순화한 형태로 소개하기 위해 제공된다. 이 요약은 청구된 주제의 핵심적 특징 또는 본질적 특징을 식별하기 위한 것으로 의도되지 않고, 또한 청구된 주제의 범위를 제한하기 위해 사용되는 것으로 의도되지 않는다. 또한, 청구된 주제는 본 명세서의 임의 부분에서 언급하는 임의의 또는 모든 단점을 해결하는 구현예로 제한되지 않는다.
도 1은 사용자의 시선이 추적되어 컴퓨터 시스템의 입력으로 사용되는 예시적인 환경의 양태를 보인 도이다.
도 2는 비전 시스템에 동작적으로 결합된 NUI 시스템을 구비한 예시적인 컴퓨터 시스템의 양태를 보인 도이다.
도 3은 시선 검출용으로 구성된 예시적인 비전 시스템의 양태를 보인 도이다.
도 4a는 하이 레벨의 조명으로 획득된 사용자 눈의 예시적인 이미지를 보인 도이다.
도 4b는 로 레벨의 조명으로 획득된 사용자 눈의 예시적인 이미지를 보인 도이다.
도 4c는 도 4a의 이미지로부터 사용자의 안경류로부터의 반사를 배제한 예시적인 결과를 보인 도이다.
도 5는 사용자 시선이 추적되어 컴퓨터 시스템의 입력으로 사용되는 추가의 예시적인 환경의 양태를 보인 도이다.
도 6은 시선 검출용으로 구성된 다른 예시적인 비전 시스템의 양태를 보인 도이다.
도 7은 컴퓨터 시스템에서 시선 방향에 응답하여 입력을 공급하는 예시적인 방법을 보인 도이다.
시선 추적은 사용자 시선의 방향에 기초한 NUI의 일 형태이다. 이 접근법에서, 사용자 눈의 이미지가 카메라에 의해 획득된다. 동공 또는 가장자리(limbus)와 같은 눈의 특징들이 획득된 이미지에 위치되고, 시선 방향이 그러한 특징들의 위치에 기초하여 계산된다. 이 방식으로 계산된 시선 방향은 그래픽 사용자 인터페이스를 내비게이트하고, 프로그램을 발진하고, 선택을 행하고, 게임에서 캐릭터를 이동시키는 등을 위해 사용될 수 있다. 비록 원하는 눈의 특징들이 맨눈의 이미지에서 식별될 수 있지만, 안경류로부터의 표유 반사(stray reflection)가 간섭의 원인이 될 수 있다. 이러한 간섭은 안경류를 착용한 사용자의 시선 추적 입력의 정확도를 감소시킬 수 있다. 여기에서 사용하는 용어 '안경류'는 눈과 눈의 시야의 적어도 일부 사이에 시스루 구조를 배치하는 임의 유형의 착용 기기를 포함한다. 그 예는, 비제한적으로, 안경, 선글라스, 바이저, 마스크, 고글, 콘택트 렌즈 시스템 및 다른 온아이(on-eye) 디바이스, 착용자 시야에서 가상 이미지를 투영하는 근안 디스플레이 시스템 등을 포함한다.
여기에서는 맨눈으로부터의 광의 반사와 안경류로부터의 광의 반사를 구별하는데 도움이 되고 그에 따라서 눈 추적을 쉽게 할 수 있는 예들이 개시된다. 도 1은 사용자의 시선이 추적되어 컴퓨터 시스템의 입력으로서 사용되는 예시적인 환경(10)의 양태를 보인 것이다. 예시된 환경은 개인 주택의 거실(living room) 또는 패밀리 룸(family room)이다. 그러나 여기에서 개시되는 시스템 및 방법은 작업장, 유통 및 서비스 환경과 같은 다른 환경에 동일하게 적용될 수 있다. 환경(10)은 사용자(14)의 즐김을 위한 가정용 오락 시스템(home-entertainment system)(12)을 특색 짓는다. 가정용 오락 시스템은 컴퓨터 시스템(20)에 동작적으로 결합된 대형 디스플레이(16) 및 라우드스피커(18)를 포함한다. 컴퓨터 시스템(20)의 특성은 각종 구현예에서 다를 수 있다. 일부 예에서, 컴퓨터 시스템은 음악 및/또는 비디오를 플레이하도록 구성된 비디오 게임 시스템 또는 멀티미디어 시스템일 수 있다. 다른 예에서, 컴퓨터 시스템은 인터넷 접속 및 생산성 응용을 위한 범용 컴퓨터 시스템일 수 있다. 컴퓨터 시스템(20)은 본 발명의 범위로부터 벗어나지 않고 상기 목적들 중 일부 또는 전부를 위해 및/또는 임의의 다른 적당한 목적을 위해 구성될 수 있다.
컴퓨터 시스템(20)은 하나 이상의 사용자(14)로부터의 각종 형태의 입력을 수용하도록 구성될 수 있다. 그래서 키보드, 마우스, 터치스크린, 게임패드 또는 조이스틱 제어기와 같은 사용자 입력 장치들이 컴퓨터 시스템(20)에 동작적으로 결합될 수 있다. 컴퓨터 시스템(20)은 또한 하나 이상의 사용자로부터 자연 사용자 입력(natural user input, NUI)을 수용하도록 구성될 수 있다. NUI를 중재하기 위해, 예시된 컴퓨터 시스템은 NUI 시스템(22)을 포함한다. NUI 시스템은 NUI의 각종 양태를 포착하고 대응하는 동작 가능한 입력을 컴퓨터 시스템의 다른 구성에 제공하도록 구성된다. 이를 위해, NUI 시스템은 비전 시스템(24) 및 선택적으로 청취 시스템(26)을 포함한 컴퓨터 시스템의 각종 감지 컴포넌트로부터 로레벨 입력을 수신한다.
청취 시스템(26)은, 만일 있으면, 사용자(14)로부터의 발성 및 다른 가청 입력을 포착하기 위한 하나 이상의 마이크로폰을 포함할 수 있다. 비전 시스템(24)은 시선 벡터(V) 및 초점(P)뿐만 아니라 손 및 신체 제스처, 얼굴 특색 등과 같은 각종 형태의 사용자 입력을 검출하도록 구성될 수 있다. 예시된 예에서, 비전 시스템과 청취 시스템은 공통의 엔클로저를 공유하지만, 다른 예에서 이들은 분리될 수 있다. 또 다른 예에서, 비전 시스템, 청취 시스템 및 NUI 시스템은 컴퓨터 시스템(20)에 통합될 수 있다. 컴퓨터 시스템 및 그 주변 컴포넌트들은 도면에 도시된 것처럼 유선 통신 링크를 통해 또는 임의의 다른 적당한 방법으로 결합될 수 있다.
도 2는 컴퓨터 시스템(20), NUI 시스템(22), 비전 시스템(24) 및 청취 시스템(26)의 일 예의 양태를 보인 하이레벨 개략도이다. 예시된 컴퓨터 시스템은 소프트웨어 및/또는 펌웨어로 구현될 수 있는 운영체제(OS)(28)를 포함한다. 컴퓨터 시스템은 또한 예를 들면 비디오 게임 애플리케이션, 디지털 미디어 플레이어, 인터넷 브라우저, 포토 에디터, 워드 프로세서, 및/또는 스프레드시트 애플리케이션과 같은 하나 이상의 애플리케이션(30)을 포함한다. 컴퓨터 시스템(20), NUI 시스템(22), 비전 시스템(24) 및 청취 시스템(26)은 뒤에서 설명하는 바와 같이 그들 각각의 기능을 지원하기 위해 필요한 적당한 데이터 스토리지, 명령어 스토리지 및 논리 하드웨어를 포함할 수 있다.
도 2의 예에서, 비전 시스템(24)은 하나 이상의 플랫 이미지(flat-image) 카메라(32)를 포함하고, 하나 이상의 뎁스 카메라(34)를 또한 포함할 수 있다. 각각의 뎁스 카메라는, 만일 있으면, 사용자(14)와 환경(10)의 다른 양태들의 뎁스맵의 시간 분해 시퀀스을 획득하도록 구성될 수 있다. 비전 시스템은 또한 플랫 이미지 및/또는 뎁스 카메라에 의한 이미징을 지원하도록 사용자(14) 및 환경(10)을 조명하는 온축(on-axis) 램프(36A) 및 오프축(off-axis) 램프(36B)를 포함한다. 비전 시스템의 각 램프와 카메라는 마이크로컨트롤러(38)에 동작적으로 결합된다. 마이크로컨트롤러는 카메라에 의한 이미지 획득을 제어 및 트리거하고, 비전 시스템의 각 램프의 조명 출력을 제어하도록 구성될 수 있다.
플랫 이미지 카메라(32)는 소정 범위의 화각(field angle)에 걸친 광을 검출하고 그 화각을 직사각 픽셀 어레이에 맵핑한다. 일 예로서, 플랫 이미지 카메라는 어레이의 픽셀들의 부분집합과 관련된 복수의 파장 채널 내의 광, 예를 들면, 적, 녹, 청 등의 광을 검출할 수 있다. 대안적으로, 단색 플랫 이미지 카메라는 가시광, 근적외선(NIR) 광, 적외선(IR) 광 및/또는 자외선(UV) 광을 그레이스케일로 이미징하기 위해 사용될 수 있다. 플랫 이미지 카메라에서 노출된 모든 픽셀들의 색 또는 휘도 값은 집합적으로 디지털 이미지를 구성한다. 일부 예에서, 플랫 이미지 카메라의 픽셀들은 뎁스 카메라의 픽셀들에 등록될 수 있다.
전술한 바와 같이, NUI 시스템(22)은 컴퓨터 시스템(20)에서 동작 가능한 하이레벨 입력을 제공하도록 비전 시스템(24) 및 선택적인 청취 시스템(26)으로부터의 로레벨 입력(즉, 신호)을 처리한다. 예를 들면, NUI 시스템은 청취 시스템(26)으로부터의 오디오 신호에 대하여 사운드 또는 음성(voice) 인식을 수행할 수 있다. 음성 인식은 컴퓨터 시스템의 OS(28)에서 수신되는 대응하는 텍스트 기반 또는 다른 하이레벨 명령을 발생할 수 있다. 도 2에 도시된 예에서, 센서 데이터로부터 특정 형태의 NUI를 형식화하는 작업은 특수한 NUI 엔진, 즉 스피치 인식 엔진(40), 제스처 인식 엔진(42), 안면 인식 엔진(44) 및 시선 검출 엔진(46)에 지정된다. 이러한 엔진들은 컴퓨터 시스템의 OS 및/또는 애플리케이션에 그 관련 형태의 입력을 공급하도록 각각 구성될 수 있다.
이제, 도 3을 참조하면, 비전 시스템(24)의 각 램프(36)는 발광 다이오드(LED), 다이오드 레이저, 방전 램프 및/또는 다른 적당한 광원을 포함할 수 있다. 환경(10)에서, 램프(36A)는 눈(48)의 온축 조명을 제공하고 램프(36B)는 오프축 조명을 제공한다. 용어 '온축'과 '오프축'은 플랫 이미지 카메라(32)의 광축(A)과 관련한 조명의 방향을 말한다.
온축 조명과 오프축 조명은 환경(10)에서의 시선 추적과 관련하여 다른 목적으로 소용될 수 있다. 도 3에 도시된 것처럼, 오프축 조명은 사용자 눈의 각막(52)으로부터 반사하는 정반사 반짝임(specular glint)을 생성할 수 있다. 오프축 조명은 '암동공'(dark pupil) 효과로 눈을 조명하기 위해 또한 사용될 수 있고, 이때 동공(54)은 주변 홍채(56)보다 더 어둡게 보인다. 이와 대조적으로, IR 또는 NIR 광원으로부터의 온축 조명은 '명동공'(bright pupil) 효과를 생성하기 위해 사용될 수 있고, 이때 동공은 주변 홍채보다 더 밝게 보인다. 더 구체적으로, 온축 램프(36A)로부터의 IR 또는 NIR 조명은, 동공을 통하여 역으로 조명을 반사하여 플랫 이미지 카메라(32)에 의해 이미징될 때 동공의 밝은 이미지(60)를 형성하는, 눈의 망막(58)의 역반사 조직을 조명할 수 있다. 일부 예에서, 플랫 이미지 카메라는 강한 주변광이 있을 때 명동공 콘트라스트를 개선하기 위해 온축 램프(36A)의 IR 또는 NIR 대역 외측으로의 투과를 차단하는 파장 필터를 포함할 수 있다. 비록 도 3은 온축 램프와 오프축 램프를 점광원으로서 개략적으로 보이고 있지만, 이 램프들은 임의의 적당한 형태를 취할 수 있다는 점을 이해할 것이다. 예를 들면, 일부 예에서, 온축 램프(36A)는 플랫 이미지 카메라(32)의 조리개 주위에서 'LED 링'의 형태로 구성될 수 있다. 다시 말해서 온축 램프는 플랫 이미지 카메라의 광축을 둘러싸는 복수의 LED를 포함할 수 있다.
시선 검출 엔진(46)은 그러한 특징들을 동공 중심, 동공 윤곽 및/또는 각막 반짝임(glint)으로서 위치시키기 위해 플랫 이미지 카메라로부터의 이미지 데이터를 처리하도록 구성될 수 있다. 이미지 데이터에서 그러한 특징들의 위치는 눈의 시선 벡터(V)에 특징 위치(feature position)를 관련시키는 모델, 예를 들면 다항식 모델의 입력 파라미터로서 사용될 수 있다. 시선이 좌측 눈과 우측 눈 둘 다에 대하여 동시에 검출되는 예에서, 우측 시선 벡터와 좌측 시선 벡터의 교차점은 3차원에서 사용자의 초점(P)으로서 규정할 수 있다.
잠시 도 1로 되돌아가서, 도면은 사용자(14)가 시선 방향에 기초하여 디스플레이(16)에 제시된 UI를 내비게이트하는 시나리오를 보이고 있다. 이 시나리오에서, 시선 검출 엔진(46)은 사용자가 응시하고 있는 점(P)에 대응하는 계산된 디스플레이 화면 좌표(X, Y)를 갖는다. 사용자의 시선을 디스플레이 화면상의 다른 점으로 이동시킴으로써, 사용자는 컴퓨터 시스템(20)에서 실행하는 애플리케이션 또는 OS의 각종 UI 요소(62)들 사이에서 내비게이트할 수 있다.
위에서 소개한 시선 검출 접근법은 사용자(14)가 선글라스, 보정 렌즈, 이중 초점 선글라스, 바이저, 콘택트 렌즈, 근안 디스플레이 시스템 및/또는 다른 안경류와 같은 안경류를 착용하고 있는 경우의 정확도를 개선하기 위해 더욱 정제될 수 있다. 눈 가까이에 위치된 때, 이러한 안경류는 비전 시스템(24)의 램프(36A, 36B)로부터의 조명을 반사할 수 있다. 그러한 반사는 비전 시스템에 의해 획득된 이미지 데이터에서 노이즈를 생성한다. 노이즈의 증가는 시선 검출 엔진(46)이 동공 및/또는 각막 반짝임을 명확하게 위치시키는 것을 더 어렵게 할 수 있고, 이것은 결정된 시선 방향에서 오차를 증가시킨다. 더 구체적으로, 안경류로부터의 반사는 온축 조명에 의해 생성된 명동공 이미지와 유사하게 보일 수 있고, 따라서 시선 검출 엔진이 안경류로부터의 반사를 명동공으로 착각하게 된다. 이 효과는 도 4a에 도시되어 있고, 여기에서 명동공(54)은 안경류에 의한 많은 반사와 함께 나타난다. 오프축 램프(36B)로부터의 고각 조명이 안경에 의해 반사되어 각막 반짝임으로 착각할 때 유사한 효과가 발생할 수 있다. 일반적으로, 사용자의 안경으로부터의 반사가 직경 및 밝기에 있어서 비교적 작을 때, 이러한 반사는 시선 검출 엔진에 각막 반짝임과 유사하게 보일 수 있다.
안경 반사로부터 원하는 눈 반사를 명확하게 하기 위한 하나의 접근법은 획득된 이미지의 후처리에 의해 안경 반사를 제거하는 것이다. 그럴듯한 구별 기준은 후보 반사의 강도, 크기 또는 지오메트리(형상)을 포함한다. 그러나 임의의 후처리 접근법은 이미지 품질 및 다른 노이즈 문제에 민감할 수 있고, 과도한 연산 시간을 요구할 수 있다. 더욱이, 노이즈 반사의 기하학적 구별에 기초한 노이즈 제거는 상이한 렌즈 곡률, 프레임 형상 등을 포함하는 예상되는 범위의 사용 시나리오, 예를 들면, 사용자가 착용한 상이한 스타일의 안경 중에서 일반화하는데 실패할 수 있다.
따라서, 개시된 예는 상이한 조명 레벨(즉, 강도, 파워)에서 획득된 사용자 눈의 일련의 이미지를 이용하여 안경 반사로부터 원하는 눈 반사를 명확하게 할 수 있다. 이를 위해, 비전 시스템(24)의 1개, 일부 또는 모든 램프(36)는 뒤에서 자세히 설명하는 바와 같이 제1 조명 레벨을 제공하는 것으로부터 비교적 짧은 시간 간격으로 제2의 다른 조명 레벨로 천이하도록 구성될 수 있다.
일 예로서, 비전 시스템(24)의 마이크로컨트롤러(38)는 펄스폭 변조(PWM)를 통해 온축 램프(36A) 및/또는 오프축 램프(36B)를 스트로브(strobe)하도록 구성될 수 있다. 각 프레임에 상이한 PWM 값을 지정함으로써 2개 이상의 이미지 프레임이 다른 휘도 레벨로 획득된다. 다른 예로서, 마이크로컨트롤러는 램프에 제공되는 전압 및 전류를 변화시키거나, 파워를 수신하는 램프 요소(예를 들면, LED)의 수를 변경하거나, 또는 전기광학 감쇠기를 변조하여 조명 레벨을 변경할 수 있다. 복수의 휘도 레벨(고휘도+저휘도, 고휘도+중간 휘도+저휘도, 등)에서의 눈 이미지는 일부 예에서 예컨대 60 밀리초(ms) 이하 또는 30ms 이하와 같은 매우 짧은 간격으로 포착된다. 상기 간격은 예를 들면 최초 이미지 획득과 최종 이미지 획득 사이에 눈의 가능한 움직임에 의해 야기되는 모션 블러(motion blur)의 정도를 제한하도록 선택될 수 있다. 이 간격 동안에, 동공 및 반짝임과 같은 당해 눈 특징으로부터의 반사는 조명의 감소에 기인하여 강도가 비례적으로 감소할 수 있다. 그러나 사용자의 안경으로부터의 정반사 또는 근 정반사(near-specular reflection)는 저휘도 레벨 또는 중간 휘도 레벨에서도 플랫 이미지 카메라(32)의 수신 픽셀들을 포화시킬 수 있다. 따라서, 휘도의 비례적 감소는 고휘도로부터 중간 휘도 또는 저휘도로의 천이에서 안경 반사에 대하여 관측되지 않을 수 있다. 비례적으로 어둡지 않은 픽셀은 후속되는 시선 추적 연산에서 그들의 충격을 제한하기 위해 임의의 적당한 방법으로 고려하지 않을 수 있다.
도 4a와 도 4b를 나란히 비교하면서 상기 접근법을 더 설명한다. 도 4a는 고휘도에서 획득된 이미지를 나타내고, 도 4b는 저휘도에서 획득된 이미지를 나타낸다. 사용자의 명동공(54)으로부터의 반사는 도 4a에서보다 도 4b에서 더 약하지만, 사용자 안경으로부터의 반사는 더 강하다는 것을 알 수 있다.
시선 검출 엔진(46)은 일부 예에서 60ms 이하와 같은 적절히 짧은 간격으로 포착된 상이한 휘도 레벨에서 2개 이상의 이미지의 버퍼를 관리하도록 구성될 수 있다. 시선 검출 엔진은 모든 픽셀을 측정하여 제1(밝은) 이미지와 제2(어두운) 이미지의 휘도를 체크한다. 만일 픽셀이 유사한 포화 휘도를 갖거나(예를 들면 역치량 미만만큼 다름) 양측 이미지에서 포화 상태를 유지하면, 픽셀은 일부 예에서 (각각 도 4a 및 도 4b의) 전체 이미지의 평균 휘도 값으로 교체되고, 한편 모든 나머지 픽셀(안경 반사에 의해 영향을 받지 않는 픽셀)들은 그들의 본래 값을 유지할 수 있다. 다른 예에서, 픽셀들이 교체되지 않지만 다른 방식으로 추적 또는 보상될 수 있다.
도 4a의 이미지가 더 밝기 때문에, 동공은 홍채에 대하여 더 좋은 콘트라스트를 갖고 더 쉽게 검출될 수 있다는 점에 주목한다. 이와 대조적으로, 도 4b는 더 어둡기 때문에, 반짝임이 동공에 대하여 더 좋은 콘트라스트를 갖고 더 쉽게 검출될 수 있다. 도 4a 및 도 4b의 결과적인 처리된 이미지는, 안경의 반사를 보상한 후에, 동공 검출 및 반짝임 검출을 위한 입력으로서 각각 사용된다. 도 4c는 도 4a 및 도 4b의 고강도 및 저강도 이미지에 적용한 이 절차의 결과를 보인 것이고, 여기에서 백색 원은 검출된 동공(54)의 윤곽을 표시한다.
전술한 도면 및 설명은 많은 다른 예 및 사용 시나리오가 또한 예상되기 때문에 제한하는 것으로 해석되어서는 안된다. 특히, 도 1의 것 외에 많은 다른 환경 및 폼팩터가 본 발명의 정신 및 범위 내에 있다. 예를 들면, 도 5에 도시된 바와 같이, 유사한 시선 추적이 디스플레이 베젤 아래에 설치된 적당한 비전 시스템(24A)에 의해 스마트폰(66) 또는 데스크톱 컴퓨터(68)에서 행하여질 수 있다. 다른 예로서, 유사한 시선 추적이 통합 비전 시스템에 의해 태블릿 또는 랩톱 컴퓨터에서 행하여질 수 있다.
또 다른 예로서, 비전 시스템은 (종래의 안경을 또한 끼고 있을 수 있는) 사용자가 착용하는 활성 헤드웨어 또는 안경류에 통합될 수 있다. 이러한 헤드웨어 또는 안경류는 입체 근안 디스플레이 시스템을 또한 지원할 수 있다. 도 6은 시선 추적이 통합된 근안 디스플레이 시스템의 광학 시스템(70)을 보인 것이다. 이 예에서, 사용자는 추가의 보정 렌즈(71)를 착용하고 있다. 플랫 이미지 카메라(32)는 착용자의 눈으로부터 반사된 온축 IR 또는 NIR 램프(36A)로부터의 광을 이미징한다. 오프축 램프(36B)는 눈의 각막에서 정반사 반짝임을 생성하고 암동공 효과를 자극하는 것 등을 위해 눈의 비교적 고각 조명을 제공한다. 광학 시스템(70)에 통합된 빔 전환 옵틱스는 카메라와 온축 램프가 광학 시스템의 주변에서의 그들의 배열에 불구하고 공통 광축(A)을 공유하게 한다.
여기에서 설명한 접근법은 안경류로부터의 반사와 다른 유형의 정반사를 포함하도록 연장될 수 있다. 일반적으로, 사용자와 비전 시스템 사이에 배치된 가상의 임의 표면은 여기에서 설명한 방식으로 구별 가능한 밝은 정반사를 야기할 수 있다. 예를 들면, 보호창(유리, 아크릴 또는 폴리카보네이트 시트, 위험물 실드(hazmat shield) 등)으로부터 비전 시스템 조명의 정반사는 예를 들면 2개 이상의 다른 조명 레벨에서 불변인 검출된 휘도에 기초하여 눈 반사로부터 구별될 수 있다.
전술한 구성들은 각종의 시선 검출 방법이 비전 시스템에 동작적으로 결합된 컴퓨터 시스템에서 실행될 수 있게 한다. 이러한 방법 중 일부를 이제 전술한 예시적인 구성들을 계속 참조하면서 설명한다. 그러나 여기에서 설명하는 방법 및 본 발명의 범위 내에 있는 다른 방법들은 다른 구성에 의해 또한 실시될 수 있다는 것을 이해할 것이다.
도 7은 비전 시스템에 동작적으로 결합된 컴퓨터 시스템에서 시선 방향에 응답하여 입력을 공급하는 예시적인 방법(74)을 보인 것이다. 방법(74)의 단계 76에서, 비전 시스템의 온축 램프의 출력이 예를 들면 전술한 하나 이상의 방법을 이용하여 눈의 제1 이미지를 획득하기 전에 사용자 눈에 제1 조명 레벨을 제공하도록 조정된다. 제1 조명 레벨은 일 예에서 비교적 높은 조명 레벨일 수 있다.
단계 78에서 눈의 제1 이미지가 비전 시스템의 카메라로부터 획득된다. 제1 이미지는 제1 조명 레벨이 눈에 제공되는 간격 중에 카메라에 의해 획득된다. 단계 80에서, 제2의 다른 조명 레벨에 대응하는 눈의 제2 이미지가 획득된다. 제2 조명 레벨은 제1 조명 레벨보다 더 낮거나 더 높은 레벨일 수 있고, 제2 이미지는 각종 예에서 다른 방법으로 획득될 수 있다.
일 예로서, 온축 램프의 출력은 카메라에 의한 제2 이미지의 획득을 위해 제2 조명 레벨을 제공하도록 다시 조정될 수 있다. 그 다음에 제2 이미지가 카메라로부터 획득된다. 다른 예로서, 눈의 제2 이미지는 제1 이미지의 각각의 불포화 픽셀의 휘도를 제2 이미지의 대응하는 픽셀을 얻기 위한 증배율로 승산함으로써 획득된다.
증배율은 전체적인 더 밝은 제2 이미지를 구성하기 위해 1보다 더 클 수도 있고, 전체적인 더 어두운 제2 이미지를 구성하기 위해 1보다 더 작을 수도 있다. 일 변형예로서, 제2 이미지의 승산된 휘도 값은 카메라에 의해 사용되는 이미지 인코딩의 유형에 유효한 최대 휘도로 고정될 수 있다. 또한, 제1 이미지에서 이미 포화된 픽셀이 다른 계수(예를 들면, 1의 계수)와 승산되거나 또는 다른 방식으로 마스크될 수 있다. 이 방법으로, (사용자의 안경으로부터의 정반사에 대응하는) 포화 픽셀은 시선 방향을 결정하기 위한 후속 연산에서 배제된다.
제1 및 제2 이미지는 다른 불포화 휘도 레벨로 눈 반사(예를 들면, 명동공)를 나타내도록 구성될 수 있다. 이 특징은 안경 반사로부터(및 일부 경우에는 비교적 낮은 조명 레벨에서 전형적으로 포화 상태를 유지하는 오프축 조명에 기인하는 각막 반짝임으로부터) 눈 특징들을 구별하기 위해 사용된다. 그러나 미지의 사용 시나리오 전에 적당한 제1 및 제2 조명 레벨을 예측하는 것이 항상 가능하지는 않다. 예를 들면, 다른 유형의 안경류는 다른 반사율의 반사를 나타낸다. 또한, 다른 개인들의 눈은 명동공 응답을 생성하기 위해 다른 레벨의 온축 조명을 요구할 수 있다. 각각의 사용자에게 2개의 동일한 조명 레벨을 적용하기보다, 시선 검출 엔진(46)은 다른 조명 레벨에서 획득된 일련의 3개 이상의 이미지를 분석하고, 그 다음에 도 7의 단계 82에 나타낸 것처럼 제1 및 제2 조명 레벨을 정제하기 위해 적당한 제1 및 제2 이미지를 선택하도록 구성될 수 있다. 선택된 이미지는 예를 들면 포화 안경 반사를 나타내는 것, 및 강하지만 불포화(예를 들면, > 30% 포화 강도, > 50%)인 명동공 반사를 나타내는 것일 수 있다. 이 방식으로, 제1 및 제2 조명 레벨은, 방법(74)에서, 이미지화 눈에서의 명동공 효과를 자아내고 구별하는 능력에 기초하여 선택될 수 있고, 그 레벨은 다른 사용자의 눈마다 다르다.
3개 이상의 획득된 이미지에 걸쳐 한 범위의 조명 레벨을 제공하는 다른 하나의 이유는 시스템이 온축 램프의 파장 대역에서 주변광의 변화하는 레벨에 응답할 수 있게 하기 위해서이다. 이 방식으로, 제1 및 제2 조명 레벨은 주변광 조건에 따라 선택될 수 있다. 한 범위의 조명 레벨을 제공하면 오프축 조명으로부터 도출되는 각막 반짝임으로부터 명동공 응답을 구별하는 것에 또한 도움을 줄 수 있다. 2개, 3개, 4개 등과 같이 임의의 적당한 수의 획득된 눈 이미지 및 대응하는 조명 레벨이 획득될 수 있다. 이 수는 사용하는 프레임 레이트와 같은 계수에 의존할 수 있다. 다시 말해서, 더 빠른 이미지 획득은 눈 움직임에 기인하는 모션 블러의 부정적 효과를 경험하지 않고 더 많은 수의 이미지가 획득되게 할 수 있다.
대안적인 모드의 이미지/조명레벨 선택이 전술한 난제들을 다루기 위해 이 단계의 방법에서 또한 사용될 수 있다. 예를 들면, 획득된 이미지의 분석에 의해 적당한 조명 레벨이 나타나면, 이 정보는 제1 이미지를 획득하고 그 다음에 (반복적 이미지 획득에 의해 또는 제1 이미지의 처리에 의해) 제2 이미지를 획득할 때 어떤 조명 레벨이 실제로 사용되는지 제어하기 위해 방법의 이전 단계로 피드백될 수 있다. 이 유형의 피드백은 방법의 각 통과에서 획득되는 용장 이미지의 수를 감소시키기 위해 사용될 수 있고, 이것은 시선 추적 대기시간(latency)을 감소시킬 수 있다. 2개의 이미지가 획득되는 경우에도, 획득된 이미지의 분석에 기초한 피드백은 후속되는 제1 및 제2 이미지에 대하여 사용되는 높은 및 낮은 조명 레벨을 정제하기 위해 사용될 수 있다.
도 7을 계속 참조하면, 방법(74)의 단계 84에서, 사용자 눈에 의한 조명 반사가 사용자 안경류에 의한 조명 반사로부터 구별된다. 전술한 바와 같이, 눈에 의한 원하는 조명 반사는 명동공 응답, 즉 사용자 눈의 망막으로부터의 역반사를 구성할 수 있고, 이것은 동공을 통하여 역으로 통과하여 동공이 주변 홍채에 비하여 밝게 보이게 한다. 대안적으로 및 마찬가지로 중요하게, 눈에 의한 반사는 홍채 자체에 의한 반사를 포함할 수 있고, 이것은 동공이 홍채에 비하여 어둡게 나타나게 한다.
예시적인 일 실시형태에 있어서, 안경류 반사로부터 눈을 구별하는 것은 제1 이미지와 제2 이미지의 대응하는 픽셀들의 휘도를 비교하는 단계를 포함할 수 있다. 일 예로서, 제1 이미지와 제2 이미지의 대응하는 픽셀들은 만일 그 픽셀들의 휘도가 역치량보다 더 많이(예를 들면, 5% 이상, 10% 이상, 포화의 10% 이상, 최대 휘도의 10% 이상 등) 다르면 눈에 의한 조명의 반사와 관련될 수 있다. 반대로, 대응하는 픽셀들은 만일 그 픽셀들의 휘도가 역치량보다 더 적게(예를 들면, 5% 미만, 1% 미만 등) 다르면 안경류에 의한 조명의 반사와 관련될 수 있다. 그러한 픽셀들은 후속 연산으로부터 마스크될 수 있다. 다른 예로서, 제1 이미지와 제2 이미지의 대응하는 픽셀들은 만일 양측의 픽셀이 포화되면 안경류에 의한 반사와 관련될 수 있다. 또 다른 예로서, 기계 학습 알고리즘을 이용하여 안경류에 의한 조명의 반사로부터 눈에 의한 조명의 반사를 구별할 수 있다.
단계 86에서, 시선 방향 입력이 제1 또는 제2 이미지에서 안경류에 의한 조명의 반사와 관련된 픽셀들을 배제하면서 눈에 의한 조명의 반사의 위치에 기초하여 계산된다. 일 예로서, 계산된 입력은 눈을 통한 시선 방향을 규정하는 앙각(EA) 및 방위각(AA)(도 3)을 포함한다. 이러한 각을 규정하기 위해 임의의 적당한 참조 프레임을 사용할 수 있다. 일 예로서, 참조 프레임은 플랫 이미지 카메라(34)의 입사 동공(entry pupil)에서의 원점 및 광축(A)과 정렬된 하나의 축을 갖는다. 물론, 방법(74)의 선행 단계들은 적절히 구성된 비전 시스템에서 사용자의 양 눈에서 행하여질 수 있다. 시선 벡터가 양 눈에 대하여 이용 가능할 때, 사용자의 초점(P)의 좌표가 또한 결정되고 입력으로서 포함될 수 있다.
일부 예에서, 사용자 안경류의 온축 또는 오프축 조명은 제1 또는 제2 이미지에서 원하는 눈 특징을 겹치는 반사를 생성할 것이다. 이것이 발생한 때, 안경류 반사와 관련된 픽셀들의 배제는 영향을 받는 눈에 대하여 시선 방향에서 잠재적으로 방해를 야기하는 눈 특징 또는 그 일부를 마스크할 수 있다. 그러나 시선 입력의 가용성에서의 연장된 방해마저도 부정확한 시선 입력을 전달하는 것보다 사용자 경험에 대하여 덜 파괴적이라는 것을 이해할 것이다. 이것은 특히 시선이 각 눈마다 독립적으로 검출되는 예에서 참일 수 있다.
선택적 단계 88에서, 계산된 시선 방향이 모션 블러, 즉, 제1 이미지 획득과 제2 이미지 획득 간의 짧은 시간 간격 동안 눈의 움직임을 고려하도록 운동학적 모델에 기초하여 보정된다. 운동학적 모델은 예를 들면 광학 유동 모델일 수 있다.
단계 90에서, 검출된 시선 방향(및 가능하다면 결정된 초점)을 포함한 입력이 눈에 의한 비전 시스템 조명의 반사에 기초하여 컴퓨터 시스템, 예를 들면, 컴퓨터 시스템의 OS 또는 애플리케이션의 적당한 소비자 구성(consumer construct)에 공급된다. 개시된 방법의 반사 식별 효과에 비추어, 공급된 입력은 사용자 안경류에 의한 조명의 반사에 충분히 독립적일 수 있다. 여기에서 설명한 예들은 다양한 다른 방법으로 구현될 수 있다는 것을 이해할 것이다. 예를 들면, 사용자 눈의 이미지는 예를 들면 비-HDR(high dynamic range, 높은 동적 범위) 기술에 의한 것보다 각 이미지에서 더 큰 동적 광도 범위를 달성하기 위해 HDR 이미징 기술을 이용하여 복수의 노출을 통해 포착될 수 있다.
또한, 일부 구현예는 원하는 프레임 레이트에 대한 충격 회피에 도움이 되는 소정의 프레임 간격(예를 들면, 매 30ms)으로 2개 이상의 연속 프레임을 획득하도록 구성된 이미지 감지 시스템을 이용할 수 있다. 비제한적인 예로서, 하나 이상의 레이저를 포함한 조명 시스템은 조명이 소정의 시구간(예를 들면, 2ms) 동안 제1 강도로 제공되고, 그 다음에 다른 시구간(예를 들면, 다른 2ms) 동안 제2의 더 높은 강도로 제공되게 하는 조명을 위해 사용될 수 있다. 이 조명 처리 중에, 제1 프레임이 제1 시구간에서 획득되고 제2 프레임이 제2 시구간 동안 획득되어 이미지 데이터를 판독하기 전에 눈의 양측 이미지가 획득된다. 임의의 추가적인 연속 프레임이 유사한 방식으로 획득될 수 있다. 조명 처리 후에, 획득된 2개 이상의 이미지 프레임이 프레임 간격의 나머지 지속기간 동안 판독될 수 있다. 이 방법으로 이미지를 획득하기 위해 임의의 적당한 하드웨어 구성을 사용할 수 있다. 예를 들면, 시스템은 동일한 다이를 공유하도록 내부적으로 구성되거나 그렇지 않을 수 있는 2개의 나란히 배치된 카메라의 형태를 취할 수 있다.
전술한 설명으로부터 명백한 바와 같이, 여기에서 설명한 방법 및 처리들은 하나 이상의 컴퓨팅 머신의 컴퓨터 시스템에 결합될 수 있다. 그러한 방법 및 처리는 컴퓨터 응용 프로그램 또는 서비스, 응용 프로그래밍 인터페이스(API), 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다. 도 2를 다시 참조하면, 여기에서 설명한 방법 및 처리를 지원하기 위해 사용되는 컴퓨터 시스템(20)의 비제한적인 예가 도시되어 있다. 컴퓨터 시스템은 논리 머신(92)과 명령어 저장 머신(94)을 포함한다. 컴퓨터 시스템은 또한 디스플레이(16), 통신 시스템(96) 및 도시를 생략한 각종 컴포넌트를 포함한다.
각각의 논리 머신(92)은 명령어를 실행하도록 구성된 하나 이상의 물리적 논리 장치를 포함한다. 논리 머신은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조 또는 다른 논리적 구성의 일부인 명령어를 실행하도록 구성될 수 있다. 그러한 명령어는 태스크를 수행하고, 데이터 유형을 구현하고, 하나 이상 컴포넌트의 상태를 변환하고, 기술적 효과를 달성하고, 또는 다른 방식으로 원하는 결과에 도달하도록 구현될 수 있다.
각각의 논리 머신(92)은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가로 또는 대안적으로, 논리 머신은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 머신을 포함할 수 있다. 논리 머신의 프로세서는 단일 코어 또는 다중 코어일 수 있고, 거기에서 실행되는 명령어는 순차 처리, 병렬 처리 및/또는 분산 처리를 행하도록 구성될 수 있다. 논리 머신의 개별 컴포넌트들은 선택적으로 원격에 위치되어 협력 처리를 행하도록 구성된 2개 이상의 별도의 장치에 분산될 수 있다. 논리 머신의 각종 양태는 클라우드 컴퓨팅 구성으로 구성된 원격에서 접근 가능한 네트워크 컴퓨팅 장치에 의해 가상화 및 실행될 수 있다.
각각의 데이터 저장 머신(94)은 여기에서 설명한 방법 및 처리들을 구현하기 위해 관련 논리 머신(92)에 의해 실행 가능한 명령어들을 유지하도록 구성된 하나 이상의 물리적 컴퓨터 메모리 장치를 포함한다. 그러한 방법 및 처리가 구현될 때, 데이터 저장 머신의 상태는 예를 들면 다른 데이터를 유지하도록 변환될 수 있다. 데이터 저장 머신은 분리형 및/또는 내장형 장치를 포함할 수 있다. 데이터 저장 머신은 광학 메모리(예를 들면, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리(예를 들면, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예를 들면, 하드디스크 드라이브, 플로피디스크 드라이브, 테이프 드라이브, MRAM 등) 등을 포함할 수 있다. 데이터 저장 머신은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 읽기 전용, 랜덤 액세스, 순차 접근, 위치 어드레서블, 파일 어드레서블 및/또는 콘텐츠 어드레서블 장치를 포함할 수 있다.
각각의 데이터 저장 머신(94)은 하나 이상의 물리적 장치를 포함한다는 것을 이해할 것이다. 그러나 여기에서 설명한 명령어들의 각종 양태는 대안적으로 저장 매체를 통해 저장되는 것과 다르게 통신 매체(예를 들면, 전자기 신호, 광신호 등)에 의해 전파될 수 있다.
논리 머신 및 데이터 저장 머신의 각종 양태는 하나 이상의 하드웨어-로직 컴포넌트에 함께 통합될 수 있다. 그러한 하드웨어-로직 컴포넌트는 예를 들면 필드 프로그래머블 게이트 어레이(FPGA), 프로그램 및 용도 지정 집적회로(PASIC/ASIC), 프로그램 및 용도 지정 표준제품(PSSP/ASSP), 시스템 온 칩(SOC) 및 복합 프로그래머블 논리 장치(CPLD)를 포함할 수 있다.
용어 '엔진'은 특수 기능을 수행하도록 구현되는 컴퓨터 시스템의 일 양태를 설명하기 위해 사용된다. 일부 경우에, 엔진은 데이터 저장 머신에 의해 유지되는 명령어를 실행하는 논리 머신을 통해 구현될 수 있다. 다른 엔진들이 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 구현될 수 있다는 점을 이해할 것이다. 마찬가지로, 동일한 엔진이 다른 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등으로부터 구현될 수 있다. 용어 '엔진'은 실행 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등을 개별적으로 또는 그룹으로 포함할 수 있다.
통신 시스템(96)은 컴퓨터 시스템을 하나 이상의 다른 머신에 통신적으로 결합하도록 구성될 수 있다. 통신 시스템은 하나 이상의 다른 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예로서, 통신 시스템은 무선 전화망, 또는 유선 또는 무선 근거리 통신망 또는 광역 통신망을 통해 통신하도록 구성될 수 있다. 일부 예에서, 통신 시스템은 컴퓨팅 머신이 인터넷 등의 네트워크를 통해 다른 장치로/로부터 메시지를 전송/수신하게 할 수 있다.
여기에서 설명한 구성 및/또는 접근법은 예를 든 것이고, 이러한 특정 예는 많은 변화가 가능하기 때문에 제한적인 의도로 고려되지 않는다는 것을 이해할 것이다. 여기에서 설명한 특정 루틴 또는 방법은 임의 수의 처리 전략 중의 하나 이상을 표시할 수 있다. 그래서, 예시 및/또는 설명한 각종 동작은 예시 및/또는 설명된 순서로, 다른 순서로, 병렬로 수행되거나 또는 생략될 수 있다. 마찬가지로, 전술한 처리의 순서는 변경될 수 있다.
본 발명의 주제는 각종 처리, 시스템 및 구성의 모든 신규하고 명백하지 않은 조합 및 부조합, 및 여기에서 설명한 다른 특징, 함수, 동작 및/또는 속성뿐만 아니라 그 임의의 및 모든 균등물을 포함한다.

Claims (19)

  1. 비전 시스템에 동작가능하게 결합된 컴퓨터 시스템에서 실행되어, 시선 방향을 나타내는 입력을 공급(furnish)하는 방법에 있어서,
    상기 비전 시스템의 카메라로부터, 제1 전력 레벨에서 동작되는 이미터(emitter)에 의해 눈의 조명 하에서 획득된 눈의 제1 이미지를 획득하는 단계;
    상기 비전 시스템의 카메라로부터, 상기 이미터에 의해 눈의 조명 하에서 획득된 상기 눈의 제2 이미지를 획득하는 단계 - 상기 이미터는 제2의, 상이한 전력 레벨에서 동작됨 -;
    상기 눈으로부터의 불포화된, 역반사(retroreflective) 명동공(bright-pupil) 응답을 나타내기 위해, 상기 이미터의 서로 상이한 전력 레벨에서 상기 카메라에 의해 획득된 3개 이상의 눈 이미지 중에서 제1 및 제2 이미지를 선택하는 것을 포함하여, 안경류에 의한 조명의 반사로부터 상기 눈에 의한 조명의 반사를 구별하기 위해 상기 제1 및 제2 이미지의 대응하는 픽셀들의 휘도(brightness)를 비교하는 단계; 및
    상기 눈에 의한 조명의 반사에 기초하여 입력을 공급하는 단계
    를 포함하는 시선 방향을 나타내는 입력을 공급하는 방법.
  2. 제1항에 있어서, 상기 눈에 의한 조명의 반사는, 상기 눈의 망막으로부터의 반사를 포함하고, 상기 반사는 상기 눈의 동공을 다시 통과하여 상기 동공이 상기 제1 이미지에서 주변 홍채에 비하여 밝게 보이게 하는 것인 시선 방향을 나타내는 입력을 공급하는 방법.
  3. 제1항에 있어서, 상기 눈에 의한 반사는 상기 눈의 홍채에 의한 반사를 포함하고, 상기 눈의 동공이 상기 제1 이미지에서 상기 홍채에 비하여 어둡게 보이게 하는 것인 시선 방향을 나타내는 입력을 공급하는 방법.
  4. 제1항에 있어서, 상기 안경류에 의한 조명의 반사와 연관된 픽셀들을 배제하면서 상기 눈에 의한 조명의 반사의, 상기 제1 이미지에서의 위치에 기초하여 입력을 계산하는 단계를 더 포함하는 시선 방향을 나타내는 입력을 공급하는 방법.
  5. 제4항에 있어서, 상기 제1 이미지를 획득하는 단계와 상기 제2 이미지를 획득하는 단계 사이에 상기 눈의 움직임을 고려하도록 운동학적 모델에 기초하여 상기 입력을 보정하는 단계를 더 포함하는 시선 방향을 나타내는 입력을 공급하는 방법.
  6. 제1항에 있어서, 상기 공급되는 입력은 상기 눈을 통한 시야(sight)의 방향을 규정하는 앙각 및 방위각을 포함하는 것인 시선 방향을 나타내는 입력을 공급하는 방법.
  7. 제1항에 있어서,
    상기 픽셀들의 휘도가 역치량보다 더 많이 다른 경우 상기 제1 및 제2 이미지의 대응하는 픽셀들을 상기 눈에 의한 조명의 반사와 연관시키는 단계;
    상기 픽셀들의 휘도가 역치량보다 더 적게 다른 경우 상기 제1 및 제2 이미지의 대응하는 픽셀들을 상기 안경류에 의한 조명의 반사와 연관시키는 단계
    를 더 포함하는 시선 방향을 나타내는 입력을 공급하는 방법.
  8. 제1항에 있어서,
    상기 제1 및 제2 이미지의 대응하는 픽셀들이 모두 포화된 경우 상기 제1 및 제2 이미지의 대응하는 픽셀들을 상기 안경류에 의한 조명의 반사와 연관시키는 단계를 더 포함하는 시선 방향을 나타내는 입력을 공급하는 방법.
  9. 제1항에 있어서, 상기 제1 전력 레벨은 상기 눈으로부터의 명동공 응답을 자극(stimulate) 및 구별하는 능력에 기초하여 선택되는 것인 시선 방향을 나타내는 입력을 공급하는 방법.
  10. 제1항에 있어서, 상기 제1 전력 레벨은 주변 광 조건에 기초하여 선택되는 것인 시선 방향을 나타내는 입력을 공급하는 방법.
  11. 제1항에 있어서, 상기 제1 및 제2 이미지는 상기 이미터의 서로 상이한 전력 레벨에서 상기 카메라에 의해 획득된 3개 이상의 눈 이미지로부터 선택되는 것인 시선 방향을 나타내는 입력을 공급하는 방법.
  12. 제1항에 있어서, 상기 대응하는 픽셀들의 휘도를 비교하는 단계는, 상기 안경류에 의한 조명의 반사로부터 상기 눈에 의한 조명의 반사를 구별하기 위해 기계 학습 알고리즘을 사용하는 단계를 포함하는 것인 시선 방향을 나타내는 입력을 공급하는 방법.
  13. 제1항에 있어서, 상기 눈은 2개의 눈 중 제1 눈이고, 상기 제1 및 제2 이미지는 상기 제1 눈의 이미지이며, 상기 방법은:
    상기 비전 시스템의 카메라로부터, 제1 전력 레벨에서 동작되는 이미터에 의해 눈의 조명 하에서 획득된 제2 눈의 제1 이미지를 획득하는 단계;
    상기 비전 시스템의 카메라로부터, 상기 이미터에 의해 눈의 조명 하에서 획득된 제2 눈의 제2 이미지를 획득하는 단계 - 상기 이미터는 제2 전력 레벨에서 동작됨 -;
    안경류에 의한 조명의 반사로부터 상기 제2 눈에 의한 조명의 반사를 구별하기 위해 상기 제2 눈의 제1 및 제2 이미지의 대응하는 픽셀의 휘도를 비교하는 단계; 및
    상기 제2 눈에 의한 조명의 반사에 기초하고 상기 안경류에 의한 조명의 반사와 독립적인 입력을 공급하는 단계 - 상기 입력은 제1 및 제2 눈의 결정된 초점을 포함함 -
    를 더 포함하는 시선 방향을 나타내는 입력을 공급하는 방법.
  14. 시스템에 있어서,
    눈을 조명하도록 구성된 이미터를 포함하는 조명 시스템;
    상기 눈의 하나 이상의 이미지를 획득하도록 구성된 카메라; 및
    상기 카메라 및 상기 조명 시스템에 동작가능하게 결합되며, 컴퓨터 메모리와 연관된 프로세서
    를 포함하며,
    상기 컴퓨터 메모리는,
    비전 시스템의 카메라로부터, 제1 전력 레벨에서 상기 이미터에 의해 눈의 조명 하에서 눈의 제1 이미지를 획득하고,
    상기 비전 시스템의 카메라로부터, 상기 이미터에 의해 눈의 조명 하에서 획득된 상기 눈의 제2 이미지를 획득하고 - 상기 이미터는 제2의, 상이한 전력 레벨에서 동작됨 -,
    상기 눈으로부터의 불포화된, 역반사 명동공 응답을 나타내기 위해, 상기 이미터의 서로 상이한 전력 레벨에서 상기 카메라에 의해 획득된 3개 이상의 눈 이미지 중에서 제1 및 제2 이미지를 선택하는 것을 포함하여, 안경류에 의한 조명의 반사로부터 상기 눈에 의한 조명의 반사를 구별하기 위해 상기 제1 및 제2 이미지의 대응하는 픽셀들의 휘도를 비교하고,
    상기 눈에 의한 조명의 반사에 기초하고 상기 안경류에 의한 조명의 반사와 독립적인 입력을 컴퓨터 시스템에 공급하도록
    상기 프로세서에 의해 실행 가능한 명령어를 유지하는 것인 시스템.
  15. 제14항에 있어서, 복수의 노출에서 상기 눈의 제1 이미지 및 상기 눈의 제 2 이미지 중 하나 이상을 포착하도록 실행 가능한 명령어를 더 포함하는 시스템.
  16. 제14항에 있어서, 상기 명령어는 상기 카메라로부터 상기 눈의 제1 이미지 및 상기 눈의 제2 이미지를 판독하기 전에 상기 눈의 제1 이미지 및 상기 눈의 제2 이미지를 연속적으로 획득하도록 실행 가능한 것인 시스템.
  17. 제14항에 있어서, 상기 조명 시스템은 상기 이미터의 제1 전력 레벨을 제공하는 것에서 상기 이미터의 제2 전력 레벨을 제공하는 것으로 30 밀리초 이하 내에서 전이(transition)시키도록 구성되는 것인 시스템.
  18. 비전 시스템에 동작가능하게 결합된 컴퓨터 시스템에서 실행되어, 눈의 시선 방향에 응답하는 입력을 공급하는 방법에 있어서,
    상기 비전 시스템의 카메라로부터, 제1 전력 레벨에서 동작되는 이미터에 의해 눈의 조명 하에서 획득된 눈의 제1 이미지를 획득하는 단계;
    상기 이미터에 의해 눈의 조명 하에서 획득된 눈의 제2 이미지를 상기 카메라로부터 획득하는 단계 - 상기 이미터는 제2의, 상이한 전력 레벨에서 동작됨 -;
    상기 눈으로부터의 불포화된, 역반사 명동공 응답을 나타내기 위해, 상기 이미터의 서로 상이한 전력 레벨에서 상기 카메라에 의해 획득된 3개 이상의 눈 이미지 중에서 제1 및 제2 이미지를 선택하는 것을 포함하여, 안경류에 의한 조명의 반사로부터 상기 눈에 의한 조명의 반사를 구별하기 위해 상기 제1 및 제2 이미지의 대응하는 픽셀들의 휘도를 비교하는 단계; 및
    상기 눈에 의한 조명의 반사에 기초하고 상기 안경류에 의한 조명의 반사와 독립적인 입력을 공급하는 단계
    를 포함하는 눈의 시선 방향에 응답하는 입력을 공급하는 방법.
  19. 제18항에 있어서, 상기 이미터는 상기 비전 시스템의 개별(discrete) 발광 다이오드이고, 상기 방법은,
    상기 제1 이미지를 획득하기 전에 제1 전력 레벨을 제공하도록 상기 개별 발광 다이오드를 조정하는 단계; 및
    상기 제2 이미지를 획득하기 전에 제2 전력 레벨을 제공하기 위해 상기 개별 발광 다이오드를 조정하는 단계
    를 더 포함하는 눈의 시선 방향에 응답하는 입력을 공급하는 방법.
KR1020177012507A 2014-10-08 2015-10-06 안경류를 통한 시선 추적 시스템 및 그 방법 KR102455734B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/509,976 US9946339B2 (en) 2014-10-08 2014-10-08 Gaze tracking through eyewear
US14/509,976 2014-10-08
PCT/US2015/054102 WO2016057435A1 (en) 2014-10-08 2015-10-06 Gaze tracking through eyewear

Publications (2)

Publication Number Publication Date
KR20170070110A KR20170070110A (ko) 2017-06-21
KR102455734B1 true KR102455734B1 (ko) 2022-10-17

Family

ID=54360538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177012507A KR102455734B1 (ko) 2014-10-08 2015-10-06 안경류를 통한 시선 추적 시스템 및 그 방법

Country Status (11)

Country Link
US (1) US9946339B2 (ko)
EP (1) EP3204891B1 (ko)
JP (1) JP6560748B2 (ko)
KR (1) KR102455734B1 (ko)
CN (1) CN107209551B (ko)
AU (1) AU2015328317B2 (ko)
BR (1) BR112017005648A2 (ko)
CA (1) CA2964099C (ko)
MX (1) MX2017004450A (ko)
RU (1) RU2705432C2 (ko)
WO (1) WO2016057435A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093750A1 (en) * 2014-12-10 2016-06-16 Telefonaktiebolaget Lm Ericsson (Publ) Device for and method of corneal imaging
US20160300108A1 (en) * 2015-04-08 2016-10-13 Motorola Mobility Llc Iris acquisition using visible light imaging
US11543487B2 (en) * 2015-06-09 2023-01-03 Nokia Technologies Oy Causing performance of an active scan
US9785234B2 (en) * 2015-12-26 2017-10-10 Intel Corporation Analysis of ambient light for gaze tracking
WO2019040665A1 (en) 2017-08-23 2019-02-28 Neurable Inc. BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS
KR102410834B1 (ko) 2017-10-27 2022-06-20 삼성전자주식회사 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치
CN111542800B (zh) 2017-11-13 2024-09-17 神经股份有限公司 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
CN111712192B (zh) 2018-01-18 2024-07-02 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
US10725292B2 (en) * 2018-02-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and aperture device
CN112165894B (zh) * 2018-05-31 2024-07-19 托比股份公司 用于闪光/反射识别的方法和系统
US10288879B1 (en) 2018-05-31 2019-05-14 Tobii Ab Method and system for glint/reflection identification
US10324529B1 (en) 2018-05-31 2019-06-18 Tobii Ab Method and system for glint/reflection identification
EP3627194A1 (en) * 2018-09-20 2020-03-25 Essilor International An optical device with reduced reflection in deep red, near infrared and visible ranges
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
KR102608471B1 (ko) 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
KR102349087B1 (ko) * 2019-10-10 2022-01-12 한국과학기술연구원 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
CN113132643B (zh) * 2019-12-30 2023-02-07 Oppo广东移动通信有限公司 图像处理方法及相关产品
US11205069B1 (en) * 2020-02-20 2021-12-21 Facebook Technologies, Llc Hybrid cornea and pupil tracking
US20230324587A1 (en) * 2020-09-22 2023-10-12 Apple Inc. Glint analysis using multi-zone lens
GB2618078A (en) * 2022-04-25 2023-11-01 Continental Automotive Tech Gmbh An image processing method for removal of glare spots and system for the same

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
JP3465336B2 (ja) * 1994-02-04 2003-11-10 三菱電機株式会社 顔画像撮影装置
AUPP048097A0 (en) 1997-11-21 1997-12-18 Xenotech Research Pty Ltd Eye tracking apparatus
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
SE0004741D0 (sv) 2000-12-21 2000-12-21 Smart Eye Ab Image capturing device with reflex reduction
US7809160B2 (en) 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
EP1755441B1 (en) * 2004-04-01 2015-11-04 Eyefluence, Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7773111B2 (en) 2005-03-16 2010-08-10 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
EP2150170B1 (en) 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
EP2242419B1 (en) * 2008-02-14 2016-01-13 Nokia Technologies Oy Device and method for determining gaze direction
US10178290B2 (en) 2010-02-17 2019-01-08 Sri International Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
WO2013036621A1 (en) * 2011-09-09 2013-03-14 Thales Avionics, Inc. Controlling vehicle entertainment systems responsive to sensed passenger gestures
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
KR20130121303A (ko) * 2012-04-27 2013-11-06 한국전자통신연구원 원거리 시선 추적 시스템 및 방법
JP6011173B2 (ja) * 2012-09-06 2016-10-19 株式会社Ｊｖｃケンウッド 瞳孔検出装置および瞳孔検出方法
WO2014181775A1 (ja) * 2013-05-08 2014-11-13 国立大学法人静岡大学 瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法
KR20140147748A (ko) * 2013-06-19 2014-12-30 한국전자통신연구원 시력 보조 기구 착용시에도 안정적인 시선 추적 방법
EP3048949B1 (en) * 2013-09-24 2019-11-20 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
CN106132284B (zh) * 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
US9552064B2 (en) * 2013-11-27 2017-01-24 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S.Gwon et. al., "Gaze Tracking System for User Wearing Glasses," SENSORS, vol. 14, no. 2, pp. 2110-2134, 2014.
Y.Ebisawa et.al., "Improved Video-Based Eye-Gaze Detection Method," IEEE Trans. on IM, vol. 47, no. 4, 1998.

Also Published As

Publication number Publication date
MX2017004450A (es) 2017-11-16
AU2015328317B2 (en) 2020-07-02
KR20170070110A (ko) 2017-06-21
JP6560748B2 (ja) 2019-08-14
RU2017111831A (ru) 2018-10-09
US9946339B2 (en) 2018-04-17
BR112017005648A2 (pt) 2017-12-12
CA2964099A1 (en) 2016-04-14
CA2964099C (en) 2023-01-24
RU2705432C2 (ru) 2019-11-07
EP3204891A1 (en) 2017-08-16
RU2017111831A3 (ko) 2019-04-25
JP2017537366A (ja) 2017-12-14
EP3204891B1 (en) 2021-08-18
CN107209551B (zh) 2020-08-25
CN107209551A (zh) 2017-09-26
AU2015328317A1 (en) 2017-04-13
WO2016057435A1 (en) 2016-04-14
US20160103484A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
KR102455734B1 (ko) 안경류를 통한 시선 추적 시스템 및 그 방법
US11892636B2 (en) Systems and methods for operating a display system based on user perceptibility
CN110266916B (zh) 用于在眼睛追踪中处理眩光的方法和系统
CN108701227B (zh) 用于生物安全的蓝光调节
KR102231910B1 (ko) 초점 이동에 반응하는 입체적 디스플레이
US9773170B2 (en) Pupil detection
US10674143B2 (en) System for eye tracking
KR102366110B1 (ko) 번쩍임의 광원에의 매핑
US9128522B2 (en) Wink gesture input for a head-mountable device
JP2017534957A (ja) 眼の不快感を軽減させるディスプレイ
JP2017513093A (ja) 注視の検出を介した遠隔デバイスの制御
JP2017079883A (ja) 視線検出システム、視線検出方法、および視線検出プログラム
WO2019044945A1 (en) IRIS RECOGNITION SYSTEM, IRIS RECOGNITION METHOD, AND INFORMATION CARRIER
CN116569221A (zh) 用于成像系统的灵活照明
CN116529787A (zh) 多波长生物识别成像系统
US20210405851A1 (en) Visual interface for a computer system
CN116529786A (zh) 多相机生物识别成像系统
CN116472564A (zh) 基于所获取图像的质量自动选择生物识别
WO2023049065A1 (en) Eye reflections using ir light sources on a transparent substrate
WO2022066478A1 (en) Glint analysis using multi-zone lens

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant