KR20220046494A - 시선 방향을 결정하는 방법 및 시선 추적 센서 - Google Patents

시선 방향을 결정하는 방법 및 시선 추적 센서 Download PDF

Info

Publication number
KR20220046494A
KR20220046494A KR1020210132734A KR20210132734A KR20220046494A KR 20220046494 A KR20220046494 A KR 20220046494A KR 1020210132734 A KR1020210132734 A KR 1020210132734A KR 20210132734 A KR20210132734 A KR 20210132734A KR 20220046494 A KR20220046494 A KR 20220046494A
Authority
KR
South Korea
Prior art keywords
light pattern
sensor
light
waveguide
reflected
Prior art date
Application number
KR1020210132734A
Other languages
English (en)
Inventor
가브릴 니코라에비치 보스트리코브
니코레이 빅토로비치 무라베브
블라디미르 니코라에비치 보리소브
알렉산드르 에브게니에비치 안게르박스
로만 알렉산드로비치 오쿤
미카일 바체스라보비치 파포브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/496,516 priority Critical patent/US20220108458A1/en
Publication of KR20220046494A publication Critical patent/KR20220046494A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Input (AREA)

Abstract

시선 추적 방법 및 시선 추적 센서가 제공된다. 시선 추적 센서를 포함하는 전자 장치가 시선 방향을 결정하는 방법은, 적어도 하나의 평행광 광원에서 출력된 광 패턴을 각막 표면에 조사하는 단계, 센서 도파관을 통해 가이드된, 각막 표면에서 반사된 광 패턴의 적어도 일부를 검출하는 단계, 광 패턴의 적어도 일부에 대응되는 매핑 이미지를 획득하는 단계, 및 획득된 매핑 이미지에 기초하여 시선 방향을 결정하는 단계를 포함할 수 있다.

Description

시선 방향을 결정하는 방법 및 시선 추적 센서{EYE TRACKING METHOD AND EYE TRACKING SENSOR}
본 개시는 시선 방향을 결정하기 위한 방법 및 시선 추적 센서에 관한 것으로, 보다 구체적으로는 비접촉식 시선 추적 방법에 관한 것이다.
최근 증강 현실(augmented reality, AR) 또는 가상 현실(virtual reality, VR) 장치를 이용한 다양한 애플리케이션에서는, 장치를 착용한 사용자의 시선 방향에 대한 정보가 요구되는 경우가 많다. 시선 방향 정보는 사용자 인터페이스를 구축하거나, 사용자에게 제공되는 이미지의 렌더링(예를 들어, 포비티드 렌더링(foveated rendering))을 최적화하거나, 사용자가 바라보는 객체까지의 거리를 결정하는 등, 다양한 동작들에 이용될 수 있다. 시선 방향 정보는 사용자의 안구 위치 추적 센서(이하, 시선 추적 센서(eye-tracking sensor, ET sensor)라고 한다)에 의해 생성될 수 있다.
알려진 다양한 시선 추적 센서에서 카메라는 안구의 위치를 등록하는 데 사용된다. 카메라는 안구의 이미지를 생성하고 동공 중심 위치를 결정하는 동작에 이용될 수 있다. 웨어러블 디바이스에서 시선 추적 센서는 사용자의 시선 추적을 가능하게 하기 위해 사용자의 시야(field of view, FOV) 내에 배치되어야 하는데, 일반적인 시선 추적 센서는 주변광으로부터 잘 보호되지 않으며, 많은 양의 계산이 필요하다. 따라서 이러한 일반적인 시선 추적 센서를 이용한 솔루션은 AR 또는 VR 시스템이나 웨어러블 디바이스에 사용하기에 적합하지 않다.
최근 도파관(waveguide) 광학계에 기초한 새로운 세대의 시선 추적 센서가 개발되고 있다. 도파관 광학계에 기초한 시선 추적 센서는 소형으로 제작될 수 있고 소비하는 에너지가 적어, AR 또는 VR 장치 등의 웨어러블 디바이스에 용이하게 적용될 수 있다.
AR 장치, VR 장치, 또는 다양한 웨어러블 디바이스에 적용하기 위한 시선 추적 센서는, 소형 이어야 하고, 가벼워야 하며, 에너지 소비가 적어야 한다. 또한, 전자 장치에 용이하게 적용될 수 있어야 하고, 사용자의 눈에 해가 되지 않으며, 높은 신뢰성(reliability)을 가질 것이 요구된다.
따라서, 신뢰성이 높고, 소형이며, 에너지 소비 및 제작 비용이 낮을 뿐만 아니라, 안전하고, 사용자의 시력을 방해하지 않는, 시선 추적 방법의 개발이 필요하다.
본 개시의 일 실시예는, 도파관(waveguide) 광학계에 기초함으로써, 시선 추적 결과에 대한 신뢰성이 높고, 소형이며, 에너지 소비가 적고, 사용자의 시력에 대해 안전하고, 사용자의 시야를 방해하지 않고, 웨어러블 디바이스에 용이하게 적용될 수 있는, 시선 추적 방법 및 장치를 제공할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 시선 추적 방법은, 적어도 하나의 평행광 광원에서 출력된 광 패턴을 각막 표면에 조사하는 단계, 센서 도파관을 통해 가이드된, 각막 표면에서 반사된 광 패턴의 적어도 일부를 검출하는 단계, 광 패턴의 적어도 일부에 대응되는 매핑 이미지를 획득하는 단계, 및 획득된 매핑 이미지에 기초하여 시선 방향을 결정하는 단계를 포함할 수 있다. 시선 방향을 결정하기 위해 이용되는 센서 도파관은, 전자 장치로부터 출력되는 정보를 디스플레이하기 위한 도파관과 상이할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 시선 추적 센서는, 광 패턴을 각막 표면에 조사하는 적어도 하나의 평행광 광원, 각막 표면에서 반사된 광 패턴의 적어도 일부를 감지부로 가이딩하는 센서 도파관, 센서 도파관을 통해 가이드된, 각막 표면에서 반사된 광 패턴의 적어도 일부를 검출하고, 광 패턴의 적어도 일부에 대응되는 매핑 이미지를 획득하는 감지부, 및 획득된 매핑 이미지에 기초하여 시선의 방향을 결정하는 제어부를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 증강 현실(augmented reality, AR) 장치는, 개시된 시선 추적 센서의 실시예들 중에서 적어도 하나를 포함할 수 있다. 증강 현실 장치는, 센서 도파관과 상이하며 증강 현실 장치로부터 출력되는 정보를 디스플레이하기 위한 도파관을 더 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 컴퓨터로 읽을 수 있는 기록 매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램이 저장된 것일 수 있다.
도 1은 본 개시의 일 실시예에 따른 시선 추적 센서가 시선 방향을 결정하는 동작을 예시적으로 도시한다.
도 2는 본 개시의 일 실시예에 따른 평행광 광원에서 생성된 광 패턴, 각막 표면에서 반사된 반사 광 패턴의 궤적, 및 반사 광 패턴의 센서 도파관 내 전파를 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따른 복수의 평행광 광원을 포함하는 시선 추적 센서가 시선 방향을 결정하는 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 인-커플링 회절 광학 요소(in-coupling DOE) 및 아웃-커플링 회절 광학 요소(out-coupling DOE)를 포함하는 센서 도파관을 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 시선 추적 센서를 포함하는 증강 현실 장치를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 시선 추적 센서를 포함하는 안경 타입의 증강 현실 장치를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 시선 추적 센서를 포함하는 전자 장치가 시선 방향을 결정하는 방법의 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 도면이다.
도 9a는 본 개시의 일 실시예에 따른 인-커플링 회절 광학 요소 평면에서, 각막 표면에서 반사된 반사 광 패턴의 적어도 일부를 설명하기 위한 도면이다.
도 9b는 본 개시의 일 실시예에 따른 인-커플링 회절 광학 요소 평면에서, 각막 표면에서 반사된 반사 광 패턴의 적어도 일부를 설명하기 위한 도면이다.
도 9c는 본 개시의 일 실시예에 따른 인-커플링 회절 광학 요소 평면에서, 각막 표면에서 반사된 반사 광 패턴의 적어도 일부를 설명하기 위한 도면이다.
도 9d는 본 개시의 일 실시예에 따른 인-커플링 회절 광학 요소 평면에서, 각막 표면에서 반사된 반사 광 패턴의 적어도 일부를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자는 본 개시의 범위 및 사상을 벗어나지 않고 본 개시에서 설명된 실시예에 다양한 변경 및 수정을 가할 수 있다. 이하의 설명에서, 잘 알려진 기능 및 구조에 대한 설명은 본 개시의 명료함과 간결함을 위해 생략될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "~부", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본 개시의 다양한 실시예들은 충돌하지 않고 서로 결합될 수 있다. 이하, 첨부된 도면을 참조하여 본 개시를 상세히 설명하기로 한다.
본 개시의 일 실시예에 따른 시선 추적 센서를 포함하는 전자 장치가 시선 방향을 결정하는 방법은, 적어도 하나의 평행광 광원에서 출력된 광 패턴을 각막 표면에 조사하는 단계, 센서 도파관을 통해 가이드된, 각막 표면에서 반사된 광 패턴의 적어도 일부를 검출하는 단계, 광 패턴의 적어도 일부에 대응되는 매핑 이미지를 획득하는 단계, 및 획득된 매핑 이미지에 기초하여 시선 방향을 결정하는 단계를 포함할 수 있다. 시선 방향을 결정하기 위해 이용되는 센서 도파관은, 전자 장치로부터 출력되는 정보를 디스플레이하기 위한 도파관과 상이할 수 있다.
일 실시예에서, 광 패턴은 근적외선(near infrared, NIR) 대역에서 작동하는 적어도 하나의 평행광 광원을 통해 생성될 수 있다. 일 실시예에서, 광 패턴은 단일 라인(line) 형태로 생성되거나, 또는 복수의 평행한 라인들의 집합 형태로 생성될 수 있다. 일 실시예에서, 적어도 하나의 평행광 광원은 레이저 다이오드를 포함할 수 있다.
일 실시예에서, 센서 도파관을 통해 가이드된, 각막 표면에서 반사된 광 패턴의 적어도 일부는, 각막 표면에서 반사된 광 패턴의 적어도 일부가 회절 광학 요소(diffractive optical element, DOE)를 통해 센서 도파관으로 인-커플링되고 센서 도파관의 외부로 아웃-커플링된 것일 수 있다.
일 실시예에서, 센서 도파관은 인-커플링(in-coupling) 회절 광학 요소(diffractive optical element, DOE) 및 아웃-커플링(out-coupling) 회절 광학 요소(DOE)를 포함할 수 있다. 센서 도파관을 통해 가이드된, 각막 표면에서 반사된 광 패턴의 적어도 일부는, 각막 표면에서 반사된 광 패턴의 적어도 일부가 인-커플링 회절 광학 요소를 통해 센서 도파관으로 인-커플링되고, 아웃-커플링 회절 광학 요소를 통해 센서 도파관의 외부로 아웃-커플링된 것일 수 있다.
일 실시예에서, 각막 표면에서 반사된 광 패턴의 적어도 일부는 제1 광 및 제2 광을 포함할 수 있다. 센서 도파관으로 인-커플링된 광 패턴의 적어도 일부는, 제1 광 및 제2 광의 곱에 대응될 수 있다.
도 1은 본 개시의 일 실시예에 따른 시선 추적 센서가 시선 방향을 결정하는 동작을 예시적으로 도시한다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 시선 방향을 결정하는 시선 추적 센서는, 광 패턴을 생성하고 각막 표면에 조사하는, 적어도 하나의 평행광 광원, 각막 표면에서 반사된 광 패턴의 적어도 일부를 감지부로 가이딩하는 센서 도파관, 센서 도파관을 통해 가이드된, 각막 표면에서 반사된 광 패턴의 적어도 일부를 검출하고, 광 패턴의 적어도 일부에 대응되는 매핑 이미지를 획득하는 감지부, 및 획득된 매핑 이미지에 기초하여 시선의 방향을 결정하는 제어부를 포함할 수 있다.
일 실시예에서, 광 패턴은 근적외선(near infrared, NIR) 대역에서 작동하는 적어도 하나의 평행광 광원을 통해 생성될 수 있다. 일 실시예에서, 광 패턴은 단일 라인(line) 형태로 생성되거나, 또는 복수의 평행한 라인들의 집합 형태로 생성될 수 있다. 일 실시예에서, 적어도 하나의 평행광 광원은 레이저 다이오드를 포함할 수 있다.
일 실시예에서, 센서 도파관은, 각막 표면에서 반사된 광 패턴의 적어도 일부를 센서 도파관으로 인-커플링하고, 인-커플링된 광 패턴의 적어도 일부를 센서 도파관의 외부로 아웃-커플링하는, 회절 광학 요소(DOE)를 포함할 수 있다.
일 실시예에서, 센서 도파관은 각막 표면에서 반사된 광 패턴의 적어도 일부를 센서 도파관으로 인-커플링하는, 인-커플링 회절 광학 요소(in-coupling DOE), 및 인-커플링된 광 패턴의 적어도 일부를 센서 도파관의 외부로 아웃-커플링하는, 아웃-커플링 회절 광학 요소(out-coupling DOE)를 포함할 수 있다.
일 실시예에서, 각막 표면에서 반사된 광 패턴의 적어도 일부는 제1 광 및 제2 광을 포함할 수 있다. 인-커플링 회절 광학 요소는 제1 광 및 제2 광을 곱하도록 구성될 수 있다.
본 개시의 일 실시예에 따른 증강 현실(augmented reality, AR) 장치 또는 가상 현실(virtual reality, VR) 장치는, 개시된 시선 방향을 결정하는 시선 추적 센서의 실시예들 중에서 적어도 하나를 포함할 수 있다. 증강 현실 장치 또는 가상 현실 장치는, 센서 도파관과 상이하며 장치로부터 출력되는 정보를 디스플레이하기 위한 도파관을 더 포함할 수 있다.
본 개시의 일 실시예에 따른 기술적 솔루션은 증강 현실(AR) 장치, 가상 현실(VR) 장치, 퍼스널 컴퓨터용 시선 추적 장치, 헬멧(helmet) 장착형 타겟팅 시스템, 각종 웨어러블 디바이스 등 다양한 형태의 장치에 적용될 수 있다.
본 개시의 일 실시예에 따른 시선 추적 방법은 다음의 일련의 동작들에 의해 구현될 수 있다.
평행광 광원(collimated light source)에 의해, 각막 영역에 대응되는 사용자의 눈 표면에 광 패턴이 생성될 수 있다. 예를 들어, 평행광 광원에 의해 생성된 광 패턴은 사용자의 각막 표면에 조사될 수 있다. 이후, 사용자의 각막 표면에서 반사된 광 패턴의 적어도 일부가 인-커플링(in-coupled)(결합)되어 센서 도파관 내에서 전파될 수 있다. 사용자의 각막 표면에서 반사된 광 패턴의 일부는 센서 도파관으로부터 감지부로 아웃-커플링(out-coupled)(분리)될 수 있다. 사용자의 각막 표면에서 반사된 광 패턴이 센서 도파관을 통해 전파되어 감지부에 도달할 수 있고, 감지부에서 반사 광 패턴에 대응되는 매핑 이미지가 생성될 수 있다. 반사 광 패턴은 적어도 하나의 스팟(spot)(신호 강도가 높은 픽셀을 포함하는 영역)의 형태로 매핑될 수 있다. 감지부를 통해 생성된 매핑 이미지는 적어도 하나의 스팟의 위치에 기초하여 분석될 수 있고, 분석 결과에 기초하여 사용자의 시선 방향이 계산될 수 있다.
일 실시예에서, 시선 방향에 대한 정보를 획득하기 위해, 평행광 광원을 통해 생성된 광 패턴이 각막 표면에 정반사(specular reflection) 됨으로써 생성된 광 신호가 사용될 수 있다. 예를 들어, 사용자의 시선 방향의 추적은 평행광 광원을 통해 생성되고, 각막 표면에서 정반사되고, 센서 도파관을 통해 감지부로 전달된 광 신호에 기초할 수 있다. 이와 같이, 본 개시의 일 실시예에 따른 시선 추적 방법에서는, 사용자의 눈 표면에서 확산되거나(diffused) 산란된(scattered) 빛이 아니라, 정반사된 반사광을 이용할 수 있다.
본 개시의 일 실시예에 따른 시선 방향을 결정하는 장치(시선 추적 센서)는 복잡하지 않은 간단한 구조를 가지며, 도파관(waveguide)을 포함하는 다양한 장치에 적용될 수 있고, 센서 도파관이 사용자의 눈 앞의 넓은 영역에서 반사광을 수집할 수 있어 장치가 컴팩트(compact) 해질 수 있고, 이동식 구성요소나 스위칭이 필요한 구성요소가 필요하지 않아 장치의 신뢰성(reliability)이 높아지는 등의 이점을 갖는다. 또한, 본 개시의 일 실시예에 따른 시선 추적 센서는 사용자의 각막 영역에 조사할 광 패턴을 생성하는데 낮은 밝기를 가지는 광원을 사용하기 때문에, 사용자의 눈에 안전하고, 사용자의 시야를 방해하지 않을 수 있다. 뿐만 아니라, 본 개시의 일 실시예에 따른 시선 추적 센서는 가시광선 스펙트럼 이외의 대역의 광 패턴을 이용함으로써, 전력 소비가 적고, 장치(센서)의 무게가 가벼워질 수 있다.
본 개시의 일 실시예에 따른 시선 추적 방법에서 광 패턴의 전파 동작은 다음의 특징들을 포함할 수 있다.
- 평행광(collimated) 광원을 통해 생성된 광 패턴이 사용자의 각막 영역에 조사됨
- 광 패턴의 일부가 사용자의 안구 각막에서 반사되어 센서 도파관 표면에 도달함
- 센서 도파관 표면에서, 반사 광 패턴은 인-커플링(in-coupling) 회절 광학 요소(diffractive optical element, DOE)에서 1차 회절되고 내부 전반사를 통해 센서 도파관 내부에서 전파됨
- 센서 도파관에서 반사 광 패턴은 아웃-커플링(out-coupling) DOE에서 2차 회절되고 센서 도파관의 외부로 아웃-커플링됨
- 아웃-커플링(분리)된 반사 광 패턴의 적어도 일부가 감지부에 도달함
일 실시예에서, 감지부에 도달한 광 신호는 다음의 동작들을 수행하는 것에 추가로 이용될 수 있다.
- 사용자의 각막에서 반사된 반사 광 패턴이 적어도 하나의 스팟(spot) 형태로 매핑된 매핑 이미지를 생성하는 동작
- 제어부(controller)가 매핑 이미지에 포함된 적어도 하나의 스팟의 위치에 기초하여 매핑 이미지를 분석하고, 분석 결과에 기초하여 사용자의 시선 방향을 결정(계산)하는 동작
본 개시의 일 실시예에 따른 시선 방향을 결정하는 방법(시선 추적 방법, 안구 위치 추적 방법)을 구현하는 전자 장치는 예를 들어, 다음의 요소들을 포함하는 시선 추적 센서의 형태로 구현될 수 있다.
- 광 패턴을 생성하고 사용자의 각막 표면에 생성된 광 패턴을 조사하도록 구성된 적어도 하나의 평행광 광원
- 각막 표면에서 반사된 광 패턴의 적어도 일부를 수집하고, 수집된 반사 광 패턴을 감지부로 전달하는 센서 도파관 (일 실시예에서, 센서 도파관은 각막 표변에서 반사된 광 패턴의 적어도 일부를 센서 도파관으로 인-커플링하고, 인-커플링된 광 패턴의 적어도 일부를 센서 도파관의 외부로 아웃-커플링하도록 구성된 적어도 하나의 회절 광학 요소(DOE)를 포함할 수 있다.)
- 센서 도파관을 통해 수집된, 아웃-커플링된 광 패턴에 대응되는 매핑 이미지를 생성하는 감지부
- 매핑 이미지에 포함된 적어도 하나의 스팟(spot)의 위치에 기초하여 매핑 이미지를 분석하고, 분석 결과에 기초하여 시선의 방향을 결정(계산)하도록 구성된 제어부(controller)
일 실시예에서, 평행광 광원에 의해 생성되고 사용자의 각막 영역에 조사된 광 패턴이 각막에서 반사됨으로써 광 신호가 생성될 수 있고, 시선 추적 센서는 이러한 광 신호를 분석하여 사용자의 현재 시선 방향을 결정할 수 있다. 예를 들어, 시선 방향은 안구의 위치를 나타낼 수 있다. 일 실시예에서, 광 패턴은 평행광(collimated light)으로부터 생성될 수 있다. 평행광을 이용할 경우, 반사된 광 신호는 각도(angular) 성분의 관점에서 국부화(localized)될 수 있고, 각막의 곡률(curvature)과 광원의 발산(divergence)에 의해 정의된 작은 발산 각도로 전파될 수 있어, 시선 추적 센서의 효율이 높아질 수 있다.
본 개시의 일 실시예에 따른 시선 추적 센서는, 센서 도파관을 이용함으로써 광원 또는 다른 구성요소들의 스캐닝(scanning), 스위칭(switching), 또는 기계적 움직임(mechanical movement)의 필요성을 없애고, 이에 따라, 장치의 신뢰성이 향상되고, 장치의 소비 전력이 감소되고, 장치의 크기가 작아질 수 있다.
일 실시예에서, 광 패턴을 생성하는 평행광 광원은 광을 시준(collimate)하고 광 패턴을 형성하는 DOE를 포함하는 레이저 다이오드로 구현될 수 있다. 일 실시예에서, 평행광 광원은 사용자의 눈에 보이지 않는 근적외선(near infrared, NIR) 대역에서 작동할 수 있다. 이 경우, 적어도 하나의 평행광 광원은 근적외선 대역의 광을 방출할 수 있다. 한편, 평행광 광원에서 방출되는 광의 스펙트럼 대역은 근적외선 대역에 한정되는 것은 아니며, 사용자의 눈에 보이지 않는 다양한 대역의 광이 방출될 수 있다. 일 실시예에서, 평행광 광원은 사용자의 눈에 보이는 대역의 광을 방출할 수도 있고, 이 경우, 사용자의 눈으로 조사되는 빛의 강도 또는 파장은 사용자의 시력에 실질적인 방해나 해를 끼치지 않도록 설정될 수 있다. 평행광 광원은 본 개시의 일 실시예에 따른 시선 추적 센서가 적용된 전자 장치의 구조적 요소에 배치될 수 있다. 평행광 광원이 배치되는 구조적 요소는 예를 들어, 도파관 프레임(waveguide frame), 보호 유리 지지대(protective glass support) 등이 될 수 있다. 평행광 광원 등의 시선 추적 센서의 구성 요소들은 사용자의 시야가 가려지지 않고 사용자의 시력이 방해 받지 않도록 적절한 위치에 배치될 수 있다.
안구의 각막 영역에 조사된 광 패턴은, 사용자의 안구 표면에 대한 스캐닝이나 다른 움직임이 없고, 광 패턴의 형상이나 크기에 변화가 없이 위치도 일정하게 유지된다는 의미에서 정적(static)이다. 이에 따라, 본 개시의 일 실시예에 따른 시선 추적 센서는 스캐닝이나 스위칭이 필요한 구성요소 대신 정적인 적어도 하나의 평행광 광원을 이용할 수 있다.
일 실시예에서, 광 패턴은 점들의 집합, 직사각형, 정사각형, 원, 타원 등의 다양한 기하학적 도형 형태로 생성될 수도 있고, 단일 라인(line) 형태로 생성되거나, 복수의 평행한 라인들의 집합, 또는 복수의 라인들이 교차(예를 들어, 직교)된 형태로 형성될 수 있다. 한편, 본 개시의 일 실시예에 따른 광 패턴은 전술한 예시적 형태들에 제한되지 않으며, 다양한 형태를 가질 수 있다.
도 2는 본 개시의 일 실시예에 따른 평행광 광원에서 생성된 광 패턴, 각막 표면에서 반사된 반사 광 패턴의 궤적, 및 반사 광 패턴의 센서 도파관 내 전파를 설명하기 위한 도면이다.
일 실시예에서, 광 패턴은 복수의 라인들의 집합 형태로 생성될 수 있다. 예를 들어, 도 2에서는 광 패턴이 복수의 평행한 라인들의 집합 형태로 생성되는 실시예에 대해 도시한다. 도 2를 참조하면, 적어도 하나의 광원과 감지부가 X축을 따라 배치되면, 광 패턴을 형성하는 평행한 라인들은 Y축을 따라 배향(oriented)될 수 있다. 이러한 광 패턴에서, 각각의 평행한 라인들은 감지부를 통해 생성된 매핑 이미지 상 하나의 스팟(spot)(점)으로 투영될 수 있다. 광 패턴이 조사된 사용자 안구의 각막은 위치가 바뀔 수 있으므로, 반사된 광 신호는 다양한 각도로 도파관(waveguide)에 도달할 수 있다. 따라서 감지부를 통해 생성된 매핑 이미지 상 여러 영역에 적어도 하나의 스팟이 형성될 수 있고, 사용자의 안구의 위치가 변경되면 매핑 이미지 상 스팟의 위치가 변경될 수 있다. 구조화된 광 패턴(structured light pattern)으로서 평행한 라인들의 집합을 이용할 경우 시선 추적 센서의 추적 각도 범위를 넓힐 수 있다. 특히, 안구가 Y축을 중심으로 회전할 때 Y축에 대한 안구 움직임 추적 각도의 범위를 넓힐 수 있다.
일 실시예에서, 다중 광원이 안구의 각막 영역에 광 패턴을 조사하는 동작에 이용될 수 있고, 특히 안구가 X축을 중심으로 회전할 때 X축에 대한 안구 움직임 추적 범위를 넓힐 수 있다. 예를 들어, 각각의 평행광 광원이 대응되는 고유한 광 패턴을 가지거나, 각각의 평행광 광원이 하나의 광 패턴의 일부에 대응되는 광 패턴을 갖는, 복수의 평행광 광원을 사용하는 것이 바람직할 수 있다. 복수의 평행광 광원들은 서로 다른 방향에서 사용자의 안구를 조명할 수 있다.
도 3은 본 개시의 일 실시예에 따른 복수의 평행광 광원을 포함하는 시선 추적 센서가 시선 방향을 결정하는 동작을 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 시선 추적 센서는 제1 광원 및 제2 광원을 포함하는 2개의 평행광 광원을 포함할 수 있다. 제1 광원 및 제2 광원은 각각 서로 다른 시간(주기), 예를 들어 제1 주기 또는 제2 주기로, 광 패턴을 생성할 수 있다. 도 3을 참조하면, 제1 구간(first sensor operation period) 동안 제1 광원은 켜지고 제2 광원은 꺼질 수 있고, 마찬가지로 제2 구간(second sensor operation period) 동안 제1 광원은 꺼지고 제2 광원은 켜질 수 있다.
도 3을 참조하면, 광 패턴은 2개의 광원 각각을 통해 안구의 각막 영역에 간헐적으로(intermittently) 조사될 수 있다. 제1 광원은 제1 광 패턴을 생성할 수 있고 제2 광원은 제2 광 패턴을 생성할 수 있다. 일 실시예에서, 제1 광 패턴과 제2 광 패턴은 동일한 형상 및 크기를 가질 수 있다. 제1 광 패턴이 조사되는 각막 상 위치와 제2 광 패턴이 조사되는 각막 상 위치는 동일할 수 있다. 한편, 다른 일 실시예에서, 제1 광 패턴과 제2 광 패턴은 서로 다른 형상이나 크기를 가질 수도 있고, 제1 광 패턴이 조사되는 각막 상 위치와 제2 광 패턴이 조사되는 각막 상 위치가 상이할 수도 있다.
다중 광원을 포함하는 시선 추적 센서는 시선 추적의 범위를 더욱 넓힐 수 있다. 다중 광원은 단일 광원에 비해 시선을 추적하기 위한 더 많은 양의 정보를 제공할 수 있다. 또한, 복수의 광원들을 간헐적 온/오프 스위칭할 경우, 제어부를 통한 정보의 해석이 용이해질 수 있다. 한편, 본 개시의 일 실시예에 따른 시선 추적 센서에서 다중 광원은 2개인 경우에 제한되지 않으며, 다중 광원의 구동 방법은 간헐적 온/오프 스위칭의 경우에 제한되지 않는다. 시선 추적 센서는 다양한 개수의 광원을 포함할 수 있고, 다중 광원의 구동 방법은 다양한 방식으로 구현될 수 있다.
일 실시예에서, 시선 방향을 결정하는 방법은 센서 도파관을 통해 감지부에 도달하는 반사 광 패턴의 일부를 등록(registering)하는 동작에 기초할 수 있다. 본 개시의 일 실시예에 따른 시선 추적 센서는, 센서 도파관(sensor waveguide)을 포함할 수 있다.
광 패턴은, 반사 표면의 법선(normal)에 대해 입사각이 반사각과 동일하다는 반사 법칙에 따라, 각막 표면에 입사되고 반사될 수 있다. 법선, 입사광, 및 반사광은 동일 평면에 위치할 수 있다.
도 4는 본 개시의 일 실시예에 따른 인-커플링 회절 광학 요소(in-coupling DOE) 및 아웃-커플링 회절 광학 요소(out-coupling DOE)를 포함하는 센서 도파관을 도시한 도면이다. 도 4를 참조하면, 일 실시예에서, 각막 표면에서 반사된 광 패턴은 인-커플링 DOE에서 회절되고 도파관을 통해 전파될 수 있다. 도파관은 넓은 물리적 영역에 걸쳐 안구의 각막에서 반사된 빛을 수집할 수 있으므로, 도파관을 포함하는 시선 추적 센서는 사용자의 눈 앞 시야 영역에 반사된 빛을 감지하는 카메라를 배치하거나 복수의 위치에 여러 대의 카메라를 배치할 필요가 없다. 사용자의 안구 표면(예를 들어, 사용자의 각막 표면)은, 안구의 위치(응시점)가 변경됨에 따라 반사된 광의 공간 분포도 변경되는, 일종의 광 변조기(light modulator)로 기능할 수 있다. 안구 표면에서 반사된 광 신호는 구형인 안구의 구조로 인해 발산될 수 있고, 안구의 위치(각막 위치, 응시점)가 변경됨에 따라 변경될 수 있다. 일 실시예에서, 센서 도파관을 포함하는 시선 추적 센서는 사용자의 눈 앞 넓은 영역에서 광 신호를 수집할 수 있고, 전술한 바와 같이, 각막 표면에서 변조된 광 신호를 수집할 수 있다.
센서 도파관으로 인-커플링(결합)된 광 패턴의 일부는 아웃-커플링 DOE에서 다시 회절되고, 도파관으로부터 아웃-커플링(분리)되어 감지부에 도달할 수 있다. 하나의 방향에서 감지부에 입사된 광은 생성된 매핑 이미지에서 스팟을 형성할 수 있다. 매핑 이미지에서 스팟의 위치는 사용자 안구의 각도 위치에 따라 달라질 수 있다.
일 실시예에서, 센서 도파관에 인-커플링된 광 패턴은 적어도 하나의 DOE를 통해 곱(multiple)해질 수 있다. 광 패턴이 곱해진다는 것은, 광 패턴이 센서 도파관 내에서 전파되는 방향이 센서 도파관의 다른 영역에 대해 2배가 된다는 것을 나타낸다. 이에 따라, 각막에서 반사된 광 패턴은 각각 아웃-커플링 DOE 영역과 감지부 영역에 다양한 각도로 도달할 수 있고, 감지부에서 스팟 형태의 광 신호를 검출하는 것이 아니라, 각막 표면에서 반사된 광 패턴의 적어도 일부에 대응하는 패턴 형태의 광 신호를 획득할 수 있도록 한다. 따라서, 수신된 광 신호의 다이어파손(diapason)을 넓히고, 나아가 시선 추적 센서의 추적 각도 범위를 확장시킬 수 있다.
일 실시예에서, 감지부는 CMOS(Complementary Metal Oxide Semiconductor) 매트릭스 또는 CCD(Charge-Coupled Device) 매트릭스를 포함하고, 렌즈를 더 포함하는 카메라로 구성될 수 있다. 각막에서 반사된 광 신호를 수신하기 위해 센서 도파관을 이용하는 시선 추적 센서는 높은 효율을 가질 수 있고, 넓은 범위의 감도를 가질 수 있다.
본 개시의 일 실시예에 따른 시선 추적 센서는, 각막 표면에서 반사된 광 패턴의 적어도 일부를 센서 도파관으로 인-커플링하고, 인-커플링된 광 패턴의 적어도 일부를 센서 도파관의 외부로 아웃-커플링하는, 하나의 공통 DOE를 포함하는 센서 도파관을 포함할 수 있다.
일 실시예에서, 시선 추적 센서는, 각막 표면에서 반사된 광 패턴의 적어도 일부를 센서 도파관으로 인-커플링하는 인-커플링 DOE 및 인-커플링된 광 패턴의 적어도 일부를 센서 도파관의 외부로 아웃-커플링하는 아웃-커플링 DOE를 포함하는 센서 도파관을 포함할 수 있다. 예를 들어, 센서 도파관은 별도의 인-커플링 DOE 및 아웃-커플링 DOE를 포함할 수 있다.
인-커플링 DOE는 각막에서 반사된 광을 센서 도파관으로 인-커플링하기 위해 센서 도파관 상에 제공될 수 있다(예를 들어, 센서 도파관 표면 상에 배치되거나, '기록(recording)' 등의 방법으로 센서 도파관 내부에 통합되어 배치될 수 있다). 아웃-커플링 DOE는 센서 도파관 내에서 전파된 광을 센서 도파관 외부로(감지부로) 아웃-커플링하기 위해 감지부 부근의 센서 도파관 상에 제공될 수 있다(예를 들어, 센서 도파관 표면 상에 배치되거나, '기록(recording)' 등의 방법으로 센서 도파관 내부에 통합되어 배치될 수 있다).
한편, 본 개시의 일 실시예에 따른 시선 추적 센서는, 전술한 인-커플링 DOE 및 아웃-커플링 DOE를 각각 포함하는 실시예에 제한되는 것은 아니며, 각막에서 반사된 광을 센서 도파관으로 인-커플링하고 센서 도파관 내에서 전파된 광을 감지부로 아웃-커플링하기 위한 다양한 형태의 DOE를 포함할 수 있다.
인-커플링 DOE 및 아웃-커플링 DOE를 각각 포함하는 경우, 전술한 바와 같이, 센서 도파관 내부에서 광의 내부 전반사에 의해 광 손실 없이 전파될 수 있기 때문에, 감지부와 광 패턴 인-커플링 영역 사이의 광 손실이 감소될 수 있다.
도 5는 본 개시의 일 실시예에 따른 시선 추적 센서를 포함하는 증강 현실 장치를 설명하기 위한 도면이다.
증강 현실 장치는 사용자가 안면부에 착용하는 안경 형상의 AR 안경(AR glasses), 두부에 착용하는 헤드 마운트 디스플레이(head mounted display, HMD), 가상 현실 헤드셋(virtual reality headset, VRH), 또는 AR 헬멧(AR helmet) 등을 포함할 수 있다. 증강 현실 장치의 경우, 사용자의 눈 앞에 디스플레이를 배치함으로써, 사용자에게 초대형 화면을 제공할 수 있고, 사용자의 움직임에 따라 화면이 움직이므로 사실적인 가상 세계를 제공할 수 있다. 증강 현실 장치는 사용자의 수렴 거리(vergence distance)를 결정하기 위해 시선 추적(eye tracking) 시스템을 포함할 수 있다. 일 실시예에서, 증강 현실 장치는 경량의 휴대용 표시 장치 또는 하나 이상의 레이저 투사 안경(예를 들어, 사용자에게 이미지 또는 깊이 콘텐트를 투사 및 표시하기 위해 사용자의 망막 상에 저전력 레이저(low-powered laser)를 투사할 수 있는 안경)과 같은 장치를 포함할 수 있다.
증강 현실 장치는 디스플레이를 포함할 수 있다. 일 실시예에서, 디스플레이는 투명 부재에 집광 렌즈 또는 도파관(waveguide)을 포함할 수 있다. 예를 들어, 투명 부재는 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있고, 완전히 투명하거나 반투명하게 제작될 수 있다. 일 실시예에서, 투명 부재는 증강 현실 장치를 착용한 사용자의 우안에 대면하는 제1 투명 부재 및 사용자의 좌안에 대면하는 제2 투명 부재를 포함할 수 있다. 디스플레이가 투명인 경우, 사용자의 눈과 대면하는 위치에 배치되어 화면을 표시할 수 있다.
도파관은 디스플레이의 광원에서 생성된 빛을 사용자의 눈으로 전달할 수 있다. 예를 들어, 도파관은 투명 부재의 일부에 적어도 부분적으로 위치할 수 있다. 일 실시예에 따르면, 디스플레이에서 방출된 광은 도파관의 일단으로 입사될 수 있고, 입사된 광이 도파관 내에서 내부 전반사를 통해 사용자 눈으로 전달될 수 있다. 도파관은 유리, 플라스틱, 또는 폴리머등 투명한 소재로 제작될 수 있으며, 내부 또는 외부의 일 표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에서, 입광된 광은 나노 패턴에 의해 도파관 내부에서 전파 또는 반사되어 사용자의 눈으로 제공될 수 있다. 일 실시예에서, 도파관은 적어도 하나의 회절요소(예를 들어, DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사요소(예를 들어, 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 도파관은 적어도 하나의 회절요소 또는 반사요소를 이용하여 프로젝터 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다.
일 실시예에서, 디스플레이는 디스플레이 패널 또는 렌즈(예를 들어, 글라스)를 포함할 수 있다. 예를 들어, 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다. 일 실시예에서, 디스플레이는 투명 소자로 구성될 수 있고, 사용자가 디스플레이를 투과하여, 디스플레이 후면의 실제 공간을 인지할 수도 있다. 디스플레이는 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.
도 5를 참조하면, 증강 현실 장치는 사용자의 각막 표면에 광 패턴을 조사하는 평행광 광원 및 반사 광 패턴을 수신하는 감지부를 포함하는 시선 추적 센서를 포함할 수 있다. 증강 현실 장치는 사용자의 시선을 추적하기 위한 센서 도파관 뿐만 아니라, 증강 현실 장치로부터 출력되는 정보를 디스플레이하기 위한 디스플레이 도파관을 포함할 수 있다. 디스플레이 도파관을 통해 가상 객체 이미지 소스(예를 들어, AR 프로젝터)에서 출력되는 가상 객체의 이미지를 표시할 수 있다. 일 실시예에서, 센서 도파관은 디스플레이 도파관에 비해 사용자의 안구에 가깝게 배치되고, 디스플레이 도파관과 나란하게 배치될 수 있다. 예를 들어, 센서 도파관의 일면이 디스플레이 도파관의 일면과 접하도록 배치될 수 있다. 일 실시예에서, 센서 도파관은 디스플레이 도파관에 통합되어, 디스플레이 도파관의 일부분으로 구성될 수도 있다. 일 실시예에서, 센서 도파관의 면적은 디스플레이 도파관의 면적에 비해 작을 수 있다.
일 실시예에서, 시선 추적 센서는 AR 프로젝터(가상 객체 이미지 소스) 및 가상 객체 이미지를 표시하기 위한 적어도 하나의 디스플레이 도파관을 포함하는 웨어러블 증강 현실(AR) 장치의 구조에 쉽게 통합될 수 있다.
도 6은 본 개시의 일 실시예에 따른 시선 추적 센서를 포함하는 안경 타입의 증강 현실 장치를 설명하기 위한 도면이다. 안경 타입의 증강 현실 장치에서, 시선 추적 센서의 구성요소들은 사용자의 시야 밖에 대응되는 부분에 배치될 수 있다. 예를 들어, 감지부는 안경 타입 증강 현실 장치의 탬플(예를 들어, 이어피스(ear-piece) 영역)에 배치될 수 있고, 적어도 하나의 평행광 광원은 안경 타입 증강 현실 장치의 프레임(frame)에서 사용자의 코에 인접한 지지부 영역에 배치될 수 있다.
도 7은 본 개시의 일 실시예에 따른 시선 추적 센서를 포함하는 전자 장치가 시선 방향을 결정하는 방법의 흐름도이다.
전자 장치가 시선 방향을 결정하는 방법, 또는 시선 추적 방법은 예를 들어, 전자 장치에 포함된 시선 추적 센서에 의해 수행될 수 있다.
단계 S710에서, 전자 장치는, 적어도 하나의 평행광 광원에서 출력된 광 패턴을 각막 표면에 조사할 수 있다. 예를 들어, 각막 영역에서 사용자의 안구 표면에 광 패턴이 조사될 수 있다. 적어도 하나의 평행광 광원은 각막 영역에 대응되는 사용자의 안구 표면을 조명할 수 있다. 전술한 바와 같이, 레이저 다이오드 또는 다른 시준된(collimated) 광원(예를 들어, 근적외선(NIR) 대역에서 작동하는 평행광 광원)이 광 패턴 생성 동작에 이용될 수 있다.
각막 영역에 대응되는 사용자의 안구 표면에 조사된 광 패턴은 사용자의 각막 표면으로부터 부분적으로 정반사(specular reflect)될 수 있다. 사용자의 안구에 조사된 광 패턴은 각막 표면에서 반사, 굴절, 산란, 및 흡수될 수 있다. 예를 들어, 각막 영역에 입사하는 광 패턴의 약 2.5% 이상이 정반사될 수 있다.
사용자의 각막에서 정반사된 광 패턴은 반사 광 패턴으로 나타낼 수 있다. 단계 S720을 참조하면, 전자 장치는 센서 도파관을 통해 가이드(guide)된, 각막 표면에서 반사된 광 패턴의 적어도 일부를 검출할 수 있다. 광 패턴의 적어도 일부는 센서 도파관을 통해 가이드될 수 있다. 예를 들어, 전자 장치는 센서 도파관을 통해 광 패턴의 적어도 일부를 감지부로 가이드할 수 있다. 반사된 광 패턴은 각막 표면에서 반사되어 센서 도파관으로 입사(incident)되는 광 패턴의 적어도 일부일 수 있다. 예를 들어, 전자 장치는 반사 광 패턴의 적어도 일부를 센서 도파관을 통해 수집할 수 있고, 수집된 반사 광 패턴을 센서 도파관을 통해 감지부로 전달(가이드)할 수 있다. 예를 들어, 사용자의 각막에서 반사된 광 패턴의 적어도 일부는 센서 도파관을 통해 감지부로 전파될 수 있다. 즉, 센서 도파관은 사용자의 안구 표면에서 반사된 광을 수집하는 동작에 이용될 수 있다. 반사 광 패턴은, DOE(또는 인-커플링 DOE)를 통해 센서 도파관 내부로 인-커플링될 수 있고, 센서 도파관 내에서 전파될 수 있고, 센서 도파관으로부터 DOE(또는 아웃-커플링 DOE)를 통해 아웃-커플링될 수 있다. 일 실시예에서, 센서 도파관으로의 광 패턴 인-커플링 또는 센서 도파관으로부터 감지부로의 광 패턴 아웃-커플링의 효율을 개선하기 위해, 전자 장치는 복수의 DOE를 포함할 수 있다.
센서 도파관으로 인-커플링된 광 패턴은, 센서 도파관 내부의 광 전반사에 의해 전파될 수 있고, 센서 도파관 내부의 전반사는 광 패턴이 감지부를 향해 진행하는 경로에서 광 손실을 감소시킬 수 있다.
단계 S730에서, 전자 장치는, 광 패턴의 적어도 일부에 대응되는 매핑 이미지를 획득할 수 있다. 예를 들어, 전자 장치에 포함된 감지부는 사용자의 각막에서 반사된 광 패턴이 센서 도파관을 통해 감지부에 도달하여, 적어도 하나의 스팟(spot) 형태로 매핑된 매핑 이미지를 생성할 수 있다. 전술한 바와 같이, 센서 도파관을 통해 도달하는 광 패턴을 수신하는 감지부는, CMOS 또는 CCD 이미지 센서를 포함하는 카메라를 포함할 수 있다. 감지부를 통해 생성된 매핑 이미지에서 사용자의 각막에서 반사된 광 신호의 매핑 형태는, 전술한 바와 같이 시선 추적 센서의 구성에 따라 달라질 수 있다.
예를 들어, 광 패턴이 단일 라인 형태로 구성될 경우, 작은 크기의 조리개 구경을 갖는 감지부에 의해 생성된 매핑 이미지에서는 해당 광 패턴에 단일한 타원형의 고강도(high-intensity) 스팟이 매핑될 수 있다. 감지부의 조리개 구경이 큰 경우, 다른 방향의 광 패턴으로 인한 빛이 동일한 조리개를 통해 추가로 수신될 수 있기 때문에, 매핑되는 스팟은 일 방향으로 커질 수 있다. 예를 들어, 광 패턴이 복수의 평행한 라인들의 집합 형태로 생성될 경우, 매핑 이미지에 여러 개의 고강도 스팟들이 포함될 수 있다.
단계 S740에서, 전자 장치는, 획득된 매핑 이미지에 기초하여 사용자의 시선의 방향을 결정할 수 있다. 예를 들어, 전자 장치에 포함된 제어부는 감지부를 통해 생성된 매핑 이미지를 분석하고, 분석 결과에 기초하여 현재 사용자의 시선 방향을 계산할 수 있다. 일 실시예에서, 매핑 이미지의 분석에는 적어도 하나의 컴퓨터 프로그램, 컴퓨터 프로그램 요소, 소프트웨어 모듈 등의 형태로 구현될 수 있는 소프트웨어 또는 펌웨어가 이용될 수 있다. 예를 들어, 소프트웨어는 전자 장치의 저장부에 저장될 수 있다.
도 8은 본 개시의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 수직 축인 Y축에 대해 사용자의 안구가 회전할 수 있다.
사용자의 안구가 각도 γeye 만큼 회전할 때, 회전 전 위치인 제1 안구 위치와 회전 후 위치인 제2 안구 위치가 있다고 가정한다. 평행광 광원에 의해 일정한 각도로 생성된 광 패턴은 안구의 위치에 따라 각막에서 반사되는 반사광의 방향이 달라진다. 제1 안구 위치의 각막 표면에서 반사된 광 패턴은 각도 φin1이 되도록 인-커플링 DOE에서 회절되고, 제2 안구 위치의 각막 표면에서 반사된 광 패턴은 각도 φin2가 되도록 인-커플링 DOE에서 회절된다.
센서 도파관으로 인-커플링된 반사 광 패턴의 일부는 센서 도파관을 통해 전파되고 아웃-커플링 DOE에서 2차 회절될 수 있다. 제1 안구 위치의 각막 표면에서 반사된 광 패턴은 센서 도파관의 표면으로부터 각도 αout1이 되도록 아웃-커플링 DOE에서 2차 회절되고, 제2 안구 위치의 각막 표면에서 반사된 광 패턴은 센서 도파관의 표면으로부터 각도 αout2가 되도록 아웃-커플링 DOE에서 2차 회절된다. 2차 회절된 반사 광 패턴은 감지부를 통해 수집될 수 있다.
각막에서 반사되어 센서 도파관을 통해 수집된 반사 광 패턴은, 감지부에 도달하여 감지부를 통해 생성된 매핑 이미지 상 스팟(spot)을 형성할 수 있다. 일 실시예에서, 수직 축 Y축을 기준으로 안구가 회전하면 감지부에 의해 생성된 매핑 이미지 상의 특정 스팟이 수평 축 X축을 따라 이동할 수 있다.
유사하게, 사용자의 안구가 수평 축 X축을 기준으로 회전하면, 각막에서 반사된 반사 광 패턴은 수평 축 X축에 대해 일정 각도를 가지고 감지부에 도달하고, 감지부에서 매핑 이미지 상 특정 스팟은 수직 축 Y축을 따라 이동할 수 있다. 이와 같이, 감지부를 통해 생성한 매핑 이미지 상 스팟 위치는 안구 위치(특히 각막 위치)에 따라 달라진다.
제어부(controller)는 감지부를 통해 생성된 매핑 이미지를 분석하고 안구의 위치(즉, 시선 방향)를 계산할 수 있다. 매핑 이미지 분석은 예를 들어, X축과 Y축에 대한 스팟의 현재 좌표를 결정하는 동작에 기초할 수 있다.
일 실시예에서, 평행광 광원을 통해 생성된 광 패턴은 시선 추적을 위한 타겟 안구의 각막 위치 범위 내에서 조사되어야 하며, 센서 도파관을 통해 전파되는 광 패턴은 감지부에 도달할 수 있어야 한다.
도 9a 내지 9d는 본 개시의 일 실시예에 따른 인-커플링 회절 광학 요소 평면에서, 각막 표면에서 반사된 반사 광 패턴의 적어도 일부를 설명하기 위한 도면이다. 도 9a 내지 9d를 참조하면, 반사 광 패턴은 단일 라인의 형태를 가질 수 있다. 사용자의 안구가 X축 또는 Y축을 중심으로 회전함에 따라, 사용자의 안구 표면에서 반사된 반사 광 패턴이 위치와 모양이 변하면서 인-커플링 DOE 평면 상에 표시되는 것을 확인할 수 있다. 예를 들어, 도 9a 내지 9d를 참조하면, 직선 단일 라인 형태의 광 패턴이 평행광 광원에서 방출된 경우, 각막 표면에서 반사된 반사 광 패턴이 인-커플링 DOE 평면 상에 표시될 때에는 곡선의 단일 라인 형태로 나타날 수 있음을 확인할 수 있다. 이는, 사용자의 안구 및 각막이 구형을 갖기 때문이다.
본 개시의 일 실시예에 따르면, 광 패턴은 근적외선(NIR) 대역의 광에 민감한 CMOS 또는 CCD 센서를 갖는 카메라를 포함하는 감지부를 통해 감지될 수 있다. 각막 영역에서 사용자의 안구 표면에 투영되는 정적(static) 광 패턴은, 광원의 위치가 변화하지 않음을 나타낼 수 있다. 광 패턴이 평행광 광원으로부터 생성되는 경우, 광 패턴은 각막에서 반사됨으로써 반사 광 패턴 또는 광 신호를 생성할 수 있고, 특정 광 신호의 다양한 파라미터들은 특정 범위 내의 각막 위치(시선 방향)에 고유하게 대응한다.
본 개시의 일 실시예에 따른 시선 추적 센서를 포함하는 전자 장치가 시선 방향을 결정하는 방법은 다음과 같은 이점이 있다.
- 기계적 움직임(mechanical movement)이나 광학적 스위칭(optical switching)이 요구되지 않는 구성요소들만을 포함함으로써, 시선 추적 센서의 장기적인 신뢰성 강화
- 사용자의 눈에 시각적으로 인식되지 않는 스펙트럼 대역(예를 들어, 근적외선(NIR) 대역)에서 낮은 강도로 빛을 조사함으로써 사용자의 시각적 안전 도모 및 시야 간섭 방지
- 반사광의 수집 동작에 센서 도파관을 이용함으로써, 사용자의 시야 외부에 광원 및 감지부 등의 시선 추적 센서 구성 요소들을 배치 가능
본 개시의 일 실시예에 따른 시선 추적 센서 및 시선 추적 방법은 증강 현실(AR) 장치, 가상 현실(VR) 장치, 퍼스널 컴퓨터용 시선 추적 장치, 헬멧 장착의 타겟팅 시스템, 의료 장비 등 다양한 애플리케이션에 적용될 수 있다. 일 실시예에서, 시선 추적 기술은 사용자 인터페이스에서 가상 현실 콘텐츠 또는 증강 현실 콘텐츠를 선택하기 위해 사용될 수 있고, 전자 장치의 화면에 대한 자동 텍스트 스크롤, 방향 선택, 사용자 제스처 감지, 텍스트 입력, 액세스 제어 동작들뿐만 아니라, 사용자에게 제공되는 이미지 렌더링의 최적화 작업(예를 들어, foveated rendering), 밝기 균등화를 위한 색상 보정, 사용자의 안구 움직임을 기반으로 한 사용자의 생리적 상태 인식 등의 같은 다양한 동작들에 이용될 수 있다.
본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 본 개시에서, “애플리케이션(application)” 및 “프로그램(program)”은 컴퓨터 판독 가능한 프로그램 코드에서의 구현에 적합한 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령어 세트, 프로시저(procedure), 함수, 개체(object), 클래스, 인스턴스, 관련 데이터, 또는 그것의 일부를 나타낼 수 있다. “컴퓨터 판독 가능한 프로그램 코드”는, 소스 코드, 목적 코드, 및 실행 가능한 코드를 포함하는 다양한 유형의 컴퓨터 코드를 포함할 수 있다. “컴퓨터 판독 가능한 매체”는, ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브(HDD), CD(compact disc), DVD(digital video disc), 또는 다양한 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 다양한 유형의 매체를 포함할 수 있다.
또한, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장 매체’는 실재(tangible)하는 장치이고, 일시적인 전기적 또는 다른 신호들을 전송하는 유선, 무선, 광학적, 또는 다른 통신 링크들을 배제할 수 있다. 한편, 이 ‘비일시적 저장 매체’는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, ‘비일시적 저장 매체’는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 컴퓨터 판독 가능한 매체는, 데이터가 영구적으로 저장될 수 있는 매체와 데이터가 저장되고 나중에 덮어쓰기 될 수 있는 매체, 이를테면 재기입 가능한 광 디스크 또는 소거 가능한 메모리 디바이스를 포함한다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두 개의 사용자 장치들(예를 들어, 스마트폰) 간에 직접, 온라인으로 배포(예를 들어, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예를 들어, 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. 본 개시에서 인용되고 논의된 모든 선행 기술의 참조는 적용 가능한 경우 참조로서 본 개시 내용에 통합된다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 시선 추적 방법에 있어서,
    적어도 하나의 평행광 광원에서 출력된 광 패턴을 각막 표면에 조사하는 단계;
    센서 도파관을 통해 가이드된, 상기 각막 표면에서 반사된 상기 광 패턴의 적어도 일부를 검출하는 단계;
    상기 광 패턴의 적어도 일부에 대응되는 매핑 이미지를 획득하는 단계; 및
    상기 획득된 매핑 이미지에 기초하여 시선 방향을 결정하는 단계를 포함하며,
    상기 시선 방향을 결정하기 위해 이용되는 상기 센서 도파관은, 전자 장치로부터 출력되는 정보를 디스플레이하기 위한 도파관과 상이한 것인, 방법.
  2. 제1항에 있어서, 상기 광 패턴은 근적외선(near infrared, NIR) 대역에서 작동하는 적어도 하나의 평행광 광원을 통해 생성되는, 방법.
  3. 제1항에 있어서, 상기 광 패턴은 단일 라인(line) 형태로 생성되거나, 또는 복수의 평행한 라인들의 집합 형태로 생성되는, 방법.
  4. 제1항에 있어서, 상기 적어도 하나의 평행광 광원은 레이저 다이오드를 포함하는, 방법.
  5. 제1항에 있어서, 상기 센서 도파관을 통해 가이드된 광 패턴의 적어도 일부는,
    상기 각막 표면에서 반사된 광 패턴의 적어도 일부가 회절 광학 요소(diffractive optical element, DOE)를 통해 상기 센서 도파관으로 인-커플링되고 상기 센서 도파관의 외부로 아웃-커플링된 것인, 방법.
  6. 제5항에 있어서, 상기 센서 도파관은 인-커플링(in-coupling) 회절 광학 요소(diffractive optical element, DOE) 및 아웃-커플링(out-coupling) 회절 광학 요소(DOE)를 포함하고,
    상기 센서 도파관을 통해 가이드된 광 패턴의 적어도 일부는, 상기 각막 표면에서 반사된 광 패턴의 적어도 일부가 상기 인-커플링 회절 광학 요소를 통해 상기 센서 도파관으로 인-커플링되고, 상기 아웃-커플링 회절 광학 요소를 통해 상기 센서 도파관의 외부로 아웃-커플링된 것인, 방법.
  7. 제5항에 있어서, 상기 각막 표면에서 반사된 광 패턴의 적어도 일부는 제1 광 및 제2 광을 포함하고,
    상기 센서 도파관으로 인-커플링된 광 패턴의 적어도 일부는, 상기 제1 광 및 상기 제2 광의 곱에 대응되는, 방법.
  8. 시선 추적 센서에 있어서,
    광 패턴을 각막 표면에 조사하는, 적어도 하나의 평행광 광원;
    상기 각막 표면에서 반사된 광 패턴의 적어도 일부를 감지부로 가이딩하는 센서 도파관;
    상기 센서 도파관을 통해 가이드된, 각막 표면에서 반사된 광 패턴의 적어도 일부를 검출하고, 상기 광 패턴의 적어도 일부에 대응되는 매핑 이미지를 획득하는 감지부; 및
    상기 획득된 매핑 이미지에 기초하여 시선의 방향을 결정하는 제어부를 포함하는, 시선 추적 센서.
  9. 제8항에 있어서, 상기 적어도 하나의 평행광 광원은 근적외선(NIR) 대역의 광을 방출하는, 시선 추적 센서.
  10. 제8항에 있어서, 상기 광 패턴은 단일 라인(line) 형태로 생성되거나, 또는 복수의 평행한 라인들의 집합 형태로 생성되는, 시선 추적 센서.
  11. 제8항에 있어서, 상기 적어도 하나의 평행광 광원은 레이저 다이오드를 포함하는, 시선 추적 센서.
  12. 제8항에 있어서, 상기 센서 도파관은,
    상기 각막 표면에서 반사된 광 패턴의 적어도 일부를 상기 센서 도파관으로 인-커플링하고, 상기 인-커플링된 광 패턴의 적어도 일부를 상기 센서 도파관의 외부로 아웃-커플링하는, 회절 광학 요소(DOE)를 포함하는, 시선 추적 센서.
  13. 제8항에 있어서, 상기 센서 도파관은:
    상기 각막 표면에서 반사된 광 패턴의 적어도 일부를 상기 센서 도파관으로 인-커플링하는, 인-커플링 회절 광학 요소(in-coupling DOE), 및
    상기 인-커플링된 광 패턴의 적어도 일부를 상기 센서 도파관의 외부로 아웃-커플링하는, 아웃-커플링 회절 광학 요소(out-coupling DOE)를 포함하는, 시선 추적 센서.
  14. 제13항에 있어서,
    상기 각막 표면에서 반사된 광 패턴의 적어도 일부는 제1 광 및 제2 광을 포함하고,
    상기 인-커플링 회절 광학 요소는 상기 제1 광 및 상기 제2 광을 곱하도록 구성되는, 시선 추적 센서.
  15. 제8항 내지 제14항 중 어느 한 항에 따른 적어도 하나의 시선 추적 센서를 포함하는 증강 현실(AR) 장치로서,
    상기 센서 도파관과 상이하며, 상기 증강 현실 장치로부터 출력되는 정보를 디스플레이하기 위한 도파관을 더 포함하는, 증강 현실 장치.
KR1020210132734A 2020-10-07 2021-10-06 시선 방향을 결정하는 방법 및 시선 추적 센서 KR20220046494A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/496,516 US20220108458A1 (en) 2020-10-07 2021-10-07 Eye position tracking sensor and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2020133060A RU2766107C1 (ru) 2020-10-07 2020-10-07 Датчик и способ отслеживания положения глаз
RU2020133060 2020-10-07

Publications (1)

Publication Number Publication Date
KR20220046494A true KR20220046494A (ko) 2022-04-14

Family

ID=80214875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210132734A KR20220046494A (ko) 2020-10-07 2021-10-06 시선 방향을 결정하는 방법 및 시선 추적 센서

Country Status (2)

Country Link
KR (1) KR20220046494A (ko)
RU (1) RU2766107C1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024019273A1 (ko) * 2022-07-22 2024-01-25 삼성전자 주식회사 증강 현실을 제공하는 전자 장치 및 전자 장치의 이미지 보상 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230359030A1 (en) * 2022-05-06 2023-11-09 Meta Platforms, Inc. Methods, Apparatuses and Computer Program Products for Remote Fluorophore Illumination in Eye Tracking Systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8955973B2 (en) * 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
EP3318914A1 (en) * 2016-11-04 2018-05-09 Nokia Technologies OY Gaze tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024019273A1 (ko) * 2022-07-22 2024-01-25 삼성전자 주식회사 증강 현실을 제공하는 전자 장치 및 전자 장치의 이미지 보상 방법

Also Published As

Publication number Publication date
RU2766107C1 (ru) 2022-02-07

Similar Documents

Publication Publication Date Title
US10852817B1 (en) Eye tracking combiner having multiple perspectives
US11474358B2 (en) Systems and methods for retinal imaging and tracking
US11650426B2 (en) Holographic optical elements for eye-tracking illumination
US9870050B2 (en) Interactive projection display
KR20180003629A (ko) 착용 가능 헤드업 디스플레이들에 눈 추적 및 스캐닝 레이저 투사를 통합시키는 시스템들, 디바이스들 및 방법들
US10725302B1 (en) Stereo imaging with Fresnel facets and Fresnel reflections
CN113454515A (zh) 全息场内照明器
US10592739B2 (en) Gaze-tracking system and method of tracking user's gaze
KR20220046494A (ko) 시선 방향을 결정하는 방법 및 시선 추적 센서
US11669159B2 (en) Eye tracker illumination through a waveguide
JP2022540303A (ja) 光学アーチファクト低減のためのアポダイズド光学素子
US11307654B1 (en) Ambient light eye illumination for eye-tracking in near-eye display
CN113454504A (zh) 使用衍射光学元件的用于头戴式显示器（hmd）眼睛跟踪的全息图案生成
US20230176401A1 (en) Device and method for correcting user's vision and performing calibration
US20220108458A1 (en) Eye position tracking sensor and method
US11983315B2 (en) Augmented reality device and method for detecting gaze of user
US11237628B1 (en) Efficient eye illumination using reflection of structured light pattern for eye tracking
KR20220170336A (ko) 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법
US11796829B1 (en) In-field illuminator for eye depth sensing
US20230152578A1 (en) Multi-view eye tracking system with a holographic optical element combiner
CN114326104B (zh) 具有结构光检测功能的扩增实境眼镜
KR20230021551A (ko) 사용자의 시선을 검출하는 증강 현실 장치 및 방법
CN117730271A (zh) 用于检测用户注视的增强现实装置和方法
CN117546073A (zh) 用于眼动追踪的光学系统
KR20240074348A (ko) 증강 현실에서 이미지 획득 장치 및 방법