KR20220170336A - 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법 - Google Patents

Abstract

가변 초점 렌즈를 포함하고, 가변 초점 렌즈의 초점 영역의 위치를 자동으로 결정하는 증강 현실 디바이스 및 그 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 증강 현실 디바이스는 시선 추적 센서를 이용하여 사용자의 눈에 의해 반사된 반사광을 수광함으로써 복수의 특징점을 검출하고, 검출된 복수의 특징점의 위치 정보에 기초하여 사용자의 눈과 가변 초점 렌즈 간의 거리인 렌즈-안구 간 거리(eye-relief)에 관한 정보를 획득하고, 시선 추적 센서를 이용하여 사용자의 양안의 시선 방향이 수렴하는 응시점(gaze point) 및 사용자의 양안의 동공 간 거리(Inter Pupillary Distance)에 관한 정보를 획득하고, 렌즈-안구 간 거리, 응시점, 및 동공 간 거리에 관한 정보에 기초하여 가변 초점 렌즈의 전체 영역 중 초점 영역의 위치를 결정할 수 있다.

Description

가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법 {AN AUGMENTED REALITY DEVICE COMPRISING VARIABLE FOCUS LENSES AND A METHOD FOR OPERATING THE SAME}

본 개시는 가변 초점 렌즈를 포함하는 증강 현실(Augmented Reality, AR) 디바이스 및 그 동작 방법에 관한 것이다. 구체적으로, 본 개시는 사용자의 눈에 관한 정보에 기초하여 초점을 변경할 수 있는 렌즈의 전체 영역 중 초점 위치에 대응되는 초점 영역의 위치를 자동으로 결정하고, 조정하는 증강 현실 디바이스 및 그 동작 방법에 관한 것이다.

증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 오버레이(overlay)하여 함께 보여주는 기술로서, 증강 현실 기술을 활용한 증강 현실 디바이스(예를 들어, 스마트 글래스(Smart Glass)가 정보 검색, 길 안내, 카메라 촬영과 같이 일상 생활에서 유용하게 사용되고 있다. 특히, 스마트 글래스는 패션 아이템으로도 착용되고, 실외 활동에 주로 사용되고 있다.

증강 현실 디바이스는 일반적으로, 사용자에 착용된 상태에서 사용자의 눈에 가깝게 배치된 시스루 디스플레이(see-through display)를 통해 장면을 보게 된다. 여기서, '장면'은 사용자가 눈을 통해 직접 보는 물리적 환경 또는 공간 내의 하나 이상의 현실 객체를 포함한다. 증강 현실 디바이스는 시스루 디스플레이를 통해 사용자의 눈에 가상 이미지를 투사(project)하고, 사용자는 시스루 디스플레이를 통해 현실 객체와 투사된 가상 이미지를 동시에 볼 수 있다.

최근에는, 사용자의 시선 방향에 따라 시스루 디스플레이 상의 초점 영역을 가변적으로 조정할 수 있는 가변 초점 렌즈를 포함하는 증강 현실 디바이스가 개발되고 있다. 가변 초점 렌즈는 사용자의 시력 교정 용도로 사용되거나, 현실 객체 또는 가상 이미지에 대한 초점 조절 용도로 사용될 수 있다. 가변 초점 렌즈의 초점 조절 기능은 초점 영역의 위치와 사용자의 눈의 시축(visual axis) 간의 정렬 정도에 비례한다. 즉, 가변 초점 렌즈의 초점 영역의 위치가 사용자의 눈의 시축과 정확하게 정렬되지 않는 경우 시력 교정이 제대로 되지 않고, 현실 객체 또는 가상 이미지에 초점이 정상적으로 맺히지 않아 사용자의 피로도가 증가하고, 화질이 저하되는 문제점이 발생된다.

가변 초점 렌즈의 초점 영역의 위치를 사용자의 눈의 시축과 정렬시키기 위해서는, 사용자의 시선 방향과 동공 간 거리(Inter Pupillary Distance, IPD)에 관한 정보를 이용하여 초점 영역의 위치를 결정하는 방법을 사용할 수 있다. 그러나, 초점 영역과 사용자의 눈의 시축 간의 정렬 정확도를 향상시키기 위해서는 시선 방향 및 동공 간 거리(IPD) 뿐만 아니라, 사용자의 눈과 가변 초점 렌즈 간의 거리를 나타내는 렌즈-안구 간 거리(Eye Relief)를 고려하여야 한다. 렌즈-안구 간 거리(Eye Relief)가 기준 거리 보다 길어지거나 또는 짧아지는 경우, 초점 영역의 위치가 달라지고, 이에 따라 렌즈 해상도가 감소하며, 사용자에게는 시력 저하로 체감될 수 있다. 가변 초점 렌즈에 의해 시력이 완전히 교정된 경우라도, 렌즈-안구 간 거리(Eye Relief)에 의해 시력이 교정 필요 수준으로 떨어지는 해상도 저하 현상이 발생될 수 있다.

본 개시는 사용자의 눈의 정보에 기초하여 가변 초점 렌즈의 전체 영역 중 초점 영역의 위치를 자동으로 결정 또는 조정함으로써, 초점 영역과 사용자의 눈의 시축 간의 정렬 정확도를 향상시키는 증강 현실 디바이스 및 그 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 증강 현실 디바이스는 렌즈-안구 간 거리(Eye Relief)에 관한 정보를 이용하여 가변 초점 렌즈의 초점 영역의 위치를 결정할 수 있다.

상술한 기술적 과제를 해결하기 위하여 본 개시는 일 실시예는 가변 초점 렌즈의 초점 영역의 위치를 자동으로 결정하는 증강 현실 디바이스를 제공한다. 본 개시의 일 실시예는, 가변 초점 렌즈, 사용자의 눈에 광을 조사하고, 상기 사용자의 눈으로부터 반사된 반사광을 수광함으로써 복수의 특징점을 검출하는 시선 추적 센서, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 시선 추적 센서에 의해 검출된 상기 복수의 특징점의 위치 정보에 기초하여 상기 사용자의 눈과 상기 가변 초점 렌즈 간의 거리인 렌즈-안구 간 거리(eye-relief)에 관한 정보를 획득하고, 상기 복수의 특징점에 기초하여 상기 사용자의 양안의 시선 방향이 수렴하는 응시점(gaze point) 및 상기 사용자의 양안의 동공 간 거리(Inter Pupillary Distance)에 관한 정보를 획득하고, 상기 렌즈-안구 간 거리, 상기 응시점, 및 상기 동공 간 거리에 관한 정보에 기초하여 상기 가변 초점 렌즈의 초점 영역의 위치를 결정하는, 증강 현실 디바이스를 제공할 수 있다.

본 개시의 일 실시예에서, 상기 시선 추적 센서는 IR 광원 및 IR 카메라를 포함하고, 상기 적어도 하나의 프로세서는 상기 IR 광원을 제어하여 상기 사용자의 눈에 IR 광을 조사하고, 상기 사용자의 눈으로부터 반사된 IR 광을 상기 IR 카메라를 이용하여 촬영함으로써 획득된 상기 이미지로부터 복수의 반짝임 특징점을 검출하고, 상기 식별된 복수의 반짝임 특징점의 조합인 반짝임 패턴(glint pattern)의 영역의 크기에 기초하여 상기 렌즈-안구 간 거리를 산출할 수 있다.

본 개시의 일 실시예에서, 상기 IR 광원은 상기 증강 현실 디바이스의 렌즈 프레임 상에서 기 설정된 거리만큼 이격되어 배치되는 복수의 IR LED로 구성되고, 상기 적어도 하나의 프로세서는 상기 반짝임 패턴의 영역 크기, 상기 복수의 IR LED 간의 위치 관계, 및 상기 IR 카메라의 픽셀 별 위치 좌표 중 적어도 하나에 기초하여 상기 렌즈-안구 간 거리를 산출할 수 있다.

본 개시의 일 실시예에서, 상기 시선 추적 센서는 IR 스캐너 및 IR 디텍터를 포함하고, 상기 적어도 하나의 프로세서는 상기 IR 스캐너를 제어하여 상기 사용자의 눈에 IR 광을 조사하고, 상기 사용자의 눈으로부터 반사된 IR 광을 상기 IR 디텍터를 이용하여 검출하고, 상기 반사광으로부터 복수의 반짝임 특징점을 검출하고, 상기 검출된 복수의 반짝임 특징점 간의 거리에 관한 정보를 획득하며, 상기 획득된 복수의 반짝임 특징점 간의 거리에 기초하여 상기 렌즈-안구 간 거리를 산출할 수 있다.

본 개시의 일 실시예에서, 상기 IR 디텍터는 상기 증강 현실 디바이스의 렌즈 프레임 상에서 기 설정된 거리만큼 이격되어 배치되는 복수의 포토 다이오드(photodiode)로 구성되고, 상기 적어도 하나의 프로세서는 상기 복수의 반짝임 특징점 간의 거리 및 상기 복수의 포토 다이오드 간의 위치 관계에 기초하여 상기 렌즈-안구 간 거리를 산출할 수 있다.

본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 상기 시선 추적 센서를 이용하여 기 설정된 회전 각도로 회전하는 사용자의 눈을 촬영함으로써 이미지를 획득하고, 상기 이미지를 분석하여 동공 특징점을 검출하고, 상기 검출된 동공 특징점의 회전 반경을 측정하며, 상기 측정된 회전 반경에 기초하여 상기 렌즈-안구 간 거리를 산출할 수 있다.

본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 제1 시선 추적 센서를 이용하여 획득된 좌안 이미지로부터 좌안 동공을 검출하고, 제2 시선 추적 센서를 이용하여 획득된 우안 이미지로부터 우안 동공을 검출하고, 상기 제1 시선 추적 센서와 상기 제2 시선 추적 센서의 위치 관계 및 카메라 속성 정보에 기초하여 상기 좌안 동공과 상기 우안 동공의 3차원 위치 좌표를 획득하고, 상기 좌안 동공 및 상기 우안 동공의 3차원 위치 좌표에 기초하여 상기 동공 간 거리를 산출할 수 있다.

본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 제1 가변 초점 렌즈의 전체 영역 중 좌안의 상기 응시점을 향하는 제1 시선 방향을 나타내는 가상의 직선이 상기 제1 가변 초점 렌즈와 만나는 제1 초점 중심점을 중심으로 기 설정된 크기의 영역을 제1 초점 영역으로 결정하고, 제2 가변 초점 렌즈의 전체 영역 중 우안의 상기 응시점을 향하는 제2 시선 방향을 나타내는 가상의 직선이 상기 제2 가변 초점 렌즈와 만나는 제2 초점 중심점을 중심으로 기 설정된 크기의 영역을 제2 초점 영역으로 결정할 수 있다.

본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 상기 렌즈-안구 간 거리, 상기 응시점과 상기 사용자의 눈과의 거리, 및 상기 동공 간 거리에 기초하여 초점 중심점의 위치 좌표값을 획득하고, 상기 초점 중심점의 위치를 중심으로 기 설정된 크기의 영역을 상기 초점 영역으로 결정할 수 있다.

본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 상기 초점 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 상기 가변 초점 렌즈에 인가함으로써, 상기 초점 영역의 굴절력(refractive power)을 조절할 수 있다.

상술한 기술적 과제를 해결하기 위하여 본 개시의 다른 실시예는, 가변 초점 렌즈의 초점 영역을 결정하는 증강 현실 디바이스의 동작 방법을 제공한다. 본 개시의 일 실시예에 따른 방법은, 시선 추적 센서를 이용하여 사용자의 눈에 의해 반사된 반사광을 수광함으로써 복수의 특징점을 검출하는 단계, 상기 검출된 복수의 특징점의 위치 정보에 기초하여, 상기 사용자의 눈과 상기 증강 현실 디바이스의 가변 초점 렌즈 간의 거리인 렌즈-안구 간 거리(eye-relief)에 관한 정보를 획득하는 단계, 상기 복수의 특징점에 기초하여 상기 사용자의 양안의 시선 방향이 수렴하는 응시점(gaze point) 및 상기 사용자의 양안의 동공 간 거리(Inter Pupillary Distance)에 관한 정보를 획득하는 단계, 및 상기 렌즈-안구 간 거리, 상기 응시점, 및 상기 동공 간 거리에 관한 정보에 기초하여 상기 가변 초점 렌즈의 초점 영역의 위치를 결정하는 단계를 포함할 수 있다.

본 개시의 일 실시예에서 상기 시선 추적 센서는 IR 광원 및 IR 카메라를 포함하고, 상기 복수의 특징점을 검출하는 단계에서, 상기 IR 광원을 제어하여 상기 사용자의 눈에 IR 광을 조사하고, 상기 사용자의 눈으로부터 반사된 IR 광을 상기 IR 카메라를 이용하여 촬영함으로써 획득된 상기 이미지로부터 복수의 반짝임 특징점을 검출하고, 상기 렌즈-안구 간 거리에 관한 정보를 획득하는 단계는 상기 식별된 복수의 반짝임 특징점의 조합인 반짝임 패턴(glint pattern)의 영역의 크기에 기초하여 상기 렌즈-안구 간 거리를 산출하는 단계를 포함할 수 있다.

본 개시의 일 실시예에서, 상기 IR 광원은 상기 증강 현실 디바이스의 렌즈 프레임 상에서 기 설정된 거리만큼 이격되어 배치되는 복수의 IR LED로 구성되고, 상기 렌즈-안구 간 거리를 산출하는 단계에서 상기 반짝임 패턴의 영역 크기, 상기 복수의 IR LED 간의 위치 관계, 및 상기 IR 카메라의 픽셀 별 위치 좌표 중 적어도 하나에 기초하여 상기 렌즈-안구 간 거리를 산출할 수 있다.

본 개시의 일 실시예에서, 상기 시선 추적 센서는 IR 스캐너 및 IR 디텍터를 포함하고, 상기 복수의 특징점을 검출하는 단계는 상기 IR 스캐너를 제어하여 상기 사용자의 눈에 IR 광을 조사하고, 상기 사용자의 눈으로부터 반사된 IR 광을 상기 IR 디텍터를 이용하여 검출하는 단계, 및 상기 반사광으로부터 복수의 반짝임 특징점을 검출하고, 상기 검출된 복수의 반짝임 특징점의 위치 정보를 획득하는 단계를 포함하고, 상기 렌즈-안구 간 거리에 관한 정보를 획득하는 단계는 상기 식별된 복수의 반짝임 특징점의 위치 정보에 기초하여, 복수의 반짝임 특징점 간의 거리에 관한 정보를 획득하는 단계, 및 상기 획득된 복수의 반짝임 특징점 간의 거리에 기초하여 상기 렌즈-안구 간 거리를 산출하는 단계를 포함할 수 있다.

본 개시의 일 실시예에서, 상기 IR 디텍터는 상기 증강 현실 디바이스의 렌즈 프레임 상에서 기 설정된 거리만큼 이격되어 배치되는 복수의 포토 다이오드(photodiode)로 구성되고, 상기 렌즈-안구 간 거리를 산출하는 단계에서 상기 복수의 반짝임 특징점 간의 거리 및 상기 복수의 포토 다이오드 간의 위치 관계에 기초하여 상기 렌즈-안구 간 거리를 산출할 수 있다.

본 개시의 일 실시예에서, 상기 복수의 특징점을 검출하는 단계는 상기 시선 추적 센서를 이용하여 기설정된 회전 각도로 회전하는 사용자의 눈을 촬영함으로써 이미지를 획득하는 단계, 및 상기 이미지를 분석하여 동공 특징점을 검출하는 단계를 포함하고, 상기 렌즈-안구 간 거리에 관한 정보를 획득하는 단계는 상기 검출된 동공 특징점의 회전 반경을 측정하는 단계, 및 상기 측정된 회전 반경에 기초하여 상기 렌즈-안구 간 거리를 산출하는 단계를 포함할 수 있다.

본 개시의 일 실시예에서, 상기 가변 초점 렌즈의 초점 영역의 위치를 결정하는 단계에서, 제1 가변 초점 렌즈의 전체 영역 중 좌안의 상기 응시점을 향하는 제1 시선 방향을 나타내는 가상의 직선이 상기 제1 가변 초점 렌즈와 만나는 제1 초점 중심점을 중심으로 기 설정된 크기의 영역을 제1 초점 영역으로 결정하고, 제2 가변 초점 렌즈의 전체 영역 중 우안의 상기 응시점을 향하는 제2 시선 방향을 나타내는 가상의 직선이 상기 제2 가변 초점 렌즈와 만나는 제2 초점 중심점을 중심으로 기 설정된 크기의 영역을 제2 초점 영역으로 결정할 수 있다.

본 개시의 일 실시예에서, 상기 가변 초점 렌즈의 초점 영역의 위치를 결정하는 단계는 상기 렌즈-안구 간 거리, 상기 응시점과 상기 사용자의 눈과의 거리, 및 상기 동공 간 거리에 기초하여 초점 중심점의 위치 좌표값을 획득하는 단계, 및 상기 초점 중심점의 위치를 중심으로 기 설정된 크기의 영역을 상기 초점 영역으로 결정하는 단계를 포함할 수 있다.

본 개시의 일 실시예에서, 상기 방법은 상기 초점 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 상기 가변 초점 렌즈에 인가함으로써, 상기 초점 영역의 굴절력(refractive power)을 조절하는 단계를 더 포함할 수 있다.

상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 렌즈-안구 간 거리(ER), 응시점, 및 동공 간 거리(IPD)에 기초하여 초점 영역을 결정하는 동작을 도시한 개념도이다.
도 1b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 렌즈-안구 간 거리(ER), 응시점, 및 동공 간 거리(IPD)에 기초하여 초점 영역을 결정하는 동작을 도시한 상면도(top view)이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구조를 도시한 평면도이다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소를 도시한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 동작 방법을 도시한 흐름도이다.
도 5a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서를 이용하여 눈의 반짝임 패턴을 검출하는 동작을 도시한 도면이다.
도 5b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서를 이용하여 획득된 이미지로부터 반짝임 패턴을 검출하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서를 이용하여 검출한 반짝임 패턴을 이용하여 렌즈-안구 간 거리(Eye Relief)에 관한 정보를 획득하는 방법을 도시한 흐름도이다.
도 7a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서를 이용하여 눈의 반짝임 특징점을 검출하는 동작을 도시한 도면이다.
도 7b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서를 이용하여 반짝임 특징점을 검출하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서를 이용하여 검출한 반짝임 패턴을 이용하여 렌즈-안구 간 거리(Eye Relief)에 관한 정보를 획득하는 방법을 도시한 흐름도이다.
도 9a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 눈의 회전 반경을 이용하여 렌즈-안구 간 거리(Eye Relief)에 관한 정보를 획득하는 동작을 도시한 도면이다.
도 9b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 눈의 회전 반경을 측정하는 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 눈의 회전 반경을 이용하여 렌즈-안구 간 거리(Eye Relief)에 관한 정보를 획득하는 방법을 도시한 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 양안의 동공 간 거리(IPD)에 관한 정보를 획득하는 동작을 도시한 도면이다.
도 12는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 사용자의 양안의 동공 간 거리(IPD)에 관한 정보를 획득하는 방법을 도시한 흐름도이다.
도 13a는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서를 이용하여 사용자의 눈의 시선 방향 정보를 획득하는 동작을 도시한 도면이다.
도 13b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서를 이용하여 사용자의 눈의 시선 방향 정보를 획득하는 동작을 도시한 도면이다.
도 13c는 사용자의 시선 방향에 대한 3차원 안구 모델을 도시한 도면이다.
도 13d는 본 개시의 일 실시예에 따른 시선 추적 센서의 캘리브레이션(calibration)을 수행하는 방법을 설명하기 위하여 참조되는 도면이다.
도 14는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 렌즈-안구 간 거리(ER), 응시점, 및 동공 간 거리(IPD)에 기초하여 초점 영역의 위치를 결정하는 동작을 도시한 도면이다.
도 17a는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 가변 초점 렌즈를 도시한 사시도이다.
도 17b는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 가변 초점 렌즈의 초점 영역의 굴절력을 조절하는 동작을 도시한 사시도이다.
도 18a 및 도 18b는 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구성 요소인 가변 초점 렌즈의 버전스(vergence)의 개념을 설명하기 위한 도면들이다.
도 19는 본 개시의 일 실시예에 따른 증강 현실 디바이스가 가변 초점 렌즈의 초점 영역의 굴절력을 조절하는 방법을 도시한 흐름도이다.
도 20은 본 개시의 일 실시예에 따른 증강 현실 디바이스의 구조를 도시한 평면도이다.

본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.

본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

또한, 본 개시에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

본 개시에서, '증강 현실(Augmented Reality)'은 현실 세계(Real world)의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.

본 개시에서, '증강 현실 디바이스'는 증강 현실을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다. 그러나, 이에 한정되는 것은 아니고, 증강 현실 디바이스는 모바일 디바이스, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 캠코더, IPTV(Internet Protocol Television), DTV(Digital Television), 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다.

일반적인 증강 현실 디바이스는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 웨이브 가이드(Waveguide, 또는 도광판)을 구비한다. 전술한 바와 같이, 증강 현실 디바이스는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 웨이브 가이드를 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.

본 개시에서, '렌즈-안구 간 거리(Eye Relief, ER)'는 사용자의 눈과 증강 현실 디바이스의 렌즈 간 거리를 의미한다. 렌즈-안구 간 거리(ER)는 증강 현실 디바이스의 가변 초점 렌즈 중 사용자의 눈과 가장 인접한 면으로부터 사출동(expit pupil) 간의 거리를 의미할 수 있다. 렌즈-안구 간 거리(ER)는 '사출동(射出瞳) 거리'로 표현될 수도 있다.

본 개시에서, '동공 간 거리(Inter Pupillary Distance, IPD)'는 사용자의 양안의 동공 중심을 잇는 가상의 선의 거리를 의미한다.

본 개시에서, '시선 방향(gaze direction)'은 사용자가 응시하는 방향을 의미하며, '시선(gaze)'이란 사용자의 눈동자에서 시선 방향으로 향하는 가상의 선을 의미한다. 주로 시선 추적 센서에서 획득된 정보로부터 시선 방향을 계산하고 시선을 추정한다.

본 개시에서, '응시점(gaze point)'은 사용자가 응시하는 지점을 가리키며, 사용자의 양안의 시선이 교차하는 지점으로 산출될 수 있다.

본 개시에서, '굴절률(refractive index)'은 진공에 비하여 매질 내에서 광속(speed of light)이 줄어드는 정도를 의미한다.

본 개시에서, '굴절력(refractive power)'은 렌즈의 곡면에 의해 광선 또는 광 경로의 방향을 바꾸는 힘을 의미한다. 굴절력은 초점 거리의 역수이고, 굴절력의 단위는 m^-1 또는 디옵터(Diopter)(D)이다. 굴절력의 부호는 볼록 렌즈(convex lens)의 경우 양(positive, +)이고, 오목 렌즈(concave lens)의 경우 음(negative, -)이다.

본 개시에서, '버전스(vergence)'는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스이다. 버전스는 렌즈의 굴절력에 따라 조절될 수 있다. 일 실시예에서, 증강 현실 디바이스는 가변 초점 렌즈의 초점 영역의 굴절력을 조절하여 광선 또는 광 경로를 변경함으로써, 버전스를 조절할 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.

도 1a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 렌즈-안구 간 거리(ER), 응시점(G), 및 동공 간 거리(IPD)에 기초하여 초점 영역(110A)을 결정하는 동작을 도시한 개념도이다.

도 1a를 참조하면, 사용자는 증강 현실 디바이스(100)를 착용한 상태에서 현실 객체(ob)를 볼 수 있다. 증강 현실 디바이스(100)는 가변 초점 렌즈(110L, 110R) 및 시선 추적 센서(140)를 포함할 수 있다. 그러나, 도 1a에는 증강 현실 디바이스(100)의 동작을 설명하기 위한 필수적인 구성만이 도시되었을 뿐, 증강 현실 디바이스(100)가 포함하는 구성 요소가 도시된 바와 같이 한정되는 것은 아니다.

가변 초점 렌즈(110L, 110R)는 렌즈의 전체 영역 중 일부 영역을 초점 영역(110A)으로 결정하고, 초점 영역의 위치를 변경할 수 있는 렌즈이다. 본 개시의 일 실시예에서, 가변 초점 렌즈(110L, 110R)는 액정 분자(liquid crystal molecule)를 포함하고, 전기적 구동 신호에 따라 초점을 변경할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성될 수 있다. 가변 초점 렌즈(110L, 110R)는 인가되는 제어 전압에 따라 특정 영역에 배치되는 액정 분자들의 배열 각도를 변경함으로써, 초점 영역(110A)의 초점을 국부적으로(locally) 조절할 수 있다.

증강 현실 디바이스(100)는 시선 추적 센서(140)를 이용하여 사용자의 눈(E)과 가변 초점 렌즈(110L, 110R) 간의 거리인 렌즈-안구 간 거리(Eye Relief)(ER)에 관한 정보를 획득할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 시선 추적 센서(140)를 이용하여 사용자의 눈(E)에 의해 반사된 반사광을 수광함으로써 반짝임 패턴(glint pattern)을 검출하고, 반짝임 패턴의 크기에 기초하여 렌즈-안구 간 거리(ER)를 산출할 수 있다. 본 개시의 다른 실시예에서, 증강 현실 디바이스(100)는 시선 추적 센서(140)를 이용하여 사용자의 눈(E)의 동공을 검출하고, 검출된 동공의 회전 반경을 측정하며, 측정된 회전 반경에 기초하여 렌즈-안구 간 거리(ER)를 산출할 수 있다.

증강 현실 디바이스(100)는 좌안 시선 추적 센서(140L)를 이용하여 사용자의 좌안의 시선 방향을 나타내는 제1 시선 벡터(

를 획득하고, 우안 시선 추적 센서(140R)를 이용하여 사용자의 우안의 시선 방향을 나타내는 제2 시선 벡터(

)를 획득할 수 있다. 증강 현실 디바이스(100)는 양안 시차(binocular disparity)에 따라 제1 시선 벡터(

와 제2 시선 벡터(

)가 수렴하는 응시점(G)을 검출할 수 있다. 증강 현실 디바이스(100)는 좌안 시선 추적 센서(140L) 및 우안 시선 추적 센서(140R)를 이용하여 응시점(G)의 위치 정보(예를 들어, 3차원 위치 좌표값)을 획득할 수 있다.

증강 현실 디바이스(100)는 시선 추적 센서(140)를 이용하여 사용자의 양안으로부터 동공을 검출하고, 좌안의 동공과 우안의 동공의 위치 관계에 기초하여 동공 간 거리(IPD)에 관한 정보를 획득할 수 있다.

증강 현실 디바이스(100)는 렌즈-안구 간 거리(ER), 응시점(G), 및 동공 간 거리(IPD)에 관한 정보에 기초하여 가변 초점 렌즈(110L, 110R)의 전체 영역 중 초점 영역(110A)의 위치를 결정할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 사용자의 좌안에 인접하게 배치되는 좌안 가변 초점 렌즈(100L)의 전체 영역 중 좌안의 응시점(G)을 향하는 제1 시선 벡터(

를 나타내는 가상의 직선이 좌안 가변 초점 렌즈(110L)와 만나는 지점의 위치를 중심으로 기 설정된 크기의 영역을 초점 영역(110A)으로 결정할 수 있다. 마찬가지로, 증강 현실 디바이스(100)는 사용자의 우안에 인접하게 배치되는 우안 가변 초점 렌즈(110R)의 전체 영역 중 우안의 응시점(G)을 향하는 제2 시선 벡터(

)를 나타내는 가상의 직선이 우안 가변 초점 렌즈(110R)와 만나는 지점의 위치를 중심으로 기 설정된 크기의 영역을 초점 영역(110A)으로 결정할 수 있다.

도 1b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 렌즈-안구 간 거리(ER), 응시점(G), 및 동공 간 거리(IPD)에 기초하여 초점 영역(110A)을 결정하는 동작을 도시한 상면도(top view)이다.

도 1b를 도 1a와 함께 참조하면, 증강 현실 디바이스(100)는 렌즈-안구 간 거리(ER), 응시점(G)과 수정체 간의 거리인 수렴 거리(l), 응시점(G)을 향하는 사용자의 양안의 시선 벡터(

,

), 및 동공 간 거리(IPD)에 기초하여 가변 초점 렌즈(110L, 110R) 상의 초점 중심점을 검출하고, 초점 중심점의 위치를 식별할 수 있따. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 렌즈-안구 간 거리(ER), 수렴 거리(l), 제1 시선 벡터(

및 동공 간 거리(IPD)에 기초하여 좌안 가변 초점 렌즈(110L)의 전체 영역 중 초점 중심점에 관한 2차원 위치 좌표값을 획득할 수 있다. 증강 현실 디바이스(100)는 초점 중심점의 2차원 위치 좌표값을 통해 초점 중심점을 검출하고, 좌안 가변 초점 렌즈(110L)의 전체 영역 중 초점 중심점의 위치를 중심으로 기 설정된 크기의 반경 내의 영역을 초점 영역(110A)으로 결정할 수 있다. 마찬가지로, 증강 현실 디바이스(100)는 렌즈-안구 간 거리(ER), 수렴 거리(l), 제2 시선 벡터(

)

및 동공 간 거리(IPD)에 기초하여 우안 가변 초점 렌즈(110R)의 전체 영역 중 초점점에 관한 2차원 위치 좌표값을 획득할 수 있다. 증강 현실 디바이스(100)는 초점 중심점의 2차원 위치 좌표값을 통해 초점 중심점을 검출하고, 우안 가변 초점 렌즈(110R)의 전체 영역 중 초점 중심점의 위치를 중심으로 기 설정된 크기의 반경 내의 영역을 초점 영역(110A)으로 결정할 수 있다.

증강 현실 디바이스(100)는 초점 영역(110A)의 굴절력을 조절할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 제어 전압에 따라 초점 영역(110A)에 배치되는 액정 분자들의 배열 각도를 변경함으로써, 초점 영역(110A)의 굴절력(refractive power)을 조절하고, 이를 통해 버전스(vergence)를 조절할 수 있다. 버전스(vergence)는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스이다. 버전스는 렌즈의 굴절력에 따라 조절될 수 있다.

일반적으로, 가변 초점 렌즈(110L, 110R)는 초점 영역(110A)의 위치를 변경하고, 초점 영역(110A)의 굴절력을 조절함으로써, 사용자의 시력 교정 용도로 사용되거나, 현실 객체 또는 가상 이미지에 대한 초점 조절 용도로 사용될 수 있다. 가변 초점 렌즈(110L, 110R)의 초점 조절 기능은 초점 영역(110A)의 위치와 사용자의 눈(E)의 시축(visual axis) 간의 정렬 정도에 비례하여 향상된다. 즉, 가변 초점 렌즈(110L, 110R)의 초점 영역(110A)의 위치가 사용자의 눈의 시축과 정확하게 정렬되지 않는 경우 시력 교정이 제대로 되지 않고, 현실 객체 또는 가상 이미지에 초점이 정상적으로 맺히지 않아 사용자의 피로도가 증가하고, 화질이 저하되는 문제점이 발생된다. 가변 초점 렌즈(110L, 110R)의 초점 영역(110A)의 위치를 사용자의 눈(E)의 시축과 정렬시키기 위해서는, 사용자의 시선 방향과 동공 간 거리(IPD)에 관한 정보를 이용하여 초점 영역(110A)의 위치를 결정하는 방법을 사용할 수 있다. 그러나, 초점 영역과 사용자의 눈의 시축 간의 정렬 정확도를 향상시키기 위해서는 시선 방향 및 동공 간 거리(IPD) 뿐만 아니라, 렌즈-안구 간 거리(ER)를 고려하여야 한다. 렌즈-안구 간 거리(ER)가 기준 거리 보다 길어지거나 또는 짧아지는 경우, 초점 영역(110A)의 위치가 달라지고, 이에 따라 렌즈 해상도가 감소하며, 사용자에게는 시력 저하로 체감될 수 있다.

도 1a 및 도 1b에 도시된 실시예에 따른 증강 현실 디바이스(100)는 응시점(G) 및 동공 간 거리(IPD) 뿐만 아니라, 가변 초점 렌즈(110L, 110R)와 사용자의 눈(E) 간의 거리인 렌즈-안구 간 거리(ER) 정보도 고려하여 가변 초점 렌즈(110L, 110R)의 전체 영역 중 초점 영역(110A)의 위치를 결정하는 바, 사용자의 눈의 시축과 초점 영역(110A) 간의 정렬 정확도를 향상시킬 수 있다. 따라서, 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)는 시력 교정 기능을 향상시킬 수 있고, 현실 객체 또는 가상 이미지에 관한 화질을 개선할 수 있으며, 사용자의 시각 피로도를 감소시키는 기술적 효과를 제공할 수 있다.

도 2는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 구조를 도시한 평면도이다.

도 2를 참조하면, 증강 현실 디바이스(100)는 프레임(102), 안경 다리들(104), 노즈 브릿지(nose bridge)(106), 코 지지부(108), 가변 초점 렌즈(110), 웨이브 가이드(120), 디스플레이 엔진(130), 시선 추적 센서(140), 프로세서(150), 메모리(160), 및 배터리(170)를 포함할 수 있다. 도 2에는 증강 현실 디바이스(100)의 구조를 설명하기 위한 구성 요소만이 도시되었고, 증강 현실 디바이스(100)가 포함하는 구성 요소가 도 2에 도시된 바와 같이 한정되는 것은 아니다.

광학 부품들은 디스플레이 엔진(130)에 의해 출력되는 가상 이미지의 광과 현실 장면의 광을 사용자의 눈으로 전달하도록 구성된 것으로서, 가변 초점 렌즈(110) 및 웨이브 가이드(120)를 포함할 수 있다. 도 2를 참조하면, 광학 부품들은 각각 프레임(102)에 배치될 수 있다. 프레임(102)은 일반적인 안경 구조와 같이 가변 초점 렌즈(110L, 110R)을 둘러싸는 림(rim)에 해당될 수 있다. 좌측 프레임(102L)에는 좌안 가변 초점 렌즈(110L) 및 좌안 웨이브 가이드(120L)를 포함하는 좌안 광학 부품들이 배치 또는 부착되고, 우측 프레임(102R)에는 우안 가변 초점 렌즈(110R) 및 우안 웨이브 가이드(120R)가 배치 또는 부착될 수 있다. 그러나, 이에 한정되는 것은 아니다. 본 개시의 다른 실시예에서, 좌안 광학 부품들 및 우안 광학 부품들은 일체로 구성되어 프레임(102)에 장찰될 수도 있다. 또 다른 실시예에서, 광학 부품들은 좌측 프레임(102L) 또는 우측 프레임(102R) 중 어느 한 쪽에만 배치될 수 있다.

안경 다리들(104)에는 디스플레이 엔진(130), 프로세서(150), 메모리(160), 및 배터리(170)가 장착될 수 있다. 안경 다리들(104)에는 디스플레이 엔진(130), 프로세서(150), 메모리(160), 및 배터리(170) 간의 전기 접속을 위한 전기 배선이 내장될 수 있다. 도 2에 도시된 실시예에서, 안경 다리들(104) 중 좌측 안경 다리(104L)에만 프로세서(150), 메모리(160), 및 배터리(170)가 내장되는 것으로 도시되었지만, 이는 예시적인 구조이고, 본 개시가 도시된 바와 같이 한정되는 것은 아니다.

노즈 브릿지(106)는 좌측 프레임(102L)과 우측 프레임(102R)을 연결하는 지지대이다. 노즈 브릿지(106)는 코 지지부(108)와 연결될 수 있다.

코 지지부(108)는 사용자가 증강 현실 디바이스(100)를 착용한 경우 사용자의 코 부분을 지지하는 지지대이다. 코 지지부(108)는 코 다리 및 안경 코를 포함할 수 있다. 또한, 코 다리 및 안경 코는 일체형으로 구성될 수 있으나 이에 한정되지 않는다.

가변 초점 렌즈(110)는 사용자가 증강 현실 디바이스(100)를 착용할 때, 프레임(102) 내에 부착된 광학 부품들 중 사용자의 눈(E)과 가장 인접하게 배치될 수 있다. 가변 초점 렌즈(110)는 사용자의 좌안에 인접하게 배치되는 좌안 가변 초점 렌즈(110L) 및 사용자의 우안에 인접하게 배치되는 우안 가변 초점 렌즈(110R)를 포함할 수 있다. 본 개시의 일 실시예에서, 가변 초점 렌즈(110)는 액정 분자(liquid crystal molecule)를 포함하고, 전기적 구동 신호에 따라 초점을 변경할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성될 수 있다.

웨이브 가이드(120)는 사용자가 증강 현실 디바이스(100)를 착용할 때, 가변 초점 렌즈(110) 보다는 사용자의 눈으로부터 멀게 이격되어 배치될 수 있다. 웨이브 가이드(120)는 사용자의 눈 보다는 현실 객체에 인접하는 방향으로 배치될 수 있다. 웨이브 가이드(120)는 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드(120)의 배면은 사용자가 증강 현실 디바이스(100)를 착용할 때, 사용자의 눈이 마주하는 면을 의미하고, 웨이브 가이드(120)의 전면은 배면에 대향되는 면(즉, 사용자의 눈에서 먼 쪽)을 의미한다. 웨이브 가이드(120)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드(120)는 좌측 프레임(102L)과 결합되고, 좌안 가변 초점 렌즈(110L)와 인접하게 배치되는 좌안 웨이브 가이드(120L) 및 우측 프레임(102R)과 결합되고, 우안 가변 초점 렌즈(110R)와 인접하게 배치되는 우안 웨이브 가이드(120R)를 포함할 수 있다.

웨이브 가이드(120)의 재료적인 특성 및 기능에 대해서는 도 3에서 상세하게 설명하기로 한다.

디스플레이 엔진(130)은 가상 이미지의 광을 생성하고, 화상 패널, 조명 광학계, 투사 광학계 등을 포함하는 프로젝터(projector)의 광학 엔진일 수 있다. 디스플레이 엔진(130)은 좌측 안경 다리(104L)에 배치되는 제1 디스플레이 엔진(130L) 및 우측 안경 다리(104R)에 배치되는 제2 디스플레이 엔진(130R)을 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 개시의 다른 실시예에서, 증강 현실 디바이스(100)는 좌측 안경 다리(104L) 또는 우측 안경 다리(104R) 중 어느 하나의 안경 다리에만 내장된 하나의 디스플레이 엔진(130)을 포함할 수도 있다.

디스플레이 엔진(130)의 구성, 동작 및 기능에 관해서는 도 3에서 상세하게 설명하기로 한다.

시선 추적 센서(140)는, 사용자의 눈의 시선 방향을 추적하는 장치이다. 시선 추적 센서(140)는 사람의 눈동자나 동공의 이미지를 검출하거나, 근적외선 등의 광이 각막에서 반사되는 반사광의 방향 또는 광량을 검출함으로써 사용자의 시선 방향을 검출할 수 있다. 이러한 시선 추적 센서(140)는 좌안용 시선 추적 센서(140L) 및 우안용 시선 추적 센서(140R)를 포함하며, 각각 사용자의 좌안의 시선 방향 및 사용자의 우안의 시선 방향을 검출할 수 있다. 사용자의 시선 방향을 검출하는 것은, 사용자의 시선에 관련된 시선 정보를 획득하는 동작을 포함할 수 있다.

좌안용 시선 추적 센서(140L)는 좌측 프레임(102L)에 배치되고, 우안용 시선 추적 센서(140R)는 우측 프레임(102R)에 배치될 수 있다. 좌안용 시선 추적 센서(140L) 및 우안 시선 추적 센서(140R)는 각각 광 조사부(141L, 141R) 및 광 검출부(142L, 142R)를 포함할 수 있다. 본 개시의 일 실시예에서, 광 조사부(141L, 141R)는 적외선 광을 사용자의 눈(E)으로 조사하는 IR LED이고, 광 검출부(142L, 142R)는 눈(E)으로부터 반사된 반사광을 검출하는 IR 카메라일 수 있다. 그러나, 이에 한정되는 것은 아니고, 본 개시의 다른 실시예에서 광 조사부(141, 141R)는 선 형태의 적외선 광을 방출하는 IR 스캐너(예를 들어, MEMS 스캐너)이고, 광 검출부(142L, 142R)는 눈(E)으로부터 반사된 반사광을 검출하는 IR 디텍터(예를 들어, 포토 다이오드)일 수 있다.

도 2에 도시된 실시예에서, 시선 추적 센서(140L, 140R)는 좌측 프레임(102L) 및 우측 프레임(102R)에 배치되는 것으로 도시되었지만, 본 개시가 이와 같은 구조로 한정되는 것은 아니다. 본 개시의 다른 실시예에서, 시선 추적 센서(140L, 140R)는 안경 다리들(104L, 104R) 또는 코 지지부(108) 상에 배치될 수도 있다.

프로세서(150), 메모리(160), 및 배터리(170)는 안경 다리들(104) 중 어느 하나의 안경 다리에 위치하거나 또는 복수 위치에 분산되어 위치할 수 있으며, PCB 기판, FPCB 기판 등에 실장될 수 있다.

프로세서(150) 및 메모리(160)에 대한 구체적인 구성, 동작, 및 기능에 대해서는 도 3에서 상세하게 설명하기로 한다.

배터리(170)는 유선 케이블을 통해 가변 초점 렌즈(110), 디스플레이 엔진(130), 시선 추적 센서(140), 프로세서(150), 및 메모리(160)와 전기적 및/또는 물리적으로 연결되고, 프로세서(150)의 제어에 의해 가변 초점 렌즈(110), 디스플레이 엔진(130), 및 시선 추적 센서(140)에 구동 전력을 공급한다. 본 개시의 일 실시예에서, 배터리(170)는 충전 가능한 2차 전지로 구성된 적어도 하나의 배터리 모듈을 포함할 수 있다. 배터리(170)는 예를 들어, 리튬 이온 배터리(Li-ion Battery), 리튬 이온 폴리머 배터리(Li-Ion Polymer Battery; LIPB), 니켈 카드뮴 배터리(Ni-Cd Battery), 또는 니켈 수소 배터리(Ni-MH Battery) 등으로 구성될 수 있으나, 이에 한정되지 않는다.

도 3은 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 구성 요소를 도시한 블록도이다.

도 3을 참조하면, 증강 현실 디바이스(100)는 가변 초점 렌즈(110), 웨이브 가이드(120), 디스플레이 엔진(130), 시선 추적 센서(140), 프로세서(150), 및 메모리(160)를 포함할 수 있다. 가변 초점 렌즈(110), 디스플레이 엔진(130), 시선 추적 센서(140), 프로세서(150), 및 메모리(160)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.

도 3에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 증강 현실 디바이스(100)가 포함하고 있는 구성 요소가 도 3에 도시된 바와 같이 한정되는 것은 아니다. 증강 현실 디바이스(100)는 도 3에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 3에 도시되지 않은 구성 요소를 더 포함할 수도 있다. 예를 들어, 증강 현실 디바이스(100)는 가변 초점 렌즈(110), 디스플레이 엔진(130), 시선 추적 센서(140), 프로세서(150), 및 메모리(160)에 구동 전력을 공급하는 배터리(170, 도 2 참조)를 더 포함할 수 있다. 다른 예를 들어, 증강 현실 디바이스(100)는 외부 디바이스 또는 서버와 데이터 통신을 수행하는 통신 인터페이스를 더 포함할 수 있다.

가변 초점 렌즈(110)는 전기적 구동 신호에 따라 초점을 변경할 수 있는 렌즈이다. 가변 초점 렌즈(110)는 초점을 변경 또는 조절할 수 있는 초점 영역을 포함할 수 있다. 본 개시의 일 실시예에서, 가변 초점 렌즈(110)는 액정 분자(liquid crystal molecule)를 포함하고, 전기적 구동 신호에 따라 초점을 변경할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성될 수 있다. 이 경우, 가변 초점 렌즈(110)는 배터리(170, 도 2 참조)로부터 인가되는 제어 전압에 따라 특정 영역(예를 들어, 초점 영역)에 배치되는 액정 분자들의 배열 각도를 변경함으로써, 국부적으로(locally) 굴절력을 변경할 수 있다. 초점이 변경되는 영역, 즉 초점 영역의 위치는 가변 초점 렌즈(110) 상에서 이동될 수 있다. 제어 전압은 프로세서(150)에 의해 제어되고, 전압 제어 회로에 의해 가변 초점 렌즈(110)에 인가될 수 있다. 제어 전압 인가에 의해 초점 영역의 굴절력이 변경되는 실시예에 대해서는 도 17a 및 도 17b에서 상세하게 설명하기로 한다.

가변 초점 렌즈(110)는 사용자가 증강 현실 디바이스(100)를 착용하는 경우, 사용자의 좌안에 대응되는 영역에 배치되는 좌안 가변 초점 렌즈(110L, 도 2 참조) 및 우안에 대응되는 영역에 배치되는 우안 가변 초점 렌즈(110R, 도 2 참조)를 포함할 수 있다. 좌안 가변 초점 렌즈(110L) 및 우안 가변 초점 렌즈(110R)는 각각 단일의 렌즈로 구성될 수 있지만, 이에 한정되는 것은 아니다. 본 개시의 일 실시예에서, 좌안 가변 초점 렌즈(110L) 및 우안 가변 초점 렌즈(110R)는 각각 복수 개로 구성될 수도 있다.

웨이브 가이드(120)는 투명 소재로 형성되는 광학 소자이다. 웨이브 가이드(120)는 사용자가 증강 현실 디바이스(100)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 웨이브 가이드(120)는 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 웨이브 가이드(120)는 디스플레이 엔진(130)의 출사면에 마주하여, 디스플레이 엔진(130)으로부터 투사된 가상 이미지의 광을 수광할 수 있다. 웨이브 가이드(120)로 투사된 가상 이미지의 광은 전반사(total reflection) 원리에 의해 웨이브 가이드(120) 내에서 전파될 수 있다. 웨이브 가이드(120)는 광의 경로를 변경하여, 최종적으로는 사용자의 눈으로 출력하도록 하는 복수의 영역을 포함할 수 있다. 복수의 영역에는 회절 격자가 형성될 수 있다. 웨이브 가이드(120)는 도광판(導光板, Light Guide Panel)과 같은 기능을 수행할 수 있다.

웨이브 가이드(120)는 복수 개로 구성될 수 있다. 본 개시의 일 실시예에서, 웨이브 가이드(120)는 좌측 프레임(102L, 도 2 참조)과 결합되고, 좌안 가변 초점 렌즈(110L)와 인접하게 배치되는 좌안 웨이브 가이드(120L, 도 2 참조) 및 우측 프레임(102R, 도 2 참조)과 결합되고, 우안 가변 초점 렌즈(110R)와 인접하게 배치되는 우안 웨이브 가이드(120R, 도 2 참조)를 포함할 수 있다.

디스플레이 엔진(130)은 가상 이미지를 웨이브 가이드(120)에 투사하도록 구성된다. 디스플레이 엔진(130)은 프로젝터(projector)와 같은 기능을 수행할 수 있다. 디스플레이 엔진(130)은 조명 광학계, 광경로 변환기, 화상 패널, 빔 스필리터, 및 투사 광학계를 더 포함할 수 있다.

조명 광학계는 광을 조명하는 광학부품으로서, 광원과 렌즈들을 포함할 수 있다. 광원은 RGB의 컬러를 조절함으로써, 광을 생성하는 구성 요소로서, 예를 들어 발광 다이오드(LED)로 구성될 수 있다.

화상 패널은 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서 반사하는 반사형 화상 패널일 수 있다. 반사형 화상 패널은 예를 들어, DMD (Digital Micromirror Device) 패널 또는 LCoS (Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다. DMD 패널은 광원에서 출력된 광의 RGB를 각각 픽셀 크기의 복수의 거울로 조명하고, 복수의 거울들 각각을 on/off로 스위칭함으로써, 광의 RGB를 혼합하여 가상 이미지를 투사하는 DLP(Digital Light Processing) 방식으로 동작될 수 있다. LCoS 패널은 광원에서 출력된 광을 특정 파장의 광만을 통과시키는 미러(mirror)를 통해 RGB로 각각 분리하여 화상 패널로 입력되고, RGB가 혼합되어 생성된 가상 이미지(VI)를 투사하는 LCD(Liquid Crystal Display) 방식으로 동작될 수 있다.

빔 스플리터는 화상 패널과 투사 광학계 사이에 배치될 수 있다. 빔 스플리터는 광원에서 출력된 광을 반사하여 화상 패널에 의해 반사된 광을 투과하도록 구성될 수 있다.

투사 광학계는 화상 패널에 의해 반사된 이미지를 담은 광을 웨이브 가이드(120)에 투사하는 구성 요소로서, 하나 또는 복수의 투사 렌즈들을 포함할 수 있다.

디스플레이 엔진(130)은 프로세서(150)로부터 가상 이미지를 구성하는 이미지 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 가상 이미지를 생성하고, 가상 이미지를 광원으로부터 출력된 광과 함께 출사면을 통해 웨이브 가이드(120)에 투사할 수 있다. 일 실시예에서, 프로세서(150)는 가상 이미지를 구성하는 복수의 픽셀의 RGB 컬러 및 휘도 값을 포함하는 이미지 데이터를 디스플레이 엔진(130)에 제공할 수 있다. 디스플레이 엔진(130)은 복수의 픽셀 각각의 RGB 컬러 값과 휘도 값을 이용하여 이미지 프로세싱을 수행하고, 광원을 제어함으로써 가상 이미지를 웨이브 가이드(120)에 투사할 수 있다.

디스플레이 엔진(130)은 좌안 웨이브 가이드(120L) 및 우안 웨이브 가이드(120R)에 동일한 가상 이미지를 투사하거나, 또는 좌안 웨이브 가이드(120L) 및 우안 웨이브 가이드(120R)에 각각 상이한 가상 이미지를 투사할 수 있다.

시선 추적 센서(140)는 사용자의 눈에 관한 데이터를 획득하도록 구성된 장치이다. 시선 추적 센서(140)는 사용자의 눈의 시선을 추적함으로써, 시선 방향에 관한 정보를 획득할 수 있다. 시선 추적 센서(140)는 광원을 이용하여 사용자의 눈에 근적외선 등의 광을 조사되고, 눈의 각막에 의해 반사되는 반사광을 수광함으로써, 사용자의 시선 방향을 검출할 수 있다. 본 개시의 일 실시예에서, 시선 추적 센서(140)는 사용자의 눈을 촬영함으로써, 눈동자 또는 동공의 이미지를 획득할 수 있다. 이러한 시선 추적 센서(140)는 좌안용 시선 추적 센서와 우안용 시선 추적 센서를 포함하며, 각기 사용자의 좌안의 시선 방향 및 사용자의 우안의 시선 방향을 검출할 수 있다. 사용자의 시선 방향을 검출하는 것은, 사용자의 시선에 관련된 시선 정보를 획득하는 동작을 포함할 수 있다.

본 개시의 일 실시예에서, 시선 추적 센서(140)는 하나 또는 복수의 광 조사부(141), 하나 또는 복수의 광 검출부(142), 및 시선 추적 카메라(143)를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 본 개시의 다른 실시예에 따른 시선 추적 센서(140)는 광 조사부(141) 및 광 검출부(142)를 포함하거나, 또는 광 조사부(141) 및 시선 추적 카메라(143)를 포함하도록 구성될 수도 있다.

광 조사부(141)는 사용자의 눈을 향하여 IR(infrared) 광을 조사하도록 구성된다. 본 개시의 일 실시예에서, 시선 추적 센서(140)는 광 반사부를 더 포함할 수 있고, 광 조사부(141)는 광 반사부를 향하여 IR 광을 방출할 수 있다. 광 반사부에 의해 반사된 광은 사용자의 눈을 향할 수 있다. 광 조사부(141)는 증강 현실 디바이스(100)의 렌즈 프레임(또는 림(rim))(102, 도 2 참조) 상에 배치될 수 있다. 그러나, 이에 한정되는 것은 아니고, 광 조사부(141)는 안경 다리들(104, 도 2 참조) 또는 코 지지부(108, 도 2 참조) 상에 배치될 수도 있다.

광 검출부(142)는 광 조사부(141)에 의해 조사되어 사용자의 눈으로부터 반사되는 반사광을 수광하도록 구성된다. 광 검출부(142)는 사용자의 눈으로부터 반사된 IR 광을 수신할 수 있다. 광 검출부(142)는 증강 현실 디바이스(100)의 렌즈 프레임(또는 림)(102) 상에 광 조사부(141)와 인접하도록 배치될 수 있다. 그러나, 이에 한정되는 것은 아니고, 광 검출부(142)는 안경 다리들(104) 또는 코 지지부(108) 상에 배치될 수도 있다.

본 개시의 일 실시예에서, 광 조사부(141)는 IR 광을 방출하는 IR LED이고, 광 검출부(142)는 IR 광을 촬영하는 IR 카메라일 수 있다. 이 경우, IR 카메라는 사용자의 눈으로부터 반사되는 IR 광을 이용하여 사용자의 눈을 촬영할 수 있다. 광 조사부(141)가 IR LED이며 광 검출부(142)가 IR 카메라인 경우에, 광 조사부(141)는 면광(planar light)의 IR 광을 광 반사부를 통해 사용자의 눈을 향하여 방출하며, 광 검출부(142)는 사용자의 눈으로부터 반사된 면광의 IR 광을 수신할 수 있다. 본 개시의 일 실시예에서, IR LED는 복수 개로 구성되고, IR 카메라는 단일의 카메라로 구성될 수 있다. 광 조사부(141)가 복수의 IR LED로 구성되고, 광 검출부(142)가 단일의 IR 카메라로 구성되는 실시예에 대해서는 도 5a에서 상세하게 설명하기로 한다.

본 개시의 다른 실시예에서, 광 조사부(141)는 IR 광을 방출하는 IR 스캐너이고, 광 검출부(142)는 IR 광을 검출하는 IR 디텍터일 수 있다. 이 경우, IR 스캐너는 사용자의 눈을 스캐닝하기 위한 IR 광이 사용자의 눈을 향하도록 IR 광을 방출할 수 있으며, IR 디텍터는 사용자의 눈으로부터 반사되는 IR 광을 검출할 수 있다. 광 조사부(141)가 IR 스캐너이고, 광 검출부(142)가 IR 디텍터인 경우, 광 조사부(141) 점광(point light) 또는 선광(line light) 형태의 IR 광을 광 반사부를 향하여 방출하며, 광 검출부(142)는 광 반사부에 의해 사용자의 눈에 조사되고 사용자의 눈으로부터 반사된 IR 광을 수신할 수 있다. 이 경우, 광 조사부(141)는 점광 또는 선광의 IR 광이 사용자의 눈이 위치한 공간을 커버할 수 있도록 광 조사부(141)의 광 방출 방향을 이동하면서 IR 광을 순차적으로 방출할 수 있다. 본 개시의 일 실시예에서, IR 스캐너는 IR LED와 IR LED에서 방출되는 IR 광의 방향을 제어하여 반사할 수 있는 MEMS(Micro-Electro Mechanical Systems, 초소형 정밀기계 기술) 스캐너로 구성되고, IR 디텍터는 복수의 포토 다이오드(photodiode)로 구성될 수 있다. 광 조사부(141)가 MEMS 스캐너로 구성되고, 광 검출부(142)가 복수의 포토 다이오드로 구성되는 실시예에 대해서는 도 7a에서 상세하게 설명하기로 한다.

시선 추적 카메라(143)는 적어도 하나의 카메라로 구성될 수 있다. 시선 추적 카메라(143)는 예를 들어, IR 카메라로 구현될 수 있다. 증강 현실 디바이스(100)는 시선 추적 카메라(143)를 이용하여 사용자의 눈을 촬영하여 눈 이미지를 획득하고, 눈 이미지로부터 사용자의 시선 정보를 획득할 수 있다. 프로세서(150)가 시선 추적 카메라(143)를 이용하여 사용자의 눈의 시선 정보를 획득하는 구체적인 실시예에 대해서는 도 13b에서 상세하게 설명하기로 한다.

시선 추적 센서(140)는 사용자 눈의 시선에 관련된 데이터를 프로세서(150)에게 제공할 수 있으며, 프로세서(150)는 사용자 눈의 시선에 관련된 데이터에 기초하여 사용자의 시선 정보를 획득할 수 있다. 사용자의 눈의 시선에 관련된 데이터는 시선 추적 센서(140)에 의해 획득되는 데이터로서, 예를 들어, 사용자의 동공의 위치, 동공의 특징점의 위치, 사용자의 눈의 반짝임 특징점(glint feature point)의 위치, 사용자의 응시점(gaze point), 및 사용자의 시선 방향에 관한 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 사용자의 시선 방향은 예를 들어, 사용자의 눈의 중심으로부터 사용자가 응시하는 응시점을 향하는 시선의 방향일 수 있다. 사용자의 시선 방향은 사용자의 좌안의 중심으로부터 응시점을 향하는 시선 벡터 및 사용자의 우안의 중심으로부터 응시점을 향하는 시선 벡터에 의해 획득될 수 있으나, 이에 한정되는 것은 아니다.

시선 추적 센서(140)는 사용자의 눈으로부터 획득된 특징점의 정보를 프로세서(150)에 제공할 수 있다. 본 개시의 일 실시예에서, 시선 추적 센서(140)는 광 조사부(141)를 이용하여 사용자의 눈에 IR 광을 조사하고, 광 검출부(142)를 통해 사용자의 눈으로부터 반사된 반사광을 검출할 수 있다. 시선 추적 센서(140)는 검출된 반사광의 위치 정보를 프로세서(150)에 제공할 수 있다.

프로세서(150)는 메모리(160)에 저장된 하나 이상의 명령어들(instruction) 또는 프로그램 코드를 실행하고, 명령어들 또는 프로그램 코드에 대응되는 기능 및/또는 동작을 수행할 수 있다. 프로세서(150)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(150)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor, AP), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.

도 3에는 프로세서(150)가 하나의 엘리먼트로 도시되었으나, 이에 한정되는 것은 아니다. 일 실시예에서, 프로세서(150)는 하나 또는 하나 이상의 복수 개로 구성될 수 있다.

일 실시예에서, 프로세서(150)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 전용 하드웨어 칩으로 구성될 수도 있다.

메모리(160)에는 프로세서(150)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 메모리(160)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다.

메모리(160)에는 증강 현실 디바이스(100)의 기능 또는 동작들을 수행하기 위한 명령어들 또는 프로그램 코드가 저장될 수 있다. 본 개시의 일 실시예에서, 메모리(160)에는 프로세서(150)가 판독할 수 있는 명령어들, 알고리즘(algorithm), 데이터 구조, 프로그램 코드(program code), 및 애플리케이션 프로그램(application program) 중 적어도 하나가 저장될 수 있다. 메모리(160)에 저장되는 명령어들, 알고리즘, 데이터 구조, 및 프로그램 코드는 예를 들어, C,　C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.

메모리(160)에는 렌즈-안구 간 거리 측정 모듈(161), 응시점 검출 모듈(162), 동공 간 거리 측정 모듈(163), 초점 영역 결정 모듈(164), 및 굴절력 조절 모듈(165)에 관한 명령어들, 알고리즘, 데이터 구조, 또는 프로그램 코드가 저장되어 있을 수 있다. 메모리(160)에 포함되는 '모듈'은 프로세서(150)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미하고, 이는 명령어들, 알고리즘, 데이터 구조, 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.

이하의 실시예에서, 프로세서(150)는 메모리(160)에 저장된 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.

렌즈-안구 간 거리(Eye Relief, ER) 측정 모듈(161)은 시선 추적 센서(140)에 의해 검출된 복수의 특징점의 위치 정보에 기초하여 사용자의 눈과 가변 초점 렌즈(110) 간의 거리인 렌즈-안구 간 거리를 측정하는 동작 및/또는 기능에 관한 명령어들 또는 프로그램 코드로 구성된다. 프로세서(150)는 렌즈-안구 간 거리 측정 모듈(161)과 관련된 명령어들 또는 프로그램 코드를 실행함으로써, 사용자의 눈과 가변 초점 렌즈(110) 간의 거리에 관한 정보를 획득할 수 있다.

본 개시의 일 실시예에서, 시선 추적 센서(140)의 광 조사부(141)는 사용자의 눈에 IR 광을 조사하는 IR LED이고, 광 검출부(142)는 광 조사부(141)에 의해 사용자의 눈에 조사되고, 눈으로부터 반사된 IR 광을 검출하도록 구성된 IR 카메라일 수 있다. 본 개시의 일 실시예에서, IR LED는 복수 개로 구성되고, IR 카메라는 단일의 카메라로 구성될 수 있다. 프로세서(150)는 IR 광을 사용자의 눈에 조사하도록 복수의 IR LED를 제어할 수 있다. 프로세서(150)는 IR 카메라를 통해 사용자의 눈을 촬영함으로써 반사된 IR 광을 포함하는 이미지를 획득할 수 있다. 프로세서(150)는 IR 카메라를 통해 획득된 이미지로부터 눈의 반짝임 특징점(glint feature points)을 검출할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 IR 카메라의 이미지 센서를 통해 수신되는 IR 광의 밝기를 식별하고, IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 기준값 이상의 밝기를 갖는 IR 광에 대응되는 적어도 하나의 픽셀을 식별함으로써, 눈의 반짝임 특징점의 위치를 식별할 수 있다. 예를 들어, 프로세서(150)는 IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 가장 밝은 IR 광에 대응되는 픽셀을 식별함으로써 눈의 반짝임 특징점의 위치를 식별할 수 있다. 예를 들어, IR 카메라에 의해 촬영된 이미지 내의 픽셀들의 위치들이 IR 카메라의 좌표계를 통해 식별될 수 있으며, 눈의 반짝임 특징점의 위치는 눈의 반짝임 특징점에 대응되는 픽셀의 위치 값으로서, IR 카메라의 좌표계에서의 좌표 값을 가질 수 있다.

프로세서(150)는 식별된 복수의 반짝임 특징점의 조합인 반짝임 패턴(glint pattern)을 식별하고, 반짝임 패턴의 영역의 크기를 측정할 수 있다. 프로세서(150)는 반짝임 패턴의 영역의 크기에 기초하여 렌즈-안구 간 거리(Eye Relief, ER)를 산출할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 반짝임 패턴의 영역 크기, 복수의 IR LED가 배치된 위치 관계, 및 IR 카메라의 픽셀 별 위치 좌표 중 적어도 하나에 기초하여 렌즈-안구 간 거리(ER)를 산출할 수 있다. 그러나, 이에 한정되는 것은 아니고, 본 개시의 다른 실시예에서, 프로세서(150)는 반짝임 특징점들 사이의 거리, 복수의 IR LED가 배치된 위치 관계, 및 IR 카메라의 픽셀 별 위치 좌표 중 적어도 하나에 기초하여 렌즈-안구 간 거리(ER)를 산출할 수도 있다. 프로세서(150)가 복수의 IR LED 및 IR 카메라로 구성된 시선 추적 센서(140)를 이용하여 렌즈-안구 간 거리(ER)를 산출하는 구체적인 실시예에 대해서는 도 5a, 5b, 및 도 6에서 상세하게 설명하기로 한다.

본 개시의 일 실시예에서, 시선 추적 센서(140)의 광 조사부(141)는 사용자의 눈에 IR 광을 조사하는 IR 스캐너이고, 광 검출부(142)는 광 조사부(141)에 의해 사용자의 눈에 조사되고, 눈으로부터 반사된 IR 광을 검출하도록 구성된 IR 디텍터일 수 있다. 본 개시의 일 실시예에서, IR 스캐너는 MEMS(Micro-Electro Mechanical Systems, 초소형 정밀기계 기술) 스캐너로 구성되고, IR 디텍터는 복수의 포토 다이오드(photodiode)로 구성될 수 있다. 프로세서(150)는 MEMS 스캐너를 제어함으로써 사용자의 눈이 위치한 영역을 스캔하기 위하여 점 광원 또는 선 광원을 사용자의 눈이 위치한 영역을 커버하도록 순차적으로 조사하고, 사용자의 눈으로부터 반사된 광을 복수의 포토 다이오드를 통해 순차적으로 수신할 수 있다. 프로세서(150)는 복수의 포토 다이오드를 통하여 순차적으로 수신된 광의 어레이를 분석함으로써 눈의 반짝임 특징점을 검출할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 복수의 포토 다이오드를 통해 수신된 광 어레이에서 기준값 이상의 밝기를 갖는 광을 식별함으로써, 식별된 광에 대응되는 복수의 포토 다이오드 각각의 좌표계 상의 좌표값을 복수의 반짝임 특징점의 위치 좌표값으로서 획득할 수 있다.

프로세서(150)는 획득된 복수의 반짝임 특징점의 위치 좌표값에 기초하여, 복수의 특징점 간의 거리에 관한 정보를 획득하고, 획득된 복수의 반짝임 특징점 간의 거리에 기초하여 렌즈-안구 간 거리(ER)를 산출할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 복수의 반짝임 특징점 간의 거리 및 복수의 포토 다이오드 간의 위치 관계에 기초하여 렌즈-안구 간 거리(ER)를 산출할 수 있다. 프로세서(150)가 MEMS 스캐너 및 복수의 포토 다이오드로 구성된 시선 추적 센서(140)를 이용하여 렌즈-안구 간 거리(ER)를 산출하는 구체적인 실시예에 대해서는 도 7a, 7b, 및 도 8에서 상세하게 설명하기로 한다.

본 개시의 일 실시예에서, 프로세서(150)는 시선 추적 센서(140)를 이용하여 기 설정된 회전 각도로 회전하는 사용자의 눈을 촬영함으로써 이미지를 획득하고, 이미지로부터 동공 특징점을 검출할 수 있다. 동공 특징점은 예를 들어, 동공의 중심점일 수 있다. 본 개시의 일 실시예에서, 동공 특징점의 위치는 광 검출부(142)의 좌표계에서 위치를 나타내는 좌표값에 의해 식별될 수 있다. 예를 들어, 광 검출부(142)의 좌표계는 IR 카메라의 좌표계 또는 IR 디텍터(예를 들어, 포토 다이오드)의 좌표계일 수 있으며, 광 검출부(142)의 좌표계에서의 좌표 값은 2D 위치 좌표값일 수 있다.

프로세서(150)는 광 검출부(142)에 의해 검출된 IR 광을 분석함으로써 동공 특징점을 검출할 수 있다. 예를 들어, 광 검출부(142)가 IR 카메라인 경우, 프로세서(150)는 IR 카메라에 의해 촬영된 이미지를 분석함으로써 동공 특징점의 위치를 식별할 수 있다. 다른 예를 들어, 광 검출부(142)가 IR 디텍터(예를 들어, 포토 다이오드)인 경우, 프로세서(150)는 IR 디텍터에 의해 검출된 IR 광을 분석함으로써, 동공 특징점의 위치를 식별할 수 있다.

프로세서(150)는 검출된 동공 특징점의 회전 반경을 측정하고, 측정된 회전 반경에 기초하여 렌즈-안구 간 거리를 산출할 수 있다. 프로세서(150)가 동공 특징점의 회전 반경에 기초하여 렌즈-안구 간 거리를 산출하는 구체적인 실시예에 대해서는 도 9a, 9b, 및 도 10에서 상세하게 설명하기로 한다.

동공 간 거리(Inter Pupillary Distance, IPD) 측정 모듈(162)은 사용자의 좌안의 동공과 우안의 동공 간의 거리를 측정하는 동작 및/또는 기능과 관련된 명령어들 또는 프로그램 코드로 구성된다. 프로세서(150)는 동공 간 거리 측정 모듈(162)과 관련된 명령어들 또는 프로그램 코드를 실행함으로써, 사용자의 양안의 동공 간 거리를 측정할 수 있다. 프로세서(150)는 좌안에 대응되는 제1 시선 추적 센서를 이용하여 사용자의 좌안을 촬영함으로써 좌안 이미지를 획득하고, 좌안 이미지로부터 좌안 동공을 검출할 수 있다. 마찬가지로, 프로세서(150)는 우안에 대응되는 제2 시선 추적 센서를 통해 사용자의 우안에 관한 이미지를 획득하고, 우안 이미지로부터 우안 동공을 검출할 수 있다. 프로세서(150)가 시선 추적 센서(140)를 이용하여 동공 특징점을 검출하고, 동공의 위치를 검출하는 방법에 관한 중복되는 설명은 생략한다.

프로세서(150)는 제1 시선 추적 센서 및 제2 시선 추적 센서의 위치 관계 및 카메라 속성 정보에 기초하여 좌안 동공과 우안 동공의 3차원 위치 좌표값 정보를 획득할 수 있다. 카메라 속성 정보는 예를 들어, 픽셀 별 위치 좌표계, 해상도(resolution), 및 화각(Field of View, FOV) 중 적어도 하나에 관한 정보를 포함할 수 있다. 프로세서(150)는 좌안 동공 및 우안 동공 각각의 3차원 위치 좌표에 기초하여 동공 간 거리를 산출할 수 있다. 프로세서(150)가 동공 간 거리(IPD)를 산출하는 구체적인 실시예에 대해서는 도 11 및 도 12에서 상세하게 설명하기로 한다.

응시점 검출 모듈(163)은 사용자의 양안의 시선 방향이 수렴하는 지점인 응시점(gaze point)을 검출하는 동작 및/또는 기능과 관련된 명령어들 또는 프로그램 코드로 구성된다. 프로세서(150)는 응시점 검출 모듈(163)과 관련된 명령어들 또는 프로그램 코드를 실행함으로써, 응시점을 검출할 수 있다. 프로세서(150)는 시선 추적 센서(140)에 의해 검출된 동공 특징점(pupil feature point)을 검출하고, 검출된 동공 특징점의 위치에 기초하여 사용자의 양안의 시선 방향에 관한 정보를 획득할 수 있다.

프로세서(150)는 동공 특징점의 위치에 기초하여 동공의 위치 정보를 획득하고, 동공의 위치 정보에 기초하여 시선 방향에 관한 정보를 획득할 수 있다. 프로세서(150)는 시선 추적 센서(140)를 통해 사용자의 좌안의 시선 방향 정보 및 우안의 시선 방향 정보를 획득하고, 양안 시차(binocular disparity), 좌안의 시선 방향 및 우안의 시선 방향에 관한 시선 정보를 이용하여, 응시점의 위치 좌표값을 추정할 수 있다. 프로세서(150)가 응시점을 검출하고, 응시점에 관한 위치 좌표값 정보를 획득하는 구체적인 실시예에 대해서는 도 13a 내지 도 13d, 도 14, 및 도 15에서 상세하게 설명하기로 한다.

초점 영역 결정 모듈(164)은 렌즈-안구 간 거리, 응시점, 및 동공 간 거리에 관한 정보에 기초하여 가변 초점 렌즈(110)의 전체 영역 중 초점 영역의 위치를 결정하는 동작 및/또는 기능과 관련된 명령어들 또는 프로그램 코드로 구성된다. 프로세서(150)는 초점 영역 결정 모듈(164)과 관련된 명령어들 또는 프로그램 코드를 실행함으로써 가변 초점 렌즈(110)의 전체 영역 중 초점 영역의 위치를 결정할 수 있다. 프로세서(150)는 렌즈-안구 간 거리, 응시점과 사용자의 눈과의 거리, 및 동공 간 거리에 기초하여, 초점 중심점의 위치 좌표값을 획득할 수 있다. 본 개시의 일 실시예에서, 초점 중심점의 위치 좌표값은 가변 초점 렌즈의 전체 영역 중 특정 지점의 2차원 위치 좌표값일 수 있다. 프로세서(150)는 획득된 초점 중심점의 위치를 중심으로 기 설정된 크기의 영역을 초점 영역으로 결정할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 초점 중심점의 2차원 위치 좌표값을 중심으로 기 설정된 크기의 반경을 갖는 원을 초점 영역으로 결정할 수 있다.

본 개시의 일 실시예에서, 프로세서(150)는 좌안 가변 초점 렌즈(110L, 도 2 참조)의 전체 영역 중 좌안의 응시점을 향하는 시선 방향을 나타내는 가상의 직선이 좌안 가변 초점 렌즈(110L)와 만나는 지점을 초점 중심점으로 결정하고, 초점 중심점을 중심으로 기 설정된 크기의 영역을 좌안 가변 초점 렌즈(110L)의 초점 영역으로 결정할 수 있다. 마찬가지로, 프로세서(150)는 우안 가변 초점 렌즈(110R, 도 2 참조)의 전체 영역 중 우안의 응시점을 향하는 시선 방향을 나타내는 가상의 직선이 우안 가변 초점 렌즈(110R)와 만나는 지점을 초점 중심점으로 결정하고, 초점 중심점을 중심으로 기 설정된 크기의 영역을 우안 가변 초점 렌즈(110R)의 초점 영역으로 결정할 수 있다. 프로세서(150)가 초점 영역의 위치를 결정하는 구체적인 실시예에 대해서는 도 16에서 상세하게 설명하기로 한다.

굴절력 조절 모듈(165)은 가변 초점 렌즈(110)에 제어 전압을 인가함으로써, 초점 영역에 배치되는 액정 분자들의 배열 각도를 변경하고, 이를 통해 초점 영역의 굴절력(refractive power)을 조절하는 동작 및/또는 기능과 관련된 명령어들 또는 프로그램 코드로 구성된다. 프로세서(150)는 굴절력 조절 모듈(165)과 관련된 명령어들 또는 프로그램 코드를 실행함으로써 초점 영역의 굴절력을 조절하고, 초점 영역을 투과하는 광의 굴절률(refractive index)을 조절할 수 있다. 프로세서(150)는 초점 영역의 굴절력을 조절함으로써, 가변 초점 렌즈(110)의 버전스를 조절할 수 있다. '버전스(vergence)'는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스(index)로서, 렌즈의 굴절력에 따라 조절될 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 초점 영역의 굴절력을 제1 방향으로 조절함으로써, 가변 초점 렌즈(110)의 버전스를 조절하고, 현실 객체 또는 가상 이미지에 대한 초점 거리를 조절할 수 있다. 초점 영역의 버전스를 발산 방향으로 조절하는 경우, 초점 영역을 투과하는 광의 경로가 길어져서 사용자의 눈의 망막 상에 맺히는 현실 객체 또는 가상 이미지에 대한 초점 거리가 길어질 수 있다. 본 개시의 다른 실시예에서, 프로세서(150)가 초점 영역의 버전스를 조절함으로써, 초점 거리는 양안의 수렴 거리와 동일하게 조절될 수 있다.

프로세서(150)는 초점 영역의 굴절력을 조절하고, 초점 거리를 조절함으로써, 사용자의 눈의 시력을 교정할 수도 있다. 이 경우, 가변 초점 렌즈(110)는 시력 교정용 렌즈로 활용될 수 있다.

프로세서(150)가 초점 영역의 굴절력을 조절하고, 초점 영역의 버전스를 변경하는 구체적인 실시예에 대해서는 도 17a, 17b, 도 18 및 도 19에서 상세하게 설명하기로 한다.

도 4는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 동작 방법을 도시한 흐름도이다.

단계 S410에서, 증강 현실 디바이스(100)는 시선 추적 센서(140, 도 2 및 도 3 참조)를 이용하여 사용자의 눈으로부터 반사된 반사광을 수광하여 복수의 특징점을 검출한다. 본 개시의 일 실시예에서, 시선 추적 센서(140)는 IR 광을 사용자의 눈에 조사하는 IR 광원 및 사용자의 눈으로부터 반사된 IR 광을 촬영함으로써 이미지를 획득하는 IR 카메라를 포함할 수 있다. IR 광원은 예를 들어, 복수의 IR LED로 구성될 수 있다. 증강 현실 디바이스(100)는 IR 광원을 제어함으로써 IR 광을 사용자의 눈에 조사하고, 사용자의 눈으로부터 반사된 광을 상기 IR 카메라를 이용하여 촬영함으로써 획득된 상기 이미지로부터 복수의 반짝임 특징점(glint feature points)을 검출할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 IR 카메라의 이미지 센서를 통해 수신되는 IR 광의 밝기를 식별하고, IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 기준값 이상의 밝기를 갖는 IR 광에 대응되는 적어도 하나의 픽셀을 검출함으로써, 눈의 반짝임 특징점의 위치를 식별할 수 있다.

본 개시의 일 실시예에서, 시선 추적 센서(140)는 사용자의 눈에 IR 광을 조사하는 IR 스캐너 및 사용자의 눈으로부터 반사된 IR 광을 검출하는 IR 디텍터를 포함할 수 있다. IR 스캐너는 예를 들어, MEMS(Micro-Electro Mechanical Systems, 초소형 정밀기계 기술) 스캐너로 구성되고, IR 디텍터는 예를 들어, 복수의 포토 다이오드(photodiode)로 구성될 수 있다. 증강 현실 디바이스(100)는 IR 스캐너를 제어함으로써 점 광원 또는 선 광원을 사용자의 눈이 위치한 영역을 커버하도록 순차적으로 조사하고, 사용자의 눈으로부터 반사된 광을 IR 디텍터를 이용하여 순차적으로 수신할 수 있다. 증강 현실 디바이스(100)는 IR 디텍터를 통해 순차적으로 수신된 광의 어레이를 분석함으로써 눈의 반짝임 특징점을 검출할 수 있따. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 복수의 포토 다이오드를 통해 수신된 광 어레이에서 기준값 이상의 밝기를 갖는 광을 검출함으로써, 검출된 광에 대응되는 복수의 포토 다이오드 각각의 좌표계 상의 좌표값을 복수의 반짝임 특징점의 위치 좌표값으로서 획득할 수 있다.

본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 시선 추적 센서(140)를 이용하여 기 설정된 회전 각도로 회전하는 사용자의 눈을 촬영함으로써 이미지를 획득하고, 이미지로부터 동공 특징점을 검출할 수 있다. 동공 특징점은 예를 들어, 동공의 중심점일 수 있다. 본 개시의 일 실시예에서, 동공 특징점의 위치는 시선 추적 센서(140)의 광 검출부(142, 도 3 참조)의 좌표계에서 위치를 나타내는 좌표값에 의해 식별될 수 있다. 예를 들어, 광 검출부(142)가 IR 카메라인 경우, 증강 현실 디바이스(100)는 IR 카메라에 의해 촬영된 이미지를 분석함으로써 동공 특징점의 위치를 식별할 수 있다. 다른 예를 들어, 광 검출부(142)가 IR 디텍터(예를 들어, 포토 다이오드)인 경우, 증강 현실 디바이스(100)는 IR 디텍터에 의해 검출된 IR 광을 분석함으로써, 동공 특징점의 위치를 식별할 수 있다.

단계 S420에서, 증강 현실 디바이스(100)는 복수의 특징점의 위치 정보에 기초하여, 사용자의 눈과 가변 초점 렌즈 간의 거리인 렌즈-안구 간 거리(Eye Relief, ER)에 관한 정보를 획득한다. 증강 현실 디바이스(100)는 복수의 반짝임 특징점의 조합인 반짝임 패턴(glint pattern)의 영역의 크기에 기초하여 렌즈-안구 간 거리를 산출할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 복수의 IR LED 간의 위치 관계 및 IR 카메라의 픽셀 별 위치 좌표 중 적어도 하나에 기초하여 렌즈-안구 간 거리를 산출할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 복수의 반짝임 특징점의 위치 정보에 기초하여, 복수의 반짝임 특징점 간의 거리에 관한 정보를 획득하고, 획득된 복수의 반짝임 특징점 간의 거리에 기초하여 렌즈-안구 간 거리를 산출할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 동공 특징점의 회전 반경을 측정하고, 측정된 회전 반경에 기초하여 렌즈-안구 간 거리를 산출할 수 있다.

단계 S430에서, 증강 현실 디바이스(100)는 사용자의 양안의 시선 방향이 수렴하는 응시점(gaze point) 및 양안의 동공 간 거리(Inter Pupillary Distance, IPD)를 획득한다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 제1 시선 추적 센서를 이용하여 획득된 좌안 이미지로부터 좌안 동공을 검출하고, 제2 시선 추적 센서를 이용하여 획득된 우안 이미지로부터 우안 동공을 검출할 수 있다. 증강 현실 디바이스(100)는 제1 시선 추적 센서 및 제2 시선 추적 센서의 위치 관계 및 카메라의 속성 정보에 기초하여 좌안 동공과 우안 동공의 3차원 위치 좌표를 획득하고, 좌안 동공 및 우안 동공의 3차원 위치 좌표에 기초하여 동공 간 거리(IPD)를 산출할 수 있다.

본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 제1 시선 추적 센서를 이용하여 사용자의 좌안으로부터 동공을 검출하고, 제2 시선 추적 센서를 이용하여 사용자의 우안으로부터 동공을 검출할 수 있다. 증강 현실 디바이스(100)는 좌안으로부터 검출된 동공의 위치에 기초하여 좌안의 시선 방향 정보를 획득하고, 우안으로부터 검출된 동공의 위치에 기초하여 우안의 시선 방향 정보를 획득할 수 있다. 증강 현실 디바이스(100)는 양안 시차(binocular disparity), 좌안의 시선 방향 및 우안의 시선 방향에 관한 시선 정보를 이용하여, 응시점의 위치 좌표값을 추정할 수 있다.

단계 S440에서, 증강 현실 디바이스(100)는 렌즈-안구 간 거리(ER), 응시점(gaze point), 및 동공 간 거리(IPD)에 관한 정보에 기초하여 가변 초점 렌즈의 전체 영역 중 초점 영역의 위치를 결정한다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 렌즈-안구 간 거리, 응시점과 사용자의 눈과의 거리인 수렴 거리, 동공 간 거리에 기초하여 초점 중심점의 위치 좌표값을 획득할 수 있다. 본 개시의 일 실시예에서, 초점 중심점의 위치 좌표값은 가변 초점 렌즈의 전체 영역 중 특정 지점의 2차원 위치 좌표값일 수 있다. 증강 현실 디바이스(100)는 획득된 초점 중심점의 위치를 중심으로 기 설정된 크기의 영역을 초점 영역으로 결정할 수 있다.

본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 좌안 가변 초점 렌즈(110L, 도 2 참조)의 전체 영역 중 좌안의 응시점을 향하는 시선 방향을 나타내는 가상의 직선이 좌안 가변 초점 렌즈(110L)와 만나는 지점을 초점 중심점으로 결정하고, 초점 중심점을 중심으로 기 설정된 크기의 영역을 좌안 가변 초점 렌즈(110L)의 초점 영역으로 결정할 수 있다. 마찬가지로, 증강 현실 디바이스(100)는 우안 가변 초점 렌즈(110R, 도 2 참조)의 전체 영역 중 우안의 응시점을 향하는 시선 방향을 나타내는 가상의 직선이 우안 가변 초점 렌즈(110R)와 만나는 지점을 초점 중심점으로 결정하고, 초점 중심점을 중심으로 기 설정된 크기의 영역을 우안 가변 초점 렌즈(110R)의 초점 영역으로 결정할 수 있다.

도 5a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 시선 추적 센서(140)를 이용하여 눈의 반짝임 패턴을 검출하는 동작을 도시한 도면이다.

도 5b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 시선 추적 센서(140, 도 5a 참조)를 이용하여 획득된 이미지(500-1, 500-2)로부터 반짝임 패턴(G1, G2)을 검출하는 동작을 설명하기 위한 도면이다.

도 6은 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 시선 추적 센서(140, 도 5a 참조)를 이용하여 검출한 반짝임 패턴을 이용하여 렌즈-안구 간 거리(Eye Relief)에 관한 정보를 획득하는 방법을 도시한 흐름도이다. 도 6에서 단계 S610 및 S620은 도 4에 도시된 단계 S410을 구체화한 단계들이다. 도 6에서 단계 S630은 도 4에 도시된 단계 S420을 구체화한 단계이다. 도 6의 단계 S630이 수행된 이후에는 도 4의 단계 S430이 수행될 수 있다.

이하에서는, 도 5a, 도 5b, 및 도 6을 함께 참조하여, 증강 현실 디바이스(100)가 렌즈-안구 간 거리(ER)에 관한 정보를 획득하는 동작을 설명하기로 한다.

도 5a를 참조하면, 시선 추적 센서(140)는 복수의 광 조사부(141a-1 내지 141a-4) 및 광 검출부(142a)를 포함할 수 있다. 본 개시의 일 실시예에서, 복수의 광 조사부(141a-1 내지 141a-4)는 사용자의 눈(E)에 IR 광을 조사하는 IR LED로 구성되고, 광 검출부(142a)는 사용자의 눈(E)으로부터 반사된 IR 광을 촬영함으로써 이미지를 획득하는 IR 카메라로 구성될 수 있다. 도 5a에서 복수의 광 조사부(141a-1 내지 141a-4)는 4개로 도시되었지만, 이는 예시적인 것이고, 도면에 도시된 바와 같이 한정되는 것은 아니다. 본 개시의 다른 실시예에서, 복수의 광 조사부(141a-1 내지 141a-4)는 2개 이상의 복수 개로 구성되거나 또는 단일의 광 조사부로 구현될 수도 있다.

복수의 광 조사부(141a-1 내지 141a-4)는 증강 현실 디바이스(100)의 렌즈 프레임(또는 림(rim))(102) 상에서 기 설정된 거리(d) 만큼 서로 이격되어 배치될 수 있다. 복수의 광 조사부(141a-1 내지 141a-4) 간의 이격된 거리(d) 및 위치 정보는 증강 현실 디바이스(100)의 메모리(160, 도 3 참조) 내의 저장 공간 내에 저장되어 있을 수 있다.

도 6을 참조하면, 단계 S610에서 증강 현실 디바이스(100)는 IR 광원을 이용하여 눈에 IR 광을 조사하고, IR 카메라를 이용하여 눈으로부터 반사된 IR 광을 촬영함으로써 이미지를 획득한다. 도 5a를 함께 참조하면, 증강 현실 디바이스(100)의 프로세서(150, 도 3 참조)는 IR 광원인 복수의 광 조사부(141a-1 내지 141a-4)에 전원을 인가하고, IR 광을 사용자의 눈(E)의 특정 영역 상에 조사하도록 복수의 광 조사부(141a-1 내지 141a-4)를 제어할 수 있다. 프로세서(150)는 IR 카메라로 구성되는 광 검출부(142a)를 제어하여, 사용자의 눈(E)으로부터 반사된 IR 광을 수신하고, IR 광을 촬영하여 이미지(500-1, 500-2, 도 5b 참조)를 획득할 수 있다.

본 개시의 일 실시예에서, 복수의 광 조사부(141a-1 내지 141a-4)는 점멸하는 IR 광을 조사하는 IR LED일 수 있고, 이 경우 광 검출부(142a)는 IR 이벤트 카메라일 수 있다. IR 이벤트 카메라는 특정 이벤트가 발생하는 경우에 활성화되어 자동으로 피사체를 촬영하는 IR 카메라일 수 있다. IR 이벤트 카메라는, 예를 들어, 점멸하는 광의 패턴이 상이한 경우에 활성화되어 사용자의 눈(E)을 자동으로 촬영할 수 있다.

단계 S620에서, 증강 현실 디바이스(100)는 이미지로부터 복수의 반짝임 특징점을 검출한다. 도 5b를 함께 참조하면, 증강 현실 디바이스(100)의 프로세서(150)는 광 검출부(142a, 도 5a 참조)를 이용하여 사용자의 눈(E)을 촬영함으로써 획득한 이미지(500-1, 500-2)를 분석함으로써 복수의 반짝임 특징점(P₁ 내지 P₄)을 검출할 수 있다. 본 개시의 일 실시예에서, 광 검출부(142a)는 IR 카메라이고, 프로세서(150)는 IR 카메라의 이미지 센서를 통해 수신되는 IR 광의 밝기를 식별할 수 있다. 프로세서(150)는 IR 카메라에 의해 촬영된 이미지(500-1, 500-2)의 픽셀들 중 소정의 기준값 이상의 밝기를 갖는 IR 광에 대응되는 픽셀을 검출함으로써 복수의 반짝임 특징점(P₁ 내지 P₄)의 위치를 식별할 수 있다. 예를 들어, 프로세서(150)는 IR 카메라에 의해 촬영된 이미지(500-1, 500-2)의 픽셀들 중에서 가장 밝은 IR 광에 대응되는 픽셀을 검출함으로써 복수의 반짝임 특징점(P₁ 내지 P₄)의 위치를 식별할 수 있다. 예를 들어, IR 카메라에 의해 촬영된 이미지(500-1, 500-2) 내의 픽셀들의 위치들이 IR 카메라의 좌표계를 통해 식별될 수 있으며, 복수의 반짝임 특징점(P₁ 내지 P₄)의 위치는 픽셀의 위치 좌표값으로서, IR 카메라의 좌표계에서의 좌표 값을 가질 수 있다.

복수의 반짝임 특징점(P₁ 내지 P₄)은 복수의 광 조사부(141a-1 내지 141a-4)에 각각 대응될 수 있다. 예를 들어, 제1 반짝임 특징점(P₁)은 제1 광 조사부(141a-1)에 의해 조사된 광에 의한 반사광을 촬영하여 검출된 특징점이고, 제2 반짝임 특징점(P₂)은 제2 광 조사부(141a-2)에 의해 조사된 광에 의한 반사광을 촬영하여 검출된 특징점이고, 제3 반짝임 특징점(P₃)은 제3 광 조사부(141a-3)에 의해 조사된 광에 의한 반사광을 촬영하여 검출된 특징점이며, 제4 반짝임 특징점(P₄)은 제4 광 조사부(141a-4)에 의해 조사된 광에 의한 반사광을 촬영하여 검출된 특징점일 수 있다.

단계 S630에서, 증강 현실 디바이스(100)는 복수의 반짝임 특징점(P_-1 내지 P₄)의 조합인 반짝임 패턴(glint pattern)(G1, G2)의 영역의 크기에 기초하여 렌즈-안구 간 거리(ER)를 산출한다. 도 5b를 함께 참조하면, 제1 이미지(500-1)는 복수의 광 조사부(141a-1 내지 141a-4)와 사용자의 눈(E) 간의 거리가 ER1인 경우 광 검출부(142a)를 이용하여 눈(E)을 촬영하여 획득된 이미지이고, 제2 이미지(500-2)는 복수의 광 조사부(141a-1 내지 141a-4)와 사용자의 눈(E) 간의 거리가 ER2인 경우 광 검출부(142a)를 이용하여 눈(E)을 촬영하여 획득된 이미지이다. 복수의 광 조사부(141 a-1 내지 141a-4)와 사용자의 눈(E) 간의 거리는 복수의 반짝임 특징점(P₁ 내지 P₄)에 의해 형성되는 반짝임 패턴(G1, G2)의 영역의 크기와 반비례 관계를 갖는다. 예를 들어, 복수의 광 조사부(141 a-1 내지 141a-4)와 사용자의 눈(E) 간의 거리가 짧을수록 반짝임 패턴(G1, G2)의 영역의 크기는 커질 수 있다. 도 5b에 도시된 실시예에서, 제1 이미지(500-1)의 반짝임 패턴(G1)의 크기는 복수의 광 조사부(141 a-1 내지 141a-4)와 사용자의 눈(E) 간의 거리가 ER1인 경우에 검출된 것으로서, 반짝임 패턴(G1)의 크기는 복수의 광 조사부(141 a-1 내지 141a-4)와 사용자의 눈(E) 간의 거리가 ER2인 경우에 촬영된 제2 이미지(500-2)에서 검출된 반짝임 패턴(G2)의 크기 보다 클 수 있다.

프로세서(150)는 반짝임 패턴(G1, G2)의 영역 크기, 복수의 광 조사부(141a-1 내지 141a-4)의 위치 관계, 및 광 검출부(142a)의 픽셀 별 위치 좌표 중 적어도 하나에 기초하여 렌즈-안구 간 거리(ER)를 산출할 수 있다. 도 5a를 함께 참조하면, 복수의 IR LED 간의 이격된 거리(d) 및 렌즈 프레임(102) 상에서의 위치 관계는 메모리(160)에 저장되어 있을 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 복수의 IR LED 간의 이격된 거리(d) 및 위치 관계에 관한 정보를 메모리(160)로부터 로드(load)하고, 로드된 복수의 IR LED의 위치 정보, IR 카메라의 픽셀 별 위치 좌표계, 및 제1 이미지(500-1)로부터 검출된 반짝임 패턴(G1)의 크기에 기초하여 렌즈-안구 간 거리(ER1)를 산출할 수 있다. 동일한 방식으로, 프로세서(150)는 복수의 IR LED 간의 이격된 거리(d) 및 위치 관계에 관한 정보를 메모리(160)로부터 로드(load)하고, 로드된 복수의 IR LED의 위치 정보, IR 카메라의 픽셀 별 위치 좌표계, 및 제2 이미지(500-2)로부터 검출된 반짝임 패턴(G2)의 크기에 기초하여 렌즈-안구 간 거리(ER2)를 산출할 수 있다.

그러나, 이에 한정되는 것은 아니고, 프로세서(150)는 복수의 반짝임 특징점(P₁ 내지 P₄) 간의 거리(d₁, d₂)에 기초하여 렌즈-안구 간 거리(ER)를 산출할 수도 있다. 본 개시의 다른 실시예에서, 프로세서(150)는 제1 이미지(500-1)로부터 검출된 복수의 반짝임 패턴(P₁ 내지 P₄) 간의 거리(d₁), 렌즈 프레임(102, 도 5a 참조) 상의 복수의 광 조사부(예를 들어, IR LED)(141a-1 내지 141a-4) 간의 거리(d), 및 광 검출부(예를 들어, IR 카메라)(142a)의 픽셀 별 위치 좌표계에 기초하여, 렌즈-안구 간 거리(ER1)를 산출할 수 있다. 동일한 방식으로, 프로세서(150)는 제2 이미지(500-2)로부터 검출된 복수의 반짝임 패턴(P₁ 내지 P₄) 간의 거리(d₂), 렌즈 프레임(102, 도 5a 참조) 상의 복수의 광 조사부(예를 들어, IR LED)(141a-1 내지 141a-4) 간의 거리(d), 및 광 검출부(예를 들어, IR 카메라)(142a)의 픽셀 별 위치 좌표계에 기초하여, 렌즈-안구 간 거리(ER2)를 산출할 수 있다.

도 7a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 시선 추적 센서(140)를 이용하여 눈의 반짝임 특징점을 검출하는 동작을 도시한 도면이다.

도 7b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 시선 추적 센서(140, 도 7a 참조)를 이용하여 반짝임 특징점(P₁ 내지 P₄)을 검출하는 동작을 설명하기 위한 도면이다.

도 8은 본 개시의 일 실시예에 따른 증강 현실 디바이스가 시선 추적 센서(140, 도 7a 참조)를 이용하여 검출한 반짝임 패턴(P₁ 내지 P₄, 도 7b 참조)을 이용하여 렌즈-안구 간 거리(Eye Relief)에 관한 정보를 획득하는 방법을 도시한 흐름도이다. 도 8에서 단계 S810 및 S820은 도 4에 도시된 단계 S410을 구체화한 단계들이다. 도 8에서 단계 S830 및 S840은 도 4에 도시된 단계 S420을 구체화한 단계들이다. 도 8의 단계 S840이 수행된 이후에는 도 4의 단계 S430이 수행될 수 있다.

이하에서는, 도 7a, 도 7b, 및 도 8을 함께 참조하여, 증강 현실 디바이스(100)가 렌즈-안구 간 거리(ER)에 관한 정보를 획득하는 동작을 설명하기로 한다.

도 7a를 참조하면, 시선 추적 센서(140)는 광 조사부(141b) 및 복수의 광 검출부(142b-1 내지 141b-4)를 포함할 수 있다. 본 개시의 일 실시예에서, 광 조사부(141b)는 사용자의 눈(E)에 IR 광을 조사하는 IR 스캐너로 구성될 수 있다. 예를 들어, 광 조사부(141b)는 점광 또는 선광 형태의 IR 광을 광 반사부를 향해 방출하고, 방출된 IR 광이 광 반사부에 의해 반사되어 사용자의 눈을 향하도록 조사하는 MEMS(Micro-Electro Mechanical Systems, 초소형 정밀기계 기술) 스캐너로 구성될 수 있다. 복수의 광 검출부(142b-1 내지 142b-4)는 사용자의 눈(E)으로부터 반사되는 IR 광을 검출하는 2D(2-Dimension) IR 디텍터로 구성될 수 있다. 예를 들어, 복수의 광 검출부(142b-1 내지 142b-4)는 포토 다이오드로 구성될 수 있다. 도 7a에서 복수의 광 검출부(142b-1 내지 142b-4)는 4개로 도시되었지만, 이는 예시적인 것이고, 도면에 도시된 바와 같이 한정되는 것은 아니다. 본 개시의 다른 실시예에서, 복수의 광 검출부(142b-1 내지 142b-4)는 2개 이상의 복수 개로 구성되거나 또는 단일의 포토 다이오드로 구현될 수도 있다.

도 8을 참조하면, 단계 S810에서 증강 현실 디바이스(100)는 IR 스캐너를 이용하여 눈에 IR 광을 조사하고, IR 디텍터를 이용하여 눈으로부터 반사된 IR 광을 검출한다. 도 7a를 함께 참조하면, 증강 현실 디바이스(100)의 프로세서(150, 도 3 참조)는 IR 스캐너로 구성된 광 조사부(141b)를 제어함으로써 점 광원 또는 선 광원을 사용자의 눈(E)이 위치한 영역을 커버하도록 순차적으로 조사할 수 있다. 프로세서(150)는 사용자의 눈(E)으로부터 반사된 IR 광을 IR 디텍터로 구성된 복수의 광 검출부(142b-1 내지 142b-4)를 통해 순차적으로 수신할 수 있다.

단계 S820에서, 증강 현실 디바이스(100)는 반사광으로부터 복수의 반짝임 특징점을 검출하고, 복수의 반짝임 특징점의 위치 정보를 획득한다. 도 7b를 함께 참조하면, 증강 현실 디바이스(100)의 프로세서(150)는 복수의 광 검출부(142b-1 내지 142b-4, 도 7a 참조)를 통해 순차적으로 수신한 광의 어레이를 분석함으로써 눈의 반짝임 특징점을 검출할 수 있다. 복수의 광 검출부(142b-1 내지 142b-4)가 IR 디텍터로 구현되는 경우, 프로세서(150)는 복수의 IR 디텍터를 통해 순차적으로 수신된 IR 광의 어레이 내의 IR 광들의 속성(예를 들어, 밝기)에 기초하여, 반짝임 특징점(P₁ 내지 P₄)에 대응되는 위치 좌표값을 식별할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 복수의 IR 디텍터를 통해 수신된 IR 광의 어레이에서 소정의 기준값 이상의 밝기를 갖는 IR 광들로 구성된 복수의 반짝임 특징점(P₁ 내지 P₄)를 검출하고, 검출된 복수의 반짝임 특징점(P₁ 내지 P₄)에 각각 대응되는 위치 좌표값들을 획득할 수 있다.

복수의 반짝임 특징점(P₁ 내지 P₄)은 복수의 광 검출부(142b-1 내지 142b-4)에 각각 대응될 수 있다. 예를 들어, 제1 반짝임 특징점(P₁)은 광 조사부(141b, 도 7a 참조)에 의해 눈(E)에 조사되고, 눈(E)으로부터 반사된 IR 광을 제1 광 검출부(142b-1)를 이용하여 검출한 특징점이고, 제2 반짝임 특징점(P₂)은 눈(E)으로부터 반사된 IR 광을 제2 광 검출부(142b-2)를 이용하여 검출한 특징점이고, 제3 반짝임 특징점(P₃)은 눈(E)으로부터 반사된 IR 광을 제3 광 검출부(142b-3)를 이용하여 검출한 특징점이며, 제4 반짝임 특징점(P₄)은 눈(E)으로부터 반사된 IR 광을 제4 광 검출부(142b-4)를 이용하여 검출한 특징점일 수 있다.

단계 S830에서, 증강 현실 디바이스(100)는 복수의 반짝임 특징점의 위치 정보로부터 복수의 반짝임 특징점 간의 거리에 관한 정보를 획득한다. 도 7b를 함께 참조하면, 증강 현실 디바이스(100)의 프로세서(150)는 복수의 IR 디텍터를 이용하여 검출한 복수의 반짝임 특징점(P₁ 내지 P₄)의 위치 좌표값에 관한 정보를 이용하여 복수의 반짝임 특징점(P₁ 내지 P₄) 간의 거리(d_P)에 관한 정보를 획득할 수 있다.

단계 S840에서, 증강 현실 디바이스(100)는 복수의 반짝임 특징점 간의 거리에 기초하여 렌즈-안구 간 거리(ER)를 산출한다. 도 7b를 함께 참조하면, 증강 현실 디바이스(100)의 프로세서(150)는 복수의 반짝임 특징점(P₁ 내지 P₄) 간의 거리(d_P) 및 복수의 광 검출부(142b-1 내지 142b-4)(예를 들어, 복수의 포토 다이오드)의 위치 관계에 기초하여 렌즈-안구 간 거리를 산출할 수 있다.

도 9a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 사용자의 눈의 회전 반경을 이용하여 렌즈-안구 간 거리(Eye Relief)에 관한 정보를 획득하는 동작을 도시한 도면이다.

도 9b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 사용자의 눈의 회전 반경을 측정하는 동작을 설명하기 위한 도면이다.

도 10은 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 사용자의 눈의 회전 반경을 이용하여 렌즈-안구 간 거리(Eye Relief)에 관한 정보를 획득하는 방법을 도시한 흐름도이다. 도 10에서 단계 S1010 및 S1020은 도 4에 도시된 단계 S410을 구체화한 단계들이다. 도 10에서 단계 S1030 및 S1040은 도 4에 도시된 단계 S420을 구체화한 단계들이다. 도 10의 단계 S1040이 수행된 이후 도 4의 단계 S430이 수행될 수 있다.

이하에서는, 도 9a, 도 9b, 및 도 10을 함께 참조하여, 증강 현실 디바이스(100)가 렌즈-안구 간 거리(ER)에 관한 정보를 획득하는 동작을 설명하기로 한다.

도 9a를 참조하면, 시선 추적 센서(140)는 가변 초점 렌즈(110)와 인접하게 배치될 수 있다. 본 개시의 일 실시예에서, 시선 추적 센서(140)는 가변 초점 렌즈(110)가 결합된 렌즈 프레임(102, 도 2 참조) 상에 배치될 수 있다. 가변 초점 렌즈(110)는 사용자가 증강 현실 디바이스(100)를 장착하는 경우 사용자의 눈(E)과 ER1 또는 ER2 만큼 이격되어 배치될 수 있다.

도 10을 참조하면, 단계 S1010에서 증강 현실 디바이스(100)는 시선 추적 센서를 이용하여 기 설정된 회전 각도로 회전하는 사용자의 눈을 촬영함으로써 이미지를 획득한다. 도 9a를 함께 참조하면, 증강 현실 디바이스(100)는 객체(910, 920)를 바라보도록 유도하는 가이드를 제공할 수 있다. 본 개시의 일 실시예에서, 객체(910, 920)는 가상 이미지로서 디스플레이 엔진(130, 도 2 및 도 3 참조)에 의해 웨이브 가이드(120, 도 2 및 도 3 참조) 상에 투사되고, 웨이브 가이드(120)를 통해 사용자의 눈(E)에 전달될 수 있다. 그러나, 이에 한정되는 것은 아니고, 객체(910, 920)는 현실 공간 상에 위치하는 현실 객체일 수도 있다. 증강 현실 디바이스(100)는 객체(910, 920)를 바라보도록 유도하는 가이드를 통해 사용자의 눈(E)을 기 설정된 각도(α)만큼 회전하도록 할 수 있다. 기 설정된 각도(α)는 예를 들어, 눈(E)의 중심 위치를 기준으로 왼쪽 방향과 오른쪽 방향으로 15°일 수 있으나, 이에 한정되는 것은 아니다. 증강 현실 디바이스(100)의 프로세서(150, 도 5 참조)는 시선 추적 센서(140)를 이용하여 회전하는 사용자의 눈(E)을 촬영하고, 촬영을 통해 이미지(900-1 내지 900-4, 도 9b 참조)를 획득할 수 있다.

단계 S1020에서, 증강 현실 디바이스(100)는 이미지를 분석하여 동공 특징점을 검출한다. 도 9b를 함께 참조하면, 시선 추적 센서(140, 도 9a 참조)는 IR 광을 사용자의 눈(E)에 조사하는 IR 광원 및 사용자의 눈(E)으로부터 반사되는 IR 광을 촬영하여 이미지(900-1 내지 900-4)를 획득하는 IR 카메라를 포함할 수 있다. 증강 현실 디바이스(100)의 프로세서(150)는 IR 카메라의 이미지 센서를 통해 수신된 IR 광의 밝기를 식별하고, IR 카메라에 의해 촬영된 이미지(900-1 내지 900-4)의 픽셀들 중 동공을 나타내는 IR 광을 수신한 적어도 하나의 픽셀을 식별함으로써 동공 특징점(10)을 검출할 수 있다. 이 경우, 동공 특징점(10)은 이미지(900-1 내지 900-4)의 픽셀들 중 소정의 기준값 보다 낮은 밝기를 갖는 적어도 하나의 픽셀일 수 있으나, 이에 한정되지 않는다.

도 9b를 참조하면, 제1 이미지(900-1) 및 제2 이미지(900-2)는 가변 초점 렌즈(110, 도 9a 참조)와 사용자의 눈(E) 간의 거리가 ER1인 경우 시선 추적 센서(140)의 IR 카메라에 의해 획득된 이미지이고, 제3 이미지(900-3) 및 제4 이미지(900-4)는 가변 초점 렌즈(110)와 사용자의 눈(E) 간의 거리가 ER2인 경우 획득된 이미지이다. 제1 이미지(900-1) 및 제3 이미지(900-3)는 사용자의 눈(E)의 동공이 왼쪽 방향으로 기 설정된 회전 각도(α)만큼 이동한 경우 획득된 이미지이고, 제2 이미지(900-2) 및 제4 이미지(900-4)는 동공이 오른쪽 방향으로 기 설정된 회전 각도((α)만큼 이동한 경우 획득된 이미지이다. 증강 현실 디바이스(100)의 프로세서(150)는 가변 초점 렌즈(110)와 사용자의 눈(E) 간의 거리가 ER1인 경우 획득된 제1 이미지(900-1) 및 제2 이미지(900-2)로부터 각각 동공 특징점(10)을 검출할 수 있다. 마찬가지로, 프로세서(150)는 가변 초점 렌즈(110)와 사용자의 눈(E) 가의 거리가 ER2인 경우 획득된 제3 이미지(900-3) 및 제4 이미지(900-4)로부터 각각 동공 특징점(10)을 검출할 수 있다.

단계 S1030에서, 증강 현실 디바이스(100)는 동공 특징점의 회전 반경을 측정한다. 증강 현실 디바이스(100)의 프로세서(150)는 IR 카메라를 이용하여 획득한 이미지(900-1 내지 900-4)의 픽셀들 중 동공 특징점(10)이 검출된 적어도 하나의 픽셀의 위치 좌표값 정보를 획득하고, 동공 특징점(10)에 대응되는 픽셀의 위치 좌표값 정보에 기초하여 동공 특징점(10)의 회전 반경을 측정할 수 있다. 도 9b를 함께 참조하면, 프로세서(150)는 가변 초점 렌즈(110)와 사용자의 눈(E) 간의 거리가 ER1인 경우 획득된 제1 이미지(900-1) 및 제2 이미지(900-2) 각각으로부터 검출된 동공 특징점(10) 간의 거리를 측정할 수 있다. 도 9b에 도시된 실시예에서, 제1 이미지(900-1)에서 검출된 동공 특징점(10)과 제2 이미지(900-2)에서 검출된 동공 특징점(10) 간의 거리는 r₁일 수 있다. 프로세서(150)는 가변 초점 렌즈(110)와 사용자의 눈(E) 간의 거리가 ER2인 경우 획득된 제3 이미지(900-3) 및 제4 이미지(900-4) 각각으로부터 검출된 동공 특징점(10) 간의 거리를 측정할 수 있다. 도 9b에 도시된 실시예에서, 제3 이미지(900-3)에서 검출된 동공 특징점(10)과 제4 이미지(900-4)에서 검출된 동공 특징점(10) 간의 거리는 r₂일 수 있다.

단계 S1040에서, 증강 현실 디바이스(100)는 측정된 회전 반경에 기초하여 렌즈-안구 간 거리(ER)를 산출한다. 가변 초점 렌즈(110)와 사용자의 눈(E) 간의 거리는 동공 특징점(10)의 회전 반경과 반비례 관계를 갖는다. 예를 들어, 가변 초점 렌즈(110)와 사용자의 눈(E) 간의 거리가 짧을수록 동공 특징점(10)의 회전 반경은 커질 수 있다. 도 9b에 도시된 실시예에서, 가변 초점 렌즈(110)와 사용자의 눈(E) 간의 거리가 ER1인 경우 측정된 동공 특징점(10)의 회전 반경은 r₁이고, r₁의 크기는 가변 초점 렌즈(110)와 사용자의 눈(E) 간의 거리가 ER2인 경우 측정된 동공 특징점(10)의 회전 반경인 r₂의 크기 보다 클 수 있다. 증강 현실 디바이스(100)의 프로세서(150)는 동공 특징점(10)의 회전 반경의 크기 및 시선 추적 센서(140)의 IR 카메라의 픽셀 별 좌표계 정보에 기초하여 렌즈-안구 간 거리를 산출할 수 있다.

도 11은 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 사용자의 양안의 동공 간 거리(IPD)에 관한 정보를 획득하는 동작을 도시한 도면이다.

도 12는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 사용자의 양안의 동공 간 거리(IPD)에 관한 정보를 획득하는 방법을 도시한 흐름도이다. 도 12에서 단계 S1210 내지 S1230은 도 4에 도시된 단계 S430을 구체화한 단계들이다. 도 12의 단계 S1230이 수행된 이후 도 4의 단계 S440이 수행될 수 있다.

이하에서는 도 11 및 도 12를 함께 참조하여, 증강 현실 디바이스(100)가 동공 간 거리(IPD)에 관한 정보를 획득하는 동작을 설명하기로 한다.

도 11을 참조하면, 증강 현실 디바이스(100)는 시선 추적 센서(140)에 포함되는 IR 카메라의 캘리브레이션을 수행할 수 있다. 본 개시에서 IR 카메라의 '캘리브레이션(calibration)'은 3D(3-Dimension) 공간에 위치하는 현실 객체의 3D 위치 좌표과 카메라에 의해 촬영된 2D 이미지의 픽셀의 위치 좌표 간의 변환 관계 또는 변환 관계를 나타내는 매트릭스의 파라미터를 획득하는 보정 동작을 의미한다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 시선 추적 센서(140)의 IR 카메라를 이용하여 픽셀에 대응되는 패턴으로 구성된 평면(1100)을 촬영함으로써, 평면 상의 픽셀 별 위치 좌표값을 획득할 수 있다. 증강 현실 디바이스(100)는 획득된 픽셀 별 위치 좌표값을 이용하여 IR 카메라의 캘리브레이션을 수행할 수 있다.

증강 현실 디바이스(100)는 제1 시선 추적 센서(140L)의 IR 카메라를 이용하여 사용자의 좌안(E₁)을 촬영함으로써 좌안 이미지(1110L)를 획득하고, 제2 시선 추적 센서(140R)의 IR 카메라를 이용하여 사용자의 우안(E₂)을 촬영함으로써 우안 이미지(1110R)를 획득할 수 있다. 본 개시에서, 제1 시선 추적 센서(140L) 및 제2 시선 추적 센서(140R)는 IR 카메라를 포함할 수 있지만, 이에 한정되는 것은 아니다. 본 개시의 다른 실시예에서, 제1 시선 추적 센서(140L) 및 제2 시선 추적 센서(140R)는 사용자의 좌안(E₁) 및 우안(E₂)에 의해 반사되는 IR 광을 검출하는 IR 디텍터(예를 들어, 포토 다이오드)를 포함할 수도 있다.

도 12를 참조하면, 단계 S1210에서 증강 현실 디바이스(100)는 제1 시선 추적 센서를 이용하여 획득된 좌안 이미지로부터 좌안 동공을 검출하고, 제2 시선 추적 센서를 이용하여 획득된 우안 이미지로부터 우안 동공을 검출한다. 도 11을 함께 참조하면, 증강 현실 디바이스(100)의 프로세서(150)는 좌안 이미지(1110L)의 픽셀들 중 좌안 동공(11)에 대응되는 적어도 하나의 픽셀을 검출하고, 우안 이미지(1110R)의 픽셀들 중 우안 동공(12)에 대응되는 적어도 하나의 픽셀을 검출할 수 있다. 프로세서(150)가 이미지로부터 동공 특징점을 검출하는 방법에 관한 중복되는 설명은 생략한다.

단계 S1220에서, 증강 현실 디바이스(100)는 제1 시선 추적 센서와 제2 시선 추적 센서 간의 위치 관계 및 카메라 속성 정보에 기초하여 좌안 동공과 우안 동공의 3차원 위치 좌표를 획득한다. 도 11을 함께 참조하면, 사용자의 좌안(E₁)을 촬영하는 제1 시선 추적 센서(140L)와 우안(E₂)을 촬영하는 제2 시선 추적 센서(140R)는 소정 거리(d)만큼 이격되어 배치될 수 있다. 제1 시선 추적 센서(140L)와 제2 시선 추적 센서(140R) 간의 거리(d)에 관한 정보는 메모리(160, 도 3 참조) 내의 저장 공간에 저장되어 있을 수 있다. 증강 현실 디바이스(100)의 프로세서(150)는 메모리(160)로부터 제1 시선 추적 센서(140L)와 제2 시선 추적 센서(140R) 간의 거리(d)에 관한 정보를 로드(load)하고, IR 카메라의 속성 정보를 참조함으로써, 좌안 동공 특징점(P₁) 및 우안 동공 특징점(P₂)의 3차원 위치 좌표값을 획득할 수 있다. IR 카메라의 속성 정보는 예를 들어, 픽셀 별 위치 좌표계, 해상도(resolution), 및 화각(Field of View, FOV) 중 적어도 하나에 관한 정보를 포함할 수 있다.

본 개시의 일 실시예에서, 프로세서(150)는 좌안 이미지(1110L)와 캘리브레이션을 위한 픽셀 패턴을 결합한 좌안 좌표 평면 이미지(1120L)로부터 좌안 동공 특징점(P₁)의 3차원 위치 좌표값(x₁, y₁, z₁)을 획득할 수 있다. 또한, 프로세서(150)는 우안 이미지(1110R)와 캘리브레이션을 위한 픽셀 패턴을 결합한 우안 좌표 평면 이미지(1120R)로부터 우안 동공 특징점(P₂)의 3차원 위치 좌표값(x₂, y₂, z₂)을 획득할 수 있다.

단계 S1230에서, 증강 현실 디바이스(100)는 좌안 동공 및 우안 동공의 3차원 위치 좌표에 기초하여 동공 간 거리(Inter Pupillary Distance, IPD)를 산출한다. 도 11을 함께 참조하면, 증강 현실 디바이스(100)의 프로세서(150)는 좌안 동공 특징점(P₁)의 3차원 위치 좌표값(x₁, y₁, z₁)과 우안 동공 특징점(P₂)의 3차원 위치 좌표값(x₂, y₂, z₂)을 이용하여 좌안 동공 특징점(P₁)과 우안 동공 특징점(P₂) 사이의 거리를 산출할 수 있다. 프로세서(150)는 좌안 동공 특징점(P₁)과 우안 동공 특징점(P₂) 사이의 거리를 동공 간 거리(IPD)로서 획득할 수 있다.

도 13a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 시선 추적 센서(140a)를 이용하여 사용자의 눈의 시선 방향 정보를 획득하는 동작을 도시한 도면이다.

도 13a를 참조하면, 시선 추적 센서(140a)는 광 조사부(141) 및 복수의 광 검출부(142-1 내지 142-6)를 포함할 수 있다. 도 13a에 도시된 시선 추적 센서(140a)는 도 3의 시선 추적 센서(140)와 동일한 구성일 수 있다. 도 13a에서 복수의 광 검출부(142-1 내지 142-6)는 6개로 도시되었지만, 이는 예시적인 것이고, 복수의 광 검출부(142-1 내지 142-6)의 개수가 도시된 바와 같이 한정되는 것은 아니다.

광 조사부(141)는 눈(E)의 수정체가 배치되는 각막 부분에 IR 광을 조사하고, 복수의 광 검출부(142-1 내지 142-6)는 각막으로부터 반사된 IR 광을 검출할 수 있다. 본 개시의 일 실시예에서, 광 조사부(141)는 눈(E) 방향으로 IR 광을 조사하도록, 광 광의 경로를 변경하는 반사판(reflector)를 포함할 수 있다. 예를 들어, 광 조사부(141)는 IR LED로 구성되고, 복수의 광 검출부(142-1 내지 142-6)는 복수의 IR 카메라로 구성될 수 있다.

시선 추적 센서(140a)는 복수의 광 검출부(142-1 내지 142-6) 각각에 의해 검출된 IR 광의 양에 관한 정보를 획득하고, 획득된 IR 광의 광량에 기초하여 사용자의 눈(E)이 바라보는 시선 방향을 결정하고, 시선 방향을 나타내는 시선 벡터를 획득할 수 있다. 시선 추적 센서(140a)는 획득된 시선 벡터의 벡터값 및 벡터의 방향에 관한 데이터를 프로세서(150, 도 3 참조)에 제공할 수 있다.

도 13b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 시선 추적 센서(140b)를 이용하여 사용자의 눈(E)의 시선 방향 정보를 획득하는 동작을 도시한 도면이다.

도 13b를 참조하면, 시선 추적 센서(140b)는 사용자의 눈(E)에서 반사되는 반사광(1311, 1312, 1313, 1314, 1315)의 위치에 기초하여, 사용자의 시선을 추적하고, 이를 통해 시선 벡터를 획득할 수 있다. 시선 추적 센서(140b)는 광 조사부(141) 및 시선 추적 카메라(143)를 포함할 수 있다. 도 13b에 도시된 시선 추적 센서(140b)는 도 3의 시선 추적 센서(140)와 동일한 구성일 수 있다.

광 조사부(141)는 IR LED로 구성될 수 있다. 도 13b에 도시된 실시예에서, 광 조사부(141)는 서로 다른 위치에 배치되는 복수의 IR LED를 포함할 수 있다. 광 조사부(141)는 사용자의 눈(E)을 촬영할 때, 눈(E)에 광(예를 들어, IR 광)을 제공할 수 있다. 사용자의 눈(E)에 IR 광이 제공됨에 따라, 사용자의 눈(E)에서 반사되는 반사광이 생성될 수 있다.

시선 추적 카메라(143)는 적어도 하나의 카메라로 구성될 수 있다. 본 개시의 일 실시예에서, 시선 추적 카메라(143)는 IR 카메라로 구현될 수 있다. 증강 현실 디바이스는 시선 추적 카메라(143)에 의해 촬영된 사용자의 눈(E)에 관한 이미지들(1301 내지 1305)을 이용하여, 사용자의 눈(E)의 시선을 추적할 수 있다. 예를 들어, 시선 추적 카메라(143)은, 사용자의 눈 이미지들(1301 내지 1305)에서 동공(13)과 반사광(1311 내지 1315)을 검출함으로써, 사용자의 시선을 추적하고, 이를 통해 시선 벡터를 획득할 수 있다. 시선 추적 센서(140b)는 사용자의 눈 이미지들(1301 내지 1305) 각각에서 동공(13) 및 반사광(1311 내지 1315)의 위치를 검출하고, 동공(13)의 위치와 반사광(1311 내지 1315)의 위치 사이의 관계에 기초하여, 사용자의 눈(E)의 시선 방향을 결정할 수 있다.

예를 들어, 시선 추적 센서(140b)는 촬영된 제1 눈 이미지(1301)에서 동공(13) 및 반사광(1311)을 검출하고, 동공(13)의 위치와 반사광(1311)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(1321)을 결정할 수 있다. 동일한 방식으로, 시선 추적 센서(140b)는 제2 이미지 내지 제5 눈 이미지(1302, 1303, 1304, 1305) 각각에서 동공(13) 및 반사광(1311, 1312, 1313, 1314, 1315)을 검출하고, 동공(13)의 위치와 반사광(1312, 1313, 1314, 1315)의 위치 사이의 관계에 기초하여, 사용자의 눈의 시선 방향(1321, 1322, 1323, 1324, 1325)을 결정할 수 있다.

본 개시의 일 실시예에서, 시선 추적 센서(140b)는 결정된 시선 방향에 관한 정보에 기초하여 시선 벡터를 획득할 수 있다. 시선 추적 센서(140b)는 획득된 시선 벡터의 벡터값 및 벡터의 방향에 관한 데이터를 프로세서(150, 도 3 참조)에 제공할 수 있다.

본 개시의 다른 실시예에서, 시선 추적 센서(140b)는 복수의 눈 이미지들(1301 내지 1305) 각각에서 검출된 동공(13)의 위치와 반사광(1311 내지 1315)의 위치에 관한 위치 좌표값만을 프로세서(150, 도 3 참조)에 제공하고, 프로세서(150)는 시선 추적 센서(140b)로부터 획득한 위치 좌표값에 기초하여 사용자의 눈(E)의 시선 벡터를 계산할 수 있다.

도 13c는 사용자의 시선에 대한 3차원 안구 모델을 나타내는 도면이다.

도 13c를 참조하면, 증강 현실 디바이스(100)는 시선 추적 센서(140a, 140b)를 이용하여, 사용자의 눈(E)의 시선 방향을 결정할 수 있다. 예를 들어, 증강 현실 디바이스(100)는 사람의 평균적인 안구 모델을 바탕으로 시선 방향을 결정할 수 있다. 안구 모델은 사람의 눈(E)을 구 형상으로 가정하고, 시선 방향에 따라 눈(E)이 이상적으로 회전 운동을 한다고 가정함으로써, 모델링될 수 있다. 또한, 안구 모델은, 다음의 수학식 1 및 2와 같이 수학적으로 표현될 수 있다.

수학식 1 에서, d는 사용자의 눈의 중심(C_eye)과 가상의 스크린(1300) 사이의 거리를 나타내며, α는 사용자의 눈이 가상의 스크린(1300)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 x축 방향으로 회전한 각도를 나타내며, β는 사용자의 눈이 가상의 스크린(1300)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 y축 방향으로 회전한 각도를 나타낸다. 또한, 수학식 2에서, r은 사용자의 눈을 구로 가정했을 때, 구의 반지름을 나타낸다.

본 개시의 일 실시예에 따른 시선 추적 센서(140a, 140b)는 도 13a 및 도 13b에서 설명한 방법을 이용하여, 사용자의 눈(E)의 회전 정도(예를 들어, α 및 β)를 측정할 수 있고, 증강 현실 디바이스(100)는 사용자의 눈(E)의 회전 정도(α 및 β)를 이용하여, 가상의 스크린(1300) 상에서의 사용자의 눈(E)의 시선 방향의 2차원 위치 좌표값을 계산할 수 있다.

도 13d는 본 개시의 일 실시예에 따른 시선 추적 센서(140a, 140b, 도 13a 및 도 13b 참조)의 캘리브레이션(calibration)을 수행하는 방법을 설명하기 위하여 참조되는 도면이다.

도 13d를 참조하면, 사용자가 증강 현실 디바이스(100)를 처음 사용할 때, 좌안 및 우안의 시선 방향을 정확하게 측정하기 위하여, 시선 추적 센서(140a, 140b)를 캘리브레이션(calibration)하는 과정을 수행할 수 있다. 증강 현실 디바이스(100)는 사용자의 시선을 유도하기 위한 복수의 점이 표시된 서로 다른 깊이(예를 들어, d1, d2, d3)를 가지는 가상의 이미지들(VI1, VI2, VI3)을 출력하여, 복수의 점들 각각에 대해 사용자가 응시하는 것을 유도할 수 있다. 도 13d에서 가상의 이미지들(VI1, VI2, VI3) 각각에는 9개의 점이 표시된 것으로 도시되었지만, 이는 예시적인 것이고 점의 개수가 9개로 한정되는 것은 아니다.

증강 현실 디바이스(100)의 프로세서(150, 도 3 참조)는 사용자가 가상의 이미지들(VI1, VI2, VI3)에 포함되는 각각의 점을 응시할 때, 시선 추적 센서(140a, 140b)에서 출력되는 데이터(예를 들어, 시선 벡터)를 테이블 형태로 메모리(160, 도 3 참조) 내의 저장 공간에 저장할 수 있다.

도 13a에 도시된 실시예와 같이, 각막에서 반사된 IR 광의 광량을 이용하여 시선을 추적하는 방식에서는, 각각의 지점에서의 반사 각도와 광량 정보를 시선 정보로서 테이블 형태로서 메모리(160)에 미리 저장할 수 있다. 도 13b에 도시된 실시예와 같이, IR 광을 이용하여 사용자 눈을 촬영하는 방식에서는 각각의 지점마다 촬영된 사용자 눈과 반사광이 포함된 이미지를 시선 정보로서 연계하여 메모리(160)에 미리 저장할 수 있다.

증강 현실 디바이스(100)는 기 저장된 시선 정보와 시선 추적 센서(140a, 140b)에서 출력되는 시선 정보를 비교하여 사용자의 눈의 시선 방향을 결정할 수 있다. 증강 현실 디바이스(100)의 프로세서(150, 도 3 참조)는 시선 추적 센서(140a, 140b)에서 출력되는 시선 정보를 이용하여, 좌안 및 우안의 시선 방향을 결정할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 시선 추적 센서(140a, 140b)로부터 출력되는 시선 정보를 이용하여 좌안의 시선 방향을 나타내는 제1 시선 벡터 및 우안의 시선 방향을 나타내는 제2 시선 벡터를 계산할 수 있다.

증강 현실 디바이스(100)는 양안 시차(binocular disparity)와 좌안의 시선 방향 및 우안의 시선 방향에 관한 시선 정보를 이용하여, 응시점(G, 도 1a 및 도 1b 참조)의 위치 좌표값을 추정할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)의 프로세서(150, 도 3 참조)는 좌표 매핑 등을 이용하여, 현실 공간에서 사용자가 응시하는 지점(응시점, G)이 3차원 위치 좌표값(예를 들어, x 좌표값, y 좌표값, 및 z 좌표값)으로 매핑되도록 미리 설정되거나, 또는 응시점(G)의 3차원 위치 좌표값을 테이블 형태로 메모리(160)에 저장할 수 있다.

도 14는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 시선 추적 센서에 의해 측정되는 시선 방향에 대한 정보로부터 응시점(gaze point)을 산출하는 방법을 설명하기 위한 도면이다.

도 15는 상방의 응시 방향에서의 시선 각도와 응시점의 관계를 설명하는 도면이다.

도 14 및 도 15를 참조하면, 시선 추적 센서(140a, 140b, 도 13a 및 도 13b 참조)를 통해 획득된 양안의 시선 방향(또는 시선 좌표)의 차이를 통해 초점 거리를 추정할 수 있다. 응시점까지의 초점 거리를 구할 때 양안의 시선축이 만나지 않을 수도 있으며, 이러한 경우 두 눈이 같은 높이에 있다고 가정하고 수직축(y축)의 좌표는 두 눈의 수직축(y축) 좌표의 평균으로 계산할 수 있다. 예를 들어, 양안 사이의 거리 a는 7 cm로 가정할 수 있다. 위의 기하학적 가정을 통해 비례식을 이용하면 다음의 식을 얻을 수 있다.

상기 수학식 3에서 사용자의 양안과 가상 스크린 사이의 거리 d와 눈 사이의 거리 a가 필요한데, 거리 d는 사용자가 정면 시선을 바라보는 시선 영상을 이용하여 안구의 회전 각도를 측정해 거리를 구할 수 있다. 이 결과, 응시점까지의 거리인 수렴 거리(vergence distance) l은 하기의 수학식으로 주어진다. z는 가상스크린과 응시점 사이의 거리를 나타낸다.

상기 수학식 4에서, βx는 양안의 가상 스크린(S)에서의 시선 좌표의 수평 방향의 간격으로서, 앞서 수학식 1 및 수학식 2에서 볼 수 있듯이 사용자의 좌안 및 우안 각각의 시선 각도를 통해서 획득할 수 있다.

도 16은 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 렌즈-안구 간 거리(ER), 응시점(G), 및 동공 간 거리(IPD)에 기초하여 초점 영역(110A)의 위치를 결정하는 동작을 도시한 도면이다.

도 16을 참조하면, 증강 현실 디바이스(100)는 렌즈-안구 간 거리(ER), 응시점(G), 및 동공 간 거리(IPD)에 관한 정보에 기초하여, 좌안 가변 초점 렌즈(110L) 및 우안 가변 초점 렌즈(110R)의 전체 영역 중 초점 영역(110A)의 위치를 결정할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)의 프로세서(150, 도 3 참조)는 시선 추적 센서를 이용하여 사용자의 좌안(E₁)의 응시점(G)을 향하는 시선 방향을 나타내는 제1 시선 벡터(

) 및 우안(E₂)의 응시점(G)을 향하는 시선 방향을 나타내는 제2 시선 벡터(

)를 획득할 수 있다. 프로세서(150)는 좌안 가변 초점 렌즈(110L)의 전체 영역 중 제1 시선 벡터(

)를 나타내는 가상의 직선이 좌안 가변 초점 렌즈(110L)와 만나는 지점을 초점 중심점(F₁)으로 결정하고, 초점 중심점(F₁)을 중심으로 기 설정된 크기의 영역을 좌안 가변 초점 렌즈(110L)의 초점 영역(110A)으로 결정할 수 있다. 마찬가지로, 프로세서(150)는 우안 가변 초점 렌즈(110R)의 전체 영역 중 제2 시선 벡터(

)를 나타내는 가상의 직선이 우안 가변 초점 렌즈(110R)와 만나는 지점을 초점 중심점(F₂)으로 결정하고, 초점 중심점(F₂)을 중심으로 기 설정된 크기의 영역을 우안 가변 초점 렌즈(110R)의 초점 영역(110A)으로 결정할 수 있다.

본 개시의 일 실시예에서, 프로세서(150)는 렌즈-안구 간 거리(ER), 수렴 거리(l), 및 동공 간 거리(IPD)에 기초하여, 초점 중심점(F₁, F₂)의 위치 좌표값을 획득할 수 있다. 초점 중심점(F₁, F₂)의 위치 좌표값은 각각 좌안 가변 초점 렌즈(110L) 및 우안 가변 초점 렌즈(110R)의 전체 영역 중 특정 지점의 2차원 위치 좌표값(x₁, y₁)(x₂, y₂)일 수 있다. 예를 들어, 좌안 가변 초점 렌즈(110L) 상의 초점 중심점(F₁)의 2차원 위치 좌표값(x₁, y₁)은 하기의 수식에 의해 산출될 수 있다.

예를 들어, 우안 가변 초점 렌즈(110R) 상의 초점 중심점(F₂)의 2차원 위치 좌표값(x₂, y₂)은 하기의 수식에 의해 산출될 수 있다.

상기 수학식 5 및 수학식 6에서 (x₀, y₀) 좌표값은 응시점(G)의 위치 좌표값일 수 있다.

프로세서(150)는 초점 중심점(F₁, F₂)의 위치를 중심으로 기 설정된 크기의 영역을 초점 영역(110A)으로 결정할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 초점 중심점(F₁, F₂)의 2차원 위치 좌표값(x₁, y₁)(x₂, y₂)을 중심으로 기 설정된 크기의 반경(r)을 갖는 원을 초점 영역(110A)으로 결정할 수 있다. 그러나, 초점 영역(110A)의 형태가 원형으로 한정되는 것은 아니고, 프로세서(150)는 초점 중심점(F₁, F₂)을 포함하는 영역에서 사각형, 정사각형, 직사각형, 또는 삼각형 등 다양한 형태의 초점 영역(110A)을 결정할 수 있다.

도 17a는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 구성 요소인 가변 초점 렌즈(110)를 도시한 사시도이다.

도 17a를 참조하면, 가변 초점 렌즈(110)는 액정 층(110l), 공통 전극(110CE), 투명 박막(transparent film)(110F), 및 여기 전극(110e)을 포함할 수 있다. 도면에는 도시되지 않았지만, 가변 초점 렌즈(110)는 공통 전극(110CE)의 하면에 접하여 형성되는 투명층을 더 포함할 수 있다.

가변 초점 렌즈(110)는 전력 공급부(VAC)로부터 여기 전극(110e)을 통해 인가되는 제어 전압에 기초하여 액정 분자(110m)들의 배열 각도를 변경함으로써, 광의 굴절률을 조절할 수 있는, 전기적으로 조정 가능한 액정 렌즈(electrically tunable Liquid Crystal lens)일 수 있다. 일 실시예에서, 가변 초점 렌즈(110)는 픽셀 그리드(pixel grid)를 갖는 전기 광학 재료를 포함할 수 있다. 픽셀은 N행 및 M열의 매트릭스로 배열될 수 있다. N×M 픽셀 각각은 모든 다른 픽셀에 독립적인 일 세트의 가능한 값(gray level)을 수용할 수 있다.

액정 층(110l)은 복수의 액정 분자(110m)를 포함하는 전기 광학층일 수 있다. 액정 층(110l)은 인가되는 제어 전압에 의해 액정의 물성이 변경되는 전기 광학층일 수 있다. 일 실시예에서, 액정 층(110l)은 편광 독립적인(polarization-independent) 액정 층(예를 들어, cholesteric liquid crystal)으로 구성될 수 있다. 액정 층(110l)은 여기 전극(110e)을 통해 인가되는 제어 전압에 의하여 활성 영역 내의 특정 영역 내에 배치되는 액정 분자(110m)들의 배열 각도가 변경됨으로써, 특정 영역의 굴절률이 국부적으로(locally) 조절될 수 있다.

공통 전극(110CE) 및 여기 전극(110e)은 전력 공급부(VAC)로부터 제어 전압을 공급받고, 공급된 제어 전압을 액정 층(110l)에 인가할 수 있다. 공통 전극(110CE)은 액정 층(110l)의 제1 면(610-1)에 접하여 배치될 수 있다.

여기 전극(110e)은 액정 층(110l)의 제1 면(610-1)에 대향되는 제2 면(610-2) 상에서 투명 박막(110F)의 상면에 접하여 배치될 수 있다. 여기 전극(110e)은 투명 박막(110F)의 상면에 X축 및 Y축 방향을 따라 직교하는 방향으로 배향되는 제1 어레이 여기 전극 및 제2 어레이 여기 전극을 포함할 수 있다. 제1 어레이 여기 전극 및 제2 어레이 여기 전극은 각각 활성 영역 위로 뻗어있는 도전성 재료의 평행 스트립을 포함할 수 있다. 본 개시의 일 실시예에서, 여기 전극(110e)은 인듐 주석 산화물(Indium Tin Oxidel; ITO)과 같은 투명 도전성 재료로 구성될 수 있다.

제1 어레이 여기 전극의 스트립과 제2 어레이 여기 전극의 스트립이 오버랩되는 영역에 의해서 픽셀(pixel)이 정의될 수 있다. 제1 어레이 여기 전극의 스트립과 제2 어레이 여기 전극의 스트랩 사이의 중심 대 중심 거리는 픽셀 어레이의 피치(pitch)를 정의하고, 스트립의 폭(width)은 픽셀의 크기를 정의할 수 있다.

증강 현실 디바이스(100)의 프로세서(150, 도 3 참조)는 전력 공급부(VAC)를 통해 여기 전극(110e)에 위상 변조 프로파일을 갖는 제어 전압 파형을 인가하고, 여기 전극(110e)에 인가된 제어 전압을 변조할 수 있다. 프로세서(150)에 의해 변조된 파형을 갖는 제어 전압이 인가됨에 따라, 가변 초점 렌즈(110)는 인가된 제어 전압이 갖는 위상 변조 프로파일에 의해 활성 영역 내의 특정 영역에서 국부적으로(locally) 굴절력이 조절될 수 있다. 가변 초점 렌즈(110)는 조절된 굴절력에 따라 버전스(vergence)가 렌즈로서 기능할 수 있다. 여기서, 버전스는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스(index)로서, 가변 초점 렌즈(110)의 굴절력에 따라 조절될 수 있다. 본 개시의 일 실시예에서, 가변 초점 렌즈(110)는 렌즈의 굴절력을 조절하여 광선 또는 광 경로를 변경함으로써, 버전스를 조절할 수 있다.

프로세서(150)는 가변 초점 렌즈(110)의 특정 영역, 즉 초점 영역의 버전스를 조절함으로써, 초점 거리를 변경할 수 있다. 프로세서(150)가 가변 초점 렌즈(110)의 초점 영역(110A, 도 17b 참조)의 위치를 결정하고, 초점 영역(110A)의 굴절력을 조절하는 구체적인 방법은 도 17b에서 상세하게 설명하기로 한다.

도 17b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 가변 초점 렌즈(110)의 초점 영역(110A)의 굴절력을 조절하는 동작을 설명하기 위한 도면이다.

도 17b 를 참조하면, 가변 초점 렌즈(110)는 액정 층(110l), 액정 분자(110m), 공통 전극(110CE), 복수의 드라이버 단자(110d), 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5), 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10), 및 투명 박막(110F)을 포함할 수 있다. 도 17b에서는 설명의 편의를 위해 도 17a와 달리 투명 박막(110F)은 도시되지 않았다.

복수의 제1 어레이 여기 전극(110e-1 내지 110e-5)은 X축 방향을 따라 나열되고, 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10)은 Y축 방향을 따라 나열될 수 있다. 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5)과 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10)은 서로 직교하도록 배열될 수 있다.

복수의 제1 어레이 여기 전극(110e-1 내지 110e-5) 각각에는 전력 공급부(VAC)로부터 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5)에 인가되는 제어 전압을 제어하는 복수의 드라이버 단자(110d)가 연결될 수 있다. 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10) 각각에는 전력 공급부(VAC)로부터 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10)에 인가되는 제어 전압을 제어하는 복수의 드라이버 단자(110d)가 연결될 수 있다.

컨트롤러(150C)는 복수의 드라이버 단자(110d) 및 전력 공급부(VAC)와 전기적 및/또는 물리적으로 연결될 수 있다. 도 17b에서, 컨트롤러(150C)는 프로세서(150)와 별개의 구성 요소로 도시되었지만, 이에 한정되는 것은 아니다. 본 개시의 일 실시예에서, 컨트롤러(150C)와 프로세서(150)는 하나의 구성으로 통합될 수 있다.

컨트롤러(150C)는 복수의 드라이버 단자(110d)를 제어함으로써, 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5) 및 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10)에 인가되는 제어 전압을 제어하고, 이를 통해 특정 영역에 배치되는 액정 분자들의 배열 각도를 조절할 수 있다. 도 17b에 도시된 것과는 달리, 본 개시의 다른 실시예에서, 가변 초점 렌즈(110)는 복수의 드라이버 단자(110d)를 포함하지 않고, 컨트롤러(150C)가 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5) 및 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10)와 직접 연결될 수도 있다.

시선 추적 센서(140)는 사용자의 눈의 시선 방향을 추적함으로써, 시선 벡터를 획득하고, 획득된 시선 벡터를 프로세서(150)에 제공할 수 있다. 프로세서(150)는 시선 벡터의 벡터 방향에 기초하여, 가변 초점 렌즈(110)의 전체 영역 중 시선이 도달하는 영역에 관한 위치 좌표값을 계산하고, 계산된 위치 좌표값에 관한 정보를 컨트롤러(150C)에 제공할 수 있다. 컨트롤러(150C)는 프로세서(150)로부터 획득한 위치 좌표값에 기초하여 초점을 조절할 대상 영역인 초점 영역(110A)을 결정할 수 있다.

도 17b에 도시된 실시예에서, 액정 층(110l)에 포함되는 복수의 액정 분자들(110m) 중 초점 영역(110A)에 배치되는 액정 분자들의 배열 각도를 변경하기 위해서, 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5) 중 제2 여기 전극(110e-2), 제3 여기 전극(110e-3), 및 제4 여기 전극(110e-4)에 전압이 인가되도록 제어하고, 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10) 중 제7 여기 전극(110e-7), 제8 여기 전극(110e-8), 및 제9 여기 전극(110e-9)에 전압이 인가되도록 제어할 필요가 있다. 본 개시의 일 실시예에서, 컨트롤러(150C)는 복수의 드라이버 단자(110d)를 제어함으로써, 전력 공급부(VAC)에 의해 제2 여기 전극(110e-2), 제3 여기 전극(110e-3), 및 제4 여기 전극(110e-4)에 전압이 인가되도록 제어하고, 제7 여기 전극(110e-7), 제8 여기 전극(110e-8), 및 제9 여기 전극(110e-9)에 전압이 인가되도록 제어할 수 있다. 이 경우, 컨트롤러(150C)는 제1 여기 전극(110e-1), 제5 여기 전극(110e-5), 제6 여기 전극(110e-6), 및 제10 여기 전극(110e-10)에는 전압이 인가되지 않도록 복수의 드라이버 단자(110d)를 제어할 수 있다.

컨트롤러(150C)는 전력 공급부(VAC)로부터 제어 전압을 인가하거나, 인가하지 않는 제어만을 수행하는 것은 아니고, 전력 공급부(VAC)로부터 인가되는 제어 전압의 크기를 제어할 수도 있다. 컨트롤러(150C)는 인가되는 제어 전압을 크기를 제어함으로써, 액정 분자들의 배열 각도의 크기를 조절할 수 있다. 예를 들어, 컨트롤러(150C)가 복수의 드라이버 단자(110d)를 통해 제2 여기 전극(110e-2)에 인가되는 제어 전압을 제1 크기만큼 인가하고, 제3 여기 전극(110e-3)에 인가되는 제어 전압을 제1 크기보다 큰 제2 크기만큼 인가하면, 액정 층(110l)의 전체 영역 중 제3 여기 전극(110e-3)이 배치되는 영역에 위치하는 액정 분자들의 배열 각도는 제2 여기 전극(110e-2)이 배치되는 영역에 위치하는 액정 분자들의 배열 각도보다 더 큰 각도로 조절될 수 있다.

즉, 컨트롤러(150C)는 복수의 드라이버 단자(110d)를 통해 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5) 및 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10)에 인가되는 제어 전압의 위상 프로파일을 변조함으로써, 액정 층(110l)의 전체 영역 중 액정 분자들(110m)의 배열 각도가 변경되는 초점 영역(110A)을 결정하고, 초점 영역(110A)의 굴절력을 조절할 수 있다.

도 18a 및 도 18b는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 구성 요소인 가변 초점 렌즈(110)의 버전스 형성을 도시한 개념도들이다.

도 18a 및 도 18b를 참조하면, 가변 초점 렌즈(110)의 액정 층(110l)은 특정 위상 프로파일을 갖도록 변조된 제어 전압이 인감됨에 따라, 활성 영역 내의 특정 위치에 배치되는 액정 분자들(110m)의 배열 각도가 변경될 수 있다. 액정 층(110l)의 특정 영역에 배치된 액정 분자들(110m)의 배열 각도가 변경됨에 따라, 액정 분자들(110m)을 통과하는 광의 굴절률이 변경될 수 있다. 광의 굴절률이 변경되면, 가변 초점 렌즈(110)의 굴절력이 변경되고, 따라서 가변 초점 렌즈(110)를 투과하는 광의 경로가 바뀜으로써 버전스(vergence)가 변경될 수 있다. 버전스는 가변 초점 렌즈(110)를 투과하는 광이 수렴(converge)하거나, 발산(diverge)하는 정도를 나타내는 인덱스(index)이다. 버전스는 가변 초점 렌즈(110)의 굴절력에 따라 조절될 수 있다.

도 18a에 도시된 실시예에서, 액정 층(110l)에 포함되는 액정 분자들(110m)의 배열 각도가 변경된 영역을 통과하는 광은 양(positive)의 버전스를 형성하고, 이에 따라 가변 초점 렌즈(110)는 볼록 렌즈(convex lenz)와 같은 기능을 수행할 수 있다. 양의 버전스가 형성되는 경우, 초점 거리는 짧아질 수 있다.

도 18b에 도시된 실시예에서, 액정 층(110l)에 포함되는 액정 분자들(110m)의 회전 각도가 변경된 영역을 통과하는 광은 음(negative)의 버전스를 형성하고, 이에 따라 가변 초점 렌즈(110)는 오목 렌즈(concave lenz)와 같은 기능을 수행할 수 있다. 음의 버전스가 형성되는 경우, 초점 거리는 길어질 수 있다.

도 19는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)가 가변 초점 렌즈의 초점 영역의 굴절력을 조절하는 방법을 도시한 흐름도이다.

도 19에서, 단계 S1910는 도 4에 도시된 단계 S440이 수행된 이후에 수행될 수 있다.

도 19를 참조하면, 단계 S450에서 증강 현실 디바이스(100)는 초점 영역의 굴절력을 조절할 수 있다. 도 19의 단계 S1910 내지 S1930은 단계 S450을 구체화한 단계들이다.

단계 S1910에서, 증강 현실 디바이스(100)는 초점 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 가변 초점 렌즈에 인가한다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)의 프로세서(150, 도 3 참조)는 초점 영역의 위치 좌표값 정보를 가변 초점 렌즈의 컨트롤러(150C, 도 17b 참조)에 제공하고, 컨트롤러(150C)는 위치 좌표값에 기초하여 초점을 조절할 대상 영역인 초점 영역의 위치를 결정할 수 있다.

컨트롤러(150C)는 전력 공급부(VAC, 도 17a 및 도 17b 참조)를 통해 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5, 도 17b 참조) 및 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10, 도 17b 참조) 각각에 위상 변조 프로파일을 갖는 제어 전압 파형을 인가하고, 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5) 및 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10) 각각에 인가된 제어 전압을 변조할 수 있다. 프로세서(150)는 컨트롤러(150C)를 통해 복수의 제1 어레이 여기 전극(110e-1 내지 110e-5) 및 복수의 제2 어레이 여기 전극(110e-6 내지 110e-10)이 오버랩되어 형성되는 픽셀들 중 초점 영역(110A, 도 17b 참조)에 해당되는 영역 내에 배치되는 픽셀들에 대하여, 다른 픽셀들과 다른 위상값을 갖도록 제어 전압을 변조할 수 있다.

단계 S1920에서, 증강 현실 디바이스(100)는 제어 전압에 기초하여, 가변 초점 렌즈의 액정 분자들 중 초점 영역의 위치에 배치되는 액정 분자들의 배열된 각도를 변경함으로써, 초점 영역의 굴절력(refractive power)을 조절한다. 증강 현실 디바이스(100)의 프로세서(150)는 위상 변조 프로파일을 갖는 제어 전압을 가변 초점 렌즈에 인가함으로써, 액정 층에 포함되는 전체 액정 분자들 중 초점 영역에 해당되는 영역에 배치되는 액정 분자들의 배열 각도를 변경할 수 있다. 초점 영역에 해당되는 영역 내의 액정 분자들의 배열 각도가 변경됨에 따라, 초점 영역을 투과하는 광의 굴절력이 변경될 수 있다. 증강 현실 디바이스(100)는 초점 영역에 해당되는 영역 내의 액정 분자들의 배열 각도를 조절함으로써, 초점 영역의 굴절력을 조절할 수 있다.

단계 S1930에서, 증강 현실 디바이스(100)는 조절된 굴절력을 통해 초점 영역의 버전스(vergence)를 변경한다. 증강 현실 디바이스(100)는 초점 영역의 굴절력을 조절함으로써, 광의 경로를 조절하고, 이를 통해 광의 수렴 또는 발산 정도를 조절할 수 있다. 본 개시의 일 실시예에서, 증강 현실 디바이스(100)는 초점 영역의 굴절력을 양(positive) 또는 음(negative) 방향으로 조절함으로써, 눈의 수정체를 통과하여 망막에 맺히는 상의 거리인 초점 거리를 짧거나 길게 조절할 수 있다. 초점 영역이 양의 버전스를 갖도록 굴절력이 조절되는 경우 초점 영역은 볼록 렌즈와 같은 기능을 수행할 수 있다. 초점 영역이 음의 버전스를 갖도록 굴절력이 조절되는 경우, 초점 영역은 오목 렌즈와 같은 기능을 수행할 수 있다.

상기와 같은 방법으로 초점 영역의 버전스를 조절함에 따라 가변 초점 렌즈는 시력 교정용 렌즈의 기능을 수행할 수 있다.

도 20은 본 개시의 일 실시예에 따른 증강 현실 디바이스(101)의 구조를 도시한 평면도이다.

도 20을 참조하면, 증강 현실 디바이스(101)는 프레임(102), 안경 다리들(104), 노즈 브릿지(nose bridge)(106), 코 지지부(108), 제1 가변 초점 렌즈(111), 제2 가변 초점 렌즈(112), 웨이브 가이드(120), 디스플레이 엔진(130), 시선 추적 센서(140), 프로세서(150), 메모리(160), 및 배터리(170)를 포함할 수 있다. 도 20에 도시된 증강 현실 디바이스(101)은 제1 가변 초점 렌즈(111) 및 제2 가변 초점 렌즈(112)를 포함하는 것을 제외하고는 도 2에 도시된 증강 현실 디바이스(100)와 동일하므로, 중복되는 설명은 생략한다.

제1 가변 초점 렌즈(111) 및 제2 가변 초점 렌즈(112)는 각각 액정 분자(liquid crystal molecule)를 포함하고, 전기적 구동 신호에 따라 초점을 변경할 수 있는 액정 렌즈(electrically tunable Liquid Crystal lens)로 구성될 수 있다.

제1 가변 초점 렌즈(111)는 제1 좌안 가변 초점 렌즈(111L) 및 제1 우안 가변 초점 렌즈(111R)를 포함하고, 제2 가변 초점 렌즈(112)는 제2 좌안 가변 초점 렌즈(112L) 및 제2 우안 가변 초점 렌즈(112R)를 포함할 수 있다. 제1 좌안 가변 초점 렌즈(111L)는 좌측 프레임(102)과 결합되고, 사용자의 좌안에 인접한 위치에 배치되고, 제2 좌안 가변 초점 렌즈(112L)는 제1 좌안 가변 초점 렌즈(111L) 보다는 멀게 이격되어 배치될 수 있다. 일 실시예에서, 사용자가 증강 현실 디바이스(101)를 장착한 경우, 제1 좌안 가변 초점 렌즈(111L)는 좌안으로부터 제1 거리만큼 이격되고, 제2 좌안 가변 초점 렌즈(112L)는 좌안으로부터 제2 거리만큼 이격되도록 배치될 수 있다. 제2 거리의 크기는 제1 거리보다 클 수 있다.

제1 우안 가변 초점 렌즈(111R)와 제2 우안 가변 초점 렌즈(112R)는, 제1 좌안 가변 초점 렌즈(111L) 및 제2 좌안 가변 초점 렌즈(112L)와 각각 동일한 재료, 형태, 구조를 갖는 바, 중복되는 설명은 생략한다.

좌안 웨이브 가이드(120L)는 제1 좌안 가변 초점 렌즈(111L)와 제2 좌안 가변 초점 렌즈(112L) 사이에 배치되고, 우안 웨이브 가이드(120R)는 제1 우안 가변 초점 렌즈(111R)와 제2 우안 가변 초점 렌즈(112R) 사이에 배치될 수 있다.

프로세서(150)는 제1 가변 초점 렌즈(111)의 전체 영역 중 초점 영역의 위치를 결정할 수 있다. 프로세서(150)는 렌즈-안구 간 거리(ER), 응시점(G), 및 동공 간 거리(IPD)에 관한 정보에 기초하여 제1 좌안 가변 초점 렌즈(111L)의 전체 영역 중 제1 초점 영역의 위치를 결정할 수 있다. 프로세서(150)는 제1 초점 영역의 위치 및 좌안의 시선 방향에 기초하여 제2 좌안 가변 초점 렌즈(112L)의 전체 영역 중 제2 초점 영역의 위치를 결정할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 제1 초점 영역과 제2 초점 영역이 좌안의 응시점(G)을 향하는 시선 방향을 나타내는 가상의 직선을 따라 정렬되도록 제2 초점 영역의 위치를 결정할 수 있다. 예를 들어, 프로세서(150)는 제1 좌안 가변 초점 렌즈(111L)의 전체 영역 중 좌안의 시선 방향을 나타내는 가상의 직선이 만나는 지점에 관한 2차원 위치 좌표값을 획득하고, 획득한 2차원 위치 좌표값에 기초하여 제1 초점 영역의 위치를 결정할 수 있다. 마찬가지로, 프로세서(150)는 제2 좌안 가변 초점 렌즈(112L)의 전체 영역 중 가상의 직선이 도달하는 지점의 2차원 위치 좌표값을 획득하고, 획득한 2차원 위치 좌표값에 기초하여 제2 초점 영역의 위치를 결정할 수 있다.

프로세서(150)는 제1 좌안 가변 초점 렌즈(111L)의 제1 초점 영역의 굴절력을 조절함으로써, 제1 좌안 가변 초점 렌즈(111L)의 버전스를 변경할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 제1 초점 영역의 위치에 해당되는 영역에 배치되는 액정 분자들의 배열 각도를 변경함으로써, 제1 초점 영역의 굴절력을 조절할 수 있다. 프로세서(150)는 제1 초점 영역의 굴절력을 조절함으로써, 좌안 웨이브 가이드(120L)에 투사되고, 좌안의 수정체를 투광하는 가상 이미지의 광 경로를 변경할 수 있다. 가상 이미지의 광 경로가 변경됨에 따라 좌안의 망막에 맺히는 가상 이미지의 초점 거리가 변경될 수 있다. 프로세서(150)가 제1 초점 영역의 굴절력을 조절함에 따라 제1 좌안 가변 초점 렌즈(111L)의 버전스가 변경되고 이에 따라, 좌안 웨이브 가이드(120L) 상에 물리적으로 형성되는 초점 거리는 수렴 거리와 동일하게 조절할 수 있다.

제1 초점 영역의 굴절력의 조절에 의한 제1 좌안 가변 초점 렌즈(111L)의 버전스 변경에 따라 현실 객체에 초점이 맞지 않은 것처럼 보이는 초점 왜곡이 발생될 수 있다. 프로세서(150)는 초점 왜곡을 보상하기 위하여, 제2 좌안 가변 초점 렌즈(112L)의 제2 초점 영역의 굴절력을 조절할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 제2 초점 영역이 제1 초점 영역의 조절된 굴절력에 의한 버전스에 대하여 상보적으로(complementary) 버전스를 형성하도록, 제2 초점 영역의 굴절력을 조절할 수 있다. 본 개시의 일 실시예에서, 프로세서(150)는 제2 초점 영역의 굴절력을 제1 초점 영역의 굴절력의 방향과 반대의 방향으로, 제1 초점 영역의 조절된 굴절력과 동일한 굴절력으로 조절할 수 있다. 예를 들어, 제1 초점 영역이 -1 디옵터(D)의 굴절력으로 조절되는 경우, 제2 초점 영역은 +1 디옵터(D)로 조절될 수 있다.

프로세서(150)는 제1 우안 가변 초점 렌즈(111R) 및 제2 우안 가변 초점 렌즈(112R)에 대해서도 제1 좌안 가변 초점 렌즈(111L) 및 제2 좌안 가변 초점 렌즈(112L)에 관한 동작과 동일한 동작을 수행할 수 있다. 따라서, 제1 우안 가변 초점 렌즈(111R) 및 제2 우안 가변 초점 렌즈(112R)에 대한 중복되는 설명은 생략한다.

도 20에 도시된 실시예에서, 증강 현실 디바이스(101)는 제1 가변 초점 렌즈(111)의 제1 초점 영역과 제2 가변 초점 렌즈(112)의 제2 초점 영역이 사용자의 눈의 시선 방향에 따라 정렬되도록 제1 초점 영역 및 제2 초점 영역의 위치를 결정하고, 제2 초점 영역의 굴절력을 제1 초점 영역의 굴절력에 상보적으로 조절함으로써 웨이브 가이드(120)에 투사된 가상 이미지에 맺히는 초점 거리를 조절할 수 있다. 즉, 도 20에 도시된 증강 현실 디바이스(101)는 도 2에 도시된 증강 현실 디바이스(100)와는 달리, 시력 교정 기능 뿐만 아니라, 가상 이미지의 초점 조절 기능을 제공할 수도 있다.

본 개시에서 설명된 증강 현실 디바이스(100, 101)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.

소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 증강 현실 디바이스(100, 101)의 제조사 또는 전자 마켓(예를 들어, 삼성 갤럭시 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 증강 현실 디바이스(100, 101)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.

컴퓨터 프로그램 제품은, 증강 현실 디바이스(100, 101) 및/또는 서버로 구성되는 시스템에서, 서버의 저장매체 또는 증강 현실 디바이스(100, 101)의 저장매체를 포함할 수 있다. 또는, 증강 현실 디바이스(100, 101)와 통신 연결되는 제3 장치(예를 들어, 모바일 디바이스)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 증강 현실 디바이스(100, 101)으로부터 전자 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 전자 장치로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.

이 경우, 증강 현실 디바이스(100, 101) 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 증강 현실 디바이스(100, 101) 및 제3 장치 중 적어도 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.

예를 들면, 증강 현실 디바이스(100, 101)가 메모리(160, 도 3 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 증강 현실 디바이스(100, 101)와 통신 연결된 타 전자 장치(예를 들어, 모바일 디바이스)가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.

또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.

제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 증강 현실 디바이스(100, 101)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

1. 가변 초점 렌즈;
   사용자의 눈에 광을 조사하고, 상기 사용자의 눈으로부터 반사된 반사광을 수광함으로써 복수의 특징점을 검출하는 시선 추적 센서; 및
   적어도 하나의 프로세서;
   를 포함하고,
   상기 적어도 하나의 프로세서는,
   상기 시선 추적 센서에 의해 검출된 상기 복수의 특징점의 위치 정보에 기초하여 상기 사용자의 눈과 상기 가변 초점 렌즈 간의 거리인 렌즈-안구 간 거리(eye-relief)에 관한 정보를 획득하고,
   상기 복수의 특징점에 기초하여 상기 사용자의 양안의 시선 방향이 수렴하는 응시점(gaze point) 및 상기 사용자의 양안의 동공 간 거리(Inter Pupillary Distance)에 관한 정보를 획득하고,
   상기 렌즈-안구 간 거리, 상기 응시점, 및 상기 동공 간 거리에 관한 정보에 기초하여 상기 가변 초점 렌즈의 초점 영역의 위치를 결정하는, 증강 현실 디바이스.
   
2. 제1 항에 있어서,
   상기 시선 추적 센서는 IR 광원 및 IR 카메라를 포함하고,
   상기 적어도 하나의 프로세서는,
   상기 IR 광원을 제어하여 상기 사용자의 눈에 IR 광을 조사하고, 상기 사용자의 눈으로부터 반사된 IR 광을 상기 IR 카메라를 이용하여 촬영함으로써 획득된 상기 이미지로부터 복수의 반짝임 특징점을 검출하고,
   상기 식별된 복수의 반짝임 특징점의 조합인 반짝임 패턴(glint pattern)의 영역의 크기에 기초하여 상기 렌즈-안구 간 거리를 산출하는, 증강 현실 디바이스.
   
3. 제2 항에 있어서,
   상기 IR 광원은 상기 증강 현실 디바이스의 렌즈 프레임 상에서 기 설정된 거리만큼 이격되어 배치되는 복수의 IR LED로 구성되고,
   상기 적어도 하나의 프로세서는,
   상기 반짝임 패턴의 영역 크기, 상기 복수의 IR LED 간의 위치 관계, 및 상기 IR 카메라의 픽셀 별 위치 좌표 중 적어도 하나에 기초하여 상기 렌즈-안구 간 거리를 산출하는, 증강 현실 디바이스.
   
4. 제1 항에 있어서,
   상기 시선 추적 센서는 IR 스캐너 및 IR 디텍터를 포함하고,
   상기 적어도 하나의 프로세서는,
   상기 IR 스캐너를 제어하여 상기 사용자의 눈에 IR 광을 조사하고, 상기 사용자의 눈으로부터 반사된 IR 광을 상기 IR 디텍터를 이용하여 검출하고,
   상기 반사광으로부터 복수의 반짝임 특징점을 검출하고, 상기 검출된 복수의 반짝임 특징점 간의 거리에 관한 정보를 획득하며,
   상기 획득된 복수의 반짝임 특징점 간의 거리에 기초하여 상기 렌즈-안구 간 거리를 산출하는, 증강 현실 디바이스.
   
5. 제4 항에 있어서,
   상기 IR 디텍터는 상기 증강 현실 디바이스의 렌즈 프레임 상에서 기 설정된 거리만큼 이격되어 배치되는 복수의 포토 다이오드(photodiode)로 구성되고,
   상기 적어도 하나의 프로세서는,
   상기 복수의 반짝임 특징점 간의 거리 및 상기 복수의 포토 다이오드 간의 위치 관계에 기초하여 상기 렌즈-안구 간 거리를 산출하는, 증강 현실 디바이스.
   
6. 제1 항에 있어서,
   상기 적어도 하나의 프로세서는,
   상기 시선 추적 센서를 이용하여 기 설정된 회전 각도로 회전하는 사용자의 눈을 촬영함으로써 이미지를 획득하고,
   상기 이미지를 분석하여 동공 특징점을 검출하고, 상기 검출된 동공 특징점의 회전 반경을 측정하며,
   상기 측정된 회전 반경에 기초하여 상기 렌즈-안구 간 거리를 산출하는, 증강 현실 디바이스.
   
7. 제1 항에 있어서,
   상기 적어도 하나의 프로세서는,
   제1 시선 추적 센서를 이용하여 획득된 좌안 이미지로부터 좌안 동공을 검출하고, 제2 시선 추적 센서를 이용하여 획득된 우안 이미지로부터 우안 동공을 검출하고,
   상기 제1 시선 추적 센서와 상기 제2 시선 추적 센서의 위치 관계 및 카메라 속성 정보에 기초하여 상기 좌안 동공과 상기 우안 동공의 3차원 위치 좌표를 획득하고,
   상기 좌안 동공 및 상기 우안 동공의 3차원 위치 좌표에 기초하여 상기 동공 간 거리를 산출하는, 증강 현실 디바이스.
   
8. 제1 항에 있어서,
   상기 적어도 하나의 프로세서는,
   제1 가변 초점 렌즈의 전체 영역 중 좌안의 상기 응시점을 향하는 제1 시선 방향을 나타내는 가상의 직선이 상기 제1 가변 초점 렌즈와 만나는 제1 초점 중심점을 중심으로 기 설정된 크기의 영역을 제1 초점 영역으로 결정하고, 제2 가변 초점 렌즈의 전체 영역 중 우안의 상기 응시점을 향하는 제2 시선 방향을 나타내는 가상의 직선이 상기 제2 가변 초점 렌즈와 만나는 제2 초점 중심점을 중심으로 기 설정된 크기의 영역을 제2 초점 영역으로 결정하는, 증강 현실 디바이스.
   
9. 제1 항에 있어서,
   상기 적어도 하나의 프로세서는,
   상기 렌즈-안구 간 거리, 상기 응시점과 상기 사용자의 눈과의 거리, 및 상기 동공 간 거리에 기초하여 초점 중심점의 위치 좌표값을 획득하고,
   상기 초점 중심점의 위치를 중심으로 기 설정된 크기의 영역을 상기 초점 영역으로 결정하는, 증강 현실 디바이스.
   
10. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 초점 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 상기 가변 초점 렌즈에 인가함으로써, 상기 초점 영역의 굴절력(refractive power)을 조절하는, 증강 현실 디바이스.
    
11. 증강 현실 디바이스의 동작 방법에 있어서,
    시선 추적 센서를 이용하여 사용자의 눈에 의해 반사된 반사광을 수광함으로써 복수의 특징점을 검출하는 단계;
    상기 검출된 복수의 특징점의 위치 정보에 기초하여, 상기 사용자의 눈과 상기 증강 현실 디바이스의 가변 초점 렌즈 간의 거리인 렌즈-안구 간 거리(eye-relief)에 관한 정보를 획득하는 단계;
    상기 복수의 특징점에 기초하여 상기 사용자의 양안의 시선 방향이 수렴하는 응시점(gaze point) 및 상기 사용자의 양안의 동공 간 거리(Inter Pupillary Distance)에 관한 정보를 획득하는 단계; 및
    상기 렌즈-안구 간 거리, 상기 응시점, 및 상기 동공 간 거리에 관한 정보에 기초하여 상기 가변 초점 렌즈의 초점 영역의 위치를 결정하는 단계;
    를 포함하는, 방법.
    
12. 제11 항에 있어서,
    상기 시선 추적 센서는 IR 광원 및 IR 카메라를 포함하고,
    상기 복수의 특징점을 검출하는 단계는,
    상기 IR 광원을 제어하여 상기 사용자의 눈에 IR 광을 조사하고, 상기 사용자의 눈으로부터 반사된 IR 광을 상기 IR 카메라를 이용하여 촬영함으로써 획득된 상기 이미지로부터 복수의 반짝임 특징점을 검출하고,
    상기 렌즈-안구 간 거리에 관한 정보를 획득하는 단계는,
    상기 식별된 복수의 반짝임 특징점의 조합인 반짝임 패턴(glint pattern)의 영역의 크기에 기초하여 상기 렌즈-안구 간 거리를 산출하는 단계;
    를 포함하는, 방법.
    
13. 제12 항에 있어서,
    상기 IR 광원은 상기 증강 현실 디바이스의 렌즈 프레임 상에서 기 설정된 거리만큼 이격되어 배치되는 복수의 IR LED로 구성되고,
    상기 렌즈-안구 간 거리를 산출하는 단계는,
    상기 반짝임 패턴의 영역 크기, 상기 복수의 IR LED 간의 위치 관계, 및 상기 IR 카메라의 픽셀 별 위치 좌표 중 적어도 하나에 기초하여 상기 렌즈-안구 간 거리를 산출하는, 방법.
    
14. 제11 항에 있어서,
    상기 시선 추적 센서는 IR 스캐너 및 IR 디텍터를 포함하고,
    상기 복수의 특징점을 검출하는 단계는,
    상기 IR 스캐너를 제어하여 상기 사용자의 눈에 IR 광을 조사하고, 상기 사용자의 눈으로부터 반사된 IR 광을 상기 IR 디텍터를 이용하여 검출하는 단계; 및
    상기 반사광으로부터 복수의 반짝임 특징점을 검출하고, 상기 검출된 복수의 반짝임 특징점의 위치 정보를 획득하는 단계;
    를 포함하고,
    상기 렌즈-안구 간 거리에 관한 정보를 획득하는 단계는,
    상기 식별된 복수의 반짝임 특징점의 위치 정보에 기초하여, 복수의 반짝임 특징점 간의 거리에 관한 정보를 획득하는 단계; 및
    상기 획득된 복수의 반짝임 특징점 간의 거리에 기초하여 상기 렌즈-안구 간 거리를 산출하는 단계;
    를 포함하는, 방법.
    
15. 제14 항에 있어서,
    상기 IR 디텍터는 상기 증강 현실 디바이스의 렌즈 프레임 상에서 기 설정된 거리만큼 이격되어 배치되는 복수의 포토 다이오드(photodiode)로 구성되고,
    상기 렌즈-안구 간 거리를 산출하는 단계는,
    상기 복수의 반짝임 특징점 간의 거리 및 상기 복수의 포토 다이오드 간의 위치 관계에 기초하여 상기 렌즈-안구 간 거리를 산출하는, 방법.
    
16. 제11 항에 있어서,
    상기 복수의 특징점을 검출하는 단계는,
    상기 시선 추적 센서를 이용하여 기설정된 회전 각도로 회전하는 사용자의 눈을 촬영함으로써 이미지를 획득하는 단계; 및
    상기 이미지를 분석하여 동공 특징점을 검출하는 단계;
    를 포함하고,
    상기 렌즈-안구 간 거리에 관한 정보를 획득하는 단계는,
    상기 검출된 동공 특징점의 회전 반경을 측정하는 단계; 및
    상기 측정된 회전 반경에 기초하여 상기 렌즈-안구 간 거리를 산출하는 단계;
    를 포함하는, 방법.
    
17. 제11 항에 있어서,
    상기 가변 초점 렌즈의 초점 영역의 위치를 결정하는 단계는,
    제1 가변 초점 렌즈의 전체 영역 중 좌안의 상기 응시점을 향하는 제1 시선 방향을 나타내는 가상의 직선이 상기 제1 가변 초점 렌즈와 만나는 제1 초점 중심점을 중심으로 기 설정된 크기의 영역을 제1 초점 영역으로 결정하고, 제2 가변 초점 렌즈의 전체 영역 중 우안의 상기 응시점을 향하는 제2 시선 방향을 나타내는 가상의 직선이 상기 제2 가변 초점 렌즈와 만나는 제2 초점 중심점을 중심으로 기 설정된 크기의 영역을 제2 초점 영역으로 결정하는, 방법.
    
18. 제11 항에 있어서,
    상기 가변 초점 렌즈의 초점 영역의 위치를 결정하는 단계는,
    상기 렌즈-안구 간 거리, 상기 응시점과 상기 사용자의 눈과의 거리, 및 상기 동공 간 거리에 기초하여 초점 중심점의 위치 좌표값을 획득하는 단계; 및
    상기 초점 중심점의 위치를 중심으로 기 설정된 크기의 영역을 상기 초점 영역으로 결정하는 단계;
    를 포함하는, 방법.
    
19. 제11 항에 있어서,
    상기 초점 영역에 대응되는 위치에 관한 위상 변조 프로파일을 생성하는 제어 전압을 상기 가변 초점 렌즈에 인가함으로써, 상기 초점 영역의 굴절력(refractive power)을 조절하는 단계;
    를 더 포함하는, 방법.
    
20. 제11 항 내지 제19 항 중 어느 하나의 항에 기재된 방법을 구현하기 위한 적어도 하나의 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
    

Images