KR20210150250A - 증강 현실을 디스플레이하는 장치 및 방법 - Google Patents

증강 현실을 디스플레이하는 장치 및 방법 Download PDF

Info

Publication number
KR20210150250A
KR20210150250A KR1020200124748A KR20200124748A KR20210150250A KR 20210150250 A KR20210150250 A KR 20210150250A KR 1020200124748 A KR1020200124748 A KR 1020200124748A KR 20200124748 A KR20200124748 A KR 20200124748A KR 20210150250 A KR20210150250 A KR 20210150250A
Authority
KR
South Korea
Prior art keywords
lens
refractive power
augmented reality
variable focus
user
Prior art date
Application number
KR1020200124748A
Other languages
English (en)
Inventor
이규근
에드워드 밀튼 해리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2021/006876 priority Critical patent/WO2021246777A1/en
Priority to US17/338,181 priority patent/US12072494B2/en
Publication of KR20210150250A publication Critical patent/KR20210150250A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

증강 현실을 디스플레이하는 장치 및 방법이 개시된다. 개시된 증강 현실을 디스플레이 하는 장치는, 광학 엔진; 가상 이미지의 광이 출력되고 현실 장면의 광이 투과되는 웨이브가이드; 웨이브가이드를 사이에 두고 배치되는 제1 렌즈부와 제2 렌즈부; 및 프로세서;를 포함하며, 제1 렌즈부는 가상 이미지의 초점 조절과 사용자의 시력 교정을 수행하는 것으로서, 제1 굴절력을 갖는 제1 가변 초점 렌즈와 고정 굴절력을 갖는 고정 굴절 렌즈를 포함하고, 제2 렌즈부는 제1 렌즈부로 말미암은 현실 장면의 왜곡을 보상하는 것으로서, 제2 굴절력을 갖는 제2 가변 초점 렌즈를 포함하며, 프로세서는 사용자의 시력 정보와, 가상 이미지의 속성 깊이 정보와 고정 굴절 렌즈의 고정 굴절력 정보에 기초하여 제1 가변 초점 렌즈의 제1 굴절력을 결정한다.

Description

증강 현실을 디스플레이하는 장치 및 방법{Device and method of displaying augmented reality}
본 개시는 증강 현실을 디스플레이하는 장치 및 방법에 관한 것으로서, 보다 상세하게는 가변 초점 렌즈를 구비한 증강 현실을 디스플레이하는 장치 및 방법에 관한 것이다.
증강 현실 장치는 증강 현실(Augmented Reality, AR)을 볼 수 있는 장치로서, 예를 들어 증강 현실 안경(AR Glass)이 있다. 증강 현실 장치의 이미지 광학 시스템은 영상을 생성하는 영상생성장치와, 생성된 영상을 눈으로 보내주기 위한 웨이브가이드(waveguide)을 포함한다.
영상 생성 장치(프로젝터 등)에서 출사된 이미지는 웨이브가이드를 통해 눈으로 조사되며, 이로서 사람은 영상을 관찰하게 된다. 이러한 웨이브가이드를 이용한 디스플레이에서 가상 이미지의 초점 거리는 예를 들어 무한대 거리일 수 있으므로, 몰입감 있는 증강 현실 환경을 위해서는 가상 이미지의 초점 거리를 현실 객체가 있는 임의의 거리에 위치시키는 수단이 필요하다. 한편, 증강 현실 장치를 사용하는 사용자들 중에서 안경으로 시력을 교정하여 생활하는 사용자는 도수 클립과 같은 추가적인 수단을 이용할 필요가 있다. 하지만 도수 클립의 불편함으로 인해 가변 초점 렌즈를 이용하여 저시력자들의 시력 교정 기능을 구비한 증강 현실 장치가 연구되고 있다.
해결하고자 하는 과제는 자체적으로 시력 교정이 가능한 증강 현실 장치를 제공하는데 있다.
해결하고자 하는 과제는 몰입감 있는 증강 현실 환경을 제공하는데 있다.
해결하고자 하는 과제는 가상 이미지의 화질을 개선한 증강 현실 환경을 제공하는데 있다.
해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따르는 증강 현실을 디스플레이 하는 장치는, 가상 이미지의 광을 출력하도록 구성된 광학 엔진; 가상 이미지의 광이 출력되고 현실 장면의 광이 투과되는 웨이브가이드; 웨이브가이드를 사이에 두고 배치되는 제1 렌즈부와 제2 렌즈부; 및 프로세서;를 포함하며, 제1 렌즈부는 가상 이미지의 초점 조절과 사용자의 시력 교정을 수행하는 것으로서, 프로세서에 의해 조절 가능한 제1 굴절력을 갖는 제1 가변 초점 렌즈와 고정 굴절력을 갖는 고정 굴절 렌즈를 포함하고, 제2 렌즈부는 제1 렌즈부로 말미암은 현실 장면의 왜곡을 보상하는 것으로서, 프로세서에 의해 조절 가능한 제2 굴절력을 갖는 제2 가변 초점 렌즈를 포함하며, 프로세서는 사용자의 시력 정보와, 가상 이미지의 속성 깊이 정보와 고정 굴절 렌즈의 고정 굴절력 정보에 기초하여 제1 가변 초점 렌즈의 제1 굴절력을 결정할 수 있다.
일 실시예에서, 제1 가변 초점 렌즈의 제1 굴절력은 수학식
Figure pat00001
에 의해 결정된다. 여기서, D1은 제1 가변 초점 렌즈의 제1 굴절력, D고정은 고정 굴절 렌즈의 고정 굴절력, D교정은 사용자의 굴절 이상의 교정하기 위한 교정 필요 굴절력, f는 가상 이미지의 초점 거리를 나타낸다.
일 실시예에서, 증강 현실을 디스플레이 하는 장치는 고정 굴절 렌즈의 고정 굴절력 D고정, 사용자의 교정 필요 굴절력 D교정, 및 가상 이미지의 초점 거리 f가 저장된 메모리를 더 포함할 수 있다.
일 실시예에서, 프로세서는 메모리로부터 고정 굴절 렌즈의 고정 굴절력, 사용자의 교정 필요 굴절력 및 가상 이미지의 초점 거리 정보를 읽어들인 후 제1 가변 초점 렌즈의 제1 굴절력 D1은
Figure pat00002
으로 연산할 수 있다.
일 실시예에서, 증강 현실을 디스플레이 하는 장치는 가상 이미지의 초점 거리 정보 f와, 고정 굴절 렌즈의 굴절력이 반영된 수정 교정 필요 굴절력 D수정이 저장된 메모리를 더 포함하며, 수정 교정 필요 굴절력 D수정은
Figure pat00003
으로 주어지며, 프로세서는 메모리로부터 수정 교정 필요 굴절력 및 가상 이미지의 초점 거리 정보를 읽어들인 후 제1 가변 초점 렌즈의 제1 굴절력 D1을
Figure pat00004
으로 연산할 수 있다.
일 실시예에서, 제2 가변 초점 렌즈의 제2 굴절력 D2는 수학식
Figure pat00005
에 의해 결정될 수 있다.
일 실시예에서, 고정 굴절 렌즈는 부(-)의 굴절력을 갖는 오목 렌즈일 수 있다.
일 실시예에서, 제1 및 제2 가변 초점 렌즈는 액정 렌즈일 수 있다.
일 실시예에서, 제2 가변 초점 렌즈는 웨이브가이드와 고정 굴절 렌즈 사이에 배치되며, 제1 가변 초점 렌즈와, 웨이브가이드와, 제2 가변 초점 렌즈는 적층 구조일 수 있다.
일 실시예에서, 증강 현실을 디스플레이 하는 장치는 사용자의 시력 정보 및 가상 이미지의 초점 거리 중 적어도 어느 하나가 입력되는 사용자 입력부를 더 포함할 수 있다.
일 실시예에서, 제1 렌즈부는 고정 굴절 렌즈의 입사면 혹은 출사면에 배치된 편광판을 더 포함할 수 있다.
일 실시예에서, 제2 렌즈부는 제2 가변 초점 렌즈와 함께 제1 렌즈부로 말미암은 현실 장면의 왜곡을 보상하는 제2 고정 굴절 렌즈를 더 포함할 수 있다.
일 실시예에서, 제2 고정 굴절 렌즈는 정(+)의 굴절력을 갖는 볼록 렌즈일 수 있다.
일 실시예에서, 제2 가변 초점 렌즈의 제2 굴절력 D2은 수학식
Figure pat00006
에 의해 산출되며, 여기서 D고정2는 제2 고정 굴절 렌즈(543)의 고정 굴절력일 수 있다.
일 실시예에서, 증강 현실을 디스플레이 하는 장치는 사용자의 시선 정보를 획득하도록 구성된 시선 추적 센서를 더 포함할 수 있다.
프로세서는 시선 추적 센서에서 획득된 사용자의 시선 정보로부터 응시점을 산출하고, 산출된 응시점에 기초하여 가상 이미지의 초점 거리를 결정할 수 있다.
일 실시예에서, 프로세서는, 광학 엔진을 제어하여, 미리 설정된 크기의 적어도 하나의 제1 문자를 출력하고; 적어도 하나의 제1 문자에 대한 사용자의 적어도 하나의 제1 입력을 획득하고, 적어도 하나의 제1 문자 및 적어도 하나의 제1 입력을 비교하고, 비교 결과에 기초하여, 제1 가변 초점 렌즈의 제1 굴절력을 결정하고, 결정된 상기 제1 가변 초점 렌즈의 제1 굴절력에 기초하여 사용자의 교정 필요 굴절력을 결정할 수 있다.
일 실시예에서, 적어도 하나의 제1 문자 및 적어도 하나의 제2 문자는, 기설정된 교정 시력에 대응되는 크기를 가지며, 사용자의 시력 측정을 위한 기설정된 깊이로 표시되는 것일 수 있다.
일 실시예에서, 장치는 안경형 장치일 수 있다.
다른 측면에 따르면, 가상 이미지의 광을 출력하도록 구성된 광학 엔진과, 가상 이미지의 광이 출력되고 현실 장면의 광이 투과되는 웨이브가이드를 포함하는 증강 현실 장치의 증강 현실을 디스플레이 하는 방법에 있어서, 웨이브가이드를 사이에 두고 고정 굴절 렌즈와 제1 가변 초점 렌즈를 포함하는 제1 렌즈부와 제1 가변 초점 렌즈를 포함하는 제2 렌즈부를 배치하는 단계; 사용자의 시력 정보와, 가상 이미지의 초점 거리 정보와 고정 굴절 렌즈의 고정 굴절력에 기초하여 제1 가변 초점 렌즈의 제1 굴절력을 산출하는 단계; 및 제1 렌즈부로 말미암은 현실 장면의 왜곡을 보상하도록 제2 가변 초점 렌즈의 제2 굴절력을 산출하는 단계;를 포함할 수 있다.
다른 측면에 따르면, 증강 현실 장치의 증강 현실을 디스플레이 하는 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.
본 개시에 따르면, 증강 현실을 디스플레이하는 장치 및 방법은 자체적인 시력 교정 기능을 제공할 수 있다.
본 개시에 따르면, 증강 현실을 디스플레이하는 장치 및 방법은 가상 이미지의 초점 거리를 현실 객체가 있는 임의의 위치로 이동시켜 몰입감 있는 증강 현실 환경을 제공할 수 있다.
본 개시에 따르면, 증강 현실을 디스플레이하는 장치 및 방법은 가변 초점 렌즈의 굴절력 요구 수준을 경감시켜 가상 이미지 및 현실 장면에 대한 화질을 개선할 수 있다.
도 1은 일 실시예에 따른 증강 현실 장치의 외관을 도시한 도면이다.
도 2는 도 1의 증강 현실 장치의 평면도이다.
도 3은 일 실시예에 따른 광학 엔진 및 광학 부품들의 배치를 도시한 도면이다.
도 4는 도 1의 증강 현실 장치의 블록도이다.
도 5는 일 실시예에 따른 제1 가변 초점 렌즈를 도시한다.
도 6은 제어신호가 소정 굴절력(예시적으로 -2D)인 오목 렌즈에 대응되는 전압 프로파일일 때의 제1 가변 초점 렌즈의 위상 프로파일이다.
도 7은 제어신호가 소정 굴절력(예시적으로 -3D)인 오목 렌즈에 대응되는 전압 프로파일일 때의 제1 가변 초점 렌즈의 위상 프로파일이다.
도 8는 일 실시예에 따른 증강 현실 장치의 동작을 설명하는 흐름도이다.
도 9는 일 실시예에 따른 증강 현실 장치의 동작을 설명하는 흐름도이다.
도 10은 일 실시예에 따른 증강 현실 장치의 동작을 설명하는 도면이다.
도 11은 일 실시예에 따른 증강 현실 장치의 광학 부품들의 배치를 도시한 도면이다.
도 12는 일 실시예에 따른 증강 현실 장치의 광학 부품들의 배치를 도시한 도면이다.
도 13은 일 실시예에 따른 증강 현실 장치의 블록도이다.
도 14는 일 실시예에 따른 시선 추적 센서를 도시한다.
도 15는 사용자의 시선 방향에 대한 3차원 안구 모델을 도시한 도면이다.
도 16은 좌안 및 우안에서의 시선 각도와 응시점의 관계를 설명하는 도면이다.
도 17은 상방의 응시방향에서의 시선 각도와 응시점의 관계를 설명하는 도면이다.
도 18은 일 실시예에 따른 증강 현실 장치의 동작을 설명하는 흐름도이다.
도 19는 일 실시예에 따른 증강 현실 장치의 동작을 설명하는 도면이다.
도 20은 일 실시예에 따른 증강 현실 장치의 블록도이다.
도 21은 일 실시예에 따른 증강 현실 장치가 사용자의 음성 입력의 정답률이 낮은 경우에, 사용자의 교정 필요 굴절력 획득을 위한 동작을 수행하는 예시를 나타내는 도면이다.
도 22는 일 실시예에 따른 증강 현실 장치가 사용자의 음성 입력의 정답률이 보통인 경우에, 사용자의 교정 필요 굴절력 획득을 위한 동작을 수행하는 예시를 나타내는 도면이다.
도 23은 일 실시예에 따른 증강 현실 장치가 사용자의 음성 입력의 정답률이 높은 경우에, 사용자의 교정 필요 굴절력 획득을 위한 동작을 수행하는 예시를 나타내는 도면이다.
도 24는 일 실시예에 따른 증강 현실 장치의 동작을 설명하는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서, '증강 현실(Augmented Reality; AR)'은 현실 세계의 물리적 환경 공간이나 현실 객체 상에 가상 이미지를 오버레이(overlay)하여 함께 보여주는 것을 의미한다.
본 개시에서, '증강 현실 장치(Augmented Reality Device)'라 함은 증강 현실을 표현할 수 있는 장치로서, 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses)뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이(Head Mounted Display; HMD)나 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
본 개시에서, '현실 장면(real scene)'이란 관찰자 또는 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)(들)를(을) 포함할 수 있다.
'가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지이다. 가상 이미지는 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보나 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 보여주는 이미지일 수 있다. '가상 객체(virtual object)'는 가상 이미지의 일부 영역로 표현될 수 있다. 가상 객체는 현실 객체와 관련된 정보를 나타낼 수 있다. 가상 객체는 예를 들어, 문자, 숫자, 기호, 아이콘, 이미지, 및 애니메이션 중 적어도 하나를 포함할 수 있다.
본 개시에서, '가변 초점 렌즈(focus tunable lens)'란 초점 거리가 조절될 수 있는 렌즈를 가리킨다. 이러한 가변 초점 렌즈로 액정(liquid crystal, LC) 렌즈나, 유체 렌즈, 그 밖의 공지의 초점 조절 가능한 광학계가 사용될 수 있다. 후술하는 바와 같이 사용자가 가상 이미지를 볼 때 가변 초점 렌즈를 통하여 가상 이미지의 거리를 조절할 수 있게 된다.
본 개시에서, '초점(focus)'은 렌즈의 광축에 평행한 광선이 렌즈(또는 광학계)를 통과한 후, 광선을 연장한 직선이 광축과 만나는 지점을 의미한다. 렌즈(또는 광학계)의 주단면(principal plane)에서 초점까지의 공기 중에서의 거리를 초점 거리라 한다.
본 개시에서, '굴절률(refractive index)'은 진공에 비하여 매질 내에서 광속(speed of light)이 줄어드는 비율을 의미한다.
본 개시에서, '굴절력(refractive power)'은 렌즈의 곡면에 의해 광선 또는 광 경로의 방향을 바꾸는 힘을 의미한다. 굴절력의 단위는 m-1 또는 디옵터(Diopter)(D)이고, 디옵터 값은 초점 거리의 역수로 나타낸다. 또한, 디옵터를 해당 굴절력을 가진 렌즈의 도수라고 부르기도 한다. 굴절력의 부호는 볼록 렌즈(convex lens)의 경우 정(positive, +)이고, 오목 렌즈(concave lens)의 경우 부(negative, -)이다.
본 개시에서, '시력(Visual Acuity; VA)'은 눈의 공간 해상력, 다시 말해서 눈으로 정지된 물체를 볼 때 미세한 부분을 식별할 수 있는 능력을 가리킨다. 너무 높거나 너무 낮은 굴절 이상은 근시나 원시의 원인으로 되며, 이는 안경, 콘택트 렌즈, 시력교정수술과 같은 수단으로 교정될 수 있다. 교정 시력은 소정의 굴절력을 가진 렌즈를 착용한 사용자에 대하여 측정된 시력일 수 있다. 교정 필요 굴절력은 교정 시력을 달성하기 위해 요구되는 굴절력을 의미한다.
본 개시에서, '가상 이미지의 깊이(depth)'라 함은 사용자가 가상 이미지를 볼 때 공간 상에서 가상 이미지가 있다고 인식되는 거리 또는 위치를 의미한다. 양안 시차를 이용하는 3D 영상은 서로 다른 시선 방향의 좌안 가상 이미지와 우안 가상 이미지를 생성하며, 이때 서로 다른 시선 방향들은 사용자의 좌안에서 보는 시 방향과 우안에서 보는 시선 방향일 수 있다. 따라서 양안 시차를 이용하는 3D 영상에서 가상 이미지의 깊이는 좌안에서 보는 시선 방향과 우안에서 보는 시선 방향에 의한 시차(즉, 양안 시차)에서 환산된 거리일 수 있다.
본 개시에서, '시선 방향(gaze direction)'이란 사용자가 응시하는 방향을 의미하며, '시선(gaze)'이란 사용자의 눈동자에서 시선 방향으로 향하는 가상의 선을 의미한다. 주로 시선 추적 센서에서 획득된 정보로부터 시선 방향을 계산하고 시선을 추정한다.
본 개시에서, '응시점(gaze point)'이란 사용자가 응시하는 지점을 가리키며, 사용자의 양안의 시선이 교차하는 지점으로 산출될 수 있다. 양안 시차를 이용하는 3D 영상을 볼 때 사용자는 양안 시차에 의해 3D 영상을 인식하므로, 사용자의 양안의 수렴각을 통해 얻어지는 응시점이 사용자가 가상 객체가 있다고 인식되는 지점(즉, 가상 이미지의 깊이)일 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 증강 현실 장치(100)의 외관을 도시한 도면이며, 도 2는 도 1의 증강 현실 장치(100)의 평면도이다.
도 1 및 도 2를 참조하면, 본 실시예의 증강 현실 장치(100)는 사용자가 착용할 수 있도록 구성된 안경형 증강 현실 장치(Augmented Reality Glasses)로서, 안경형 몸체(101)를 포함한다.
안경형 몸체(101)는 예시적으로 프레임(frame)(102)과, 안경다리들(temples)(103)을 포함할 수 있다. 프레임(102)은 안경알(104L, 104R)이 위치하는 것으로서, 예시적으로 브릿지(bridge)로 연결된 2개의 테(rim)형상을 가질 수 있다. 안경알(104L, 104R)은 예시적인 것으로서, 굴절력(도수)를 가지거나 혹은 가지지 않을 수 있다. 또는 안경알(104L, 104R)은 일체로 형성될 수 있으며, 이 경우 프레임(102)의 테와 브릿지가 구분되지 않을 수도 있다. 안경알(104L, 104R)은 생략될 수도 있다.
안경다리들(103)은 프레임(102)의 양 단부에 각각 연결되고 일 방향으로 연장된다. 프레임(102)과 안경다리들(103)는 힌지(hinge)(105)에 의해 연결될 수 있다. 힌지(105)는 예시적인 것으로서, 프레임(102)과 안경다리들(103)을 연결하는 공지의 부재가 채용될 수 있다. 다른 예로, 프레임(102)과 안경다리들(103)은 일체로(혹은 연속하여) 연결되어 있을 수도 있다.
안경형 몸체(101)에는 광학 엔진(110)과, 웨이브가이드(120)와, 제1 렌즈부(130)와, 제2 렌즈부(140)와, 전자부품들(190)이 배치된다.
광학 엔진(110)은 가상 이미지의 광을 생성하도록 구성된 것으로서, 화상 패널, 조명광학계, 투사광학계 등을 포함하는 프로젝터(projector)의 광학 엔진일 수 있다. 이러한 광학 엔진(110)은 좌안 광학 엔진(110L) 및 우안 광학 엔진(110R)을 포함할 수 있다. 좌안 광학 엔진(110L) 및 우안 광학 엔진(110R)은 프레임(102)의 양 단부에 위치할 수 있다. 다른 예로, 좌안 광학 엔진(110L) 및 우안 광학 엔진(110R)은 각각 좌측 안경다리(103L) 및 우측 안경다리(103R)에 위치할 수도 있다.
광학부품들은 광학 엔진(110)에서 생성된 가상 이미지의 광과 현실 장면의 광을 사용자의 동공으로 전달하도록 구성된 것으로서, 웨이브가이드(120)와, 제1 렌즈부(130), 및 제2 렌즈부(140)를 포함할 수 있다. 광학부품들은 각각 안경형 몸체(101)의 좌측 및 우측에 배치될 수 있다. 좌측 안경알(104L)과 우측 안경알(104R)에는 각각 좌안 광학부품들 및 우안 광학부품들이 배치 또는 부착될 수 있다. 또는 좌안 광학부품들 및 우안 광학부품들은 안경알(104L, 104R)과 별개로 프레임(102)에 장착될 수도 있다. 다른 예로, 좌안 광학부품들 및 우안 광학부품들은 일체로 구성되어 프레임(102)에 장착될 수도 있다. 또 다른 예로, 광학부품들은 안경형 몸체(101)의 좌측 및 우측 중 어느 한 쪽에만 배치될 수 있다.
전자부품들(190)은 프로세서(도 4의 170), 사용자 입력부(도 4의 150), 및 메모리(도 4의 160) 등을 포함하며, 안경형 몸체(101)의 프레임(102) 또는 안경다리들(104)의 어느 한 곳에 위치하거나 또는 복수 위치에 분산되어 위치할 수 있으며, PCB 기판, FPCB 기판 등에 실장될 수 있다. 도시되지는 않았지만, 제1 가변 초점 렌즈(131)를 구동하는 제1 렌즈 구동 드라이버 회로는 제1 가변 초점 렌즈(131)에 인접하게 배치될 수 있다. 제2 가변 초점 렌즈(141)를 구동하는 제2 렌즈 구동 드라이버 회로는 제2 가변 초점 렌즈(141)에 인접하게 배치될 수 있다. 다른 예로, 제1 및 제2 렌즈 구동 드라이버 회로의 전부 혹은 일부는 예를 들어 메인보드에 위치할 수도 있다.
도 3 및 도 4를 참조하여 본 개시의 일 실시예에 따른 증강 현실 장치(100)의 광학적 구성과 동작을 보다 상세히 설명하기로 한다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 장치(100)를 개략적으로 도시하며, 도 4는 본 개시의 일 실시예에 따른 증강 현실 디바이스(100)의 구성 요소를 도시한 블록도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 증강 현실 장치(100)는 가상 이미지와 현실 장면을 모두 보여줄 수 있는 광학 시스템으로서, 광학 엔진(110), 웨이브가이드(waveguide)(120), 제1 렌즈부(130) 및 제2 렌즈부(140)를 포함한다.
광학 엔진(110)은 가상 이미지의 광(LV)을 출력하도록 구성된다.
일 실시예에서, 광학 엔진(110)은 광을 출력하는 광원과 광원으로부터 출력되는 광을 이용하여 2차원의 가상 이미지를 형성하는 화상 패널과, 화상 패널에서 형성되는 가상 이미지의 광(LV)을 투사하는 투사광학계를 포함하며 소형 프로젝터와 같은 기능을 가진다. 광원은 예를 들어 LED이나 LD로 구현 가능하다. 화상 패널은 예를 들어 액정 패널이나, LCoS (Liquid Crystal on Silicon) 패널이나 DMD (Digital Micromirror Device) 패널로 구현 가능하다. 투사광학계는 적어도 한 매의 투사렌즈를 포함할 수 있다.
다른 실시예에서, 광학 엔진(110)은 광을 출력하는 광원과 광원에서 출력된 광을 2차원으로 주사하는 2축 스캐너(scanner)를 포함할 수 있다.
또 다른 실시예에서, 광학 엔진(110)은 광을 출력하는 광원과 광원에서 출력된 광을 이용하여 선형 이미지(즉, 1차원의 이미지)를 형성하는 선형 화상 패널과, 선형 화상 패널에서 형성되는 선형 이미지의 광을 주사하는 1축 스캐너를 포함할 수도 있다.
웨이브가이드(120)는 가상 이미지의 광(LV)이 출력되고 현실 장면의 광(LR)이 투과되는 것으로서, 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조로 형성될 수 있다. 여기서, 투명 재질이라 함은, 가시광선 대역의 광이 통과될 수 있는 재질이라는 의미이며, 투명도가 100%가 아닐 수 있으며, 소정의 색상을 지닐 수도 있다. 웨이브가이드(120)는 평평한 평판 형상이거나 곡면판 형상을 지닐 수 있다.
웨이브가이드(120)는 광학 엔진(120)에 마주하여 투사된 가상 이미지의 광(LV)을 입력받는 입력 영역과, 입사된 가상 이미지의 광(LV)이 전달되는 전달 영역과, 전달 영역에서 전달되는 가상 이미지의 광(LV)을 출력하는 출력 영역을 포함한다. 입력 영역과 출력 영역은 이격되어 있다. 전달 영역은 입력 영역과 출력 영역 사이에 위치하거나 입력 영역 및 출력 영역 중 적어도 일부와 겹쳐져 위치할 수 있다.
입력 영역, 전달 영역 및 출력 영역에는 각각 입력 회절 격자, 전달 회절 격자 및 출력 회절 격자가 마련된다. 웨이브가이드(120)가 단층인 경우, 입력 회절 격자, 전달 회절 격자 및 출력 회절 격자는 웨이브가이드(120)의 광학 엔진(110)과 마주보는 면 및/또는 반대쪽 면에 형성될 수 있다. 웨이브가이드(120)가 다층인 경우, 입력 회절 격자, 전달 회절 격자 및 출력 회절 격자는 웨이브가이드(120)의 각 층마다 형성되거나 혹은 일부 층에만 형성될 수 있다. 입력 회절 격자는 광학 엔진(110)에서 출력되는 광(LV)을 웨이브가이드(120)에 결합(coupling)하도록 구성될 수 있다. 전달 회절 격자는 입력 회절 격자에서 입력된 광(LV)을 출력 회절 격자로 전달하도록 구성될 수 있다. 예시적으로, 전달 회절 격자는 입력된 광(LV)이 다수로 복제되도록 하는 확장 격자(expansion grating) 일 수 있다. 확장 격자는, 입사된 광(LV)이 웨이브가이드(120) 내에서 전반사를 통해 전파될 때, 복수의 빔렛들(beamlets)로 분할하여 출력 영역 전역에 걸쳐 전파될 수도 있도록 구성될 수 있다. 출력 회절 격자는 웨이브가이드(120) 내에서 전파되는 광(LV)이 웨이브가이드(120) 밖으로 출력하도록 구성되며, 전달 회절 격자(가령 확장 격자)의 역할을 함께 수행할 수도 있다. 광학 엔진(110)의 투사 광학계 중 하나는 시준 렌즈일 수 있고, 시준 렌즈에 의해 출사되는 광(LV)이 평행한 광이 되고 이에 따라서, 웨이브가이드를 통해 최종 눈으로 전달되는 광(LV)도 실질적으로 평행 광속으로 간주될 수 있다. 달리 말하면, 출력 회절 격자를 통해 출력되는 가상 이미지의 광(LV)은 실질적으로 무한대에서 출사된 광으로 간주될 수 있다. 여기서 '실질적으로'라는 의미는, 사람이 인지하는 시각 원근감 측면에서 가상 이미지가 실질적으로 무한대에 가까운 충분한 거리에 있는 것으로 보인다는 것을 의미한다.
웨이브가이드(120)는 사용자가 증강 현실 장치(100)를 착용할 때 출력 영역이 사용자의 동공 전방에 위치할 수 있도록 프레임에 장착된다. 웨이브가이드(120)가 투명 재질로 형성됨에 따라, 사용자는 증강 현실 장치(100)를 통해 가상 이미지를 볼 수 있을 뿐만 아니라, 현실 장면을 볼 수 있으므로, 증강 현실 장치(100)는 증강 현실을 구현할 수 있다.
제1 렌즈부(130)는 가상 이미지의 초점 조절과 사용자의 시력 교정을 수행하는 것으로서, 웨이브가이드(120)에서 가상 이미지가 출력되는 측에 배치될 수 있다. 달리 말하면, 사용자가 증강 현실 장치(100)을 착용하였을 때, 제1 렌즈부(130)는 웨이브가이드(120)와 사용자의 눈 사이에 위치하도록 배치된다.
제1 렌즈부(130)는 제1 가변 초점 렌즈(131)와 고정 굴절 렌즈(133)를 포함한다.
제1 가변 초점 렌즈(131)는 프로세서(도 4의 170)의 제어신호에 의해 가변 가능한 제1 굴절력을 갖는 렌즈이다. 달리 말하면, 제1 가변 초점 렌즈(131)는 프로세서(170)의 제어신호에 의해 초점 거리가 가변되는 렌즈이다.
일 실시예에 따른 제1 가변 초점 렌즈(131)는 액정 렌즈(liquid crystal lens, LC lens)일 수 있다. 예를 들어, 제1 가변 초점 렌즈(131)는 상하의 투명 기판 사이에 액정이 위치하고, 상하의 투명 기판과 액정이 접하는 측에 공통 전극과 소정의 패턴을 가진 렌즈 전극들이 배치될 수 있다. 공통 전극과 소정의 패턴을 가진 렌즈 전극들 자체가 투명한 전극일 수도 있다. 액정 렌즈는 공통 전극과 렌즈 전극들 사이에 전압이 인가됨에 따라 발생되는 액정의 복굴절률 분포가 프레넬 렌즈(Fresnel lens)를 모사한다.
도 5는 일 실시예에 따른 제1 가변 초점 렌즈(131)를 도시한 도면이다. 도 5를 참조하면, 제1 가변 초점 렌즈(131)는 대향되는 제1 및 제2 기판(1311, 1318) 사이에 액정층(1314)이 개재된 구조를 지닌다. 제1 기판(1311) 상에는 소정의 패턴을 갖는 다수의 제1 전극들(1312)이 마련된다. 제1 전극(렌즈 전극)(1312)들은 제1 기판(1311) 상에 2차원으로 배치될 수 있다. 일 실시예에서 제1 전극(1312)들은 동심의 환형 패턴으로 형성될 수 있다. 다른 실시예에서 제1 전극(1312)들은 2차원의 픽셀 어레이 패턴으로 형성될 수도 있다. 제1 전극(1312)들은 개별적으로(즉, 독립적으로) 또는 소정 그룹 단위로 전압이 인가될 수 있다. 제2 기판(1318) 상에는 공통의 제2 전극(공통 전극)(1317)이 마련된다. 제2 전극(1317)은 제1 전극(1312)들에 대해 기준 전극의 역할을 할 수 있다. 경우에 따라 제2 전극(1317)도 전극 어레이 형태를 가질 수도 있다. 제1 전극(1312)들과 제2 전극(1317)의 위치는 서로 뒤바뀔 수 있다. 참조번호 1313 및 1316는 액정층(1314) 내의 액정 분자(1315)들을 소정 방향으로 배향시키는 배향층을 나타낸다. 액정 분자(1315)들의 원래 배향은 배향층(1313, 1316)에서 가해지는 힘의 방향에 의해 결정되나, 적절한 전압이 인가되면 액정 분자(1315)들이 회전하게 된다. 따라서, 전압이 액정층(1314)에 인가될 때 액정층(1314)의 굴절률은 액정 분자의 재배향으로 인해 변화하게 된다. 소정 패턴으로 형성된 제1 전극(1312)들에 공간적으로 전압 프로파일을 인가하여 국부적으로 유효 굴절률을 조정함으로써 액정층(1314)은 원하는 초점 거리를 갖는 위상 변조 프로파일을 제공할 수 있게 된다.
도 6은 제어신호가 소정 굴절력(예시적으로 -2D)인 오목 렌즈에 대응되는 전압 프로파일일 때의 제1 가변 초점 렌즈의 위상 프로파일이며, 도 7은 제어신호가 소정 굴절력(예시적으로 -3D)인 오목 렌즈에 대응되는 전압 프로파일일 때의 제1 가변 초점 렌즈의 위상 프로파일이다.
도 6을 참조하면, 제1 전극들(1312)과 제2 전극(1317) 사이에 -2D인 오목 렌즈에 대응되는 전압 프로파일이 인가되면, 이에 따라 발생되는 액정층(1314)의 복굴절률 분포가 -2D의 굴절력을 갖는 프레넬 렌즈를 모사한다.
비슷하게 도 7을 참조하면, 제1 전극들(1312)과 제2 전극(1317) 사이에 -3D인 오목 렌즈에 대응되는 전압 프로파일이 인가되면, 이에 따라 발생되는 액정층(1314)의 복굴절률 분포가 -3D의 굴절력을 갖는 프레넬 렌즈를 모사한다.
본 실시예는 제1 가변 초점 렌즈(131)가 액정 렌즈인 경우를 예로 들어 설명하고 있으나, 이에 제한되는 것은 아니다. 예를 들어 전기활성 폴리머(electroactive polymers)나 액정 폴리머(liquid crystalline polymers)나 액정분산 폴리머(polymer dispersed liquid crystals)와 같이 인가되는 전계에 따라 굴절률이 달라질 수 있는 전기광학물질이 액정을 대신하여 사용될 수 있다. 또 다른 예로, 제1 가변 초점 렌즈(131)는 서로 섞이지 않는 두 가지 액체 사이 경계면을 이용해 빛을 모으거나 분산하는 유체 렌즈일 수도 있다.
상기와 같은 액정 렌즈나 그밖의 공지의 가변 초점 렌즈에 있어서 제조 공정의 한계나 액정 물질의 특성이나 또는 구동 방식에 따라 굴절력의 가변 범위나 가변 소요 시간, 해상도 등에 제약이 있을 수 있다. 또한, 증강 현실 장치(100)는 사용자가 착용한 상태로 사용한다는 점을 고려할 때, 기구적 크기나 전력에 제약이 있을 수 있다. 따라서, 후술하는 바와 같이 제1 가변 초점 렌즈(131)만으로는 사용자의 이상 굴절을 해결하기에 다소 한계가 있을 수 있다.
고정 굴절 렌즈(133)는 고정 굴절력을 갖는 광학 부재이다. 일 실시예로서, 고정 굴절 렌즈(133)는 부(-)의 굴절력을 갖는 오목 렌즈일 수 있다. 본 실시예는 고정 굴절 렌즈(133)가 오목 렌즈인 경우를 예로 들어 설명하고 있으나, 이에 제한되는 것은 아니다. 가령, 다른 예로서, 고정 굴절 렌즈(133)는 부(-)의 굴절력을 갖는 프레넬 렌즈, GRIN(Graded Refractive Index) 렌즈, 메타 렌즈(metalens) 등일 수도 있다. 또 다른 예로서, 고정 굴절 렌즈(133)는 정(+)의 굴절력을 갖는 볼록 렌즈일 수도 있다. 고정 굴절 렌즈(133)의 굴절력 정보는 메모리(160)에 저장되어 있을 수 있다.
제2 렌즈부(140)는 제1 렌즈부(130)로 말미암은 현실 장면의 왜곡을 보상하는 것으로서, 웨이브가이드(120)를 사이에 두고 제1 렌즈부(130)가 위치한 면의 반대측 면에 배치될 수 있다. 달리 말하면, 사용자가 증강 현실 장치(100)을 착용하였을 때, 제2 렌즈부(140)는 웨이브가이드(120)의 바깥측(현실 장면이 위치하는 측)에 위치하도록 배치된다.
제2 렌즈부(140)는 제2 가변 초점 렌즈(141)를 포함한다.
제2 가변 초점 렌즈(141)는 프로세서(170)의 제어신호에 의해 가변 가능한 제2 굴절력을 갖는 렌즈이다. 이러한 제2 가변 초점 렌즈(141)는 전술한 제1 가변 초점 렌즈(131)와 실질적으로 동일한 구성을 가질 수 있다. 일 실시예로서, 제2 가변 초점 렌즈(141)는 액정 렌즈일 수 있다.
제1 가변 초점 렌즈(131)와 제2 가변 초점 렌즈(141)는 웨이브가이드(120)에 부착되어 적층(stack) 구조를 가질 수 있다. 다른 예로, 제1 가변 초점 렌즈(131)와 제2 가변 초점 렌즈(141)는 웨이브가이드(120)로부터 소정 거리 이격되어 있을 수도 있다. 고정 굴절 렌즈(133) 역시 제1 가변 초점 렌즈(131)에 부착되거나 혹은 소정 거리 이격되어 있을 수 있다. 본 실시예는 제1 가변 초점 렌즈(131)가 웨이브가이드(120)와 고정 굴절 렌즈(133) 사이에 배치된 경우를 예로 들어 설명하고 있으나, 이에 제한되는 것은 아니다. 다른 예로, 고정 굴절 렌즈(133)가 웨이브가이드(120)와 제1 가변 초점 렌즈(131) 사이에 배치될 수도 있다.
도 4를 참조하면, 증강 현실 디바이스(100)는 제1 가변 초점 렌즈(131)와 제2 가변 초점 렌즈(141)을 구비한 광학 시스템과 함께 사용자 입력부(150), 메모리(160), 및 프로세서(170)를 포함할 수 있다.
도 4에 도시된 구성 요소 중 도 3에 도시된 구성 요소와 동일한 참조번호를 갖는 구성 요소는 도 3에 도시된 구성 요소와 동일하다. 따라서, 중복되는 설명은 생략하기로 한다.
사용자 입력부(150)는 사용자가 증강 현실 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(150)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다. 사용자 입력부(150)는 사용자의 시력 정보 및 가상 이미지의 초점 거리 중 적어도 어느 하나와 관련된 사용자 입력을 수신할 수 있다.
메모리(160)는 프로세서(170)의 제어에 의해 증강 현실 장치(100)를 구동하고 제어하는 다양한 데이터, 프로그램 또는 어플리케이션과, 입력/출력되는 신호 또는 가상 이미지의 데이터를 저장할 수 있다. 증강 현실 장치(100)를 구동하고 제어하는 다양한 데이터의 예로서, 메모리(160)에는 사용자의 시력 정보, 고정 굴절 렌즈의 굴절력 정보, 제1 및 제2 가변 초점 렌즈(131, 141)의 굴절력 가변 범위, 등이 미리 저장되어 있을 수 있다. 또는 제1 및 제2 가변 초점 렌즈(131, 141)가 해당 굴절력을 가지고 동작할 수 있도록 하는 전압 프로파일 자체가 미리 저장되어 있을 수 있다. 가상 이미지의 데이터에는 가상 이미지 내의 가상 객체의 속성 거리 정보가 포함되어 있을 수 있다.
메모리(160)는 예를 들어, 플래시 메모리 타입(flash memory type), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
프로세서(170)는, 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(170)는 운영체제 또는 응용 프로그램을 구동하여 광학 엔진(120)과, 제1 및 제2 가변 초점 렌즈(131, 141)를 포함한 증강 현실 장치(100)의 전반적인 동작을 제어할 수 있고, 영상 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 가령, 프로세서(170)는 사용자의 시력 정보와, 가상 이미지의 초점 거리 정보와 고정 굴절 렌즈(133)의 고정 굴절력 정보에 기초하여 제1 가변 초점 렌즈(131)의 제1 굴절력을 결정하고, 제1 굴절력에 상응하는 제어신호로 제1 가변 초점 렌즈(131)를 제어할 수 있다. 일 예로, 제어신호는 제1 가변 초점 렌즈(131)에 인가되는 전압 프로파일 그 자체일 수 있다. 다른 예로, 제어신호는 미리 설정된 전압 프로파일들에 대해 이들에 대응되는 제어명령신호일 수 있다. 또한, 프로세서(170)는 가상 이미지의 초점 거리 정보에 기초하여 제2 가변 초점 렌즈(141)의 제2 굴절력을 결정하고, 제2 굴절력에 상응하는 제어신호로 제2 가변 초점 렌즈(141)를 제어할 수 있다.
도 8은 본 실시예에 따른 증강 현실 장치(100)의 동작을 설명하는 흐름도이다.
도 8을 참조하면, 사용자의 시력을 반영하여 제1 및 제2 가변 초점 렌즈(131, 141)의 제1 및 제2 굴절력을 결정하기 위하여 프로세서(170)는 가상 이미지의 초점 거리, 사용자의 시력 정보 및 고정 굴절력 정보를 메모리(160)로부터 로딩한다(S210).
전술한 바와 같이 웨이브가이드(120)에서 출력된 가상 이미지는 실질적으로 무한대 위치에 있는 것으로 간주될 수 있다. 사용자는 웨이브가이드(120)에서 출력된 가상 이미지를 제1 렌즈부(130)를 거쳐 보게 되므로, 가상 이미지의 초점 위치는 제1 렌즈부(130)에 의해 이동하게 된다.
한편, 사용자가 굴절 이상을 갖는 경우, 사용자의 굴절 이상에 의해 가상 이미지의 초점 위치 이동은 제한되며, 이러한 굴절 이상을 교정하기 위하여 교정 굴절력을 필요로 한다. 예를 들어, 사용자가 근시의 굴절 이상을 갖는 경우라면, 이를 교정하기 위한 교정렌즈는 마이너스 디옵터(예를 들어, -3D)의 교정 필요 굴절력을 필요로 할 수 있다. 일 실시예에 다르면, 사용자의 시력 정보는 교정 필요 굴절력 값이며, 사용자의 교정 필요 굴절력은 메모리(150)에 저장되어 있을 수 있다. 복수의 사용자가 있는 경우, 사용자의 시력 정보는 사용자 식별정보와 해당 사용자의 교정 필요 굴절력일 수 있다. 이러한 사용자의 시력 정보는 메모리(160)에 미리 저장된다. 일 실시예에서 사용자의 시력 정보는 가령 사용자 입력부(150)를 통해 사용자가 직접 입력할 수 있다. 일 실시예에서 사용자의 시력 정보는 다른 전자 디바이스에 저장되어 있고 다른 전자 디바이스로부터 유선 또는 무선 방식으로 전달받아 메모리(160)에 저장될 수도 있다.
가상 이미지 내의 가상 객체는 예를 들어, 문자, 숫자, 기호, 아이콘, 이미지, 및 애니메이션 중 적어도 하나를 포함할 수 있다. 가상 객체는 2D 객체뿐만 아니라 3D 객체일 수도 있다.
일 실시예에서 가상 객체는 종종 그 속성상 소정 거리에 위치한다고 인식될 때 사용자에게 자연스러울 수 있다. 예를 들어, 사용자가 의자나 소파에 앉은 상태에서 책상이나 테이블을 볼 때, 가상 이미지(가상 객체)가 책상이나 테이블에 가상적으로 놓여지는 물품에 대한 이미지나 책상이나 테이블에 놓여진 물품에 대한 정보를 담을 수 있으며, 이러한 가상 이미지(가상 객체)의 속성 거리는 대략 0.5 ~ 0.7 미터 정도일 수 있다. 다른 예로, 사용자가 상점에서 쇼핑을 하는 경우, 가상 이미지(가상 객체)는 상점에서의 상품에 대한 정보를 표시할 수 있는데, 이러한 가상 이미지(가상 객체)의 속성 거리는 대략 1~2 미터 정도일 수 있다. 따라서, 가상 이미지(가상 객체)의 대표적인 거리 정보 또는 가상 이미지(가상 객체) 별로 자신의 속성에 맞는 초점 거리 정보가 가상 이미지 데이터와 함께 메모리(150)에 저장되어 있을 수 있다.
다음으로, 프로세서(170)는 가상 이미지의 초점 거리, 사용자의 시력 정보, 및 고정 굴절 렌즈(133)의 고정 굴절력 정보에 기초하여 제1 가변 초점 렌즈(131)의 제1 굴절력을 결정한다(S220).
상기와 같이 사용자의 굴절 이상이 있는 경우에 있어서, 제1 렌즈부(130)의 제1 가변 초점 렌즈(131)의 제1 굴절력은 다음과 같이 결정될 수 있다.
Figure pat00007
여기서, D1은 제1 가변 초점 렌즈(131)의 제1 굴절력을 나타내며, D고정은 고정 굴절 렌즈(133)의 고정 굴절력을 나타내며, D교정은 사용자의 굴절 이상의 교정하기 위한 교정 필요 굴절력을 나타낸다. f는 가상 이미지의 초점 거리를 나타낸다.
프로세서(170)는 가상 이미지의 초점 거리 f가 가상 이미지의 속성 거리가 되도록 제1 가변 초점 렌즈(131)의 제1 굴절력을 조절함으로써, 사용자에게 교정된 시력으로 가상 이미지를 자연스럽게 볼 수 있도록 할 수 있다.
본 실시예는 가상 이미지(가상 객체)의 속성 거리가 있는 경우를 예로 들어 설명하고 있으나, 가상 이미지(가상 객체)의 속성 거리가 없을 수도 있다. 다른 실시예에서, 가상 이미지 초점 거리 f는 가상 이미지(가상 객체)의 속성과 무관한 고정된 값으로서, 증강 현실 장치가 사용되는 태양을 고려하여 가령 0.5m나 0.7m로 정할 수 있다. 또 다른 실시예에서, 가상 이미지 초점 거리 f는 가상 이미지(가상 객체)의 속성과 무관하게 사용자의 입력에 의해 조절 가능한 값일 수도 있다.
다음으로, 프로세서(170)는 가상 이미지의 초점 거리 정보에 기초하여 제2 가변 초점 렌즈(141)의 제2 굴절력을 결정한다(S230).
현실 객체에서 출발된 광은 제2 렌즈부(140), 웨이브가이드(120), 및 제1 렌즈부(130)를 거쳐 사용자의 동공으로 들어간다. 그런데, 제1 렌즈부(130)의 제1 가변 초점 렌즈(131)의 제1 굴절력과 고정 굴절 렌즈(133)의 고정 굴절력에 의해 현실 장면에서 출발된 광은 굴절되어 현실 장면에 왜곡을 발생시킬 수 있다. 이에, 제2 렌즈부(140)의 제2 가변 초점 렌즈(141)는 제1 렌즈부(130)로 말미암은 현실 장면의 왜곡을 보상하도록 소정의 굴절력을 가질 수 있다. 즉, 제2 가변 초점 렌즈(141)의 제2 굴절력은 다음과 같이 결정될 수 있다.
Figure pat00008
여기서, D2은 제2 가변 초점 렌즈(131)의 제2 굴절력을 나타낸다.
하기의 표 1은 시용자 시력에 따른 제1 가변 초점 렌즈(131)의 제1 굴절력, 제2 가변 초점 렌즈(141)의 제2 굴절력, 및 고정 굴절 렌즈(133)(오목 렌즈)의 고정 굴절력을 예시적으로 보여준다.
구분 사용자 시력(D교정) 가상 초점(f) 오목렌즈
(D고정)(-2D)		 제1 가변 초점 렌즈(D1)
(+3D~-3D)		 제2 가변 초점 렌즈(D2)
(+3D~-3D)
1 3D근시(-3D) 가상
@ 0.5m		 -2D -3D +2D
2 2D근시(-2D) -2D -2D +2D
3 1.5D근시(-1.5D) -2D -1.5D +2D
4 1D근시(-1D) -2D -1D +2D
5 3D근시(-3D) 가상
@ 0.7m		 -2D -2.5D +1.5D
6 2D근시(-2D) -2D -1.5D +1.5D
7 1.5D근시(-1.5D) -2D -1D +1.5D
8 1D근시(-1D) -2D -0.5D +1.5D
표 1의 구분 1은, 사용자의 교정 필요 굴절력은 -3D이고, 가상 이미지의 초점 거리(가상 초점)는 0.5m이고, 오목 렌즈의 고정 굴절력은 -2D인 경우에 있어서, 제1 가변 초점 렌즈(131)의 제1 굴절력이 -3D이고, 제2 가변 초점 렌즈(141)의 제2 굴절력이 +2D를 갖도록 할 수 있다.
다른 예로, 구분 5는, 사용자의 교정 필요 굴절력은 -3D이고, 가상 이미지의 초점 거리(가상 초점)는 0.7m이고, 오목 렌즈의 고정 굴절력은 -2D인 경우에 있어서, 제1 가변 초점 렌즈(131)의 제1 굴절력이 -2.5D이고, 제2 가변 초점 렌즈(141)의 제2 굴절력이 +1.5D를 갖도록 할 수 있다. 가상 이미지의 초점 거리가 0.7m일 때,
Figure pat00009
은 통상적으로 1.5D로 간주하여 계산할 수 있다.
전체적으로 제1 렌즈부(130)의 제1 가변 초점 렌즈(131)의 제1 굴절력과 고정 굴절 렌즈(133)의 고정 굴절력의 합과 제2 렌즈부(140)의 제2 가변 초점 렌즈(141)의 제2 굴절력은 비대칭을 이룬다. 다시 말해, 제1 렌즈부(130)의 굴절력의 합의 절대치와 제2 렌즈부(140)의 굴절력의 절대치는 같지 않게 된다.
전술한 바와 같이, 제1 및 제2 가변 초점 렌즈(131, 141)은 제조 공정의 한계나 물질의 특성이나 또는 구동 방식에 따라 굴절력의 가변 범위나 가변 소요 시간, 해상도 등에 제약이 있을 수 있다. 예시적으로 제1 및 제2 가변 초점 렌즈(131, 141)의 유효 굴절력 가변 범위는 +3D ~ -3D일 수 있다. 상기 표 1에서와 같이 본 실시예의 증강 현실 장치(100)는 제1 및 제2 가변 초점 렌즈(131, 141)의 제1 및 제2 굴절력을 유효 굴절력 가변 범위에서 결정할 수 있다.
한편, 제1 및 제2 가변 초점 렌즈(131, 141)는 렌즈 전극(예를 들어, 도 5의 1312)의 패턴 미세화의 한계나 광위상의 급격한 변화가 요구되는 지점에서의 액정 배향의 불안정성 등으로 말미암아, 큰 굴절력을 갖는 데에 한계가 있을 수 있다. 가령, 사용자가 굴절 이상을 갖는 경우에 제1 가변 초점 렌즈(131) 만으로는 요구되는 굴절력을 담당하기에 어려울 수 있다. 본 실시예는 고정 굴절 렌즈(오목렌즈)(133)를 제1 렌즈부(130)에 배치시킴으로써, 제1 가변 초점 렌즈(131)의 굴절력 부담을 경감시키고, 이에 따라 가상 이미지의 고해상도를 달성할 수 있다.
전술한 실시예는 프로세서(170)가 가상 이미지의 초점 거리, 사용자의 시력 정보 및 고정 굴절력 정보를 각각 메모리(160)로부터 로딩하고, 이로부터 제1 가변 초점 렌즈(131)의 제1 굴절력을 결정하는 경우를 예로 들어 설명하고 있으나, 이에 제한되는 것은 아니다. 특정 사용자에 대해 사용자의 시력 정보 및 고정 굴절력 정보는 이미 고정된 값이므로, 사용자의 시력 정보 및 고정 굴절력 정보는 하기의 수학식과 같이 미리 계산되어 메모리(160)에 미리 저장될 수 있다.
Figure pat00010
여기서, D수정은 수정 교정 필요 굴절력으로, 고정 굴절 렌즈의 굴절력이 반영된 교정 필요 굴절력으로 이해될 수 있다.
도 9는 일 실시예에 따른 증강 현실 장치의 동작을 설명하는 흐름도이다. 본 실시예는 수정 교정 필요 굴절력 D수정가 메모리(160)에 미리 저장된 경우이다. 도 9를 참조하면, 사용자의 시력을 반영하여 제1 및 제2 가변 초점 렌즈(131, 141)의 제1 및 제2 굴절력을 결정하기 위하여 프로세서(170)는 수정 교정 필요 굴절력 D수정과 가상 이미지의 초점 거리 정보 f를 메모리(160)로부터 로딩한다(S310).
다음으로, 제1 렌즈부(130)의 제1 가변 초점 렌즈(131)의 제1 굴절력은, 메모리(160)에서 수정 교정 필요 굴절력 D수정과 가상 이미지의 초점 거리를 읽어들인 후 하기의 수학식과 같이 결정할 수 있다(S320).
Figure pat00011
이와 같이 사용자의 시력 정보 및 고정 굴절력 정보를 미리 계산한 수정 교정 필요 굴절력을 이용함으로써, 메모리(160)에서 로딩하는 정보의 개수를 줄이고, 제1 굴절력 결정을 위한 연산을 좀 더 간략히 할 수 있다.
다음으로, 프로세서(170)는 수학식 2와 같이 가상 이미지의 초점 거리 정보에 기초하여 제2 가변 초점 렌즈(141)의 제2 굴절력을 결정한다(S330).
도 10은 일 실시예에 따른 증강 현실 장치(100)의 동작을 설명하는 도면이다.
이상 굴절을 갖는 사용자는 이상 굴절로 말미암아 교정 필요 굴절력을 필요로 한다. 한편, 증강 현실 장치(100)에 디스플레이되는 가상 이미지(가상 객체)(OV)는 자신의 속성에 맞는 초점 거리를 갖고 있다. 또는 가상 이미지(가상 객체)(OV)는 증강 현실 장치(100)에 미리 입력된 대표 거리를 초점 거리로 할 수 있다. 사용자가 증강 현실 장치(100)를 착용하고 가상 이미지(가상 객체)(OV)를 보고자 하면, 프로세서(170)는 도 8이나 도 9를 참조하여 설명한 바와 같이 제1 가변 초점 렌즈(131)의 제1 굴절력과 제2 가변 초점 렌즈(141)의 제2 굴절력을 결정하고, 결정된 제1 및 제2 굴절력 값에 상응하여 제1 및 제2 가변 초점 렌즈(131, 141)를 제어한다. 이 결과, 사용자는 이상 굴절을 가지고 있더라도 제1 렌즈부(130)에 의해 시력 교정을 할 수 있으며, 나아가 제1 렌즈부(130)에 의해 가상 이미지(가상 객체)(OV)를 무한 거리에서 초점 거리 f에서 볼 수 있게 되어, 가상 이미지(가상 객체)(OV)를 선명하면서도 자연스럽게 볼 수 있게 된다. 또한, 제2 렌즈부(140)의 제2 굴절력에 의해, 사용자는 현실 장면을 제1 렌즈부(130)에 의한 왜곡 없이 볼 수 있게 된다.
도 11은 일 실시예에 따른 증강 현실 장치(400)의 광학 부품들의 배치를 도시한 도면이다.
도 11을 참조하면, 본 실시예의 증강 현실 장치(400)는 광학 엔진(110), 웨이브가이드(120), 제1 렌즈부(430) 및 제2 렌즈부(140)를 포함한다. 본 실시예의 증강 현실 장치(400)는 제1 렌즈부(430)가 편광판(432)를 더 포함한다는 점을 제외하고는 전술한 실시예들과 동일하므로, 차이점을 중심으로 설명하기로 한다.
제1 렌즈부(430)는 제1 가변 초점 렌즈(131)와, 편광판(432)와, 고정 굴절 렌즈(133)를 포함한다. 일 실시예에서 편광판(432)은 제1 가변 초점 렌즈(131)와 고정 굴절 렌즈(133) 사이에 배치될 수 있다. 편광판(432)은 제1 편광의 광을 통과시키고 이에 직교하는 제2 편광의 광은 차단시키도록 구성될 수 있다. 이때 제1 편광은 선편광(예를 들어, p편광)일 수 있다. 제1 가변 초점 렌즈(131)는 액정 렌즈일 수 있다. 액정 렌즈는 복굴절 특성상 제1 편광(예를 들어, p편광)의 광과 상기 제1 편광에 직교하는 제2 편광(예를 들어 s편광)의 광에 대해 굴절률이 달라질 수 있다. 따라서 제1 가변 초점 렌즈(131)와 고정 굴절 렌즈(133) 사이에 편광판(432)을 배치함으로써, 제1 가변 초점 렌즈(131)을 통과한 광 중 굴절된 크기가 다른 광(즉, 노이즈)을 제거할 수 있다.
도 11은 편광판(432)이 제1 가변 초점 렌즈(131)와 고정 굴절 렌즈(133) 사이에 배치된 경우를 도시하고 있으나, 이에 제한되는 것은 아니다. 일 실시예에서 편광판(432)은 웨이브가이드(110)과 제1 가변 초점 렌즈(131) 사이에 배치될 수 있다. 즉, 웨이브가이드(110), 편광판(432), 제1 가변 초점 렌즈(131), 고정 굴절 렌즈(133)의 순으로 배치될 수 있다. 다른 예로서, 웨이브가이드(110), 고정 굴절 렌즈(133), 편광판(432), 제1 가변 초점 렌즈(131)의 순으로 배치되거나, 웨이브가이드(110), 편광판(432), 고정 굴절 렌즈(133), 제1 가변 초점 렌즈(131)의 순으로 배치될 수도 있다.
도 12는 일 실시예에 따른 증강 현실 장치의 광학 부품들의 배치를 도시한 도면이다.
도 12를 참조하면, 본 실시예의 증강 현실 장치(500)는 광학 엔진(110), 웨이브가이드(120), 제1 렌즈부(130) 및 제2 렌즈부(540)를 포함한다. 제1 렌즈부(130)는 제1 가변 초점 렌즈(131)와 제1 고정 굴절 렌즈(133)를 포함하며, 제2 렌즈부(540)는 제2 가변 초점 렌즈(141)와, 제2 고정 굴절 렌즈(543)를 포함한다. 일 실시예에서 제2 고정 굴절 렌즈(543)는 정(+)의 굴절력을 갖는 볼록 렌즈일 수 있다. 본 실시예는 제2 고정 굴절 렌즈(543)가 볼록 렌즈인 경우를 예로 들어 설명하고 있으나, 이에 제한되는 것은 아니다. 가령, 다른 예로서, 제2 고정 굴절 렌즈(543)는 정(+의 굴절력을 갖는 프레넬 렌즈, GRIN 렌즈, 메타 렌즈 등일 수도 있다. 본 실시예의 증강 현실 장치(500)는 제2 렌즈부(540)가 제2 고정 굴절 렌즈(543)을 더 포함한다는 점을 제외하고는 전술한 실시예들과 동일하다.
제2 렌즈부(540)가 제1 렌즈부(130)로 말미암은 현실 장면의 왜곡을 보상하기 위해 가져야 할 굴절력 D'2는 전술한 수학식 5와 같이 주어진다.
Figure pat00012
제2 렌즈부(540)의 굴절력 D'2는 제2 가변 초점 렌즈(141)의 제2 굴절력 D2와 제2 고정 굴절 렌즈(543)의 고정 굴절력 D고정2의 합으로 주어지므로, 제2 가변 초점 렌즈(141)의 굴절력 D2은 하기의 수학식 6으로 주어진다.
Figure pat00013
전술한 바와 같이 제2 렌즈부(540)는 제1 렌즈부(130)로 말미암은 현실 장면의 왜곡을 보상하는 것인데, 사용자의 시력등에 따라서는 제2 렌즈부(540)의 제2 가변 초점 렌즈(141)이 감당해야 할 제2 굴절력이 과도할 수 있다. 이에, 본 실시예는 제2 가변 초점 렌즈(141)에 요구되는 제2 굴절력을 제2 고정 굴절 렌즈(543)와 배분함으로써 제2 가변 초점 렌즈(141)의 부담을 경감시키고, 이에 따라 가상 이미지의 고해상도를 달성할 수 있다.
하기의 표 2는 시용자 시력에 따른 제1 가변 초점 렌즈(131)의 제1 굴절력 D1, 제2 가변 초점 렌즈(141)의 제2 굴절력 D2, 제1 고정 굴절 렌즈(133)(오목 렌즈)의 고정 굴절력 D고정1, 및 제2 고정 굴절 렌즈(543)(볼록 렌즈)의 고정 굴절력 D고정2을 예시적으로 보여준다.
구분 사용자 시력
(D교정)		 가상
초점
(f)		 제1 고정
굴절 렌즈
(D고정1)(-2D)		 제1 가변
초점 렌즈(D1)
(+3D~-3D)		 제2 고정
굴절 렌즈
(D고정2)(+1D)		 제2 가변 초점 렌즈(D2)
(+3D~-3D)
1 3D근시(-3D) 가상
@ 0.5m		 -2D -3D +1D +1D
2 2D근시(-2D) -2D -2D +1D +1D
3 1.5D근시(-1.5D) -2D -1.5D +1D +1D
4 1D근시(-1D) -2D -1D +1D +1D
5 3D근시(-3D) 가상
@ 0.7m		 -2D -2.5D +1D +0.5D
6 2D근시(-2D) -2D -1.5D +1D +0.5D
7 1.5D근시(-1.5D) -2D -1D +1D +0.5D
8 1D근시(-1D) -2D -0.5D +1D +0.5D
표 2의 구분 1은, 사용자의 교정 필요 굴절력 D교정은 -3D이고, 가상 이미지의 초점 거리(가상 초점) f는 0.5m이고, 제1 고정 굴절 렌즈(133)(오목 렌즈)의 고정 굴절력 D고정1은 -2D이고, 제2 고정 굴절 렌즈(543)(볼록 렌즈)의 고정 굴절력 D고정2이 +1D인 경우에 있어서, 제1 가변 초점 렌즈(131)의 제1 굴절력 D1이 -3D이고, 제2 가변 초점 렌즈(141)의 제2 굴절력 D2이 +1D를 갖도록 할 수 있다.
다른 예로, 구분 5는, 사용자의 교정 필요 굴절력 D교정은 -3D이고, 가상 이미지의 초점 거리(가상 초점) f는 0.7m이고, 제1 고정 굴절 렌즈(133)(오목 렌즈)의 고정 굴절력 D고정1은 -2D이고, 제2 고정 굴절 렌즈(543)(볼록 렌즈)의 고정 굴절력 D고정2이 +1D인 경우에 있어서, 제1 가변 초점 렌즈(131)의 제1 굴절력 D1이 -2.5D이고, 제2 가변 초점 렌즈(141)의 제2 굴절력 D2이 +0.5D를 갖도록 할 수 있다. 가상 이미지의 초점 거리 0.7m일 때,
Figure pat00014
은 통상적으로 1.5D로 간주하여 계산할 수 있다.
전체적으로 제1 렌즈부(130)의 제1 가변 초점 렌즈(131)의 제1 굴절력과 제1 고정 굴절 렌즈(133)의 고정 굴절력의 합과 제2 렌즈부(540)의 제2 가변 초점 렌즈(141)의 제2 굴절력과 제2 고정 굴절 렌즈(543)의 고정 굴절력의 합이 비대칭을 이룬다. 다시 말해, 제1 렌즈부(130)의 굴절력의 합의 절대치와 제2 렌즈부(540)의 굴절력의 합의 절대치는 같지 않게 된다.
도 13은 일 실시예에 따른 증강 현실 장치(600)의 블록도이다.
도 13을 참조하면, 본 실시예의 증강 현실 장치(600)는 광학 엔진(110)과 제1 가변 초점 렌즈(131)와 제2 가변 초점 렌즈(141)을 구비한 광학 시스템과 함께 사용자 입력부(150), 메모리(160), 프로세서(170) 및 시선 추적 센서(680)를 포함한다. 본 실시예의 증강 현실 장치(600)는 도 4를 참조하여 설명한 실시예의 증강 현실 장치(100)에서 시선 추적 센서(680)를 더 가지고 있다는 점을 제외하고는 실질적으로 동일하므로, 시선 추적 센서(680)가 더 마련됨에 따라 발생되는 차이점을 중심으로 설명하기로 한다.
시선 추적 센서(680)는 사용자의 눈의 시선 방향을 추적하는 장치로서, 사람의 눈동자나 동공의 이미지를 검출하거나, 근적외선등의 조명광이 각막에서 반사되는 방향 또는 광량을 검출함으로써, 사용자의 시선 방향을 검출할 수 있다. 이러한 시선 추적 센서(680)는 좌안용 시선 추적 센서와 우안 시선 추적 센서를 포함하며, 각기 사용자의 좌안의 시선 방향 및 사용자의 우안의 시선 방향을 검출할 수 있다. 사용자의 시선 방향을 검출하는 것은, 사용자의 시선에 관련된 시선 정보를 획득하는 동작을 포함할 수 있다.
도 14는 일 실시예에 따른 시선 추적 센서(680)를 도시한다. 도 14를 참조하면, 시선 추적 센서(680)는 적외선 조사부(681) 및 복수의 적외선 검출부(685a 내지 685f)를 포함할 수 있다. 도 14에서 복수의 적외선 검출부(685a 내지 685f)가 6개로 도시되어 있지만, 이는 설명의 편의를 위한 것이고, 복수의 적외선 검출부(685a 내지 685f)의 개수가 도시된 바와 같이 한정되는 것은 아니다.
적외선 조사부(681)는 눈(E)의 수정체가 위치하는 각막 부분에 적외선 광을 조사하고, 복수의 적외선 검출부(685a 내지 685f)는 각막으로부터 반사된 적외선 광을 검출할 수 있다. 일 실시예에서, 시선 추적 센서(680)는 복수의 적외선 검출부(685a 내지 685f) 각각에 의해 검출된 적외선의 광량에 관한 정보를 획득하고, 획득된 적외선의 광량에 기초하여 사용자의 눈(E)이 바라보는 시선 방향에 관한 정보를 획득할 수 있다. 시선 추적 센서(680)는 획득된 시선 방향에 관한 정보를 프로세서(170)에 제공할 수 있다. 예시적으로, 시선 추적 센서(680)는 획득된 시선 방향에 관한 정보는 좌안의 수평 및 수직 방향으로의 시선 각도 정보와, 우안의 수평 및 수직 방향으로의 시선 각도 정보일 수 있다.
본 실시예의 시선 추적 센서(680)는 적외선 조명광을 이용하는 IR 스캐너 방식을 예로 들어 설명하고 있으나, 이에 제한되는 것은 아니다. 다른 예로서, 시선 추적 센서(680)는 사람의 눈동자나 동공의 이미지를 촬영하는 이미지 센서를 포함할 수도 있다. 촬영된 사용자의 눈 영상에 기초하여, 좌안의 수평 및 수직 방향으로의 시선 각도 정보와, 우안의 수평 및 수직 방향으로의 시선 각도 정보 등이 검출될 수 있다.
다시 도 13을 참조하면, 일 실시 예에 따라, 시선 추적 센서(680)는 미리 정해진 시간 간격으로 증강 현실 장치(600)를 착용 중인 사용자의 눈을 센싱할 수 있다. 프로세서(170)는 시선 추적 센서(680)에서 검출된 좌안 및 우안 각각의 시선 방향에 관한 정보를 통해서, 사용자의 응시점을 연산하여 산출할 수 있다. 예시적으로, 사용자가 증강 현실 장치(100)가 디스플레이하는 가상 이미지와 함께 현실 장면의 객체를 볼 때, 프로세서(170)는 산출된 응시점에 기초하여 가상 이미지의 깊이(즉, 초점 거리)를 결정할 수 있다.
다음으로 도 15 내지 도 17을 참조하여, 시선 추적 센서(680)에 의해 측정되는 시선 방향에 대한 정보로부터 응시점을 산출하는 방법을 설명하기로 한다.
도 15는 사용자의 시선 방향에 대한 3차원 안구 모델을 도시한 도면이다.
도 15를 참조하면, 일 실시예에 따른 시선 방향의 추적은 시선에 대한 3차원 안구 모델을 토대로 이루어질 수 있다. 시선에 대한 3차원 안구 모델은 안구(eyeball)를 완벽한 구로 가정하고, 시선에 따라 안구가 이상적인 공간적으로 회전운동을 한다고 가정하면, 하기의 수학식과 같이 시선을 수학적으로 모델링할 수 있다.
Figure pat00015
Figure pat00016
Figure pat00017
Figure pat00018
수학식 7에서 d는 사용자의 눈의 중심(Eo)과 가상의 스크린(S) 사이의 거리를 나타내며, α는 사용자의 눈이 가상의 스크린(S)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 x축(수평축) 방향으로 회전한 각도를 나타내며, β는 사용자의 눈이 가상의 스크린(S)을 정면으로 응시하는 경우를 기준으로, 사용자의 눈이 y축(수직축) 방향으로 회전한 각도를 나타낸다. 또한, 수학식 8에서 r은 사용자의 눈을 구로 가정했을 때, 구의 반지름을 나타낸다.
일 실시예에 따른 시선 추적 센서(680)는 사용자의 눈(E)의 회전 정도(예를 들어, α 및 β)를 측정할 수 있고, 증강 현실 장치(500)는 사용자의 눈(E)의 회전 정도(α 및 β)를 이용하여, 가상의 스크린(S) 상에서의 사용자의 눈(E)의 시선 방향의 2차원 위치 좌표값(x, y)을 계산할 수 있다. 눈(E)의 회전 정도(α 및 β)는 눈(E)의 수평 및 수직 방향으로의 시선 각도 정보로 이해될 수 있다.
실제 눈의 움직임은 이상적인 3차원 회전운동을 하지 않으며, 특히 좌우 시선에서는 눈 근육의 이완/수축이 크게 작용하여 이상적인 3차원 회전 안구 모델을 기초로 좌우 시선에 대하여 상하 방향의 시선 추정 시 에러가 발생될 수 있다. 이러한 오차는 증강 현실 장치(600)가 사용자에게 랜덤한 지점을 바라보게 하고, 시선 추적 센서(680)를 통해 추정된 시선 방향 값을 해당 지점에 대한 실제 시선 방향 값과 비교하여 통계적으로 처리함으로써, 정확도를 개선시킬 수 있다.
도 16은 좌안 및 우안에서의 시선 각도와 응시점(gaze point)의 관계를 설명하는 도면이며, 도 17은 상방의 응시방향에서의 시선 각도와 응시점의 관계를 설명하는 도면이다.
도 16 및 도 17을 참조하면, 시선 추적 센서(680)를 통해 얻어진 양안의 시선 방향(또는 시선 좌표)의 차이를 통해 초점 거리를 추정할 수 있다. 응시점까지의 초점 거리를 구할 때 양안의 시선축이 만나지 않을 수도 있으며, 이러한 경우 두 눈이 같은 높이에 있다고 가정하고 수직축(y축)의 좌표는 두 눈의 수직축(y축) 좌표의 평균으로 계산할 수 있다. 양안 사이의 거리 a는 일 예로 7 cm로 가정할 수 있다. 위의 기하학적 가정을 통해 비례식을 이용하면 다음의 식을 얻을 수 있다.
Figure pat00019
상기 수학식 9에서 가상스크린까지의 거리 d와 눈 사이의 거리 a가 필요한데, 거리 d는 사용자가 정면 시선을 바라보는 시선 영상을 이용하여 안구의 회전 각도를 측정해 거리를 구할 수 있다. 이 결과, 응시점까지의 거리 D는 하기의 수학식으로 주어진다.
Figure pat00020
여기서, △x는 양안의 가상 스크린(S)에서의 시선 좌표의 수평 방향의 간격으로서, 앞서 수학식 7, 8에서 볼 수 있듯이 사용자의 좌안 및 우안 각각의 시선 각도를 통해서 획득할 수 있다.
도 18은 일 실시예에 따른 증강 현실 장치(600)의 동작을 설명하는 흐름도이다.
도 18을 참조하면, 사용자의 시력을 반영하여 제1 및 제2 가변 초점 렌즈(131, 141)의 제1 및 제2 굴절력을 결정하기 위하여 증강 현실 장치(600)는 가상 이미지의 초점 거리를 구한다.
먼저 증강 현실 장치(600)의 시선 추적 센서(680)는 사용자의 좌안의 시선 방향에 대한 정보 및 사용자의 우안의 시선 방향에 대한 정보를 획득한다(S710).
다음으로, 도 15 내지 도 17에서 설명한 예에서와 같이, 증강 현실 장치(600)의 프로세서(170)는 사용자의 좌안의 시선 방향에 대한 정보 및 사용자의 우안의 시선 방향에 대한 정보로부터 응시점에 대한 정보를 연산하여 구한다(S720).
다음으로, 프로세서(170)는 구해진 응시점에 기초하여 가상 이미지의 초점 거리를 결정한다(S730).
일 실시예에서, 사용자가 증강 현실 장치(100)가 디스플레이하는 가상 이미지와 함께 현실 장면을 볼 때, 사용자는 현실 장면에서 자신의 관심 주제인 현실 객체를 응시할 수 있으며, 가상 이미지(가상 객체)는 이러한 현실 객체와 같은 깊이에서 놓이는 것이 자연스러울 수 있다. 따라서, 사용자의 응시점까지의 깊이(즉, 사용자의 눈과 응시점 사이의 거리)와 유사한 깊이를 가상 이미지의 초점 거리로 설정할 수 있다. 여기서, 유사한 깊이라 함은 가상 이미지의 초점 거리가 사용자의 응시점까지의 깊이와 동일한 경우뿐만 아니라, 사용자가 자연스럽게 인식될 수 있는 범위내의 깊이까지 포괄하는 것을 의미한다. 가령, 현실 객체의 대략적인 크기 범위 내에서 가상 이미지의 초점 거리는 변경될 수 있을 것이다.
후술하는 바와 같이, 시선 추적 센서(680)에 의해 검출된 사용자의 응시점에 상응하는 깊이로 가상 이미지의 초점 거리를 정함으로써 사용자는 증강 현실 장치(100)가 디스플레이하는 가상 이미지와 함께 현실 장면을 자연스럽게 볼 수 있게 된다.
본 실시예는 단계 S720과 단계 S730을 구분하여 설명하고 있으나, 산출된 응시점까지의 거리를 가상 이미지의 초점 거리로 간주함으로써, 단계 S730은 실질적으로 생략될 수 있다.
한편, 프로세서(170)는 사용자의 시력 정보 및 고정 굴절력 정보를 메모리(160)로부터 로딩한다(S740). 단계 S740는 단계 S710 내지 단계 S730와 뒤바뀌거나 또는 동시에 진행할 수도 있다.
다음으로, 프로세서(170)는 가상 이미지의 초점 거리, 사용자의 시력 정보, 및 고정 굴절 렌즈(133)의 고정 굴절력 정보에 기초하여 제1 가변 초점 렌즈(131)의 제1 굴절력을 결정한다(S720). 가령, 제1 렌즈부(130)의 제1 가변 초점 렌즈(131)의 제1 굴절력은 전술한 수학식 1과 같이 결정될 수 있으며, 사용자에게 교정된 시력으로 가상 이미지를 자연스럽게 볼 수 있도록 한다.
본 실시예는 메모리(160)에 사용자의 시력 정보 및 고정 굴절력 정보가 미리 저장된 경우를 예로 들어 설명하고 있으나, 이에 제한되는 것은 아니다. 도 9를 참조하여 설명한 예에서와 같이, 사용자의 시력 정보 및 고정 굴절력 정보는 미리 연산되어 수정 교정 필요 굴절력와 같은 값으로 메모리(160)에 저장되어 있고, 프로세서(170)는 가상 이미지의 초점 거리와 수정 교정 필요 굴절력 정보에 기초하여 제1 가변 초점 렌즈(131)의 제1 굴절력을 결정할 수도 있을 것이다.
다음으로, 프로세서(170)는 가상 이미지의 초점 거리 정보에 기초하여 제2 렌즈부(140)의 제2 가변 초점 렌즈(141)의 제2 굴절력을 결정한다(S760). 제2 가변 초점 렌즈(141)의 제2 굴절력은 전술한 수학식 2와 같이 결정될 수 있으며, 제1 렌즈부(130)로 말미암은 현실 장면의 왜곡을 보상한다.
본 실시예에서 가상 이미지(가상 객체)는 2D뿐만 아니라 3D일 수 있다. 가령, 가상 이미지는 양안 시차에 의해 입체감을 줄 수 있다. 양안 시차를 이용하는 가상 이미지는 서로 다른 시점의 좌안 가상 이미지와 우안 가상 이미지를 생성하며, 이때 서로 다른 시점들은 사용자의 좌안에서 보는 시점과 우안에서 보는 시점일 수 있다. 따라서 가상 이미지가 단계 S730에서 결정된 초점 거리에 상응하는 양안 시차를 가지게 함으로써 사용자가 가상 이미지를 좀 더 자연스럽게 볼 수 있게 할 수도 있다.
도 19는 일 실시예에 따른 증강 현실 장치의 동작을 설명하는 도면이다.
사용자가 증강 현실 장치(100)를 착용한 상태로 상점에서 상품(현실 객체)(OR)를 볼 때, 증강 현실 장치(100)는 상품에 대한 정보를 가상 이미지(가상 객체)(OV)로 제공(즉, 디스플레이)할 수 있다. 즉, 사용자가 상품(현실 객체)(OR)을 응시하게 되면, 증강 현실 장치(100)의 시선 추적 센서(680)는 사용자의 시선을 추적하고, 프로세서(170)는 추적된 사용자의 시선 방향에 대한 정보로부터 응시점을 산출하고 이로부터 상품(현실 객체)(OR)까지의 거리를 가상 이미지(가상 객체)(OV)의 초점 거리 f로 결정할 수 있다. 프로세서(170)는 가상 이미지(가상 객체)(OV)의 초점 거리 f, 사용자의 시력 정보, 및 고정 굴절 렌즈(133)의 고정 굴절력 정보에 기초하여 제1 가변 초점 렌즈(131)의 제1 굴절력을 결정하고, 가상 이미지(가상 객체)(OV)의 초점 거리 f에 기초하여 제2 렌즈부(140)의 제2 가변 초점 렌즈(141)의 제2 굴절력을 결정하며, 결정된 제1 및 제2 굴절력 값에 상응하여 제1 및 제2 가변 초점 렌즈(131, 141)를 제어한다. 이 결과, 사용자는 이상 굴절을 가지고 있더라도 제1 렌즈부(130)에 의해 시력 교정을 할 수 있으며, 나아가 제1 렌즈부(130)에 의해 가상 이미지(가상 객체)(OV)를 무한 거리에서 상품(현실 객체)(OR)이 놓인 위치 근방으로 초점 거리 f를 당김으로써, 가상 이미지(가상 객체)(OV)를 선명하면서도 자연스럽게 볼 수 있게 된다. 또한, 제2 렌즈부(140)의 제2 굴절력에 의해, 사용자는 상품(현실 객체)(OR)을 제1 렌즈부(130)에 의한 왜곡 없이 볼 수 있게 된다.
도 20은 일 실시예에 따른 증강 현실 장치(800)의 블록도이다.
도 20을 참조하면, 증강 현실 디바이스(800)는 광학 엔진(110)과 제1 가변 초점 렌즈(131)와 제2 가변 초점 렌즈(141)을 구비한 광학 시스템과 함께 사용자 입력부(150), 메모리(160), 프로세서(170), 및 마이크(890)를 포함할 수 있다. 도 20에 도시된 구성 요소 중 도 4에 도시된 구성 요소와 동일한 참조번호를 갖는 구성 요소는 도 4에 도시된 구성 요소와 동일하므로, 중복되는 설명은 생략하기로 한다.
마이크(890)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(890)은 외부 디바이스 또는 화자로부터의 음향 신호를 수신할 수 있다. 마이크(890)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다. 마이크(890)는 증강 현실 장치(800)를 제어하기 위한 사용자의 음성 입력을 수신할 수 있다. 마이크(890)는 증강 현실 장치(800)를 통해 표시되는 문자(도 13의 602)를 읽는 사용자의 음성 입력을 수신할 수 있다.
도 21 내지 도 23을 참조하여, 사용자의 교정 필요 굴절력 획득을 위한 구체적인 동작의 일 예를 설명하기로 한다.
도 21은 일 실시예에 따른 증강 현실 장치(800)가 사용자의 음성 입력의 정답률이 낮은 경우에, 사용자의 교정 필요 굴절력 획득을 위한 동작을 수행하는 예시를 나타내는 도면이다.
도 14를 참조하면, 증강 현실 장치(800)는 시력 측정을 위한 초점 거리에 일정한 크기의 문자들을 순차적으로 표시하고, 표시된 문자들에 대한 사용자의 음성 입력을 수신할 수 있다. 예를 들어, 증강 현실 장치(800)는 시력 측정을 위한 초점 거리에 표시된 가상의 시력 측정판(801) 상의 상이한 위치들에 문자 'B'(812), 문자 '0'(814) 및 문자 'E'(816)를 순차적으로 표시할 수 있다. 이 경우, 시력 측정판(800) 상에 표시된 문자 'B'(812), 문자 'E'(814) 및 문자 'O'(816)는, 도 14에서와 같이, 시력이 좋지 않은 사용자에게는 심하게 흐릿하게 보일 수 있다. 이에 따라, 증강 현실 장치(800)는 문자 'B'(812)를 표시한 이후에, “안 보여요”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(800)는 문자 'E'(814)를 표시하고 “8입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(800)는 문자 'O'(816)을 표시하고 “6입니다”라는 사용자의 음성 입력을 수신할 수 있다.
증강 현실 장치(800)는 “안 보여요”라는 음성 입력을 식별하고, 문자 'O'와 문자'8'을 비교하고, 문자 'E'와 문자 '6'을 비교할 수 있다. 또한, 증강 현실 장치(800)는 비교 결과에 기초하여, 사용자의 음성 입력의 정답률이 0%임을 식별하고 제1 가변 초점 렌즈(131)의 굴절력을 '0D'에서 '-2D'로 변경할 수 있다.
도 22는 일 실시예에 따른 증강 현실 장치(800)가 사용자의 음성 입력의 정답률이 보통인 경우에, 사용자의 교정 필요 굴절력 획득을 위한 동작을 수행하는 예시를 나타내는 도면이다.
도 22를 참조하면, 증강 현실 장치(800)는 제1 가변 초점 렌즈(131)의 굴절력이 '-2D'로 변경된 이후에, 시력 측정을 위한 초점 거리에 일정한 크기의 문자들을 순차적으로 표시하고, 표시된 문자들에 대한 사용자의 음성 입력을 수신할 수 있다. 예를 들어, 증강 현실 장치(800)는 시력 측정을 위한 초점 거리에 표시된 가상의 시력 측정판(802) 상의 상이한 위치들에 문자 'B'(822), 문자 'E'(824) 및 문자 'O'(826)를 순차적으로 표시할 수 있다. 이 경우, 시력 측정판(802)은 시력 측정판(801)과 동일할 수 있다. 또한, 시력 측정판(802) 상에 표시된 문자 'B'(822), 문자 'E'(824) 및 문자 '0'(826)는, 도 15에서와 같이, 사용자에게 적당히 흐릿하게 보일 수 있다. 이에 따라, 증강 현실 장치(800)는 문자 'B'(822)를 표시한 이후에, “8입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(800)는 문자 'E'(824)를 표시하고 “6입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(800)는 문자 '0'(826)을 표시하고 “O입니다”라는 사용자의 음성 입력을 수신할 수 있다.
증강 현실 장치(800)는 문자 'B'와 음성 입력 '8'을 비교하고, 문자 'E'와 음성 입력 '6'을 비교하고, 문자 'O'와 음성 입력 '0'을 비교할 수 있다. 또한, 증강 현실 장치(800)는 비교 결과에 기초하여, 사용자의 음성 입력의 정답률이 33.3%임을 식별하고 제1 가변 초점 렌즈(131)의 굴절력을 “-2D”에서 “-3D”으로 변경할 수 있다.
도 23은 본 개시의 일 실시예에 따른 증강 현실 장치(800)가 사용자의 음성 입력의 정답률이 높은 경우에, 사용자의 교정 필요 굴절력 획득을 위한 동작을 수행하는 예시를 나타내는 도면이다.
도 23을 참조하면, 증강 현실 장치(800)는, 도 22에서와 같이 제1 가변 초점 렌즈(131)의 굴절력이 '-3D'으로 변경된 이후에, 시력 측정을 위한 초점 거리에 일정한 크기의 문자들을 순차적으로 표시하고, 표시된 문자들에 대한 사용자의 음성 입력을 수신할 수 있다. 예를 들어, 증강 현실 장치(800)는 시력 측정을 위한 초점 거리에 표시된 가상의 시력 측정판(803) 상의 상이한 위치들에 문자 'B'(832), 문자 'O'(834) 및 문자 'E'(836)를 순차적으로 표시할 수 있다. 이 경우, 시력 측정판(803)은 시력 측정판(801)과 동일할 수 있다. 또한, 시력 측정판(803) 상에 표시된 문자 'B'(832), 문자 'O'(834) 및 문자 'E'(836)는, 도 23에서와 같이, 사용자에게 선명하게 보일 수 있다. 증강 현실 장치(800)는 문자 'B'(832)를 표시한 이후에, “B입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(800)는 문자 'O'(834)를 표시하고 “O입니다”라는 사용자의 음성 입력을 수신할 수 있다. 또한, 그 이후에, 증강 현실 장치(800)는 문자 'E'(836)을 표시하고 “E입니다”라는 사용자의 음성 입력을 수신할 수 있다.
증강 현실 장치(800)는 문자 'B'와 음성 입력 'B'를 비교하고, 문자 'O'와 음성 입력 'O'를 비교하고, 문자 'E'와 음성 입력 'E'를 비교할 수 있다. 또한, 증강 현실 장치(800)는 비교 결과에 기초하여, 사용자의 음성 입력의 정답률이 100%임을 식별하고 제1 가변 초점 렌즈(131)의 현재 굴절력(즉, 제1 굴절력)으로부터 사용자의 교정 필요 굴절력 D교정이나 수정 교정 필요 굴절력 D수정을 하기의 수학식과 같이 환산할 수 있다.
Figure pat00021
Figure pat00022
여기서, D1C는 제1 가변 초점 렌즈(131)의 현재 굴절력을 나타내며, f는 가상 이미지의 초점 거리로서 본 실시예에서는 사용자의 눈으로부터 시력 측정판(801, 802, 803)까지의 거리를 나타낸다.
상기와 같이 결정된 사용자의 교정 필요 굴절력 D교정이나 수정 교정 필요 굴절력 D수정은 제1 및 제2 가변 초점 렌즈(131, 141)의 제1 및 제2 굴절력을 산출하기 위해 메모리(160)에 저장할 수 있다.
도 21 내지 도 23에서는 3개의 문자를 순차적으로 표시하고 이에 대한 사용자의 음성 입력들을 수신한 이후에 제1 가변 초점 렌즈(131)의 굴절력을 추가로 변경하는 것으로 설명되었지만, 표시되는 문자의 개수는 이에 제한되지 않는다. 예를 들어, 증강 현실 장치(800)는 1개의 문자를 표시하고 이에 대한 사용자의 음성 입력을 수신한 이후에, 사용자의 음성 입력의 정답 여부를 판단할 수 있다. 또한, 증강 현실 장치(800)는 사용자가 오답을 입력한 경우에, 제1 가변 초점 렌즈(131)의 굴절력을 변경할 수 있다.
또한, 도 21 및 도 22에서의 굴절력의 변경 정도와 상이하게 제1 가변 초점 렌즈(131)의 굴절력이 변경될 수 있다. 이 경우, 사용자의 정답률에 기초하여 제1 가변 초점 렌즈(131)의 굴절력을 어느 정도 변경할 지가 다양하게 설정될 수 있다. 예를 들어, 사용자의 정답률이 낮은 경우에, 증강 현실 장치(800)는 제1 가변 초점 렌즈(131)의 굴절력을 많이 변경함으로써 사용자의 시력 교정을 위한 굴절력의 변경 횟수를 줄일 수 있다. 예를 들어, 사용자의 정답률이 높은 경우에, 증강 현실 장치(800)는 제1 가변 초점 렌즈(131)의 굴절력을 적게 변경함으로써, 사용자의 시력을 세밀하게 교정할 수 있다.
도 24는 일 실시예에 따른 증강 현실 장치(800)의 동작을 설명하는 흐름도이다.
도 24를 참조하면, 사용자의 교정 필요 굴절력 획득을 위한 동작을 위하여, 시력 측정을 위한 초점 거리에 표시된 가상의 시력 측정판(801)에 먼저 기설정된 크기의 적어도 하나의 제1 문자를 광학 엔진(110)을 통해 출력하고, 적어도 하나의 제1 문자에 대한 사용자의 적어도 하나의 제1 음성 입력을 획득한다(S910). 다음으로, 적어도 하나의 제1 문자 및 적어도 하나의 제1 음성 입력을 비교한다(S920). 다음으로, 비교 결과에 기초하여, 제1 가변 초점 렌즈(131)의 제1 굴절력을 결정한다(S930). 다음으로, 결정된 제1 가변 초점 렌즈(131)의 제1 굴절력에 기초하여 상술한 수학식 11에서와 같이 사용자의 교정 필요 굴절력 D교정을 결정한다(S940). 물론, 결정된 제1 가변 초점 렌즈(131)의 제1 굴절력에 기초하여 상술한 수학식 12에서와 같이 수정 교정 필요 굴절력 D수정을 결정할 수도 있다.
도 20 내지 도 24를 참조한 실시예에서는 마이크(890)를 통한 사용자의 음성 입력을 수신하는 경우를 예로 들어 설명하고 있으나, 이에 제한되지 않는다. 예를 들어, 증강 현실 장치(800)는 사용자 입력부(150)을 통한 사용자의 터치 입력등을 통해서도 사용자의 문자 판독에 대한 정보를 입력받을 수 있을 것이다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.
또한, 컴퓨터에 의해 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장 매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장 매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
또한, 본 명세서에서, “a, b 또는 c 중 적어도 하나를 포함한다”는 “a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
전술한 본 발명인 증강 현실을 디스플레이하는 장치 및 방법은 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
100, 400, 500, 600: 증강 현실 표시 장치
101: 안경형 몸체 102: 프레임
110: 광학 엔진 120: 웨이브가이드
130, 430: 제1 렌즈부 131: 제1 가변 초점 렌즈
133: (제1) 고정 굴절 렌즈 140, 540: 제2 렌즈부
141: 제2 가변 초점 렌즈 150: 사용자 입력부
160: 메모리 170: 프로세서
190: 전자부품들 432: 편광판
543: 제2 고정 굴절 렌즈 680: 시선 추적 센서
801, 802, 803: 시력 측정판 890: 마이크
E: 눈(eye) f: 가상 이미지의 초점 거리
LV: 가상 이미지의 광 LR: 현실 장면의 광
OV: 가상 객체 OR: 현실 객체

Claims (27)

  1. 가상 이미지의 광을 출력하도록 구성된 광학 엔진;
    상기 가상 이미지의 광이 출력되고 현실 장면의 광이 투과되는 웨이브가이드;
    상기 웨이브가이드를 사이에 두고 배치되는 제1 렌즈부와 제2 렌즈부; 및
    프로세서;를 포함하며,
    상기 제1 렌즈부는 가상 이미지의 초점 조절과 사용자의 시력 교정을 수행하는 것으로서, 상기 프로세서에 의해 조절 가능한 제1 굴절력을 갖는 제1 가변 초점 렌즈와 고정 굴절력을 갖는 고정 굴절 렌즈를 포함하고,
    상기 제2 렌즈부는 상기 제1 렌즈부로 말미암은 현실 장면의 왜곡을 보상하는 것으로서, 상기 프로세서에 의해 조절 가능한 제2 굴절력을 갖는 제2 가변 초점 렌즈를 포함하며,
    상기 프로세서는 사용자의 시력 정보와, 상기 가상 이미지의 속성 깊이 정보와 상기 고정 굴절 렌즈의 고정 굴절력 정보에 기초하여 상기 제1 가변 초점 렌즈의 제1 굴절력을 결정하는,
    증강 현실을 디스플레이 하는 장치.
  2. 제1 항에 있어서,
    상기 제1 가변 초점 렌즈의 제1 굴절력은 수학식
    Figure pat00023
    에 의해 결정되는, 증강 현실을 디스플레이 하는 장치.
    여기서, D1은 상기 제1 가변 초점 렌즈의 제1 굴절력, D고정은 고정 굴절 렌즈의 고정 굴절력, D교정은 사용자의 굴절 이상의 교정하기 위한 교정 필요 굴절력, f는 가상 이미지의 초점 거리를 나타낸다.
  3. 제2 항에 있어서,
    고정 굴절 렌즈의 고정 굴절력 D고정, 사용자의 교정 필요 굴절력 D교정, 및 가상 이미지의 초점 거리 f가 저장된 메모리를 더 포함하는,
    상기 프로세서는 상기 메모리로부터 고정 굴절 렌즈의 고정 굴절력, 사용자의 교정 필요 굴절력 및 가상 이미지의 초점 거리 정보를 읽어들인 후 상기 제1 가변 초점 렌즈의 제1 굴절력 D1은
    Figure pat00024
    으로 연산하는,
    증강 현실을 디스플레이 하는 장치.
  4. 제2 항에 있어서,
    가상 이미지의 초점 거리 정보 f와, 고정 굴절 렌즈의 굴절력이 반영된 수정 교정 필요 굴절력 D수정이 저장된 메모리를 더 포함하는,
    상기 수정 교정 필요 굴절력 D수정은
    Figure pat00025
    으로 주어지며,
    상기 프로세서는 상기 메모리로부터 수정 교정 필요 굴절력 및 가상 이미지의 초점 거리 정보를 읽어들인 후 상기 제1 가변 초점 렌즈의 제1 굴절력 D1을
    Figure pat00026
    으로 연산하는,
    증강 현실을 디스플레이 하는 장치.
  5. 제1 항에 있어서,
    상기 제2 가변 초점 렌즈의 제2 굴절력 D2는 수학식
    Figure pat00027
    에 의해 결정되는,
    증강 현실을 디스플레이 하는 장치.
  6. 제1 항에 있어서,
    상기 고정 굴절 렌즈는 부(-)의 굴절력을 갖는 오목 렌즈인,
    증강 현실을 디스플레이 하는 장치.
  7. 제1 항에 있어서,
    상기 제1 및 제2 가변 초점 렌즈는 액정 렌즈인,
    증강 현실을 디스플레이 하는 장치.
  8. 제1 항에 있어서,
    상기 제2 가변 초점 렌즈는 상기 웨이브가이드와 상기 고정 굴절 렌즈 사이에 배치되며,
    상기 제1 가변 초점 렌즈와, 상기 웨이브가이드와, 상기 제2 가변 초점 렌즈는 적층 구조인,
    증강 현실을 디스플레이 하는 장치.
  9. 제1 항에 있어서,
    사용자의 시력 정보 및 가상 이미지의 초점 거리 중 적어도 어느 하나가 입력되는 사용자 입력부를 더 포함하는,
    증강 현실을 디스플레이 하는 장치.
  10. 제1 항에 있어서,
    상기 제1 렌즈부는 상기 고정 굴절 렌즈의 입사면 혹은 출사면에 배치된 편광판을 더 포함하는,
    증강 현실을 디스플레이 하는 장치.
  11. 제1 항에 있어서,
    상기 제2 렌즈부는 상기 제2 가변 초점 렌즈와 함께 상기 제1 렌즈부로 말미암은 현실 장면의 왜곡을 보상하는 제2 고정 굴절 렌즈를 더 포함하는,
    증강 현실을 디스플레이 하는 장치.
  12. 제11 항에 있어서,
    상기 제2 고정 굴절 렌즈는 정(+)의 굴절력을 갖는 볼록 렌즈인,
    증강 현실을 디스플레이 하는 장치.
  13. 제11 항에 있어서,
    상기 제2 가변 초점 렌즈의 제2 굴절력 D2은 수학식
    Figure pat00028
    에 의해 산출되며, 여기서 D고정2는 제2 고정 굴절 렌즈(543)의 고정 굴절력인,
    증강 현실을 디스플레이 하는 장치.
  14. 제1 항에 있어서,
    사용자의 시선 정보를 획득하도록 구성된 시선 추적 센서를 더 포함하는,
    증강 현실을 디스플레이 하는 장치.
  15. 제14 항에 있어서,
    상기 프로세서는 상기 시선 추적 센서에서 획득된 사용자의 시선 정보로부터 응시점을 산출하고, 산출된 응시점에 기초하여 가상 이미지의 초점 거리를 결정하는,
    증강 현실을 디스플레이 하는 장치.
  16. 제1 항에 있어서,
    상기 프로세서는,
    상기 광학 엔진을 제어하여, 미리 설정된 크기의 적어도 하나의 제1 문자를 출력하고;
    상기 적어도 하나의 제1 문자에 대한 사용자의 적어도 하나의 제1 입력을 획득하고,
    상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제1 입력을 비교하고,
    상기 비교 결과에 기초하여, 상기 제1 가변 초점 렌즈의 제1 굴절력을 결정하고,
    결정된 상기 제1 가변 초점 렌즈의 제1 굴절력에 기초하여 사용자의 교정 필요 굴절력을 결정하는,
    증강 현실을 디스플레이 하는 장치.
  17. 제16 항에 있어서,
    상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제2 문자는, 기설정된 교정 시력에 대응되는 크기를 가지며, 상기 사용자의 시력 측정을 위한 기설정된 깊이로 표시되는 것인,
    증강 현실을 디스플레이 하는 장치.
  18. 제1 항에 있어서,
    상기 장치는 안경형 장치인,
    증강 현실을 디스플레이 하는 장치.
  19. 가상 이미지의 광을 출력하도록 구성된 광학 엔진과, 상기 가상 이미지의 광이 출력되고 현실 장면의 광이 투과되는 웨이브가이드를 포함하는 증강 현실 장치의 증강 현실을 디스플레이 하는 방법에 있어서,
    상기 웨이브가이드를 사이에 두고 고정 굴절 렌즈와 제1 가변 초점 렌즈를 포함하는 제1 렌즈부와 제1 가변 초점 렌즈를 포함하는 제2 렌즈부를 배치하는 단계;
    상기 사용자의 시력 정보와, 상기 가상 이미지의 초점 거리 정보와 상기 고정 굴절 렌즈의 고정 굴절력에 기초하여 상기 제1 가변 초점 렌즈의 제1 굴절력을 산출하는 단계; 및
    상기 제1 렌즈부로 말미암은 현실 장면의 왜곡을 보상하도록 상기 제2 가변 초점 렌즈의 제2 굴절력을 산출하는 단계;를 포함하는,
    증강 현실을 디스플레이 하는 방법.
  20. 제19 항에 있어서,
    상기 제1 가변 초점 렌즈의 제1 굴절력을 산출하는 단계는,
    고정 굴절 렌즈의 고정 굴절력 D고정, 사용자의 교정 필요 굴절력 D교정, 및 가상 이미지의 초점 거리 f를 메모리로부터 읽어들이는 단계와,
    상기 제1 가변 초점 렌즈의 제1 굴절력 D1을
    Figure pat00029
    의 연산을 통해 산출하는,
    증강 현실을 디스플레이 하는 방법.
  21. 제19 항에 있어서,
    고정 굴절 렌즈의 굴절력이 반영된 수정 교정 필요 굴절력 D수정을
    Figure pat00030
    의 연산을 통해 산출하는 단계; 및
    산출된 수정 교정 필요 굴절력 D수정을 메모리에 저장하는 단계;를 더 포함하는
    증강 현실을 디스플레이 하는 방법.
  22. 제21 항에 있어서,
    상기 제1 가변 초점 렌즈의 제1 굴절력을 산출하는 단계는,
    상기 메모리로부터 수정 교정 필요 굴절력 D수정 및 가상 이미지의 초점 거리 정보 f를 읽어들인 후 상기 제1 가변 초점 렌즈의 제1 굴절력 D1을
    Figure pat00031
    의 연산을 통해 산출하는,
    증강 현실을 디스플레이 하는 방법.
  23. 제19 항에 있어서,
    상기 제2 가변 초점 렌즈의 제2 굴절력 D2을 수학식
    Figure pat00032
    에 의해 산출하는,
    증강 현실을 디스플레이 하는 방법.
  24. 제19 항에 있어서,
    상기 제2 렌즈부에 상기 제2 가변 초점 렌즈와 함께 상기 제1 렌즈부로 말미암은 현실 장면의 왜곡을 보상하는 제2 고정 굴절 렌즈를 더 배치하고,
    상기 제2 가변 초점 렌즈의 제2 굴절력 D2을 수학식
    Figure pat00033
    에 의해 산출하며, 여기서 D고정2는 제2 고정 굴절 렌즈(543)의 고정 굴절력인,
    증강 현실을 디스플레이 하는 방법.
  25. 제19 항에 있어서,
    시선 추적 센서를 이용하여 사용자의 시선 정보를 획득하는 단계를 더 포함하는,
    증강 현실을 디스플레이 하는 방법.
  26. 제25 항에 있어서,
    획득된 상기 사용자의 시선 정보로부터 응시점을 산출하는 단계; 및
    산출된 상기 응시점에 기초하여 가상 이미지의 초점 거리를 결정하는 단계;를 더 포함하는,
    증강 현실을 디스플레이 하는 방법.
  27. 제19 항에 있어서,
    상기 광학 엔진을 제어하여, 미리 설정된 크기의 적어도 하나의 제1 문자를 상기 광학 엔진을 통해 출력하고;
    상기 적어도 하나의 제1 문자에 대한 사용자의 적어도 하나의 제1 입력을 획득하고,
    상기 적어도 하나의 제1 문자 및 상기 적어도 하나의 제1 입력을 비교하고,
    상기 비교 결과에 기초하여, 상기 제1 가변 초점 렌즈의 제1 굴절력을 결정하는,
    증강 현실을 디스플레이 하는 방법.
KR1020200124748A 2020-06-03 2020-09-25 증강 현실을 디스플레이하는 장치 및 방법 KR20210150250A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2021/006876 WO2021246777A1 (en) 2020-06-03 2021-06-02 Device and method for displaying augmented reality
US17/338,181 US12072494B2 (en) 2020-06-03 2021-06-03 Device and method for displaying augmented reality

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200067317 2020-06-03
KR20200067317 2020-06-03

Publications (1)

Publication Number Publication Date
KR20210150250A true KR20210150250A (ko) 2021-12-10

Family

ID=78865503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200124748A KR20210150250A (ko) 2020-06-03 2020-09-25 증강 현실을 디스플레이하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210150250A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024186470A1 (en) * 2023-03-08 2024-09-12 Apple Inc. User interfaces for adjusting a tunable lens

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024186470A1 (en) * 2023-03-08 2024-09-12 Apple Inc. User interfaces for adjusting a tunable lens

Similar Documents

Publication Publication Date Title
US12072494B2 (en) Device and method for displaying augmented reality
US11256098B2 (en) Electronic device and method for displaying augmented reality
US10319154B1 (en) Methods, systems, and computer readable media for dynamic vision correction for in-focus viewing of real and virtual objects
KR102289923B1 (ko) 알바레즈 렌즈를 사용하여 초점면들을 생성하기 위한 방법들 및 시스템
US8118427B2 (en) Method for optimizing and/or manufacturing eyeglass lenses
US11150476B2 (en) Method for providing a display unit for an electronic information device
CN109922707B (zh) 用于确定显示装置的使用者的眼睛参数的方法
US20170295353A1 (en) Compensating 3d stereoscopic imagery
US11221479B2 (en) Varifocal optical assembly providing astigmatism compensation
KR20210004776A (ko) 증강 현실을 디스플레이하는 장치 및 방법
US20210240036A1 (en) Optical system using segmented phase profile liquid crystal lenses
US10545344B2 (en) Stereoscopic display with reduced accommodation fatique
CN111328380B (zh) 头戴式显示器以及头戴式显示器中使用的广焦点透镜的设计方法
US11598964B2 (en) Freeform varifocal optical assembly
CN114365027A (zh) 显示具有景深的物体的系统与方法
CN108693645A (zh) 虚拟实境显示装置
US20230176401A1 (en) Device and method for correcting user's vision and performing calibration
KR20210150250A (ko) 증강 현실을 디스플레이하는 장치 및 방법
EP4338656A1 (en) Apparatus and method for visual acuity measurement using varifocal lens
CN109963145B (zh) 视觉显示系统及方法，以及头戴显示装置
WO2019138515A1 (ja) 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
CN112946895B (zh) 头戴式显示装置
Padmanaban Enabling Gaze-Contingent Accommodation in Presbyopia Correction and Near-Eye Displays
KR20230017099A (ko) 가변초점렌즈를 이용하여 시력을 측정하는 장치 및 방법
KR20220170336A (ko) 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법