KR102038379B1 - 초점 조정 가상 현실 헤드셋 - Google Patents

초점 조정 가상 현실 헤드셋 Download PDF

Info

Publication number
KR102038379B1
KR102038379B1 KR1020197006745A KR20197006745A KR102038379B1 KR 102038379 B1 KR102038379 B1 KR 102038379B1 KR 1020197006745 A KR1020197006745 A KR 1020197006745A KR 20197006745 A KR20197006745 A KR 20197006745A KR 102038379 B1 KR102038379 B1 KR 102038379B1
Authority
KR
South Korea
Prior art keywords
user
optical block
depth
virtual scene
eye
Prior art date
Application number
KR1020197006745A
Other languages
English (en)
Other versions
KR20190027950A (ko
Inventor
더글라스 로버트 란맨
라이언 마이클 에벌트
알렉산더 조브 픽스
윌리엄 애런 니콜스
마이클 션 모우니어
로버트 데일 캐빈
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20190027950A publication Critical patent/KR20190027950A/ko
Application granted granted Critical
Publication of KR102038379B1 publication Critical patent/KR102038379B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상 현실 헤드셋은 3차원(3D) 가상 장면을 디스플레이하고 사용자가 보고 있는 장면의 장소에 기반하여 가상 현실 헤드셋에 포함된 광학 블록의 초점 거리를 동적으로 조정하기 위하여 가변 초점 요소를 포함한다. 헤드셋은 사용자의 안구를 추적하여 시선을 근사하고 시선의 교차로 가상 장면의 프레임에 대한 초점 면을 결정한다. 가변 초점 요소는 광학 블록의 초점 거리를 조정하여 광학 블록이 초점면에 포커싱되는데, 버전스 및 조절이 변화함에 따라 사용자의 눈이 편안 영역에 있도록 유지한다. 초점면에 기반하여, 가상 현실 헤드셋은 사용자의 시야에서 초점면보다 깊은 가상 장면의 면에 필드 블러의 깊이와 같은 깊이 큐를 제공할 수 있다.

Description

초점 조정 가상 현실 헤드셋 {Focus Adjusting Virtual Reality Headset}
본 명세서는 일반적으로 전자 디스플레이로부터의 이미지 향상에 관한 것이고, 구체적으로 이미지를 향상시키기 위하여 광학계의 초점 거리를 변화시키는 것에 관한 것이다.
가상 현실(VR) 헤드셋은 가상 환경을 시뮬레이션할 수 있다. 예를 들어, 입체 영상이 헤드셋 내부의 전자 디스플레이 상에 디스플레이되어 깊이의 환상을 시뮬레이션할 수 있고 머리 추적 센서는 가상 환경의 어떤 부분이 사용자에게 보여지고 있는지를 추정하는데 사용될 수 있다. 하지만, 이러한 시뮬레이션은 기존의 헤드셋이 올바르게 렌더링하거나 버전스(vergence) 및 조절 충돌(accommodation conflict)를 보상하지 못함으로 인한 시각적 피로 및 메스꺼움을 야기할 수 있다.
가상 현실 헤드셋은 가상 현실 헤드셋에 의해 표시되는 사용자가 보는 가상 장면 내의 위치에 기반하여 자동으로 그 초점을 조정한다. 3차원(3D) 가상 장면은 가상 현실 헤드셋의 전자 디스플레이 요소(예컨대, 스크린) 상에 표시되고 전자 디스플레이 요소로부터의 이미지 광을 사용자의 눈으로 유도하는 광학 블록의 초점 거리는 가변 초점 요소(예컨대, 기계적으로 광학 블록의 렌즈 시스템과 전자 디스플레이 요소 간의 거리를 변경시키는 요소, 광학 블록의 렌즈 시스템의 하나 이상의 렌즈의 형상을 변경시키는 요소 등)를 사용하여 사용자가 보고 있는 가상 장면 내의 위치나 객체에 기반하여 조정된다. 예를 들어, 가상 현실 헤드셋은 사용자의 눈을 추적하여 시선을 근사하고 버전스 깊이를 포함하는 시선점을 추정된 시선의 교차점으로 결정한다. 시선점은 가상 현실 헤드셋에 의해 사용자에게 표시되는 가상 장면의 특정 프레임에 대한 객체나 초점면을 식별한다.
시선점은 종종 교차하지 않고 사용자의 눈의 위치나 자리에 기반한 근사이고, 시선으로부터 추정된 시선점의 버전스 깊이는 가상 현실 헤드셋에 의해 표시되는 가상 장면에 대한 기하학적 데이터를 사용하여 더 정제 또는 필터링될 수 있다. 사용자의 머리와 눈의 위치에 기반하여, 가상 현실 헤드셋은 가상 현실 헤드셋에 의해 표시되는 사용자가 보고 있는 가상 장면 내의 위치나 객체를 식별한다. 사용자가 보고 있는 가상 장면 내의 위치나 객체 및 가상 장면에 대한 기하학적 데이터(즉, 가상 장면 내의 객체 간의 가상 거리)에 기반하여, 가상 현실 헤드셋은 추정된 버전스 깊이 및 시선점을 보정한다.
다양한 실시예에서, 가변 초점 요소는 광학 블록의 초점 거리를 조정하여 시선점에 대한 보정된 추정 버전스 깊이에서 광학 블록의 초점을 맞추어 버전스 및 조절(accommodation)이 변화함에 따라 사용자의 눈이 편안 영역에 있도록 유지한다. 나아가, 보정된 추정 버전스 깊이의 주어진 객체나 초점면에서, 가상 현실 헤드셋은 깊이 큐를 제공하기 위하여 가상 장면을 렌더링할 때 객체나 초점면에 기반하여 동적으로 필드 블러의 깊이를 추가할 수 있다.
본 발명에 따른 실시예들은 특히 방법, 저장 매체, 시스템 및 컴퓨터 프로그램 제품에 대한 첨부된 청구항에 개시되고, 한 청구항 카테고리, 예컨대 방법에 언급된 임의의 특징은 다른 청구항 카테고리, 예컨대 시스템에도 청구될 수 있다. 첨부된 청구항의 인용 또는 참조는 형식상의 이유를 위해 선택되었을 뿐이다. 하지만 임의의 선행 청구항으로의 의도적인 참조(특히 다중 인용)에서 야기되는 임의의 주제 또한 청구될 수 있어, 청구항 및 그 특징의 임의의 조합이 첨부된 청구항에서 선택된 인용에 관계 없이 개시되고 청구될 수 있다. 청구될 수 있는 주제는 첨부된 청구항에 나타난 바와 같은 특징의 조합뿐만 아니라 청구항의 특징의 다른 임의의 조합을 포함하는데, 청구항에 언급된 각 특징은 청구항의 임의의 다른 특징 또는 다른 특징의 조합과 조합될 수 있다. 나아가, 임의의 실시예와 본 명세서에 서술되거나 도시된 특징은 별개의 청구항 및/또는 임의의 실시예나 본 명세서에 서술되거나 도시된 특징과의 또는 첨부된 청구항의 임의의 특징과의 조합에 청구될 수 있다.
본 발명에 따른 일실시예에서, 가상 현실(VR) 헤드셋은:
적어도 하나의 프로세서;
VR 헤드셋을 착용하는 사용자에게 가상 장면을 디스플레이하도록 구성되는 전자 디스플레이 요소;
전자 디스플레이 요소로부터 VR 헤드셋의 사출 동공으로 광을 유도하도록 구성되는 광학 블록;
이미지 캡처 요소를 포함하는 안구 추적 시스템;
명령어를 포함하는 메모리; 및
버전스 깊이에 적어도 부분적으로 기반하여 광학 블록의 초점 거리를 변화시키도록 구성되는 가변 초점 작동 블록을 포함하고,
안구 추적 시스템은 사용자의 각 눈의 안구 위치 및 사용자의 각 눈에 대한 시선을 결정하도록 구성되고,
명령어는 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금:
사용자의 각 눈에 대한 시선의 추정된 교차에 기반하여 사용자에 대한 버전스 깊이를 결정하도록 야기할 수 있다.
가변 초점 작동 블록은 광학 블록과 전자 디스플레이 요소 간의 거리를 변화시킴으로써 광학 블록의 초점 거리를 변화시키도록 구성될 수 있다.
가변 초점 작동 블록은 광학 블록에 포함되는 렌즈의 형상 또는 광 경로 길이를 변화시킴으로써 광학 블록의 초점 거리를 변화시키도록 구성될 수 있다.
광학 블록의 렌즈의 형상 또는 광 경로 길이를 변화시키는 것은 형상 변화 폴리머 렌즈, 액체 렌즈와 전기습윤법, 알바레즈-로만 렌즈, 변형 가능한 멤브레인 미러, 액정(전기 활성) 렌즈, 상 전용 SLM(spatial light modulator) 및 그 임의의 조합으로 구성되는 그룹에서 선택되는 적어도 하나를 사용하는 것을 포함할 수 있다.
메모리는 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금:
가상 장면의 프레임에 대하여, 가상 장면의 이전에 표시된 하나 이상의 프레임에서의 광학 블록의 상태에 기반하여 광학 블록의 상태를 결정하고;
프레임에 대한 광학 블록의 상태에 기반하여, 프레임에 대한 광학 블록의 결정된 상태에 의해 도입되는 광학 오차를 보정하기 위하여 가상 장면의 프레임에 대한 왜곡 보정 맵을 결정하고; 및
프레임에 대한 광학 블록의 결정된 상태에 의해 도입되는 광학 오차를 보정하기 위하여 가상 장면의 프레임에 대한 왜곡 보정 맵을 적용하여 전자 디스플레이 요소 상에 가상 장면의 프레임을 디스플레이하도록 야기하는 명령어를 더 포함할 수 있고,
광학 블록의 각 상태는 광학 블록의 상태에 의해 도입되는 광학 오차를 보정하는 왜곡 보정 맵과 연관된다.
본 발명에 따른 일실시예에서, VR 헤드셋은 VR 헤드셋의 위치 및 방향을 결정하도록 구성되는 하나 이상의 위치 센서를 포함하는 머리 위치 추적 시스템을 더 포함할 수 있고, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 사용자의 각 눈에 대한 시선의 추정된 교차에 기반하여 사용자에 대한 버전스 깊이를 결정하도록 야기하는 명령어는 적어도 하나의 프로세서로 하여금:
VR 헤드셋의 위치 및 방향에 기반하여 사용자가 보고 있는 가상 장면의 부분을 결정하고; 및
버전스 깊이와 사용자가 보고 있는 가상 장면의 부분 내의 거리를 식별하는 장면 기하학 데이터의 비교에 기반하여 필터링된 버전스 깊이를 생성하도록 야기할 수 있다.
가변 초점 동작 블록은 필터링된 버전스 깊이에 적어도 부분적으로 기반하여 광학 블록의 초점 길이를 변화시키도록 구성될 수 있다.
본 발명에 따른 일실시예에서, 헤드셋은:
적어도 하나의 프로세서;
가상 장면을 디스플레이하도록 구성되는 전자 디스플레이;
전자 디스플레이로부터 VR 헤드셋의 사출 동공으로 광을 유도하도록 구성되는 광학 블록;
사용자의 각 눈에 대한 안구 위치, 사용자의 각 눈에 대한 시선 및 시선의 교차에 대응하는 버전스 깊이를 결정하도록 구성되는 안구 추적 시스템;
버전스 깊이에 적어도 부분적으로 기반하여 광학 블록의 초점 거리를 변화시키도록 구성되는 가변 초점 작동 블록을 포함할 수 있다.
본 발명에 따른 일실시예에서, 헤드셋은:
VR 헤드셋의 위치 및 방향을 결정하도록 구성되는 하나 이상의 위치 센서를 포함하는 머리 위치 추적 시스템; 및
명령어를 포함하는 메모리를 더 포함할 수 있고, 명령어는 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금:
VR 헤드셋의 위치 및 방향에 기반하여 사용자가 보고 있는 가상 장면의 부분을 결정하고; 및
버전스 깊이와 사용자가 보고 있는 가상 장면의 부분 내의 거리를 식별하는 장면 기하학 데이터의 비교에 기반하여 필터링된 버전스 깊이를 생성하도록 야기할 수 있다.
가변 초점 동작 블록은 필터링된 버전스 깊이에 적어도 부분적으로 기반하여 광학 블록의 초점 길이를 변화시키도록 구성될 수 있다.
가변 초점 작동 블록은 광학 블록과 전자 디스플레이 간의 거리를 변화시킴으로써 광학 블록의 초점 거리를 변화시키도록 구성될 수 있다.
가변 초점 작동 블록은 광학 블록에 포함되는 렌즈의 형상 또는 광 경로 길이를 변화시킴으로써 광학 블록의 초점 거리를 변화시키도록 구성될 수 있다.
광학 블록의 렌즈의 형상 또는 광 경로 길이를 변화시키는 것은 형상 변화 폴리머 렌즈, 액체 렌즈와 전기습윤법, 알바레즈-로만 렌즈, 변형 가능한 멤브레인 미러, 액정(전기 활성) 렌즈, 상 전용 SLM(spatial light modulator) 및 그 임의의 조합으로 구성되는 그룹에서 선택되는 적어도 하나를 사용하는 것을 포함할 수 있다.
본 발명에 따른 일실시예에서, 헤드셋은 명령어를 포함하는 메모리를 더 포함할 수 있고, 명령어는 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금:
가상 장면의 프레임에 대하여, 가상 장면의 이전에 표시된 하나 이상의 프레임에서의 광학 블록의 상태에 기반하여 광학 블록의 상태를 결정하고;
프레임에 대한 광학 블록의 상태에 기반하여, 프레임에 대한 광학 블록의 결정된 상태에 의해 도입되는 광학 오차를 보정하기 위하여 가상 장면의 프레임에 대한 왜곡 보정 맵을 결정하고; 및
프레임에 대한 광학 블록의 결정된 상태에 의해 도입되는 광학 오차를 보정하기 위하여 가상 장면의 프레임에 대한 왜곡 보정 맵을 적용하여 전자 디스플레이 요소 상에 가상 장면의 프레임을 디스플레이하도록 야기할 수 있고,
광학 블록의 각 상태는 광학 블록의 상태에 의해 도입되는 광학 오차를 보정하는 왜곡 보정 맵과 연관된다.
메모리는 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금:
각 눈의 결정된 안구 위치에 대하여, 각 눈과 광학 블록 사이의 거리 또는 광학 블록에 대한 각 눈의 위치 중 적어도 하나를 결정하도록 더 야기할 수 있는 명령어를 포함할 수 있고,
광학 블록의 각 상태는 광학 블록의 초점 거리 및 각 눈과 광학 블록 사이의 거리 또는 광학 블록에 대한 각 눈의 위치 중 적어도 하나와 연관되고,
각 왜곡 보정 맵은 각 눈과 광학 블록 사이의 거리 또는 광학 블록에 대한 각 눈의 위치 중 적어도 하나에 의해 도입되는 광학 오차를 더 보정한다.
본 발명에 따른 일실시예에서, 방법은:
광학 블록을 통하여 가상 장면을 표시하는 전자 디스플레이 요소로부터 가상 현실 헤드셋의 사출 동공으로 광을 유도하는 가상 현실 헤드셋을 통하여 사용자에게 가상 장면을 디스플레이하는 단계;
가상 현실 헤드셋에 포함된 안구 추적 시스템에 의해 캡처된 사용자의 각 눈의 이미지를 통하여 사용자의 각 눈에 대한 안구 위치 및 사용자의 각 눈에 대한 시선을 결정하는 단계;
사용자의 각 눈에 대한 시선의 추정된 교차 및 사용자의 각 눈의 안구 위치에 기반하여 사용자에 대한 버전스 깊이를 결정하는 단계; 및
사용자의 결정된 버전스 깊이에 적어도 부분적으로 기반하여 전자 디스플레이 요소로부터 가상 현실 헤드셋의 사출 동공으로 광을 유도하는 광학 블록의 초점 거리를 조정하는 단계를 포함할 수 있다.
사용자의 결정된 버전스 깊이에 적어도 부분적으로 기반하여 전자 디스플레이 요소로부터 가상 현실 헤드셋의 사출 동공으로 광을 유도하는 광학 블록의 초점 거리를 조정하는 단계는:
결정된 버전스 깊이를 조절하기 위하여 광학 블록 및 전자 디스플레이 요소 간의 거리를 변경하는 단계를 포함할 수 있다.
사용자의 결정된 버전스 깊이에 적어도 부분적으로 기반하여 전자 디스플레이 요소로부터 가상 현실 헤드셋의 사출 동공으로 광을 유도하는 광학 블록의 초점 거리를 조정하는 단계는:
결정된 버전스 깊이를 조절하기 위하여 광학 블록에 포함된 하나 이상의 렌즈의 형상을 변경하는 단계를 포함할 수 있다.
사용자의 결정된 버전스 깊이에 적어도 부분적으로 기반하여 전자 디스플레이 요소로부터 가상 현실 헤드셋의 사출 동공으로 광을 유도하는 광학 블록의 초점 거리를 조정하는 단계는:
가상 현실 헤드셋의 위치 및 방향을 결정하는 단계;
가상 현실 헤드셋의 위치 및 방향에 기반하여 사용자가 보고 있는 가상 장면의 부분을 결정하는 단계;
버전스 깊이와 사용자가 보고 있는 가상 장면의 부분 내의 거리를 식별하는 장면 기하학 데이터의 비교에 기반하여 필터링된 버전스 깊이를 생성하는 단계; 및
필터링된 버전스 깊이에 적어도 부분적으로 기반하여 전자 디스플레이 요소로부터 가상 현실 헤드셋의 사출 동공으로 광을 유도하는 광학 블록의 초점 거리를 조정하는 단계를 포함할 수 있다.
본 발명에 따른 일실시예에서, 방법은:
가상 장면의 프레임에 대하여, 가상 장면의 이전에 표시된 하나 이상의 프레임에서의 광학 블록의 상태에 기반하여 광학 블록의 상태를 결정하는 단계;
프레임에 대한 광학 블록의 상태에 기반하여, 프레임에 대한 광학 블록의 결정된 상태에 의해 도입되는 광학 오차를 보정하기 위하여 가상 장면의 프레임에 대한 왜곡 보정 맵을 결정하는 단계; 및
프레임에 대한 광학 블록의 결정된 상태에 의해 도입되는 광학 오차를 보정하기 위하여 가상 장면의 프레임에 대한 왜곡 보정 맵을 적용하여 전자 디스플레이 요소 상에 가상 장면의 프레임을 디스플레이하는 단계를 더 포함할 수 있고,
광학 블록의 각 상태는 광학 블록의 상태에 의해 도입되는 광학 오차를 보정하는 왜곡 보정 맵과 연관된다.
본 발명에 따른 다른 실시예로, 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체는 본 발명 또는 상술한 실시예들 중 임의의 것에 따른 방법을 수행하도록 실행시 동작가능한 소프트웨어를 포함한다.
본 발명에 따른 추가 실시예로, 시스템은 하나 이상의 프로세서; 및 프로세서에 결합되며 프로세서에 의해 실행가능한 명령어들을 포함하는 적어도 하나의 메모리를 포함하며, 상기 프로세서는 명령어들을 실행시 본 발명 또는 상술한 실시예들 중 임의의 것에 따른 방법을 수행하도록 동작가능하다.
본 발명에 따른 다른 실시예로, 바람직하게는 컴퓨터-판독가능한 비-일시적 저장 매체를 포함하는 컴퓨터 프로그램 제품이 데이터 처리 시스템에서 실행시 본 발명 또는 상술한 실시예들 중 임의의 것에 따른 방법을 수행하도록 동작가능하다.
본 발명의 내용 중에 포함되어 있다.
도 1은 적어도 하나의 실시예에 따른 가상 현실 시스템의 예시를 도시한다.
도 2는 적어도 하나의 실시예에 따른 가상 현실 헤드셋의 다이어그램을 도시한다.
도 3은 적어도 하나의 실시예에 따른 가상 현실 헤드셋을 도시한다.
도 4는 적어도 하나의 실시예에 따른 가상 현실 헤드셋의 광학 블록의 초점 거리를 조정함으로써 버전스-조절 충돌을 완화하기 위한 프로세스의 예시를 도시한다.
도 5는 적어도 하나의 실시예에 따른 안구 위치 추적을 위한 카메라를 포함하는 가상 현실 헤드셋의 단면도를 도시한다.
도 6은 적어도 하나의 실시예에 따른 장면 기하학에 기반하여 버전스 깊이를 필터링하기 위한 프로세스의 예시를 도시한다.
도 7a는 실제 세계에서 버전스 및 안구 초점 거리 간의 관계를 도시한다.
도 7b는 3차원 디스플레이에서 버전스 및 안구 초점 거리 간의 충돌을 도시한다.
도 8a와 8b는 적어도 하나의 실시예에 따른 가변 초점 요소를 사용하여 디스플레이 스크린과 광학 블록 사이의 거리를 변화시킴으로써 가상 현실 헤드셋의 광학 블록의 초점 거리를 조정하기 위한 프로세스의 예시를 도시한다.
도 9a와 9b는 적어도 하나의 실시예에 따른 가변 초점 요소를 사용하여 가상 현실 헤드셋의 광학 블록의 형상 또는 광 경로 길이를 변경함으로써 초점 거리를 조정하기 위한 프로세스의 예시를 도시한다.
도면들은 단지 예로서 본 발명의 다양한 실시예들을 도시한다. 통상의 기술자는 이하의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.
시스템 개요
도 1은 VR 콘솔(150)이 동작하는 가상 현실(VR) 시스템 환경이다. 이 예시에서, VR 시스템은 각각 VR 콘솔(150)과 연결된 VR 헤드셋(100), 이미징 장치(160) 및 VR 입력 인터페이스(170)를 포함한다. 도 1이 단일 VR 헤드셋(100), 단일 이미징 장치(160) 및 단일 VR 입력 인터페이스(170)를 도시하지만, 다른 실시예에서 임의의 수의 이들 컴포넌트가 시스템에 포함될 수 있다. 예컨대, 각각 연관되는 VR 입력 인터페이스(170)를 갖고 하나 이상의 이미징 장치(160)에 의해 모니터링되는 다수의 VR 헤드셋(100)이 있을 수 있고, VR 헤드셋(100), VR 입력 인터페이스(170), 및 이미징 장치(160) 각각은 VR 콘솔(150)과 통신한다. 대안적 구성으로, 상이한 컴포넌트 및/또는 추가 컴포넌트는 시스템 환경에 포함될 수 있다.
VR 헤드셋(100)은 사용자에게 컨텐츠를 표시하는 헤드 마운트 디스플레이(HMD)이다. 컨텐츠의 예시는 이미지, 비디오, 오디오 또는 이들의 일부 조합을 포함한다. 오디오 컨텐츠는 VR 헤드셋(100), VR 콘솔(150) 또는 모두로부터 오디오 정보를 수신하는 VR 헤드셋(100) 외부의 별개 장치(예컨대, 스피커 및/또는 헤드폰)를 통해 제시될 수 있다. VR 헤드셋(100)은 전자 디스플레이(102), 광학 블록(104), 가변 초점 작동 블록(106), 초점 예측 모듈(108), 안구 추적 모듈(110), 버전스 프로세싱 모듈(112), 하나 이상의 로케이터(114), 관성 측정 유닛(IMU)(116), 머리 추적 센서(118) 및 장면 렌더링 모듈(120)을 포함한다.
광학 블록(104)은 사용자에 의한 열람을 위하여 전자 디스플레이(102)로부터의 광을 예컨대 조리개, 프레넬 렌즈, 볼록 렌즈, 오목 렌즈, 필터 등 및 상이한 광학 요소의 조합을 포함할 수 있는 하나 이상의 광학 요소를 사용하여 사출 동공으로 유도한다. 일부 실시예에서, 광학 블록(104)의 하나 이상의 광학 요소는 하나 이상의 코팅, 예컨대 반사 방지 코팅을 가질 수 있다. 광학 블록(104)에 의한 이미지 광의 확대는 전자 디스플레이(102)가 큰 디스플레이보다 물리적으로 작고, 가볍고, 더 적은 전력을 소비할 수 있게 한다. 나아가, 이미지 광의 확대는 디스플레이되는 컨텐츠의 시야를 증가시킬 수 있다. 예를 들어, 디스플레이되는 컨텐츠의 시야는 디스플레이되는 컨텐츠가 사용자의 시야의 거의 전부(예컨대, 대각선으로 150도), 그리고 일부 경우 전부를 사용하여 표시되도록 한다.
광학 블록(104)은 하나 이상의 광학 오차를 보정하도록 설계될 수 있다. 광학 오차의 예시는: 배럴 왜곡, 핀쿠션 왜곡, 축방향 색수차, 횡방향 색수차, 구면 수차, 코마 수차, 상면 만곡, 난시 등을 포함한다. 일부 실시예에서, 디스플레이를 위해 전자 디스플레이(102)에 제공되는 컨텐츠는 사전 왜곡되고, 광학 블록(104)은 컨텐츠에 기반하여 생성된 전자 디스플레이(102)로부터의 이미지 광을 수신할 때 왜곡을 보정한다.
가변 초점 작동 블록(106)은 광학 블록(104)이 VR 헤드셋(100)의 초점 거리(또는 광 배율(power))을 변화시켜 버전스 및 조절이 변화함에 따라 사용자의 눈이 편안 영역에 있도록 유지하게 야기하는 가변 초점 요소를 포함한다. 일실시예에서, 가변 초점 작동 블록(106)은 전자 디스플레이(102)나 광학 블록(104)(또는 모두)를 이동시킴으로써 전자 디스플레이(102)와 광학 블록(104) 간의 거리를 물리적으로 변화시킨다. 대안적으로, 가변 초점 작동 블록(106)은 하나 이상의 렌즈의 하나 이상의 속성을 조정함으로써 광학 블록(104)의 초점 거리를 변화시킨다. 가변 초점 동작 블록에 의해 조정되는 렌즈의 속성의 예시는: 광 경로 길이, 렌즈 매체의 굴절률, 렌즈의 형상 등을 포함한다. 예를 들어, 가변 초점 작동 블록(106)은 형상 변화 폴리머 렌즈, 액체 렌즈의 전기습윤법, 알바레즈-로만 렌즈, 변형 가능한 멤브레인 미러, 액정(전기 활성) 렌즈, 상 전용 SLM(spatial light modulator) 또는 임의의 다른 적절한 컴포넌트를 사용하여 하나 이상의 렌즈의 초점 거리를 변경할 수 있다. 나아가, 서로에 대해 두 렌즈를 이동 또는 병진 운동시키는 것도 VR 헤드셋(100)의 초점 거리를 변경하는데 사용될 수 있다. 따라서, 가변 초점 작동 블록(106)은 트랙 상에서 전자 디스플레이(102) 및/또는 광학 블록(104)를 이동시키는 액추에이터나 모터를 포함하여 그들 간의 거리를 변경할 수 있거나 광학 블록(104)에 포함된 하나 이상의 렌즈의 속성을 변경하기 위한 다른 컴포넌트나 메커니즘을 포함할 수 있다. 가변 초점 작동 블록(106)은 다양한 실시예에서 광학 블록(104)과 분리되거나 통합될 수 있다.
광학 블록(104)의 각 상태는 안구 추적 모듈(110)의 초점 거리 또는 초점 거리 및 광학 블록(104)에 대한 안구 위치(자세히 후술되는 바와 같이)의 조합에 대응한다. 동작시, 광학 블록(104)은 광학 블록(104)의 1000개의 상태에 대응하는 약 1000개의 초점 거리의 입상도에서 ~5μm의 위치 정확도로 ~5mm의 범위에서 이동할 수 있다. 임의의 수의 상태가 제공될 수 있지만, 제한된 수의 상태가 사람의 안구의 감도를 수용할 수 있어, 일부 실시예가 더 적은 초점 거리를 포함할 수 있게 한다. 예를 들어, 제1 상태가 이론적으로 무한대 미터의 초점 거리(0 디옵터)에 대응하고, 제2 상태가 2.0미터의 초점 거리(0.5 디옵터)에 대응하고, 제3 상태가 1.0미터의 초점 거리(1 디옵터)에 대응하고, 제4 상태가 0.5미터의 초점 거리(1 디옵터)에 대응하고, 제5 상태가 0.333미터의 초점 거리(3 디옵터)에 대응하고, 제6 상태가 0.250미터의 초점 거리(4 디옵터)에 대응한다. 따라서, 가변 초점 작동 블록(106)은 광학 블록(104)의 상태를 설정 및 변경하여 원하는 초점 거리를 달성한다.
초점 예측 모듈(108)은 광학 블록(104)의 하나 이상의 미래의 상태나 위치를 예측하기 위하여 광학 블록(104)의 상태를 추적하는 로직을 포함하는 인코더이다. 예를 들어, 초점 예측 모듈(108)은 광학 블록(104)의 이전 상태에 대응하는 이력 정보를 누적하고 이전 상태에 기반하여 광학 블록(104)의 미래 상태를 예측한다. VR 헤드셋(100)에 의한 가상 장면의 렌더링이 광학 블록(104)의 상태에 기반하여 조정되기 때문에, 예측된 상태는 장면 렌더링 모듈(120)이 자세히 후술되는 바와 같이 특정 프레임에 대한 가상 장면에 적용할 조정을 결정할 수 있게 한다. 따라서, 초점 예측 모듈(108)은 장면 렌더링 모듈(120)과 프레임에 대한 광학 블록(104)의 예측된 상태를 서술하는 정보를 통신한다. 장면 렌더링 모듈(120)에 의해 수행되는 광학 블록(104)의 상이한 상태에 대한 조정은 보다 자세히 후술된다.
안구 추적 모듈(110)은 VR 헤드셋(100)의 사용자의 안구 위치 및 안구 운동을 추적한다. VR 헤드셋(100) 내부의 카메라나 다른 광학 센서는 사용자의 안구의 이미지 정보를 캡처하고, 안구 추적 모듈(110)은 캡처된 정보를 사용하여 눈동자간 거리, 눈 사이의 거리, VR 헤드셋(100)에 대한 각 눈의 3차원(3D) 위치(예컨대, 왜곡 조정의 목적을 위하여), 비틀림과 회전(즉, 롤, 피치 및 요우)의 크기 포함 및 각 눈의 시선 방향을 결정한다. 일례로, 적외선 광이 VR 헤드셋(100) 내부에서 발광되고 각 눈에서 반사된다. 반사된 광은 카메라에 의해 수신 또는 감지되고 분석되어 각 눈에 의해 반사된 적외선 광의 변화로부터 안구 회전을 추출한다. 사용자의 안구 추적을 위한 많은 방법이 안구 추적 모듈(110)에 의해 사용될 수 있다. 따라서, 안구 추적 모듈(110)은 각 눈의 6 자유도(즉, 3D 위치, 롤, 피치 및 요우)를 추적할 수 있고 추적된 양의 적어도 서브셋이 사용자의 두 눈으로부터 조합되어 시선점(즉, 가상 장면에서 사용자가 보고 있는 3D 위치나 자리)을 추정할 수 있다. 예를 들어, 안구 추적 모듈(110)은 과거의 측정, 사용자의 머리의 위치를 식별하는 측정 및 전자 디스플레이(102)에 의해 표시되는 장면을 서술하는 3D 정보로부터 정보를 통합한다. 따라서, 사용자의 안구의 위치 및 방향에 대한 정보가 VR 헤드셋(100)에 의해 표시되는 가상 장면에서 사용자가 보고 있는 시선점을 결정하기 위해 사용된다.
나아가, 동공과 광학 블록(104) 사이의 거리는 상이한 방향으로 보기 위해 안구가 움직임에 따라 변화한다. 보는 방향이 변화함에 따라 동공과 광학 블록(104) 사이의 거리가 변화하는 것을 “동공 수영(pupil swim)”으로 지칭하고 동공과 광학 블록(104) 사이의 거리에 따라 상이한 위치에 광이 포커싱되는 결과로 사용자에 의해 인지되는 왜곡에 기여한다. 따라서, 광학 블록(104)에 대해 상이한 안구 위치와 동공 거리의 왜곡을 측정하는 것과 상이한 위치 및 거리에 대해 왜곡 보정을 생성하는 것은 사용자의 안구의 3D 위치를 추적하고 주어진 시점에 사용자의 안구 각각의 3D 위치에 대응하는 왜곡 보정을 적용함으로써 “동공 수영”으로 인한 왜곡의 완화를 가능하게 한다. 따라서, 사용자의 안구 각각의 3D 위치를 아는 것은 각 3D 안구 위치에 대해 왜곡 보정을 적용함으로써 안구의 동공과 광학 블록(104) 사이의 거리의 변화로 인한 왜곡의 완화를 가능하게 한다.
버전스 프로세싱 모듈(112)은 안구 추적 모듈(110)에 의해 결정되는 시선점 또는 시선의 추정된 교차에 기반하여 사용자의 시선의 버전스 깊이를 결정한다. 버전스는 단일 양안시를 유지하기 위하여 양안이 반대 방향의 동시 운동 또는 회전하는 것인데, 인간의 눈에 의하여 자연스럽고 자동으로 수행되는 것이다. 따라서, 사용자의 안구가 버전스하는 위치는 사용자가 보고 있는 곳이며 일반적으로 사용자의 안구가 포커싱되는 위치이다. 예를 들어, 버전스 프로세싱 모듈(112)은 시선의 교차와 연관된 사용자로부터의 거리나 깊이를 추정하기 위하여 시선을 삼각 측량한다. 그리고 시선의 교차와 연관된 깊이는 조절 거리에 대한 근사로 사용될 수 있는데, 사용자의 눈이 향하는 곳의 사용자로부터의 거리를 식별한다. 따라서, 버전스 거리는 사용자의 눈이 포커싱되어야 하는 위치 및 사용자의 눈으로부터 눈이 포커싱된 곳의 깊이의 결정을 가능하게 하고, 이로써 가상 장면의 조정을 렌더링하기 위한 정보, 예컨대 객체나 초점면을 제공한다.
일부 실시예에서, 결정된 버전스 깊이에서 안구에 대한 조절을 제공하지 않고, 조절은 파면 센서, 예컨대 샤크-하트만 웨이브프론트 센서에 의해 직접 결정될 수 있고, 따라서 광학 블록(104)의 상태는 버전스 또는 조절 깊이 및 각 순의 3D 위치의 함수일 수 있어, 광학 블록(104)은 전자 디스플레이(102)에 의해 표시되는 장면에서 장면을 보는 사용자를 위하여 객체에 초점을 맞춘다. 나아가, 버전스 및 조절 정보는 광학 블록(104)을 포커싱하고 필드 블러의 합성 심도를 렌더링하기 위하여 조합될 수 있다.
로케이터(locator, 114)는 서로에 대하여 그리고 VR 헤드셋(100) 상의 특정 기준점에 대하여 VR 헤드셋(100) 상의 특정 위치들에 위치하는 물체이다. 로케이터(114)는 발광 다이오드(LED), 코너 튜브 반사기, 반사 마커, VR 헤드셋(100)이 동작하는 환경과 대조되는 광원 타입, 또는 이들의 임의의 조합일 수 있다. 능동 로케이터(114)(즉, LED나 다른 타입의 발광 장치)는 가시 대역(~380nm 내지 750nm), 적외선(IR) 대역(~750nm 내지 1mm), 자외선 대역(10nm 내지 380nm), 전자기 스펙트럼의 일부 다른 부분 또는 그 일부 조합에서 광을 방출할 수 있다.
로케이터(114)는, 로케이터(114)에 의해 방출되거나 반사된 광의 파장에 대해 투명하거나 로케이터(114)에 의해 방출되거나 반사된 광의 파장을 실질적으로 감쇠하지 않도록 충분히 얇게 되도록 VR 헤드셋(100)의 외부 표면 아래에 위치할 수 있다. 나아가, VR 헤드셋(100)의 외부 표면 또는 다른 부분은 광의 파장의 가시선 대역에서 불투명할 수 있다. 따라서, 로케이터(114)는 IR 대역에서 투명하지만 가시광 대역에서 불투명한, VR 헤드셋(100)의 외부 표면 아래에서의 IR 대역의 광을 방출할 수 있다.
IMU(116)는 하나 이상의 머리 추적 센서(118)로부터 수신된 측정 신호에 기반하여 캘리브레이션 데이터를 생성하는 전자 장치인데, VR 헤드셋(100)의 움직임에 응답하여 하나 이상의 측정 신호를 생성한다. 머리 추적 센서(118)의 예시는: 가속도계 자이로스코프, 자력계, 운동을 감지하거나 또는 IMU(116)와 연관된 오차 보정 또는 그 임의의 조합에 적합한 다른 센서를 포함한다. 머리 추적 센서(118)는 IMU(116)의 외부, IMU(116)의 내부, 또는 이들의 임의의 조합에 위치할 수 있다.
머리 추적 센서(118)로부터의 측정 신호에 기반하여, IMU(116)는 VR 헤드셋(100)의 초기 위치에 상대적인 VR 헤드셋(100)의 추정된 위치를 표시하는 고속 캘리브레이션 데이터를 생성한다. 예컨대, 머리 추적 센서(118)는 병진 운동(전/후, 상/하, 좌/우)을 측정하는 다수의 가속도계 및 회전 운동(예컨대, 피치, 요우(yaw), 롤(roll))을 측정하는 다수의 자이로스코프를 포함한다. 예를 들어, IMU(116)는 빠르게 측정 신호를 샘플링하고 샘플링된 데이터로부터 VR 헤드셋(100)의 추정된 위치를 계산한다. 예컨대, IMU(116)는 속도 벡터를 추정하기 위해 가속도계로부터 수신된 측정 신호를 시간에 대해 적분하고, VR 헤드셋(100) 상의 기준점의 추정 위치를 결정하기 위해 속도 벡터를 시간에 대해 적분한다. 기준점은 VR 헤드셋(100)의 위치를 기술하는데 사용될 수 있는 포인트이다. 기준점은 일반적으로 공간에서의 한 지점으로 정의될 수 있고, 다양한 실시예에서, 기준점은 VR 헤드셋(100) 내의 지점(예를 들어, IMU(130)의 중심)으로 정의된다. 대안으로, IMU(116)는 고속 캘리브레이션 데이터를 결정하는 VR 콘솔(150)로 샘플링된 측정 신호를 제공한다.
IMU(116)는 추가적으로 VR 콘솔(150)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다. 더 후술되는 바와 같이, 하나 이상의 캘리브레이션 파라미터는 VR 헤드셋(100)의 추적을 유지하는데 사용된다. 수신된 캘리브레이션 파라미터에 기반하여, IMU(116)는 하나 이상의 IMU 파라미터(예컨대, 샘플링 속도)를 조정할 수 있다. 일부 실시예로, 특정 캘리브레이션 파라미터는 IMU(116)로 하여금 기준점의 초기 위치를 업데이트하도록 하여서 기준점의 다음 캘리브레이션된 위치에 대응하도록 한다. 기준점의 다음 캘리브레이션된 위치로 기준점의 초기 위치를 업데이트하는 것은 추정 위치를 결정하는 것과 연관되는 누적 오차를 감소시키는데 도움을 준다. 드리프트 오차로도 지칭되는 누적 오차는 기준점의 추정 위치가 시간에 걸쳐 기준점의 실제 위치로부터 멀리 "표류(drift)"하도록 야기한다.
장면 렌더링 모듈(120)은 VR 엔진(156)으로부터 가상 장면을 위한 컨텐츠를 수신하고 전자 디스플레이(102) 상에 디스플레하기 위하여 컨텐츠를 제공한다. 나아가, 장면 렌더링 모듈(120)은 초점 예측 모듈(108), 버전스 프로세싱 모듈(112), IMU(116) 및 머리 추적 센서(118)로부터의 정보에 기반하여 컨텐츠를 조정할 수 있다. 예를 들어, VR 엔진(156)으로부터 컨텐츠를 수신할 때, 장면 렌더링 모듈(120)은 광학 블록(104)의 예측된 상태에 의해 야기된 왜곡을 보상 또는 보정하기 위하여 보정이나 사전 왜곡을 가상 장면의 렌더링에 더함으로써 초점 예측 모듈(108)로부터 수신한 광학 블록(104)의 예측된 상태(즉, 안구 위치 및 초점 거리)에 기반하여 컨텐츠를 조정한다. 장면 렌더링 모듈(120)은 또한 버전스 프로세싱 모듈(112)로부터 수신하거나 사용자의 안구의 측정된 속성(예컨대, 안구의 3D 위치 등)사용자의 시선, 버전스 깊이(또는 조절 깊이)에 기반하여 필드 블러의 깊이를 더할 수 있다. 나아가, 장면 렌더링 모듈(120)은 후술되는 바와 같이 추적 모듈(154), 머리 추적 센서(118) 또는 IMU(116) 중 하나 이상에 기반하여 전자 디스플레이(102)에 디스플레이되는 컨텐츠의 일부를 결정한다.
이미징 장치(160)는 VR 콘솔(150)로부터 수신된 캘리브레이션 파라미터에 따라 저속 캘리브레이션 데이터를 생성한다. 저속 캘리브레이션 데이터는 이미징 장치(160)에 의해 감지 가능한 로케이터(114)의 관측된 위지를 보여주는 하나 이상의 이미지를 포함한다. 이미징 장치(160)는 하나 이상의 카메라, 하나 이상의 비디오 카메라, 하나 이상의 로케이터(114)를 포함하는 이미지를 캡처할 수 있는 다른 장치, 또는 이들의 임의의 조합을 포함할 수 있다. 추가로, 이미징 장치(160)는 (예컨대, 신호-대-노이즈 비율을 증가시키기 위한) 하나 이상의 필터를 포함할 수 있다. 이미징 장치(160)는 이미징 장치(160)의 시야 내에서 로케이터(114)로부터 방출되거나 반사된 광을 감지하도록 구성된다. 로케이터(114)가 수동 소자(예컨대, 역반사기(retroreflector))를 포함하는 실시예에서, 이미징 장치(160)는 이미징 장치(160)에서 광원을 향해 광을 역반사하는, 로케이터(114)의 일부 또는 전부를 조명하는 광원을 포함할 수 있다. 저속 캘리브레이션 데이터는 이미징 장치(160)로부터 VR 콘솔(150)로 통신되고, 이미징 장치(160)는 하나 이상의 이미징 파라미터(예컨대, 초점 길이, 초점, 프레임 레이트, ISO, 센서 온도, 셔터 속도, 조리개 등)를 조정하기 위해 VR 콘솔(150)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다.
VR 입력 인터페이스(170)는 VR 콘솔(150)로 행위 요청을 사용자가 전송하도록 허용하는 장치이다. 행위 요청은 특정 행위를 수행하기 위한 요청이다. 예컨대, 행위 요청은 애플리케이션을 시작 또는 종료하거나 애플리케이션 내의 특정 행위를 수행하는 것일 수 있다. VR 입력 인터페이스(170)는 하나 이상의 입력 장치를 포함할 수 있다. 예시적인 입력 장치는 키보드, 마우스, 게임 컨트롤러, 행위 요청을 수신하고 수신된 행위 요청을 VR 콘솔(150)로 통신하기 위한 임의의 다른 적절한 장치를 포함한다. VR 입력 인터페이스(170)에 의해 수신된 행위 요청은 행위 요청에 대응하는 행위를 수행하는 VR 콘솔(150)로 통신된다. 일부 실시예에서, VR 입력 인터페이스(170)는 VR 콘솔(150)로부터 수신된 명령에 따라 햅틱 피드백을 사용자에게 제공할 수 있다. 예컨대, 햅틱 피드백은 행위 요청이 수신될 때 VR 입력 인터페이스(170)에 의해 제공되거나, VR 콘솔(150)은 VR 콘솔(150)이 행위를 수행할 때 VR 입력 인터페이스(170)가 햅틱 피드백을 생성하도록 야기하는 명령어를 VR 입력 인터페이스(170)로 통신한다.
VR 콘솔(150)은 이미징 장치(160), VR 헤드셋(100), 및 VR 입력 인터페이스(170) 중 하나 이상으로부터 수신된 정보에 따라 사용자에게 제시하기 위해 VR 헤드셋(100)으로 컨텐츠를 제공한다. 도 1에 도시된 예시에서, VR 콘솔(150)은 애플리케이션 스토어(152), 추적 모듈(154), 및 가상 현실(VR) 엔진(156)을 포함한다. VR 콘솔(150)의 일부 실시예는 도 1과 함께 기술된 것들과는 상이하거나 추가적인 모듈을 가진다. 유사하게, 이하에서 추가로 기술되는 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 VR 콘솔(150)의 컴포넌트들 사이에 분산될 수 있다.
애플리케이션 스토어(152)는 VR 콘솔(150)에 의한 실행을 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서에 의해 실행시 사용자에게 제시하기 위한 컨텐츠를 생성하는 명령어들의 그룹이다. 애플리케이션에 의해 생성된 컨텐츠는 VR 헤드셋(100) 또는 VR 인터페이스 장치(170)의 움직임을 통해 사용자로부터 수신된 입력에 응답할 수 있다. 애플리케이션의 예시는: 게임 애플리케이션, 컨퍼런스 애플리케이션, 비디오 재생 애플리케이션, 또는 다른 적절한 애플리케이션을 포함한다.
추적 모듈(154)은 하나 이상의 캘리브레이션 파라미터를 사용하여 VR 시스템을 캘리브레이션하고, VR 헤드셋(100)의 위치 결정에 있어서의 오차를 감소시키기 위해 하나 이상의 캘리브레이션 파라미터를 조정할 수 있다. 예컨대, 추적 모듈(154)은 VR 헤드셋(100) 상의 관측된 로케이터(114)에 대한 더 정확한 위치를 획득하기 위해 이미징 장치(160)의 초점을 조정한다. 또한, 추적 모듈(154)에 의해 수행되는 캘리브레이션은 IMU(116)로부터 수신된 정보를 감안한다. 추가로, VR 헤드셋(100)의 추적이 손실된다면(예컨대, 이미징 장치(160)가 적어도 임계 수의 로케이터(114)에 대한 시야를 손실한다면), 추적 모듈(154)은 VR 시스템 컴포넌트의 일부 또는 전부를 다시 캘리브레이션한다.
나아가, 추적 모듈(154)은 이미징 장치(160)로부터의 저속 캘리브레이션 정보를 사용하여 VR 헤드셋(100)의 움직임을 추적하고 저속 캘리브레이션 정보 및 VR 헤드셋(100)의 모델로부터의 관측된 로케이터를 사용하여 VR 헤드셋(100)의 상의 기준점의 위치를 결정한다. 추적 모듈(154)은 또한, VR 헤드셋(100) 상의 IMU(116)로부터의 고속 캘리브레이션 정보로부터의 위치 정보를 사용하여 VR 헤드셋(100)의 기준점의 위치를 결정한다. 추가로, 추적 모듈(154)은 고속 캘리브레이션 정보, 저속 캘리브레이션 정보, 또는 이들의 일부 조합의 부분들을 사용하여 VR 헤드셋(100)의 미래의 위치를 예측할 수 있는데, VR 엔진(156)으로 제공된다.
VR 엔진(156)은 VR 시스템 내에서 애플리케이션을 실행하고, 추적 모듈(154)로부터 VR 헤드셋(100)의 위치 정보, 가속도 정보, 속도 정보, 예측된 미래 위치, 또는 이들의 임의의 조합을 수신한다. 수신된 정보에 기반하여, VR 엔진(156)은 사용자에게 제시하기 위해 VR 헤드셋(100)으로 제공하기 위한 컨텐츠, 예컨대 가상 장면을 결정한다. 예컨대, 수신된 정보가 사용자가 좌측을 보았다고 표시한다면, VR 엔진(156)은 가상 현실에서 사용자의 움직임을 미러링 또는 추적하는 VR 헤드셋(100)을 위한 컨텐츠를 생성한다. 추가로, VR 엔진(156)은 VR 입력 인터페이스(170)로부터 수신된 행위 요청에 응답하여 VR 콘솔(150) 상에서 실행되는 애플리케이션 내에서 행위를 수행하고 행위가 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 VR 헤드셋(100)을 통한 시각적 또는 청각적 피드백이거나 VR 입력 인터페이스(170)를 통한 햅틱 피드백일 수 있다.
도 2는 적어도 하나의 실시예에 따른 VR 헤드셋(100)의 다이어그램이다. 이 예시에서, VR 헤드셋(100)은 전방 강체 및 사용자의 머리를 둘러싸는 밴드를 포함한다. 전방 강체는 전자 디스플레이(102), IMU(116), 머리 추적 센서(118) 및 로케이터(114)에 대응하는 하나 이상의 전자 디스플레이 요소를 포함한다. 이 예시에서, 머리 추적 센서(118)는 IMU(116) 내에 위치한다.
로케이터(114)는 서로에 대해 그리고 기준점(200)에 대하여 전방 강체 상의 고정된 위치에 위치한다. 이 예시에서, 기준점(200)은 IMU(116)의 중심에 위치한다. 각 로케이터(114)는 이미징 장치(160)가 감지할 수 있는 광을 방출한다. 로케이터(114), 또는 로케이터(114)의 부분은 도 2의 예시에서 전방 강체의 전방 측면, 상부 측면, 하부 측면, 우측 측면, 좌측 측면에 위치한다. 도 3은 광학 블록(104)의 외부 렌즈가 보이는 VR 헤드셋(300)을 바라보는 후면 사시도를 도시한다. 이 예시에서, 로케이터(114)가 상술한 바와 같이 이미징 장치(160)에 의한 감지를 위하여 VR 헤드셋(300)의 표면 상에 보이고 제공된다.
초점 조정 방법
도 4는 가상 현실(VR) 헤드셋(100)의 광학 블록(104)의 초점 거리를 조정함으로써 버전스-조절 충돌을 완화하기 위한 프로세스(400)의 실시예를 도시한다. 상술한 바와 같이, 가변 초점 시스템은 동적으로 그 초점을 변화시켜 VR 헤드셋(100)을 착용하는 사용자에게 표시되는 이미지의 초점을 맞추어 버전스 및 조절이 변화함에 따라 사용자의 눈이 편안 영역에 있도록 유지한다. 나아가, 가변 초점 시스템의 가변 초점과 조합한 안구 추적은 VR 헤드셋(100)에 의해 표시되는 이미지에 깊이 큐로서 블러가 도입될 수 있게 한다.
따라서, 도 4에 도시된 실시예에서, VR 헤드셋(100)의 위치, 방향 및/또는 움직임은 도 1과 관련하여 상술한 바와 같이 로케이터(114), IMU(116), 머리 추적 센서(118), 이미징 장치(160) 및 추적 모듈(154)의 조합에 의하여 결정된다(402). VR 헤드셋(100)에 의해 표시되는 가상 장면의 일부는 VR 헤드셋(100)의 다양한 위치 및 방향에 매핑된다. 따라서, 사용자가 현재 보고 있는 가상 장면의 일부는 VR 헤드셋(100)의 위치, 방향 및 움직임에 기반하여 결정된다(404). 사용자가 보고 있는 가상 장면의 일부를 결정한(404) 뒤, VR 시스템은 사용자가 보고 있는 결정된 일부 내의 장소나 객체를 결정하여 이에 따라 그 장소나 객체에 초점을 조정할 수 있다.
사용자가 보고 있는 가상 장면의 결정된 일부 내의 장소나 객체를 결정하기 위하여, VR 헤드셋(100)은 사용자의 눈의 위치와 자리를 추적한다. 따라서, VR 헤드셋(100)은 사용자의 각 눈에 대한 안구 위치를 결정한다(406). 예를 들어, VR 헤드셋(100)은 각 눈의 3D 위치, 롤, 피치 및 요우의 적어도 서브셋을 추적하고 이들 양을 사용하여 각 눈의 3D 시선점을 추정한다. 나아가, 과거 안구 위치로부터의 정보, 사용자의 머리의 위치를 설명하는 정보 및 사용자에게 표시되는 장면을 설명하는 정보도 다양한 실시예에서 눈의 3D 시선점을 추정하는데 사용될 수 있다. 예를 들어, 도 5는 각 안구(500)의 위치를 추적하기 위한 카메라(502)를 포함하는 VR 헤드셋(100)의 실시예의 단면도를 도시한다. 이 예시에서, 카메라(502)는 사용자의 안구의 이미지를 캡처하고 안구 추적 모듈(110)은 각 안구(500) 및 캡처된 이미지에 기반하여 사용자가 보고 있는 시선점이나 장소에 대응하는 시선(504)에 대한 출력을 결정한다.
도 4 및 5를 참조하여, 사용자에 대한 시선점의 버전스 깊이(dv)(508)가 시선(504)의 추정된 교차에 기반하여 결정된다(410). 도 5에 도시된 바와 같이, 시선(504)은 객체(506)가 위치한 곳인 dv(508)에서 버전스 또는 교차한다. 가상 장면 내의 가상 거리를 VR 시스템이 알고 있기 때문에, 버전스 깊이(508)는 필터링 또는 검증되어 가상 장면에 대한 더 정확한 버전스 깊이를 결정할 수 있다. 예를 들어, 버전스 깊이(508)는 시선(504)의 교차의 근사인데, 그 자체가 사용자의 안구(500)의 위치에 기반한 근사이다. 시선(504)은 항상 정확하게 교차하는 것으로 나타나지 않는다. 따라서, 가상 장면 내의 가상 거리는 필터링된 버전스 깊이를 생성하기 위하여 가상 장면의 일부에 대한 버전스 깊이와 비교된다(412).
도 6은 장면 기하학에 기반하여 버전스 깊이 또는 시선점 위치를 필터링하기 위한 프로세스의 예시를 도시한다. 도 6의 예시에서, 객체(606)는 가상 장면(600)의 바락 위에 도시되고 가상 장면(600) 내의 유일한 객체이다. 나아가, 가상 장면(600)에 대한 기하학은 알려져 있다. 예를 들어, 사용자가 마치 실제로 가상 환경에 있는 것처럼 그 환경과 상호작용할 수 있게 하는 가상 환경을 제공하기 위하여, 그 기하학에 대응하는 가상 환경의 치수를 VR 시스템이 정확하게 알고 있다. 따라서, 가상 장면(600)의 특정 프레임에 대하여, 사용자와 바닥, 사용자와 객체(606), 객체(606)와 벽 사이의 거리는 알려진 값이다. 이들 알려진 값은 결정된 버전스 깊이의 정확성을 가능하게 한다.
도 6의 예시에서, 시선(602)은 초기에 버전스 깊이 d1(선(604))에서 버전스하는데, 버전스 프로세싱 모듈(112)에 의해 결정된 추정 버전스 깊이에 대응한다. 버전스 프로세싱 모듈(112)은 장면 렌더링 모듈(120)로부터 가상 장면(600) 내의 객체 간의 거리를 설명하는 장면 기하학 데이터를 포함하는 가상 장면(600)에 대한 데이터를 수신하여 추정 버전스 깊이의 정확도를 검증한다. 이 예시에서, 장면 기하학 데이터는 사용자로부터 거리 d2(선(608))에 있는 객체(606)를 포함하는 가상 장면(600)을 나타낸다. 버전스 프로세싱 모듈(112)은 거리 d1 및 d2를 비교하여 동일한지 여부를 결정한다. 도 6의 예시에서, 거리 d1 및 d2가 동일하지 않지만, 차이가 임계 거리보다 작으면, 추정 버전스 깊이(d1)가 약간 부정확하고 버전스 깊이가 더 정확하게는 d2라는 것을 나타낸다. 버전스 프로세싱 모듈(112)이 가상 장면(600) 내에 다른 객체가 없다는 것을 나타내는 정보를 획득하기 때문에, 버전스 프로세싱 모듈(112)는 추정 버전스 깊이 d1를 필터링된 버전스 깊이 d2로 필터링 또는 조정한다.
더 정확한 버전스 깊이 또는 시선점을 결정하는 것은 가상 장면이 더 정확하게 사용자의 초점 객체나 면을 결정할 수 있게 하고, 장면 렌더링 모듈(120)이 가상 장면에 필드 블러의 깊이를 적절한 깊이 및/또는 객체로 추가하거나 다르게 가상 장면이 더 현실적으로 보일 수 있게 한다. 나아가, 만약 도 6의 가상 장면(600)이 복수의 객체를 포함한다면, 버전스 프로세싱 모듈(112)은 추정 버전스 깊이를 객체의 적어도 서브셋과 연관된 거리와 비교한다. 일례로, 객체와의 거리 및 추정 버전스 깊이 간의 최소 차이가 필터링된 버전스 깊이로 결정되지만, 필터링된 버전스 깊이를 명시하는 객체의 다른 식별 방법이 다양한 실시예에서 사용될 수 있다.
도 4로 돌아가면, 광학 블록(104)의 상태가 가상 장면의 이전 프레임의 표시 동안의 광학 블록(104)의 상태에 기반하여 가상 장면의 프레임에 대하여 결정된다(414). 예를 들어, 초점 예측 모듈(108)은 가상 장면의 다양한 프레임에 대하여 광학 블록(104)의 상태를 추적하여 가상 장면의 후속 프레임에 대한 광학 블록(104)의 미래 상태를 예측한다. 광학 블록(104)의 예측된 상태(예컨대, 광학 블록(104)의 예측된 위치)는 장면 렌더링 모듈(120)이 가상 장면의 프레임에 적용할 조정을 결정하여 광학 블록(104)의 예측된 상태에 의해 야기된 왜곡이 프레임을 왜곡시키지 않고 적용된 조정을 보정 또는 무효화한다. 따라서, 광학 블록(104)의 상태에 기반하여, 왜곡 보정이 가상 장면의 프레임으로의 적용을 위해 결정되어(416) 광학 블록(104)에 의해 도입된 광학 오차를 보정한다.
도 7a는 실제 세계에서 인간의 눈이 어떻게 버전스 및 조절을 경험하는지의 예시를 도시한다. 버전스는 단일 양안시를 획득 또는 유지하기 위하여 양안의 반대 방향이 동시 운동 또는 회전하는 것이고 눈의 조절과 연결된다. 정상 상태에서, 다른 거리에 있는 객체를 보기 위하여 안구의 초점을 변화시키는 것은 자동으로 버전스와 조절을 야기한다. 도 7a의 예시에서, 사용자는 실제 객체(700A)를 보고 있다(즉, 사용자의 안구는 실제 객체(700A)에 버전스되고 사용자의 안구로부터의 시선은 실제 객체(700A)에서 교차한다). 실제 객체(700A)가 사용자에게 더 가까이 움직임에 따라, 도 7a에서 화살표로 표시한 것처럼, 각 안구(702)는 실제 객체(700A)에 계속 버전스하기 위하여 안쪽으로 회전한다. 실제 객체(700A)가 더 가까워짐에 따라, 안구(702)는 그 형상을 변화시킴으로써 안구(702)의 배율 또는 초점 거리를 감소시킴으로써 가까워진 거리에 대해 “조절”해야 한다. 따라서, 실제 세계의 정상 상태에서, 버전스 깊이(dv)는 초점 거리(df)와 동일하다.
하지만, 도 7b는 일부 3차원 디스플레이와 함께 발생할 수 있는 버전스와 조절 간의 충돌의 예시를 도시한다. 이 예시에서, 사용자는 3D 전자 스크린(704) 상에 디스플레이되는 가상 객체(700B)를 보고 있지만, 사용자의 눈은 가상 객체(700B)에 버전스되고 사용자의 안구로부터의 시선은 가상 객체(700B)에서 교차하는데, 3D 전자 스크린(704)보다 사용자의 안구로부터 더 멀리 있다. 가상 객체(700B)가 3D 전자 스크린(704) 상에 사용자와 더 가까이 나타나도록 렌더링됨에 따라, 각 안구(702)는 다시 가상 객체(700B) 상에 계속 버전스하기 위하여 안쪽으로 회전하지만, 각 안구의 배율이나 초점 거리는 감소하지 않고, 따라서 사용자의 안구는 도 7a에서처럼 조절되지 않는다. 따라서, 더 가까운 버전스 깊이에 대해 조절하기 위하여 배율이나 초점 거리를 감소시키는 대신, 안구(702)는 3D 전자 스크린(704)와 연관된 거리에서 조절을 유지한다. 따라서, 버전스 깊이(dv)는 종종 3D 전자 디스플레이 상에 디스플레이되는 객체를 위한 사람의 안구의 초점 거리(df)와 동일하지 않다. 이 버전스 깊이와 초점 거리 간의 불일치는 “버전스-조절 충돌”로 불린다. 둘 모두가 아닌 버전스나 조절만을 경험하는 사용자는 결국 어느 정도의 피로와 메스꺼움을 경험하는데, 가상 현실 시스템 제작자에게 바람직하지 않다. 3D 전자 스크린에 대한 버전스 변화는 버전스 깊이(또는 예측된 버전스 깊이)에 기반하여 광학 블록의 배율을 동적으로 조정하는 VR 헤드셋에 의해 조절될 수 있다.
따라서, 다시 도 4를 참조하면, 광학 블록(104)의 초점 거리(또는 배율)이 생성된 필터링된 버전스 깊이에 대한 조절을 제공하기 위하여 가상 장면의 표시되는 프레임에 대하여 조정된다(418). 도 8a 및 8b는 가변 초점 요소(802)를 사용하여 전자 디스플레이(102)와 광학 블록(104) 간의 거리를 변화시킴으로써 광학 블록(104)의 초점 거리를 조정하기 위한 프로세스의 예시를 도시한다. 도 8a와 8b의 예시에서, 가변 초점 작동 블록(106)은 가변 초점 요소(802), 예컨대 액추에이터나 모터와 트랙(804)을 포함하지만, 광학 블록(104)의 광 배율을 동적으로 조정하기 위하여 광학 블록(104), 전자 디스플레이(102) 또는 모두가 트랙(804)을 따라 이동할 수 있게 하는 다른 컴포넌트도 포함할 수 있다.
도 8a는 가상 장면의 프레임 n에 대한 초점 조정을 제공하는 VR 헤드셋(100)의 예시를 도시한다. 이 예시에서, 가상 장면은 사용자의 시선(800)이 향하는(즉, 버전스되는) 곳의 전자 디스플레이(102) 상에 디스플레이되는 객체(806)를 포함한다. 객체(806)의 가상 이미지는 전자 디스플레이(102) 뒤의, 사출 동공(810)으로부터 가상 거리 di에 위치한다. 도 8a의 예시에서, 광학 블록(104)은 위치 pi에 있는데, 객체(806)의 편안한 열람을 가능하게 하기 위하여 거리 di에 대한 조절을 제공한다.
도 8b는 가상 장면의 후속 프레임 n+1에 대한 초점 조정을 제공하는 VR 헤드셋(100)을 도시한다. 이 예시에서, 사용자(800)는 객체(808)를 보기 위하여 눈을 재위치시켰거나 객체(808)가 가상 장면에서 사용자(800)를 향해 빠르게 움직였다. 그 결과, 객체(808)의 가상 이미지는 전자 디스플레이(102)에 가까이 위치한다. 도 8a의 객체(806)보다 가까운 전자 디스플레이(102)에 가까운 객체(808)의 위치에 응답하여, 사용자의 안구(800)는 객체(808) 상에 버전스하기 위하여 안쪽으로 회전하여, 버전스 프로세싱 모듈(112)이 프레임 n+1에 대한 새 버전스 깊이를 결정하고 가변 초점 작동 블록(106)에게 새 버전스 깊이를 제공하도록 야기한다. 새 버전스 깊이에 기반하여, 가변 초점 요소(802)는 광학 블록(104)을 위치 pi에서 새 위치 pf로 이동시켜 사용자(800)를 더 가까운 객체(808)에 대한 새 버전스 깊이 df에 조절시킨다.
일례로, 광학 블록(104)의 각 상태는 초점 거리와 안구 위치의 조합에 대응하고, 버전스 깊이의 범위에 대한 조절을 제공하고, 광학 블록(104)의 특정 위치와 연관된다. 따라서, 버전스 깊이는 광학 블록(104)의 위치에 매핑되고 룩업 테이블에 저장될 수 있다. 따라서, 버전스 깊이는 버전스 프로세싱 모듈(112)로부터 수신되고, 가변 초점 작동 블록(106)은 룩업 테이블에 기반하여 자동으로 광학 블록(104)을 수신된 버전스 깊이에 대응하는 위치로 이동시킨다.
많은 경우에, 가상 현실 시스템은 사용자에게 밀접하게 실제 세계 환경을 시뮬레이션 하는 가상 환경을 표시하거나 사용자에게 사용자가 가상 현실 시스템에 의해 생성된 환상에서 길을 잃게 하는 컨텐츠를 제공하는 것을 목표로 한다. 사용자에게 현실적이거나 매혹적인 가상 환경을 제공하기 위하여, 가상 현실 시스템은 본 명세서에 서술되는 다수의 시스템 및 방법을 구현하여 사용자가 인지할 수 없는 효율로 함께 구동한다. 예를 들어, 전환 지연은 특히 가상 현실 시스템의 사용자 경험에 많은 비용이 든다. 만약 사용자가 사용자의 뇌가 이미 기대하고 있는 것을 따라잡기 위해 VR 헤드셋에 의해 표시되는 가상 장면을 기다린다면, 환상은 깨지고 및/또는 사용자는 메스꺼움을 느낄 수 있다. 하지만, 처리 속도 및 상업적으로 이용 가능한 액추에이터가 현재 사람의 눈의 수정체의 형상을 바꾸고 수정체의 새 형상이 포커싱될 때 사람의 뇌가 수정체의 새 형상을 인식하는 조정력보다 빨라서, 개시된 시스템 및 방법이 사용자에게 고품질 가상 환경을 제공할 수 있게 한다.
다시 새 버전스 깊이에 대한 조절을 제공하는 한편 사용자가 지연을 인지하지 않고 추가 계산을 수행할 시간을 두는 도 8a와 8b를 참조하면, 가변 초점 요소(802)가 광학 블록(104)을 이동시키는 속도는 사람의 눈이 조절을 수행하는 속도로 제한된다. 예를 들어, 사람의 눈의 조절이 10 디옵터/초의 피크 속도, 100 디옵터/초2의 피크 가속도를 가지고, 전자 디스플레이(102)와 광학 블록(104) 간의 거리 변화가 가상 이미지를 약 0.5 디옵터/mm로 이동시킨다고 가정하면, 가변 초점 요소(802)는 10/0.5=20mm/초의 최소 속도와 100/0.5=200mm/초2의 최소 가속도로 동작하여 사용자가 전자 디스플레이(102)에 대한 광학 블록(104)의 재위치를 인지하는 것을 막는다. 상기 값을 만족하는 상업적으로 이용 가능한 액추에이터가 존재한다.
도 9a와 9b는 광학 블록(104)의 하나 이상의 렌즈의 형상을 변화시킴으로써 가변 초점 요소로 광학 블록(104)의 초점 거리를 조정하기 위한 프로세스의 대안적 예시를 도시한다. 도 8a와 8b의 예시와 유사하게, 도 9a는 사용자의 시선(900)이 향하는(즉, 버전스되는) 곳의 전자 디스플레이(102) 상에 디스플레이되는 객체(902)를 포함하는 가상 장면의 프레임 n에 대해 초점을 제공하는 VR 헤드셋(100)의 예시를 도시한다. 객체(902)의 가상 이미지는 유사하게 전자 디스플레이(102) 뒤의, 사출 동공(810)으로부터 가상 거리 d1에 위치한다. 도 9a의 예시에서, 가변 초점 작동 블록(106)은 광학 블록(104)의 하나 이상의 렌즈의 형상을 변화시켜 렌즈 형상 S1로 거리 di에 대한 조절을 제공하여 객체(902)의 편안한 열람을 가능하게 한다.
도 9b는 광학 블록(104)의 하나 이상의 형상을 변화시킴으로써 가상 장면의 후속 프레임 n+1에 대한 초점을 제공하는 VR 헤드셋(100)을 도시한다. 이 예시에서, 객체(902)는 가상 장면에서 사용자(900)를 향해 거리 d1에서 d2로 이동했고, 버전의 변화를 야기하고 조절에 있어 보충 조정을 필요하게 만든다. 따라서, 가변 초점 작동 블록(106)은 프레임 n+1에 대한 새 버전스 깊이를 결정하고 새 버전스 깊이를 가변 초점 작동 블록(106)에 제공하는데, 광학 블록(104)의 하나 이상의 렌즈의 형상을 형상 S1에서 새 렌즈 형상 S2로 변화시켜 더 가까운 새 버전스 깊이 d2에서 사용자(900)를 조절시킨다.
상술한 바와 같이, 광학 블록(104)의 상이한 상태는 다양한 초점 거리에 대응하고, 버전스 깊이의 범위에 대한 조절을 제공하고, 렌즈 형상 또는 초점 거리에 영향을 주는 다른 조정 가능한 속성과 연관된다. 따라서, 버전스 깊이는 렌즈 형상에 매핑되고 룩업 테이블에 저장될 수 있다. 따라서, 버전스 깊이가 버전스 프로세싱 모듈(112)로부터 수신될 때, 가변 초점 작동 블록(106)은 버전스 깊이에 대응하는 렌즈 형상을 룩업 테이블로부터 식별하고 광학 블록(104)의 하나 이상의 렌즈의 형상을 새 버전스 깊이에 대응하는 식별된 렌즈 형상으로 변화시킨다. 도 1과 관련하여 상술한 바와 같이, 가변 초점 작동 블록(106)은 광학 블록(104)의 형상이나 하나 이상의 렌즈의 초점 거리에 영향을 주는 다른 속성을 변화시키기 위하여 하나 이상의 컴포넌트를 포함할 수 있다. 하나 이상의 렌즈의 형상이나 초점 거리에 영향을 주는 다른 속성을 변화시키기 위한 컴포넌트의 예시는: 형상 변화 폴리머 렌즈, 액체 렌즈의 전기습윤법, 알바레즈-로만 렌즈, 변형가능한 멤브레인 미러, 액정(전기 활성) 렌즈, 상 전용 SLM(spatial light modulator) 및 다른 적절한 컴포넌트를 포함한다.
도 4로 돌아가면, 필드 블러의 깊이가 가상 장면에 대해 결정된다(420). 필드 블러의 깊이를 결정하기(420) 위하여, VR 헤드셋(100)에 의해 사용자에게 표시되는 장면 내의 사용자의 시선이 향하는 점이 결정되고, 광학 블록(104)은 장면 내의 사용자의 시선이 향하는 점에 사용자를 위한 초점이 맞추어지는 상태로 설정된다. 필드 블러의 깊이는 사용자의 시선이 향하는 장면 내의 점에 대해 결정된다(420). 일례로, 필터링된 버전스 깊이에 대응하는 장면 기하학 내의 깊이(예컨대, 가상 장면 내의 거리)가 가상 장면의 프레임에 대하여 초점면으로 결정된다. 따라서, 사용자의 눈으로부터 초점면보다 크거나 작은 가상 장면 내의 거리를 가지는 가상 환경의 객체나 특징은 합성 블러로 렌더링될 수 있다. 다른 예에서, 필드 블러의 깊이는 사용자의 시선이 필터링된 버전스 깊이에 대응하는 깊이에서 포커싱되는 장면의 객체(즉, “초점 객체”)에 기반하여 결정된다. 따라서, 초점면이 아닌 초점 객체는, 다른 객체가 장면에서 초점 객체와 유사한 깊이를 가진다 하더라도, 필드 블러의 깊이로 렌더링되는 장면의 다른 객체를 식별하는 참조점을 제공한다.
블러는 초점면으로부터 객체나 특징의 거리에 기반하여 객체나 특징에 적용되는 블러의 수준으로 점진적일 수 있거나, 일반적으로 균일한 수준의 블러가 가상 장면의 객체나 특징에 적용될 수 있다. 필드 블러의 깊이는 양안시의 자연스러운 결과이므로, 사용자에게 기대되는 깊이 큐를 제공함으로써 가상 장면에 필드 블러의 깊이를 포함시키는 것은 가상 장면을 발전시키고, 가상 장면의 사용자 경험을 향상시킬 수 있다. 나아가, 블러는 사용자의 눈의 측정된 속성에 적어도 부분적으로 기반할 수 있다. 예를 들어, 사용자의 눈의 파면 수차는 파면 수차 측정기에 의해 측정될 수 있고 필드 블러의 깊이는 측정된 파면 수차에 적어도 부분적으로 기반한다. 사용자의 눈의 파면 수차의 예시는 일반적으로 안경, 콘택트 렌즈 또는 굴절 수술에 의해 보정되지 않는 고차 수차를 포함할 수 있다. 필드 블러의 깊이를 결정할 때 사용자의 눈의 속성을 고려하는 것은 장면을 볼 때 사용자의 편안함을 향상시킬 수 있다.
사용자가 보고 있는 가상 장면의 일부에 대응하는 가상 장면의 프레임이 광학 블록(104)의 결정된 상태에 의해 야기된 광학 오차를 보정하기 위한 왜곡 보정 및 필터링된 버전스 깊이에 기반한 필드 블러의 깊이와 함께 전자 디스플레이(102) 상에 디스플레이된다(422). 나아가, 가변 초점 작동 블록(106)은 사용자의 안구가 버전스되는 가상 장면의 부분의 위치로 초점 및 조절을 제공하기 위하여 광학 블록(104)의 초점을 변경한다. 다양한 실시예에서, 프로세스(400)는 추가 단계를 포함하거나 도 4와 관련하여 서술된 순서와 다른 순서로 단계를 수행할 수 있다.
다양한 실시예에서, 가변 초점 작동 블록(106)의 동작은 사용자의 시각의 특성에 적어도 부분적으로 기반한다. 예를 들어, 광학 블록(104), 가변 초점 작동 블록(106) 및 장면 렌더링 모듈(120)은 장면이 사용자에게 표시될 때 사용자의 시각의 하나 이상의 특성을 보상한다. 가변 초점 작동 블록(106)에 의해 보상되거나 다르게 고려될 수 있는 사용자의 시각의 특성의 예시는 굴절 오차(예컨대, 안경 처방) 및 조절 범위(예컨대, 노안, 근시, 원시 또는 난시)를 포함한다. 예를 들어, 만약 사용자가 +1D 구면 굴절력의 굴절 오차를 가진다면, 광학 블록(104)은 사용자의 굴절 오차를 보정하고 초점을 유지할 뿐만 아니라, 사용자가 보고 있는 장면 내의 객체의 초점을 유지하는 상태로 설정된다. 나아가, 가변 초점 작동 블록(106) 및 장면 렌더링 모듈(120)은 필드 블러의 깊이를 결정할 때(420) 사용자의 고유의 조절 범위를 고려할 수 있다(보정으로 근거리에서 원거리로). 예를 들어, 노안을 가진 사용자는 감소된 범위의 조절을 가지므로, 가변 초점 작동 블록(106)은 제한된 수의 초점 거리를 고려하거나 사용자의 조절 범위를 다르게 고려하는 제한된 수의 광학 블록(104)의 상태를 제공할 수 있다. 조절 범위 및 굴절 오차는 사용자에 의해 명시될 수 있거나, 사용자가 VR 시스템 환경의 하나 이상의 컴포넌트가 접근하도록 허가한 사용자의 디지털 의료 기록과 같은 사용자와 연관된 정보로부터 획득될 수 있다. 대안적으로, 렌즈 조립체나 다른 컴포넌트가 VR 헤드셋(100)에 연결되어 안경 대신 VR 헤드셋(100)을 사용하는 동안 사용자의 시각을 보정할 수 있다. 만약 렌즈 조립체가 VR 헤드셋(100)에 연결된다면, 렌즈 어셈블리는 광학 블록(104)의 상태 및 다양한 왜곡 보정 간의 상관관계를 조정하기 위하여 개별적으로 캘리브레이션될 수 있다. 나아가, 가변 초점 작동 블록(106)은 VR 헤드셋(100)의 원주 배율(cylindrical power) 및 축을 조정하여 VR 헤드셋(100)의 구면 굴절력(spherical power)뿐만 아니라 비점 수차를 보상할 수 있다. 예를 들어, 가변 초점 작동 블록(106)은 회전하는 두 원주 렌즈를 서로에 대해 회전시켜 VR 헤드셋(100)의 원주 배율을 조정한다.
VR 헤드셋(100)에 의한 장면의 디스플레이는 장면을 표시하는 전자 디스플레이 요소(102)로부터의 이미지 광을 사용자의 눈으로 유도하는 VR 헤드셋(100)에 포함된 광학 블록(104)의 광학 오차에 의해 도입된 왜곡을 완화하기 위하여 수정된다. 왜곡 보정은 장면을 사전 왜곡하는 장면에 적용되고, 광학 블록(104)에 의해 야기된 왜곡은 수정된 장면으로부터의 광이 광학 블록(104)을 통과함에 따라 사전 왜곡을 보상한다. 그러므로, 사용자가 보는 장면은 왜곡되지 않는다. 따라서, 왜곡 보정은 광학 블록(104)에 대해 상이한 안구 위치 또는 광학 블록(104)의 상이한 초점 거리에 의해 야기되는 상이한 수준과 타입의 왜곡을 고려한다. 따라서, 광학 블록(104)에 대해 상이한 잠재적 안구 위치 및 광학 블록(104)의 잠재적 초점 거리에서 대응하는 왜곡은 광이 광학 블록을 통과한 후 전자 디스플레이 요소로부터의 광의 파면(즉, 동일 위상의 점의 전파)을 측정함으로써 결정된다. 광학 블록(104)에 대한 상이한 안구 위치 및 광학 블록(104)의 상이한 상태는 광학 블록(104)으로 향하는 광에서 상이한 정도의 광학 오차를 양기한다. 이 광학 오차는 VR 헤드셋(100)에 포함된 전자 디스플레이(102)로부터의 광을 왜곡시키는데, 가상 장면의 사용자로의 표시를 손상시킬 수 있다. 따라서, 왜곡 보정 맵이 광학 블록(104)의 상이한 상태에 대한 파면의 측정에 기반하여 생성되어 광학 블록(104)의 상이한 상태에 의해 도입된 광학 오차를 보정하는데, 광학 블록(104)에 의해 야기된 상이한 초점 거리를 고려한다.
추가적인 구성 정보
실시예의 상기 서술은 설명의 목적으로 제공되고, 배타적이거나 개시된 정확한 형태들로 특허권을 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.
본 명세서에 사용된 언어는 가독성과 지시의 목적을 위해 원칙적으로 선택된 것으로서 발명의 대상을 제한하거나 한정하도록 선택된 것이 아니다. 따라서, 특허권의 범위는 본 상세한 설명에 의해서가 아니라, 본 출원이 기반을 두어 제출되는 임의의 청구범위에 의해 한정되는 것으로 의도된다. 따라서, 실시예들에 관한 개시는 특허권의 범위의 예시가 되지만 이에 국한되지 않는 것으로 의도된다.

Claims (19)

  1. HMD(head-mounted display) 내부의 적어도 하나의 이미지 캡처 요소를 사용하여, 사용자의 각 눈에 대한 눈 위치를 결정하는 단계로서, HMD는 가상 장면을 표시하는 디스플레이로부터의 광을 사용자에게 초점 맞추도록 구성된 광학 블록 및 가상 장면 내의 사용자가 보고 있는 위치에 기반하여 광학 블록의 초점 거리를 변경하도록 구성된 가변 초점 요소를 포함하는, 눈 위치를 결정하는 단계;
    각 눈 위치에 적어도 부분적으로 기반하여 사용자의 각 눈에 대한 시선을 결정하는 단계;
    시선의 추정된 교차에 기반하여 사용자가 보고 있는 위치에 대한 버전스 깊이를 추정하는 단계;
    추정된 버전스 깊이를 가상 장면의 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이와 비교하는 단계;
    추정된 버전스 깊이와 사용자가 보고 있는 위치의 깊이 간의 차이가 임계 거리보다 큰 것에 기반하여 추정된 버전스 깊이를 사용자가 보고 있는 위치의 깊이로 대체하는 단계;
    가변 초점 요소를 사용하여 사용자를 위한 조절(accommodation)을 제공하기 위하여 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이에 기반하여 광학 블록의 초점 거리를 조정하는 단계; 및
    HMD의 디스플레이 상에 가상 장면을 디스플레이하는 단계를 포함하고,
    결정된 시선은 가상 장면 내의 사용자가 보고 있는 위치를 식별하는 방법.
  2. 청구항 1에 있어서,
    HMD의 디스플레이 상에 가상 장면을 디스플레이하는 단계는:
    가상 장면의 프레임에 대하여, 가상 장면의 하나 이상의 이전에 표시된 프레임의 표시 동안 광학 블록의 상태에 기반하여 광학 블록의 상태를 결정하는 단계;
    프레임에 대해 광학 블록의 결정된 상태에 의해 도입된 광학 오차를 보정하기 위하여 가상 장면의 프레임에 대해 광학 블록의 결정된 상태에 기반하여 왜곡 보정 맵을 결정하는 단계;
    가상 장면의 프레임에 결정된 왜곡 보정 맵을 적용하는 단계; 및
    HMD의 디스플레이 상에 결정된 왜곡 보정 맵의 적용 후의 가상 장면을 디스플레이하는 단계를 포함하고,
    광학 블록의 각 상태는 광학 블록의 상태에 의해 도입된 광학 오차를 보정하는 왜곡 보정 맵과 연관되는 방법.
  3. 청구항 2에 있어서,
    각 눈의 결정된 눈 위치에 대하여, 각 눈과 광학 블록 사이의 거리 또는 광학 블록에 대한 각 눈의 위치 중 적어도 하나를 결정하는 단계를 더 포함하고,
    광학 블록의 각 상태는 광학 블록의 초점 거리 및 각 눈과 광학 블록 사이의 거리 또는 광학 블록에 대한 각 눈의 위치 중 적어도 하나와 연관되고, 각 왜곡 보정 맵은 각 눈과 광학 블록 사이의 거리 또는 광학 블록에 대한 각 눈의 위치 중 적어도 하나에 의해 도입된 광학 오차를 더 보정하는 방법.
  4. 청구항 1에 있어서,
    HMD의 디스플레이 상에 가상 장면을 디스플레이하는 단계는:
    사용자의 눈으로부터 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이의 거리와 상이한 사용자의 눈으로부터의 거리로 가상 장면의 객체를 식별하는 단계;
    합성 블러로 가상 장면 내의 식별된 객체를 디스플레이하는 단계;
    식별된 객체와 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이 사이의 거리에 적어도 부분적으로 기반하여 식별된 객체를 위한 합성 블러의 레벨을 결정하는 단계; 및
    합성 블러의 결정된 레벨로 가상 장면 내의 식별된 객체를 디스플레이하는 단계를 포함하는 방법.
  5. 청구항 1에 있어서,
    가변 초점 요소를 사용하여 사용자를 위한 조절을 제공하기 위하여 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이에 기반하여 광학 블록의 초점 거리를 조정하는 단계는:
    광학 블록을 움직임으로써 광학 블록과 디스플레이 사이의 거리를 변경하는 단계를 포함하는 방법.
  6. 청구항 1에 있어서,
    가변 초점 요소를 사용하여 사용자를 위한 조절을 제공하기 위하여 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이에 기반하여 광학 블록의 초점 거리를 조정하는 단계는:
    광학 블록의 렌즈의 형상 또는 광 경로 길이를 변경하는 단계를 포함하는 방법.
  7. 청구항 6에 있어서,
    광학 블록의 렌즈의 형상 또는 광 경로 길이를 변경하는 단계는 형상 변화 폴리머 렌즈, 액체 렌즈와 전기습윤법, 알바레즈-로만 렌즈, 변형 가능한 멤브레인 미러, 액정(전기 활성) 렌즈, 상 전용 SLM(spatial light modulator) 및 그 임의의 조합으로 구성되는 그룹에서 선택되는 적어도 하나를 사용하는 단계를 포함하는 방법.
  8. 청구항 1에 있어서,
    HMD 내부의 적어도 하나의 이미지 캡처 요소를 사용하여, 사용자의 각 눈에 대한 눈 위치를 결정하는 단계는:
    하나 이상의 위치 센서를 사용하여 HMD의 위치 및 방향을 결정하는 단계; 및
    HMD의 위치 및 방향에 적어도 부분적으로 기반하여 사용자가 보고 있는 위치를 결정하는 단계를 포함하는 방법.
  9. HMD(head-mounted display) 내부의 적어도 하나의 이미지 캡처 요소를 사용하여, 사용자의 각 눈에 대한 눈 위치를 결정하는 단계로서, HMD는 가상 장면을 표시하는 디스플레이로부터의 광을 사출 동공으로 초점 맞추도록 구성된 광학 블록 및 가상 장면 내의 사용자가 보고 있는 위치에 기반하여 광학 블록의 초점 거리를 변경하도록 구성된 가변 초점 요소를 포함하는, 눈 위치를 결정하는 단계;
    각 눈에 대해 결정된 눈 위치에 적어도 부분적으로 기반하여 사용자의 3D(3차원) 시선점을 결정하는 단계;
    3D 시선점에 기반하여 사용자가 보고 있는 위치에 대한 버전스 깊이를 추정하는 단계;
    추정된 버전스 깊이를 가상 장면 내의 객체에 대한 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이와 비교하는 단계;
    추정된 버전스 깊이와 사용자가 보고 있는 위치의 깊이 간의 차이가 임계 거리보다 큰 것에 기반하여 추정된 버전스 깊이를 사용자가 보고 있는 위치의 깊이로 대체하는 단계;
    초점의 객체를 위한 조절(accommodation)을 제공하기 위하여 가변 초점 요소를 사용하여 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이에 기반하여 가상 장면에 대한 광학 블록의 초점 거리를 조정하는 단계; 및
    HMD의 디스플레이 상에 가상 장면을 디스플레이하는 단계를 포함하고,
    결정된 3차원 시선점은 가상 장면 내의 사용자가 보고 있는 위치를 식별하고,
    추정된 버전스 깊이는 사용자를 위한 초점의 객체에 대응하는 방법.
  10. 청구항 9에 있어서,
    가변 초점 요소를 사용하여 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이에 기반하여 가상 장면에 대한 광학 블록의 초점 거리를 조정하는 단계는:
    광학 블록을 움직임으로써 광학 블록과 디스플레이 사이의 거리를 변경하는 단계를 포함하는 방법.
  11. 청구항 9에 있어서,
    가변 초점 요소를 사용하여 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이에 기반하여 가상 장면에 대한 광학 블록의 초점 거리를 조정하는 단계는:
    광학 블록에 포함된 렌즈의 형상 또는 광 경로 길이를 변경하는 단계를 포함하는 방법.
  12. 청구항 11에 있어서,
    광학 블록에 포함된 렌즈의 형상 또는 광 경로 길이를 변경하는 단계는 형상 변화 폴리머 렌즈, 액체 렌즈와 전기습윤법, 알바레즈-로만 렌즈, 변형 가능한 멤브레인 미러, 액정(전기 활성) 렌즈, 상 전용 SLM(spatial light modulator) 및 그 임의의 조합으로 구성되는 그룹에서 선택되는 적어도 하나를 사용하는 단계를 포함하는 방법.
  13. 청구항 9에 있어서,
    HMD의 디스플레이 상에 가상 장면을 디스플레이하는 단계는:
    사용자의 눈으로부터 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이의 거리가 아닌 사용자의 눈으로부터의 거리로 가상 장면의 객체를 식별하는 단계; 및
    합성 블러로 가상 장면 내의 식별된 객체를 디스플레이하는 단계를 포함하는 방법.
  14. 명령어를 저장하는 비일시적 컴퓨터 판독가능한 저장 매체로서, 명령어는 적어도 하나의 프로세서에 의해 실행될 때, 프로세서로 하여금:
    HMD(head-mounted display)의 카메라를 사용하여, 사용자의 각 눈에 대한 눈 위치에 대응하는 이미지 정보를 캡처하되, HMD는 가상 장면을 표시하는 디스플레이로부터의 광을 사출 동공으로 초점 맞추도록 구성된 광학 블록 및 사용자의 가상 장면 내의 사용자가 보고 있는 위치에 기반하여 광학 블록의 초점 거리를 변경하도록 구성된 가변 초점 요소를 포함하고;
    각 눈 위치에 적어도 부분적으로 기반하여 사용자의 시선을 결정하고;
    시선의 추정된 교차에 기반하여 사용자가 보고 있는 위치에 대한 버전스 깊이를 추정하고;
    추정된 버전스 깊이를 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이와 비교하고;
    추정된 버전스 깊이와 사용자가 보고 있는 위치의 깊이 간의 차이가 임계 거리보다 큰 것에 기반하여 추정된 버전스 깊이를 사용자가 보고 있는 위치의 깊이로 대체하고;
    초점면에 대한 조절(accommodation)을 제공하기 위하여 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이에 기반하여 가변 초점 요소를 사용하여 가상 장면의 프레임에 대한 광학 블록의 초점 거리를 조정하고; 및
    HMD의 디스플레이 상에 가상 장면을 디스플레이하도록 야기하고,
    결정된 시선은 가상 장면 내의 사용자가 보고 있는 위치를 식별하는 비일시적 컴퓨터 판독가능한 저장 매체.
  15. 청구항 14에 있어서,
    HMD의 디스플레이 상에 가상 장면을 디스플레이하는 것은:
    가상 장면의 프레임에 대하여, 가상 장면의 하나 이상의 이전에 표시된 프레임의 표시 동안 광학 블록의 상태에 기반하여 광학 블록의 상태를 결정하고;
    프레임에 대해 광학 블록의 결정된 상태에 의해 도입된 광학 오차를 보정하기 위하여 가상 장면의 프레임에 대해 광학 블록의 결정된 상태에 기반하여 왜곡 보정 맵을 결정하고;
    가상 장면의 프레임에 결정된 왜곡 보정 맵을 적용하고; 및
    HMD의 디스플레이 상에 결정된 왜곡 보정 맵의 적용 후의 가상 장면을 디스플레이하는 것을 포함하고,
    광학 블록의 각 상태는 광학 블록의 상태에 의해 도입된 광학 오차를 보정하는 왜곡 보정 맵과 연관되는 비일시적 컴퓨터 판독가능한 저장 매체.
  16. 청구항 14에 있어서,
    HMD의 디스플레이 상에 가상 장면을 디스플레이하는 것은:
    사용자의 눈으로부터 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이의 거리가 아닌 사용자의 눈으로부터의 거리로 가상 장면의 객체를 식별하고;
    합성 블러로 가상 장면 내의 식별된 객체를 디스플레이하는 것을 포함하는 비일시적 컴퓨터 판독가능한 저장 매체.
  17. 청구항 14에 있어서,
    가변 초점 요소를 사용하여 사용자를 위한 조절을 제공하기 위하여 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이에 기반하여 광학 블록의 초점 거리를 조정하는 것은:
    광학 블록을 움직임으로써 광학 블록과 디스플레이 사이의 거리를 변경하는 것을 포함하는 비일시적 컴퓨터 판독가능한 저장 매체.
  18. 청구항 14에 있어서,
    가변 초점 요소를 사용하여 사용자를 위한 조절을 제공하기 위하여 장면 기하 데이터에 의해 식별된 사용자가 보고 있는 위치의 깊이에 기반하여 광학 블록의 초점 거리를 조정하는 것은:
    광학 블록의 렌즈의 형상 또는 광 경로 거리를 변경하는 것을 포함하는 비일시적 컴퓨터 판독가능한 저장 매체.
  19. 청구항 18에 있어서,
    광학 블록의 렌즈의 형상 또는 광 경로 거리를 변경하는 것은 형상 변화 폴리머 렌즈, 액체 렌즈와 전기습윤법, 알바레즈-로만 렌즈, 변형 가능한 멤브레인 미러, 액정(전기 활성) 렌즈, 상 전용 SLM(spatial light modulator) 및 그 임의의 조합으로 구성되는 그룹에서 선택되는 적어도 하나를 사용하는 것을 포함하는 비일시적 컴퓨터 판독가능한 저장 매체.
KR1020197006745A 2015-12-08 2016-02-10 초점 조정 가상 현실 헤드셋 KR102038379B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/963,109 2015-12-08
US14/963,109 US10025060B2 (en) 2015-12-08 2015-12-08 Focus adjusting virtual reality headset
PCT/US2016/017397 WO2017099824A1 (en) 2015-12-08 2016-02-10 Focus adjusting virtual reality headset

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187016635A Division KR101958390B1 (ko) 2015-12-08 2016-02-10 초점 조정 가상 현실 헤드셋

Publications (2)

Publication Number Publication Date
KR20190027950A KR20190027950A (ko) 2019-03-15
KR102038379B1 true KR102038379B1 (ko) 2019-10-31

Family

ID=58799121

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197006745A KR102038379B1 (ko) 2015-12-08 2016-02-10 초점 조정 가상 현실 헤드셋
KR1020187016635A KR101958390B1 (ko) 2015-12-08 2016-02-10 초점 조정 가상 현실 헤드셋

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187016635A KR101958390B1 (ko) 2015-12-08 2016-02-10 초점 조정 가상 현실 헤드셋

Country Status (5)

Country Link
US (1) US10025060B2 (ko)
JP (1) JP6502586B2 (ko)
KR (2) KR102038379B1 (ko)
CN (1) CN108369325B (ko)
WO (1) WO2017099824A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022010152A1 (ko) * 2020-07-07 2022-01-13 삼성전자 주식회사 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
US11513359B1 (en) 2021-08-23 2022-11-29 Min Ho Lee Lens

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126040B2 (en) 2012-09-30 2021-09-21 Optica Amuka (A.A.) Ltd. Electrically-tunable lenses and lens systems
ES2727498T3 (es) 2012-09-30 2019-10-16 Optica Amuka A A Ltd Lentes con potencia y alineación eléctricamente ajustable
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
WO2015186010A1 (en) 2014-06-05 2015-12-10 Optica Amuka (A.A.) Ltd. Control of dynamic lenses
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
EP3399362A4 (en) * 2015-12-30 2019-08-21 Shenzhen Royole Technologies Co., Ltd. VISIOCASTIC APPARATUS
WO2017131770A1 (en) * 2016-01-29 2017-08-03 Hewlett-Packard Development Company, L.P Viewing device adjustment based on eye accommodation in relation to a display
ES2904889T3 (es) 2016-04-17 2022-04-06 Optica Amuka A A Ltd Lente para gafas que comprende una lente de cristal líquido con accionamiento eléctrico mejorado
WO2017216716A1 (en) 2016-06-16 2017-12-21 Optica Amuka (A.A.) Ltd. Tunable lenses for spectacles
US11073701B2 (en) * 2016-07-06 2021-07-27 Panasonic Intellectual Property Management Co., Ltd. Head-mounted display device
US10401639B2 (en) 2016-08-12 2019-09-03 Avegant Corp. Method and apparatus for an optical path length extender
US10379388B2 (en) 2016-08-12 2019-08-13 Avegant Corp. Digital light path length modulation systems
US10187634B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Near-eye display system including a modulation stack
US10809546B2 (en) 2016-08-12 2020-10-20 Avegant Corp. Digital light path length modulation
US10516879B2 (en) 2016-08-12 2019-12-24 Avegant Corp. Binocular display with digital light path length modulation
US10057488B2 (en) 2016-08-12 2018-08-21 Avegant Corp. Image capture with digital light path length modulation
US10185153B2 (en) 2016-08-12 2019-01-22 Avegant Corp. Orthogonal optical path length extender
KR102564479B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10747859B2 (en) * 2017-01-06 2020-08-18 International Business Machines Corporation System, method and computer program product for stateful instruction-based dynamic man-machine interactions for humanness validation
CN108663803B (zh) * 2017-03-30 2021-03-26 腾讯科技（深圳）有限公司 虚拟现实眼镜、镜筒调节方法及装置
CN107065198B (zh) * 2017-06-21 2019-11-26 常州快来信息科技有限公司 头戴显示设备的视觉优化方法
CN107229340B (zh) * 2017-06-29 2020-04-24 联想(北京)有限公司 一种信息处理方法以及电子设备
CN109212753B (zh) * 2017-07-06 2021-01-29 京东方科技集团股份有限公司 可变显示距离的抬头显示系统、抬头显示方法、驾驶设备
US11953764B2 (en) 2017-07-10 2024-04-09 Optica Amuka (A.A.) Ltd. Tunable lenses with enhanced performance features
WO2019012385A1 (en) * 2017-07-10 2019-01-17 Optica Amuka (A.A.) Ltd. SYSTEMS OF VIRTUAL REALITY AND INCREASED REALITY WITH DYNAMIC VISION CORRECTION
US10945141B2 (en) * 2017-07-25 2021-03-09 Qualcomm Incorporated Systems and methods for improving content presentation
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10488921B1 (en) * 2017-09-08 2019-11-26 Facebook Technologies, Llc Pellicle beamsplitter for eye tracking
WO2019077442A1 (en) 2017-10-16 2019-04-25 Optica Amuka (A.A.) Ltd. ELECTRICALLY ADJUSTABLE GLASS LENSES THAT CAN BE CONTROLLED BY AN EXTERNAL SYSTEM
US11054622B1 (en) 2017-11-20 2021-07-06 Facebook Technologies, Llc Folded viewing optics with an optical retarder on a simple surface
CN111164654A (zh) 2017-11-23 2020-05-15 英特尔公司 自适应中心凹形编码器以及全局运动预测因子
JP7282090B2 (ja) 2017-12-10 2023-05-26 マジック リープ， インコーポレイテッド 光学導波管上の反射防止性コーティング
KR20200100720A (ko) 2017-12-20 2020-08-26 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
US10809524B2 (en) 2018-01-08 2020-10-20 Facebook Technologies, Llc Varifocal apparatuses, systems, and methods employing a deformable stepped lens
IL275822B2 (en) 2018-01-17 2024-02-01 Magic Leap Inc Eye center for determining rotation, choosing depth plane and processing camera position in display systems
CA3088116A1 (en) * 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN110346932B (zh) * 2018-04-02 2024-04-02 京东方科技集团股份有限公司 显示方法、显示装置
US20190353926A1 (en) * 2018-05-15 2019-11-21 Johnson & Johnson Vision Care, Inc. Vergence detection method and system
US11402635B1 (en) * 2018-05-24 2022-08-02 Facebook Technologies, Llc Systems and methods for measuring visual refractive error
US11250819B2 (en) 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
CN112236713B (zh) 2018-05-30 2023-01-24 奇跃公司 紧凑的可变聚焦配置
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
JP7421505B2 (ja) 2018-06-08 2024-01-24 マジック リープ， インコーポレイテッド 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
US11221488B1 (en) * 2018-06-11 2022-01-11 Apple Inc. Tunable and foveated lens systems
US11086143B1 (en) 2018-06-11 2021-08-10 Apple Inc. Tunable and foveated lens systems
US11378811B2 (en) * 2018-06-18 2022-07-05 Facebook Technologies, Llc Optical assembly with curved reflective polarizer for head mounted display
US11169358B1 (en) 2018-06-29 2021-11-09 Facebook Technologies, Llc Varifocal projection display
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11567336B2 (en) 2018-07-24 2023-01-31 Magic Leap, Inc. Display systems and methods for determining registration between display and eyes of user
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US10706281B2 (en) * 2018-08-10 2020-07-07 Microsoft Technology Licensing, Llc Controlling focal parameters of a head mounted display based on estimated user age
US11022784B1 (en) 2018-08-17 2021-06-01 Facebook Technologies, Llc Use of folded optics to reduce volume in a virtual-reality system
CN110850594B (zh) * 2018-08-20 2022-05-17 余姚舜宇智能光学技术有限公司 头戴式可视设备及用于头戴式可视设备的眼球追踪系统
CN109242943B (zh) * 2018-08-21 2023-03-21 腾讯科技（深圳）有限公司 一种图像渲染方法、装置及图像处理设备、存储介质
KR20200021670A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
US11703698B1 (en) 2018-08-30 2023-07-18 Apple Inc. Adjustable lens systems
US11170521B1 (en) * 2018-09-27 2021-11-09 Apple Inc. Position estimation based on eye gaze
DE102018126065A1 (de) * 2018-10-19 2020-04-23 Osram Opto Semiconductors Gmbh Optische anzeigevorrichtung und verfahren zum betrieb einer optischen anzeigevorrichtung
WO2020086380A1 (en) 2018-10-24 2020-04-30 Pcms Holdings, Inc. Systems and methods for region of interest estimation for virtual reality
US11372239B1 (en) 2018-11-01 2022-06-28 Facebook Technologies, Llc Enabling eye tracking in pancake lens optics
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US10871627B1 (en) 2018-12-12 2020-12-22 Facebook Technologies, Llc Head-mounted display device with direct-current (DC) motors for moving displays
US11454779B1 (en) 2018-12-12 2022-09-27 Meta Platforms Technologies, Llc Head-mounted display device with stepper motors for moving displays
US11042187B1 (en) * 2018-12-12 2021-06-22 Facebook Technologies, Llc Head-mounted display device with voice coil motors for moving displays
US10871660B2 (en) * 2018-12-20 2020-12-22 Tectus Corporation Dynamic presbyopia correction in electronic contact lenses
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
KR20200090315A (ko) * 2019-01-18 2020-07-29 삼성전자주식회사 영상을 처리하는 방법 및 디바이스
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
CN111399219A (zh) * 2019-02-28 2020-07-10 南昌虚拟现实研究院股份有限公司 虚拟现实镜组、设备以及系统
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
KR20200120466A (ko) * 2019-04-11 2020-10-21 삼성전자주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
WO2020209491A1 (en) 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
US11467370B2 (en) * 2019-05-27 2022-10-11 Samsung Electronics Co., Ltd. Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
WO2020256770A1 (en) * 2019-06-19 2020-12-24 Google Llc Head mounted display with multifocal module
WO2021002641A1 (en) * 2019-07-04 2021-01-07 Samsung Electronics Co., Ltd. Electronic device and method for displaying augmented reality
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US11010015B2 (en) * 2019-08-07 2021-05-18 Fmr Llc Systems and methods for filtering data in virtual reality environments
US11107195B1 (en) * 2019-08-23 2021-08-31 Lucasfilm Entertainment Company Ltd. Motion blur and depth of field for immersive content production systems
US10989927B2 (en) * 2019-09-19 2021-04-27 Facebook Technologies, Llc Image frame synchronization in a near eye display
US11240488B2 (en) * 2019-09-24 2022-02-01 Facebook Technologies, Llc Volumetric display including liquid crystal-based lenses
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
US10871825B1 (en) * 2019-12-04 2020-12-22 Facebook Technologies, Llc Predictive eye tracking systems and methods for variable focus electronic displays
WO2021113540A1 (en) * 2019-12-06 2021-06-10 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US11217024B2 (en) * 2019-12-26 2022-01-04 Facebook Technologies, Llc Artificial reality system with varifocal display of artificial reality content
CN113325947A (zh) * 2020-02-28 2021-08-31 北京七鑫易维信息技术有限公司 一种显示方法、装置、终端设备及存储介质
KR20210130485A (ko) * 2020-04-22 2021-11-01 삼성전자주식회사 머리 착용형 디스플레이 장치 및 동작 방법
WO2021246777A1 (en) * 2020-06-03 2021-12-09 Samsung Electronics Co., Ltd. Device and method for displaying augmented reality
CN114594595B (zh) * 2020-12-03 2023-10-20 华为技术有限公司 眼镜的控制方法、控制装置和眼镜
KR20220089023A (ko) * 2020-12-21 2022-06-28 삼성전자주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
US11809622B2 (en) 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
CN115407504A (zh) * 2021-05-27 2022-11-29 华为技术有限公司 虚拟显示设备和虚拟显示方法
EP4322526A4 (en) 2021-06-22 2024-10-09 Samsung Electronics Co Ltd AUGMENTED REALITY DEVICE WITH VARIABLE FOCUS LENS AND OPERATING METHOD THEREFOR
WO2022270852A1 (ko) * 2021-06-22 2022-12-29 삼성전자 주식회사 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법
US12033269B2 (en) 2021-07-12 2024-07-09 Toyota Jidosha Kabushiki Kaisha Virtual reality simulator and virtual reality simulation program
WO2023030505A1 (en) * 2021-09-03 2023-03-09 University Of Central Florida Research Foundation, Inc. An optical display system and an electronic device
CN114527876A (zh) * 2022-02-18 2022-05-24 上海晟资光学科技有限公司 虚拟现实头显的焦点调整方法、系统、控制器及存储介质
US20240046577A1 (en) * 2022-08-05 2024-02-08 Samsung Electronics Co., Ltd. Video See-Through Augmented Reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060210111A1 (en) 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
JP2014219621A (ja) 2013-05-10 2014-11-20 株式会社タイトー 表示装置、表示制御プログラム
US20150222883A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US20150237336A1 (en) 2014-02-19 2015-08-20 Roger Sebastian Sylvan Stereoscopic display responsive to focal-point shift
WO2015184412A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3396062B2 (ja) * 1993-08-26 2003-04-14 オリンパス光学工業株式会社 画像表示装置
JP3298081B2 (ja) 1994-12-06 2002-07-02 日本電信電話株式会社 ヘッドマウントディスプレイ装置
WO2006013901A1 (ja) * 2004-08-04 2006-02-09 Asahi Glass Company, Limited 液晶レンズ素子および光ヘッド装置
US20100141852A1 (en) * 2008-12-05 2010-06-10 Robe Lighting S.R.O. Distortion Corrected Improved Beam Angle Range, Higher Output Digital Luminaire System
KR20130011692A (ko) 2011-07-22 2013-01-30 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8955973B2 (en) 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
US9740007B2 (en) * 2012-03-22 2017-08-22 Sony Corporation Display device, image processing device and image processing method, and computer program
US20140085426A1 (en) 2012-09-24 2014-03-27 Alces Technology, Inc. Structured light systems with static spatial light modulators
TWI481901B (zh) 2012-12-03 2015-04-21 Wistron Corp 頭戴式顯示裝置
RU2012154657A (ru) 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US20150106386A1 (en) 2013-10-11 2015-04-16 Microsoft Corporation Eye tracking
JP6146293B2 (ja) 2013-12-25 2017-06-14 ソニー株式会社 制御装置、制御方法および制御システム
US9671612B2 (en) 2014-01-29 2017-06-06 Google Inc. Dynamic lens for head mounted display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060210111A1 (en) 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
JP2014219621A (ja) 2013-05-10 2014-11-20 株式会社タイトー 表示装置、表示制御プログラム
US20150222883A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
US20150237336A1 (en) 2014-02-19 2015-08-20 Roger Sebastian Sylvan Stereoscopic display responsive to focal-point shift
WO2015184412A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022010152A1 (ko) * 2020-07-07 2022-01-13 삼성전자 주식회사 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
US11513359B1 (en) 2021-08-23 2022-11-29 Min Ho Lee Lens

Also Published As

Publication number Publication date
KR101958390B1 (ko) 2019-03-14
CN108369325A (zh) 2018-08-03
CN108369325B (zh) 2019-04-26
US20170160518A1 (en) 2017-06-08
JP2019507363A (ja) 2019-03-14
US10025060B2 (en) 2018-07-17
KR20180091014A (ko) 2018-08-14
KR20190027950A (ko) 2019-03-15
WO2017099824A1 (en) 2017-06-15
JP6502586B2 (ja) 2019-04-17

Similar Documents

Publication Publication Date Title
KR102038379B1 (ko) 초점 조정 가상 현실 헤드셋
US10937129B1 (en) Autofocus virtual reality headset
US10241569B2 (en) Focus adjustment method for a virtual reality headset
US10983354B2 (en) Focus adjusting multiplanar head mounted display
US11016301B1 (en) Accommodation based optical correction
US10317680B1 (en) Optical aberration correction based on user eye position in head mounted displays
US11106276B2 (en) Focus adjusting headset
US9984507B2 (en) Eye tracking for mitigating vergence and accommodation conflicts
KR102062658B1 (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
EP3179289B1 (en) Focus adjusting virtual reality headset
EP3987355B1 (en) Imaging device with field-of-view shift control
US10698218B1 (en) Display system with oscillating element
US10989927B2 (en) Image frame synchronization in a near eye display
US10859832B1 (en) Mitigating light exposure to elements of a focus adjusting head mounted display
US20230084541A1 (en) Compact imaging optics using spatially located, free form optical components for distortion compensation and image clarity enhancement

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right