KR20230122159A - 모션-대-광자 레이턴시 증강 현실 시스템 - Google Patents

Abstract

AR(augmented reality) 디스플레이 디바이스에서 모션-대-광자 레이턴시(motion-to-photon latency)를 감소시키기 위한 방법이 설명된다. 일 양태에서, 방법은 AR 디스플레이 디바이스의 GPU(Graphical Processing Unit)의 렌더링 엔진을 사용하여, AR 디스플레이 디바이스의 제1 자세에 기초하여 가상 콘텐츠의 렌더링된 3D 모델을 포함하는 이미지를 생성하는 단계, AR 디스플레이 디바이스의 디스플레이 제어기의 재투사 엔진을 사용하여, 제2 자세에 기초하여 이미지에 2차원 변환을 적용하여 변환된 이미지를 생성하는 단계, 및 변환된 이미지를 AR 디스플레이 디바이스의 디스플레이에 제공하는 단계를 포함한다.

Description

모션-대-광자 레이턴시 증강 현실 시스템

[상호 참조]

본 출원은 2020년 12월 30일자로 출원된 미국 가특허 출원 제63/132,055호의 우선권을 주장하는, 2021년 4월 9일자로 출원된 미국 출원 제17/301,636호의 계속 출원이고 그 우선권의 이익을 주장하며, 이 출원들 각각의 내용은 그 전체가 본 명세서에 참고로 포함된다.

[기술 분야]

본 명세서에 개시된 주제는 일반적으로 디스플레이 시스템에 관한 것이다. 구체적으로는, 본 개시내용은 AR(augmented reality) 디바이스들에서 모션-대-광자 레이턴시(motion-to-photon latency)를 감소시키기 위한 시스템들 및 방법들을 다룬다.

AR(augmented reality) 시스템들은 사용자의 현실 세계 환경을 증강시키기 위해 가상 콘텐츠를 제시한다. 예를 들어, 물리적 객체 위에 오버레이된 가상 콘텐츠는 물리적 객체가 움직이고 있고, 애니메이션되고 있다는 착시를 생성하기 위해 사용될 수 있다. 사용자가 착용한 증강 현실 디바이스는 가상 콘텐츠가 사용자의 현실 세계 환경에 물리적으로 존재한다는 착시를 생성하기 위해 사용자의 움직임에 기초하여 가상 콘텐츠의 프레젠테이션을 지속적으로 업데이트한다. 예를 들어, 사용자가 자신의 머리를 움직임에 따라, 증강 현실 디바이스는 가상 콘텐츠의 프레젠테이션을 업데이트하여 가상 콘텐츠가 사용자의 현실 세계 환경 내에서 동일한 지리적 위치에 머무른다는 착시를 생성한다. 그에 따라, 사용자가 물리적 객체 주위로 이동하는 것과 동일한 방식으로 사용자는 증강 현실 디바이스에 의해 제시되는 가상 객체 주위로 이동할 수 있다.

가상 객체가 사용자의 현실 세계 환경에 있다는 착시를 설득력 있게 만들기 위해, 증강 현실 디바이스는 디바이스의 움직임에 대해 거의 순간적으로 가상 객체의 프레젠테이션을 업데이트해야만 한다. 그러나, AR 디스플레이 디바이스가 환경 데이터를 처리하고, 가상 콘텐츠를 렌더링하고, 그 후 가상 콘텐츠를 투사해야만 하기 때문에, 가상 콘텐츠는 업데이트되는데 더 긴 시간이 걸릴 수 있다. 이 레이턴시는 또한 "모션-대-광자 레이턴시"라고 지칭될 수 있다. 임의의 인지가능한 모션-대-광자 레이턴시는 사용자의 경험을 손상시킨다.

임의의 특정 요소 또는 동작의 논의를 쉽게 식별하기 위해, 참조 번호의 최상위 숫자 또는 숫자들은 그 요소가 처음 도입되는 도면 번호를 가리킨다.
도 1은 일 예시적인 실시예에 따른 AR 디스플레이 디바이스를 동작시키기 위한 네트워크 환경을 도시하는 블록도이다.
도 2는 일 예시적인 실시예에 따른 AR 디스플레이 디바이스를 도시하는 블록도이다.
도 3은 일 예시적인 실시예에 따른 추적 시스템을 도시하는 블록도이다.
도 4는 일 예시적인 실시예에 따른 디스플레이 제어기를 도시하는 블록도이다.
도 5는 일 실시예에 따른 2차원 시프트 변환의 예를 도시한다.
도 6은 일 예시적인 실시예에 따른 예시적인 프로세스를 도시하는 블록도이다.
도 7은 일 예시적인 실시예에 따른 AR 디스플레이 디바이스에서 레이턴시를 감소시키기 위한 방법을 예시하는 흐름도이다.
도 8은 일 예시적인 실시예에 따른 AR 디스플레이 디바이스에서 레이턴시를 감소시키기 위한 방법을 예시하는 흐름도이다.
도 9는 예시적인 실시예에 따른, 본 개시내용이 구현될 수 있는 소프트웨어 아키텍처를 도시하는 블록도이다.
도 10은 일 예시적인 실시예에 따른, 머신으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위한 명령어 세트가 실행될 수 있는 컴퓨터 시스템 형태의 머신의 도식적 표현이다.

이하의 설명은 본 주제의 예시적인 실시예들을 예시하는 시스템들, 방법들, 기법들, 명령어 시퀀스들, 및 컴퓨팅 머신 프로그램 제품들을 설명한다. 이하의 설명에서는, 설명의 목적으로, 본 주제의 다양한 실시예들의 이해를 제공하기 위해 수많은 특정 상세사항들이 제시된다. 그러나, 본 기술분야의 통상의 기술자들에게는, 본 주제의 실시예들이 이러한 특정 상세사항들 중 일부 또는 다른 것 없이도 실시될 수 있다는 것이 명백할 것이다. 예들은 단지 가능한 변형들을 대표한다. 명시적으로 달리 언급되지 않는 한, 구조들(예를 들어, 모듈들과 같은 구조적 컴포넌트들)은 선택적이고, 조합되거나 세분될 수 있으며, (예를 들어, 절차, 알고리즘, 또는 다른 기능에서의) 동작들은 시퀀스가 변하거나 조합되거나 세분될 수 있다.

AR(Augmented Reality) 애플리케이션들은 사용자가 AR 디스플레이 디바이스(디스플레이 디바이스라고도 지칭됨)의 디스플레이에 렌더링된 가상 객체의 형태로 된 것과 같은 정보를 경험하도록 허용한다. 가상 객체의 렌더링은 물리적 객체에 대한 또는 (디스플레이 디바이스 외부의) 기준 프레임에 대한 디스플레이 디바이스의 위치에 기초할 수 있어서, 가상 객체가 디스플레이에 정확하게 나타나도록 한다. 가상 객체는 AR 디스플레이 디바이스의 사용자에 의해 인지되는 바와 같이 물리적 객체와 정렬되어 나타난다. 그래픽(예를 들어, 명령어 및 가이드를 포함하는 그래픽 요소)은 물리적 관심대상 객체에 부착되는 것으로 보인다. 이를 수행하기 위해, AR 디스플레이 디바이스는 물리적 객체를 검출하고, 물리적 객체의 위치에 대한 AR 디스플레이 디바이스의 자세를 추적한다. 자세는 기준 프레임에 대한 또는 또 다른 객체에 대한 객체의 위치와 오리엔테이션을 식별한다.

AR을 구현하는 것의 하나의 문제점은 가상 콘텐츠를 제시하는 것과 연관된 레이턴시이다. 사용자가 AR 디스플레이 디바이스를 이동함에 따라, 현실 세계 환경의 사용자의 뷰는 순간적으로 변화한다. AR 디스플레이 디바이스가 IMU(Inertial Measurement Unit) 데이터로 환경 데이터를 처리하고, 가상 콘텐츠를 렌더링하고, 사용자의 시야의 전방에 가상 콘텐츠를 투사해야 하기 때문에, 가상 콘텐츠는 변화하는데 더 긴 시간이 걸린다. 이 레이턴시는 "모션-대-광자 레이턴시"(예컨대, 사용자가 AR 디스플레이 디바이스를 이동시키는 것과 해당 특정 모션에 적응하는 그 가상 콘텐츠의 프레젠테이션 사이의 지속기간)로서 본 명세서에서 정의되고 지칭된다. 모션-대-광자 레이턴시는 가상 콘텐츠로 하여금 지터 현상(jitter)을 나타내거나 지연(lag)되는 것으로 보이게 야기하고 사용자의 증강 현실 경험을 손상시킨다.

모션-대-광자 레이턴시를 감소시키기 위한 이전의 해결책들은 특수화된 맞춤형 ASIC(application-specific integrated circuit) 디스플레이 제어기를 사용하는 것, 특수화된 FPGA 디스플레이 제어기를 구축하는 것, 및 데스크톱 레벨의 GPU(graphics processing unit) 상에서 2차 비동기 태스크들에 대한 레이턴시 완화를 수행하는 것을 포함한다. 이러한 해결책들은 맞춤화 및/또는 추가적인 자원들을 필요로 한다.

본 출원은 "표준" (예를 들어, 맞춤화되지 않은) 컴포넌트들을 사용하여 AR 디스플레이 디바이스에서 모션-대-광자 레이턴시를 감소시키기 위한 시스템 및 방법을 기술한다. 예를 들어, 본 시스템은 GPU와 비동기적으로 상용 모바일 SoC(system-on-chip)의 디스플레이 제어기(예를 들어, 일반적 또는 비맞춤화된 디스플레이 제어기)를 사용함으로써 AR 디스플레이 디바이스의 모션-대-광자 레이턴시를 최적화한다. 다시 말해서, 디스플레이 제어기에 의한 계산이 AR 디스플레이 디바이스에서 GPU(그래픽 프로세서)와 독립적으로 동작한다. 따라서, 시스템은, 이전 해결책의 접근법이 그러하듯이, 레이턴시 최적화기와 다른 프로세스들 사이의 GPU 액세스에 관해서 리소스 경합을 겪지 않는다.

본 출원은 단순화된 재투사(re-projection)(예를 들어, 레이턴시 완화) 단계로서 2차원 시프트 변환을 적용함으로써 AR 디스플레이 디바이스에서 모션-대-광자 레이턴시를 감소시키기 위한 방법을 기술한다. 이전의 모바일 AR 디스플레이 디바이스들은 맞춤형으로 구축된 코프로세서를 사용하거나 또는 GPU를 사용하여 3D 렌더링 작업부하에 대해 나란히 재투사 단계를 실행하였다. 전자는 시스템에 비용 및 복잡성을 추가하는 한편, 후자는 공유 하드웨어 자원의 경합을 초래하여 렌더링 및 재투사 둘 다의 서비스 품질에 영향을 준다. 본 출원은 (정상 디스플레이 파이프라인의 일부로서) 맞춤화되지 않은 디스플레이 제어기를 포함하는 AR 디스플레이 디바이스를 기술하고, 그것의 처리는 GPU에 비동기적으로 실행되어, 3D 렌더링에 대한 재투사의 어떠한 영향도 회피한다.

일 예시적인 실시예에서, 본 출원은 AR(augmented reality) 디스플레이 디바이스에서 디스플레이 레이턴시를 감소시키기 위한 방법을 기술한다. 일 양태에서, 방법은 AR 디스플레이 디바이스의 GPU(Graphical Processing Unit)의 렌더링 엔진을 사용하여, AR 디스플레이 디바이스의 제1 자세에 기초하여 가상 콘텐츠의 렌더링된 3D 모델을 포함하는 이미지를 생성하는 단계, AR 디스플레이 디바이스의 디스플레이 제어기의 재투사 엔진을 사용하여, 제2 자세에 기초하여 이미지에 2차원 변환을 적용하여 변환된 이미지를 생성하는 단계, 및 변환된 이미지를 AR 디스플레이 디바이스의 디스플레이에 제공하는 단계를 포함한다. 일 예시적인 실시예에서, 2차원 변환은 2차원 시프트 연산, 2차원 회전 연산, 및/또는 2차원 스케일링 연산을 포함한다.

그 결과, 본 명세서에 기술된 방법론들 중 하나 이상은 최근 자세에 기초하여 디스플레이 제어기를 사용하여 이미 렌더링된 프레임에 2차원 변환을 적용함으로써 전력 소비 절감 및 효율적인 교정이라는 기술적 문제를 해결하는 것을 용이하게 한다. 본 명세서에 기술된 방법은 레이턴시 감소를 제공함으로써 컴퓨터의 기능의 동작에 대한 개선을 제공한다. 이와 같이, 본 명세서에 기술된 방법론들 중 하나 이상은 특정 노력들 또는 컴퓨팅 자원들에 대한 필요성을 제거할 수 있다. 이러한 컴퓨팅 자원들의 예들은 프로세서 사이클들, 네트워크 트래픽, 메모리 사용, 데이터 저장 용량, 전력 소비, 네트워크 대역폭, 및 냉각 용량을 포함한다.

도 1은 일부 예시적인 실시예들에 따른, AR 디스플레이 디바이스(110)를 동작시키기에 적합한 네트워크 환경(100)을 예시하는 네트워크도이다. 네트워크 환경(100)은 네트워크(104)를 통해 서로 통신가능하게 결합된 AR 디스플레이 디바이스(110) 및 서버(112)를 포함한다. AR 디스플레이 디바이스(110) 및 서버(112)는 각각, 도 10에 대해 이하에 기술되는 바와 같이, 전체적으로 또는 부분적으로, 컴퓨터 시스템에서 구현될 수 있다. 서버(112)는 네트워크 기반 시스템의 일부일 수 있다. 예를 들어, 네트워크 기반 시스템은 가상 콘텐츠(예를 들어, 가상 객체들의 3차원 모델들)와 같은 추가 정보를 AR 디스플레이 디바이스(110)에 제공하는 클라우드 기반 서버 시스템일 수 있거나 이것을 포함할 수 있다.

사용자(106)는 AR 디스플레이 디바이스(110)를 동작시킨다. 사용자(106)는 인간 사용자(예를 들어, 인간), 머신 사용자(예를 들어, AR 디스플레이 디바이스(110)와 상호작용하도록 소프트웨어 프로그램에 의해 구성된 컴퓨터), 또는 이들의 임의의 적절한 조합(예를 들어, 머신에 의해 보조되는 인간 또는 인간에 의해 감독되는 머신)일 수 있다. 사용자(106)는 네트워크 환경(100)의 일부가 아니지만, AR 디스플레이 디바이스(110)와 연관된다.

AR 디스플레이 디바이스(110)는 스마트폰, 태블릿 컴퓨터, 또는 웨어러블 컴퓨팅 디바이스(예를 들어, 시계 또는 안경)와 같은 디스플레이를 갖는 컴퓨팅 디바이스일 수 있다. 컴퓨팅 디바이스는 핸드헬드일 수 있거나 또는 사용자(106)의 머리에 착탈식으로 장착될 수 있다. 일 예에서, 디스플레이는 AR 디스플레이 디바이스(110)의 카메라로 캡처되는 것을 디스플레이하는 스크린일 수 있다. 또 다른 예에서, 디바이스의 디스플레이는 웨어러블 컴퓨팅 안경의 렌즈들에서와 같이 투명할 수 있다. 다른 예들에서, 디스플레이는 자동차, 비행기, 트럭의 방풍 유리와 같은 투명 디스플레이일 수 있다. 디스플레이는 사용자의 시야(field of vision)를 커버하기 위해 불투명하고 사용자에 의해 착용가능할 수 있다.

사용자(106)는 AR 디스플레이 디바이스(110)의 애플리케이션을 동작시킨다. 애플리케이션은 2차원 물리적 객체(예를 들어, 사진), 3차원 물리적 객체(예를 들어, 조각상), 로케이션(예를 들어, 시설에서), 또는 현실 세계 물리적 환경에서의 임의의 기준들(예를 들어, 벽 또는 가구의 인지된 코너들)과 같은, 물리적 객체(108)에 의해 트리거되는 경험을 사용자(106)에게 제공하도록 구성되는 AR 애플리케이션을 포함할 수 있다. 예를 들어, 사용자(106)는 물리적 객체(108)의 이미지를 캡처하도록 AR 디스플레이 디바이스(110)의 카메라를 포인팅할 수 있다. 이미지는 AR 디스플레이 디바이스(110)의 AR 애플리케이션의 로컬 컨텍스트 인식 데이터세트 모듈을 사용하여 AR 디스플레이 디바이스(110)에서 국소적으로 추적되고 인식된다. 로컬 컨텍스트 인식 데이터세트 모듈은 현실 세계 물리적 객체들 또는 기준들과 연관된 가상 객체들의 라이브러리를 포함할 수 있다. 그 후, AR 애플리케이션은 이미지에 대응하는 추가 정보(예를 들어, 3차원 모델)를 생성하고, 인식된 이미지를 식별한 것에 응답하여 AR 디스플레이 디바이스(110)의 디스플레이에서 이 추가 정보를 제시한다. 캡처된 이미지가 AR 디스플레이 디바이스(110)에서 국소적으로 인식되지 않는 경우, AR 디스플레이 디바이스(110)는 네트워크(104)를 통해 서버(112)의 데이터베이스로부터 캡처된 이미지에 대응하는 추가 정보(예를 들어, 3차원 모델)를 다운로드한다.

AR 디스플레이 디바이스(110)는 추적 시스템(도시되지 않음)을 포함한다. 추적 시스템은 광학 센서들(예를 들어, 깊이 인에이블된 3D 카메라, 이미지 카메라), 관성 센서들(예를 들어, 자이로스코프, 가속도계), 무선 센서들(블루투스, Wi-Fi), GPS 센서, 및 오디오 센서를 사용하여 현실 세계 환경(102)에 대한 AR 디스플레이 디바이스(110)의 자세(예를 들어, 위치 및 오리엔테이션)를 추적하여 현실 세계 환경(102) 내에서의 AR 디스플레이 디바이스(110)의 로케이션을 결정한다.

일 예시적인 실시예에서, 서버(112)는 AR 디스플레이 디바이스(110)로부터의 센서 데이터(예를 들어, 이미지 및 깊이 데이터)에 기초하여 물리적 객체(108)를 검출 및 식별하고, 센서 데이터에 기초하여 AR 디스플레이 디바이스(110) 및 물리적 객체(108)의 자세를 결정하기 위해 사용될 수 있다. 서버(112)는 또한 AR 디스플레이 디바이스(110) 및 물리적 객체(108)의 자세에 기초하여 가상 객체를 생성할 수 있다. 서버(112)는 가상 객체를 AR 디스플레이 디바이스(110)에 통신한다. 객체 인식, 추적, 및 AR 렌더링은 AR 디스플레이 디바이스(110), 서버(112) 상에서, 또는 AR 디스플레이 디바이스(110)와 서버(112) 사이의 조합 상에서 수행될 수 있다.

도 1에 도시된 머신들, 데이터베이스들, 또는 디바이스들 중 임의의 것은 해당 머신, 데이터베이스, 또는 디바이스에 대해 본 명세서에 설명된 기능들 중 하나 이상을 수행하기 위해 특수 목적 컴퓨터가 되도록 소프트웨어에 의해 수정된(예를 들어, 구성되거나 프로그래밍된) 범용 컴퓨터에서 구현될 수 있다. 예를 들어, 본 명세서에 설명된 방법론들 중 임의의 하나 이상을 구현할 수 있는 컴퓨터 시스템이 도 7 내지 도 8과 관련하여 이하에 논의된다. 본 명세서에서 사용될 때, "데이터베이스"는 데이터 저장 자원이며, 텍스트 파일, 테이블, 스프레드시트, 관계형 데이터베이스(예로서, 객체 관계형 데이터베이스), 트리플 스토어(triple store), 계층적 데이터 저장소, 또는 이들의 임의의 적절한 조합으로서 구조화된 데이터를 저장할 수 있다. 더욱이, 도 1에 도시된 머신들, 데이터베이스들, 또는 디바이스들 중 임의의 2개 이상은 단일 머신이 되도록 조합될 수 있고, 임의의 단일 머신, 데이터베이스, 또는 디바이스에 대해 본 명세서에 설명된 기능들은 다수의 머신, 데이터베이스들, 또는 디바이스들 중에서 세분될 수 있다.

네트워크(104)는 머신들(예를 들어, 서버(112)), 데이터베이스들, 및 디바이스들(예를 들어, AR 디스플레이 디바이스(110)) 사이에서 또는 이들 중에서 통신을 가능하게 하는 임의의 네트워크일 수 있다. 그에 따라, 네트워크(104)는 유선 네트워크, 무선 네트워크(예를 들어, 모바일 또는 셀룰러 네트워크), 또는 이들의 임의의 적절한 조합일 수 있다. 네트워크(104)는 사설 네트워크, 공중 네트워크(예를 들어, 인터넷), 또는 이들의 임의의 적절한 조합을 구성하는 하나 이상의 부분을 포함할 수 있다.

도 2는 일부 예시적인 실시예들에 따른 AR 디스플레이 디바이스(110)의 모듈들(예를 들어, 컴포넌트들)을 도시하는 블록도이다. AR 디스플레이 디바이스(110)는 센서들(202), 디스플레이(204), 프로세서(208), 모바일 SoC(224), 및 저장 디바이스(206)를 포함한다. AR 디스플레이 디바이스(110)의 예들은 웨어러블 컴퓨팅 디바이스, 데스크톱 컴퓨터, 차량용 컴퓨터, 태블릿 컴퓨터, 내비게이션 디바이스, 휴대용 미디어 디바이스, 또는 스마트폰을 포함한다.

센서들(202)은, 예를 들어, 광학 센서(214)(예를 들어, 컬러 카메라, 열 카메라, 깊이 센서 및 하나 또는 다수의 그레이스케일, 전역적 셔터 추적 카메라들과 같은 카메라) 및 관성 센서(216)(예를 들어, 자이로스코프, 가속도계)를 포함한다. 센서들(202)의 다른 예들은 근접 또는 로케이션 센서(예를 들어, 근접장 통신, GPS, 블루투스, Wifi), 오디오 센서(예를 들어, 마이크로폰), 또는 이들의 임의의 적절한 조합을 포함한다. 본 명세서에서 설명된 센서들(202)은 예시의 목적을 위한 것이며, 따라서 센서들(202)은 전술된 것들로만 제한되지 않는다는 점에 유의한다.

디스플레이(204)는 프로세서(208)에 의해 생성된 이미지들을 디스플레이하도록 구성된 스크린 또는 모니터를 포함한다. 일 예시적인 실시예에서, 디스플레이(204)는 사용자(106)가 (AR 사용 사례에서) 디스플레이(204)를 통해 볼 수 있도록 투명 또는 반투명(semi-transparent)일 수 있다. 또 다른 예에서, LCOS 디스플레이와 같은 디스플레이(204)는 가상 콘텐츠의 각각의 프레임을 다수의 프레젠테이션으로 제시한다.

프로세서(208)는 AR 애플리케이션(210) 및 추적 시스템(212)을 포함한다. AR 애플리케이션(210)은 컴퓨터 비전을 이용하여 물리적 환경 또는 물리적 객체(108)를 검출하고 식별한다. AR 애플리케이션(210)은 식별된 물리적 객체(108) 또는 물리적 환경에 기초하여 가상 객체(예컨대, 3D 객체 모델)를 검색한다. AR 애플리케이션(210)은 디스플레이(204)에서 가상 객체를 렌더링한다. AR 애플리케이션에 대해, AR 애플리케이션(210)은 광학 센서(214)에 의해 캡처된 물리적 객체(108)의 이미지 상에 오버레이된 (예를 들어, 그 위에 중첩되거나, 또는 다른 방식으로 동시에 디스플레이되는) 가상 객체의 시각화를 생성하는 로컬 렌더링 엔진을 포함한다. 가상 객체의 시각화는 광학 센서(214)에 대한 물리적 객체(108)의 위치(예를 들어, 그것의 물리적 로케이션, 오리엔테이션, 또는 둘 모두)를 조정함으로써 조작될 수 있다. 유사하게, 가상 객체의 시각화는 물리적 객체(108)에 대한 AR 디스플레이 디바이스(110)의 자세를 조정함으로써 조작될 수 있다. VR 애플리케이션에 대해, AR 애플리케이션(210)은 AR 디스플레이 디바이스(110)의 자세에 기초하여 결정된 (디스플레이(204)에서의) 로케이션에서 디스플레이(204)에 가상 객체를 디스플레이한다.

또 다른 예시적인 실시예에서, AR 애플리케이션(210)은 캡처된 이미지가 AR 디스플레이 디바이스(110) 상의 이미지들 및 대응하는 추가 정보(예를 들어, 가상 모델 및 대화형 특징들)의 로컬 데이터베이스(예를 들어, 저장 디바이스(206))에 국소적으로 저장된 이미지와 매칭되는지를 결정하도록 구성된 정황(contextual) 로컬 이미지 인식 모듈(도시되지 않음)을 포함한다. 일 예에서, 정황 로컬 이미지 인식 모듈은 서버(112)로부터 주 콘텐츠 데이터세트를 검색하고, AR 디스플레이 디바이스(110)에 의해 캡처된 이미지에 기초하여 정황 콘텐츠 데이터세트를 생성하고 업데이트한다.

추적 시스템(212)은 AR 디스플레이 디바이스(110)의 자세를 추정한다. 예를 들어, 추적 시스템(212)은 광학 센서(214) 및 관성 센서(216)로부터의 이미지 데이터 및 대응하는 관성 데이터를 사용하여 기준 프레임(예를 들어, 현실 세계 환경(102))에 대한 AR 디스플레이 디바이스(110)의 로케이션 및 자세를 추적한다. 일 예에서, 추적 시스템(212)은 센서 데이터를 사용하여 AR 디스플레이 디바이스(110)의 3차원 자세를 결정한다. 3차원 자세는 사용자의 현실 세계 환경(102)에 대한 AR 디스플레이 디바이스(110)의 결정된 오리엔테이션 및 위치이다. 예를 들어, AR 디스플레이 디바이스(110)는 AR 디스플레이 디바이스(110)를 둘러싸는 현실 세계 환경(102)에서의 물리적 객체들로부터 AR 디스플레이 디바이스(110)의 상대적 위치 및 오리엔테이션을 식별하기 위해 사용자의 현실 세계 환경(102)의 이미지들뿐만 아니라 다른 센서 데이터를 사용할 수 있다. 추적 시스템(212)은 현실 세계 환경(102)에서의 물리적 객체들로부터의 AR 디스플레이 디바이스(110)의 상대적 위치 및 오리엔테이션의 변경들을 나타내는 AR 디스플레이 디바이스(110)의 업데이트된 3차원 자세들을 결정하기 위해 AR 디스플레이 디바이스(110)의 움직임들을 기술하는 업데이트된 센서 데이터를 계속적으로 수집하고 사용한다. 추적 시스템(212)은 AR 디스플레이 디바이스(110)의 3차원 자세를 모바일 SoC(224)에 제공한다.

모바일 SoC(224)는 그래픽 처리 유닛(218) 및 디스플레이 제어기(220)를 포함한다. 그래픽 처리 유닛(218)은 AR 애플리케이션(210)에 의해 제공되는 가상 콘텐츠 및 AR 디스플레이 디바이스(110)의 자세에 기초하여 가상 객체의 3D 모델의 프레임을 렌더링하도록 구성되는 렌더링 엔진(도시되지 않음)을 포함한다. 다시 말해서, 그래픽 처리 유닛(218)은 AR 디스플레이 디바이스(110)의 3차원 자세를 사용하여 디스플레이(204) 상에 제시될 가상 콘텐츠의 프레임들을 생성한다. 예를 들어, 그래픽 처리 유닛(218)은 3차원 자세를 사용하여 가상 콘텐츠의 프레임을 렌더링하며, 따라서 가상 콘텐츠는 사용자의 현실을 적절히 증강시키도록 디스플레이(204)에서 적절한 오리엔테이션 및 위치에서 제공된다. 예로서, 그래픽 처리 유닛(218)은 3차원 자세 데이터를 사용하여 가상 콘텐츠의 프레임을 렌더링하며, 따라서 디스플레이(204) 상에 제시될 때, 가상 콘텐츠가 사용자의 현실 세계 환경(102) 내의 물리적 객체와 중첩된다. 그래픽 처리 유닛(218)은, 사용자의 현실 세계 환경(102)에서의 물리적 객체들과 관련하여 사용자의 위치 및 오리엔테이션의 변경들을 반영하는, AR 디스플레이 디바이스(110)의 업데이트된 3차원 자세들에 기초하여 가상 콘텐츠의 업데이트된 프레임들을 생성한다.

그래픽 처리 유닛(218)은 렌더링된 프레임을 디스플레이 제어기(220)에 전송한다. 디스플레이 제어기(220)는 그래픽 처리 유닛(218)과 디스플레이(204) 사이의 중개자로서 위치되고, 그래픽 처리 유닛(218)으로부터 이미지 데이터(예를 들어, 렌더링된 프레임)를 수신하고, AR 디스플레이 디바이스(110)의 최근 자세에 기초하여 (2차원 변환을 수행함으로써) 프레임을 재투사하고, 재투사된 프레임을 디스플레이(204)에 제공한다. 2차원 변환 동작들의 예들은 2차원 시프트 동작, 2차원 회전 동작, 및/또는 2차원 스케일링 동작을 포함한다. (그래픽 처리 유닛(218) 대신에) 디스플레이 제어기(220)를 이용하여 프레임에 2차원 변환을 적용하는 것은 그래픽 처리 유닛(218)의 계산 자원을 보존한다. 특히, 디스플레이 제어기(220) 상에서의 재투사는 그래픽 처리 유닛(218)으로부터의 자원들이 이용가능해지기를 기다릴 필요가 없다. 이와 같이, 재투사 동작은 기존의 그래픽 처리 유닛(218) 작업부하를 선점하지 않는다. 그래픽 처리 유닛(218)으로부터의 컴퓨팅 자원들의 보존은 모션-대-광자 레이턴시의 감소에 기여한다.

저장 디바이스(206)는 가상 객체 콘텐츠(222)를 저장한다. 가상 객체 콘텐츠(222)는, 예를 들어, 시각적 기준들(예를 들어, 이미지들, QR 코드들) 및 대응하는 가상 콘텐츠(예를 들어, 가상 객체들의 3차원 모델)의 데이터베이스를 포함한다.

본 명세서에 설명된 모듈들 중 임의의 하나 이상은 하드웨어(예를 들어, 머신의 프로세서) 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있다. 예를 들어, 본 명세서에 설명된 임의의 모듈은 해당 모듈에 대해 본 명세서에 설명된 동작들을 수행하도록 프로세서를 구성할 수 있다. 또한, 이들 모듈들 중 임의의 2개 이상은 단일 모듈이 되도록 조합될 수 있고, 단일 모듈에 대해 본 명세서에서 설명된 기능들은 복수의 모듈 중에서 세분될 수 있다. 더욱이, 다양한 예시적인 실시예들에 따르면, 단일 머신, 데이터베이스, 또는 디바이스 내에 구현되는 것으로서 본 명세서에 설명된 모듈들은 다수의 머신, 데이터베이스, 또는 디바이스에 걸쳐 분산될 수 있다.

도 3은 일 예시적인 실시예에 따른 추적 시스템(212)을 도시한다. 추적 시스템(212)은, 예를 들어, 관성 센서 모듈(302), 광학 센서 모듈(304), 및 자세 추정 모듈(306)을 포함한다. 관성 센서 모듈(302)은 관성 센서(216)로부터의 관성 센서 데이터에 액세스한다. 광학 센서 모듈(304)은 광학 센서(214)로부터의 광학 센서 데이터에 액세스한다.

자세 추정 모듈(306)은 기준 프레임(예를 들어, 현실 세계 환경(102))에 대한 AR 디스플레이 디바이스(110)의 자세(예를 들어, 로케이션, 위치, 오리엔테이션)를 결정한다. 일 예시적인 실시예에서, 자세 추정 모듈(306)은 광학 센서(214)로 캡처된 이미지들로부터의 특징 포인트들의 3D 맵들 및 관성 센서(216)로 캡처된 관성 센서 데이터에 기초하여 AR 디스플레이 디바이스(110)의 자세를 추정하는 시각적 주행 거리 측정 시스템을 포함한다. 광학 센서 모듈(304)은 광학 센서(214)로부터의 이미지 데이터에 액세스한다.

일 예시적인 실시예에서, 자세 추정 모듈(306)은 AR 디스플레이 디바이스(110)의 위치 및 오리엔테이션을 계산한다. AR 디스플레이 디바이스(110)는 하나 이상의 관성 센서(216)를 갖는 강성 플랫폼 상에 장착된 하나 이상의 광학 센서(214)를 포함한다. 광학 센서(214)는 비중첩(분산된 개구) 또는 중첩(스테레오 또는 그 이상) 시야를 갖도록 장착될 수 있다.

일부 예시적인 실시예들에서, 자세 추정 모듈(306)은 강성 플랫폼(예를 들어, AR 디스플레이 디바이스(110)) 또는 리그(rig)에 결합되는 관성 센서(216)로부터의 관성 정보 및 광학 센서(214)로부터의 이미지 정보를 조합하는 알고리즘을 포함한다. 일 실시예에서, 리그는 관성 내비게이션 유닛을 갖는 강성 플랫폼 상에 장착된 다수의 카메라로 이루어져 있을 수 있다(예컨대, 리그는 따라서 적어도 하나의 관성 내비게이션 유닛 및 적어도 하나의 카메라를 가질 수 있다). 또 다른 예시적인 실시예에서, 본 기술된 모션-대-광자 레이턴시 최적화는 더 간단한 추적 모듈들(예컨대, 회전만이 추적되는 모듈)로 동작할 수 있고 따라서 카메라를 필요로 하지 않는다.

도 4는 일 예시적인 실시예에 따른 디스플레이 제어기(220)를 예시하는 블록도이다. 디스플레이 제어기(220)는 2D 시프트 재투사 엔진(402)을 포함한다. 2D 시프트 재투사 엔진(402)은 추적 시스템(212)으로부터 AR 디스플레이 디바이스(110)의 최근 자세에 액세스한다. 2D 시프트 재투사 엔진(402)은 AR 디스플레이 디바이스(110)의 자세(렌더링된 프레임을 계산하기 위해 사용됨), 및 AR 디스플레이 디바이스(110)의 최근 자세(추적 시스템(212)에 의해 디스플레이 제어기(220)에 제공됨)에 기초한 전역적 2차원 시프트 동작을 사용하여 그래픽 처리 유닛(218)에 의해 생성된 렌더링된 프레임을 재투사한다. 재투사 단계는 (3D 재투사보다는) 더 단순한 전역적 2D 시프트를 포함하기 때문에, 이미지 변환은 충분히 단순하고 따라서 디스플레이 제어기(220)에 의해 수행될 수 있다. 디스플레이 제어기(220)는 그래픽 처리 유닛(218)에 대해 비동기적으로 실행되며, 따라서 그래픽 처리 유닛(218) 기반 재투사 알고리즘의 추가적인 선점 비용으로 인해 손해를 입지 않는다.

도 5는 일 실시예에 따른 2차원 시프트 변환의 예를 도시한다. 호모그래피 기반 이미지 변환(502)은 3D 공간에서 2D 평면의 정확한 재투사를 허용하지만, 그래픽 처리 유닛(218) 상에서 동작하는 집약적인 계산 자원들을 이용한다. 2D 시프트 변환(504)은 2D 시프트 변환(504)이 단순한 2D 이미지 동작들(예를 들어, 병진들)만을 허용하기 때문에 호모그래피 기반 이미지 변환(502)보다 적은 계산 자원들을 사용하는 동작이다. 이와 같이, 2D 시프트 변환(504)은 표준 디스플레이 제어기(220) 상에서 수행될 수 있다.

도 6은 일 예시적인 실시예에 따른 예시적인 프로세스를 도시하는 블록도이다. 추적 시스템(212)은 AR 디스플레이 디바이스(110)의 자세(예를 들어, 자세 a)를 결정하기 위해 센서들(202)로부터 센서 데이터를 수신한다. 추적 시스템(212)은 그래픽 처리 유닛(218)에게 자세를 제공한다. 그래픽 처리 유닛(218)은 3D 렌더링 엔진(602)을 사용하여 추적 시스템(212)으로부터 수신된 자세(예를 들어, 자세 a)에 기초하여 (AR 애플리케이션(210)에 의해 제공되는) 가상 콘텐츠의 프레임(예를 들어, 프레임 a)을 (디스플레이(204) 내의) 로케이션에서 렌더링한다. 그래픽 처리 유닛(218)은 렌더링된 프레임(예를 들어, 프레임 a)을 디스플레이 제어기(220)에 제공한다.

디스플레이 제어기(220)는 추적 시스템(212)으로부터 최근 자세(예를 들어, 자세 b)를 수신한다. 다시 말해서, 자세 b는 자세 a보다 AR 디스플레이 디바이스(110)의 더 최근의 자세이다. 2D 시프트 재투사 엔진(402)은 렌더링된 프레임(예를 들어, 프레임 a)에 2차원 시프트 동작을 수행함으로써 렌더링된 프레임을 재투사하여 새로운 프레임(예를 들어, 프레임 b)을 생성한다. 디스플레이 제어기(220)는 디스플레이를 위해 프레임 b를 디스플레이(204)에 통신한다.

도 7은 일 예시적인 실시예에 따른 AR 디스플레이 디바이스에서 레이턴시를 감소시키기 위한 방법을 예시하는 흐름도이다. 루틴(700)에서의 동작들은 도 2와 관련하여 위에서 설명된 컴포넌트들(예를 들어, 모듈들, 엔진들)을 사용하여 AR 디스플레이 디바이스(110)에 의해 수행될 수 있다. 그에 따라, 루틴(700)은 AR 디스플레이 디바이스(110)를 참조하여 예를 들어 설명된다. 그러나, 루틴(700)의 동작들 중 적어도 일부는 다양한 다른 하드웨어 구성들 상에 배치될 수 있거나 또는 다른 곳에 존재하는 유사한 컴포넌트들에 의해 수행될 수 있다는 것을 알 것이다.

블록(702)에서, 추적 시스템(212)은 AR 디스플레이 디바이스(110)의 제1 자세를 결정한다. 블록(704)에서, 그래픽 처리 유닛(218)은 AR 애플리케이션(210)으로부터의 가상 콘텐츠에 액세스한다. 블록(706)에서, 그래픽 처리 유닛(218)은 렌더링 엔진을 이용하여 제1 프레임에서 가상 콘텐츠의 3D 모델을 렌더링한다. 블록(708)에서, 추적 시스템(212)은 AR 디스플레이 디바이스(110)의 제2 자세를 결정한다. 블록(710)에서, 디스플레이 제어기(220)는 제2 자세에 기초하여 제1 프레임에 2D 전역적 시프트 변환을 적용하여 디스플레이 제어기(220)의 2D 시프트 재투사 엔진(402)을 이용하여 제2 프레임을 생성한다. 블록(712)에서, 디스플레이 제어기(220)는 디스플레이를 위해 제2 프레임을 디스플레이(204)에 통신한다.

다른 실시예들이 유사한 기능들을 달성하기 위해 상이한 시퀀싱, 부가의 또는 더 적은 동작들, 및 상이한 명명법 또는 용어법을 사용할 수 있다는 것을 유의해야 한다. 일부 실시예들에서, 다양한 동작들이, 동기식 또는 비동기식 방식으로, 다른 동작들과 병렬로 수행될 수 있다. 본 명세서에 기술된 동작들은 동작들의 몇몇 원리들을 단순화된 형태로 예시하기 위해 선택되었다.

도 8은 일 예시적인 실시예에 따른 AR 디스플레이 디바이스에서 레이턴시를 감소시키기 위한 방법을 예시하는 흐름도이다. 루틴(800)에서의 동작들은 도 2와 관련하여 위에서 설명된 컴포넌트들(예를 들어, 모듈들, 엔진들)을 사용하여 AR 디스플레이 디바이스(110)에 의해 수행될 수 있다. 따라서, 루틴(800)은 AR 디스플레이 디바이스(110)를 참조하여 예를 들어 설명된다. 그러나, 루틴(800)의 동작들 중 적어도 일부는 다양한 다른 하드웨어 구성들 상에 배치될 수 있거나 또는 다른 곳에 존재하는 유사한 컴포넌트들에 의해 수행될 수 있다는 점을 알아야 한다.

블록(802)에서, 3D 렌더링 엔진(602)은 AR 디스플레이 디바이스(110)의 자세에 기초하여 3D 그래픽을 포함하는 이미지를 렌더링한다. 블록(804)에서, 디스플레이 제어기(220)는 디스플레이 제어기(220)의 2D 시프트 재투사 엔진(402)을 이용하여 업데이트된 자세에 기초하여 렌더링된 이미지에 2D 시프트 변환을 비동기적으로 적용한다. 블록(806)에서, 디스플레이(204)는 변환된 이미지를 디스플레이한다.

도 9는 본 명세서에서 설명되는 디바이스들 중 임의의 하나 이상에 설치될 수 있는 소프트웨어 아키텍처(904)를 나타내는 블록도(900)이다. 소프트웨어 아키텍처(904)는 프로세서들(920), 메모리(926), 및 I/O 컴포넌트들(938)을 포함하는 머신(902)과 같은 하드웨어에 의해 지원된다. 이 예에서, 소프트웨어 아키텍처(904)는 각각의 계층이 특정의 기능성을 제공하는 계층들의 스택으로서 개념화될 수 있다. 소프트웨어 아키텍처(904)는 운영 체제(912), 라이브러리들(910), 프레임워크들(908), 및 애플리케이션들(906)과 같은 계층들을 포함한다. 동작상, 애플리케이션(906)은 소프트웨어 스택을 통해 API 호출(950)을 기동하고 API 호출(950)에 응답하여 메시지(952)를 수신한다.

운영 체제(912)는 하드웨어 자원들을 관리하고 공통 서비스들을 제공한다. 운영 체제(912)는, 예를 들어, 커널(914), 서비스들(916), 및 드라이버들(922)을 포함한다. 커널(914)은 하드웨어와 다른 소프트웨어 계층들 사이의 추상화 계층으로서 작용한다. 예를 들어, 커널(914)은, 특히, 메모리 관리, 프로세서 관리(예를 들어, 스케줄링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스들(916)은 다른 소프트웨어 계층들에 대해 다른 공통 서비스들을 제공할 수 있다. 드라이버들(922)은 그 아래에 있는 하드웨어를 제어하거나 그와 인터페이스하는 것을 담당한다. 예를 들어, 드라이버(922)는 디스플레이 드라이버, 카메라 드라이버, BLUETOOTH® 또는 BLUETOOTH® Low Energy 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, USB(Universal Serial Bus) 드라이버), WI-FI® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.

라이브러리들(910)은 애플리케이션들(906)에 의해 사용되는 로우 레벨 공통 인프라스트럭처를 제공한다. 라이브러리들(910)은 메모리 할당 기능, 스트링 조작 기능, 수학 기능, 및 그와 유사한 것과 같은 기능들을 제공하는 시스템 라이브러리들(918)(예를 들어, C 표준 라이브러리)을 포함할 수 있다. 또한, 라이브러리들(910)은 미디어 라이브러리(예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), PNG(Portable Network Graphics)와 같은 다양한 미디어 포맷의 프레젠테이션과 조작을 지원하는 라이브러리들), 그래픽 라이브러리(예를 들어, 그래픽 콘텐츠를 디스플레이 상에서 2차원(2D) 및 3차원(3D)으로 렌더링하는데 이용되는 OpenGL 프레임워크), 데이터베이스 라이브러리(예를 들어, 다양한 관계형 데이터베이스 기능을 제공하는 SQLite), 웹 라이브러리(예를 들어, 웹 브라우징 기능성을 제공하는 WebKit)와 같은 API 라이브러리들(924)을 포함할 수 있다. 라이브러리들(910)은 또한, 많은 다른 API를 애플리케이션들(906)에 제공하는 매우 다양한 다른 라이브러리들(928)을 포함할 수 있다.

프레임워크들(908)은 애플리케이션들(906)에 의해 사용되는 하이 레벨 공통 인프라스트럭처를 제공한다. 예를 들어, 프레임워크들(908)은 다양한 GUI(graphical user interface) 기능, 하이 레벨 자원 관리, 및 하이 레벨 로케이션 서비스를 제공한다. 프레임워크들(908)은 애플리케이션들(906)에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 수 있고, 그 중 일부는 특정한 운영 체제 또는 플랫폼에 특유할 수 있다.

예시적인 실시예에서, 애플리케이션들(906)은 홈 애플리케이션(936), 연락처 애플리케이션(930), 브라우저 애플리케이션(932), 북 리더 애플리케이션(934), 로케이션 애플리케이션(942), 미디어 애플리케이션(944), 메시징 애플리케이션(946), 게임 애플리케이션(948), 및 제3자 애플리케이션(940)과 같은 광범위한 다른 애플리케이션들을 포함할 수 있다. 애플리케이션들(906)은 프로그램들에서 정의된 기능들을 실행하는 프로그램들이다. 객체 지향형 프로그래밍 언어(예를 들어, Objective-C, Java 또는 C++) 또는 절차형 프로그래밍 언어(예를 들어, C 또는 어셈블리 언어)와 같은 다양한 프로그래밍 언어가 다양한 방식으로 구조화된 애플리케이션들(906) 중 하나 이상을 생성하기 위해 이용될 수 있다. 특정 예에서, 제3자 애플리케이션(940)(예를 들어, 특정 플랫폼의 판매자 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ SDK(software development kit)를 이용하여 개발된 애플리케이션)은 IOS™, ANDROID™, WINDOWS® Phone, 또는 Linux OS, 또는 다른 모바일 운영 체제들과 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(940)은 본 명세서에 설명된 기능성을 용이하게 하기 위해 운영 체제(912)에 의해 제공되는 API 호출들(950)을 기동할 수 있다.

도 10은 머신(1000)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위한 명령어들(1008)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행가능 코드)이 실행될 수 있는 머신(1000)의 도식적 표현이다. 예를 들어, 명령어들(1008)은 머신(1000)으로 하여금 본 명세서에서 설명된 방법들 중 임의의 하나 이상을 실행하게 야기할 수 있다. 명령어들(1008)은 일반적인 비프로그래밍된 머신(1000)을, 설명되고 예시된 기능들을 설명된 방식으로 완수하도록 프로그래밍된 특정 머신(1000)이 되도록 변환한다. 머신(1000)은 독립형 디바이스로서 동작하거나 다른 머신들에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1000)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 자격으로, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1000)은 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(STB), PDA, 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 웨어러블 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 다른 스마트 디바이스들, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 머신(1000)에 의해 취해질 액션들을 특정하는 명령어들(1008)을 순차적으로 또는 다른 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이것들에만 제한되지는 않는다. 또한, 단일 머신(1000)만이 예시되어 있지만, "머신"이라는 용어는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 명령어들(1008)을 개별적으로 또는 공동으로 실행하는 머신들의 컬렉션을 포함하는 것으로 간주되어야 한다.

머신(1000)은 버스(1044)를 통해 서로 통신하도록 구성될 수 있는 프로세서들(1002), 메모리(1004), 및 I/O 컴포넌트들(1042)을 포함할 수 있다. 예시적인 실시예에서, 프로세서들(1002)(예를 들어, CPU(Central Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), DSP(Digital Signal Processor), ASIC, RFIC(Radio-Frequency Integrated Circuit), 다른 프로세서, 또는 이들의 임의의 적합한 조합)은, 예를 들어, 명령어들(1008)을 실행하는 프로세서(1006) 및 프로세서(1010)를 포함할 수 있다. "프로세서"라는 용어는 명령어들을 동시에 실행할 수 있는 2개 이상의 독립적 프로세서들(때때로 "코어들"이라고 지칭됨)을 포함할 수 있는 멀티-코어 프로세서들을 포함하도록 의도된다. 도 10은 다수의 프로세서(1002)를 도시하지만, 머신(1000)은 단일 코어를 갖는 단일 프로세서, 다수의 코어를 갖는 단일 프로세서(예를 들어, 멀티-코어 프로세서), 단일 코어를 갖는 다수의 프로세서, 다수의 코어를 갖는 다수의 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.

메모리(1004)는 메인 메모리(1012), 정적 메모리(1014), 및 저장 유닛(1016)을 포함하고, 둘 다 버스(1044)를 통해 프로세서들(1002)에 액세스 가능하다. 메인 메모리(1004), 정적 메모리(1014), 및 저장 유닛(1016)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구체화하는 명령어들(1008)을 저장한다. 명령어들(1008)은 또한, 머신(1000)에 의한 그의 실행 동안, 완전히 또는 부분적으로, 메인 메모리(1012) 내에, 정적 메모리(1014) 내에, 저장 유닛(1016) 내의 머신 판독가능 매체(1018) 내에, 프로세서들(1002) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적합한 조합으로 존재할 수 있다.

I/O 컴포넌트들(1042)은 입력을 수신하고, 출력을 제공하고, 출력을 생성하고, 정보를 전송하고, 정보를 교환하고, 측정들을 캡처하는 등을 위한 매우 다양한 컴포넌트들을 포함할 수 있다. 특정 머신에 포함되는 특정 I/O 컴포넌트들(1042)은 머신의 타입에 의존할 것이다. 예를 들어, 모바일 폰들과 같은 휴대용 머신들은 터치 입력 디바이스 또는 다른 그러한 입력 메커니즘들을 포함할 수 있는 반면, 헤드리스 서버 머신(headless server machine)은 그러한 터치 입력 디바이스를 포함하지 않을 가능성이 크다. I/O 컴포넌트들(1042)은 도 10에 도시되지 않은 많은 다른 컴포넌트들을 포함할 수 있다. 다양한 예시적인 실시예들에서, I/O 컴포넌트들(1042)은 출력 컴포넌트들(1028) 및 입력 컴포넌트들(1030)을 포함할 수 있다. 출력 컴포넌트들(1028)은 시각적 컴포넌트들(예를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 음극선관(CRT)과 같은 디스플레이), 음향 컴포넌트들(예를 들어, 스피커들), 햅틱 컴포넌트들(예를 들어, 진동 모터, 저항 메커니즘들), 다른 신호 생성기들 등을 포함할 수 있다. 입력 컴포넌트들(1030)은 영숫자 입력 컴포넌트들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광학 키보드, 또는 다른 영숫자 입력 컴포넌트들), 포인트 기반 입력 컴포넌트들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기구), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치들 또는 터치 제스처들의 로케이션 및/또는 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예를 들어, 마이크로폰), 및 그와 유사한 것을 포함할 수 있다.

추가의 예시적인 실시예들에서, I/O 컴포넌트(1042)는, 무엇보다도 특히, 바이오메트릭 컴포넌트(1032), 모션 컴포넌트(1034), 환경 컴포넌트(1036), 또는 위치 컴포넌트(1038)를 포함할 수 있다. 예를 들어, 바이오메트릭 컴포넌트(1032)는, 표현(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 신체 제스처, 또는 시선 추적)을 검출하고, 생체신호(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)를 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계-기반의 식별)하고, 및 그와 유사한 것을 하는 컴포넌트들을 포함한다. 모션 컴포넌트(1034)는, 가속도 센서 컴포넌트(예를 들어, 가속도계), 중력 센서 컴포넌트, 회전 센서 컴포넌트(예를 들어, 자이로스코프) 등을 포함한다. 환경 컴포넌트(1036)는, 예를 들어, 조명 센서 컴포넌트(예를 들어, 광도계), 온도 센서 컴포넌트(예를 들어, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트, 압력 센서 컴포넌트(예를 들어, 기압계), 음향 센서 컴포넌트(예를 들어, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 컴포넌트(예를 들어, 근처의 물체를 검출하는 적외선 센서), 가스 센서(예를 들어, 안전을 위해 유해성 가스의 농도를 검출하거나 대기 중의 오염 물질을 측정하는 가스 검출 센서), 또는 주변의 물리적 환경에 대응하는 표시, 측정, 또는 신호를 제공할 수 있는 기타 컴포넌트들을 포함한다. 위치 컴포넌트(1038)는, 로케이션 센서 컴포넌트(예를 들어, GPS 수신기 컴포넌트), 고도 센서 컴포넌트(예를 들어, 고도가 도출될 수 있는 기압을 검출하는 고도계 또는 기압계), 오리엔테이션 센서 컴포넌트(예를 들어, 자력계), 및 그와 유사한 것을 포함한다.

통신은 매우 다양한 기술을 이용하여 구현될 수 있다. I/O 컴포넌트(1042)는 제각기 결합(1024) 및 결합(1026)을 통해 머신(1000)을 네트워크(1020) 또는 디바이스(1022)에 결합하도록 동작가능한 통신 컴포넌트(1040)를 추가로 포함한다. 예를 들어, 통신 컴포넌트(1040)는 네트워크 인터페이스 컴포넌트 또는 네트워크(1020)와 인터페이스하기에 적합한 또 다른 디바이스를 포함할 수 있다. 추가 예에서, 통신 컴포넌트(1040)는, 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, NFC(Near Field Communication) 컴포넌트, Bluetooth® 컴포넌트(예를 들어, Bluetooth® Low Energy), Wi-Fi® 컴포넌트, 및 다른 양태를 통해 통신을 제공하는 기타 통신 컴포넌트를 포함할 수 있다. 디바이스(1022)는 또 다른 머신 또는 매우 다양한 주변 디바이스들 중 임의의 것(예를 들어, USB를 통해 결합된 주변 디바이스)일 수 있다.

더욱이, 통신 컴포넌트들(1040)은 식별자들을 검출할 수 있거나 또는 식별자들을 검출하도록 동작가능한 컴포넌트들을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(1040)은 RFID(Radio Frequency Identification) 태그 판독기 컴포넌트들, NFC 스마트 태그 검출 컴포넌트들, 광학 판독기 컴포넌트들(예를 들어, UPC(Universal Product Code) 바코드와 같은 1차원 바코드들, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra Code, UCC RSS-2D 바코드와 같은 다차원 바코드들, 및 다른 광학 코드들을 검출하는 광학 센서), 또는 음향 검출 컴포넌트들(예를 들어, 태깅된 오디오 신호들을 식별하는 마이크로폰들)을 포함할 수 있다. 또한, 인터넷 프로토콜(IP) 지오로케이션을 통한 로케이션, Wi-Fi® 신호 삼각측량을 통한 로케이션, 특정 로케이션을 나타낼 수 있는 NFC 비컨 신호를 검출하는 것을 통한 로케이션 등과 같은 다양한 정보가 통신 컴포넌트들(1040)을 통해 도출될 수 있다.

다양한 메모리들(예를 들어, 메모리(1004), 메인 메모리(1012), 정적 메모리(1014), 및/또는 프로세서들(1002)의 메모리) 및/또는 저장 유닛(1016)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구체화하거나 그에 의해 사용되는 명령어들 및 데이터 구조들(예를 들어, 소프트웨어)의 하나 이상의 세트를 저장할 수 있다. 이러한 명령어들(예를 들어, 명령어들(1008))은, 프로세서들(1002)에 의해 실행될 때, 다양한 동작들이 개시된 실시예들을 구현하게 야기한다.

명령어들(1008)은 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트들(1040)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 그리고 다수의 잘 알려진 전송 프로토콜들(예를 들어, HTTP(hypertext transfer protocol)) 중 어느 하나를 이용하여 송신 매체를 이용하여 네트워크(1020)를 통해 송신 또는 수신될 수 있다. 유사하게, 명령어들(1008)은 디바이스들(1022)에 대한 결합(1026)(예를 들어, 피어-투-피어 결합)을 통해 송신 매체를 이용하여 송신 또는 수신될 수 있다.

실시예가 특정 예시적인 실시예들을 참조하여 설명되었지만, 다양한 수정들 및 변경들이 본 개시내용의 더 넓은 범위로부터 벗어나지 않고 이들 실시예들에 대해 이루어질 수 있다는 것이 명백할 것이다. 그에 따라, 명세서 및 도면들은 제한적인 의미라기보다는 예시적인 의미로 간주되어야 한다. 본 명세서의 일부를 형성하는 첨부 도면들은, 제한이 아닌 예시로서, 주제가 실시될 수 있는 특정 실시예들을 도시한다. 예시된 실시예들은 본 기술분야의 통상의 기술자들이 본 명세서에 개시된 교시들을 실시할 수 있도록 충분히 상세하게 설명된다. 본 개시내용의 범위를 벗어나지 않고 구조적 및 논리적 치환들 및 변경들이 이루어질 수 있도록, 다른 실시예들이 이용될 수 있고 그로부터 도출될 수 있다. 따라서, 이 상세한 설명은 제한적인 의미로 취해져서는 안 되며, 다양한 실시예들의 범위는 첨부된 청구항들과 함께, 그러한 청구항들에 부여되는 등가물들의 전체 범위에 의해서만 정의된다.

본 발명 주제의 이러한 실시예들은 단지 편의를 위해 그리고 실제로 하나보다 많은 것이 개시되는 경우 본 출원의 범위를 임의의 단일 발명 또는 발명 개념으로 자발적으로 제한하려는 의도 없이 "발명"이라는 용어에 의해 개별적으로 및/또는 집합적으로 본 명세서에서 지칭될 수 있다. 따라서, 특정 실시예들이 본 명세서에 예시되고 기술되었지만, 동일한 목적을 달성하기 위해 계산된 임의의 배열이 도시된 특정 실시예들을 대체할 수 있다는 점을 알아야 한다. 본 개시내용은 다양한 실시예들의 임의의 그리고 모든 적응들 또는 변형들을 커버하도록 의도된다. 상기 실시예들의 조합들, 및 본 명세서에 구체적으로 설명되지 않은 다른 실시예들은 상기 설명을 검토하면 본 기술분야의 통상의 기술자들에게 명백할 것이다.

본 개시내용의 요약서는 독자가 기술적 개시내용의 본질을 신속하게 확인할 수 있게 하기 위해 제공된다. 그것은 청구항들의 범위 또는 의미를 해석하거나 제한하기 위해 사용되지 않을 것이라는 이해 하에 제출된다. 또한, 전술한 상세한 설명에서, 본 개시내용을 간소화할 목적으로 다양한 특징들이 단일 실시예에서 함께 그룹화되는 것을 알 수 있다. 이러한 개시 방법은 청구된 실시예들이 각각의 청구항에 명시적으로 기재된 것보다 더 많은 특징들을 요구한다는 의도를 반영하는 것으로서 해석되지 말아야 한다. 오히려, 이하의 청구항들이 반영하는 바와 같이, 본 발명 주제는 단일의 개시된 실시예의 모든 특징들보다 적은 것에 있다. 따라서, 이하의 청구항들은 이로써 상세한 설명에 포함되며, 각각의 청구항은 개별 실시예로서 그 자체로 성립한다.

예들

예 1은 AR(augmented reality) 디스플레이 디바이스에서 모션-대-광자 레이턴시를 감소시키기 위한 방법으로서, 이 방법은: AR 디스플레이 디바이스의 GPU(Graphical Processing Unit)의 렌더링 엔진을 이용하여, AR 디스플레이 디바이스의 제1 자세에 기초하여 가상 콘텐츠의 렌더링된 3D 모델을 포함하는 이미지를 생성하는 단계; AR 디스플레이 디바이스의 디스플레이 제어기의 재투사 엔진을 이용하여, 제2 자세에 기초하여 이미지에 2차원 시프트 변환을 적용하여 변환된 이미지를 생성하는 단계; 및 변환된 이미지를 AR 디스플레이 디바이스의 디스플레이에 제공하는 단계를 포함한다.

예 2는 예 1을 포함하고, 제1 시간에 AR 디스플레이 디바이스의 복수의 센서로부터의 제1 센서 데이터에 액세스하는 단계; AR 디스플레이 디바이스의 추적 시스템을 사용하여, 제1 센서 데이터에 기초하여 AR 디스플레이 디바이스의 제1 자세를 결정하는 단계; 제1 시간에 후속하는 제2 시간에 AR 디스플레이 디바이스의 복수의 센서로부터의 제2 센서 데이터에 액세스하는 단계; 및 AR 디스플레이 디바이스의 추적 시스템을 사용하여, 제2 센서 데이터에 기초하여 AR 디스플레이 디바이스의 제2 자세를 결정하는 단계를 추가로 포함한다.

예 3은 예 1을 포함하고, AR 디스플레이 디바이스의 AR 애플리케이션을 사용하여, 가상 콘텐츠를 생성하는 단계를 추가로 포함한다.

예 4는 예 1을 포함하며, 여기서 2차원 변환은 이미지 내의 가상 콘텐츠의 3D 모델의 전역적 2차원 시프트 동작, 회전 동작, 또는 스케일링 동작을 포함한다.

예 5는 예 1을 포함하고, 여기서 디스플레이 제어기의 재투사 엔진은 GPU의 렌더링 엔진과 비동기적으로 동작한다.

예 6은 예 5를 포함하며, 여기서 이미지에 2차원 변환을 적용하는 것은 GPU의 렌더링 엔진 없이 수행된다.

예 7은 예 1을 포함하고, 여기서 디스플레이 제어기는 맞춤화되지 않은 디스플레이 제어기를 포함한다.

예 8은 컴퓨팅 장치로서, 프로세서; 및 명령어들을 저장하는 메모리를 포함하고, 명령어들은, 프로세서에 의해 실행될 때, 장치가: AR 디스플레이 디바이스의 GPU(Graphical Processing Unit)의 렌더링 엔진을 이용하여, AR 디스플레이 디바이스의 제1 자세에 기초하여 가상 콘텐츠의 렌더링된 3D 모델을 포함하는 이미지를 생성하고; AR 디스플레이 디바이스의 디스플레이 제어기의 재투사 엔진을 사용하여, 제2 자세에 기초하여 이미지에 2차원 시프트 변환을 적용하여 변환된 이미지를 생성하고; 및 변환된 이미지를 AR 디스플레이 디바이스의 디스플레이에 제공하도록 구성한다.

예 9는 예 8을 포함하고, 여기서 명령어들은 장치가: 제1 시간에 AR 디스플레이 디바이스의 복수의 센서로부터의 제1 센서 데이터에 액세스하고; AR 디스플레이 디바이스의 추적 시스템을 사용하여, 제1 센서 데이터에 기초하여 AR 디스플레이 디바이스의 제1 자세를 결정하고; 제1 시간에 후속하는 제2 시간에 AR 디스플레이 디바이스의 복수의 센서로부터의의 제2 센서 데이터에 액세스하고; 및 AR 디스플레이 디바이스의 추적 시스템을 사용하여, 제2 센서 데이터에 기초하여 AR 디스플레이 디바이스의 제2 자세를 결정하도록 추가로 구성한다.

예 10은 예 8을 포함하고, 여기서 명령어들은 장치가: AR 디스플레이 디바이스의 AR 애플리케이션을 사용하여, 가상 콘텐츠를 생성하도록 추가로 구성한다.

예 11은 예 8을 포함하고, 여기서 2차원 변환은, 이미지 내의 가상 콘텐츠의 3D 모델의 전역적 2차원 시프트 동작, 회전 동작, 또는 스케일링 동작을 포함한다.

예 12는 예 8을 포함하고, 여기서 디스플레이 제어기의 재투사 엔진은 GPU의 렌더링 엔진과 비동기적으로 동작한다.

예 13은 예 12를 포함하며, 여기서 이미지에 2차원 변환을 적용하는 것은 GPU의 렌더링 엔진 없이 수행된다.

예 14는 예 8을 포함하고, 여기서 디스플레이 제어기는 맞춤화되지 않은 디스플레이 제어기를 포함한다.

예 15는 비일시적 컴퓨터 판독가능 저장 매체이고, 컴퓨터 판독가능 저장 매체는 명령어들을 포함하고, 명령어들은, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금: AR 디스플레이 디바이스의 GPU(Graphical Processing Unit)의 렌더링 엔진을 이용하여, AR 디스플레이 디바이스의 제1 자세에 기초하여 가상 콘텐츠의 렌더링된 3D 모델을 포함하는 이미지를 생성하고; AR 디스플레이 디바이스의 디스플레이 제어기의 재투사 엔진을 사용하여, 제2 자세에 기초하여 이미지에 2차원 시프트 변환을 적용하여 변환된 이미지를 생성하고; 및 변환된 이미지를 AR 디스플레이 디바이스의 디스플레이에 제공하도록 야기한다.

예 16은 예 15를 포함하고, 여기서 명령어들은 컴퓨터가: 제1 시간에 AR 디스플레이 디바이스의 복수의 센서로부터의 제1 센서 데이터에 액세스하고; AR 디스플레이 디바이스의 추적 시스템을 사용하여, 제1 센서 데이터에 기초하여 AR 디스플레이 디바이스의 제1 자세를 결정하고; 제1 시간에 후속하는 제2 시간에 AR 디스플레이 디바이스의 복수의 센서로부터의의 제2 센서 데이터에 액세스하고; 및 AR 디스플레이 디바이스의 추적 시스템을 사용하여, 제2 센서 데이터에 기초하여 AR 디스플레이 디바이스의 제2 자세를 결정하도록 추가로 구성한다.

예 17은 예 15를 포함하고, 여기서 명령어들은 컴퓨터가: AR 디스플레이 디바이스의 AR 애플리케이션을 사용하여, 가상 콘텐츠를 생성하도록 추가로 구성한다.

예 18은 예 15를 포함하며, 여기서 2차원 변환은 이미지 내의 가상 콘텐츠의 3D 모델의 전역적 2차원 시프트 동작, 회전 동작, 또는 스케일링 동작을 포함한다.

예 19는 예 15를 포함하고, 여기서 디스플레이 제어기의 재투사 엔진은 GPU의 렌더링 엔진과 비동기적으로 동작한다.

예 20은 예 19를 포함하며, 여기서 이미지에 2차원 변환을 적용하는 것은 GPU의 렌더링 엔진 없이 수행된다.

Claims (20)

1. AR(augmented reality) 디스플레이 디바이스에서 모션-대-광자 레이턴시(motion-to-photon latency)를 감소시키기 위한 방법으로서:
   상기 AR 디스플레이 디바이스의 GPU(Graphical Processing Unit)의 렌더링 엔진을 사용하여, 상기 AR 디스플레이 디바이스의 제1 자세에 기초하여 가상 콘텐츠의 렌더링된 3D 모델을 포함하는 이미지를 생성하는 단계;
   상기 AR 디스플레이 디바이스의 디스플레이 제어기의 재투사 엔진을 사용하여, 제2 자세에 기초하여 상기 이미지에 2차원 시프트 변환을 적용하여 변환된 이미지를 생성하는 단계; 및
   상기 변환된 이미지를 상기 AR 디스플레이 디바이스의 디스플레이에 제공하는 단계를 포함하는 방법.
2. 제1항에 있어서,
   제1 시간에 상기 AR 디스플레이 디바이스의 복수의 센서로부터의 제1 센서 데이터에 액세스하는 단계;
   상기 AR 디스플레이 디바이스의 추적 시스템을 사용하여, 상기 제1 센서 데이터에 기초하여 상기 AR 디스플레이 디바이스의 제1 자세를 결정하는 단계;
   상기 제1 시간에 후속하는 제2 시간에 상기 AR 디스플레이 디바이스의 복수의 센서로부터의 제2 센서 데이터에 액세스하는 단계; 및
   상기 AR 디스플레이 디바이스의 추적 시스템을 사용하여, 상기 제2 센서 데이터에 기초하여 상기 AR 디스플레이 디바이스의 제2 자세를 결정하는 단계를 추가로 포함하는 방법.
3. 제1항에 있어서,
   상기 AR 디스플레이 디바이스의 AR 애플리케이션을 사용하여, 상기 가상 콘텐츠를 생성하는 단계를 추가로 포함하는 방법.
4. 제1항에 있어서, 상기 2차원 변환은 상기 이미지 내의 가상 콘텐츠의 3D 모델의 전역적 2차원 시프트 동작, 회전 동작, 또는 스케일링 동작을 포함하는 방법.
5. 제1항에 있어서, 상기 디스플레이 제어기의 재투사 엔진은 상기 GPU의 렌더링 엔진과 비동기적으로 동작하는 방법.
6. 제5항에 있어서, 상기 이미지에 상기 2차원 변환을 적용하는 것은 상기 GPU의 렌더링 엔진 없이 수행되는 방법.
7. 제1항에 있어서, 상기 디스플레이 제어기는 맞춤화되지 않은 디스플레이 제어기를 포함하는 방법.
8. 컴퓨팅 장치로서:
   프로세서; 및
   명령어들을 포함하는 메모리를 포함하고, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 장치가:
   AR 디스플레이 디바이스의 GPU(Graphical Processing Unit)의 렌더링 엔진을 사용하여, 상기 AR 디스플레이 디바이스의 제1 자세에 기초하여 가상 콘텐츠의 렌더링된 3D 모델을 포함하는 이미지를 생성하고;
   상기 AR 디스플레이 디바이스의 디스플레이 제어기의 재투사 엔진을 사용하여, 제2 자세에 기초하여 상기 이미지에 2차원 시프트 변환을 적용하여 변환된 이미지를 생성하고; 및
   상기 변환된 이미지를 상기 AR 디스플레이 디바이스의 디스플레이에 제공하도록 구성하는 컴퓨팅 장치.
9. 제8항에 있어서, 상기 명령어들은 상기 장치가:
   제1 시간에 상기 AR 디스플레이 디바이스의 복수의 센서로부터의 제1 센서 데이터에 액세스하고;
   상기 AR 디스플레이 디바이스의 추적 시스템을 사용하여, 상기 제1 센서 데이터에 기초하여 상기 AR 디스플레이 디바이스의 제1 자세를 결정하고;
   상기 제1 시간에 후속하는 제2 시간에 상기 AR 디스플레이 디바이스의 복수의 센서로부터의의 제2 센서 데이터에 액세스하고; 및
   상기 AR 디스플레이 디바이스의 추적 시스템을 사용하여, 상기 제2 센서 데이터에 기초하여 상기 AR 디스플레이 디바이스의 제2 자세를 결정하도록 추가로 구성하는 컴퓨팅 장치.
10. 제8항에 있어서, 상기 명령어들은 상기 장치가:
    상기 AR 디스플레이 디바이스의 AR 애플리케이션을 사용하여, 상기 가상 콘텐츠를 생성하도록 추가로 구성하는 컴퓨팅 장치.
11. 제8항에 있어서, 상기 2차원 변환은 상기 이미지 내의 가상 콘텐츠의 3D 모델의 전역적 2차원 시프트 동작, 회전 동작, 또는 스케일링 동작을 포함하는 컴퓨팅 장치.
12. 제8항에 있어서, 상기 디스플레이 제어기의 재투사 엔진은 상기 GPU의 렌더링 엔진과 비동기적으로 동작하는 컴퓨팅 장치.
13. 제12항에 있어서, 상기 이미지에 상기 2차원 변환을 적용하는 것은 상기 GPU의 렌더링 엔진 없이 수행되는 컴퓨팅 장치.
14. 제8항에 있어서, 상기 디스플레이 제어기는 맞춤화되지 않은 디스플레이 제어기를 포함하는 컴퓨팅 장치.
15. 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 판독가능 저장 매체는 명령어들을 포함하고, 상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금:
    AR 디스플레이 디바이스의 GPU(Graphical Processing Unit)의 렌더링 엔진을 사용하여, 상기 AR 디스플레이 디바이스의 제1 자세에 기초하여 가상 콘텐츠의 렌더링된 3D 모델을 포함하는 이미지를 생성하고;
    상기 AR 디스플레이 디바이스의 디스플레이 제어기의 재투사 엔진을 사용하여, 제2 자세에 기초하여 상기 이미지에 2차원 시프트 변환을 적용하여 변환된 이미지를 생성하고; 및
    상기 변환된 이미지를 상기 AR 디스플레이 디바이스의 디스플레이에 제공하도록 야기하는 컴퓨터 판독가능 저장 매체.
16. 제15항에 있어서, 상기 명령어들은 상기 컴퓨터가:
    제1 시간에 상기 AR 디스플레이 디바이스의 복수의 센서로부터의 제1 센서 데이터에 액세스하고;
    상기 AR 디스플레이 디바이스의 추적 시스템을 사용하여, 상기 제1 센서 데이터에 기초하여 상기 AR 디스플레이 디바이스의 제1 자세를 결정하고;
    상기 제1 시간에 후속하는 제2 시간에 상기 AR 디스플레이 디바이스의 복수의 센서로부터의의 제2 센서 데이터에 액세스하고; 및
    상기 AR 디스플레이 디바이스의 추적 시스템을 사용하여, 상기 제2 센서 데이터에 기초하여 상기 AR 디스플레이 디바이스의 제2 자세를 결정하도록 추가로 구성하는 컴퓨터 판독가능 저장 매체.
17. 제15항에 있어서, 상기 명령어들은 상기 컴퓨터가:
    상기 AR 디스플레이 디바이스의 AR 애플리케이션을 사용하여, 상기 가상 콘텐츠를 생성하도록 추가로 구성하는 컴퓨터 판독가능 저장 매체.
18. 제15항에 있어서, 상기 2차원 변환은 상기 이미지 내의 가상 콘텐츠의 3D 모델의 전역적 2차원 시프트 동작, 회전 동작, 또는 스케일링 동작을 포함하는 컴퓨터 판독가능 저장 매체.
19. 제15항에 있어서, 상기 디스플레이 제어기의 재투사 엔진은 상기 GPU의 렌더링 엔진과 비동기적으로 동작하는 컴퓨터 판독가능 저장 매체.
20. 제19항에 있어서, 상기 이미지에 상기 2차원 변환을 적용하는 것은 상기 GPU의 렌더링 엔진 없이 수행되는 컴퓨터 판독가능 저장 매체.
    

Images