KR20180081162A

KR20180081162A - 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식

Info

Publication number: KR20180081162A
Application number: KR1020187018957A
Authority: KR
Inventors: 스티브 라발; 피터 지오카리스
Original assignee: 아큘러스 브이알, 엘엘씨
Priority date: 2013-05-30
Filing date: 2014-05-29
Publication date: 2018-07-13
Also published as: KR20170102585A; EP3486707A1; EP3004966A1; KR101777820B1; BR112015030037A2; CN107577045B; US20160238841A1; MX2015016340A; AU2014274101A1; US20200310535A1; EP3486707B1; EP3004966B1; US20180129047A1; KR20160013906A; CN107577045A; CA2951417C; AU2014274101B2; US10281978B2; US9063330B2; EP3004966A4

Abstract

헤드 마운트 디스플레이를 위한 예측적 트래킹 방법 및 장치가 개시된다. 방법은 하나 이상의 3차원 각속도 측정을 헤드 마운트 디스플레이를 모니터링하는 센서로부터 획득하는 단계 및 하나 이상의 3차원 각속도 측정에 기반하여 하나 이상의 각속도 측정이 헤드 마운트 디스플레이가 실질적으로 정지하고 있음을 가리킬 때 예측 간격이 실질적으로 0이 되고 하나 이상의 각속도 측정이 헤드 마운트 디스플레이가 기결정된 임계치 이상의 각속도로 움직이고 있음을 가리킬 때 예측 간격이 기결정된 지연 간격까지 증가하도록 예측 간격을 설정하는 단계를 포함한다. 방법은 하나 이상의 3차원 각속도 측정으로 예측 간격 동안 추정되어 생성된 예측 간격에 대응하는 시간에서의 예측된 방향을 사용하여 헤드 마운트 디스플레이의 3차원 방향을 예측하는 단계; 및 예측된 방향에 대응하는, 헤드 마운트 디스플레이에서 표시될 렌더링된 이미지를 생성하는 단계를 더 포함한다.

Description

헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 {PERCEPTION BASED PREDICTIVE TRACKING FOR HEAD MOUNTED DISPLAYS}

저작권과 트레이드 드레스의 안내

본 특허 문서의 명세서의 부분은 저작권 보호 대상인 요소를 포함하고 있다. 본 특허 문서는 소유자의 트레이드 드레스이거나 될 수 있는 요소를 도시 및/또는 서술하고 있을 수 있다. 저작권 및 트레이드 드레스의 소유자는 임의의 자에 의한 미국 특허상표청에 제출되거나 기록된 바와 같은 특허 명세서복제 재생산에 이의를 제기하지 않으나, 모든 저작권 및 트레이드 드레스 권리를 보유한다.

분야

본 명세서는 헤드 마운트 디스플레이를 위한 예측적 트래킹에 관한 것이다.

관련 분야의 설명

헤드 마운트 디스플레이는 오랫동안 가상 현실과 증강 현실 시스템에서 사용되어 왔다. 일반적으로, 가상 현실 시스템은 착용자의 눈을 완전히 감싸고 현실을 "가상" 현실로 대체한다. 이들 가상 현실 환경은 의도적으로 또는 가상 현실 시스템의 성능 부족으로 인해 조잡할 수 있다. 하지만. 가상 현실 환경은 또한 자세하고, 상호작용적이며 꽤 복잡하고, 가상의 사람, 대화 및 경험을 포함할 수 있다. 가상 환경의 가장 명백한 전형은 플레이어 캐릭터가 게임 세상과 상호작용하는 비디오 게임일 수 있다. 하지만, 가상 환경은 반드시 게임일 필요가 없고, 대신 교육적 경험, 그룹 활동(예컨대, 역사적 장소의 여행) 또는 단순히 친구를 대표하는 아바타와 가상의 방에 앉아 대화를 하는 것일 수 있다.

반면, 증강 현실 시스템은 일반적으로 착용자의 눈 앞에 오버레이 반투명 또는 투명 스크린 또는 스크린들을 제공하여 현실이 추가적인 정보, 그래픽적 표시 또는 보충적 데이터로 "증강"된다. 예를 들어, 증강 현실은 "가상"의 사람, 아이템, 차, 방, 공간, 표지판 및 다른 데이터를 열람자의 현실에 겹쳐 놓는다. 단순한 증강 현실 시스템은 단순히 열람되는 장면 또는 영역에 관한 정보(예컨대, 온도, 착용자의 다가오는 약속, 이동 속도, GPS 위치, 기타등등)를 제공할 수 있다. 보다 복잡한 증강 현실 시스템은 "가상"의 유형의 객체를 예컨대 벽, 미술품, 개별적이고 유사한 요소와 같은 장면에 겹쳐 놓을 수 있다. 이들은 실시간으로 업데이트되어 증강 현실 디스플레이에 표시되는 이미지가 착용자에게 위치 내에 존재하는 것처럼 보일 수 있다.

각 시스템에서, 그러한 헤드셋의 착용자의 움직임은 사용자 움직임에 반응하고 표시될 이미지를 업데이트하기 위하여 추적될 수 있다. 이 추적은 예컨대 헤드셋의 위치, 움직임 및 방향과 관련된 데이터를 생성하는 자이로스코프, 가속도계, 자기계 및, 일부 경우에는 카메라 또는 색 센서와 같은 센서를 사용한다. 이 트래킹 데이터는 착용자 움직임에 응답하여 헤드셋의 디스플레이를 조정하기 위해 사용되는 각속도, 선형 가속도 및 중력 데이터와 같은 정보를 생성하기 위해 사용될 수 있다.

예측적 움직임은 과거부터 가상 현실 및 증강 현실 헤드셋에 통합되어 왔다. 하지만, 상기 확인된 센서들의 샘플율은 일반적으로 인간의 시력의 예민성에 비해 꽤 길다. - 수십 밀리초 단위이다 - 샘플 간 시간이 길기 때문에, 이들 예측은 종종 소위 "오버슈트"로 불리는 결과를 낳는데, 예측이 실제 머리 위치와 방향을 오버슈트하거나 극심하게 매끈하게 되어 예측이 단순히 보다 좋은 결과를 내는 움직임을 예측하지 않는 것이 아닌, 충분히 부정확하게 되는 다른 문제를 회피해야 한다.

본 발명의 내용 중에 포함되어 있다.

도 1은 가상 현실 시스템의 개요이다.
도 2는 컴퓨팅 장치의 블록도이다.
도 3은 가상 현실 헤드셋의 블록도이다.
도 4는 가상 현실 시스템의 기능적 다이어그램이다.
도 5는 가상 현실 헤드셋을 착용하고 있는 사용자이다.
도 6은 도 6a와 6b로 이루어져 있고, 예측적 움직임 트래킹에 의해 생성되는 지터의 예시이다.
도 7은 도 7a, 7b 및 7c로 이루어져 있고, 실제 움직임과 비교한 예측적 움직임 트래킹의 예시이다.
도 8은 예측적 움직임 트래킹 프로세스에 적용되는 바와 같은 지각적으로 튜닝된 필터링을 도시한다.
본 명세서 내에서, 도면에 나타나는 요소에는 3자리의 도면부호가 할당되는데, 가장 큰 자리수는 도면 번호이고 두 작은 자리수는 요소를 가리킨다. 도면과 관련하여 서술되지 않은 요소는 동일한 두 작은 자리수의 도면부호를 가지는 먼저 서술된 요소와 동일한 특징과 기능을 가지는 것으로 간주될 수 있다.

가상 현실 시스템의 지터, 지연 및 전체 응답을 포함하는 다양한 인자를 고려하는 운동 예측의 동적 애플리케이션은 예측적 움직임 트래킹과 관련된 문제를 중대하게 감소시킬 수 있다. 예를 들어, 움직이는 헤드셋에 그 움직임의 크기에 적절한 도(degree)로만 예측적 움직임을 적용하는 것은 모든 움직임에 동일한 도로(동일한 예측 간격으로) 예측적 트래킹을 가능하게 하는 것보다 나은 전체 예측 정확도를 제공한다.

유사하게, 예컨대 최근에 감지된 움직임의 회귀-기반 평균(regression-based averaging)의 평활화(smoothing)는 운동 데이터가 헤드셋이 실질적으로 운동하지 않는다고 가리킬 때 보다 공격적으로 적용될 수 있지만, 운동 데이터가 헤드셋이 상대적으로 높은 각속도로 움직이거나 각가속도가 증가한다고 가리킬 때 덜 공격적으로 적용될 수 있다. 이것은 머리가 실질적으로 움직임이 없을 때 사람의 머리가 회전할 때보다 인간의 눈이 소위 "지터"에 매우 예민하기 때문이다. 지터는 센서 측정에서 일련의 작은 경미한 변화가 렌더링된 비디오가 "바운스"되는 결과를 야기할 때 일어난다. 머리가 움직임이 없을 때, 지터는 잘 보인다. 움직임이 있을 때, 지터는 거의 완전히 인간의 지각력에 의하여 눈에 띄지 않는다.

이들 타입의 평활화 및 운동 예측 양자의 동적 스케일링은 지각적으로 튜닝된 필터링으로 불릴 수 있는데 그들이 가상 현실 시스템에서 사용될 수 있는 하드웨어의 기술적 한계의 이해와 관련하여 사람의 지각력에 관한 발견에 의존하기 때문이다.

장치의 설명

이제 도 1을 참조하면, 가상 현실 시스템(100)의 개요가 도시된다. 시스템은 네트워크(150)에 의해 연결된 사용자 시스템(110)과 환경 서버(120) 및 VR 헤드셋(130)을 포함한다. 사용자(135) 또한 도시되나, 사용자(135)는 시스템(100)과 분리되는 것으로 간주될 수 있다.

사용자 시스템(110)은 VR 헤드셋에 디스플레이하기 위하여 가상 현실 환경을 생성하기 위해 VR 헤드셋(130)과 연결되고 상호작용하는 컴퓨팅 장치이다. 사용자 시스템(110)은 예컨대, 일반적인 데스크탑 컴퓨터, 마이크로소프트® Xbox®, 닌텐도® Wii® 및 WiiU®, 소니® 플레이스테이션® 콘솔과 같은 비디오 게임 콘솔일 수 있다. 사용자 시스템(110)은 일부 경우에, 모바일 전화, 태블릿 컴퓨터 또는 다른 휴대용 또는 그보다 작은 컴퓨팅 장치와 같은 모바일 장치일 수 있다. 사용자 시스템(110)은 3차원 환경을 렌더링하기 위한 컴퓨팅 장치에서 일반적으로 쓰이는 비디오 프로세서와 같은 작업-특정 하드웨어일 수 있다. 비디오 프로세서는 단독 비디오 카드 내에 수용되거나 보다 큰 프로세서나 시스템-온-어-칩에 통합될 수 있다.

일반적으로, 사용자 시스템(110)은 운영체제 소프트웨어와 VR 헤드셋(130)에 디스플레이하기 위한 가상 환경의 이미지를 생성하는 잠재적인 가상 환경 소프트웨어를 포함하는 소프트웨어를 실행한다. 가상 환경 소프트웨어는 예컨대 3차원 세계의 이미지를 생성하여 VR 헤드셋(130)의 착용자가 게임 세상의 가상 환경 "안"에 있는 것처럼 보이게 하는 비디오 게임 소프트웨어일 수 있다.

환경 서버(120)는 컴퓨팅 장치이다. 환경 서버(120)는 가상 현실 시스템(100)의 구현에 의존하여 선택적일 수 있다. 예를 들어 가상 환경(100)이 다중-사용자 또는 멀티파티(multiparty)일 때, 환경 서버(120)는 가상 환경을 렌더링하기 위하여 사용자 시스템(110)으로부터 사용되는 데이터의 일부를 제공할 수 있다.

예를 들어, 환경 서버(120)는 네트워크(150)를 통하여, 사용자 시스템(110)에 의해 렌더링되는 가상 환경에 동시에 연결된 다른 사용자에게 적용되는 데이터를 유지하고 통신할 수 있다. 이 방법으로, VR 헤드셋(130)과 같은 VR 헤드셋의 일련의 사용자들의 사용자 아바타는 가상 환경 내에 함께 나타날 수 있다. 한 사용자가 환경 내에서 "이동"함에 따라, 환경 서버(120)는 그 데이터를 수신하고 사용자 시스템(110)과 같은, 다른 사용자와 연관된 사용자 시스템에 전달한다. 그러므로, 환경 서버(120)는 사용자의 그룹이 실시간으로 가상 환경을 함께 경험할 수 있도록 할 수 있다.

일부 실시예에서, 특히 다중-사용자나 멀티파티 경험을 포함하지 않는 것에서, 환경 서버(120)는 불필요할 수 있다. 그러한 경우, 사용자 시스템(110)은 가상 환경을 렌더링하기 위한 모든 책임을 진다.

VR 헤드셋(130)은 사용자 시스템(110)과 같은 컴퓨팅 장치이지만, 몇몇 특별한 특징을 가진다. VR 헤드셋(130)은 적어도 하나의 통합된 디스플레이를 포함하고 VR 헤드셋(130)을 위한 운동, 위치 및/또는 방향 데이터를 생성하기 위해 사용될 수 있는 하나 이상의 센서를 포함한다. VR 헤드셋(130)의 착용자가 움직임에 따라, 센서는 운동, 위치 및 또는 방향 데이터를 생성하고 사용자 시스템(110)으로 전송한다. 사용자 시스템(110)은 VR 헤드셋(130)에 통합된 디스플레이 디스플레이될 하나 이상의 이미지를 반환한다.

VR 헤드셋(130)은 USB®, HDMI, DVI, VGA, 광섬유, DisplayPort®, Lightning® 커넥터, 이터넷과 같은 일반 컴퓨터 입력 및 출력 인터페이스에 의하여 또는 VR 헤드셋(130)을 사용자 시스템(110)에 연결하기 위해 특정하게 설계된 커스텀 인터페이스에 의하여 사용자 시스템(110)에 연결될 수 있다. 일반적으로, 이들 연결 중 적어도 일부는 렌더링된 비디오 데이터 이미지가 통합된 디스플레이에 가능하면 작은 지연으로 디스플레이되는 것을 보장하기 위해 상대적으로 높은 처리능력일 것이다. 일부 경우에, 802.11 프로토콜, 블루투스 또는 라디오 주파수를 사용하는 무선 연결이 사용자 시스템(110)과 VR 헤드셋(130) 간의 데이터의 일부를 전송하기 위해 사용될 수 있다.

VR 헤드셋(130)은 사용자 시스템(110)의 기능의 일부 또는 전부를 통합할 수 있다. 하지만, 현재의 기술을 사용하여, 이들 시스템은 주로 서로 구분되는데 납득할만한 가상 환경을 처리하고, 본 명세서에 서술되는 움직임 외삽법(motion extrapolation)을 수행하는데 필요한 프로세싱 능력과 저장소는 사용자 시스템(110)과 같은 보다 크고 보다 비싼 컴퓨팅 장치에서만 사용가능한 보다 강력하고 보다 큰 프로세서에 두는 것이 낫기 때문이다.

일부 예에서, 사용자 시스템(110)이 태블릿이나 모바일 전화와 같은 모바일 장치일 때, 모바일 장치의 센서와 모바일 장치의 디스플레이는 VR 헤드셋(130)의 전부 또는 일부를 기능적으로 대신할 수 있다. 예를 들어, 모바일 장치의 디스플레이는 VR 헤드셋(130)의 디스플레이가 될 수 있다.

사용자(135)는 VR 헤드셋(130)의 착용자이다. 사용자(135)는 그 또는 그녀가 VR 헤드셋(130)의 통합된 디스플레이를 볼 수 있는 방식으로 헤드셋을 착용한다. 사용자(135)는 다른 주변 기기, 예컨대 마우스, 키보드, 헤드폰, 스피커, 마이크, 휴대용 컨트롤러 또는 다른 유사한 상호작용성 구성요소(도시되지 않음)와 같은 주변기기와 상호작용하여 사용자 시스템(110)가 VR 헤드셋(130)에 디스플레이될 가상 환경을 렌더링하도록 더 지시할 수 있다.

네트워크(150)는 사용자 시스템(110)을 환경 서버(120)에 연결하는 유선 또는 무선 네트워크이다. 이 네트워크(150)는 인터넷 또는 LAN(local area network) 또는 WAN(wide area network)이거나 포함할 수 있다. 네트워크(150)는 사용자 시스템(110 또는 120) 간 통신을 가능하게 하기 위해 TCP/IP, 이더넷 또는 다른 대규모 네트워크 프로토콜과 같은 일반적인 프로토콜을 사용할 수 있다. 커스텀 프로토콜이 사용될 수 있다. 환경 서버(120)로부터 사용자 시스템(110)(및 다른 사용자 시스템)으로의 통신은 전달을 보장하는 프로토콜보다 방송 프로토콜을 사용할 수 있다. 이것은 환경 서버가 복수의 사용자 시스템이 마지막 데이터의 수신을 확인하는 것을 기다리지 않고 사용자 시스템(110)의 데이터를 계속적으로 업데이트할 수 있게 한다.

이제 도 2로 넘어가면, 서버 컴퓨터, 클라이언트 장치, 모바일 장치 및 본 명세서에서 논의되는 다른 컴퓨팅 장치를 대표하는 컴퓨팅 장치(200)의 블록도가 도시된다. 사용자 시스템(110) 및 환경 서버(120)는 컴퓨팅 장치의 예시이다.

컴퓨팅 장치(200)는 본 명세서에 서술되는 기능 및 특징을 제공하기 위한 소프트웨어 및/또는 하드웨어를 포함할 수 있다. 컴퓨팅 장치(200)는 그러므로 다음 중 하나 이상을 포함할 수 있다: 메모리, 아날로그 회로, 디지털 회로, 소프트웨어, 펌웨어 및 프로세서. 컴퓨팅 장치(200)의 하드웨어 및 펌웨어 구성요소는 본 명세서에 서술되는 기능 및 특징을 제공하기 위한 다양한 특화된 유닛, 회로, 소프트웨어 및 인터페이스를 포함할 수 있다.

컴퓨팅 장치(200)는 메모리(212), 저장소(214), 네트워크 인터페이스(216) 및 I/O 인터페이스(218)와 연결된 프로세서(210)를 가진다. 프로세서는 하나 이상의 마이크로프로세서, 집적된 특화 기능 프로세서(예컨대 비디오 프로세서), ASICs(application specific integrated circuits) 또는 SOACs(systems on a chip)이거나 포함할 수 있다.

메모리(212)는 RAM, ROM, DRAM, SRAM 및 MRAM이거나 포함할 수 있고, 정적 데이터 또는 고정된 명령어, BIOS, 시스템 함수, 구성 데이터 및 컴퓨팅 장치(200)와 프로세서(210)의 구동 중 사용되는 다른 루틴과 같은 펌웨어를 포함할 수 있다. 메모리(212) 또한 프로세서(210)에 의해 다뤄지는 애플리케이션 및 데이터와 연관된 데이터 및 명령어를 위한 저장소 영역을 제공한다.

저장소(214)는 컴퓨팅 장치(200) 내의 데이터 또는 명령어의 비휘발성, 벌크 또는 장기간 저장을 제공한다. 저장소(214)는 디스크, 테이프, CD, DVD, SSD(solid state drive) 또는 다른 합리적으로 높은 용량의 어드레서블(addressable) 또는 순차 저장 매체의 형태를 취할 수 있다. 복수의 저장 장치가 컴퓨팅 장치(200)에 제공되거나 사용가능할 수 있다. 이들 저장 장치 중 일부는 네트워크 저장소 또는 클라우드 기반 저장소와 같이 컴퓨팅 장치(200)의 외부일 수 있다.

네트워크 인터페이스(216)는 네트워크(150)(도 1)과 같은 네트워크로의 인터페이스를 포함한다.

*I/O 인터페이스(218)은 프로세서(210)를 VR 헤드셋(130), 디스플레이, 키보드, 마우스, 컨트롤러, USB 장치 및 다른 주변기기와 같은 주변기기(도시되지 않음)로 인터페이스한다.

도 3은 도 2와 관련하여 위에 논의된 것과 실질적으로 동일한 컴퓨팅 장치를 가지는 가상 현실 헤드셋(300)의 블록도를 도시한다. 도 2와 관련하여 위에 논의된 요소는 여기 반복되지 않을 것이다. 가상 현실 헤드셋(300)의 컴퓨팅 장치는 전체적으로 또는 부분적으로 시스템-온-어-칩으로 구현된다.

프로세서(312)는 풀-사이즈 컴퓨팅 장치에서 사용가능한 것보다 낮은 능력을 가질 수 있다. 메모리(314), 네트워크 인터페이스(316), 저장소(318) 및 입력/출력 인터페이스(320)는 단일 패키지에 통합되고 빠른 응답 시간을 제공하기 위해 작은 명령어 세트로 설계될 수 있다.

센서(322)는 운동, 위치 및 방향 데이터를 생성하기 위해 사용되는 센서이다. 이들 센서는 자이로스코프, 가속도계, 자기계, 비디오 카메라, 색 센서 또는 다른 운동, 위치 및 방향 센서이거나 포함할 수 있다. 센서(322)는 또한 센서의 서브-부분, 예컨대 운동, 위치 및 방향 데이터를 생성하기 위해 카메라 또는 색 센서에 의하여 외부에서 열람 할 수 있는 일련의 액티브 또는 패시브 마커을 포함할 수 있다. 예를 들어, 가상 현실 헤드셋은 그 외부에 일련의 마커, 예컨대 외부 카메라에 의해 열람되거나 빛(예컨대, 적외선 또는 가시광선)에 의해 밝혀질 때, 운동, 위치 및 방향 데이터를 생성하기 위해 소프트웨어에 의해 해석되기 위한 하나 이상의 참조점을 제공할 수 있는 반사체 또는 빛(예컨대, 적외선 또는 가시광선)을 포함할 수 있다. 이런 의미에서, 이들 마커는 "센서"가 아니지만, 운동, 위치 및 방향 데이터를 생성하기 위해 사용되는 센서 시스템의 일부를 이룬다.

센서(322)는 센서 데이터를 높은 속도로 제공하기 위하여 상대적으로 높은 주파수로 구동할 수 있다. 예를 들어, 센서 데이터는 1000Hz (또는 1개의 센서가 매 1밀리초마다 판독)의 속도로 생성될 수 있다. 이 방법으로, 초당 천개의 판독이 획득된다. 센서가 이 속도(또는 더 높은 속도)로 충분한 데이터를 생성할 때, 운동을 예측하기 위해 사용되는 데이터 세트는 심지어 수십 밀리초 정도의 상대적으로 짧은 시간 동안에도 충분히 크다.

가상 현실 헤드셋은 디스플레이 버퍼(324)를 포함하는데, 디스플레이를 위한 이미지 데이터가 디스플레이에 표시되기 바로 전에 저장되고, 프로세서(312)에서 사용가능한 메모리(314)이거나 포함한다. 이 방식으로, 디스플레이는 프로세서(312)로부터의 입력에 즉시 응답하여 기능할 수 있다.

가상 현실 헤드셋(300)의 디스플레이(도시되지 않음)는 하나 이상의 디스플레이일 수 있다. 디스플레이는 예컨대, VR 헤드셋(130)의 착용자의 눈 바로 앞에 위치할 수 있다. 그럼, 디스플레이는 상대적으로 낮은 해상도로도 착용자의 넓은 시야를 채울 수 있다. 디스플레이는 사용자 시스템(110)에 의해 렌더링된대로 착용자에게 가상 환경을 디스플레이할 수 있다.

도 4로 넘어가면, 가상 현실 시스템(400)의 기능적 다이어그램이 도시된다. 가상 현실 시스템(400)은 사용자 시스템(410), 환경 서버(420) 및 VR 헤드셋(430)을 포함한다. 이들은 도 1의 사용자 시스템(110), 환경 서버(120) 및 VR 헤드셋(130)에 대응할 수 있다. 시스템의 일부가 아닌 사용자(435) 또한 도시된다.

사용자 시스템(410)은 운영체제(411), 네트워크 입력/출력 인터페이스(412), 환경 소프트웨어(413), 가상 현실 드라이버(414) 및 운동 예측자 및 평활자(smother)(415)를 포함한다.

운영체제(411)는 사용자 시스템(410)의 운영체제이다. 이것은 만약 사용자 시스템(410)이 개연용 컴퓨터 또는 유사한 장치라면 예컨대 윈도우®, OSX®, 리눅스 또는 다른 운영체제일 수 있다. 운영체제(411)는 독점(proprietary) 시스템, 예컨대 일반적인 비디오 게임 콘솔에서 채용되는 운영체제일 수 있다. 나아가, 운영체제(411)는 만약 사용자 시스템(410)이 모바일 장치라면 iOS®, 안드로이드® 또는 유사한 모바일 장치 운영체제일 수 있다. 운영체제(411)는 다른 소프트웨어, 드라이버 및 주변기기가 기능하기 위한 환경을 제공한다.

네트워크 입력/출력 인터페이스(412)는 사용자 시스템(410)이 환경 서버(420)(존재할 때)와 통신할 수 있게 한다. 네트워크 입력/출력 인터페이스(412)는 일반적인 네트워크 드라이버 및 네트워크 통신을 가능하게 하는 환경 소프트웨어(413)에 특정한 소프트웨어를 포함할 수 있다.

환경 소프트웨어(413)는 다른 구성요소와 관련하여 가상 현실로 표시되는 환경을 생성하도록 구동되는 소프트웨어이다. 예를 들어, 환경 소프트웨어는 VR 헤드셋(430)의 디스플레이에 표시되기 위한 3차원 세계를 생성하는 비디오 게임 소프트웨어일 수 있다. 환경 소프트웨어(413)는 복수의 디스플레이를 상이한 각도에서 동시에 렌더링할 수 있게 하는 특화된 소프트웨어를 포함할 수 있다 - VR 헤드셋에서는 일반적인데, 2개의 디스플레이 또는 단일 디스플레이의 두 분리된 이미지가 각 눈에 하나씩 제공될 수 있다. 환경 소프트웨어(413)는 VR 헤드셋(430)에 적합한 컨텐츠를 출력할 수 있게 하도록 특화되어 설계된 소프트웨어와 통합될 수 있다.

환경 소프트웨어(413)는 비디오 게임 소프트웨어일 필요는 없으나, 임의의 타입의 가상 현실 또는 증강 현실 환경 소프트웨어일 수 있다. 이 소프트웨어는 허구의 장소, 역사적 장소, 교육적 장소 또는 현실을 시뮬레이션하는 거의 임의의 몰입형 환경을 포함하는 가상 현실 위치를 생성할 수 있다.

가상 현실 드라이버(414)는 운영체제(411) 및 환경 소프트웨어(413) 및 VR 헤드셋(430) 사이를 오버레이하는 소프트웨어일 수 있다. 가상 현실 드라이버(414)는 특히 환경 소프트웨어(413)로부터의 입력을 받아들이고 데이터를 VR 헤드셋(430)에 의해 디스플레이되기 적합한 형태로 VR 헤드셋(430)으로 출력한다. 가상 현실 드라이버(414)는 소프트웨어 레벨 밑의 하나 이상의 추상화 레벨에서 VR 헤드셋(430)이 빠르게 반응할 수 있도록 환경 데이터의 전송과 사용을 빠르게 하기 위해 VR 헤드셋(430)과 상호작용할 수 있다. 이것은 사용자 시스템(410)이 VR 헤드셋(430)보다 강력한 시스템(예컨대, 보다 강력한 프로세서를 포함하는)일 때 특히 참일 수 있다. 이 방식으로, VR 헤드셋(430)은 VR 헤드셋(430)에 의해 요구되는 임의의 실질적인 추가적 프로세싱 없이 VR 헤드셋(430)에 직접 디스플레이될 수 있는 보다 날것의(raw) 데이터를 받아들일 수 있다.

운동 예측자 및 평활자(415)는 VR 헤드셋(430)의 움직임, 방향 및 위치의 예측을 책임지는 소프트웨어이다. 운동 예측자는 가상 현실 드라이버(414)의 일부일 수 있다.

운동 예측자 및 평활자(415)는 데이터로 구동하고 VR 헤드셋(430)의 움직임, 방향 및 위치의 예측을 생성하기 위해 VR 헤드셋(430)의 센서로부터 데이터를 받아들일 수 있다. 운동 예측자 및 평활자(415)는 예컨대, 짧은 시간 프레임(예컨대, 최근 10 밀리초 동안 10번의 측정)에 걸쳐 각속도 측정을 평균내어 미래의 운동, 방향 및 위치에 관한 예측을 도출할 수 있다. 대안적으로, 운동 예측자 및 평활자(415)는 일련의 각속도 측정을 미분하여 각가속도를 도출하고 미래의 기결정된 시간으로 추론하여 미래의 움직임, 방향 및 위치를 예측할 수 있다. 예측 프로세스는 도 8을 참조하여 더 자세히 후술될 것이다.

나아가, 운동 예측자 및 평활자(415)는 센서 데이터의 "평활화" 동작을 수행할 수 있다. 가장 가공되지 않은(rawest) 형태에서, VR 헤드셋(430)의 일련의 센서로부터 수신한 운동, 방향 및 위치 데이터는 조금 부정확할 수 있다. 예를 들어, 밀리초당 1의 범위의 샘플율에서, 때때로 VR 헤드셋(430)의 방향, 움직임 또는 위치에 작은 변화가 움직임, 방향 또는 위치의 실제 변화를 나타내지 않는 센서 판독의 증분을 낳을 수 있다.

예를 들어, VR 헤드셋(430)을 착용하고 있는 사용자가 실질적으로 가만 있더라도, 센서는 계속 작은 변화를 보고할 수 있다. 이 데이터를 사용하여, VR 헤드셋의 디스플레이에 생성된 이미지는 VR 헤드셋(430)의 실제 변화를 나타내지 않는 작은 변화를 포함할 수 있다. 그 결과로, VR 헤드셋(430)의 디스플레이의 소위 "지터"가 발생할 수 있다. 이것은 VR 헤드셋(430)의 사용자에게 VR 헤드셋(430) 센서로부터 수신한 데이터의 이들 작은 변화에 응답하여 이미지가 작은 증분으로 "바운스(bouncing)"하는 것처럼 보일 수 있다.

지터와 기타 유사한 에러에 응답하여, 운동 예측자 및 평활자(415)는 또한 수신한 데이터에 평활화를 적용할 수 있다. 이 평활화는 예컨대, 센서로부터 일련의 최근 판독을 취하고 그들을 평균하여 VR 헤드셋(430)에 디스플레이될 다음 이미지를 생성하는데 사용되는 운동, 방향 및 위치 데이터를 실제로 생성하는데 사용되는 데이터를 도출할 수 있다. 센서데이터가 기간에 걸쳐 추정되며, 이상치 같은 데이터(likely-outlier data)를 제거하는 선형 또는 비선형 필터링과 같은 다른 평활화 방법 역시 사용될 수 있다.

환경 서버(420)는 운영체제(421), 네트워크 입력/출력 인터페이스(422), 환경 소프트웨어(423) 및 환경 데이터베이스(424)를 포함한다. 운영체제(421) 및 네트워크 입력/출력 인터페이스(422)는 사용자 시스템(410)을 위해 위에 기술된 것과 환경 서버(420)을 대표하는 것을 제외하면 실질적으로 동일한 기능을 제공한다. 운영체제(421)는 복수의 사용자의 연결, 예컨대 네트워크를 지원하는 운영체제에 보다 가깝다. 유사하게, 네트워크 입력/출력 인터페이스(422) 또한 복수의 연결을 보다 잘 지원하거나 네트워크의 보다 빠른 연결이 제공될 수 있다.

환경 소프트웨어(423)는 사용자 시스템(410)의 환경 소프트웨어(413)와는 상이한 목적을 제공한다. 환경 소프트웨어는 사용자에게 표시될 임의의 3차원 세계를 렌더링하는 책임을 실제로 지지는 않는다. 대신, 환경 서버(420)에 연결된 복수의 사용자들의 상태를 유지할 수 있다. 예를 들어, 만약 수백 명의 사용자가 환경 서버(420)에 동시에 접속해 있다면, 환경 소프트웨어(423)는 그들 사용자 각각의 위치, 행위, 움직임 및 기타 데이터를 가리키는 환경 데이터베이스(424)를 유지할 수 있다. 환경 데이터베이스(424)는 그 데이터를 사용자 시스템(410)과 같은 사용자 시스템에 전송하여 사용자 시스템(410) 환경 소프트웨어(413)가 그 데이터를 통합하여 그 시각적 디스플레이를 업데이트할 수 있게 하기 위해 그들 위치를 동적으로 업데이트하고 저장할 수 있다. 이것은 예컨대, 환경 소프트웨어에 의해 렌더링된 3차원 환경 내의 다른 사용자를 대표하는 아바타의 위치일 수 있다.

VR 헤드셋(430)은 도 1의 VR 헤드셋(130)과 실질적으로 동일하고, 도 3의 컴퓨팅 장치(300)를 포함할 수 있다. VR 헤드셋(430)은 가상 현실 또는 증강 현실 가상 환경을 경험하기 위해 사용자(435)에 의해 착용될 수 있다.

이제 도 5로 넘어가면, 가상 현실 헤드셋(530)을 착용한 사용자(535)가 도시된다. VR 헤드셋(530)은 사용자(535)의 눈을 덮어 착용된다. 사용자(535) 머리는 피치(540), 롤(550) 및 요우(560)의 축을 가지는 3차원 축의 중심에 위치한 것으로 간주된다. 3차원 직교 좌표계(Cartesian coordinate system)에서 피치(540)는 x축, 롤(550)은 z축, 요우(560)는 y축이다.

VR 헤드셋(530)의 움직임(사용자 움직임)은 피치(540), 롤(550) 및 요우(560)로 표현될 수 있다. 3차원 방향을 표현하기 위한 한 방법은 사원수(quaternions)를 사용한다. 이것은 q(ν,θ)가 동일한 회전일 때 임의의 3차원 방향이 q(ν,θ)=(cos(θ/2),ν_xsin(θ/2),ν_ysin(θ/2),ν_zsin(θ/2))로 표현될 수 있기 때문이다. 사원수는 대수적 연산 하에서 기하학을 지키며 상대적으로 적은 인자로 회전의 조작을 가능하게 하는 장점이 있는데(예컨대, 하르 측도(Haar measure)), 3차원 공간에서 예측을 수행하기 매우 유용하다.

하르 측도는 객체의 3차원 공간에서의 복수의 회전이 서로 관련되는 것을 보장하는데 도움을 준다. 예를 들어, 두 이전 회전에 제3 회전을 적용하는 것은, 바람직하게는 두 이전 회전이 여전히 동일한 방향으로 구분되는 결과를 낳는다. 하르 측도에 대하여 일관성을 유지하는 것은 이것을 보장하는 것과 사원수와 관련하여 잘 기능하는 것을 돕는다.

도 6a와 도 6b로 이루어지는 도 6은 예측적 운동 트래킹에 의해 생성된 지터의 예시를 도시한다. 도 6a는 두 이미지(620 및 622)이 VR 헤드셋에 표시되는 장면을 도시한다. 장면의 깊이의 지각을 생성하기 위하여 두 이미지(620 및 622)가 각 눈에 하나씩, 시점이 약간 다르게 보여진다. 예를 들어, 장면 내의 개인(630)은 각 이미지(620 및 622)에서 약간 다른 각도로 보여질 수 있다. 그 결과, 정신이 개인(630)이 피사계 심도(depth of field)를 가지는 것으로 지각한다. 이것은 몰입을 증가시킨다.

도 6b는 이미지(640 및 642)를 포함하는 조금 다른 장면을 도시한다. 여기서, 개인(650)은 장면 내에서 위로 "이동"했다. 이 타입의 이동은 예측적 트래킹이 적용되고 약간의 센서 에러와 센서 감지의 드리프트가 있는 상황에 발생할 수 있다. 예를 들어, 착용자의 머리가 "위를 보는 것"을 시사하는 센서의 약간의 변동은 예측적 운동 트래킹 시스템이 이 운동 데이터를 존재하지 않는 급격한 움직임으로 과추정하게 할 수 있다.

도 6b에서, 약간의 변동은 존재하지 않는 운동에 대한 운동 데이터를 생성하도록 추정될 수 있다. 착용자의 머리는 실질적으로 정지해 있다. 만약 이것이 수초 동안 여러 번 일어나면, 효과는 극단적일 것이다. 도 6b에서 이미지가 과장되어 보다 쉽게 인식할 수 있지만, 착용자의 뇌는 정지해있다고 믿기 때문에 움직이지 않는 VR 헤드셋의 착용자는 작은 지터더라도 극도로 실감나지 않는 것으로 느낄 수 있다. 아무리 작은 지터라도 실제 머리 움직임(또는 움직이지 않음)에 해당하지 않는 시각적으로 인식된 움직임 데이터는 착용자의 지각과 일치하지 않는다.

도 7a, 7b 및 7c로 이루어진 도 7은 실제 운동과 비교한 예측적 운동 트래킹의 예시를 도시한다. 도 7a는 도 6a의 이미지(720, 722) 및 개인(730)과 같은 방법으로 도시한다.

도 7b는 미래로의 시간 프레임 동안 착용자의 움직임을 추정하기 위해 예측적 운동 트래킹을 사용하여 렌더링된 장면이다. 이미지(740 및 742)는 개인(750)이 왼쪽으로 움직인 것으로 업데이트된다. 이 시각적 인식에서, 착용자가 그 또는 그녀의 머리를 오른쪽으로 돌리는 프로세스를 시작하여, 개인(750)이 시야의 바깥으로 이동하기 시작했기 때문에 그럴듯하다.

예측적 운동 트래킹은 VR 헤드셋과 연관되어 센서로부터 생성된 센서 데이터로부터 추정한 운동, 방향 및 위치 데이터에 기반하여 개인(750)의 위치(및 전체 장면의 방향)을 예측한다. 예를 들어, 운동, 방향 및 위치 데이터는 VR 헤드셋이 특정 경로를 따라, 특정 각속도(또는 잠재적으로 선 속도 또는 각 또는 선 가속도)로 움직이고 있는 것으로 가리킬 수 있다. 7b의 장면은 주어진 시간 프레임 동안 추정(또는 예측)될 수 있다.

도 7c는 개인(770)을 포함하는 두 이미지(760 및 762)를 포함하는, VR 헤드셋의 실제 운동, 방향 및 위치에 대응하는 장면을 도시한다. 도 7b 및 7c의 세심한 검사는 예측된 운동이 약간 틀렸다는 것을 가리킨다. 구체적으로, 개인(750)은 이미지(760 및 762)에 도시된 실제 운동, 방향 및 위치와 비교하여 시야의 왼쪽으로 충분히 멀리 이동하지 않았다. 그 결과, 개인(770)은 장면의 약간 더 왼쪽에 있다. 이들 에러는 예측된 거리(744 및 746)을 실제 거리(764 및 766)과 비교하여 보여진다.

검사는 본 명세서에 서술된 프로세스가 사용됐을 때, 이들 작은 에러는 가상으로 실존하지 않음을 가리킨다. 하지만, 예측적 운동 트래킹은 본질적으로 일정 폭의 에러를 포함한다 - 이것은 착용자의 움직임이 일어나기 전의 예측이다. 하지만, 에러가 작을 때, 특히 가상 현실 시스템에서, 그리고 이들 에러가 보일 수 있는 시간 프레임이 매우 빠르기 때문에, 착용자의 정신은 일반적으로 차이를 세심하게 지각하지 않는다.

프로세스의 설명

이제 도 8을 참조하면 흐름도가 예측적 운동 트래킹 프로세스에 적용되는 지각적으로 튜닝된 필터링을 도시한다. 흐름도는 시작(805)과 종료(895)를 가지지만, 프로세스는 자연스럽게 순환한다. 사실, VR 헤드셋이 착용자의 머리에서 활성화되면 프로세스는 거의 정적으로 반복한다. 렌더링된 비디오의 각 프레임에서, 프로세스는 적어도 한번, 어쩌면 수 회 반복될 수 있다.

먼저, 810에서 센서 측정이 VR 헤드셋 내에 존재할 수 있는 센서를 포함하여 센서로부터 얻어진다. 상술한 바와 같이, 이들 센서는 가속도계, 자이로스코프, 자기계, 액티브 또는 패시브 마커 및 카메라를 포함할 수 있다. 주위 환경에 위치한 마커와 함께 카메라가 헤드셋에 장착될 수 있고 또는 마커가 헤드셋에 장착되고 하나 이상의 외부 카메라가 마커를 추적할 수 있다. 이들 센서의 기능은 운동, 방향 및 위치의 예측으로부터 정확한 데이터가 도출될 수 있도록 하는 것이다. 센서가 어디에 있고 무엇이든, 센서는 데이터를 예컨대 사용자 시스템에 제공하여 예측에 기반한 지각 프로세스가 시작하도록 한다.

다음으로, 820에서 센서 결합이 수행된다. 이 프로세스는 복잡하거나 간단할 수 있다. 간단한 시스템에서, 가공되지 않은 데이터 측정(예컨대, 가속도계로부터 가속도 및 속도)이 단순히 결합되고 환경 소프트웨어가 3차원 환경을 렌더링하는데 사용하기 적합한 형태로 표준화될 수 있다. 보다 복잡한 시스템에서, 데이터는 "평활화"될 수 있다. 상술한 바와 같이, 헤드셋의 운동의 가능한 예측을 추정하는 데이터가 센서 결합 단계에서 생성되고 다음 단계로 전달될 수 있다.

825에서 예컨대 가상 현실 드라이버(414)를 사용하여, 헤드셋이 회전하는지 여부가 결정된다. 이 결정은 비교적 단순하다. 일련의 각속도 측정이 센서에 의해 짧은 기간(예컨대, 10 밀리초) 동안 생성된다. 그 측정들은 평균내져 각속도가 기결정된 임계치, 예컨대 초당 1 내지 5도를 초과하는지 여부를 결정한다. 이 방법으로, 상대적으로 작은 움직임(혹은 작은 수의 센서 에러)는 헤드셋의 "움직임"으로 인식되지 않을 것이다.

VR 헤드셋을 착용한 사람의 머리는 완벽하게 정지하고 있을 수 없으나, 헤드셋이 회전하고 있는지 여부에 대한 결정(825)이 만들어질 수 있는 방식으로 움직임 임계치가 설정될 수 있다. 회전하고 있지 않는 머리는 실질적으로 정지하고 있다. 본 명세서에서 사용되는 구절 "실질적으로 정지"는 헤드셋이 가상 현실 시스템이 그 움직임을 반영하여 관련 장면을 다시 렌더링해야 할 정도로 충분한 각도의 머리 회전 중이지 않다는 것을 의미한다. 구체적으로, "실질적으로 정지"는 VR 헤드셋이 절대적으로 움직임이 없는 것을 의미하는 것이 아니고, "정지"는 사람이 움직이려는 의도 없이, 그 또는 그녀의 머리를 "가만히" 있으려는 것을 의미한다.

만약 헤스뎃이 회전하고 있으면, 830에서 평활화가 비활성화된다. 상술한 바와 같이, 평활화는 주로 센서의 결과(artifacts), 작은 움직임 및 센서 드리프트(센서 정확도의 선형 또는 지수 드리프트)에 대응하여 이들이 렌더링된 장면의 지터 또는 임의의 움직임을 생성함으로써 착용자의 경험을 해치지 않도록 하기 위한 것이다. 인간 지각의 연구 후, 가상 현실 환경을 인식하는 개인은 그들의 머리가 회전할 때 지터를 전혀 느끼지 못한다는 것이 밝혀졌다. 특히, 정신은 지터를 무시하거나 혹은 머리가 회전함에 따른 시각적 장면에서 일부 이상을 느끼는데 사용되고 자동으로 보정한다.

그 결과, 만약 헤드셋이 회전하고 있으면, 평활화는 적어도 일시적으로 비활성화될 수 있다. 이것은 다른 문제에 대해 작업할 수 있는 프로세서 사이클을 일부 해소하지만, 더 중요하게는, 이것이 임의의 예측적 운동 트래킹이 임의의 데이터 평활화의 전- 또는 후- 계산에 의해 방해받지 않는 것을 보장한다. 심한 평활화는 예컨대 너무 무거운 선행 데이터가 보다 작은(또는 없는) 움직임을 가리킴으로써 렌더링된 프레임이 실제 움직임에 뒤떨어지는 것으로 보이게 할 수 있거나 오버슈트의 결과를 낳을 수 있다. 그러므로, 머리가 회전하고 있을 때, 착용자에게 해로운 효과가 평활화를 비활성화함으로써 인식되지 않고, 그 장점은 헤드셋이 회전함에 따라 보다 응답적인 장면이 렌더링되는 것이다.

다음에(또는 실질적으로 동시에), 헤드셋의 각속도가 840에서 결정된다. 이 결정은 820에서 센서 결합에 의해 생성된 단일 측정 또는 단일 데이터 세트일 수 있다. 바람직하게, 각속도는 기결정된 각속도 측정의 선행 세트(예컨대, 가장 최근의 10개의 측정)의 평균부터 각속도 측정의 유사한 세트의 가중치된 평균까지 여러 선택지 중 하나를 사용하여, 그 가속도(또는 경우에 따라 감속)의 미분 및 추정에 의하여 선형 가속도를 결정하기 위해 측정의 최근 세트(예컨대, 최근의 1 내지 3개의 측정)에 적용된 추가 가중치와 함께 결정된다.

다음 단계는 850에서 운동 예측이 일어날 예측 간격을 설정하는 것이다. 본 명세서에서 사용된 바와 같이, "예측 간격"은 운동의 예측이 만들어지는 시간이다. 예를 들어, 만약 예측 간격이 40 밀리초이면, 예측적 운동 트래킹은 지금으로부터 예측 간격인 40 밀리초가 끝날 때의 헤드셋의 운동, 방향 및 위치를 예측한다. 만약 예측 간격이 0이면, 예측적 운동 트래킹은 현재 헤드셋의 운동, 방향 및 위치를 예측한다(예측적 운동 트래킹을 효과적으로 제공하지 않음). 예측 간격을 포함하는 것은 예측적 운동 트래킹 시스템이 헤드셋 움직임의 크기 및 범위에 동적으로 반응할 수 있도록 한다.

이 예측 간격은 상당히 작을 수 있고, 작은 움직임을 위한 것이다. 예를 들어, 10도/초 대의 움직임은 아주 작게 설정된, 예컨대 5 밀리초의 예측 간격을 가진다. 이런 상황에서, 어떤 방법이든지 방법에 의해 결정된 각속도 측정는 그 기간 동안 적용되고 그 기간의 실제 데이터 대신 관련 비디오 프레임을 렌더링하기 위해 사용자 시스템에 제공된다. 렌더링된 비디오의 다름 프레임은 예측 결과에 기반하여 전달된다.

각속도 측정이 꽤 큰 경우, 상대적으로 보면(예컨대, 500도/초 대) 시스템이 움직임을 예측하는 예측 간격은 훨씬 커진다. 예를 들어, 빠른 움직임은 시스템이 예측 간격을 30 및 60 밀리초 사이로 설정하게 한다. 이런 상황에서, 비디오 렌더러로 전달되는 운동 예측 데이터는 착용자의 운동, 방향 및 위치를 그 예측 간격의 끝에 예측하고 그 예측에 기반하여 렌더링된 비디오의 다음 프레임을 전달한다.

잘 연구된 시스템에서, 지연 간격은 잘 알려져 있을 수 있다. 구절 "지연 간격"은 움직임 데이터가 센서에 의해 생성됐을 때부터 그 운동 데이터를 통합한 비디오의 렌더링된 프레임의 전달까지의 시간이다. 본 시스템에서, 그 지연 간격은 30 내지 60 밀리초 대이고 일반적으로 약 40 밀리초인 것으로 보인다.

이 지연 간격은 예측 간격의 상한으로 사용될 수 있다. 그래서, 예측 간격은 지연 간격을 초과할 수 없다. 이것은 사용자가 헤드셋을 착용하고 그 또는 그녀의 머리를 움직임에 따라, 그 데이터를 통합한 비디오의 다음 렌더링된 프레임이 다음 지연 간격에 나타날 것이기 때문이다.

따라서, 그 시간 프레임을 넘어 예측하는 것은 불필요하고 오버슈트(너무 큰 움직임을 렌더링하거나 움직임이 막 시작했을 때 멈춤) 및 실제 착용자의 움직임과의 단절을 낳기 쉽다. 유사하게, 본 명세서에 서술된 시스템에서 추가적인 데이터가 사용가능하고, 수십의 추가적인 운동, 방향 및 위치 데이터 포인트가 비디오의 다음 프레임을 렌더링하기 위해 사용될 수 있다. 최대 지연 간격까지의 운동을 예측하는 것은 사용자가 렌더링된 비디오의 프레임을 볼 다음 순간의 실제 사용자 움직임을 예측하는 시도의 장점이 있다.

프로세스는 예컨대, 결정이 주어진 착용자 움직임의 각속도로 만들어지는 방법으로 작동할 수 있다. 임계치, 예컨대 초당 0.3 라디안을 넘는 각속도일 때, 예측 시간이 선형으로 지연 간격까지 증가한다. 이 예측 간격의 증가는 예컨대 초당 라디안당 +2 밀리초(+2 milliseconds per radian per second)일 수 있다. 이 방법으로, 초당 1 라디안으로 회전하는 헤드셋은, 미래에 2 밀리초의 예측 간격을 사용할 것이다. 초당 10 라디안으로 회전하는 헤드셋은 미래에 20 밀리초의 예측 간격을 사용할 것이다. 다른 선형 증가 기울기는 지연 간격과 동일한 최대 예측 간격까지 사용될 수 있다(예컨대, 앞으로 40 밀리초).

그러므로, 만약 각속도가 실질적으로 0(예컨대, 초당 0 내지 0.03 라디안)이면, 3차원에서의 방향이 평활화 및 현재 위치와 방향(예측 없이)에 의존하여 도출된다. 만약 각속도가 실질적으로 0보다 크다면, 예측 알고리즘이 사용되고 평활화는 비활성화된다. 마지막으로, 위치(3차원 공간에서의 장소)가 마지막 측정된 위치를 사용하고, 나아가 선택된 가능한 예측 간격 동안의 선속도를 더하여, 상관없이 도출된다.

요약하면, 헤드셋의 움직임은 헤드셋의 움직임(각속도)이 실질적으로 0(초당 0 내지 0.3 라디안)인지 여부를 결정하기 위해 측정된다. 만약 그렇다면, 데이터의 평활화가 활성화되고 예측 간격은 실질적으로 0(또는 0)으로 설정된다. 만약 헤드셋이 실질적으로 0(초당 0.3 라디안 이상)보다 큰 속도로 움직이고 있다면(각속도), 평활화가 비활성화되고 예측 간격이 설정된다. 만약 움직임의 각속도가 증가하고 있다면, 예측 간격은 판독 시마다 최대 지연 간격(예컨대, 40 밀리초)까지 예측 간격 변화량(예컨대 초당 라디안당 2 밀리초)만큼 늘어난다.

예측 간격의 (최대 지연 간격까지의) 증가는 선형일 수 있고, 헤드셋의 선형 움직임에 대응할 수 있다. 그 결과, 보다 빠른 움직임은 상술한 바와 같이 예측 간격을 선형으로 증가시킴으로써 보상될 수 있다. 대안적으로, 소위 smoothstep 알고리즘이 사용될 수 있다. smoothstep 알고리즘은 t가 평활화될 변수일 때 일반화된 형태 smoothstep(t)=3t²-2t³을 취하고 일반화된 형태의 결과는 0과 1 사이가 된다. Smoothstep은 최대와 최소 양자에서 0을 향한 기울기가 된다는 장점이 있다. 이 방법으로, 예측은 끝에서 "둥글게(rounded off)" 됨으로써 선형 보간법과 달라진다. 이것은 그러한 헤드셋의 착용자가 예측 간격에 의지하여 예측이 양 끝에서 즉시 또는 갑작스런 정지 또는 시작 없이 보다 느리게 최대 또는 최저에 접근하도록 보이게 한다. 그 결과, 예측 간격은 "부드럽게" 0에 접근하거나 최대 지연 간격에 접근할 수 있다.

만약 825에서 헤드셋이 회전 중이 아니고, 사용자의 머리가 실질적으로 정지해 있다고 가리킨다면, 860에서 평활화가 활성화될 수 있다. 상술한 바와 같이, 평활화는 헤드셋이 움직이지 않고 있거나 아주 조금 움직이고 있을 때 가장 도움이 된다. 특히, 헤드셋이 실질적으로 정지해 있을 때 장면에서 불필요하거나 과장된 움직임, 예컨대 지터를 회피하는데 도움이 된다. 이와 같이, 헤드셋이 실질적으로 정지해 있을 때 평활화의 활성화는 이들 문제를 줄이는데 도움이 될 것이다.

유사하게, 870에서 예측 간격은 실질적으로 0으로 설정된다. 머리가 가상적으로 움직이지 않을 때, 임의의 간격에서의 공격적인 예측은 필요하지 않다. 일부 예측적 운동 트래킹이 적용될 수 있으나, 적용되는 간격은 아주 짧은 시간 프레임, 예컨대 5 밀리초 또는 그 이하로 설정된다. 일부 경우에, 예측 간격은 0으로 설정될 수 있다. 이것은 작은 움직임을 과장할 수 있는, 특히 예측 간격이 지연 간격으로 또는 근처로 설정된 경우 예측적 운동 트래킹을 회피하는데 도움을 준다.

다음으로, 825에서 헤드셋이 회전 중이든 아니든, 850 및 870에서 예측 간격을 설정한 후, 880에서 3차원 방향 및 각속도의 예측이 이루어진다. 실제로는, 헤드셋의 운동, 방향 및 위치를 예측 간격의 끝에서 예측한다. 이것은 상술한 바와 같이, 사원수로 표현될 수 있으나, 임의의 방법으로 표현될 수 있다.

마지막으로, 890에서 디스플레이가 예측 및 예측 간격에 기반하여 예측된 운동, 방향 및 위치에 대응하는 다음 렌더링된 비디오 프레임으로 업데이트된다. 그 결과, 만약 예측 간격이 40 밀리초였다면, VR 헤드셋에 전달된 비디오의 다음 렌더링된 프레임은 마치 착용자의 머리가 지금으로부터 40 밀리초 후 예측된 위치에 있는 것처럼 렌더링될 것이다. 만약 예측 간격이 0 밀리초라면, VR 헤드셋에 전달되는 비디오의 다름 렌더링되는 프레임은 마치 착용자의 머리가 현재 예측된 위치에 있는 것처럼 렌더링될 것이다(예측이 필요하지 않고, 실제 데이터가 사용가능하다). 그래서, 예측이 제공되지 않거나 아주 제한된 예측이 제공된다.

이들 선택사항 및 극단의 양자가 825에서 머리가 회전하고 있거나 회전하고 있지 않다는 사실을 반영한다. 디스플레이가 업데이트되면, 프로세스는 종료한다. 하지만, 상술한 바와 같이, 프로세스는 모든 센서 업데이트 또는 센서 업데이트의 모든 간격마다(예컨대, 10 또는 20번의 센서 업데이트마다) 반복된다. 이 방법으로, 렌더링된 비디오의 다음 프레임이 평활화되거나 평활화되지 않고, 지연 간격이거나 지연 간격 근처의 예측 간격으로 또는 예측 간격 없이, 제공될 수 있다.

맺는 말

본 명세서를 통하여, 서술된 실시예 및 예시는 개시되거나 청구된 장치 및 단계에 대한 제한이 아닌, 예시적인 것으로 간주되어야 한다. 본 명세서에 서술된 다수의 예시가 방법 단계 또는 시스템 요소의 특정 조합을 포함하지만, 그들 단계 및 그들 요소가 동일한 목적을 달성하기 위하여 다른 방법으로 결합될 수 있음을 이해하여야 한다. 흐름도와 관련하여, 추가적이거나 보다 적은 단계가 취해질 수 있고, 도시된 바와 같은 단계가 본 명세서에 서술된 방법을 달성하기 위하여 결합되거나 더 제한될 수 있다. 오직 한 실시예와 관련하여 논의된 단계, 요소 및 특징은 다른 실시예에서 유사한 역할을 배제하는 의도가 아니다.

본 명세서에서 사용된 바와 같이, "복수"는 둘 이상을 의미한다. 본 명세서에서 사용된 바와 같이, 아이템의 "세트"는 하나 이상의 그러한 아이템을 포함할 수 있다. 본 명세서에서 사용된 바와 같이, 상세한 설명 또는 청구항 어느 쪽이든, 용어 "내포하는(comprising)", "포함하는(including)", "지니는(carrying)", "가지는(having)", "담고 있는(containing)", "수반하는(involving)" 및 유사한 것은 개방식, 예컨대 포함하나 제한되지 않는 것으로 이해될 것이다. 오직 연결구 "이루어지는(consisting of)" 및 "필수적으로 이루어지는(consisting essentially of)" 각각 만이 청구항과 관련하여 폐쇄형 또는 반-폐쇄형 연결구이다. 청구항에서 청구항 요소를 수식하는 "제1", "제2", "제3" 등등의 서수의 사용은 그 자체로 임의의 우선 순위, 우선권 또는 다른 요소에 대한 한 청구항 요소의 순서 또는 방법의 단계가 수행되는 시간적 순서를 함축하지 않으며, 단지 특정 이름을 가지는 한 청구항 요소를 같은 이름을 가지는 다른 요소와 구분하기 위한 라벨로서 사용하여(하지만 서수를 사용하여) 청구항 요소들을 구분하기 위한 것이다. 본 명세서에서 사용된 바와 같이, "및/또는"은 열거된 아이템이 대안적이나, 대안 역시 열거된 아이템의 임의의 조합을 포함한다.

Claims

헤드 마운트 디스플레이의 제1 3차원 방향을 결정하는 단계;
헤드 마운트 디스플레이의 움직임을 감지하는 단계;
하나 이상의 IMU로부터, 헤드 마운트 디스플레이의 감지된 움직임을 나타내는 제1 데이터를 획득하는 단계;
헤드 마운트 디스플레이 외부의 하나 이상의 카메라로부터, 하나 이상의 마커의 하나 이상의 카메라에 의해 결정된 움직임에 기반하여 헤드 마운트 디스플레이의 감지된 움직임을 나타내는 제2 데이터를 획득하는 단계;
감지된 움직임을 나타내는 제1 데이터 및 감지된 움직임을 나타내는 제2 데이터 모두에 기반하여 헤드 마운트 디스플레이의 제2 3차원 방향을 예측하는 단계; 및
헤드 마운트 디스플레이에 의해 표시하기 위하여 헤드 마운트 디스플레이의 예측된 제2 3차원 방향에 대응하는 렌더링된 이미지를 생성하는 단계를 포함하고,
헤드 마운트 디스플레이는 하나 이상의 IMU(inertial measurement unit) 및 헤드 마운트 디스플레이의 외부 표면 상의 하나 이상의 마커를 포함하는 방법.
청구항 1에 있어서,
하나 이상의 IMU 중 적어도 하나는: 자이로스코프, 가속도계 및 자기계 중 하나를 포함하는 방법.
청구항 1에 있어서,
하나 이상의 마커 중 적어도 하나는: 반사체 및 빛 중 하나를 포함하는 방법.
청구항 1에 있어서,
헤드 마운트 디스플레이 외부의 카메라 중 적어도 하나는 하나 이상의 마커로부터의 적외선 광 및 가시광 중 하나 또는 모두를 감지하도록 구성되는 방법.
청구항 1에 있어서,
하나 이상의 카메라는 참조점으로 사용하기 위하여 하나 이상의 마커의 감지된 위치를 움직임 엔진으로 제공하도록 구성되고, 움직임 엔진은 감지된 위치에 기반하여 하나 이상의 마커의 움직임을 결정하고 하나 이상의 마커의 결정된 움직임에 기반하여 헤드 마운트 디스플레이의 감지된 움직임을 나타내는 제2 데이터를 생성하도록 구성되는 방법.
청구항 1에 있어서,
헤드 마운트 디스플레이의 제2 3차원 방향을 예측하는 단계는 감지된 움직임을 나타내는 제1 데이터 및 감지된 움직임을 나타내는 제2 데이터에 기반하여 헤드 마운트 디스플레이의 각속도를 결정하는 단계를 포함하는 방법.
청구항 6에 있어서,
헤드 마운트 디스플레이의 제2 3차원 움직임을 예측하는 단계는 헤드 마운트 디스플레이의 결정된 각속도에 기반하여 예측 시간 간격을 결정하는 단계를 더 포함하는 방법.
실행가능한 컴퓨터 명령어를 저장하는 비일시적 컴퓨터 판독가능한 저장 매체를 포함하고, 하드웨어 프로세서를 더 포함하고, 하드웨어 프로세서는 프로세서로 하여금:
헤드 마운트 디스플레이의 제1 3차원 방향을 결정하고;
헤드 마운트 디스플레이의 움직임을 감지하고;
하나 이상의 IMU로부터, 헤드 마운트 디스플레이의 감지된 움직임을 나타내는 제1 데이터를 획득하고;
헤드 마운트 디스플레이 외부의 하나 이상의 카메라로부터, 하나 이상의 마커의 하나 이상의 카메라에 의해 결정된 움직임에 기반하여 헤드 마운트 디스플레이의 감지된 움직임을 나타내는 제2 데이터를 획득하고;
감지된 움직임을 나타내는 제1 데이터 및 감지된 움직임을 나타내는 제2 데이터 모두에 기반하여 헤드 마운트 디스플레이의 제2 3차원 방향을 예측하고; 및
헤드 마운트 디스플레이에 의해 표시하기 위하여 헤드 마운트 디스플레이의 예측된 제2 3차원 방향에 대응하는 렌더링된 이미지를 생성하도록 야기하기 위하여 컴퓨터 명령어를 실행하도록 구성되고,
헤드 마운트 디스플레이는 하나 이상의 IMU(inertial measurement unit) 및 헤드 마운트 디스플레이의 외부 표면 상의 하나 이상의 마커를 포함하는 장치.
청구항 8에 있어서,
하나 이상의 IMU 중 적어도 하나는: 자이로스코프, 가속도계 및 자기계 중 하나를 포함하는 장치.
청구항 8에 있어서,
하나 이상의 마커 중 적어도 하나는: 반사체 및 빛 중 하나를 포함하는 장치.
청구항 8에 있어서,
헤드 마운트 디스플레이 외부의 카메라 중 적어도 하나는 하나 이상의 마커로부터의 적외선 광 및 가시광 중 하나 또는 모두를 감지하도록 구성되는 장치.
청구항 8에 있어서,
하나 이상의 카메라는 참조점으로 사용하기 위하여 하나 이상의 마커의 감지된 위치를 움직임 엔진으로 제공하도록 구성되고, 움직임 엔진은 감지된 위치에 기반하여 하나 이상의 마커의 움직임을 결정하고 하나 이상의 마커의 결정된 움직임에 기반하여 헤드 마운트 디스플레이의 감지된 움직임을 나타내는 제2 데이터를 생성하도록 구성되는 장치.
청구항 8에 있어서,
헤드 마운트 디스플레이의 제2 3차원 방향을 예측하는 단계는 감지된 움직임을 나타내는 제1 데이터 및 감지된 움직임을 나타내는 제2 데이터에 기반하여 헤드 마운트 디스플레이의 각속도를 결정하는 단계를 포함하는 장치.
청구항 13에 있어서,
헤드 마운트 디스플레이의 제2 3차원 움직임을 예측하는 단계는 헤드 마운트 디스플레이의 결정된 각속도에 기반하여 예측 시간 간격을 결정하는 단계를 더 포함하는 장치.
실행가능한 컴퓨터 명령어를 포함하는 비일시적 컴퓨터 판독가능한 저장 매체로서, 컴퓨터 명령어는 프로세서에 의해 실행될 때:
헤드 마운트 디스플레이의 제1 3차원 방향을 결정하는 단계;
헤드 마운트 디스플레이의 움직임을 감지하는 단계;
하나 이상의 IMU로부터, 헤드 마운트 디스플레이의 감지된 움직임을 나타내는 제1 데이터를 획득하는 단계;
헤드 마운트 디스플레이 외부의 하나 이상의 카메라로부터, 하나 이상의 마커의 하나 이상의 카메라에 의해 결정된 움직임에 기반하여 헤드 마운트 디스플레이의 감지된 움직임을 나타내는 제2 데이터를 획득하는 단계;
감지된 움직임을 나타내는 제1 데이터 및 감지된 움직임을 나타내는 제2 데이터 모두에 기반하여 헤드 마운트 디스플레이의 제2 3차원 방향을 예측하는 단계; 및
헤드 마운트 디스플레이에 의해 표시하기 위하여 헤드 마운트 디스플레이의 예측된 제2 3차원 방향에 대응하는 렌더링된 이미지를 생성하는 단계를 포함하는 단계를 수행하도록 구성되고,
헤드 마운트 디스플레이는 하나 이상의 IMU(inertial measurement unit) 및 헤드 마운트 디스플레이의 외부 표면 상의 하나 이상의 마커를 포함하는 비일시적 컴퓨터 판독가능한 저장 매체.
청구항 15에 있어서,
하나 이상의 IMU 중 적어도 하나는: 자이로스코프, 가속도계 및 자기계 중 하나를 포함하는 비일시적 컴퓨터 판독가능한 저장 매체.
청구항 15에 있어서,
하나 이상의 마커 중 적어도 하나는: 반사체 및 빛 중 하나를 포함하는 비일시적 컴퓨터 판독가능한 저장 매체.
청구항 15에 있어서,
헤드 마운트 디스플레이 외부의 카메라 중 적어도 하나는 하나 이상의 마커로부터의 적외선 광 및 가시광 중 하나 또는 모두를 감지하도록 구성되는 비일시적 컴퓨터 판독가능한 저장 매체.
청구항 15에 있어서,
하나 이상의 카메라는 참조점으로 사용하기 위하여 하나 이상의 마커의 감지된 위치를 움직임 엔진으로 제공하도록 구성되고, 움직임 엔진은 감지된 위치에 기반하여 하나 이상의 마커의 움직임을 결정하고 하나 이상의 마커의 결정된 움직임에 기반하여 헤드 마운트 디스플레이의 감지된 움직임을 나타내는 제2 데이터를 생성하도록 구성되는 비일시적 컴퓨터 판독가능한 저장 매체.
청구항 15에 있어서,
헤드 마운트 디스플레이의 제2 3차원 방향을 예측하는 단계는 감지된 움직임을 나타내는 제1 데이터 및 감지된 움직임을 나타내는 제2 데이터에 기반하여 헤드 마운트 디스플레이의 각속도를 결정하는 단계를 포함하는 비일시적 컴퓨터 판독가능한 저장 매체.
청구항 20에 있어서,
헤드 마운트 디스플레이의 제2 3차원 움직임을 예측하는 단계는 헤드 마운트 디스플레이의 결정된 각속도에 기반하여 예측 시간 간격을 결정하는 단계를 더 포함하는 비일시적 컴퓨터 판독가능한 저장 매체.