KR101777820B1 - 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 - Google Patents
헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 Download PDFInfo
- Publication number
- KR101777820B1 KR101777820B1 KR1020157035156A KR20157035156A KR101777820B1 KR 101777820 B1 KR101777820 B1 KR 101777820B1 KR 1020157035156 A KR1020157035156 A KR 1020157035156A KR 20157035156 A KR20157035156 A KR 20157035156A KR 101777820 B1 KR101777820 B1 KR 101777820B1
- Authority
- KR
- South Korea
- Prior art keywords
- angular velocity
- head
- mounted display
- interval
- predicted
- Prior art date
Links
- 230000008447 perception Effects 0.000 title description 6
- 238000005259 measurement Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012544 monitoring process Methods 0.000 claims abstract 7
- 238000009499 grossing Methods 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 description 117
- 210000003128 head Anatomy 0.000 description 22
- 230000008569 process Effects 0.000 description 14
- 230000003190 augmentative effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000009987 spinning Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
Abstract
헤드 마운트 디스플레이를 위한 예측적 트래킹 방법 및 장치가 개시된다. 방법은 하나 이상의 3차원 각속도 측정을 헤드 마운트 디스플레이를 모니터링하는 센서로부터 획득하는 단계 및 하나 이상의 3차원 각속도 측정에 기반하여 하나 이상의 각속도 측정이 헤드 마운트 디스플레이가 실질적으로 정지하고 있음을 가리킬 때 예측 간격이 실질적으로 0이 되고 하나 이상의 각속도 측정이 헤드 마운트 디스플레이가 기결정된 임계치 이상의 각속도로 움직이고 있음을 가리킬 때 예측 간격이 기결정된 지연 간격까지 증가하도록 예측 간격을 설정하는 단계를 포함한다. 방법은 하나 이상의 3차원 각속도 측정으로 예측 간격 동안 추정되어 생성된 예측 간격에 대응하는 시간에서의 예측된 방향을 사용하여 헤드 마운트 디스플레이의 3차원 방향을 예측하는 단계; 및 예측된 방향에 대응하는, 헤드 마운트 디스플레이에서 표시될 렌더링된 이미지를 생성하는 단계를 더 포함한다.
Description
저작권과 트레이드 드레스의 안내
본 특허 문서의 명세서의 부분은 저작권 보호 대상인 요소를 포함하고 있다. 본 특허 문서는 소유자의 트레이드 드레스이거나 될 수 있는 요소를 도시 및/또는 서술하고 있을 수 있다. 저작권 및 트레이드 드레스의 소유자는 임의의 자에 의한 미국 특허상표청에 제출되거나 기록된 바와 같은 특허 명세서복제 재생산에 이의를 제기하지 않으나, 모든 저작권 및 트레이드 드레스 권리를 보유한다.
분야
본 명세서는 헤드 마운트 디스플레이를 위한 예측적 트래킹에 관한 것이다.
관련 분야의 설명
헤드 마운트 디스플레이는 오랫동안 가상 현실과 증강 현실 시스템에서 사용되어 왔다. 일반적으로, 가상 현실 시스템은 착용자의 눈을 완전히 감싸고 현실을 "가상" 현실로 대체한다. 이들 가상 현실 환경은 의도적으로 또는 가상 현실 시스템의 성능 부족으로 인해 조잡할 수 있다. 하지만. 가상 현실 환경은 또한 자세하고, 상호작용적이며 꽤 복잡하고, 가상의 사람, 대화 및 경험을 포함할 수 있다. 가상 환경의 가장 명백한 전형은 플레이어 캐릭터가 게임 세상과 상호작용하는 비디오 게임일 수 있다. 하지만, 가상 환경은 반드시 게임일 필요가 없고, 대신 교육적 경험, 그룹 활동(예컨대, 역사적 장소의 여행) 또는 단순히 친구를 대표하는 아바타와 가상의 방에 앉아 대화를 하는 것일 수 있다.
반면, 증강 현실 시스템은 일반적으로 착용자의 눈 앞에 오버레이 반투명 또는 투명 스크린 또는 스크린들을 제공하여 현실이 추가적인 정보, 그래픽적 표시 또는 보충적 데이터로 "증강"된다. 예를 들어, 증강 현실은 "가상"의 사람, 아이템, 차, 방, 공간, 표지판 및 다른 데이터를 열람자의 현실에 겹쳐 놓는다. 단순한 증강 현실 시스템은 단순히 열람되는 장면 또는 영역에 관한 정보(예컨대, 온도, 착용자의 다가오는 약속, 이동 속도, GPS 위치, 기타등등)를 제공할 수 있다. 보다 복잡한 증강 현실 시스템은 "가상"의 유형의 객체를 예컨대 벽, 미술품, 개별적이고 유사한 요소와 같은 장면에 겹쳐 놓을 수 있다. 이들은 실시간으로 업데이트되어 증강 현실 디스플레이에 표시되는 이미지가 착용자에게 위치 내에 존재하는 것처럼 보일 수 있다.
각 시스템에서, 그러한 헤드셋의 착용자의 움직임은 사용자 움직임에 반응하고 표시될 이미지를 업데이트하기 위하여 추적될 수 있다. 이 추적은 예컨대 헤드셋의 위치, 움직임 및 방향과 관련된 데이터를 생성하는 자이로스코프, 가속도계, 자기계 및, 일부 경우에는 카메라 또는 색 센서와 같은 센서를 사용한다. 이 트래킹 데이터는 착용자 움직임에 응답하여 헤드셋의 디스플레이를 조정하기 위해 사용되는 각속도, 선형 가속도 및 중력 데이터와 같은 정보를 생성하기 위해 사용될 수 있다.
예측적 움직임은 과거부터 가상 현실 및 증강 현실 헤드셋에 통합되어 왔다. 하지만, 상기 확인된 센서들의 샘플율은 일반적으로 인간의 시력의 예민성에 비해 꽤 길다. - 수십 밀리초 단위이다 - 샘플 간 시간이 길기 때문에, 이들 예측은 종종 소위 "오버슈트"로 불리는 결과를 낳는데, 예측이 실제 머리 위치와 방향을 오버슈트하거나 극심하게 매끈하게 되어 예측이 단순히 보다 좋은 결과를 내는 움직임을 예측하지 않는 것이 아닌, 충분히 부정확하게 되는 다른 문제를 회피해야 한다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 가상 현실 시스템의 개요이다.
도 2는 컴퓨팅 장치의 블록도이다.
도 3은 가상 현실 헤드셋의 블록도이다.
도 4는 가상 현실 시스템의 기능적 다이어그램이다.
도 5는 가상 현실 헤드셋을 착용하고 있는 사용자이다.
도 6은 도 6a와 6b로 이루어져 있고, 예측적 움직임 트래킹에 의해 생성되는 지터의 예시이다.
도 7은 도 7a, 7b 및 7c로 이루어져 있고, 실제 움직임과 비교한 예측적 움직임 트래킹의 예시이다.
도 8은 예측적 움직임 트래킹 프로세스에 적용되는 바와 같은 지각적으로 튜닝된 필터링을 도시한다.
본 명세서 내에서, 도면에 나타나는 요소에는 3자리의 도면부호가 할당되는데, 가장 큰 자리수는 도면 번호이고 두 작은 자리수는 요소를 가리킨다. 도면과 관련하여 서술되지 않은 요소는 동일한 두 작은 자리수의 도면부호를 가지는 먼저 서술된 요소와 동일한 특징과 기능을 가지는 것으로 간주될 수 있다.
도 2는 컴퓨팅 장치의 블록도이다.
도 3은 가상 현실 헤드셋의 블록도이다.
도 4는 가상 현실 시스템의 기능적 다이어그램이다.
도 5는 가상 현실 헤드셋을 착용하고 있는 사용자이다.
도 6은 도 6a와 6b로 이루어져 있고, 예측적 움직임 트래킹에 의해 생성되는 지터의 예시이다.
도 7은 도 7a, 7b 및 7c로 이루어져 있고, 실제 움직임과 비교한 예측적 움직임 트래킹의 예시이다.
도 8은 예측적 움직임 트래킹 프로세스에 적용되는 바와 같은 지각적으로 튜닝된 필터링을 도시한다.
본 명세서 내에서, 도면에 나타나는 요소에는 3자리의 도면부호가 할당되는데, 가장 큰 자리수는 도면 번호이고 두 작은 자리수는 요소를 가리킨다. 도면과 관련하여 서술되지 않은 요소는 동일한 두 작은 자리수의 도면부호를 가지는 먼저 서술된 요소와 동일한 특징과 기능을 가지는 것으로 간주될 수 있다.
가상 현실 시스템의 지터, 지연 및 전체 응답을 포함하는 다양한 인자를 고려하는 운동 예측의 동적 애플리케이션은 예측적 움직임 트래킹과 관련된 문제를 중대하게 감소시킬 수 있다. 예를 들어, 움직이는 헤드셋에 그 움직임의 크기에 적절한 도(degree)로만 예측적 움직임을 적용하는 것은 모든 움직임에 동일한 도로(동일한 예측 간격으로) 예측적 트래킹을 가능하게 하는 것보다 나은 전체 예측 정확도를 제공한다.
유사하게, 예컨대 최근에 감지된 움직임의 회귀-기반 평균(regression-based averaging)의 평활화(smoothing)는 운동 데이터가 헤드셋이 실질적으로 운동하지 않는다고 가리킬 때 보다 공격적으로 적용될 수 있지만, 운동 데이터가 헤드셋이 상대적으로 높은 각속도로 움직이거나 각가속도가 증가한다고 가리킬 때 덜 공격적으로 적용될 수 있다. 이것은 머리가 실질적으로 움직임이 없을 때 사람의 머리가 회전할 때보다 인간의 눈이 소위 "지터"에 매우 예민하기 때문이다. 지터는 센서 측정에서 일련의 작은 경미한 변화가 렌더링된 비디오가 "바운스"되는 결과를 야기할 때 일어난다. 머리가 움직임이 없을 때, 지터는 잘 보인다. 움직임이 있을 때, 지터는 거의 완전히 인간의 지각력에 의하여 눈에 띄지 않는다.
이들 타입의 평활화 및 운동 예측 양자의 동적 스케일링은 지각적으로 튜닝된 필터링으로 불릴 수 있는데 그들이 가상 현실 시스템에서 사용될 수 있는 하드웨어의 기술적 한계의 이해와 관련하여 사람의 지각력에 관한 발견에 의존하기 때문이다.
장치의 설명
이제 도 1을 참조하면, 가상 현실 시스템(100)의 개요가 도시된다. 시스템은 네트워크(150)에 의해 연결된 사용자 시스템(110)과 환경 서버(120) 및 VR 헤드셋(130)을 포함한다. 사용자(135) 또한 도시되나, 사용자(135)는 시스템(100)과 분리되는 것으로 간주될 수 있다.
사용자 시스템(110)은 VR 헤드셋에 디스플레이하기 위하여 가상 현실 환경을 생성하기 위해 VR 헤드셋(130)과 연결되고 상호작용하는 컴퓨팅 장치이다. 사용자 시스템(110)은 예컨대, 일반적인 데스크탑 컴퓨터, 마이크로소프트® Xbox®, 닌텐도® Wii® 및 WiiU®, 소니® 플레이스테이션® 콘솔과 같은 비디오 게임 콘솔일 수 있다. 사용자 시스템(110)은 일부 경우에, 모바일 전화, 태블릿 컴퓨터 또는 다른 휴대용 또는 그보다 작은 컴퓨팅 장치와 같은 모바일 장치일 수 있다. 사용자 시스템(110)은 3차원 환경을 렌더링하기 위한 컴퓨팅 장치에서 일반적으로 쓰이는 비디오 프로세서와 같은 작업-특정 하드웨어일 수 있다. 비디오 프로세서는 단독 비디오 카드 내에 수용되거나 보다 큰 프로세서나 시스템-온-어-칩에 통합될 수 있다.
일반적으로, 사용자 시스템(110)은 운영체제 소프트웨어와 VR 헤드셋(130)에 디스플레이하기 위한 가상 환경의 이미지를 생성하는 잠재적인 가상 환경 소프트웨어를 포함하는 소프트웨어를 실행한다. 가상 환경 소프트웨어는 예컨대 3차원 세계의 이미지를 생성하여 VR 헤드셋(130)의 착용자가 게임 세상의 가상 환경 "안"에 있는 것처럼 보이게 하는 비디오 게임 소프트웨어일 수 있다.
환경 서버(120)는 컴퓨팅 장치이다. 환경 서버(120)는 가상 현실 시스템(100)의 구현에 의존하여 선택적일 수 있다. 예를 들어 가상 환경(100)이 다중-사용자 또는 멀티파티(multiparty)일 때, 환경 서버(120)는 가상 환경을 렌더링하기 위하여 사용자 시스템(110)으로부터 사용되는 데이터의 일부를 제공할 수 있다.
예를 들어, 환경 서버(120)는 네트워크(150)를 통하여, 사용자 시스템(110)에 의해 렌더링되는 가상 환경에 동시에 연결된 다른 사용자에게 적용되는 데이터를 유지하고 통신할 수 있다. 이 방법으로, VR 헤드셋(130)과 같은 VR 헤드셋의 일련의 사용자들의 사용자 아바타는 가상 환경 내에 함께 나타날 수 있다. 한 사용자가 환경 내에서 "이동"함에 따라, 환경 서버(120)는 그 데이터를 수신하고 사용자 시스템(110)과 같은, 다른 사용자와 연관된 사용자 시스템에 전달한다. 그러므로, 환경 서버(120)는 사용자의 그룹이 실시간으로 가상 환경을 함께 경험할 수 있도록 할 수 있다.
일부 실시예에서, 특히 다중-사용자나 멀티파티 경험을 포함하지 않는 것에서, 환경 서버(120)는 불필요할 수 있다. 그러한 경우, 사용자 시스템(110)은 가상 환경을 렌더링하기 위한 모든 책임을 진다.
VR 헤드셋(130)은 사용자 시스템(110)과 같은 컴퓨팅 장치이지만, 몇몇 특별한 특징을 가진다. VR 헤드셋(130)은 적어도 하나의 통합된 디스플레이를 포함하고 VR 헤드셋(130)을 위한 운동, 위치 및/또는 방향 데이터를 생성하기 위해 사용될 수 있는 하나 이상의 센서를 포함한다. VR 헤드셋(130)의 착용자가 움직임에 따라, 센서는 운동, 위치 및 또는 방향 데이터를 생성하고 사용자 시스템(110)으로 전송한다. 사용자 시스템(110)은 VR 헤드셋(130)에 통합된 디스플레이 디스플레이될 하나 이상의 이미지를 반환한다.
VR 헤드셋(130)은 USB®, HDMI, DVI, VGA, 광섬유, DisplayPort®, Lightning® 커넥터, 이터넷과 같은 일반 컴퓨터 입력 및 출력 인터페이스에 의하여 또는 VR 헤드셋(130)을 사용자 시스템(110)에 연결하기 위해 특정하게 설계된 커스텀 인터페이스에 의하여 사용자 시스템(110)에 연결될 수 있다. 일반적으로, 이들 연결 중 적어도 일부는 렌더링된 비디오 데이터 이미지가 통합된 디스플레이에 가능하면 작은 지연으로 디스플레이되는 것을 보장하기 위해 상대적으로 높은 처리능력일 것이다. 일부 경우에, 802.11 프로토콜, 블루투스 또는 라디오 주파수를 사용하는 무선 연결이 사용자 시스템(110)과 VR 헤드셋(130) 간의 데이터의 일부를 전송하기 위해 사용될 수 있다.
VR 헤드셋(130)은 사용자 시스템(110)의 기능의 일부 또는 전부를 통합할 수 있다. 하지만, 현재의 기술을 사용하여, 이들 시스템은 주로 서로 구분되는데 납득할만한 가상 환경을 처리하고, 본 명세서에 서술되는 움직임 외삽법(motion extrapolation)을 수행하는데 필요한 프로세싱 능력과 저장소는 사용자 시스템(110)과 같은 보다 크고 보다 비싼 컴퓨팅 장치에서만 사용가능한 보다 강력하고 보다 큰 프로세서에 두는 것이 낫기 때문이다.
일부 예에서, 사용자 시스템(110)이 태블릿이나 모바일 전화와 같은 모바일 장치일 때, 모바일 장치의 센서와 모바일 장치의 디스플레이는 VR 헤드셋(130)의 전부 또는 일부를 기능적으로 대신할 수 있다. 예를 들어, 모바일 장치의 디스플레이는 VR 헤드셋(130)의 디스플레이가 될 수 있다.
사용자(135)는 VR 헤드셋(130)의 착용자이다. 사용자(135)는 그 또는 그녀가 VR 헤드셋(130)의 통합된 디스플레이를 볼 수 있는 방식으로 헤드셋을 착용한다. 사용자(135)는 다른 주변 기기, 예컨대 마우스, 키보드, 헤드폰, 스피커, 마이크, 휴대용 컨트롤러 또는 다른 유사한 상호작용성 구성요소(도시되지 않음)와 같은 주변기기와 상호작용하여 사용자 시스템(110)가 VR 헤드셋(130)에 디스플레이될 가상 환경을 렌더링하도록 더 지시할 수 있다.
네트워크(150)는 사용자 시스템(110)을 환경 서버(120)에 연결하는 유선 또는 무선 네트워크이다. 이 네트워크(150)는 인터넷 또는 LAN(local area network) 또는 WAN(wide area network)이거나 포함할 수 있다. 네트워크(150)는 사용자 시스템(110 또는 120) 간 통신을 가능하게 하기 위해 TCP/IP, 이더넷 또는 다른 대규모 네트워크 프로토콜과 같은 일반적인 프로토콜을 사용할 수 있다. 커스텀 프로토콜이 사용될 수 있다. 환경 서버(120)로부터 사용자 시스템(110)(및 다른 사용자 시스템)으로의 통신은 전달을 보장하는 프로토콜보다 방송 프로토콜을 사용할 수 있다. 이것은 환경 서버가 복수의 사용자 시스템이 마지막 데이터의 수신을 확인하는 것을 기다리지 않고 사용자 시스템(110)의 데이터를 계속적으로 업데이트할 수 있게 한다.
이제 도 2로 넘어가면, 서버 컴퓨터, 클라이언트 장치, 모바일 장치 및 본 명세서에서 논의되는 다른 컴퓨팅 장치를 대표하는 컴퓨팅 장치(200)의 블록도가 도시된다. 사용자 시스템(110) 및 환경 서버(120)는 컴퓨팅 장치의 예시이다.
컴퓨팅 장치(200)는 본 명세서에 서술되는 기능 및 특징을 제공하기 위한 소프트웨어 및/또는 하드웨어를 포함할 수 있다. 컴퓨팅 장치(200)는 그러므로 다음 중 하나 이상을 포함할 수 있다: 메모리, 아날로그 회로, 디지털 회로, 소프트웨어, 펌웨어 및 프로세서. 컴퓨팅 장치(200)의 하드웨어 및 펌웨어 구성요소는 본 명세서에 서술되는 기능 및 특징을 제공하기 위한 다양한 특화된 유닛, 회로, 소프트웨어 및 인터페이스를 포함할 수 있다.
컴퓨팅 장치(200)는 메모리(212), 저장소(214), 네트워크 인터페이스(216) 및 I/O 인터페이스(218)와 연결된 프로세서(210)를 가진다. 프로세서는 하나 이상의 마이크로프로세서, 집적된 특화 기능 프로세서(예컨대 비디오 프로세서), ASICs(application specific integrated circuits) 또는 SOACs(systems on a chip)이거나 포함할 수 있다.
메모리(212)는 RAM, ROM, DRAM, SRAM 및 MRAM이거나 포함할 수 있고, 정적 데이터 또는 고정된 명령어, BIOS, 시스템 함수, 구성 데이터 및 컴퓨팅 장치(200)와 프로세서(210)의 구동 중 사용되는 다른 루틴과 같은 펌웨어를 포함할 수 있다. 메모리(212) 또한 프로세서(210)에 의해 다뤄지는 애플리케이션 및 데이터와 연관된 데이터 및 명령어를 위한 저장소 영역을 제공한다.
저장소(214)는 컴퓨팅 장치(200) 내의 데이터 또는 명령어의 비휘발성, 벌크 또는 장기간 저장을 제공한다. 저장소(214)는 디스크, 테이프, CD, DVD, SSD(solid state drive) 또는 다른 합리적으로 높은 용량의 어드레서블(addressable) 또는 순차 저장 매체의 형태를 취할 수 있다. 복수의 저장 장치가 컴퓨팅 장치(200)에 제공되거나 사용가능할 수 있다. 이들 저장 장치 중 일부는 네트워크 저장소 또는 클라우드 기반 저장소와 같이 컴퓨팅 장치(200)의 외부일 수 있다.
네트워크 인터페이스(216)는 네트워크(150)(도 1)과 같은 네트워크로의 인터페이스를 포함한다.
I/O 인터페이스(218)은 프로세서(210)를 VR 헤드셋(130), 디스플레이, 키보드, 마우스, 컨트롤러, USB 장치 및 다른 주변기기와 같은 주변기기(도시되지 않음)로 인터페이스한다.
도 3은 도 2와 관련하여 위에 논의된 것과 실질적으로 동일한 컴퓨팅 장치를 가지는 가상 현실 헤드셋(300)의 블록도를 도시한다. 도 2와 관련하여 위에 논의된 요소는 여기 반복되지 않을 것이다. 가상 현실 헤드셋(300)의 컴퓨팅 장치는 전체적으로 또는 부분적으로 시스템-온-어-칩으로 구현된다.
프로세서(312)는 풀-사이즈 컴퓨팅 장치에서 사용가능한 것보다 낮은 능력을 가질 수 있다. 메모리(314), 네트워크 인터페이스(316), 저장소(318) 및 입력/출력 인터페이스(320)는 단일 패키지에 통합되고 빠른 응답 시간을 제공하기 위해 작은 명령어 세트로 설계될 수 있다.
센서(322)는 운동, 위치 및 방향 데이터를 생성하기 위해 사용되는 센서이다. 이들 센서는 자이로스코프, 가속도계, 자기계, 비디오 카메라, 색 센서 또는 다른 운동, 위치 및 방향 센서이거나 포함할 수 있다. 센서(322)는 또한 센서의 서브-부분, 예컨대 운동, 위치 및 방향 데이터를 생성하기 위해 카메라 또는 색 센서에 의하여 외부에서 열람 할 수 있는 일련의 액티브 또는 패시브 마커을 포함할 수 있다. 예를 들어, 가상 현실 헤드셋은 그 외부에 일련의 마커, 예컨대 외부 카메라에 의해 열람되거나 빛(예컨대, 적외선 또는 가시광선)에 의해 밝혀질 때, 운동, 위치 및 방향 데이터를 생성하기 위해 소프트웨어에 의해 해석되기 위한 하나 이상의 참조점을 제공할 수 있는 반사체 또는 빛(예컨대, 적외선 또는 가시광선)을 포함할 수 있다. 이런 의미에서, 이들 마커는 "센서"가 아니지만, 운동, 위치 및 방향 데이터를 생성하기 위해 사용되는 센서 시스템의 일부를 이룬다.
센서(322)는 센서 데이터를 높은 속도로 제공하기 위하여 상대적으로 높은 주파수로 구동할 수 있다. 예를 들어, 센서 데이터는 1000Hz (또는 1개의 센서가 매 1밀리초마다 판독)의 속도로 생성될 수 있다. 이 방법으로, 초당 천개의 판독이 획득된다. 센서가 이 속도(또는 더 높은 속도)로 충분한 데이터를 생성할 때, 운동을 예측하기 위해 사용되는 데이터 세트는 심지어 수십 밀리초 정도의 상대적으로 짧은 시간 동안에도 충분히 크다.
가상 현실 헤드셋은 디스플레이 버퍼(324)를 포함하는데, 디스플레이를 위한 이미지 데이터가 디스플레이에 표시되기 바로 전에 저장되고, 프로세서(312)에서 사용가능한 메모리(314)이거나 포함한다. 이 방식으로, 디스플레이는 프로세서(312)로부터의 입력에 즉시 응답하여 기능할 수 있다.
가상 현실 헤드셋(300)의 디스플레이(도시되지 않음)는 하나 이상의 디스플레이일 수 있다. 디스플레이는 예컨대, VR 헤드셋(130)의 착용자의 눈 바로 앞에 위치할 수 있다. 그럼, 디스플레이는 상대적으로 낮은 해상도로도 착용자의 넓은 시야를 채울 수 있다. 디스플레이는 사용자 시스템(110)에 의해 렌더링된대로 착용자에게 가상 환경을 디스플레이할 수 있다.
도 4로 넘어가면, 가상 현실 시스템(400)의 기능적 다이어그램이 도시된다. 가상 현실 시스템(400)은 사용자 시스템(410), 환경 서버(420) 및 VR 헤드셋(430)을 포함한다. 이들은 도 1의 사용자 시스템(110), 환경 서버(120) 및 VR 헤드셋(130)에 대응할 수 있다. 시스템의 일부가 아닌 사용자(435) 또한 도시된다.
사용자 시스템(410)은 운영체제(411), 네트워크 입력/출력 인터페이스(412), 환경 소프트웨어(413), 가상 현실 드라이버(414) 및 운동 예측자 및 평활자(smother)(415)를 포함한다.
운영체제(411)는 사용자 시스템(410)의 운영체제이다. 이것은 만약 사용자 시스템(410)이 개연용 컴퓨터 또는 유사한 장치라면 예컨대 윈도우®, OSX®, 리눅스 또는 다른 운영체제일 수 있다. 운영체제(411)는 독점(proprietary) 시스템, 예컨대 일반적인 비디오 게임 콘솔에서 채용되는 운영체제일 수 있다. 나아가, 운영체제(411)는 만약 사용자 시스템(410)이 모바일 장치라면 iOS®, 안드로이드® 또는 유사한 모바일 장치 운영체제일 수 있다. 운영체제(411)는 다른 소프트웨어, 드라이버 및 주변기기가 기능하기 위한 환경을 제공한다.
네트워크 입력/출력 인터페이스(412)는 사용자 시스템(410)이 환경 서버(420)(존재할 때)와 통신할 수 있게 한다. 네트워크 입력/출력 인터페이스(412)는 일반적인 네트워크 드라이버 및 네트워크 통신을 가능하게 하는 환경 소프트웨어(413)에 특정한 소프트웨어를 포함할 수 있다.
환경 소프트웨어(413)는 다른 구성요소와 관련하여 가상 현실로 표시되는 환경을 생성하도록 구동되는 소프트웨어이다. 예를 들어, 환경 소프트웨어는 VR 헤드셋(430)의 디스플레이에 표시되기 위한 3차원 세계를 생성하는 비디오 게임 소프트웨어일 수 있다. 환경 소프트웨어(413)는 복수의 디스플레이를 상이한 각도에서 동시에 렌더링할 수 있게 하는 특화된 소프트웨어를 포함할 수 있다 - VR 헤드셋에서는 일반적인데, 2개의 디스플레이 또는 단일 디스플레이의 두 분리된 이미지가 각 눈에 하나씩 제공될 수 있다. 환경 소프트웨어(413)는 VR 헤드셋(430)에 적합한 컨텐츠를 출력할 수 있게 하도록 특화되어 설계된 소프트웨어와 통합될 수 있다.
환경 소프트웨어(413)는 비디오 게임 소프트웨어일 필요는 없으나, 임의의 타입의 가상 현실 또는 증강 현실 환경 소프트웨어일 수 있다. 이 소프트웨어는 허구의 장소, 역사적 장소, 교육적 장소 또는 현실을 시뮬레이션하는 거의 임의의 몰입형 환경을 포함하는 가상 현실 위치를 생성할 수 있다.
가상 현실 드라이버(414)는 운영체제(411) 및 환경 소프트웨어(413) 및 VR 헤드셋(430) 사이를 오버레이하는 소프트웨어일 수 있다. 가상 현실 드라이버(414)는 특히 환경 소프트웨어(413)로부터의 입력을 받아들이고 데이터를 VR 헤드셋(430)에 의해 디스플레이되기 적합한 형태로 VR 헤드셋(430)으로 출력한다. 가상 현실 드라이버(414)는 소프트웨어 레벨 밑의 하나 이상의 추상화 레벨에서 VR 헤드셋(430)이 빠르게 반응할 수 있도록 환경 데이터의 전송과 사용을 빠르게 하기 위해 VR 헤드셋(430)과 상호작용할 수 있다. 이것은 사용자 시스템(410)이 VR 헤드셋(430)보다 강력한 시스템(예컨대, 보다 강력한 프로세서를 포함하는)일 때 특히 참일 수 있다. 이 방식으로, VR 헤드셋(430)은 VR 헤드셋(430)에 의해 요구되는 임의의 실질적인 추가적 프로세싱 없이 VR 헤드셋(430)에 직접 디스플레이될 수 있는 보다 날것의(raw) 데이터를 받아들일 수 있다.
운동 예측자 및 평활자(415)는 VR 헤드셋(430)의 움직임, 방향 및 위치의 예측을 책임지는 소프트웨어이다. 운동 예측자는 가상 현실 드라이버(414)의 일부일 수 있다.
운동 예측자 및 평활자(415)는 데이터로 구동하고 VR 헤드셋(430)의 움직임, 방향 및 위치의 예측을 생성하기 위해 VR 헤드셋(430)의 센서로부터 데이터를 받아들일 수 있다. 운동 예측자 및 평활자(415)는 예컨대, 짧은 시간 프레임(예컨대, 최근 10 밀리초 동안 10번의 측정)에 걸쳐 각속도 측정을 평균내어 미래의 운동, 방향 및 위치에 관한 예측을 도출할 수 있다. 대안적으로, 운동 예측자 및 평활자(415)는 일련의 각속도 측정을 미분하여 각가속도를 도출하고 미래의 기결정된 시간으로 추론하여 미래의 움직임, 방향 및 위치를 예측할 수 있다. 예측 프로세스는 도 8을 참조하여 더 자세히 후술될 것이다.
나아가, 운동 예측자 및 평활자(415)는 센서 데이터의 "평활화" 동작을 수행할 수 있다. 가장 가공되지 않은(rawest) 형태에서, VR 헤드셋(430)의 일련의 센서로부터 수신한 운동, 방향 및 위치 데이터는 조금 부정확할 수 있다. 예를 들어, 밀리초당 1의 범위의 샘플율에서, 때때로 VR 헤드셋(430)의 방향, 움직임 또는 위치에 작은 변화가 움직임, 방향 또는 위치의 실제 변화를 나타내지 않는 센서 판독의 증분을 낳을 수 있다.
예를 들어, VR 헤드셋(430)을 착용하고 있는 사용자가 실질적으로 가만 있더라도, 센서는 계속 작은 변화를 보고할 수 있다. 이 데이터를 사용하여, VR 헤드셋의 디스플레이에 생성된 이미지는 VR 헤드셋(430)의 실제 변화를 나타내지 않는 작은 변화를 포함할 수 있다. 그 결과로, VR 헤드셋(430)의 디스플레이의 소위 "지터"가 발생할 수 있다. 이것은 VR 헤드셋(430)의 사용자에게 VR 헤드셋(430) 센서로부터 수신한 데이터의 이들 작은 변화에 응답하여 이미지가 작은 증분으로 "바운스(bouncing)"하는 것처럼 보일 수 있다.
지터와 기타 유사한 에러에 응답하여, 운동 예측자 및 평활자(415)는 또한 수신한 데이터에 평활화를 적용할 수 있다. 이 평활화는 예컨대, 센서로부터 일련의 최근 판독을 취하고 그들을 평균하여 VR 헤드셋(430)에 디스플레이될 다음 이미지를 생성하는데 사용되는 운동, 방향 및 위치 데이터를 실제로 생성하는데 사용되는 데이터를 도출할 수 있다. 센서데이터가 기간에 걸쳐 추정되며, 이상치 같은 데이터(likely-outlier data)를 제거하는 선형 또는 비선형 필터링과 같은 다른 평활화 방법 역시 사용될 수 있다.
환경 서버(420)는 운영체제(421), 네트워크 입력/출력 인터페이스(422), 환경 소프트웨어(423) 및 환경 데이터베이스(424)를 포함한다. 운영체제(421) 및 네트워크 입력/출력 인터페이스(422)는 사용자 시스템(410)을 위해 위에 기술된 것과 환경 서버(420)을 대표하는 것을 제외하면 실질적으로 동일한 기능을 제공한다. 운영체제(421)는 복수의 사용자의 연결, 예컨대 네트워크를 지원하는 운영체제에 보다 가깝다. 유사하게, 네트워크 입력/출력 인터페이스(422) 또한 복수의 연결을 보다 잘 지원하거나 네트워크의 보다 빠른 연결이 제공될 수 있다.
환경 소프트웨어(423)는 사용자 시스템(410)의 환경 소프트웨어(413)와는 상이한 목적을 제공한다. 환경 소프트웨어는 사용자에게 표시될 임의의 3차원 세계를 렌더링하는 책임을 실제로 지지는 않는다. 대신, 환경 서버(420)에 연결된 복수의 사용자들의 상태를 유지할 수 있다. 예를 들어, 만약 수백 명의 사용자가 환경 서버(420)에 동시에 접속해 있다면, 환경 소프트웨어(423)는 그들 사용자 각각의 위치, 행위, 움직임 및 기타 데이터를 가리키는 환경 데이터베이스(424)를 유지할 수 있다. 환경 데이터베이스(424)는 그 데이터를 사용자 시스템(410)과 같은 사용자 시스템에 전송하여 사용자 시스템(410) 환경 소프트웨어(413)가 그 데이터를 통합하여 그 시각적 디스플레이를 업데이트할 수 있게 하기 위해 그들 위치를 동적으로 업데이트하고 저장할 수 있다. 이것은 예컨대, 환경 소프트웨어에 의해 렌더링된 3차원 환경 내의 다른 사용자를 대표하는 아바타의 위치일 수 있다.
VR 헤드셋(430)은 도 1의 VR 헤드셋(130)과 실질적으로 동일하고, 도 3의 컴퓨팅 장치(300)를 포함할 수 있다. VR 헤드셋(430)은 가상 현실 또는 증강 현실 가상 환경을 경험하기 위해 사용자(435)에 의해 착용될 수 있다.
이제 도 5로 넘어가면, 가상 현실 헤드셋(530)을 착용한 사용자(535)가 도시된다. VR 헤드셋(530)은 사용자(535)의 눈을 덮어 착용된다. 사용자(535) 머리는 피치(540), 롤(550) 및 요우(560)의 축을 가지는 3차원 축의 중심에 위치한 것으로 간주된다. 3차원 직교 좌표계(Cartesian coordinate system)에서 피치(540)는 x축, 롤(550)은 z축, 요우(560)는 y축이다.
VR 헤드셋(530)의 움직임(사용자 움직임)은 피치(540), 롤(550) 및 요우(560)로 표현될 수 있다. 3차원 방향을 표현하기 위한 한 방법은 사원수(quaternions)를 사용한다. 이것은 q(ν,θ)가 동일한 회전일 때 임의의 3차원 방향이 q(ν,θ)=(cos(θ/2),νxsin(θ/2),νysin(θ/2),νzsin(θ/2))로 표현될 수 있기 때문이다. 사원수는 대수적 연산 하에서 기하학을 지키며 상대적으로 적은 인자로 회전의 조작을 가능하게 하는 장점이 있는데(예컨대, 하르 측도(Haar measure)), 3차원 공간에서 예측을 수행하기 매우 유용하다.
하르 측도는 객체의 3차원 공간에서의 복수의 회전이 서로 관련되는 것을 보장하는데 도움을 준다. 예를 들어, 두 이전 회전에 제3 회전을 적용하는 것은, 바람직하게는 두 이전 회전이 여전히 동일한 방향으로 구분되는 결과를 낳는다. 하르 측도에 대하여 일관성을 유지하는 것은 이것을 보장하는 것과 사원수와 관련하여 잘 기능하는 것을 돕는다.
도 6a와 도 6b로 이루어지는 도 6은 예측적 운동 트래킹에 의해 생성된 지터의 예시를 도시한다. 도 6a는 두 이미지(620 및 622)이 VR 헤드셋에 표시되는 장면을 도시한다. 장면의 깊이의 지각을 생성하기 위하여 두 이미지(620 및 622)가 각 눈에 하나씩, 시점이 약간 다르게 보여진다. 예를 들어, 장면 내의 개인(630)은 각 이미지(620 및 622)에서 약간 다른 각도로 보여질 수 있다. 그 결과, 정신이 개인(630)이 피사계 심도(depth of field)를 가지는 것으로 지각한다. 이것은 몰입을 증가시킨다.
도 6b는 이미지(640 및 642)를 포함하는 조금 다른 장면을 도시한다. 여기서, 개인(650)은 장면 내에서 위로 "이동"했다. 이 타입의 이동은 예측적 트래킹이 적용되고 약간의 센서 에러와 센서 감지의 드리프트가 있는 상황에 발생할 수 있다. 예를 들어, 착용자의 머리가 "위를 보는 것"을 시사하는 센서의 약간의 변동은 예측적 운동 트래킹 시스템이 이 운동 데이터를 존재하지 않는 급격한 움직임으로 과추정하게 할 수 있다.
도 6b에서, 약간의 변동은 존재하지 않는 운동에 대한 운동 데이터를 생성하도록 추정될 수 있다. 착용자의 머리는 실질적으로 정지해 있다. 만약 이것이 수초 동안 여러 번 일어나면, 효과는 극단적일 것이다. 도 6b에서 이미지가 과장되어 보다 쉽게 인식할 수 있지만, 착용자의 뇌는 정지해있다고 믿기 때문에 움직이지 않는 VR 헤드셋의 착용자는 작은 지터더라도 극도로 실감나지 않는 것으로 느낄 수 있다. 아무리 작은 지터라도 실제 머리 움직임(또는 움직이지 않음)에 해당하지 않는 시각적으로 인식된 움직임 데이터는 착용자의 지각과 일치하지 않는다.
도 7a, 7b 및 7c로 이루어진 도 7은 실제 운동과 비교한 예측적 운동 트래킹의 예시를 도시한다. 도 7a는 도 6a의 이미지(720, 722) 및 개인(730)과 같은 방법으로 도시한다.
도 7b는 미래로의 시간 프레임 동안 착용자의 움직임을 추정하기 위해 예측적 운동 트래킹을 사용하여 렌더링된 장면이다. 이미지(740 및 742)는 개인(750)이 왼쪽으로 움직인 것으로 업데이트된다. 이 시각적 인식에서, 착용자가 그 또는 그녀의 머리를 오른쪽으로 돌리는 프로세스를 시작하여, 개인(750)이 시야의 바깥으로 이동하기 시작했기 때문에 그럴듯하다.
예측적 운동 트래킹은 VR 헤드셋과 연관되어 센서로부터 생성된 센서 데이터로부터 추정한 운동, 방향 및 위치 데이터에 기반하여 개인(750)의 위치(및 전체 장면의 방향)을 예측한다. 예를 들어, 운동, 방향 및 위치 데이터는 VR 헤드셋이 특정 경로를 따라, 특정 각속도(또는 잠재적으로 선 속도 또는 각 또는 선 가속도)로 움직이고 있는 것으로 가리킬 수 있다. 7b의 장면은 주어진 시간 프레임 동안 추정(또는 예측)될 수 있다.
도 7c는 개인(770)을 포함하는 두 이미지(760 및 762)를 포함하는, VR 헤드셋의 실제 운동, 방향 및 위치에 대응하는 장면을 도시한다. 도 7b 및 7c의 세심한 검사는 예측된 운동이 약간 틀렸다는 것을 가리킨다. 구체적으로, 개인(750)은 이미지(760 및 762)에 도시된 실제 운동, 방향 및 위치와 비교하여 시야의 왼쪽으로 충분히 멀리 이동하지 않았다. 그 결과, 개인(770)은 장면의 약간 더 왼쪽에 있다. 이들 에러는 예측된 거리(744 및 746)을 실제 거리(764 및 766)과 비교하여 보여진다.
검사는 본 명세서에 서술된 프로세스가 사용됐을 때, 이들 작은 에러는 가상으로 실존하지 않음을 가리킨다. 하지만, 예측적 운동 트래킹은 본질적으로 일정 폭의 에러를 포함한다 - 이것은 착용자의 움직임이 일어나기 전의 예측이다. 하지만, 에러가 작을 때, 특히 가상 현실 시스템에서, 그리고 이들 에러가 보일 수 있는 시간 프레임이 매우 빠르기 때문에, 착용자의 정신은 일반적으로 차이를 세심하게 지각하지 않는다.
프로세스의 설명
이제 도 8을 참조하면 흐름도가 예측적 운동 트래킹 프로세스에 적용되는 지각적으로 튜닝된 필터링을 도시한다. 흐름도는 시작(805)과 종료(895)를 가지지만, 프로세스는 자연스럽게 순환한다. 사실, VR 헤드셋이 착용자의 머리에서 활성화되면 프로세스는 거의 정적으로 반복한다. 렌더링된 비디오의 각 프레임에서, 프로세스는 적어도 한번, 어쩌면 수 회 반복될 수 있다.
먼저, 810에서 센서 측정이 VR 헤드셋 내에 존재할 수 있는 센서를 포함하여 센서로부터 얻어진다. 상술한 바와 같이, 이들 센서는 가속도계, 자이로스코프, 자기계, 액티브 또는 패시브 마커 및 카메라를 포함할 수 있다. 주위 환경에 위치한 마커와 함께 카메라가 헤드셋에 장착될 수 있고 또는 마커가 헤드셋에 장착되고 하나 이상의 외부 카메라가 마커를 추적할 수 있다. 이들 센서의 기능은 운동, 방향 및 위치의 예측으로부터 정확한 데이터가 도출될 수 있도록 하는 것이다. 센서가 어디에 있고 무엇이든, 센서는 데이터를 예컨대 사용자 시스템에 제공하여 예측에 기반한 지각 프로세스가 시작하도록 한다.
다음으로, 820에서 센서 결합이 수행된다. 이 프로세스는 복잡하거나 간단할 수 있다. 간단한 시스템에서, 가공되지 않은 데이터 측정(예컨대, 가속도계로부터 가속도 및 속도)이 단순히 결합되고 환경 소프트웨어가 3차원 환경을 렌더링하는데 사용하기 적합한 형태로 표준화될 수 있다. 보다 복잡한 시스템에서, 데이터는 "평활화"될 수 있다. 상술한 바와 같이, 헤드셋의 운동의 가능한 예측을 추정하는 데이터가 센서 결합 단계에서 생성되고 다음 단계로 전달될 수 있다.
825에서 예컨대 가상 현실 드라이버(414)를 사용하여, 헤드셋이 회전하는지 여부가 결정된다. 이 결정은 비교적 단순하다. 일련의 각속도 측정이 센서에 의해 짧은 기간(예컨대, 10 밀리초) 동안 생성된다. 그 측정들은 평균내져 각속도가 기결정된 임계치, 예컨대 초당 1 내지 5도를 초과하는지 여부를 결정한다. 이 방법으로, 상대적으로 작은 움직임(혹은 작은 수의 센서 에러)는 헤드셋의 "움직임"으로 인식되지 않을 것이다.
VR 헤드셋을 착용한 사람의 머리는 완벽하게 정지하고 있을 수 없으나, 헤드셋이 회전하고 있는지 여부에 대한 결정(825)이 만들어질 수 있는 방식으로 움직임 임계치가 설정될 수 있다. 회전하고 있지 않는 머리는 실질적으로 정지하고 있다. 본 명세서에서 사용되는 구절 "실질적으로 정지"는 헤드셋이 가상 현실 시스템이 그 움직임을 반영하여 관련 장면을 다시 렌더링해야 할 정도로 충분한 각도의 머리 회전 중이지 않다는 것을 의미한다. 구체적으로, "실질적으로 정지"는 VR 헤드셋이 절대적으로 움직임이 없는 것을 의미하는 것이 아니고, "정지"는 사람이 움직이려는 의도 없이, 그 또는 그녀의 머리를 "가만히" 있으려는 것을 의미한다.
만약 헤스뎃이 회전하고 있으면, 830에서 평활화가 비활성화된다. 상술한 바와 같이, 평활화는 주로 센서의 결과(artifacts), 작은 움직임 및 센서 드리프트(센서 정확도의 선형 또는 지수 드리프트)에 대응하여 이들이 렌더링된 장면의 지터 또는 임의의 움직임을 생성함으로써 착용자의 경험을 해치지 않도록 하기 위한 것이다. 인간 지각의 연구 후, 가상 현실 환경을 인식하는 개인은 그들의 머리가 회전할 때 지터를 전혀 느끼지 못한다는 것이 밝혀졌다. 특히, 정신은 지터를 무시하거나 혹은 머리가 회전함에 따른 시각적 장면에서 일부 이상을 느끼는데 사용되고 자동으로 보정한다.
그 결과, 만약 헤드셋이 회전하고 있으면, 평활화는 적어도 일시적으로 비활성화될 수 있다. 이것은 다른 문제에 대해 작업할 수 있는 프로세서 사이클을 일부 해소하지만, 더 중요하게는, 이것이 임의의 예측적 운동 트래킹이 임의의 데이터 평활화의 전- 또는 후- 계산에 의해 방해받지 않는 것을 보장한다. 심한 평활화는 예컨대 너무 무거운 선행 데이터가 보다 작은(또는 없는) 움직임을 가리킴으로써 렌더링된 프레임이 실제 움직임에 뒤떨어지는 것으로 보이게 할 수 있거나 오버슈트의 결과를 낳을 수 있다. 그러므로, 머리가 회전하고 있을 때, 착용자에게 해로운 효과가 평활화를 비활성화함으로써 인식되지 않고, 그 장점은 헤드셋이 회전함에 따라 보다 응답적인 장면이 렌더링되는 것이다.
다음에(또는 실질적으로 동시에), 헤드셋의 각속도가 840에서 결정된다. 이 결정은 820에서 센서 결합에 의해 생성된 단일 측정 또는 단일 데이터 세트일 수 있다. 바람직하게, 각속도는 기결정된 각속도 측정의 선행 세트(예컨대, 가장 최근의 10개의 측정)의 평균부터 각속도 측정의 유사한 세트의 가중치된 평균까지 여러 선택지 중 하나를 사용하여, 그 가속도(또는 경우에 따라 감속)의 미분 및 추정에 의하여 선형 가속도를 결정하기 위해 측정의 최근 세트(예컨대, 최근의 1 내지 3개의 측정)에 적용된 추가 가중치와 함께 결정된다.
다음 단계는 850에서 운동 예측이 일어날 예측 간격을 설정하는 것이다. 본 명세서에서 사용된 바와 같이, "예측 간격"은 운동의 예측이 만들어지는 시간이다. 예를 들어, 만약 예측 간격이 40 밀리초이면, 예측적 운동 트래킹은 지금으로부터 예측 간격인 40 밀리초가 끝날 때의 헤드셋의 운동, 방향 및 위치를 예측한다. 만약 예측 간격이 0이면, 예측적 운동 트래킹은 현재 헤드셋의 운동, 방향 및 위치를 예측한다(예측적 운동 트래킹을 효과적으로 제공하지 않음). 예측 간격을 포함하는 것은 예측적 운동 트래킹 시스템이 헤드셋 움직임의 크기 및 범위에 동적으로 반응할 수 있도록 한다.
이 예측 간격은 상당히 작을 수 있고, 작은 움직임을 위한 것이다. 예를 들어, 10도/초 대의 움직임은 아주 작게 설정된, 예컨대 5 밀리초의 예측 간격을 가진다. 이런 상황에서, 어떤 방법이든지 방법에 의해 결정된 각속도 측정는 그 기간 동안 적용되고 그 기간의 실제 데이터 대신 관련 비디오 프레임을 렌더링하기 위해 사용자 시스템에 제공된다. 렌더링된 비디오의 다름 프레임은 예측 결과에 기반하여 전달된다.
각속도 측정이 꽤 큰 경우, 상대적으로 보면(예컨대, 500도/초 대) 시스템이 움직임을 예측하는 예측 간격은 훨씬 커진다. 예를 들어, 빠른 움직임은 시스템이 예측 간격을 30 및 60 밀리초 사이로 설정하게 한다. 이런 상황에서, 비디오 렌더러로 전달되는 운동 예측 데이터는 착용자의 운동, 방향 및 위치를 그 예측 간격의 끝에 예측하고 그 예측에 기반하여 렌더링된 비디오의 다음 프레임을 전달한다.
잘 연구된 시스템에서, 지연 간격은 잘 알려져 있을 수 있다. 구절 "지연 간격"은 움직임 데이터가 센서에 의해 생성됐을 때부터 그 운동 데이터를 통합한 비디오의 렌더링된 프레임의 전달까지의 시간이다. 본 시스템에서, 그 지연 간격은 30 내지 60 밀리초 대이고 일반적으로 약 40 밀리초인 것으로 보인다.
이 지연 간격은 예측 간격의 상한으로 사용될 수 있다. 그래서, 예측 간격은 지연 간격을 초과할 수 없다. 이것은 사용자가 헤드셋을 착용하고 그 또는 그녀의 머리를 움직임에 따라, 그 데이터를 통합한 비디오의 다음 렌더링된 프레임이 다음 지연 간격에 나타날 것이기 때문이다.
따라서, 그 시간 프레임을 넘어 예측하는 것은 불필요하고 오버슈트(너무 큰 움직임을 렌더링하거나 움직임이 막 시작했을 때 멈춤) 및 실제 착용자의 움직임과의 단절을 낳기 쉽다. 유사하게, 본 명세서에 서술된 시스템에서 추가적인 데이터가 사용가능하고, 수십의 추가적인 운동, 방향 및 위치 데이터 포인트가 비디오의 다음 프레임을 렌더링하기 위해 사용될 수 있다. 최대 지연 간격까지의 운동을 예측하는 것은 사용자가 렌더링된 비디오의 프레임을 볼 다음 순간의 실제 사용자 움직임을 예측하는 시도의 장점이 있다.
프로세스는 예컨대, 결정이 주어진 착용자 움직임의 각속도로 만들어지는 방법으로 작동할 수 있다. 임계치, 예컨대 초당 0.3 라디안을 넘는 각속도일 때, 예측 시간이 선형으로 지연 간격까지 증가한다. 이 예측 간격의 증가는 예컨대 초당 라디안당 +2 밀리초(+2 milliseconds per radian per second)일 수 있다. 이 방법으로, 초당 1 라디안으로 회전하는 헤드셋은, 미래에 2 밀리초의 예측 간격을 사용할 것이다. 초당 10 라디안으로 회전하는 헤드셋은 미래에 20 밀리초의 예측 간격을 사용할 것이다. 다른 선형 증가 기울기는 지연 간격과 동일한 최대 예측 간격까지 사용될 수 있다(예컨대, 앞으로 40 밀리초).
그러므로, 만약 각속도가 실질적으로 0(예컨대, 초당 0 내지 0.03 라디안)이면, 3차원에서의 방향이 평활화 및 현재 위치와 방향(예측 없이)에 의존하여 도출된다. 만약 각속도가 실질적으로 0보다 크다면, 예측 알고리즘이 사용되고 평활화는 비활성화된다. 마지막으로, 위치(3차원 공간에서의 장소)가 마지막 측정된 위치를 사용하고, 나아가 선택된 가능한 예측 간격 동안의 선속도를 더하여, 상관없이 도출된다.
요약하면, 헤드셋의 움직임은 헤드셋의 움직임(각속도)이 실질적으로 0(초당 0 내지 0.3 라디안)인지 여부를 결정하기 위해 측정된다. 만약 그렇다면, 데이터의 평활화가 활성화되고 예측 간격은 실질적으로 0(또는 0)으로 설정된다. 만약 헤드셋이 실질적으로 0(초당 0.3 라디안 이상)보다 큰 속도로 움직이고 있다면(각속도), 평활화가 비활성화되고 예측 간격이 설정된다. 만약 움직임의 각속도가 증가하고 있다면, 예측 간격은 판독 시마다 최대 지연 간격(예컨대, 40 밀리초)까지 예측 간격 변화량(예컨대 초당 라디안당 2 밀리초)만큼 늘어난다.
예측 간격의 (최대 지연 간격까지의) 증가는 선형일 수 있고, 헤드셋의 선형 움직임에 대응할 수 있다. 그 결과, 보다 빠른 움직임은 상술한 바와 같이 예측 간격을 선형으로 증가시킴으로써 보상될 수 있다. 대안적으로, 소위 smoothstep 알고리즘이 사용될 수 있다. smoothstep 알고리즘은 t가 평활화될 변수일 때 일반화된 형태 smoothstep(t)=3t2-2t3을 취하고 일반화된 형태의 결과는 0과 1 사이가 된다. Smoothstep은 최대와 최소 양자에서 0을 향한 기울기가 된다는 장점이 있다. 이 방법으로, 예측은 끝에서 "둥글게(rounded off)" 됨으로써 선형 보간법과 달라진다. 이것은 그러한 헤드셋의 착용자가 예측 간격에 의지하여 예측이 양 끝에서 즉시 또는 갑작스런 정지 또는 시작 없이 보다 느리게 최대 또는 최저에 접근하도록 보이게 한다. 그 결과, 예측 간격은 "부드럽게" 0에 접근하거나 최대 지연 간격에 접근할 수 있다.
만약 825에서 헤드셋이 회전 중이 아니고, 사용자의 머리가 실질적으로 정지해 있다고 가리킨다면, 860에서 평활화가 활성화될 수 있다. 상술한 바와 같이, 평활화는 헤드셋이 움직이지 않고 있거나 아주 조금 움직이고 있을 때 가장 도움이 된다. 특히, 헤드셋이 실질적으로 정지해 있을 때 장면에서 불필요하거나 과장된 움직임, 예컨대 지터를 회피하는데 도움이 된다. 이와 같이, 헤드셋이 실질적으로 정지해 있을 때 평활화의 활성화는 이들 문제를 줄이는데 도움이 될 것이다.
유사하게, 870에서 예측 간격은 실질적으로 0으로 설정된다. 머리가 가상적으로 움직이지 않을 때, 임의의 간격에서의 공격적인 예측은 필요하지 않다. 일부 예측적 운동 트래킹이 적용될 수 있으나, 적용되는 간격은 아주 짧은 시간 프레임, 예컨대 5 밀리초 또는 그 이하로 설정된다. 일부 경우에, 예측 간격은 0으로 설정될 수 있다. 이것은 작은 움직임을 과장할 수 있는, 특히 예측 간격이 지연 간격으로 또는 근처로 설정된 경우 예측적 운동 트래킹을 회피하는데 도움을 준다.
다음으로, 825에서 헤드셋이 회전 중이든 아니든, 850 및 870에서 예측 간격을 설정한 후, 880에서 3차원 방향 및 각속도의 예측이 이루어진다. 실제로는, 헤드셋의 운동, 방향 및 위치를 예측 간격의 끝에서 예측한다. 이것은 상술한 바와 같이, 사원수로 표현될 수 있으나, 임의의 방법으로 표현될 수 있다.
마지막으로, 890에서 디스플레이가 예측 및 예측 간격에 기반하여 예측된 운동, 방향 및 위치에 대응하는 다음 렌더링된 비디오 프레임으로 업데이트된다. 그 결과, 만약 예측 간격이 40 밀리초였다면, VR 헤드셋에 전달된 비디오의 다음 렌더링된 프레임은 마치 착용자의 머리가 지금으로부터 40 밀리초 후 예측된 위치에 있는 것처럼 렌더링될 것이다. 만약 예측 간격이 0 밀리초라면, VR 헤드셋에 전달되는 비디오의 다름 렌더링되는 프레임은 마치 착용자의 머리가 현재 예측된 위치에 있는 것처럼 렌더링될 것이다(예측이 필요하지 않고, 실제 데이터가 사용가능하다). 그래서, 예측이 제공되지 않거나 아주 제한된 예측이 제공된다.
이들 선택사항 및 극단의 양자가 825에서 머리가 회전하고 있거나 회전하고 있지 않다는 사실을 반영한다. 디스플레이가 업데이트되면, 프로세스는 종료한다. 하지만, 상술한 바와 같이, 프로세스는 모든 센서 업데이트 또는 센서 업데이트의 모든 간격마다(예컨대, 10 또는 20번의 센서 업데이트마다) 반복된다. 이 방법으로, 렌더링된 비디오의 다음 프레임이 평활화되거나 평활화되지 않고, 지연 간격이거나 지연 간격 근처의 예측 간격으로 또는 예측 간격 없이, 제공될 수 있다.
맺는 말
본 명세서를 통하여, 서술된 실시예 및 예시는 개시되거나 청구된 장치 및 단계에 대한 제한이 아닌, 예시적인 것으로 간주되어야 한다. 본 명세서에 서술된 다수의 예시가 방법 단계 또는 시스템 요소의 특정 조합을 포함하지만, 그들 단계 및 그들 요소가 동일한 목적을 달성하기 위하여 다른 방법으로 결합될 수 있음을 이해하여야 한다. 흐름도와 관련하여, 추가적이거나 보다 적은 단계가 취해질 수 있고, 도시된 바와 같은 단계가 본 명세서에 서술된 방법을 달성하기 위하여 결합되거나 더 제한될 수 있다. 오직 한 실시예와 관련하여 논의된 단계, 요소 및 특징은 다른 실시예에서 유사한 역할을 배제하는 의도가 아니다.
본 명세서에서 사용된 바와 같이, "복수"는 둘 이상을 의미한다. 본 명세서에서 사용된 바와 같이, 아이템의 "세트"는 하나 이상의 그러한 아이템을 포함할 수 있다. 본 명세서에서 사용된 바와 같이, 상세한 설명 또는 청구항 어느 쪽이든, 용어 "내포하는(comprising)", "포함하는(including)", "지니는(carrying)", "가지는(having)", "담고 있는(containing)", "수반하는(involving)" 및 유사한 것은 개방식, 예컨대 포함하나 제한되지 않는 것으로 이해될 것이다. 오직 연결구 "이루어지는(consisting of)" 및 "필수적으로 이루어지는(consisting essentially of)" 각각 만이 청구항과 관련하여 폐쇄형 또는 반-폐쇄형 연결구이다. 청구항에서 청구항 요소를 수식하는 "제1", "제2", "제3" 등등의 서수의 사용은 그 자체로 임의의 우선 순위, 우선권 또는 다른 요소에 대한 한 청구항 요소의 순서 또는 방법의 단계가 수행되는 시간적 순서를 함축하지 않으며, 단지 특정 이름을 가지는 한 청구항 요소를 같은 이름을 가지는 다른 요소와 구분하기 위한 라벨로서 사용하여(하지만 서수를 사용하여) 청구항 요소들을 구분하기 위한 것이다. 본 명세서에서 사용된 바와 같이, "및/또는"은 열거된 아이템이 대안적이나, 대안 역시 열거된 아이템의 임의의 조합을 포함한다.
Claims (21)
- 하나 이상의 3차원 각속도 측정값을 헤드 마운트 디스플레이를 모니터링하는 센서로부터 획득하는 단계;
하나 이상의 3차원 각속도 측정값에 기반하여 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 실질적으로 정지하고 있음을 가리킬 때 예측 간격이 실질적으로 0이 되고 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 기결정된 임계치 이상의 각속도로 움직이고 있음을 가리킬 때 예측 간격이 기결정된 지연 간격까지 증가하도록 예측 간격을 설정하는 단계;
예측 간격에 대응하는 시간에서의 예측된 방향을 생성하기 위하여 예측 간격 동안 추정된 하나 이상의 3차원 각속도 측정값을 사용하여 헤드 마운트 디스플레이의 3차원 방향을 예측하는 단계; 및
헤드 마운트 디스플레이에 표시하기 위해 예측된 방향에 대응하는 렌더링된 이미지를 생성하는 단계를 포함하고,
예측 간격은 기결정된 지연 간격과 같거나 작은 헤드 마운트 디스플레이를 위한 예측적 트래킹 방법. - 청구항 1에 있어서,
예측 간격을 설정하는 단계는 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이의 각속도가 증가하고 있음을 가리킴에 따라 각속도가 증가하는 동안 예측 간격이 실질적으로 0에서 기결정된 지연 간격까지 선형으로 증가하도록 완전 동적 조정을 포함하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 방법. - 청구항 1에 있어서,
하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 실질적으로 정지하고 있음을 가리키는 동안 각속도 측정값에 샘플 기간 동안 회귀(regression)를 수행하고 회귀의 결과를 하나 이상의 각속도 측정값 대신 적용함으로써 하나 이상의 각속도 측정값을 평활화하는 단계를 더 포함하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 방법. - 청구항 3에 있어서,
하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 실질적으로 0보다 큰 각속도로 움직이고 있음을 가리키는 동안 하나 이상의 각속도 측정값의 평활화를 비활성화하는 단계를 더 포함하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 방법. - 청구항 1에 있어서,
기결정된 지연 간격은 30 밀리초 및 60 밀리초 사이인 헤드 마운트 디스플레이를 위한 예측적 트래킹 방법. - 삭제
- 청구항 1에 있어서,
기결정된 임계치는 초당 0.3 라디안인 헤드 마운트 디스플레이를 위한 예측적 트래킹 방법. - 청구항 1에 있어서,
하나 이상의 각속도 측정값은 1000 Hz 이상의 샘플율로 획득되는 헤드 마운트 디스플레이를 위한 예측적 트래킹 방법. - 프로세서 및 저장 매체를 포함하고,
저장 매체는, 프로세서에 의해 실행될 때, 프로세서가:
하나 이상의 3차원 각속도 측정값을 헤드 마운트 디스플레이를 모니터링하는 센서로부터 획득하고;
하나 이상의 3차원 각속도 측정값에 기반하여 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 실질적으로 정지하고 있음을 가리킬 때 예측 간격이 실질적으로 0이 되고 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 기결정된 임계치 이상의 각속도로 움직이고 있음을 가리킬 때 예측 간격이 기결정된 지연 간격까지 증가하도록 예측 간격을 설정하고;
예측 간격에 대응하는 시간에서의 예측된 방향을 생성하기 위하여 예측 간격 동안 추정된 하나 이상의 3차원 각속도 측정값을 사용하여 헤드 마운트 디스플레이의 3차원 방향을 예측하고; 및
예측된 방향에 대응하는, 헤드 마운트 디스플레이에서 표시될 렌더링된 이미지를 생성하도록 하는 명령어를 가지는 프로그램을 저장하고,
예측 간격은 기결정된 지연 간격과 같거나 작은 헤드 마운트 디스플레이를 위한 예측적 트래킹 장치. - 청구항 9에 있어서,
예측 간격을 설정하는 것은 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이의 각속도가 증가하고 있음을 가리킴에 따라 각속도가 증가하는 동안 예측 간격이 실질적으로 0에서 기결정된 지연 간격까지 선형으로 증가하도록 완전 동적 조정을 포함하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 장치. - 청구항 9에 있어서,
명령어가 프로세서에 의해 실행될 때, 프로세서가 또한 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 실질적으로 정지하고 있음을 가리키는 동안 각속도 측정값에 샘플 기간 동안 회귀(regression)를 수행하고 회귀의 결과를 하나 이상의 각속도 측정값 대신 적용함으로써 하나 이상의 각속도 측정값을 평활화하도록 하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 장치. - 청구항 11에 있어서,
명령어가 프로세서에 의해 실행될 때, 프로세서가 또한 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 실질적으로 0보다 큰 각속도로 움직이고 있음을 가리키는 동안 하나 이상의 각속도 측정값의 평활화를 비활성화하도록 하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 장치. - 청구항 9에 있어서,
기결정된 지연 간격은 30 밀리초 및 60 밀리초 사이인 헤드 마운트 디스플레이를 위한 예측적 트래킹 장치. - 삭제
- 청구항 9에 있어서,
기결정된 임계치는 초당 0.3 라디안인 헤드 마운트 디스플레이를 위한 예측적 트래킹 장치. - 청구항 9에 있어서,
하나 이상의 각속도 측정값은 1000 Hz 이상의 샘플율로 획득되는 헤드 마운트 디스플레이를 위한 예측적 트래킹 장치. - 청구항 9에 있어서,
각속도의 하나 이상의 측정을 제공하기 위한 센서;
예측된 이미지를 디스플레이하기 위한 헤드 마운트 디스플레이; 및
메모리를 더 포함하고,
프로세서 및 메모리는 저장 매체의 명령어를 수행하기 위한 회로 및 소프트웨어를 포함하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 장치. - 하나 이상의 3차원 각속도 측정값을 헤드 마운트 디스플레이를 모니터링하는 센서로부터 획득하는 단계;
하나 이상의 3차원 각속도 측정값에 기반하여 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 실질적으로 정지하고 있음을 가리킬 때 예측 간격이 실질적으로 0이 되고 하나 이상의 각속도 측정값이 헤드 마운트 디스플레이가 기결정된 임계치 이상의 각속도로 움직이고 있음을 가리킬 때 예측 간격이 헤드 마운트 디스플레이의 지연 간격에 대응하는 지연 간격까지 증가하도록 예측 간격을 설정하는 단계;
예측 간격에 대응하는 시간에서의 예측된 방향을 생성하기 위하여 예측 간격 동안 추정된 하나 이상의 3차원 각속도 측정값을 사용하여 헤드 마운트 디스플레이의 3차원 방향을 예측하는 단계; 및
헤드 마운트 디스플레이에 표시하기 위해 헤드 마운트 디스플레이를 위한 다음 사용가능한 프레임 업데이트에 예측된 방향에 대응하는 렌더링된 이미지를 생성하는 단계를 포함하고,
예측 간격은 기결정된 지연 간격과 같거나 작은 머리 움직임의 예측적 트래킹 방법. - 각속도 측정값을 헤드 마운트 디스플레이를 모니터링하는 센서로부터 획득하는 단계;
각속도 측정값에 기반하여 예측 간격 시간을 결정하는 단계;
예측 간격 시간과 동일한 시간이 지난 후 헤드 마운트 디스플레이의 예측된 방향을 생성하기 위하여 예측 간격 시간 동안 추정된 각속도 측정값을 사용하여 헤드 마운트 디스플레이의 3차원 방향을 예측하는 단계; 및
헤드 마운트 디스플레이에 표시하기 위해 헤드 마운트 디스플레이의 예측된 방향에 대응하는 렌더링된 이미지를 생성하는 단계를 포함하고,
각속도 측정값이 기결정된 임계치보다 클 때 결정된 예측 간격 시간이 기결정된 지연 간격 시간까지 선형으로 증가하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 방법. - 프로세서에 의해 실행될 때, 프로세서가:
각속도 측정값을 헤드 마운트 디스플레이를 모니터링하는 센서로부터 획득하고;
각속도 측정값에 기반하여 예측 간격 시간을 결정하고;
예측 간격 시간과 동일한 시간이 지난 후 헤드 마운트 디스플레이의 예측된 방향을 생성하기 위하여 예측 간격 시간 동안 추정된 각속도 측정값을 사용하여 헤드 마운트 디스플레이의 3차원 방향을 예측하고; 및
헤드 마운트 디스플레이에 표시하기 위해 헤드 마운트 디스플레이의 예측된 방향에 대응하는 렌더링된 이미지를 생성하는 단계를 포함하도록 하는 명령어를 가지는 프로그램을 저장하는 저장 매체를 포함하고,
각속도 측정값이 기결정된 임계치보다 클 때 결정된 예측 간격 시간이 기결정된 지연 간격 시간까지 선형으로 증가하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 장치. - 각속도 측정값을 헤드 마운트 디스플레이를 모니터링하는 센서로부터 획득하는 단계;
각속도 측정값에 기반하여 예측 간격 시간을 결정하는 단계;
예측 간격 시간과 동일한 시간이 지난 후 헤드 마운트 디스플레이의 예측된 방향을 생성하기 위하여 예측 간격 시간 동안 추정된 각속도 측정값을 사용하여 헤드 마운트 디스플레이의 3차원 방향을 예측하는 단계; 및
헤드 마운트 디스플레이에 표시하기 위해 헤드 마운트 디스플레이의 예측된 방향에 대응하는 렌더링된 이미지를 생성하는 단계를 포함하고,
각속도 측정값이 기결정된 임계치보다 클 때 결정된 예측 간격 시간이 헤드 마운트 디스플레이의 지연 간격에 대응하는 지연 간격 시간까지 선형으로 증가하는 헤드 마운트 디스플레이를 위한 예측적 트래킹 방법.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361829008P | 2013-05-30 | 2013-05-30 | |
US61/829,008 | 2013-05-30 | ||
US14/285,470 | 2014-05-22 | ||
US14/285,470 US9063330B2 (en) | 2013-05-30 | 2014-05-22 | Perception based predictive tracking for head mounted displays |
PCT/US2014/040086 WO2014194135A1 (en) | 2013-05-30 | 2014-05-29 | Perception based predictive tracking for head mounted displays |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177024782A Division KR101877411B1 (ko) | 2013-05-30 | 2014-05-29 | 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160013906A KR20160013906A (ko) | 2016-02-05 |
KR101777820B1 true KR101777820B1 (ko) | 2017-09-12 |
Family
ID=51984504
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157035156A KR101777820B1 (ko) | 2013-05-30 | 2014-05-29 | 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 |
KR1020177024782A KR101877411B1 (ko) | 2013-05-30 | 2014-05-29 | 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 |
KR1020187018957A KR102209873B1 (ko) | 2013-05-30 | 2014-05-29 | 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177024782A KR101877411B1 (ko) | 2013-05-30 | 2014-05-29 | 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 |
KR1020187018957A KR102209873B1 (ko) | 2013-05-30 | 2014-05-29 | 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 |
Country Status (11)
Country | Link |
---|---|
US (6) | US9063330B2 (ko) |
EP (2) | EP3486707B1 (ko) |
JP (3) | JP6038401B2 (ko) |
KR (3) | KR101777820B1 (ko) |
CN (2) | CN107577045B (ko) |
AU (2) | AU2014274101B2 (ko) |
BR (1) | BR112015030037A2 (ko) |
CA (2) | CA2951417C (ko) |
IL (1) | IL242810A (ko) |
MX (1) | MX350942B (ko) |
WO (1) | WO2014194135A1 (ko) |
Families Citing this family (145)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9063330B2 (en) | 2013-05-30 | 2015-06-23 | Oculus Vr, Llc | Perception based predictive tracking for head mounted displays |
US10905943B2 (en) * | 2013-06-07 | 2021-02-02 | Sony Interactive Entertainment LLC | Systems and methods for reducing hops associated with a head mounted system |
US10293205B2 (en) * | 2014-01-27 | 2019-05-21 | The Regents Of The University Of Michigan | IMU system for assessing head and torso orientation during physical motion |
US9442631B1 (en) | 2014-01-27 | 2016-09-13 | Google Inc. | Methods and systems for hands-free browsing in a wearable computing device |
WO2015188011A1 (en) * | 2014-06-04 | 2015-12-10 | Quantum Interface, Llc. | Dynamic environment for object and attribute display and interaction |
JP6604715B2 (ja) * | 2014-09-12 | 2019-11-13 | 株式会社ディスコ | レーザー加工装置 |
US20160077166A1 (en) * | 2014-09-12 | 2016-03-17 | InvenSense, Incorporated | Systems and methods for orientation prediction |
US10733565B1 (en) * | 2014-09-30 | 2020-08-04 | Amazon Technologies, Inc. | Interactive data processing system |
US10055892B2 (en) * | 2014-11-16 | 2018-08-21 | Eonite Perception Inc. | Active region determination for head mounted displays |
US10609475B2 (en) | 2014-12-05 | 2020-03-31 | Stages Llc | Active noise control and customized audio system |
TWI678554B (zh) * | 2014-12-30 | 2019-12-01 | 新加坡商雷蛇(亞太)私人有限公司 | 光學系統及頭戴式顯示器 |
US9824498B2 (en) * | 2014-12-30 | 2017-11-21 | Sony Interactive Entertainment Inc. | Scanning display system in head-mounted display for virtual reality |
US9756375B2 (en) * | 2015-01-22 | 2017-09-05 | Microsoft Technology Licensing, Llc | Predictive server-side rendering of scenes |
US9826013B2 (en) * | 2015-03-19 | 2017-11-21 | Action Streamer, LLC | Method and apparatus for an interchangeable wireless media streaming device |
JP6250592B2 (ja) * | 2015-06-02 | 2017-12-20 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム |
US10102666B2 (en) * | 2015-06-12 | 2018-10-16 | Google Llc | Electronic display stabilization for head mounted display |
US10554713B2 (en) | 2015-06-19 | 2020-02-04 | Microsoft Technology Licensing, Llc | Low latency application streaming using temporal frame transformation |
US9588593B2 (en) | 2015-06-30 | 2017-03-07 | Ariadne's Thread (Usa), Inc. | Virtual reality system with control command gestures |
US9607428B2 (en) | 2015-06-30 | 2017-03-28 | Ariadne's Thread (Usa), Inc. | Variable resolution virtual reality display system |
US10089790B2 (en) | 2015-06-30 | 2018-10-02 | Ariadne's Thread (Usa), Inc. | Predictive virtual reality display system with post rendering correction |
US9588598B2 (en) | 2015-06-30 | 2017-03-07 | Ariadne's Thread (Usa), Inc. | Efficient orientation estimation system using magnetic, angular rate, and gravity sensors |
GB201516121D0 (en) * | 2015-09-11 | 2015-10-28 | Bae Systems Plc | Helmet tracker buffering compensation |
KR102501752B1 (ko) * | 2015-09-21 | 2023-02-20 | 삼성전자주식회사 | 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치 |
US20170092002A1 (en) * | 2015-09-30 | 2017-03-30 | Daqri, Llc | User interface for augmented reality system |
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
CN106652004A (zh) * | 2015-10-30 | 2017-05-10 | 北京锤子数码科技有限公司 | 基于头戴式可视设备对虚拟现实进行渲染的方法及装置 |
US10976163B2 (en) * | 2015-11-10 | 2021-04-13 | Thales Defense & Security, Inc. | Robust vision-inertial pedestrian tracking with heading auto-alignment |
US10976808B2 (en) * | 2015-11-17 | 2021-04-13 | Samsung Electronics Co., Ltd. | Body position sensitive virtual reality |
JP6532393B2 (ja) * | 2015-12-02 | 2019-06-19 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
JP2017102298A (ja) * | 2015-12-02 | 2017-06-08 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
JP2017130190A (ja) | 2015-12-04 | 2017-07-27 | 株式会社半導体エネルギー研究所 | 電子機器、表示システム |
EP3338166A1 (en) * | 2015-12-22 | 2018-06-27 | Google LLC | System and method for performing electronic display stabilization via retained lightfield rendering |
EP3395067A4 (en) * | 2015-12-23 | 2019-07-17 | Mayo Foundation for Medical Education and Research | SYSTEM AND METHOD FOR INTEGRATING 3D VIDEO AND GALVANIC VESTIBULAR STIMULATION |
DE102015226669B4 (de) | 2015-12-23 | 2022-07-28 | Siemens Healthcare Gmbh | Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information |
WO2017120767A1 (zh) * | 2016-01-12 | 2017-07-20 | 深圳多哚新技术有限责任公司 | 一种头部姿态预测方法和装置 |
JP2017130201A (ja) | 2016-01-20 | 2017-07-27 | 株式会社半導体エネルギー研究所 | 入力システム、および電子機器 |
KR102657318B1 (ko) * | 2016-01-25 | 2024-04-15 | 한국전자통신연구원 | 개인형 가상현실 체험장치 및 그 방법 |
US10908694B2 (en) * | 2016-02-01 | 2021-02-02 | Microsoft Technology Licensing, Llc | Object motion tracking with remote device |
US10422976B2 (en) | 2016-02-26 | 2019-09-24 | Samsung Electronics Co., Ltd. | Aberration corrected optical system for near-eye displays |
US10979843B2 (en) * | 2016-04-08 | 2021-04-13 | Qualcomm Incorporated | Spatialized audio output based on predicted position data |
US10304278B2 (en) | 2016-04-27 | 2019-05-28 | Bally Gaming, Inc. | System, method and apparatus for virtual reality gaming with selectable viewpoints and context-sensitive wager interfaces |
US11182930B2 (en) | 2016-05-02 | 2021-11-23 | Waves Audio Ltd. | Head tracking with adaptive reference |
JP6913326B2 (ja) | 2016-05-02 | 2021-08-04 | ウェイヴス オーディオ リミテッド | 適応基準を用いた頭部追跡 |
US10365712B2 (en) * | 2016-05-17 | 2019-07-30 | Google Llc | Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment |
CN105913497B (zh) * | 2016-05-27 | 2018-09-07 | 杭州映墨科技有限公司 | 用于虚拟看房的虚拟现实空间移动定位系统及方法 |
US20170347089A1 (en) * | 2016-05-27 | 2017-11-30 | Craig Peterson | Combining vr or ar with autostereoscopic usage in the same display device |
US10365481B2 (en) | 2016-07-27 | 2019-07-30 | Brillio LLC | Method and system for automatically calibrating HMD device |
US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
CN108322763A (zh) * | 2016-08-23 | 2018-07-24 | 深圳市掌网科技股份有限公司 | 一种编解码全景视频的方法和系统 |
CN106354256B (zh) * | 2016-08-28 | 2019-05-17 | 杭州勺子网络科技有限公司 | 一种虚拟现实的移动控制方法 |
US10726735B1 (en) * | 2016-08-31 | 2020-07-28 | Rockwell Collins, Inc. | Simulation and training with virtual participants in a real-world environment |
US10743004B1 (en) | 2016-09-01 | 2020-08-11 | Amazon Technologies, Inc. | Scalable video coding techniques |
US10743003B1 (en) * | 2016-09-01 | 2020-08-11 | Amazon Technologies, Inc. | Scalable video coding techniques |
KR102499139B1 (ko) | 2016-09-21 | 2023-02-13 | 삼성전자주식회사 | 이미지를 표시하는 전자 장치 및 그 제어 방법 |
KR102277438B1 (ko) | 2016-10-21 | 2021-07-14 | 삼성전자주식회사 | 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치 |
US10867445B1 (en) * | 2016-11-16 | 2020-12-15 | Amazon Technologies, Inc. | Content segmentation and navigation |
US10945080B2 (en) | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
US10238968B2 (en) * | 2016-12-06 | 2019-03-26 | Colopl, Inc. | Information processing method, apparatus, and system for executing the information processing method |
US10453261B2 (en) | 2016-12-13 | 2019-10-22 | Brillio LLC | Method and electronic device for managing mood signature of a user |
DE102016225266B4 (de) * | 2016-12-16 | 2024-06-27 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Betreiben einer Datenbrille, Datenbrille und zugehöriges Anzeigesystem |
US10691201B2 (en) * | 2016-12-19 | 2020-06-23 | Intel Corporation | Image stream switcher |
US10437343B2 (en) | 2017-01-06 | 2019-10-08 | Samsung Electronics Co., Ltd. | Augmented reality control of internet of things devices |
US10984595B2 (en) | 2017-01-13 | 2021-04-20 | Samsung Electronics Co. Ltd | Method and apparatus for providing guidance in a virtual environment |
US10602471B2 (en) * | 2017-02-08 | 2020-03-24 | Htc Corporation | Communication system and synchronization method |
US10687050B2 (en) * | 2017-03-10 | 2020-06-16 | Qualcomm Incorporated | Methods and systems of reducing latency in communication of image data between devices |
KR102598116B1 (ko) * | 2017-03-17 | 2023-11-02 | 매직 립, 인코포레이티드 | 증강 현실 데이터를 레코딩하기 위한 기술 |
US10482566B2 (en) * | 2017-03-31 | 2019-11-19 | Intel Corporation | Personalized virtual reality content branch prediction |
CN107168521B (zh) * | 2017-04-10 | 2020-06-23 | 北京小鸟看看科技有限公司 | 观影指引方法、装置及头戴式显示设备 |
EP3609402A4 (en) | 2017-04-14 | 2020-12-16 | Rehabilitation Institute Of Chicago D/B/A Shirley | PROSTHETIC VIRTUAL REALITY LEARNING INTERFACE AND RELATED PROCESSES |
US10939038B2 (en) * | 2017-04-24 | 2021-03-02 | Intel Corporation | Object pre-encoding for 360-degree view for optimal quality and latency |
GB201709752D0 (en) * | 2017-06-19 | 2017-08-02 | Advanced Risc Mach Ltd | Graphics processing systems |
AU2018289561B2 (en) | 2017-06-22 | 2020-07-02 | Centurion Vr, Inc. | Virtual reality simulation |
CN109791297B (zh) * | 2017-07-18 | 2021-07-20 | 深圳市柔宇科技股份有限公司 | 检测头戴式显示器数据传输延迟的方法及头戴式显示器 |
US10395418B2 (en) | 2017-08-18 | 2019-08-27 | Microsoft Technology Licensing, Llc | Techniques for predictive prioritization of image portions in processing graphics |
US11002958B2 (en) * | 2017-08-24 | 2021-05-11 | International Business Machines Corporation | Dynamic control of parallax barrier configuration |
US10762691B2 (en) * | 2017-09-08 | 2020-09-01 | Microsoft Technology Licensing, Llc | Techniques for compensating variable display device latency in image display |
GB2566478B (en) * | 2017-09-14 | 2019-10-30 | Samsung Electronics Co Ltd | Probability based 360 degree video stabilisation |
WO2019054611A1 (ko) | 2017-09-14 | 2019-03-21 | 삼성전자 주식회사 | 전자 장치 및 그 동작방법 |
JP7077595B2 (ja) | 2017-12-11 | 2022-05-31 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
JP7073702B2 (ja) | 2017-12-11 | 2022-05-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
JP2019105960A (ja) | 2017-12-12 | 2019-06-27 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
JP2021509214A (ja) | 2017-12-18 | 2021-03-18 | エーエルティー リミティッド ライアビリティ カンパニー | 移動可能オブジェクトを光学的慣性追跡するための方法及びシステム |
US10390063B2 (en) | 2017-12-22 | 2019-08-20 | Comcast Cable Communications, Llc | Predictive content delivery for video streaming services |
KR102604738B1 (ko) | 2017-12-22 | 2023-11-22 | 삼성전자주식회사 | 와핑 처리를 수행하는 그래픽 프로세서, 이를 포함하는 렌더링 시스템 및 그래픽 프로세서 동작방법 |
US10798455B2 (en) | 2017-12-22 | 2020-10-06 | Comcast Cable Communications, Llc | Video delivery |
US20190038964A1 (en) * | 2018-01-12 | 2019-02-07 | Karthik Veeramani | Personalized calibration and adaption of vr experience |
KR102535918B1 (ko) * | 2018-02-07 | 2023-05-25 | 삼성전자 주식회사 | 사용자의 움직임 정보에 기반하여 디스플레이의 오버 드라이빙 정보를 조정하기 위한 방법 및 웨어러블 장치 |
US11537264B2 (en) * | 2018-02-09 | 2022-12-27 | Sony Interactive Entertainment LLC | Methods and systems for providing shortcuts for fast load when moving between scenes in virtual reality |
US10726765B2 (en) * | 2018-02-15 | 2020-07-28 | Valve Corporation | Using tracking of display device to control image display |
CN111936910A (zh) * | 2018-03-13 | 2020-11-13 | 罗纳德·温斯顿 | 虚拟现实系统和方法 |
US11360553B2 (en) | 2018-04-19 | 2022-06-14 | Pcms Holdings, Inc. | Systems and methods employing predictive overfilling for virtual reality |
US11454783B2 (en) | 2018-04-25 | 2022-09-27 | Samsung Electronics Co., Ltd. | Tiled triplet lenses providing a wide field of view |
US11508255B2 (en) | 2018-04-27 | 2022-11-22 | Red Six Aerospace Inc. | Methods, systems, apparatuses and devices for facilitating provisioning of a virtual experience |
US11002960B2 (en) * | 2019-02-21 | 2021-05-11 | Red Six Aerospace Inc. | Methods, systems, apparatuses, and devices for facilitating provisioning of a virtual experience |
US11869388B2 (en) * | 2018-04-27 | 2024-01-09 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
US11436932B2 (en) | 2018-04-27 | 2022-09-06 | Red Six Aerospace Inc. | Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace |
US11887495B2 (en) * | 2018-04-27 | 2024-01-30 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
US10623791B2 (en) | 2018-06-01 | 2020-04-14 | At&T Intellectual Property I, L.P. | Field of view prediction in live panoramic video streaming |
US10812774B2 (en) | 2018-06-06 | 2020-10-20 | At&T Intellectual Property I, L.P. | Methods and devices for adapting the rate of video content streaming |
DE102018209377A1 (de) * | 2018-06-12 | 2019-12-12 | Volkswagen Aktiengesellschaft | Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden |
KR102117007B1 (ko) * | 2018-06-29 | 2020-06-09 | (주)기술공감 | 영상에서 객체를 인식하는 방법 및 장치 |
US10616621B2 (en) | 2018-06-29 | 2020-04-07 | At&T Intellectual Property I, L.P. | Methods and devices for determining multipath routing for panoramic video content |
US10708494B2 (en) | 2018-08-13 | 2020-07-07 | At&T Intellectual Property I, L.P. | Methods, systems and devices for adjusting panoramic video content |
US11019361B2 (en) | 2018-08-13 | 2021-05-25 | At&T Intellectual Property I, L.P. | Methods, systems and devices for adjusting panoramic view of a camera for capturing video content |
US10924525B2 (en) | 2018-10-01 | 2021-02-16 | Microsoft Technology Licensing, Llc | Inducing higher input latency in multiplayer programs |
CN111064981B (zh) * | 2018-10-16 | 2021-07-16 | 北京凌宇智控科技有限公司 | 一种视频串流的系统及方法 |
US11500455B2 (en) | 2018-10-16 | 2022-11-15 | Nolo Co., Ltd. | Video streaming system, video streaming method and apparatus |
CN111065053B (zh) * | 2018-10-16 | 2021-08-17 | 北京凌宇智控科技有限公司 | 一种视频串流的系统及方法 |
US10871627B1 (en) | 2018-12-12 | 2020-12-22 | Facebook Technologies, Llc | Head-mounted display device with direct-current (DC) motors for moving displays |
US11042187B1 (en) * | 2018-12-12 | 2021-06-22 | Facebook Technologies, Llc | Head-mounted display device with voice coil motors for moving displays |
KR102661955B1 (ko) | 2018-12-12 | 2024-04-29 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
US11454779B1 (en) | 2018-12-12 | 2022-09-27 | Meta Platforms Technologies, Llc | Head-mounted display device with stepper motors for moving displays |
CN109819232B (zh) * | 2019-02-19 | 2021-03-26 | 京东方科技集团股份有限公司 | 一种图像处理方法及图像处理装置、显示装置 |
US11452014B2 (en) * | 2019-03-08 | 2022-09-20 | Meta Platforms Technologies, Llc | Secondary link for AR/VR applications |
US11221487B2 (en) | 2019-03-26 | 2022-01-11 | Kevin Chew Figueroa | Method and device of field sequential imaging for large field of view augmented/virtual reality |
US11010921B2 (en) * | 2019-05-16 | 2021-05-18 | Qualcomm Incorporated | Distributed pose estimation |
US11265487B2 (en) * | 2019-06-05 | 2022-03-01 | Mediatek Inc. | Camera view synthesis on head-mounted display for virtual reality and augmented reality |
US11948242B2 (en) | 2019-08-02 | 2024-04-02 | Fmr Llc | Intelligent smoothing of 3D alternative reality applications for secondary 2D viewing |
US11138804B2 (en) | 2019-08-02 | 2021-10-05 | Fmr Llc | Intelligent smoothing of 3D alternative reality applications for secondary 2D viewing |
CN112346243B (zh) * | 2019-08-08 | 2022-11-29 | Oppo广东移动通信有限公司 | 一种眼镜 |
US11481026B2 (en) | 2019-08-22 | 2022-10-25 | Samsung Electronics Co., Ltd. | Immersive device and method for streaming of immersive media |
US11315326B2 (en) * | 2019-10-15 | 2022-04-26 | At&T Intellectual Property I, L.P. | Extended reality anchor caching based on viewport prediction |
US11635802B2 (en) * | 2020-01-13 | 2023-04-25 | Sony Interactive Entertainment Inc. | Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems |
JP2023545623A (ja) | 2020-09-10 | 2023-10-31 | ビ-エイイ- システムズ パブリック リミテッド カンパニ- | オブジェクトの向きを追跡するための方法、トラッカシステム、およびヘッドまたはヘルメットマウントディスプレイ |
US11353700B2 (en) | 2020-10-07 | 2022-06-07 | Industrial Technology Research Institute | Orientation predicting method, virtual reality headset and non-transitory computer-readable medium |
US11625966B2 (en) | 2020-10-14 | 2023-04-11 | 1Ahead Technologies | Access management system |
US11393269B2 (en) | 2020-10-14 | 2022-07-19 | 1Ahead Technologies | Security surveillance and entry management system |
US11398120B2 (en) | 2020-10-14 | 2022-07-26 | 1Ahead Technologies | Security surveillance and entry management system |
US11468723B1 (en) | 2020-10-14 | 2022-10-11 | 1Ahead Technologies | Access management system |
US11436882B1 (en) | 2020-10-14 | 2022-09-06 | 1Ahead Technologies | Security surveillance and entry management system |
US11756357B2 (en) | 2020-10-14 | 2023-09-12 | 1Ahead Technologies | Access management system |
US11854328B2 (en) | 2020-10-14 | 2023-12-26 | 1Ahead Technologies | Access management system |
IL302512A (en) * | 2020-10-30 | 2023-07-01 | Red Six Aerospace Inc | Augmented reality for vehicle operations |
KR102480451B1 (ko) * | 2021-03-03 | 2022-12-23 | (주)이머시브캐스트 | Mtp 지연 감소를 위한 클라우드 vr 장치 |
SE544895C2 (en) * | 2021-05-10 | 2022-12-20 | Gazelock AB | Data and command transmission system, computer-implemented method of transmitting data and commands, computer program and non-volatile data carrier |
FR3123132A1 (fr) * | 2021-05-19 | 2022-11-25 | Lexip | Procédé d'émission d'un signal numérique par un moyen de contrôle |
US20230070895A1 (en) | 2021-09-03 | 2023-03-09 | Jacques Seguin | Systems and methods for automated medical monitoring and/or diagnosis |
US11762456B2 (en) | 2021-09-27 | 2023-09-19 | International Business Machines Corporation | Head-movement-based user interface and control |
KR102489632B1 (ko) * | 2021-10-12 | 2023-01-17 | 서울과학기술대학교 산학협력단 | 가상 현실을 위한 동적 오버필링 방법 및 이를 수행하는 시스템 |
KR102489652B1 (ko) * | 2021-10-12 | 2023-01-18 | 서울과학기술대학교 산학협력단 | 가상 현실을 위한 동적 오버필링 방식의 결정 방법 |
KR102448833B1 (ko) * | 2021-10-13 | 2022-09-29 | 서울과학기술대학교 산학협력단 | 클라우드 vr을 위한 렌더링 방법 |
US20230237692A1 (en) * | 2022-01-26 | 2023-07-27 | Meta Platforms Technologies, Llc | Methods and systems to facilitate passive relocalization using three-dimensional maps |
US11659043B1 (en) | 2022-01-27 | 2023-05-23 | Meta Platforms Technologies, Llc | Systems and methods for predictively downloading volumetric data |
WO2022266556A1 (en) * | 2022-08-09 | 2022-12-22 | Innopeak Technology, Inc. | Methods and systems for motion prediction |
US11880503B1 (en) * | 2022-12-19 | 2024-01-23 | Rockwell Collins, Inc. | System and method for pose prediction in head worn display (HWD) headtrackers |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008233765A (ja) | 2007-03-23 | 2008-10-02 | Toshiba Corp | 画像表示装置および画像表示方法 |
JP2010256554A (ja) | 2009-04-23 | 2010-11-11 | Pioneer Electronic Corp | 情報処理装置及び画像表示制御方法 |
WO2012177657A2 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2238693C (en) | 1995-11-27 | 2009-02-24 | Cae Electronics Ltd. | Method and apparatus for displaying a virtual environment on a video display |
JP3802653B2 (ja) * | 1997-05-21 | 2006-07-26 | オリンパス株式会社 | 立体画像表示装置 |
US7002551B2 (en) * | 2002-09-25 | 2006-02-21 | Hrl Laboratories, Llc | Optical see-through augmented reality modified-scale display |
US6867753B2 (en) * | 2002-10-28 | 2005-03-15 | University Of Washington | Virtual image registration in augmented display field |
US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7729515B2 (en) | 2006-03-08 | 2010-06-01 | Electronic Scripting Products, Inc. | Optical navigation apparatus using fixed beacons and a centroid sensing device |
US8542219B2 (en) | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
JP4566786B2 (ja) * | 2004-05-14 | 2010-10-20 | キヤノン株式会社 | 位置姿勢計測方法および情報処理装置 |
CA2569562C (en) | 2004-06-08 | 2013-12-03 | Vega Masignani | Fusion proteins comprising cd4 minimal modules and methods of use thereof |
JP5286667B2 (ja) * | 2006-02-22 | 2013-09-11 | コニカミノルタ株式会社 | 映像表示装置、及び映像表示方法 |
JP5156571B2 (ja) * | 2008-10-10 | 2013-03-06 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
IT1393919B1 (it) | 2009-04-16 | 2012-05-17 | Marinelli | Metodo per la produzione di elementi ottici fotocromatici ed elementi ottici fotocromatici |
US8441486B2 (en) * | 2009-04-27 | 2013-05-14 | Jagex Ltd. | Position tracking in a virtual world |
JP5510736B2 (ja) * | 2010-08-31 | 2014-06-04 | 株式会社デンソー | 挙動異常判定器および情報記録分析装置 |
US9217867B2 (en) * | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
JP5834439B2 (ja) * | 2011-03-24 | 2015-12-24 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US8610884B2 (en) | 2011-12-23 | 2013-12-17 | Korea Advanced Institute Of Science And Technology | Method for optical visualization of graphene domains |
JP5365684B2 (ja) * | 2011-12-27 | 2013-12-11 | 株式会社ニコン | 制御装置、及びヘッドマウントディスプレイ装置 |
US20130285885A1 (en) * | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
US8970709B2 (en) | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
US9063330B2 (en) | 2013-05-30 | 2015-06-23 | Oculus Vr, Llc | Perception based predictive tracking for head mounted displays |
-
2014
- 2014-05-22 US US14/285,470 patent/US9063330B2/en active Active
- 2014-05-29 JP JP2016517019A patent/JP6038401B2/ja active Active
- 2014-05-29 KR KR1020157035156A patent/KR101777820B1/ko active IP Right Grant
- 2014-05-29 CN CN201710912046.4A patent/CN107577045B/zh active Active
- 2014-05-29 CA CA2951417A patent/CA2951417C/en not_active Expired - Fee Related
- 2014-05-29 AU AU2014274101A patent/AU2014274101B2/en not_active Ceased
- 2014-05-29 KR KR1020177024782A patent/KR101877411B1/ko active IP Right Grant
- 2014-05-29 CA CA2912109A patent/CA2912109C/en not_active Expired - Fee Related
- 2014-05-29 EP EP19150548.6A patent/EP3486707B1/en active Active
- 2014-05-29 WO PCT/US2014/040086 patent/WO2014194135A1/en active Application Filing
- 2014-05-29 CN CN201480031265.6A patent/CN105452935B/zh active Active
- 2014-05-29 MX MX2015016340A patent/MX350942B/es active IP Right Grant
- 2014-05-29 BR BR112015030037A patent/BR112015030037A2/pt not_active Application Discontinuation
- 2014-05-29 EP EP14804658.4A patent/EP3004966B1/en active Active
- 2014-05-29 KR KR1020187018957A patent/KR102209873B1/ko active IP Right Grant
-
2015
- 2015-05-01 US US14/702,314 patent/US9348410B2/en active Active
- 2015-11-26 IL IL242810A patent/IL242810A/en not_active IP Right Cessation
-
2016
- 2016-04-22 US US15/135,899 patent/US9897807B2/en active Active
- 2016-11-01 JP JP2016214175A patent/JP6110007B2/ja active Active
-
2017
- 2017-01-10 AU AU2017200163A patent/AU2017200163B2/en not_active Ceased
- 2017-03-08 JP JP2017043699A patent/JP6422137B2/ja active Active
-
2018
- 2018-01-06 US US15/863,868 patent/US10281978B2/en active Active
-
2019
- 2019-03-15 US US16/355,549 patent/US10732707B2/en active Active
-
2020
- 2020-06-16 US US16/903,228 patent/US11181976B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008233765A (ja) | 2007-03-23 | 2008-10-02 | Toshiba Corp | 画像表示装置および画像表示方法 |
JP2010256554A (ja) | 2009-04-23 | 2010-11-11 | Pioneer Electronic Corp | 情報処理装置及び画像表示制御方法 |
WO2012177657A2 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101777820B1 (ko) | 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 | |
JP6979475B2 (ja) | ヘッドマウントディスプレイ追跡 | |
EP3137982B1 (en) | Transitions between body-locked and world-locked augmented reality | |
EP3137976B1 (en) | World-locked display quality feedback | |
JP7008730B2 (ja) | 画像に挿入される画像コンテンツについての影生成 | |
US20160357017A1 (en) | Head-mounted display, information processing device, display control method, and program | |
CN112328078A (zh) | 处理三维用户输入的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |