KR20200106547A

KR20200106547A - 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템

Info

Publication number: KR20200106547A
Application number: KR1020207023775A
Authority: KR
Inventors: 조슈아 마크 허드만
Original assignee: 밸브 코포레이션
Priority date: 2018-01-18
Filing date: 2019-01-17
Publication date: 2020-09-14
Also published as: EP3714318A1; JP2021511699A; US11314323B2; CN111602082B; EP3714318A4; US20210149481A1; CN115857173A; JP7207809B2; CN111602082A; EP3714318B1; US20190220090A1; WO2019143793A1; US10921881B2

Abstract

머리-착용 디스플레이(head-mounted display; HMD)의 위치를 추적하기 위한 시스템들 및 방법들. HMD는 전향(forward facing) 카메라 및 복수의 광학적 흐름 센서 집적 회로(IC)들을 운반하는 지지 구조체를 포함할 수 있다. 전방 카메라는 제 1 프레임 레이트로 전방 카메라 시계(field of view; FOV) 내의 이미지 센서 데이터를 캡처하며, 복수의 센서 IC들의 각각은 제 2 프레임 레이트로 개별적인 복수의 센서 IC FOV들 내의 이미지 센서 데이터를 캡처한다. 센서 IC FOV들은 집합적으로 적어도 전방 카메라 FOV의 상당한 부분을 커버할 수 있다. 프로세서는 카메라 및 복수의 센서 IC들로부터 이미지 센서 데이터를 수신할 수 있다. 프로세서는 수신된 센서 데이터의 프로세싱에 기초하여 머리-착용 디스플레이의 위치를 추적하기 위해 수신된 이미지 센서 데이터 및/또는 다른 센서 데이터(예를 들어, IMU 데이터)를 프로세싱할 수 있다.

Description

센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템

본 개시는 전반적으로 머리-착용형 디스플레이들에 대한 위치 추적에 관한 것이다.

가상 현실(virtual reality; "VR") 또는 증강 현실(augmented reality; "AR") 경험들의 하나의 현행 생성은, 고정식 컴퓨터(예컨대, 개인용 컴퓨터("PC"), 랩탑, 또는 게임 콘솔)에 테더링되거나, 스마트 폰 및/또는 그것의 연관된 디스플레이와 결합되거나 및/또는 통합될 수 있거나, 또는 자급식일 수 있는 머리-착용 디스플레이(head-mounted display; "HMD")들을 사용하여 생성된다. 일반적으로, HMD들은, 하나의(단안 HMD) 또는 각각의 눈(쌍안 HMD)의 전방에 소형 디스플레이 디바이스를 갖는, 사용자의 머리에 착용되는 디스플레이 디바이스들이다. 디스플레이 유닛들은 전형적으로 소형화되며, 예를 들어, CRT, LCD, 실리콘 액정 표시장치(Liquid crystal on silicon; LCo)들, 또는 OLED 기술품들을 포함할 수 있다. 쌍안 HMD는 각각의 눈에 상이한 이미지를 디스플레이할 가능성을 갖는다. 이러한 성능은 입체 이미지들을 디스플레이하기 위하여 사용된다.

스마트폰들 및 고-화질 텔레비전들뿐만 아니라 다른 전자 디바이스들의 성장과 함께 고성능을 갖는 디스플레이들에 대한 수요가 증가하였다. 가상 현실 및 증강 현실 시스템들, 특히 이러한 HMD들을 사용하는 가상 현실 및 증강 현실 시스템들의 성장하고 있는 인기가 이러한 수요를 추가로 증가시키고 있다. 가상 현실 시스템들은 전형적으로 착용자의 눈들을 완전히 감싸고 착용자의 전방에서 실제 또는 물리적 현실 뷰(view)를 "가상" 현실로 치환하며, 반면 증강 현실 시스템들은 전형적으로, 실제 뷰가 추가적인 정보로 증강되도록 착용자의 눈들의 전방에 하나 이상의 스크린들의 반-투명 또는 투명 오버레이(overlay)를 제공하고, 매개 현실 시스템(mediated reality system)들은 유사하게 실제 엘리먼트들을 가상 엘리먼트들과 결합하는 정보를 시청자(viewer)에게 나타낼 수 있다. 다수의 가상 현실 및 증강 현실 시스템들에 있어서, 보여지고 있는 이미지들이 사용자의 움직임들을 반영하는 것을 가능하게 하기 위하여, 이러한 머리-착용 디스플레이의 착용자의 움직임은 다양한 방식들로, 예컨대 머리-착용 디스플레이 내의 및/또는 그 외부의 센서들을 통해 추적될 수 있다.

위치 추적은 HMD가 그 주위의 환경에 대하여 그것의 위치를 추정하는 것을 가능하게 한다. 위치 추적은 HMD의 절대 위치의 검출을 달성하기 위해 하드웨어 및 소프트웨어의 조합을 사용할 수 있다. 위치 추적은 AR 또는 VR 시스템들에 대하여 중요한 기술이며, 이는 6 자유도(six degrees of freedom; 6DOF)를 가지고 HMD들(및/또는 제어기들 또는 다른 주변기기들)의 움직임을 추적하는 것을 가능하게 한다.

위치 추적 기술은 점프 또는 웅크림과 같은 상이한 액션들을 반영하기 위하여 사용자의 시점을 변화시키기 위해 사용될 수 있으며, 사용자의 손들 및 가상 환경 내의 다른 물체들의 정확한 표현을 가능하게 할 수 있다. 위치 추적은 또한, 예를 들어, 터치에 의해 가상 물체들을 움직이기 위해 손 위치를 사용함으로써, 물리적 환경과 가상 환경 사이의 연결을 증가시킬 수 있다. 위치 추적은 시차(parallax) 때문에 사용자에 대한 가상 현실의 3D 인식을 개선하며, 이는 거리의 인식을 돕는다. 또한, 위치 추적은, 눈으로 보여지는 것의 입력과 사용자의 귀의 전정계에 의해 느껴지고 있는 것의 입력 사이의 분리(disconnect)에 의해 초래되는 멀미를 최소화하거나 또는 감소시키는 것을 도울 수 있다.

위치 추적의 상이한 방법들이 존재한다. 이러한 방법들은 음향 추적, 관성 추적, 자기 추적, 광학 추적, 이들의 조합들, 등을 포함할 수 있다.

머리 착용 디스플레이는, 사용자의 머리 상에 착용가능한 지지 구조체; 상기 지지 구조체에 의해 운반되는 카메라로서, 상기 카메라는 동작 시에 제 1 프레임 레이트(rate)로 카메라 시계(field of view) 내의 이미지 센서 데이터를 캡처하는, 상기 카메라; 상기 지지 구조체에 의해 운반되는 복수의 광학적 흐름 센서 집적 회로(integrated circuit; IC)들로서, 동작 시에 상기 복수의 광학적 흐름 센서 IC들의 각각은 제 2 프레임 레이트로 개별적인 센서 IC 시계 내의 이미지 센서 데이터를 캡처하며, 상기 센서 IC 시계들은 상기 카메라 시계보다 더 좁고, 상기 제 2 프레임 레이트는 상기 제 1 프레임 레이트보다 더 큰, 상기 복수의 광학적 흐름 센서 IC들; 프로세서-실행가능 명령어들 또는 데이터 중 적어도 하나를 포함하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및 상기 카메라, 상기 복수의 광학적 흐름 센서 IC들, 및 상기 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 동작 시에, 상기 적어도 하나의 프로세서는, 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터 상기 이미지 센서 데이터를 수신하고; 상기 수신된 이미지 센서 데이터를 프로세싱하며; 및 적어도 부분적으로 상기 수신된 이미지 센서 데이터의 프로세싱에 기초하여 상기 머리-착용 디스플레이의 위치를 추적하는 것으로서 요약될 수 있다. 상기 적어도 하나의 프로세서는 상기 머리-착용 디스플레이의 위치를 추적하기 위하여 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터의 상기 이미지 센서 데이터를 융합할 수 있다.

상기 머리-착용 디스플레이는, 상기 적어도 하나의 프로세서에 동작가능하게 결합되는 관성 측정 유닛(inertial measurement unit; IMU) 센서를 더 포함할 수 있으며, 동작 시에 상기 적어도 하나의 프로세서는, 상기 IMU 센서로부터 IMU 센서 데이터를 수신하며; 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터 수신된 상기 이미지 센서 데이터 및 상기 IMU 센서 데이터를 프로세싱하고; 및 적어도 부분적으로 상기 수신된 이미지 센서 데이터 및 상기 수신된 IMU 센서 데이터의 프로세싱에 기초하여 상기 머리-착용 디스플레이의 위치를 추적한다. 상기 복수의 광학적 흐름 센서 IC들의 각각은 이미지 센싱 회로부 및 그 위의 이미지 프로세싱 회로부를 갖는 단일 다이를 포함할 수 있다. 상기 제 1 프레임 레이트는 초 당 100 프레임 이하일 수 있으며, 상기 제 2 프레임 레이트는 초 당 1000 프레임 이상일 수 있다. 상기 적어도 하나의 프로세서는, 상기 머리-착용 디스플레이가 동작하는 환경 내에 존재하는 하나 이상의 특징들을 검출하기 위해 상기 수신된 이미지 센서 데이터를 프로세싱할 수 있다. 상기 센서 IC 시계들의 각각은 상기 카메라 시계의 일 부분과 중첩될 수 있다. 상기 적어도 하나의 프로세서는 상기 센서 IC 시계들을 상기 카메라 시계와 정렬(register)할 수 있다. 상기 카메라 시계는 100 도보다 더 클 수 있다.

상기 머리-착용 디스플레이는 각기 사용자의 하나의 눈에 대한 디스플레이를 제공하는 제 1 및 제 2 디스플레이 서브시스템들을 더 포함할 수 있으며, 동작 시에, 상기 적어도 하나의 프로세서는 상기 제 1 및 제 2 디스플레이 서브시스템들을 통해 상기 카메라로부터 획득된 이미지들을 선택적으로 제공한다.

머리-착용 디스플레이를 동작시키는 방법으로서, 상기 머리-착용 디스플레이는 사용자의 머리 상에 착용이 가능한 지지 구조체, 상기 지지 구조체에 의해 운반되는 카메라 및 상기 지지 구조체에 의해 운반되는 복수의 광학적 흐름 센서 집적 회로(IC)들을 포함하며, 상기 방법은, 상기 카메라를 통해, 제 1 프레임 레이트로 카메라 시계 내의 이미지 센서 데이터를 캡처하는 단계; 상기 복수의 광학적 흐름 센서 IC들을 통해, 제 2 프레임 레이트로 개별적인 센서 IC 시계 내의 이미지 센서 데이터를 캡처하는 단계로서, 상기 센서 IC 시계들은 상기 카메라 시계보다 더 좁고, 상기 제 2 프레임 레이트는 상기 제 1 프레임 레이트보다 더 큰, 단계; 적어도 하나의 프로세서에 의해, 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터 상기 이미지 센서 데이터를 수신하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 수신된 이미지 센서 데이터를 프로세싱하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 적어도 부분적으로 상기 수신된 이미지 센서 데이터의 프로세싱에 기초하여 상기 머리-착용 디스플레이의 위치를 추적하는 단계를 포함하는 것으로서 요약될 수 있다. 상기 수신된 이미지 센서 데이터를 프로세싱하는 단계는, 상기 머리-착용 디스플레이의 위치를 추적하기 위하여 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터의 상기 이미지 센서 데이터를 융합하는 단계를 포함할 수 있다.

상기 머리-착용 디스플레이는 상기 적어도 하나의 프로세서에 동작가능하게 결합되는 관성 측정 유닛(inertial measurement unit; IMU) 센서를 더 포함할 수 있으며, 상기 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 IMU 센서로부터 IMU 센서 데이터를 수신하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터 수신된 상기 이미지 센서 데이터 및 상기 IMU 센서 데이터를 프로세싱하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 적어도 부분적으로 상기 수신된 이미지 센서 데이터 및 상기 수신된 IMU 센서 데이터의 프로세싱에 기초하여 상기 머리-착용 디스플레이의 위치를 추적하는 단계를 더 포함할 수 있다.

상기 복수의 광학적 흐름 센서 IC들을 통해 이미지 센서 데이터를 캡처하는 단계는, 각기 이미지 센싱 회로부 및 그 위의 이미지 프로세싱 회로부를 갖는 단일 다이를 포함하는 복수의 광학적 흐름 센서 IC들을 통해 이미지 센서 데이터를 캡처하는 단계를 포함할 수 있다. 제 1 프레임 레이트로 카메라 시계 내의 이미지 센서 데이터를 캡처하는 단계는 초당 100 프레임 이하인 제 1 프레임 레이트로 카메라 시계 내의 이미지 센서 데이터를 캡처하는 단계를 포함할 수 있으며, 제 2 프레임 레이트로 상기 센서 IC 시계들 내의 이미지 센서 데이터를 캡처하는 단계는 초당 1000 프레임 이상인 제 2 프레임 레이트로 상기 센서 IC 시계들 내의 이미지 센서 데이터를 캡처하는 단계를 포함할 수 있다. 상기 수신된 이미지 센서 데이터를 프로세싱하는 단계는, 상기 머리-착용 디스플레이가 동작하는 환경 내에 존재하는 하나 이상의 특징들을 검출하기 위해 상기 수신된 이미지 센서 데이터를 프로세싱하는 단계를 포함할 수 있다. 상기 센서 IC 시계들의 각각은 상기 카메라 시계의 일 부분과 중첩될 수 있다. 상기 수신된 이미지 센서 데이터를 프로세싱하는 단계는 상기 센서 IC 시계들을 상기 카메라 시계와 정렬하는 단계를 포함할 수 있다. 상기 카메라 시계는 100 도보다 더 클 수 있다.

상기 머리-착용 디스플레이는 각기 사용자의 하나의 눈에 대한 디스플레이를 제공하는 제 1 및 제 2 디스플레이 서브시스템들을 더 포함할 수 있으며, 상기 방법은 상기 제 1 및 제 2 디스플레이 서브시스템들을 통해 상기 카메라로부터 획득된 이미지들을 선택적으로 제공하는 단계를 더 포함할 수 있다.

도면들에서, 동일한 참조 번호들은 유사한 엘리먼트들 또는 행동들을 식별한다. 도면들 내에서 엘리먼트들의 크기들 및 상대적인 위치들은 반드시 축적이 맞춰져야 하는 것은 아니다. 예를 들어, 다양한 엘리먼트들의 형상들 및 각도들이 반드시 축적이 맞춰져야 할 필요는 없으며, 이러한 엘리먼트들 중 일부는 도면 가독성을 개선하기 위하여 임의적으로 확장되고 위치될 수 있다. 추가로, 도시되는 엘리먼트들의 특정 형상들은 반드시 특정 엘리먼트들의 정확한 형상에 관한 임의의 정보를 전달하도록 의도되는 것은 아니며, 단지 도면들 내에서의 인식의 용이성을 위하여 선택될 수 있다.
도 1은 본 개시의 예시적인 실시예에 따른 쌍안 디스플레이 서브시스템들, 전방 카메라, 및 복수의 센서 집적 회로들 포함하는 머리-착용 디스플레이 시스템의 상단 평면도를 예시한다.
도 2는 본 개시의 예시적인 실시예에 따른 쌍안 디스플레이 서브시스템들, 전방 카메라, 및 복수의 센서 집적 회로들 포함하는 머리-착용 디스플레이 시스템의 정면도이다.
도 3은 본 개시의 예시적인 일 실시예에 따른 도 2에 도시된 머리-착용 디스플레이 시스템의 상단 평면도이다.
도 4는 본 개시의 예시적인 실시예에 따른 머리-착용 디스플레이 시스템의 개략적인 블록도이다.
도 5는 본 개시의 예시적인 실시예에 따른 사용 동안 머리-착용 디스플레이 시스템의 위치, 배향 및/또는 움직임을 추적하기 위한 머리-착용 시스템을 동작시키는 방법에 대한 순서도이다.

다음의 설명에 있어, 어떤 특정 세부사항들이 개시된 다양한 구현예들의 철저한 이해를 제공하기 위하여 기술되었다. 그러나, 당업자는 구현예들이 이러한 특정 세부사항들 중 하나 이상이 없는 상태로 또는 다른 방법들, 컴포넌트들, 재료들 등과 함께 실시될 수 있다는 것을 인식할 것이다. 다른 예들에 있어, 컴퓨터 시스템들, 서버 컴퓨터들, 및/또는 통신 네트워크들과 연관된 잘 알려진 구조들은 구현예들의 설명을 불필요하게 모호하게 하는 것을 회피하기 위하여 상세하게 도시되지 않거나 또는 설명되지 않는다.

문맥이 달리 요구하지 않는 한, 다음의 명세서 및 청구항들 전체에 걸쳐, 단어 "구성되는"은 "포함하는"과 동의어이며, 포괄적이고 개방적이다(즉, 추가적인, 언급되지 않은 엘리먼트들 또는 방법 행동들을 배제하지 않는다).

본 명세서 전체에 걸쳐 "하나의 구현예" 또는 "일 구현예"에 대한 이러한 설명의 언급은 구현예와 함께 설명된 특정 특징, 구조, 또는 특성이 적어도 하나의 구현예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전체에 걸쳐 다양한 위치들에서의 문구들 "하나의 구현예에 있어서" 또는 "일 구현예에 있어서"의 출현이 반드시 모두 동일한 구현예를 지칭하는 것이 아니다. 추가적으로, 특정 특징들, 구조들, 또는 특성들은 하나 이상의 구현예들에서 임의의 적절한 방식으로 결합될 수 있다.

본 명세서에서 그리고 첨부된 청구항들에서 사용될 때, 단수 형태들 "일", 및 "상기"는 문맥이 명백하게 달리 기재하지 않는 한 복수의 지시대상들을 포함한다. 용어 "또는"은 일반적으로, 문맥이 명백히 달리 기술하지 않는 한, "및/또는"을 포함하는 의미로 이용된다.

본원에서 제공되는 본 개시의 표제 및 요약은 오로지 편의를 위한 것이며, 구현예들의 의미 또는 범위를 해석하지 않는다.

본 개시의 하나 이상의 구현예들은 HMD의 착용자에 의한 사용 동안 머리-착용 디스플레이(head-mounted display; HMD)의 위치를 정확히 추적하기 위한 시스템들 및 방법들에 관한 것이다. 적어도 하나의 구현예들에 있어서, HMD는 전향(forward facing) 카메라("전방 카메라" 또는 "정면 카메라") 및 복수의 광학적 흐름 센서 집적 회로(IC)들, 또는 "센서 IC들"을 운반하는 지지 구조체를 포함한다. 전방 카메라는 제 1 프레임 레이트(rate)(예를 들어, 30 Hz, 90 Hz)로 전방 카메라 시계(field of view) 내의 이미지 센서 데이터를 캡처한다. 복수의 센서 IC들의 각각은 제 2 프레임 레이트(예를 들어, 1000 Hz, 2000 Hz)로 개별적인 복수의 센서 IC 시계 내의 이미지 센서 데이터를 캡처한다. 적어도 일부 구현예들에 있어서, 센서 IC 시계는 전방 카메라 시계보다 더 좁을 수 있다. 예를 들어, 전방 카메라는 90°, 120°, 또는 150°의 상대적으로 넓은 전방 카메라 시계를 가질 수 있으며, 센서 IC들의 각각은 15°, 30°, 45°, 등인 상대적으로 좁은 센서 IC 시계를 가질 수 있다. 적어도 일부 구현예들에 있어서, 센서 IC 시계는 적어도 전방 카메라 시계의 상당한 부분을 집합적으로 커버할 수 있으며, 여기에서 센서 IC 시계의 각각이 전방 카메라 시계의 상이한 부분들과 중첩한다.

동작 시에, 전방 카메라 및 복수의 센서 IC들에 동작가능하게 결합된 적어도 하나의 프로세서는 카메라 및 복수의 광학적 흐름 센서 IC들로부터 이미지 센서 데이터를 수신할 수 있다. 적어도 하나의 프로세서는 수신된 이미지 센서 데이터의 프로세싱에 적어도 부분적으로 기초하여 머리-착용 디스플레이의 위치를 추적하기 위해 수신된 이미지 센서 데이터를 프로세싱할 수 있다. 예를 들어, 적어도 하나의 프로세서는 환경 내에 존재하는 하나 이상의 특징들을 추적하기 위하여 전방 카메라 및 복수의 센서 IC들로부터의 센서 데이터를 융합할 수 있다. 적어도 일부 구현예들에 있어서, 이미지 센서 데이터는 다른 센서들로부터의 센서 데이터, 예컨대 HMD의 관성 측정 유닛(inertial measurement unit; IMU)으로부터의 센서 데이터와 융합될 수 있다. 본 개시의 구현예들의 다양한 특징들이 이하에서 도면들을 참조하여 논의된다.

도 1은, 눈-근접(near-to-eye) 디스플레이 시스템들(102 및 104)의 쌍을 포함하는 HMD 시스템(100)의 간략화된 상단 평면도이다. 눈-근접 디스플레이 시스템들(102 및 104)은 각각 디스플레이들(106 및 108)(예를 들어, OLED 마이크로-디스플레이들) 및 각기 하나 이상의 광학적 렌즈들을 갖는 개별적인 광학 시스템들(110 및 112)을 포함한다. 디스플레이 시스템들(102 및 104)은, 전방 부분(116), 좌측 템플(temple)(118) 및 우측 템플(120)을 포함하는 지지 구조체 또는 프레임(114) 또는 다른 장착 구조체에 장착될 수 있다. 2개의 디스플레이 시스템들(102 및 104)은, 착용자 사용자(124)의 머리(122) 상에 착용될 수 있는 안경 장치 내의 프레임(114)에 고정될 수 있다. 좌측 템플(118) 및 우측 템플(120)은 각기 사용자의 귀들(126 및 128) 위에 놓일 수 있으며, 반면 코 어셈블리(미도시)가 사용자의 코(130) 위에 놓일 수 있다. 프레임(114)은 2개의 광학 시스템들(110 및 112)의 각각을 각기 사용자의 눈들(132 및 134) 중 하나의 전방에 위치시키도록 성형되고 크기가 결정될 수 있다. 프레임(114)이 설명의 목적들을 위하여 안경과 유사하게 간략화된 방식으로 도시되지만, 실제로는 더 정교한 구조체들(예를 들어, 고글, 통합 머리밴드, 헬멧, 스트랩들, 등)이 사용자(124)의 머리(122) 상에 디스플레이 시스템들(102 및104)을 위치시키고 지지하기 위하여 사용될 수 있다.

도 1의 HMD 시스템(100)은, 예컨대 초 당 30 프레임(또는 이미지) 또는 초 당 90 프레임과 같은 디스플레이 레이트(rate)로 표현되는 대응하는 비디오를 통해 사용자(124)에게 가상 현실 디스플레이를 나타낼 수 있으며, 반면 유사한 시스템의 다른 실시예들은 사용자(124)에게 증강 현실 디스플레이를 나타낼 수 있다. 디스플레이들(106 및 108)의 각각은, 각기 사용자(124)의 눈들(132 및 134) 상으로 개별적인 광학 시스템들(110 및 112)을 통해 전달되며 이에 의해 포커싱되는 광을 생성할 수 있다. 본원에 예시되지는 않았지만, 눈들의 각각 이를 통해 광이 눈 내로 전달되는 동공 개구(pupil aperture)를 포함하며, 여기에서 동공 크기는 매우 밝은 조건들에서 2 mm(밀리미터)로부터 어두운 조건들에서 무려 8mm까지의 범위를 가지며, 반면 동공이 포함되는 더 큰 홍채는 대략 12 mm의 크기를 가질 수 있다 - 동공(및 둘러싸는 홍채)은 전형적으로 수평 및/또는 수직 방향들로 수 밀리미터만큼 눈꺼풀들이 개방된 상태에서 눈의 가시적인 부분 내에서 움직일 수 있으며, 이는 또한 안구가 그것의 중심 주위에서 회전할 때 상이한 수평 및 수직 포지션들에 대하여 디스플레이의 광학적 렌즈 또는 다른 물리적 엘리먼트로부터 상이한 깊이들까지 동공을 움직일 것이다(이는 동공이 움직일 수 있는 3차원 체적을 야기한다). 사용자의 동공에 진입하는 광은 이미지들 및/또는 비디오로서 사용자(124)에게 보인다. 일부 구현예들에 있어서, 사용자의 눈들(132 및 134)과 광학적 시스템들(110 및 112)의 각각 사이의 거리는 비교적 짧을 수 있으며(예를 들어, 30 mm 미만, 20 mm 미만), 광학 시스템들 및 디스플레이 시스템들의 중량이 사용자의 얼굴에 상대적으로 가깝기 때문에 이는 유익하게는 HMD 시스템(100)이 사용자에게 더 가볍게 느껴지게 하고, 또한 사용자에게 더 큰 시야를 제공할 수 있다.

HMD 시스템(100)은 또한 외향 또는 전방 카메라(136)를 포함할 수 있다. 전방 카메라(136)는, 예를 들어, 증강 현실 애플리케이션들에서 또는 가상 현실 애플리케이션들과 관련하여 사용자(124)에게 선택적으로 제공될 수 있는 이미지 데이터를 캡처하도록 동작가능할 수 있다. 추가적으로 또는 대안적으로, 전방 카메라(136)는, 이하에서 추가로 논의되는 바와 같이, 사용 동안 HMD 시스템(100)의 위치를 추적하기 위하여 HMD 시스템(100)의 위치 추적 시스템에 의해 사용될 수 있다. 일 예로서, 전방 카메라(136)는, 상대적으로 넓은 각도(예를 들어, 60°, 90°, 120°, 150°)를 갖는 전방 카메라 시계 내에서 소정의 프레임 레이트(예를 들어, 30 Hz, 60 Hz, 90 Hz)로 이미지들을 캡처하는 비디오 카메라 및 연관된 렌즈 시스템을 포함할 수 있다.

HMD 시스템(100)은 또한 복수의(도시된 6개의) 광학 흐름 센서 IC들(138a-138f)(집합적으로, "광학 IC들(138))을 포함할 수 있다. 센서 IC들(138)의 각각은, 예를 들어, 광 마우스에서 사용되는 센서 IC들과 유사하거나 또는 동일할 수 있다. 일반적으로, 광학적 흐름은, 관찰자(예를 들어, 센서 IC)와 신(scene) 사이의 상대적인 움직임에 의해 초래되는 시각적 신 내의 물체들, 표면들, 및 에지들의 명백한 움직임의 패턴이다. 센서 IC들(138)은 HMD 시스템(100)을 추적하기 위해 제공되는 광학적 흐름 데이터를 사용할 수 있다.

적어도 일부 구현예들에 있어서, 센서 IC들(138)의 각각은 광학적 흐름 또는 시각적 움직임을 측정하고 광학적 흐름에 기초하여 측정치를 출력할 수 있는 비전 센서(vision sensor)일 수 있다. 센서 IC들(138)은 다양한 구성들을 가질 수 있다. 하나의 예시적인 구성은 광학적 흐름 알고리즘을 실행하도록 프로그래밍된 프로세서에 연결된 이미지 센서 칩을 포함한다. 다른 예시적인 구성은, 동일한 다이(die) 상에 이미지 센서 및 프로세싱 회로부 둘 모두를 가져서 소형 구현을 가능하게 하는 집적 회로일 수 있는 비전 칩을 사용할 수 있다. 적어도 일부 구현예들에 있어서, 프로세싱 회로부는, 최소 전류 소비를 사용하여 빠른 광학적 흐름 계산을 가능하게 하기 위하여 아날로그 또는 혼합-신호 회로들을 사용하여 구현될 수 있다. 센서 IC들의 각각은 16x16 픽셀들, 32x32 픽셀들, 등과 같은 픽셀들의 어레이를 형성하기 위하여 광전자 재료(예를 들어, 상보 금속-산화물 반도체(complementary metal-oxide semiconductor; CMOS)의 광-전자(photo-electronic) 센서 어레이를 포함할 수 있다. 추가로, 센서 IC들(138)의 각각은 희망되는 광학적 특징(예를 들어, FOV)을 달성하기 위한 연관된 렌즈 시스템을 포함할 수 있다. 이상에서 논의된 바와 같이, 센서 IC들(138)의 각각은 전방 카메라(136)의 프레임 레이트(예를 들어, 30 Hz, 90 Hz)에 비하여 상대적으로 높은 프레임 레이트(예를 들어, 1000 Hz 이상의 프레임 레이트)를 가질 수 있다.

도 1에 예시되지는 않았지만, 이러한 HMD 시스템의 일부 실시예들은, 예컨대 각각의 눈(132 및 134)에 대하여 개별적으로 동공 추적을 수행하기 위한, (예를 들어, 머리 추적의 부분으로서) 머리 위치 및 배향을 추적하기 위한, 사용자의 신체의 다른 다양한 유형들의 움직임들 및 포지션을 추적하기 위한 다양한 추가적인 내부 및/또는 외부 센서들, 외부 이미지들(예를 들어, 환경의 이미지들)을 기록하기 위한 다른 카메라들, 등을 포함할 수 있다.

추가로, 일부 실시예들에 있어서 설명되는 기술들이 도 1에 예시된 것과 유사한 디스플레이 시스템과 함께 사용될 수 있지만, 다른 실시예들에 있어서, 단일 광학적 렌즈 및 디스플레이 디바이스를 이용하거나 또는 다수의 이러한 광학적 렌즈들 및 디스플레이 디바이스들을 이용하는 것을 포함하여 다른 유형들의 디스플레이 시스템들이 사용될 수 있다. 다른 이러한 디바이스들의 비-배타적인 예들은 카메라들, 텔레스코프들, 마이크스코프들, 쌍안경들, 스팟팅 스코프(spotting scope)들, 서베잉 스코프(surveying scope)들, 등을 포함한다. 이에 더하여, 설명되는 기술들은, 1명 이상의 사용자들이 하나 이상의 광학적 렌즈를 통해 보는 이미지들을 형성하기 위하여 광을 방출하는 매우 다양한 디스플레이 패널들 또는 다른 디스플레이 디바이스들과 함께 사용될 수 있다. 다른 실시예들에 있어서, 사용자는, 예컨대 부분적으로 또는 전체적으로 다른 광원으로부터의 광을 반사하는 표면 상의, 디스플레이 패널과는 다른 방식으로 생성되는 하나 이상의 이미지들을 하나 이상의 광학적 렌즈를 통해 볼 수 있다.

도 2는 사용자(202)의 머리 상에 착용된 예시적인 HMD 시스템(200)의 정면도를 도시한다. 도 3은 HMD 시스템(200)의 컴포넌트들 중 일부에 대한 예시적인 시계들(210 및 212)을 보여주는 HMD 시스템(200)의 상단 평면도를 도시한다. HMD 시스템(200)은, 전향 또는 전방 카메라(206) 및 복수의 센서 IC들(208a-208n)(집합적으로 208)을 지지하는 지지 구조체(204)를 포함한다. 전방 카메라(206) 및 센서 IC들(208)은 각기, 도 1을 참조하여 이상에서 논의된, 전방 카메라(136) 및 센서 IC들(138)과 유사하거나 또는 동일할 수 있다. 센서 IC들(208)의 특정한 수는 도면들에 도시된 센서 IC들의 수보다 더 적거나 또는 더 많을 수 있다.

도시된 바와 같이, 전방 카메라(206) 및 센서 IC들(208)은 신 또는 환경(214)(도 3)을 향해 전방으로 지향되며, 여기에서 사용자(202)는 HMD 시스템(200)을 동작시킨다. 환경(214)은 그 안에 하나 이상의 물체들(213)을 포함할 수 있으며, 이들은, 벽들, 천장들, 가구, 의자들, 차들, 나무들, 추적 마커들, 또는 임의의 다른 유형의 물체들을 포함할 수 있다.

예시적인 목적들을 위하여, 단지 센서 IC들(208a, 208d, 208j 및 208l)만이 도 3에 도시된다. 도시된 바와 같이, 전방 카메라(206)는 FOV 각도(207)(예를 들어, 60°, 90°, 120°, 150°)를 갖는 전방 카메라 FOV(210)를 포함한다. 도시된 바와 같이, 센서 IC들(208a, 208d, 208j 및 208l)의 각각은, 개별적인 FOV 각도(209a, 209d, 209j 및 209l)(집합적으로, 209)를 갖는 개별적인 센서 IC FOV(212a, 212d, 212j 및 212l)(집합적으로 212)를 갖는다. 적어도 일부 구현예들에 있어서, 센서 IC들(208)의 FOV 각도들(209)은 전방 카메라(206)의 FOV 각도들(207)보다 더 좁다. 예를 들어, 적어도 일부 구현예들에 있어서, 센서 IC들(208)의 FOV들(212)은 적어도 전방 카메라(206)의 FOV(210)의 상당한 부분을 집합적으로 커버할 수 있으며, 여기에서 FOV들(212)의 각각은 FOV(210)의 상이한 부분을 커버한다.

HMD 시스템(200)은 또한 지지 구조체(204)에 의해 운반되는 관성 측정 유닛(inertial measurement unit; IMU)(216)을 포함할 수 있다. IMU(216)는, 가속도계들 및 자이로스코프들, 및 선택적으로, 자력계들의 조합을 사용하여, HMD 시스템(200)의 특정 힘, 각속도(angular rate), 및/또는 HMD 시스템 주변의 자기장을 측정하고 보고하는 전자 디바이스일 수 있다. 전방 카메라(206)에 대하여, IMU(216)는 상대적으로 높은 업데이트 또는 보고 레이트(예를 들어, 초 당 500, 초당 1000)를 가질 수 있다.

동작 시에, HMD 시스템(200)은, 사용자(202)에 의한 동작 동안 HMD 시스템(200)의 위치를 추적하기 위하여 전방 카메라(206), 센서 IC들(208) 및 선택적으로 IMU(216)로부터의 데이터를 융합하거나 또는 달리 조합할 수 있다. 일 예로서, 전방 카메라(200)는, 센서 IC들(208)의 제 2 프레임 레이트(예를 들어, 1000 Hz, 2000 Hz)보다 상당히 더 낮은 제 1 프레임 레이트(예를 들어, 60 Hz)를 가질 수 있다. HMD 시스템(200)은, 전방 카메라(206)의 FOV(210)의 전부 또는 실질적으로 전부에 걸친 고 대역폭 특징 추적을 제공하기 위하여 광학적 IC들(208)의 개별적인 FOV들(212)을 전방 카메라(206)의 더 넓은 FOV(210)와 정렬(register)할 수 있다. 선택적으로, HMD 시스템(200)은 또한, HMD 시스템의 위치 추적을 추가로 개선하기 위하여 IMU(216)으로부터의 센서 데이터를 융합할 수 있다. 이상에서 언급된 바와 같이, 센서 IC들과 마찬가지로, IMU(216)이 또한 상대적으로 높은 대역폭 또는 업데이트 레이트를 가질 수 있다. 따라서, 센서 IC들 또는 IMU(216)를 사용하면, 위치 데이터는 전방 카메라(206)으로부터의 이미지 센서 데이터의 프레임들 사이에서(in-between frames) 생성될 수 있으며, 이는 더 큰 정밀도의 위치 추적을 제공한다.

적어도 일부 구현예들에 있어서, 전방 카메라(206), 센서 IC들(208), 및/또는 IMU(216)는, HMD 시스템(200)의 위치를 추적하기 위하여 하나 이상의 베이스 스테이션(base station)들 또는 다른 기술품들(예를 들어, 마커들)과 함께 사용될 수 있다. 일 예로서, 이러한 컴포넌트들은 밸브 코퍼레이션(Valve Corporation)에 의해 개발된 Lighthouse® 베이스 스테이션과 함께 사용될 수 있다. 보다 더 일반적으로, 본원에서 논의되는 특징들은, 이들의 내용이 그 전체가 본원에 참조로서 통합되는, 미국 특허 공개공보 제 2014/0267667호; 미국 특허 공개공보 제 2016/0124502호; 미국 특허 공개공보 제 2016/0131761호; 미국 특허 공개공보 제 2016/0124502호; 또는 미국 특허 공개공보 제 2017/0249019호에서 논의되는 시스템들 및 방법들 중 임의의 것과 함께 또는 이와 조합되어 사용될 수 있다.

전방 카메라(206), 센서 IC들(208), 및/또는 IMU(216)는 환경(216)에 대하여 HMD 시스템(200)의 위치가 어떻게 변화하는지를 결정하기 위해 사용될 수 있다. HMD 시스템(200)이 움직일 때, 센서들(206, 208 및 216)이 환경(214) 내에서 HMD 시스템(200)의 위치를 재조정하며, 가상 환경이 실시간으로 응답할 수 있다. 카메라(206) 및 센서 IC들(208)은 주변 환경(214)의 특징들을 관찰한다. 마커들(예를 들어, 프리미티브(primitive) 형상들, 코드들, 활성 기반 스테이션들)이 사용될 때, 이러한 마커들은 추적 시스템에 의해 용이하게 검출되고 특정 영역들에 위치되도록 설계될 수 있다. 무마커(markerless) 추적을 이용하면, 일반적으로 환경(214) 내에 존재하는 특징적인 특성들 또는 특징들이 HMD 시스템(200)의 위치, 배향 및 움직임을 실시간으로 결정하기 위해 추적될 수 있다. 예를 들어, HMD 시스템(200)은, 특정 이미지들, 형상들, 또는 특징들을 식별하는 하나 이상의 알고리즘들을 사용할 수 있으며, 공간 내에서의 HMD 시스템의 위치, 배향, 및/또는 움직임을 계산하기 위해 이들을 사용할 수 있다. 이상에서 언급된 바와 같이, IMU(214) 또는 다른 센서로부터의 데이터가 또한 HMD 시스템(200)의 위치 추적의 정밀도를 증가시키기 위해 사용될 수 있다.

도 4는 본 개시의 하나 이상의 구현예들에 따른 HMD 시스템(400)의 개략적인 블록도를 도시한다. HMD 시스템(400)은 이상에서 논의된 HMD 시스템들(100 및 200)과 유사하거나 또는 동일할 수 있다. 따라서, HMD 시스템들(100 및 200)에 관한 이상의 논의가 또한 HMD 시스템(400)에 적용될 수 있다.

HMD 시스템(400)은 프로세스(402), 전향 또는 전방 카메라(404), 복수의 센서 IC들(406)을 포함하며, 선택적으로 IMU(407)를 포함한다. HMD 시스템(400)은 디스플레이 서브시스템(408)(예를 들어, 2개의 디스플레이들 및 대응하는 광학 시스템들)을 포함할 수 있다. HMD 시스템(400)은 또한, 위치 추적을 위한 명령어들 또는 데이터(412), 디스플레이 기능성을 위한 명령어들 또는 데이터(414)(예를 들어, 게임들), 및/또는 다른 프로그램들(416)을 저장할 수 있는 비일시적인 데이터 저장부(410)를 포함할 수 있다.

HMD 시스템(400)은 또한 다양한 I/O 컴포넌트들(418)을 포함할 수 있으며, 이들은 하나 이상의 사용자 인터페이스들(예를 들어, 버튼들, 터치 패드들, 스피커들), 하나 이상의 유선 또는 무선 통신 인터페이스들, 등을 포함할 수 있다. 일 예로서, I/O 컴포넌트들(418)은, HMD 시스템(400)이 유선 또는 무선 통신 링크(422)를 통해 외부 디바이스(420)와 통신하는 것을 가능하게 하는 통신 인터페이스를 포함할 수 있다. 비-제한적인 예들로서, 외부 디바이스(420)는 호스트 컴퓨터, 서버, 모바일 디바이스(예를 들어, 스마트폰, 착용형 컴퓨터), 등을 포함할 수 있다. HMD 시스템(400)의 다양한 컴포넌트들은 단일 하우징(예를 들어, 도 2 및 도 3의 지지 구조체(202)) 내에 하우징될 수 있거나, 별개의 하우징(예를 들어, 호스트 컴퓨터) 내에 하우징될 수 있거나, 또는 이들의 조합들일 수 있다.

예시된 컴퓨팅 시스템들 및 디바이스들이 단지 예시적이며 본 개시의 범위를 제한하도록 의도되지 않는다는 것이 이해될 것이다. 예를 들어, HMD(400) 및/또는 외부 디바이스들(420)은, 인터넷과 같은 하나 이상의 네트워크들을 통해서 또는 웹을 통하는 것을 포함하여, 예시되지 않은 다른 디바이스들에 연결될 수 있다. 더 일반적으로, 이러한 컴퓨팅 시스템 또는 디바이스는, 비제한적으로, 데스크탑 컴퓨터들, 랩탑 컴퓨터들, 슬레이트(slate) 컴퓨터들, 태블릿 컴퓨터들 또는 다른 컴퓨터들, 스마트 폰 컴퓨팅 디바이스들 및 다른 휴대폰들, 인터넷 기기들, PDA들 및 다른 전자 오거나이저(organizer)들, 데이터베이스 서버들, 네트워크 저장 디바이스 및 다른 네트워크 디바이스들, 무선 전화들, 호출기들, (예를 들어, 셋-탑 박스들 및/또는 개인용/디지털 비디오 레코더들 및/또는 게임 콘솔들 및/또는 매체 서버들을 사용하는) 텔레비전-기반 시스템들, 및 적절한 상호-통신 성능들을 포함하는 다양한 다른 소비자 제품들을 포함하여, 예컨대 적절한 소프트웨어를 가지고 프로그래밍되거나 또는 달리 구성될 때 설명된 유형들의 기능을 수행하고 상호작용할 수 있는 하드웨어의 임의의 조합을 포함할 수 있다. 예를 들어, 예시된 시스템들(400 및 420)은, 적어도 일부 실시예들에 있어서, 예컨대 이러한 시스템들 또는 디바이스들의 프로세서들을 구성하기 위하여, 특정 컴퓨팅 시스템들 또는 디바이스들에 의해 로딩되거나 및/또는 실행될 때 이러한 시스템들 또는 디바이스들을 프로그래밍하거나 또는 달리 구성하기 위하여 사용될 수 있는 실행가능 소프트웨어 명령어들 및/또는 데이터 구조들을 포함할 수 있다. 대안적으로, 다른 실시예들에 있어서, 소프트웨어 시스템들 중 일부 또는 전부는 다른 디바이스 상의 메모리에서 실행될 수 있으며, 컴퓨터-간 통신을 통해 예시된 컴퓨팅 시스템/디바이스와 통신할 수 있다. 이에 더하여, 다양한 아이템들이 다양한 시간들에(예를 들어, 사용되는 동안에) 메모리 내에 또는 저장부 상에 저장되는 것으로서 예시되지만, 이러한 아이템들 또는 이들의 부분들은 메모리 관리 및/또는 데이터 무결성의 목적들을 위하여 메모리와 저장부 사이에서 및/또는 (예를 들어, 상이한 위치들에 있는) 저장 디바이스들 사이에서 전송될 수 있다.

따라서, 적어도 일부 실시예들에 있어서, 예시된 시스템들은, 프로세서(들) 및/또는 다른 프로세서 수단에 의해 실행될 때 그 시스템이 설명된 동작들을 자동으로 수행하게끔 프로그래밍하는 소프트웨어 명령어들을 포함하는 소프트웨어-기반 시스템들이다. 추가로, 일부 실시예들에 있어서, 시스템들 중 일부 또는 전부는 예컨대, 비제한적으로, 하나 이상의 응용-특정 집적 회로(application-specific integrated circuit; ASIC)들, 표준 집적 회로들, (예를 들어, 적절한 명령어들을 수행함으로써, 그리고 마이크로제어기들 및/또는 내장형 제어기들을 포함하는) 제어기들, 필드-프로그램가능 게이트 어레이(field-programmable gate array; FPGA)들, 복합 프로그램가능 로직 디바이스(complex programmable logic device; CPLD)들, 등을 포함하여, 적어도 부분적으로 펌웨어 및/또는 하드웨어 수단으로 구현되거나 또는 제공될 수 있다. 시스템들 또는 데이터 구조들의 일부 또는 전부가 또한, 적절한 드라이브에 의해 또는 적절한 연결에 의해 판독되는 하드 디스크 또는 플래시 드라이브 또는 다른 비-휘발성 저장 디바이스, 휘발성 또는 비-휘발성 메모리(예를 들어, RAM), 네트워크 저장 디바이스, 또는 휴대용 매체 물품(예를 들어, DVD 디스크, CD 디스크, 광 디스크, 플래시 메모리 디바이스, 등)와 같은, 비-일시적인 컴퓨터-판독가능 저장 매체 상에 (예를 들어, 소프트웨어 명령어들 콘텐츠 또는 구조화된 데이터 콘텐츠로서) 저장될 수 있다. 일부 실시예들에 있어서, 시스템들, 모듈들 및 데이터 구조들은 또한, 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상의 생성된 데이터 신호들로서(예를 들어, 반송파 또는 다른 아날로그 또는 디지털 전파형 신호의 부분으로서) 송신될 수 있으며, (예를 들어, 단일 또는 멀티플렉스된 아날로그 신호의 부분으로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 이러한 컴퓨터 프로그램 제품들이 또한 다른 실시예들에서 다른 형태들을 취할 수 있다. 따라서, 본 개시는 다른 컴퓨터 시스템 구성들을 가지고 실시될 수 있다.

도 5는 사용 동안 그것의 위치를 추적하기 위하여 HMD 시스템을 동작시키는 예시적인 방법(500)에 대한 순서도이다. 방법(500)은, 예를 들어, 도 4에 도시된 HMD 시스템(400)의 위치 추적 시스템 또는 모듈(412)에 의해 수행될 수 있다.

방법(500)의 예시된 구현예는 액트(act)(502)에서 시작하며, 여기에서 전향 카메라 및 복수의 센서 IC들을 갖는 HMD 시스템이 제공된다. 전방 카메라는 제 1 프레임 레이트로 전방 카메라 시계 내의 이미지 센서 데이터를 캡처할 수 있다. 복수의 센서 IC들은, 예를 들어, 광학적 흐름을 검출하도록 동작가능할 수 있다. 동작 시에, 복수의 센서 IC들의 각각은 제 2 프레임 레이트로 개별적인 복수의 센서 IC 시계 내의 이미지 센서 데이터를 캡처한다. 적어도 일부 구현예들에 있어서, 센서 IC 시계는 전방 카메라 시계보다 더 좁고, 센서 IC들의 제 2 프레임 레이트는 전방 카메라의 제 1 프레임 레이트보다 더 크다. 예를 들어, 적어도 일부 실시예들에 있어서, 제 1 프레임 레이트는 초 당 100 프레임 이하이며, 제 2 프레임 레이트는 초 당 1000 프레임 이상이다. 적어도 일부 구현예들에 있어서, 센서 IC 시계들의 각각은 전방 카메라 시계의 일 부분과 중첩하며, 그 결과, 복수의 센서 IC 시계들은 집합적으로 적어도 전방 카메라 시계의 상당한 부분(예를 들어, 50%, 80%, 90%, 100%)을 커버한다. 적어도 일부 구현예들에 있어서, 센서 IC들의 각각은 이미지 센싱 회로부 및 그 위의 이미지 프로세싱 회로부를 갖는 단일 다이를 포함할 수 있다.

504에서, HMD 시스템과 연관된 적어도 하나의 프로세서는 전방 카메라 및 복수의 센서 IC들로부터 센서 데이터를 수신할 수 있다. 일 예로서, 적어도 하나의 프로세서는 제 1의 더 낮은 레이트로 전방 카메라로부터 센서 데이터를 수신할 수 있으며, 제 2의 더 높은 레이트로 복수의 센서 IC들로부터 센서 데이터를 수신할 수 있다.

506에서, HMD 시스템과 연관된 적어도 하나의 프로세서는 선택적으로, 관성 추적 성능을 제공하도록 동작할 수 있는 관성 측정 유닛(inertial measurement unit; IMU)으로부터 센서 데이터를 수신할 수 있다.

508에서, HMD 시스템과 연관된 적어도 하나의 프로세서는 수신된 센서 데이터를 프로세싱할 수 있다. 예를 들어, 적어도 하나의 프로세서는, HMD 시스템에 동작되는 환경 내에 존재하는 하나 이상의 특징들을 추적하기 위하여 센서 데이터의 일부 또는 전부를 함께 융합할 수 있다. 센서 데이터는, 전방 카메라로부터의 센서 데이터, 복수의 센서 IC들 중 적어도 하나로부터의 센서 데이터, 및 선택적으로 IMU로부터의 센서 데이터를 포함할 수 있다.

510에서, HMD 시스템과 연관된 적어도 하나의 프로세서는, 환경 내에서 사용자에 의한 HMD 시스템의 사용 동안 HMD 시스템의 위치, 배향, 및/또는 움직임을 실시간으로 추적할 수 있다. 방법(500)은, 이상에서 논의된, HMD 시스템의 위치, 배향 및/또는 움직임을 계속하여 추적하기 위해 HMD의 동작 동안 계속될 수 있다.

이상의 상세한 설명은 블록도들, 개략도들 및 예들의 사용을 통해 디바이스 및/또는 프로세스들의 다양한 구현예를 기술하였다. 이러한 블록도들, 개략도들, 및 예들이 하나 이상의 기능들 및/또는 동작들을 포함하는 한, 이러한 블록도들, 순서도들, 또는 예들 내의 각각의 기능 및/또는 동작이, 광범위한 하드웨어, 소프트웨어, 펌웨어, 또는 사실상 이들의 임의의 조합에 의해 개별적으로 및/또는 집합적으로 구현될 수 있음이 당업자들에 의해 이해될 것이다.

일 구현예에 있어서, 본 주제는 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit; ASIC)를 통해 구현될 수 있다. 그러나, 당업자들은, 본원에서 개시되는 구현예들이, 전체적으로 또는 부분적으로, 하나 이상의 컴퓨터들 상에서 실행되는 하나 이상의 컴퓨터 프로그램들로서(예를 들어, 하나 이상의 컴퓨터 시스템들 상에서 실행되는 하나 이상의 프로그램들로서), 하나 이상의 제어기들(예를 들어, 마이크로제어기들) 상에서 실행되는 하나 이상의 프로그램들로서, 하나 이상의 프로세서들(예를 들어, 마이크로프로세서들) 상에서 실행되는 하나 이상의 프로그램들로서, 펌웨어로서, 또는 사실상 이들의 임의의 조합으로서, 표준 집적 회로들 내에서 동등하게 구현될 수 있다는 것, 및 회로부를 설계하는 것 및/또는 소프트웨어 및/또는 펌웨어에 대한 코드를 작성하는 것이 본 개시의 내용을 고려하여 당업자의 기술 범위 내에 있다는 것을 인식할 것이다.

당업자들은, 본원에서 기술되는 방법들 및 알고리즘들 중 다수가 추가적인 액트들을 이용할 수 있거나, 일부 액트들을 생략할 수 있거나, 및/또는 명시된 것과는 상이한 순서로 실행될 수 있다는 것을 인식할 것이다.

이에 더하여, 당업자들은, 본원에서 교시되는 메커니즘들이 다양한 형태들의 프로그램 제품들로서 배포될 수 있다는 것, 및 예시적인 구현예가 실제로 배포를 수행하기 위하여 사용되는 신호 함유 매체들의 특정 유형과 무관하게 동일하게 적용된다는 것을 이해할 것이다. 신호 함유 매체들의 예들은, 비제한적으로, 다음을 포함한다: 기록가능 유형 매체 예컨대 플로피 디스크들, 하드 디스크 드라이브들, CD ROM들, 디지털 테이프, 및 컴퓨터 메모리.

이상에서 설명된 다양한 구현예들이 추가적인 구현예들을 제공하기 위하여 결합될 수 있다. 이들이 본원의 특정 교시들 및 정의들과 부합되지 않는 정도까지, 2018년 01월 18일자로 출원된 미국 가특허 출원 제62/618,928호를 포함하여, 본 명세서에서 언급된 미국 특허들, 미국 특허 출원 공보들, 미국 특허 출원들, 외국 특허들, 외국 특허 출원들 및 비-특허 공개문헌들의 전부는 그 전체가 본원에 참조로서 포함된다. 추가적인 구현예들을 제공하기 위하여 다양한 특허들, 출원들 및 공개문헌들의 시스템들, 회로들 및 개념들을 이용하는 것이 필요한 경우, 구현예들의 측면들이 수정될 수 있다.

이상의 상세한 설명을 고려하여 구현예들에 대하여 이러한 그리고 다른 변화들이 이루어질 수 있다. 일반적으로, 다음의 청구항들에 있어, 사용되는 용어들은 청구항들을 명세서 및 청구항들에 개시된 특정 구현예들로 한정하도록 해석되지 않아야만 하며, 오히려 이러한 청구항들에 대한 등가물들의 완전한 범위와 함께 가능한 모든 구현예들을 포함하는 것으로 해석되어야만 한다. 따라서, 청구항들은 본 개시에 의해 한정되지 않는다.

Claims

머리 착용 디스플레이(head-mounted display)로서,
사용자의 머리 상에 착용가능한 지지 구조체;
상기 지지 구조체에 의해 운반되는 카메라로서, 상기 카메라는 동작 시에 제 1 프레임 레이트(rate)로 카메라 시계(field of view) 내의 이미지 센서 데이터를 캡처하는, 상기 카메라;
상기 지지 구조체에 의해 운반되는 복수의 광학적 흐름 센서 집적 회로(integrated circuit; IC)들로서, 동작 시에 상기 복수의 광학적 흐름 센서 IC들의 각각은 제 2 프레임 레이트로 개별적인 센서 IC 시계 내의 이미지 센서 데이터를 캡처하며, 상기 센서 IC 시계들은 상기 카메라 시계보다 더 좁고, 상기 제 2 프레임 레이트는 상기 제 1 프레임 레이트보다 더 큰, 상기 복수의 광학적 흐름 센서 IC들;
프로세서-실행가능 명령어들 또는 데이터 중 적어도 하나를 포함하는 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체; 및
상기 카메라, 상기 복수의 광학적 흐름 센서 IC들, 및 상기 적어도 하나의 비일시적인 프로세서-판독가능 저장 매체에 동작가능하게 결합되는 적어도 하나의 프로세서를 포함하며, 동작 시에, 상기 적어도 하나의 프로세서는,
상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터 상기 이미지 센서 데이터를 수신하고;
상기 수신된 이미지 센서 데이터를 프로세싱하며; 및
적어도 부분적으로 상기 수신된 이미지 센서 데이터의 프로세싱에 기초하여 상기 머리-착용 디스플레이의 위치를 추적하는, 머리-착용 디스플레이.
청구항 1에 있어서,
상기 적어도 하나의 프로세서는 상기 머리-착용 디스플레이의 위치를 추적하기 위하여 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터의 상기 이미지 센서 데이터를 융합하는, 머리-착용 디스플레이.
청구항 1에 있어서,
상기 머리-착용 디스플레이는,
상기 적어도 하나의 프로세서에 동작가능하게 결합되는 관성 측정 유닛(inertial measurement unit; IMU) 센서를 더 포함하며, 동작 시에 상기 적어도 하나의 프로세서는,
상기 IMU 센서로부터 IMU 센서 데이터를 수신하며;
상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터 수신된 상기 이미지 센서 데이터 및 상기 IMU 센서 데이터를 프로세싱하고; 및
적어도 부분적으로 상기 수신된 이미지 센서 데이터 및 상기 수신된 IMU 센서 데이터의 프로세싱에 기초하여 상기 머리-착용 디스플레이의 위치를 추적하는, 머리-착용 디스플레이.
청구항 1에 있어서,
상기 복수의 광학적 흐름 센서 IC들의 각각은 이미지 센싱 회로부 및 그 위의 이미지 프로세싱 회로부를 갖는 단일 다이(die)를 포함하는, 머리-착용 디스플레이.
청구항 1에 있어서,
상기 제 1 프레임 레이트는 초 당 100 프레임 이하이며, 상기 제 2 프레임 레이트는 초 당 1000 프레임 이상인, 머리-착용 디스플레이.
청구항 1에 있어서,
상기 적어도 하나의 프로세서는, 상기 머리-착용 디스플레이가 동작하는 환경 내에 존재하는 하나 이상의 특징들을 검출하기 위해 상기 수신된 이미지 센서 데이터를 프로세싱하는, 머리-착용 디스플레이.
청구항 1에 있어서,
상기 센서 IC 시계들의 각각은 상기 카메라 시계의 일 부분과 중첩되는, 머리-착용 디스플레이.
청구항 1에 있어서,
상기 적어도 하나의 프로세서는 상기 센서 IC 시계들을 상기 카메라 시계와 정렬(register)하는, 머리-착용 디스플레이.
청구항 1에 있어서,
상기 카메라 시계는 100 도보다 더 큰, 머리-착용 디스플레이.
청구항 1에 있어서,
상기 머리-착용 디스플레이는,
각기 사용자의 하나의 눈에 대한 디스플레이를 제공하는 제 1 및 제 2 디스플레이 서브시스템들을 더 포함하며,
동작 시에, 상기 적어도 하나의 프로세서는 상기 제 1 및 제 2 디스플레이 서브시스템들을 통해 상기 카메라로부터 획득된 이미지들을 선택적으로 제공하는, 머리-착용 디스플레이.
머리-착용 디스플레이를 동작시키는 방법으로서, 상기 머리-착용 디스플레이는 사용자의 머리 상에 착용이 가능한 지지 구조체, 상기 지지 구조체에 의해 운반되는 카메라 및 상기 지지 구조체에 의해 운반되는 복수의 광학적 흐름 센서 집적 회로(IC)들을 포함하며, 상기 방법은,
상기 카메라를 통해, 제 1 프레임 레이트로 카메라 시계 내의 이미지 센서 데이터를 캡처하는 단계;
상기 복수의 광학적 흐름 센서 IC들을 통해, 제 2 프레임 레이트로 개별적인 센서 IC 시계 내의 이미지 센서 데이터를 캡처하는 단계로서, 상기 센서 IC 시계들은 상기 카메라 시계보다 더 좁고, 상기 제 2 프레임 레이트는 상기 제 1 프레임 레이트보다 더 큰, 단계;
적어도 하나의 프로세서에 의해, 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터 상기 이미지 센서 데이터를 수신하는 단계;
상기 적어도 하나의 프로세서에 의해, 상기 수신된 이미지 센서 데이터를 프로세싱하는 단계; 및
상기 적어도 하나의 프로세서에 의해, 적어도 부분적으로 상기 수신된 이미지 센서 데이터의 프로세싱에 기초하여 상기 머리-착용 디스플레이의 위치를 추적하는 단계를 포함하는, 방법.
청구항 11에 있어서,
상기 수신된 이미지 센서 데이터를 프로세싱하는 단계는, 상기 머리-착용 디스플레이의 위치를 추적하기 위하여 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터의 상기 이미지 센서 데이터를 융합하는 단계를 포함하는, 방법.
청구항 11에 있어서,
상기 머리-착용 디스플레이는 상기 적어도 하나의 프로세서에 동작가능하게 결합되는 관성 측정 유닛(inertial measurement unit; IMU) 센서를 더 포함하며, 상기 방법은,
상기 적어도 하나의 프로세서에 의해, 상기 IMU 센서로부터 IMU 센서 데이터를 수신하는 단계;
상기 적어도 하나의 프로세서에 의해, 상기 카메라 및 상기 복수의 광학적 흐름 센서 IC들로부터 수신된 상기 이미지 센서 데이터 및 상기 IMU 센서 데이터를 프로세싱하는 단계; 및
상기 적어도 하나의 프로세서에 의해, 적어도 부분적으로 상기 수신된 이미지 센서 데이터 및 상기 수신된 IMU 센서 데이터의 프로세싱에 기초하여 상기 머리-착용 디스플레이의 위치를 추적하는 단계를 더 포함하는, 방법.
청구항 11에 있어서,
상기 복수의 광학적 흐름 센서 IC들을 통해 이미지 센서 데이터를 캡처하는 단계는, 각기 이미지 센싱 회로부 및 그 위의 이미지 프로세싱 회로부를 갖는 단일 다이를 포함하는 복수의 광학적 흐름 센서 IC들을 통해 이미지 센서 데이터를 캡처하는 단계를 포함하는, 방법.
청구항 11에 있어서,
제 1 프레임 레이트로 카메라 시계 내의 이미지 센서 데이터를 캡처하는 단계는 초당 100 프레임 이하인 제 1 프레임 레이트로 카메라 시계 내의 이미지 센서 데이터를 캡처하는 단계를 포함하며, 제 2 프레임 레이트로 상기 센서 IC 시계들 내의 이미지 센서 데이터를 캡처하는 단계는 초당 1000 프레임 이상인 제 2 프레임 레이트로 상기 센서 IC 시계들 내의 이미지 센서 데이터를 캡처하는 단계를 포함하는, 방법.
청구항 11에 있어서,
상기 수신된 이미지 센서 데이터를 프로세싱하는 단계는, 상기 머리-착용 디스플레이가 동작하는 환경 내에 존재하는 하나 이상의 특징들을 검출하기 위해 상기 수신된 이미지 센서 데이터를 프로세싱하는 단계를 포함하는, 방법.
청구항 11에 있어서,
상기 센서 IC 시계들의 각각은 상기 카메라 시계의 일 부분과 중첩되는, 방법.
청구항 11에 있어서,
상기 수신된 이미지 센서 데이터를 프로세싱하는 단계는 상기 센서 IC 시계들을 상기 카메라 시계와 정렬하는 단계를 포함하는, 방법.
청구항 11에 있어서,
상기 카메라 시계는 100 도보다 더 큰, 방법.
청구항 11에 있어서,
상기 머리-착용 디스플레이는 각기 사용자의 하나의 눈에 대한 디스플레이를 제공하는 제 1 및 제 2 디스플레이 서브시스템들을 더 포함하며, 상기 방법은,
상기 제 1 및 제 2 디스플레이 서브시스템들을 통해 상기 카메라로부터 획득된 이미지들을 선택적으로 제공하는 단계를 더 포함하는, 방법.