KR20170126482A

KR20170126482A - 증강 현실을 위한 시스템들 및 방법들

Info

Publication number: KR20170126482A
Application number: KR1020177028140A
Authority: KR
Inventors: 마이클 제이. 우즈
Original assignee: 매직 립, 인코포레이티드
Priority date: 2015-03-05
Filing date: 2016-03-05
Publication date: 2017-11-17
Also published as: WO2016141373A1; EP3265866B1; CA2979560C; IL254300B; US20160259404A1; US11619988B2; IL284939A; US20230195216A1; AU2016225963A1; US11429183B2; CN107533233B; IL284939B; KR102331164B1; US20210116994A1; JP7305690B2; CN112764536A; NZ735465A; US20220350400A1; AU2016225963B2; JP2018511122A

Abstract

가상 현실 및 증강 현실 경험들을 사용자에게 제시하기 위한 구성들이 개시된다. 증강 현실 디스플레이 시스템은, 전자기장 방출기를 하우징하는 핸드헬드 컴포넌트 ― 전자기장 방출기는 알려진 자기장을 방출함 ―, 핸드헬드 컴포넌트에 하우징되는 전자기장 방출기에 의해 방출되는 자기장을 검출하는 하나 또는 그 초과의 전자기 센서들에 커플링된 헤드 장착 컴포넌트 ― 헤드 포즈는 알려져 있음 ―, 및 핸드헬드 컴포넌트 및 헤드 장착 컴포넌트에 통신가능하게 커플링된 제어기를 포함하며, 제어기는, 핸드헬드 컴포넌트로부터 자기장 데이터를 수신하고 그리고 헤드 장착 컴포넌트로부터 센서 데이터를 수신하고, 여기서, 제어기는, 수신된 자기장 데이터 및 수신된 센서 데이터에 적어도 부분적으로 기반하여 핸드 포즈를 결정한다.

Description

증강 현실을 위한 시스템들 및 방법들

[0001] 본 출원은, 대리인 도켓 번호 ML 30031.00 하에서 2015년 3월 5일자로 출원된 발명의 명칭이 "ELECTROMAGNETIC TRACKING SYSTEM AND METHOD FOR AUGMENTED REALITY"인 미국 가출원 시리얼 넘버 제62/128,993호, 및 대리인 도켓 번호 ML 30062.00 하에서 2016년 2월 5일자로 출원된 발명의 명칭이 "SYSTEMS AND METHODS FOR AUGMENTED REALITY"인 미국 가출원 시리얼 넘버 제62/292,185호를 우선권으로 주장한다.

[0002] 현대의 컴퓨팅 및 디스플레이 기술들은, 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하며, 디지털적으로 재생된 이들의 이미지들 또는 부분들은 이들이 실제인 것 같은 또는 실제인 것으로 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR", 시나리오는 다른 실제의 실세계 시각 입력에 투명하지 않은 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함한다. 증강 현실, 또는 "AR", 시나리오는 사용자 주위의 실제 세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함한다.

[0003] 예컨대, 도 1을 참조하면, AR 기술의 사용자가 사람들, 나무들, 백그라운드의 빌딩들을 특징짓는 실세계 공원 같은 세팅(6), 및 실체가 있는 플랫폼(1120)을 보는 증강 현실 장면(4)이 도시된다. 이들 아이템들 외에, AR 기술의 사용자는 또한, 실세계 플랫폼(1120) 상에 서있는 로봇 상(robot statue)(1110), 및 공원 주위를 날고 있는 카툰형 아바타 캐릭터(2)를 인식할 수 있다. 물론, 가상 엘리먼트들(2 및 1110)은 실세계에 존재하지 않지만, 사용자는 이들 가상 오브젝트들을 실세계(예를 들어, 6, 1120 등)의 일부인 것으로, 그리고 실세계(예를 들어, 6, 1120 등)의 오브젝트들과 상호작용하는 것으로 인식한다. 인간의 시각적 인식 시스템은 매우 복잡하며, 다른 가상의 또는 실세계의 이미저리(imagery) 엘리먼트 사이에서, 가상 이미지 엘리먼트의 편안하고, 자연스러운 느낌이 나며, 풍부한 표현을 가능하게 하는 이러한 AR 장면을 생성하는 것이 도전 과제라는 것을 인식해야 한다.

[0004] 예를 들면, 머리-착용 디스플레이들(예컨대, 헬멧-장착 디스플레이들, 또는 스마트 안경)은 사용자의 머리에 커플링될 수 있고, 따라서 사용자의 머리가 이동할 때 이동할 수 있다. 사용자의 머리 움직임들이 디스플레이 시스템에 의해 검출되면, 디스플레이되는 데이터는 헤드 포즈의 변화를 고려하도록 업데이트될 수 있다. 가상 콘텐츠를 사용자에게 적절하게 렌더링하도록 헤드 포즈가 활용될 수 있다. 따라서, 임의의 작은 변동이, 사용자의 AR 디스플레이에 전달되는 가상 콘텐츠의 전달 또는 타이밍을 분열시키고 그리고/또는 감소시킬 수 있다.

[0005] 예로서, 머리-착용 디스플레이를 착용한 사용자가 디스플레이 상에서 3차원(3-D) 오브젝트의 가상 표현을 보고, 3-D 오브젝트가 출현하는 영역 주위를 걷는다면, 그 3-D 오브젝트가 각각의 시점에 대해 재렌더링될 수 있어, 사용자가 실제 공간을 차지하는 오브젝트 주위를 걷는다는 지각을 사용자에게 제공한다. 머리-착용 디스플레이가 다수의 오브젝트들을 가상 공간(예를 들면, 풍부한 가상 세계)을 제시하는데 사용되면, 헤드 포즈(즉, 사용자의 헤드의 위치 및 배향)의 측정들은 사용자의 동적으로 변하는 머리 위치 및 배향을 매칭시키기 위해 장면을 재렌더링하고, 가상 공간에서 증가된 몰입감(sense of immersion)을 제공하는데 사용될 수 있다. 비슷하게, AR 기술의 사용자가 가상 세계와 상호작용하는 경우, 그 또는 그녀는 오브젝트들에 포인팅하거나 또는 옵션들을 선택하기 위해 오브젝트 또는 그의/그녀의 손 사용할 수 있다. 이 상호작용이 발생하기 위해서, 오브젝트 또는 사용자의 손의 정확한 정도까지의 위치파악이 또한 중요하다. 따라서, 헤드 포즈 및 "핸드 포즈" 둘 모두는 그 둘 모두가 중요하며, 가상 콘텐츠를 사용자에게 정확하게 묘사하기 위해서 위치파악 기술들이 사용되어야 한다.

[0006] AR 시스템들에서, 헤드 포즈 및/또는 핸드 포즈의 검출 및/또는 계산은, 가상 오브젝트들이 실세계의 공간을 점유하는 것처럼 보이도록 실세계의 오브젝트들과 일치하는 방식으로 AR 디스플레이 시스템이 가상 오프젝트들의 렌더링을 가능하게 한다. 가상 콘텐츠가 하나 또는 그 초과의 실제 오브젝트들과 관련하여 삐걱거리지/혼란스럽지 않는 것처럼 보이도록 AR 장면을 현실적으로 표현하는 것은 AR 경험의 사용자의 즐거움을 향상시킨다. 또한, 사용자의 머리 또는 AR 시스템과 관련하여, 핸드헬드 디바이스("토템(totem)"으로도 지칭될 수 있음), 촉각 디바이스, 또는 다른 실제 물리적 오브젝트와 같은 실제 오브젝트의 포지션 및/또는 배향의 검출은 또한, 디스플레이 정보를 사용자에게 제시할 때 사용자가 AR 시스템의 특정 양상들과 효율적으로 상호작용할 수 있도록 디스플레이 시스템을 가능하게 할 수 있다.

[0007] AR 애플리케이션들에서, (예컨대, 물리 오브젝트가 2 또는 3 차원들에서 공간적으로 근위에 있는 것으로 나타나게 표현되는) 물리 오브젝트들과 관련하여 공간 내의 가상 오브젝트들의 배치는 중요한 문제점라는 것을 인식해야 한다. 예컨대, 머리 이동은 주변 환경들의 관점에서 가상 객체들의 배치를 상당히 복잡하게 할 수 있다. 이는, 뷰가 주변 환경의 이미지로서 캡처된 다음, 최종 사용자에 투영되거나 또는 디스플레이되든지, 또는 최종 사용자가 주변 환경들의 뷰를 직접적으로 인식하든지 참일 수 있다. 예컨대, 머리 이동은 사용자의 시야를 변화킬 수 있다. 이는, 결국, 다양한 가상 오브젝트들이 최종 사용자의 시야에 디스플레이되는 장소에 대한 업데이트를 요구할 수 있다. 유사하게, (핸드헬드 오브젝트의 경우) 손의 이동은 시스템과 상호작용하도록 사용되는 경우 동일한 난제를 제공한다. 이러한 이동들은 신속하며 통상적으로, 높은 리프레시 레이트 및 낮은 레이턴시로 정확하게 검출되고 국부화될 필요가 있을 수 있다.

[0008] 부가적으로, 머리 및/또는 손 이동들은 매우 다양한 범위들 및 스피드들에서 발생할 수 있다. 스피드는 상이한 타입들의 머리 이동들 간에 변할 뿐만 아니라 단일 이동의 범위 내에서 또는 그에 걸쳐 변할 수 있다. 예컨대, 머리 이동의 스피드는 초기에 시작 포인트로부터 (예컨대, 선형으로 또는 다른 방식으로) 증가하고, 종료 포인트에 도달됨에 따라 감소하여, 머리 이동의 시작 및 종료 포인트들 간의 어딘가에서 최대 스피드를 획득할 수 있다. 신속한 이동들은 심지어, 최종 사용자에게 균일한 및/또는 부드러운 모션으로 나타나는 이미지들을 렌더링하기 위한 특정 디스플레이 또는 투사 기술의 능력을 초과할 수 있다.

[0009] 머리 또는 머리 추적 정확도 및 레이턴시(즉, 사용자가 자신의 머리/손을 이동하는 경우와 이미지가 업데이트되고 사용자에게 디스플레이되는 시간간의 경과된 시간)는 VR 및 AR 시스템들에 대한 난제들이었다. 특히, 가상 엘리먼트들을 갖는 사용자의 가상 필드의 실질적인 부분을 채우는 디스플레이 시스템들의 경우, 추적의 정확도가 높은 것 및 모션의 최초 검출로부터 사용자의 가상 시스템으로의 디스플레이에 의해 전달되는 광의 업데이팅까지 전체 시스템 레이턴시가 매우 낮은 것이 결정적이다. 레이턴시가 높으면, 시스템은 사용자의 전정(vestibular)과 시각적 감지 시스템들간의 미스매치를 생성할 수 있고, 멀미 또는 시뮬레이터 시크니스(simulator sickness)를 초래할 수 있는 사용자 지각 시나리오를 생성할 수 있다. 시스템 레이턴시가 높으면, 가상 오브젝트들의 자명한 위치는 신속한 머리 모션들 동안 불안정하게 나타날 수 있다.

[0010] 헤드-착용 디스플레이 시스템들에 부가하여, 다른 디스플레이 시스템들이 또한 정확하고 낮은-레이턴시의 헤드 포즈 검출로부터 이익을 얻을 수 있다. 이들은, 디스플레이가 사용자의 신체에 착용되는 것이 아니라 예컨대 벽 또는 다른 표면 상에 장착되는 머리-추적 디스플레이 시스템들을 포함할 수 있다. 머리-추적 디스플레이는 장면 상의 윈도우처럼 동작할 수 있고, 사용자가 자신의 머리를 "윈도우"에 대해 상대적으로 이동시킬 때, 장면은 사용자의 변화하는 뷰포인트에 매칭하도록 리-렌더링된다. 다른 시스템들은 헤드-착용 디스플레이가 실세계 상에 광을 투사하는 헤드-착용 투사 시스템을 포함할 수 있다.

[0011] 부가적으로, 현실적인 AR 경험을 제공하기 위해, AR 시스템들은 사용자와 상호작용하도록 설계될 수 있다. 예컨대, 다수의 사용자들은 가상 공 및/또는 다른 가상 오브젝트들로 공 게임을 플레이할 수 있다. 하나의 사용자는 가상 공을 "캐치"할 수 있고, 그 공을 다시 다른 사용자에게 던질 수 있다. 다른 실시예에서, 제 1 사용자에게 가상 공을 치기 위한 토템(예컨대, AR 시스템에 통신가능하게 커플링된 물리적 "배트")이 제공될 수 있다. 다른 실시예들에서, 사용자가 많은 옵션들 중 하나를 선택하도록 허용하기 위해 가상 사용자 인터페이스가 AR 사용자에게 제시될 수 있다. 사용자는 시스템과 상호작용하기 위해 토템들, 햅틱 디바이스들, 웨어러블 컴포넌트들을 사용할 수 있거나, 또는 단순히 가상 스크린을 터치할 수 있다.

[0012] 사용자(예컨대, 사용자의 머리 및 손)의 포즈 및 배향을 검출하는 것 및 공간에서 실제 오브젝트들의 물리적 위치를 검출하는 것은 AR 시스템이 효과적이고 즐거운 방식으로 가상 콘텐츠를 디스플레이하게 할 수 있다. 그러나, 머리 및 핸드 포즈의 이러한 정확한 검출은 달성하기 어려울 수 있다. 다시 말해서, AR 시스템은 실제 오브젝트(예를 들어, 사용자의 머리, 토템, 햅틱 디바이스, 웨어러블 컴포넌트, 사용자의 손 등)의 물리적 위치를 인식해야 하고, 실제 오브젝트의 물리적 좌표들을, 사용자에게 디스플레이되고 있는 하나 또는 그 초과의 가상 오브젝트들에 대응하는 가상 좌표들과 상관시켜야 한다. 이 프로세스는 하나 또는 그 초과의 오브젝트들의 포지션 및 배향을 고속으로 추적하는 매우 정확한 센서들 및 센서 인식 시스템들에 의해 개선될 수 있다. 현재의 접근법들은 만족스러운 스피드 또는 정밀도 표준들에서 로컬화를 수행하지 않는다.

[0013] 따라서, AR 및 VR 디바이스들의 콘텍스트에서 더 양호한 로컬화 시스템에 대한 요구가 존재한다.

[0014] 본 발명의 실시예들은 하나 또는 그 초과의 사용자들에 대한 가상 현실 및/또는 증강 현실 상호작용을 가능하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다.

[0015] 일 양상에서, AR(augmented reality) 디스플레이 시스템은, 공지된 자기장을 방출하는 전자기장 방출기, 방출된 공지된 자기장의 결과로서 전자기 센서에서 측정되는 자속과 관련된 파라미터를 측정하는 전자기 센서 ― 전자기 센서의 월드 좌표계들은 공지되어 있음 ―, 전자기 센서에서 측정된 자속과 관련된 측정 파라미터에 적어도 부분적으로 기반하여 전자기장 방출기에 대해 상대적인 포즈 정보를 결정하는 제어기, 및 전자기장 방출기에 대해 상대적인 결정된 포즈 정보에 적어도 부분적으로 기반하여 사용자에게 가상 콘텐츠를 디스플레이하는 디스플레이 시스템을 포함한다.

[0016] 하나 또는 그 초과의 실시예들에서, 전자기장 방출기는 AR 디스플레이 시스템의 모바일 컴포넌트에 상주한다. 하나 또는 그 초과의 실시예들에서, 모바일 컴포넌트는 핸드헬드 컴포넌트이다. 하나 또는 그 초과의 실시예들에서, 모바일 컴포넌트는 토템이다.

[0017] 하나 또는 그 초과의 실시예들에서, 모바일 컴포넌트는 AR 디스플레이 시스템의 헤드-장착 컴포넌트이다. 하나 또는 그 초과의 실시예들에서, AR 디스플레이 시스템은 디스플레이 시스템을 하우징하는 헤드-장착 컴포넌트를 더 포함하고, 전자기 센서는 헤드-장착 컴포넌트에 동작가능하게 커플링된다. 하나 또는 그 초과의 실시예들에서, 전자기 센서의 월드 좌표계들은 헤드 포즈 정보를 결정하기 위해 수행되는 SLAM 분석에 적어도 부분적으로 기반하여 공지되고, 전자기 센서는 디스플레이 시스템을 하우징하는 헤드-장착 컴포넌트에 동작가능하게 커플링된다.

[0018] 하나 또는 그 초과의 실시예들에서, AR 디스플레이는 헤드 장착 컴포넌트에 동작가능하게 커플링된 하나 또는 그 초과의 카메라들을 더 포함하고, 그리고 SLAM 분석은 적어도 하나 또는 그 초과의 카메라들에 의해 캡처된 데이터에 기반하여 수행된다. 하나 또는 그 초과의 실시예들에서, 전자기 센서들은 하나 또는 그 초과의 IMU(inertial measurement unit)들을 포함한다.

[0019] 하나 또는 그 초과의 실시예들에서, 포즈 정보는 월드에 관련하여 적어도 전자기장 방출기의 포지션 및 배향에 대응한다. 하나 또는 그 초과의 실시예들에서, 포즈 정보는 전자기장 방출기에 대응하는 월드 좌표계들을 결정하기 위하여 분석된다. 하나 또는 그 초과의 실시예들에서, 제어기는 전자기장 방출기에 대응하는 포즈 정보에 적어도 부분적으로 기반하여 하나 또는 그 초과의 가상 콘텐츠와의 상호작용을 검출한다.

[0020] 하나 또는 그 초과의 실시예들에서, 디스플레이 시스템은 검출된 상호작용에 적어도 부분적으로 기반하여 가상 콘텐츠를 사용자에게 디스플레이한다. 하나 또는 그 초과의 실시예들에서, 전자기 센서는 3개의 방향들에서 자속을 측정하기 위하여 적어도 3개의 코일들을 포함한다. 하나 또는 그 초과의 실시예들에서, 적어도 3개의 코일들은 실질적으로 동일한 위치에서 함께 하우징되고, 전자기 센서는 AR 디스플레이 시스템의 헤드 장착 컴포넌트에 커플링된다.

[0021] 하나 또는 그 초과의 실시예들에서, 적어도 3개의 코일들은 AR 디스플레이 시스템의 헤드 장착 컴포넌트의 상이한 위치들에 하우징된다.

[0022] 제 1 항의 AR 디스플레이 시스템은 전자기장 방출기에 의해 방출된 자기장을 디커플링하기 위하여 컨트롤 및 퀵 릴리즈 모듈을 더 포함한다. 하나 또는 그 초과의 실시예들에서, AR 디스플레이 시스템은 전자기장 방출기의 월드 좌표계들을 결정하기 위하여 부가적인 로컬화 자원들을 더 포함한다. 하나 또는 그 초과의 실시예들에서, 부가적인 로컬화 자원들은 GPS 수신기를 포함한다. 하나 또는 그 초과의 실시예들에서, 부가적인 로컬화 자원들은 비콘을 포함한다.

[0023] 하나 또는 그 초과의 실시예들에서, 전자기 센서는 논-솔리드 페라이트 큐브를 포함한다. 하나 또는 그 초과의 실시예들에서, 전자기 센서는 페라이트 디스크들의 스택을 포함한다. 하나 또는 그 초과의 실시예들에서, 전자기 센서는 각각 폴리머 코팅을 가지는 복수의 페라이트 로드(rod)들을 포함한다. 하나 또는 그 초과의 실시예들에서, 전자기 센서는 시분할 멀티플렉싱 스위치를 포함한다.

[0024] 다른 양상에서, 증강 현실을 디스플레이하기 위한 방법은 전자기장 방출기를 통하여 알려진 자기장을 방출하는 단계, 전자기 센서를 통하여 방출된 알려진 자기장의 결과로서 전자기 센서에서 측정된 자속에 관련된 파라미터를 측정하는 단계 - 전자기 센서의 월드 좌표계들은 알려짐 -, 전자기 센서에 측정된 자속에 관련된 측정된 파라미터에 적어도 부분적으로 기반하여 전자기장에 관한 포즈 정보를 결정하는 단계, 및 전자기장 방출기에 관해 결정된 포즈 정보에 적어도 부분적으로 기반하여 가상 콘텐츠를 사용자에게 디스플레이하는 단계를 포함한다.

[0025] 하나 또는 그 초과의 실시예들에서, 전자기장 방출기는 AR 디스플레이 시스템의 모바일 컴포넌트에 상주한다. 하나 또는 그 초과의 실시예들에서, 모바일 컴포넌트는 핸드헬드 컴포넌트이다. 하나 또는 그 초과의 실시예들에서, 모바일 컴포넌트는 토템이다. 하나 또는 그 초과의 실시예들에서, 모바일 컴포넌트는 AR 디스플레이 시스템의 헤드 장착 컴포넌트이다.

[0026] 하나 또는 그 초과의 실시예들에서, 방법은 헤드 장착 컴포넌트에 디스플레이 시스템을 하우징하는 단계를 더 포함하고, 전자기 센서는 헤드 장착 컴포넌트에 동작가능하게 커플링된다. 하나 또는 그 초과의 실시예들에서, 전자기 센서의 월드 좌표계들은 헤드 포즈 정보를 결정하기 위하여 수행된 SLAM 분석에 적어도 부분적으로 기반하여 알려지고, 전자기 센서는 디스플레이 시스템을 하우징하는 헤드 장착 컴포넌트에 동작가능하게 커플링된다.

[0027] 하나 또는 그 초과의 실시예들에서, 헤드 장착 컴포넌트에 동작가능하게 커플링된 하나 또는 그 초과의 카메라들을 통하여 이미지 데이터를 캡처링하는 단계를 더 포함하고, 그리고 SLAM 분석은 적어도 하나 또는 그 초과의 카메라들에 의해 캡처된 데이터에 기반하여 수행된다. 하나 또는 그 초과의 실시예들에서, 전자기 센서들은 하나 또는 그 초과의 IMU(inertial measurement unit)들을 포함한다.

[0028] 하나 또는 그 초과의 실시예들에서, 포즈 정보는 월드에 관련하여 적어도 전자기장 방출기의 포지션 및 배향에 대응한다. 하나 또는 그 초과의 실시예들에서, 포즈 정보는 전자기장 방출기에 대응하는 월드 좌표계들을 결정하기 위하여 분석된다. 하나 또는 그 초과의 실시예들에서, 방법은 전자기장 방출기에 대응하는 포즈 정보에 적어도 부분적으로 기반하여 하나 또는 그 초과의 가상 콘텐츠와의 상호작용을 검출하는 단계를 더 포함한다.

[0029] 하나 또는 그 초과의 실시예들에서, 방법은 검출된 상호작용에 적어도 부분적으로 기반하여 가상 콘텐츠를 사용자에게 디스플레이하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 전자기 센서는 3개의 방향들에서 자속을 측정하기 위하여 적어도 3개의 코일들을 포함한다. 하나 또는 그 초과의 실시예들에서, 적어도 3개의 코일들은 실질적으로 동일한 위치에서 함께 하우징되고, 전자기 센서는 AR 디스플레이 시스템의 헤드 장착 컴포넌트에 커플링된다. 하나 또는 그 초과의 실시예들에서, 적어도 3개의 코일들은 AR 디스플레이 시스템의 헤드 장착 컴포넌트의 상이한 위치들에 하우징된다.

[0030] 하나 또는 그 초과의 실시예들에서, 방법은 컨트롤 및 퀵 릴리스 모듈을 통하여 전자기장 방출기에 의해 방출된 자기장을 디커플링하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 방법은 부가적인 로컬화 자원들을 통하여 전자기장 방출기의 월드 좌표계들을 결정하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 부가적인 로컬화 자원들은 GPS 수신기를 포함한다. 하나 또는 그 초과의 실시예들에서, 부가적인 로컬화 자원들은 비콘을 포함한다.

[0031] 또 다른 양상에서, 증강 현실 디스플레이 시스템은, 전자기장 방출기를 하우징하는 핸드헬드 컴포넌트 ― 전자기장 방출기는 알려진 자기장을 방출함 ―, 사용자에게 가상 콘텐츠를 디스플레이하는 디스플레이 시스템을 갖는 헤드 장착 컴포넌트 ― 헤드 장착 컴포넌트는 핸드헬드 컴포넌트에 하우징되는 전자기장 방출기에 의해 방출되는 자기장을 검출하는 하나 또는 그 초과의 전자기 센서들에 커플링되고, 여기서, 헤드 포즈는 알려져 있음 ―, 및 핸드헬드 컴포넌트 및 헤드 장착 컴포넌트에 통신가능하게 커플링된 제어기를 포함하며, 제어기는, 핸드헬드 컴포넌트로부터 자기장 데이터를 수신하고 그리고 헤드 장착 컴포넌트로부터 센서 데이터를 수신하고, 여기서, 제어기는, 수신된 자기장 데이터 및 수신된 센서 데이터에 적어도 부분적으로 기반하여 핸드 포즈를 결정하고, 여기서, 디스플레이 시스템은 결정된 핸드 포즈에 적어도 부분적으로 기반하여 사용자에게 디스플레이되는 가상 콘텐츠를 수정한다.

[0032] 하나 또는 그 초과의 실시예들에서, 핸드헬드 컴포넌트는 모바일이다. 하나 또는 그 초과의 실시예들에서, 핸드헬드 컴포넌트는 토템이다. 하나 또는 그 초과의 실시예들에서, 핸드헬드 컴포넌트는 게이밍 컴포넌트이다. 하나 또는 그 초과의 실시예들에서, 헤드 포즈는 SLAM 분석에 적어도 부분적으로 기반하여 알려진다.

[0033] 하나 또는 그 초과의 실시예들에서, AR 디스플레이 시스템은 헤드 장착 컴포넌트에 동작가능하게 커플링된 하나 또는 그 초과의 카메라들을 더 포함하고, 그리고 여기서, SLAM 분석은 적어도, 하나 또는 그 초과의 카메라들에 의해 캡처된 데이터에 기반하여 수행된다. 하나 또는 그 초과의 실시예들에서, 전자기 센서는 하나 또는 그 초과의 IMU(inertial measurement unit)들을 포함한다.

[0034] 하나 또는 그 초과의 실시예들에서, 헤드 포즈는 적어도, 월드에 대한 전자기 센서의 포지션 및 배향에 대응한다. 하나 또는 그 초과의 실시예들에서, 핸드헬드 컴포넌트에 대응하는 월드 좌표계들을 결정하기 위해 핸드 포즈가 분석된다. 하나 또는 그 초과의 실시예들에서, 제어기는 결정된 핸드 포즈에 적어도 부분적으로 기반하여, 하나 또는 그 초과의 가상 콘텐츠들과의 상호작용을 검출한다.

[0035] 하나 또는 그 초과의 실시예들에서, 디스플레이 시스템은 검출된 상호작용에 적어도 부분적으로 기반하여 사용자에게 가상 콘텐츠를 디스플레이한다. 하나 또는 그 초과의 실시예들에서, 전자기 센서는 3개의 방향들에서 자속을 측정하기 위한 적어도 3개의 코일들을 포함한다. 하나 또는 그 초과의 실시예들에서, 적어도 3개의 코일들은 실질적으로 동일한 위치에 함께 하우징된다. 하나 또는 그 초과의 실시예들에서, 적어도 3개의 코일들은 헤드 장착 컴포넌트의 상이한 위치들에 하우징된다.

[0036] 하나 또는 그 초과의 실시예들에서, AR 디스플레이 시스템은 전자기장 방출기에 의해 방출되는 자기장을 디커플링하기 위한 컨트롤 및 퀵 릴리즈 모듈을 더 포함한다. 하나 또는 그 초과의 실시예들에서, AR 디스플레이 시스템은 핸드 포즈를 결정하기 위한 부가적인 로컬화 자원들을 더 포함한다. 하나 또는 그 초과의 실시예들에서, 부가적인 로컬화 자원들은 GPS 수신기를 포함한다. 하나 또는 그 초과의 실시예들에서, 부가적인 로컬화 자원들은 비콘을 포함한다.

[0037] 본 발명의 부가적인 및 다른 목적들, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에서 설명된다.

[0038] 본 발명의 부가적인 및 다른 목적들, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에서 설명된다.

[0039] 도면들은 본 발명의 다양한 실시예들의 설계 및 유용성을 예시한다. 도면들은 실척대로 도시된 것이 아니고, 유사한 구조들 또는 기능들의 엘리먼트들은 도면들 전체에 걸쳐 동일한 참조 번호들로 표현된다는 것이 주목되어야 한다. 본 발명의 다양한 실시예들의 위에서-열거된 및 다른 장점들 및 목적들을 획득하기 위한 방법을 더 잘 인지하기 위해, 위에서 간략하게 설명된 본 발명들의 더 상세한 설명이 본 발명의 특정 실시예들을 참조하여 제공될 것이고, 그 특정 실시예들은 첨부 도면들에서 예시된다. 이들 도면들이 본 발명의 단지 전형적인 실시예들만을 도시하고 그에 따라 본 발명의 범위를 제한하는 것으로 간주되지 않아야한다는 것이 이해되면서, 본 발명은 첨부 도면들을 사용하여 부가적인 특징성 및 세부사항과 함께 기술 및 설명될 것이다.
[0040] 도 1은 일 실시예에 따른 AR 시스템의 사용자에게 디스플레이되는 AR 장면의 평면도를 예시한다.
[0041] 도 2a 내지 도 2d는 웨어러블 AR 디바이스들의 다양한 실시예들을 예시한다.
[0042] 도 3은 AR 시스템의 하나 또는 그 초과의 클라우드 서버들과 상호작용하는 웨어러블 AR 디바이스의 사용자의 예시적 실시예를 예시한다.
[0043] 도 4는 전자기 추적 시스템의 예시적 실시예를 예시한다.
[0044] 도 5는 일 예시적 실시예에 따른, 센서들의 포지션 및 배향을 결정하는 예시적 방법을 예시한다.
[0045] 도 6은 헤드 포즈를 결정하기 위해 전자기 추적 시스템을 활용하는 예시적 다이어그램을 예시한다.
[0046] 도 7은 검출된 헤드 포즈에 기반하여 사용자에게 가상 콘텐츠를 전달하는 예시적 방법을 예시한다.
[0047] 도 8은 전자기 송신기 및 전자기 센서들을 갖는, 일 실시예에 따른 AR 시스템의 다양한 컴포넌트들의 개략도를 예시한다.
[0048] 도 9a 내지 도 9f는 컨트롤 및 퀵 릴리즈 모듈의 다양한 실시예들을 예시한다.
[0049] 도 10은 AR 디바이스의 하나의 간략한 실시예를 예시한다.
[0050] 도 11a 및 도 11b는 헤드 장착 AR 시스템 상의 전자기 센서들의 배치의 다양한 실시예들을 예시한다.
[0051] 도 12a 내지 도 12e는 전자기 센서들에 커플링될 페라이트 큐브의 다양한 실시예들을 예시한다.
[0052] 도 13a 내지 도 13c는 전자기 센서들의 회로의 다양한 실시예들을 예시한다.
[0053] 도 14는 헤드 및 핸드 포즈를 검출하기 위해 전자기 추적 시스템을 사용하는 예시적 방법을 예시한다.
[0054] 도 15는 헤드 및 핸드 포즈를 검출하기 위해 전자기 추적 시스템을 사용하는 다른 예시적 방법을 예시한다.

[0055] 도 2a-2d를 참조하면, 몇몇 일반적인 구성 옵션들이 예시된다. 도 2a-2d의 논의에 뒤따르는 상세한 설명의 일부분들에서, 인간의 VR 및/또는 AR에 대한 고품질의 편안하게 인식되는 디스플레이 시스템을 제공하는 목적들을 다루기 위한 다양한 시스템들, 서브시스템들, 및 컴포넌트들이 제시된다.

[0056] 도 2a에 도시된 바와 같이, AR 시스템의 사용자(60)는 사용자의 눈들의 전방에 포지셔닝된 디스플레이 시스템(62)에 커플링된 프레임(64) 구조를 피처링하는 헤드 장착 컴포넌트(58)를 착용하고 있는 것으로 도시된다. 스피커(66)는 도시된 구성에서 프레임(64)에 커플링되고 사용자의 외이도(ear canal)에 인접하게 포지셔닝된다(일 실시예에서는, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/형상조절가능 사운드 제어를 제공한다). 디스플레이(62)는, 예컨대, 유선 리드(wired lead) 또는 무선 연결성(wireless connectivity)에 의해, 다양한 구성들로 장착될 수 있는 로컬 프로세싱 및 데이터 모듈(70)에 동작가능하게 커플링(68)되는데, 여기서 다양한 구성들은 예컨대, 프레임(64)에 고정형으로 부착되는 구성, 도 2b의 실시예에 도시된 바와 같이 헬멧 또는 모자(80)에 고정형으로 부착되는 구성, 헤드폰들에 내장되는 구성, 도 2c의 실시예에 도시된 바와 같은 구성(예컨대, 백팩(미도시)에 배치됨)으로 사용자(60)의 몸통(82)에 탈착가능하게 부착되는 구성, 또는 도 2d의 실시예에 도시된 바와 같이 벨트-커플링 스타일 구성으로 사용자(60)의 힙(84)에 탈착가능하게 부착되는 구성을 말한다.

[0057] 로컬 프로세싱 및 데이터 모듈(70)은, 전력-효율적인 프로세서 또는 제어기뿐만 아니라 디지털 메모리, 예컨대 플래시 메모리를 포함할 수 있는데, 이들 모두는 데이터의 프로세싱, 캐싱, 및 저장을 보조하기 위해 활용될 수 있으며, 상기 데이터는 (a) 프레임(64)에 동작가능하게 커플링될 수 있는 센서들, 예컨대, (카메라들과 같은) 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들로부터 캡처되고, 그리고/또는 (b) 가능하게는 이러한 프로세싱 또는 검색 이후에 디스플레이(62)로의 통과를 위해, 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74)를 사용하여 획득되고 그리고/또는 프로세싱된 것이다. 로컬 프로세싱 및 데이터 모듈(70)은, 예컨대, 유선 또는 무선 통신 링크들을 통해서, 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74)에 동작가능하게 커플링(76, 78)될 수 있으며, 그에 따라, 이러한 원격 모듈들(72, 74)은 서로 동작가능하게 커플링되고, 로컬 프로세싱 및 데이터 모듈(70)에 대한 자원들로서 이용가능하다.

[0058] 일 실시예에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석하고 프로세싱하도록 구성된 하나 또는 그 초과의 상대적으로 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 저장소(74)는, "클라우드" 자원 구성 형태의 인터넷 또는 다른 네트워킹 구성으로 이용가능할 수 있는, 비교적 라지-스케일 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.

[0059] 이제 도 3을 참조하면, 개략도는, 예컨대, 사용자의 머리(120)에 커플링된 헤드 장착 컴포넌트(58) 및 사용자의 벨트(308)에 커플링된 로컬 프로세싱 및 데이터 모듈(70)에 상주할 수 있는 클라우드 컴퓨팅 어셋들(46)과 로컬 프로세싱 어셋들 사이의 조정을 예시하고, 따라서 컴포넌트(70)는 또한 도 3에 도시된 바와 같이 "벨트 팩(70)으로 칭해질 수 있다. 일 실시예에서, 하나 또는 그 초과의 클라우드 서버 시스템(110)과 같은 클라우드(46) 어셋들은 예컨대, 유선 또는 무선 네트워킹(이동성을 위해서는 무선이 선호되고, 요구될 수 있는 특정 고-대역폭 또는 고-데이터-볼륨 전송들에 대해서는 유선이 선호됨)을 통해, 위에 설명된 바와 같이, (40, 42)에 직접적으로, 사용자의 머리(120) 또는 벨트(308)에 커플링되는 구조에 하우징될 수 있는 프로세서 및 메모리 구성들과 같은 로컬 컴퓨팅 어셋들 중 하나 또는 둘 다에 동작 가능하게 커플링(115)된다. 사용자에게 로컬인 이러한 컴퓨팅 어셋들은 도 8을 참조하여 아래에 논의되는 유선 커플링(68)과 같은 유선 및/또는 무선 접속 구성들(44)을 통해 서로에게도 역시 동작 가능하게 커플링될 수 있다. 일 실시예에서, 사용자의 헤드(120)에 장착된 저-관성 및 작은 사이즈 서브시스템을 유지하기 위해, 사용자와 클라우드(46) 사이의 1차 전송은 벨트(308)에 장착된 서브시스템과 클라우드 사이의 링크를 통해 이루어질 수 있고, 헤드 장착 서브시스템(120)은 예컨대, 퍼스널 컴퓨팅 주변장치 연결성 애플리케이션들에 현재 이용되는 것과 같은 초광대역("UWB") 연결성과 같은 무선 연결성을 이용하여 주로 벨트-기반 서브시스템(308)에 데이터-테더링된다.

[0060] 효율적인 로컬 및 원격 프로세싱 조정 및 사용자를 위한 적절한 디스플레이 디바이스, 이를테면, 도 2a에 도시된 사용자 인터페이스 또는 사용자 디스플레이 시스템(62), 또는 그의 변형들을 이용하여, 사용자의 현재 실제 또는 가상 위치와 관련되는 하나의 월드의 양상들은 사용자에게 이송 또는 "전달"되고 효율적인 방식으로 업데이트될 수 있다. 다시 말해서, 월드의 맵은, 사용자의 AR 시스템에 부분적으로 상주하고 클라우드 자원들에 부분적으로 상주할 수 있는 저장 위치에서 계속해서 업데이팅될 수 있다. 맵(또한 "패스가능 월드 모델"로 지칭됨)은, 래스터 이미저리, 3-D 및 2-D 포인트들, 실제 월드에 관한 파라미터 정보 및 다른 정보를 포함하는 대형 데이터베이스일 수 있다. 점점 더 많은 AR 사용자들이 자신들의 실제 환경에 관한 정보를 (예컨대, 카메라들, 센서들, IMU들 등을 통해) 계속해서 캡처할수록, 맵은 점점 더 정확하고 완전해진다.

[0061] 위에서 설명된 바와 같은 구성을 이용시, 클라우드 컴퓨팅 자원들 상에 상주하고 그리고 클라우드 서버로부터 분산될 수 있는 월드의 하나의 "모델"이 존재하며, 이러한 월드는 비교적 낮은 대역폭 형태로 하나 또는 그 초과의 사용자들에게 "패스가능"할 수 있다. 이는, 실시간 비디오 데이터 또는 유사한 복합 정보를 하나의 AR 시스템으로부터 다른 AR 시스템으로 전달하는 것보다 바람직할 수 있다. 조각상(즉, 도 1에 도시된 바와 같음) 근처에 서 있는 사람의 증강된 경험은 클라우드-기반 월드 모델에 의해 알려질 수 있으며, 그 서브세트는 사람의 로컬 디스플레이 디바이스로 전달되어 뷰를 완료할 수 있다. 원격 디스플레이 디바이스(예컨대, 데스크 상에 놓여 있는 개인용 컴퓨터)에 앉아 있는 사람은, 클라우드로부터 동일한 정보 섹션을 효율적으로 다운로드하여 이를 개인용 컴퓨터 디스플레이 상에 렌더링할 수 있다. 또 다른 실시예에서, 또 다른 사용자는 파크에 실시간으로 존재할 수 있고, 공유된 AR 및/또는 VR 경험을 통해 사용자에 조인하는 친구(예컨대, 개인용 컴퓨터에 있는 사람)와 함께 그 파크에서 산책을 할 수 있다. 파크 장면을 친구에게 렌더링하기 위해, AR 시스템은 거리의 위치, 파크의 트리들의 위치, 조각상의 위치 등을 검출할 수 있다. 이러한 위치는 클라우드의 패스가능 월드 모델에 업로드될 수 있고, (개인용 컴퓨터에 있는) 친구는 클라우드로부터 패스가능 월드의 일부를 다운로드하고, 그런 다음, 파크에 있는 AR 사용자와 "함께 걷기" 시작할 수 있다. 물론, 일부 실시예들에서, 친구는, 패스가능 월드 모델의 아바타로서, 파크에 있는 AR 사용자에게 렌더링될 수 있어서, AR 사용자는 파크에서 가상 친구와 나란히 걸을 수 있다.

[0062] 보다 구체적으로는, 클라우드에 (그리고 이어서 다른 AR 사용자들에게) 패스될 수 있도록 월드의 세부사항들을 캡처하기 위해, 다양한 오브젝트들과 관련된 3-D 포인트들이 환경으로부터 캡처될 수 있고, 그러한 이미지들 또는 포인트들을 캡처하는 카메라들의 포즈(즉, 월드에 대한 벡터 및/또는 오리진 포지션 정보)가 결정될 수 있다. 이러한 3-D 포인트들은, 이러한 포즈 정보와 "태그되거나" 또는 연관될 수 있다. 임의의 주어진 환경에서 동일한 포인트들을 캡처하는 많은 수의 AR 시스템들이 존재할 수 있다는 것이 인지되어야 한다. 예컨대, (제 2 AR 시스템의) 제 2 카메라에 의해 캡처된 포인트들은 제 2 카메라의 헤드 포즈를 결정하는 데 활용될 수 있다. 다시 말해, 제 1 카메라로부터 태그된 이미지들과의 비교들에 기반하여 제 2 카메라를 배향 및/또는 로컬화할 수 있다. 그런 다음, 이러한 정보는, 텍스처들을 추출하고, 맵들을 만들고, 그리고 실세계의 하나 또는 그 초과의 가상 카피들을 생성하는 데 활용될 수 있다.

[0063] 하나 또는 그 초과의 실시예들에서, AR 시스템은 포인트들을 생성한 2-D 이미지들 및 3-D 포인트들 둘 모두를 캡처하는 데 활용될 수 있다. 위에서 논의된 바와 같이, 일부 실시예들에서, 이러한 포인트들 및 이미지들은 클라우드 저장소 및 프로세싱 자원(예컨대, 도 3의 서버들(110))에 전송될 수 있다. 다른 실시예들에서, 태그된 2-D 이미지들이 3-D 포인트들과 함께 클라우드로 전송되도록, 이러한 정보는 임베딩된 포즈 정보(즉, 태그된 이미지들)와 함께 로컬로 캐싱될 수 있다. 사용자가 동적 장면을 관찰하는 경우, 사용자는 또한, 부가적인 정보를 클라우드 서버들까지 전송할 수 있다. 하나 또는 그 초과의 실시예들에서, 캡처된 포인트들에서의 하나 또는 그 초과의 오브젝트들을 인지하기 위해 오브젝트 인식기들이 (클라우드 자원 상에서 또는 로컬 시스템 상에서) 실행될 수 있다. 오브젝트 인식기들 및 패스가능 월드 모델에 대한 더 많은 정보는, "SYSTEM AND METHOD FOR AUTMENTED AND VIRTUAL REALITY"라는 명칭의 미국 특허 출원 시리얼 번호 제 14/205,126호에서 찾을 수 있다. Florida의 Fort Lauderdale에 소재한 Magic Leap, Inc.에 의해 개발된 것들과 같은 증강 및 가상 현실 시스템들과 관련된 추가의 정보는: 미국 특허 출원 시리얼 번호 제 14/641,376호; 미국 특허 출원 시리얼 번호 제 14/555,585호; 미국 특허 출원 시리얼 번호 제 14/212,961호; 미국 특허 출원 시리얼 번호 제 14/690,401호; 미국 특허 출원 시리얼 번호 제 13/663,466호; 및 미국 특허 출원 시리얼 번호 제 13/684,489호에 개시되어 있다.

[0064] "패스가능 월드 모델"을 생성하는 데 사용될 수 있는 포인트들을 캡처하기 위해, 월드에 대한 사용자의 위치, 포즈 및 배향을 정확하게 아는 것이 도움이 된다. 보다 구체적으로는, 사용자의 포지션이 세분화된 정도로 로컬화되어야 하는데, 그 이유는 사용자의 헤드 포즈뿐만 아니라 핸드 포즈(사용자가 핸드헬드 컴포넌트를 움켜잡고 있거나, 제스처를 취하고 있는 등의 경우)를 아는 것이 중요할 수 있기 때문이다. 하나 또는 그 초과의 실시예들에서, GPS 및 다른 로컬화 정보가 이러한 프로세싱에 대한 입력들로서 활용될 수 있다. 특정 AR 시스템으로부터 유도된 이미지들 및 포인트들을 프로세싱하는 데 있어서, 그리고 또한 적합한 가상 콘텐츠를 사용자에게 디스플레이하기 위해서, 사용자의 헤드, 토템들, 핸드 제스처들, 햅틱 디바이스들 등의 매우 정확한 로컬화가 바람직하다.

[0065] 고정밀 로컬화를 달성하기 위한 일 접근법은, 사용자의 AR 헤드셋, 벨트 백, 및/또는 다른 보조 디바이스들(예컨대, 토템들, 햅틱 디바이스들, 게임 기기들 등) 상에 전략적으로 배치된 전자기 센서들과 커플링된 전자기장의 사용을 수반할 수 있다. 전자기 추적 시스템들은 통상적으로, 적어도 하나의 전자기장 방출기 및 적어도 하나의 전자기 센서를 포함한다. 전자기 센서들은 알려진 분포를 갖는 전자기장들을 측정할 수 있다. 이러한 측정들에 기반하여, 방출기에 대한 필드 센서의 포지션 및 배향이 결정된다.

[0066] 이제 도 4를 참조하면, (예컨대, Colchester, Vermont에 소재한 the Biosense (RTM) division of Johnson & Johnson Corporation, Polhemus (RTM), Inc.와 같은 조직들에 의해 개발되고 그리고 Los Gatos, California에 소재한 Sixense (RTM) Entertainment, Inc. 및 다른 추적 회사들에 의해 제조된 것들과 같은) 전자기 추적 시스템의 예시적 시스템이 예시된다. 하나 또는 그 초과의 실시예들에서, 전자기 추적 시스템은, 알려진 자기장을 방출하도록 구성된 전자기장 방출기(402)를 포함한다. 도 4에 도시된 바와 같이, 전자기장 방출기(402)는 전자기장 방출기(402)에 전력을 제공하기 위한 전력 공급부(410)(예컨대, 전류, 배터리들 등)에 커플링될 수 있다.

[0067] 하나 또는 그 초과의 실시예들에서, 전자기장 방출기(402)는, 자기장들을 생성하는 여러가지 코일들(예컨대, x, y, 및 z 방향들로 장을 생성하도록 서로에 대해 수직으로 포지셔닝된 적어도 3개의 코일들)을 포함한다. 이러한 자기장들은 좌표 공간을 설정하는 데에 사용된다. 이는, 시스템이, 센서들(404)의 포지션을 알려진 자기장에 관하여 맵핑하는 것을 허용할 수 있으며, 이는 결과적으로, 센서들(404)의 포지션 및/또는 배향을 결정하는 것을 돕는다. 하나 또는 그 초과의 실시예들에서, 전자기 센서들(404a, 404b, 등)이 하나 또는 그 초과의 실제 오브젝트들에 부착될 수 있다. 전자기 센서들(404)은, 방출된 전자기장을 통해 전류가 유도될 수 있는 더 작은 코일들을 포함할 수 있다. 일반적으로, "센서" 컴포넌트들(404)은, 큐브 또는 다른 컨테이너와 같은 작은 구조 내에서 함께 커플링된 3개의 상이하게-배향된(즉, 예컨대, 서로에 대해 직교하게 배향된) 코일들과 같은 작은 코일들 또는 루프들을 포함할 수 있으며, 이러한 작은 코일들 또는 루프들은 전자기 방출기(402)에 의해 방출되는 자기장으로부터 들어오는 자속을 캡처하도록 포지셔닝/배향된다. 이러한 코일들을 통해 유도되는 전류들을 비교하는 것에 의해, 그리고 서로에 대해 코일들의 상대적인 포지션 및 배향을 아는 것에 의해, 전자기 방출기(402)에 대한 센서(404)의 상대적인 위치 및 배향이 계산될 수 있다.

[0068] 전자기장 방출기(402)가 커플링되는 좌표계에 대한 센서(404)(및 센서가 부착되는 오브젝트)의 포지션 및/또는 배향을 검출하기 위해, 전자기 트래킹 센서들(404)에 동작가능하게 커플링된 IMU("inertial measurement unit ") 컴포넌트들 및 전자기 트래킹 센서들(404) 내의 코일들의 거동에 관한 하나 또는 그 초과의 파라미터들이 측정될 수 있다. 물론 이러한 좌표계는, 실제 월드에서 전자기장 방출기의 위치 또는 포즈를 결정하기 위해, 월드 좌표계로 변환될 수 있다. 하나 또는 그 초과의 실시예들에서, 전자기장 방출기(402)와 연관된 좌표 공간 내에서의 센서들(404) 각각의 포지션 및 배향을 검출하기 위해, 전자기 방출기(402)에 관하여 다수의 센서들(404)이 사용될 수 있다.

[0069] 몇몇 실시예들에서, AR 시스템의 헤드 장착 컴포넌트 상의 센서들에 기반하여 헤드 포즈가 이미 알려질 수 있고, 헤드 장착 AR 시스템을 통해 캡처된 이미지 데이터 및 센서 데이터에 기반하여 SLAM 분석이 수행될 수 있음이 이해되어야 한다. 그러나 알려진 헤드 포즈에 대한 사용자의 손(예컨대, 토템과 같은 핸드헬드 컴포넌트 등)의 포지션을 아는 것이 중요할 수 있다. 즉, 헤드 포즈에 대해 핸드 포즈를 아는 것이 중요할 수 있다. 일단 머리(센서들이 헤드 장착 컴포넌트 상에 위치된다고 가정)와 손 사이의 관계가 알려지면, 월드(예컨대, 월드 좌표들)에 대한 손의 위치가 쉽게 계산될 수 있다.

[0070] 하나 또는 그 초과의 실시예들에서, 전자기 트래킹 시스템은 센서들(404)의 3-D 포지션들(즉, X, Y, 및 Z 방향들)을 제공할 수 있고, 2 또는 3 배향 각도들로 센서들(404)의 위치 정보를 더 제공할 수 있다. 하나 또는 그 초과의 실시예들에서, 센서들(404)의 포지션 및 배향을 결정하기 위해, IMU들의 측정들이 코일의 측정들과 비교될 수 있다. 하나 또는 그 초과의 실시예들에서, 전자기 센서들(404)의 포지션 및 배향을 결정하기 위해, 카메라들, 깊이 센서들, 및 다른 센서들과 같은, 데이터의 다양한 다른 소스들과 함께, 전자기(EM) 데이터 및 IMU 데이터 양자 모두가 결합될 수 있다.

[00071] 하나 또는 그 초과의 실시예들에서, 이러한 정보는 제어기(406)로 송신될 수 있다(예컨대, 무선 통신, 블루투스, 등). 하나 또는 그 초과의 실시예들에서, 센서들(404)에 대응하는 포즈 정보(예컨대, 포지션 및 배향)는 비교적 높은 리프레시 레이트로 제어기(406)에게 보고될 수 있다. 통상적으로, 전자기 방출기(402)는, 테이블, 수술대, 벽, 또는 천청, 등과 같은 비교적 안정적이고 큰 오브젝트에 커플링될 수 있으며, 하나 또는 그 초과의 센서들(404)은, 의료용 디바이스들, 핸드헬드 게이밍 컴포넌트들, 토템들, 헤드 장착 AR 시스템의 프레임, 등과 같은 더 작은 오브젝트들에 커플링될 수 있다.

[0072] 대안적으로, 도 6을 참조하여 이하에서 설명되는 바와 같이, 더 안정적인 글로벌 좌표계에 대하여 공간에서 이동하는 2개의 오브젝트들 간의 포지션 및/또는 배향에서의 변화들 또는 델타들이 트래킹될 수 있는 구성을 생성하도록 전자기 트래킹 시스템의 다양한 피처들이 채용될 수 있다. 즉, 전자기 트래킹 시스템의 변동이, 헤드 장착 컴포넌트와 핸드헬드 컴포넌트 사이의 포지션 및 배향 변화들을 트래킹하는 데에 활용될 수 있고, 그러는 동안 글로벌 좌표계(말하자면, 사용자에게 국한된 방 환경)에 대한 헤드 포즈는 다른 방식으로, 예컨대, AR 시스템의 헤드 장착 컴포넌트에 커플링될 수 있는 외부 캡처 카메라들을 사용하는 SLAM("simultaneous localization and mapping") 기술들에 의해 결정되는 구성이 도 6에 도시된다.

[0073] 다시 도 4를 참조하면, 제어기(406)는 전자기장 방출기(402)를 제어할 수 있고, 또한, 다양한 전자기 센서들(404)로부터 측정 데이터를 캡처할 수 있다. 시스템의 다양한 컴포넌트들이 어떤 전자-기계적 또는 무선/블루투스 수단을 통해서도 서로 커플링될 수 있다는 것이 이해되어야 한다. 제어기(406)는 또한, 알려진 자기장, 및 자기장에 대한 좌표 공간에 관한 데이터를 저장할 수 있다. 그런 다음에, 이러한 정보는 알려진 전자기장에 대응하는 좌표 공간에 대한 센서들(404)의 포지션 및 배향을 검출하는 데에 사용될 수 있으며, 그런 다음에, 사용자의 손의 월드 좌표계들(예컨대, 전자기 방출기의 위치)을 결정하는 데에 사용될 수 있다.

[0074] 전자기 트래킹 시스템들의 하나의 장점은, 이들이 최소의 레이턴시 및 높은 해상도로 고도로 정확한 트래킹 결과들을 생성할 수 있다는 점이다. 부가적으로, 전자기 트래킹 시스템은 광학 트래커들에 의존할 필요가 없으며, 따라서, 사용자의 시선에 있지 않은 센서들/오브젝트들을 트래킹하는 것을 더 쉽게 만든다.

[0075] 전자기장("v")의 세기는 코일 송신기(예컨대, 전자기장 방출기(402))로부터 거리("r")의 3차 함수로서 떨어지는(drop) 것이 인식되어야 한다. 하나 또는 그 초과의 알고리즘들은 전자기장 방출기로부터 센서들의 거리에 기반하여 포뮬레이팅될 수 있다. 제어기(406)는 전자기장 방출기로부터 떨어진 다양한 거리들에 센서/객체의 포지션 및 배향을 결정하기 위한 이러한 알고리즘들을 사용하여 구성될 수 있다. 전자기 방출기로부터 떨어져 멀리 이동함에 따라, 전자기장의 세기의 급격한 감소를 고려해 볼 때, 정확도, 효율성 및 낮은 레이턴시와 관련하여 개선된 결과들이 가까운 거리들에서 달성될 수 있다. 통상적인 전자기 추적 시스템들에서, 전자기장 방출기는 전류(예컨대, 플러그-인 전력 공급부)에 의해 전력공급되고 전자기장 방출기로부터 20ft 반경 내에 위치된 센서들을 갖는다. 센서들과 필드 방출기 사이의 더 짧은 반경은 AR 애플리케이션들을 포함하여 수많은 애플리케이션들에서 더 바람직할 수 있다.

[0076] 이제 도 5를 참조하면, 통상적인 전자기 추적 시스템의 기능을 설명하는 예시적인 흐름도가 간략하게 설명된다. 502에서, 공지된 전자기장이 방출된다. 하나 또는 그 초과의 실시예들에서, 전자기장 방출기는 자기장을 생성할 수 있다. 다시 말해서, 방출기의 각각의 코일은 일 방향(예컨대, x, y 또는 z)에서 전기장을 생성할 수 있다. 자기장들은 임의의 파형들로 생성될 수 있다. 하나 또는 그 초과의 실시예들에서, 축들 각각은 약간 상이한 주파수에서 오실레이팅할 수 있다.

[0077] 504에서, 전자기장에 대응하는 좌표 공간이 결정될 수 있다. 예컨대, 도 4의 제어기(406)는 전자기장의 파라미터들에 기반하여 전자기장 방출기 주위에 좌표 공간을 자동으로 결정할 수 있다. 506에서, (공지된 오브젝트에 어태치될 수 있는) 센서들에서의 코일들의 거동이 검출/측정될 수 있다. 예컨대, 코일들에 유도되는 전류가 측정될 수 있다. 다른 실시예들에서, 코일의 회전, 또는 다른 정량화가능한 거동이 추적 및 측정될 수 있다. 508에서, 이 측정은 센서(들) 및/또는 공지된 오브젝트의 포지션 및 배향을 결정/계산하는데 사용될 수 있다. 예컨대, 제어기는 센서들에 있는 코일들의 거동을 다양한 포지션들 또는 배향들에 상관시키는 맵핑 테이블을 컨설팅할 수 있다. 이러한 계산들에 기반하여, 좌표 공간 내의 센서들(또는 이에 어태치된 오브젝트)의 포지션 및 배향이 결정될 수 있다. 일부 실시예들에서, 포즈/위치 정보가 센서들에서 결정될 수 있다. 다른 실시예에서, 센서들은 센서들에서 검출된 데이터를 제어기에 통신하고, 제어기는 공지된 자기장에 대한 결정된 포즈 정보(예컨대, 핸드헬드 컴포넌트에 대한 좌표들)에 대해 맵핑 테이블을 컨설팅할 수 있다.

[0078] AR 시스템들의 콘텍스트에서, 전자기 추적 시스템의 하나 또는 그 초과의 컴포넌트들은 모바일 컴포넌트들의 정확한 추적을 가능하게 하기 위해 수정될 필요가 있을 수 있다. 위에서 설명된 바와 같이, 사용자의 헤드 포즈 및 배향을 추적하는 것은 수많은 AR 애플리케이션들에서 유용하다. 사용자의 헤드 포즈 및 배향의 정확한 결정은 AR 시스템이 AR 디스플레이의 적절한 포지션에서 사용자에게 우측 가상 콘텐츠를 디스플레이하도록 허용한다. 예컨대, 가상 장면은 실제 빌딩 뒤에 숨어있는 몬스터(monster)를 포함할 수 있다. 빌딩에 대한 사용자의 머리의 포즈 및 배향에 따라, 현실적인 AR 경험이 제공되도록 가상 몬스터의 뷰는 수정될 필요가 있을 수 있다.

[0079] 다른 실시예들에서, 가상 콘텐츠와 상호작용하는 토템, 햅틱 디바이스 또는 일부 다른 수단들의 포지션 및/또는 배향은 AR 사용자가 AR 시스템과 상호작용하도록 인에이블하는데 있어서 중요할 수 있다. 예컨대, 수많은 게이밍 애플리케이션들에서, AR 시스템은 가상 콘텐츠에 대한 실제 오브젝트의 포지션 및 배향을 검출해야만 한다. 또는, 가상 인터페이스를 디스플레이할 때, 토템, 사용자의 손, 햅틱 디바이스 또는 AR 시스템과의 상호작용을 위해 구성된 임의의 다른 실제 오브젝트의 포지션은 시스템이 커맨드 등을 이해하기 위해 디스플레이된 가상 인터페이스와 관련하여 알려져 있어야만 한다. 광학적 추적 및 다른 방법들을 포함하는 종래의 로컬라이제이션 방법들은 통상적으로 높은 레이턴시 및 낮은 해상도 문제들로 괴롭혀, 수많은 AR 애플리케이션들에서 가상 콘텐츠를 렌더링하는 것을 어렵게 만든다.

[0080] 하나 또는 그 초과의 실시예들에서, 위에 논의된 전자기 추적 시스템은 방출된 전자기장과 관련하여 하나 또는 그 초과의 오브젝트들의 포지션 및 배향을 검출하기 위해 AR 시스템에 적응될 수 있다. 통상적인 전자기 시스템들은 대형 및 벌키 전자기 방출기들(예컨대, 도 4의 402)을 갖는 경향이 있으며, 이들을 AR 애플리케이션들에서 사용하기에는 이상적이지 않다. 그러나, (예컨대, 밀리미터 범위의) 더 작은 전자기 방출기들은 AR 시스템의 콘텍스트에서 공지된 전자기장을 방출하는데 사용될 수 있다.

[0081] 이제 도 6을 참조하면, 핸드헬드 제어기(606)의 일부로서 통합된 전자기장 방출기(602)와 함께 도시된 바와 같이, 전자기 추적 시스템은 AR 시스템에 통합될 수 있다. 하나 또는 그 초과의 실시예들에서, 핸드헬드 제어기는 게이밍 애플리케이션에 사용되기 위한 토템일 수 있다. 다른 실시예들에서, 핸드-헬드 제어기는 (예컨대, 가상 사용자 인터페이스를 통해) AR 시스템과 상호작용하는데 사용될 수 있는 햅틱 디바이스일 수 있다 또 다른 실시예들에서, 전자기장 방출기는, 도 2d에 도시된 바와 같이, 벨트 팩(70)의 일부로서 간단하게 통합될 수 있다. 핸드헬드 제어기(606)는 전자기장 방출기(602)에 전력을 공급하는 배터리(610) 또는 다른 전력 공급부를 포함할 수 있다.

[0082] 전자기장 방출기(602)는 또한 다른 컴포넌트들에 비해 전자기장 에미터(602)의 포지션 및/또는 배향을 결정하는 것을 보조하도록 구성된 IMU 컴포넌트(650)를 포함하거나 또는 이에 커플링될 수 있음이 인지된다. 이는, 전자기장 방출기(602) 및 (이하 더욱 상세하게 논의된) 센서들(604) 둘 다 모바일인 경우들에서 유리할 수 있다. 일부 실시예들에서, 도 6의 실시예에 도시된 바와 같이 전자기장 방출기(602)를 벨트 팩 이외의 핸드헬드 제어기에 배치하는 것은, 전자기장 방출기가 벨트 팩에서 자원들에 대해 경쟁하지 않지만 오히려 핸드헬드 제어기(606)에서 그 소유의 배터리 자원을 사용함을 보장한다.

[0083] 하나 또는 그 초과의 실시예들에서, 전자기 센서들(604)은 하나 또는 그 초과의 IMU들 또는 추가적인 자속 캡처 코일들(608)과 같은 다른 센싱 디바이스들과 함께 사용자의 헤드셋(58) 상의 하나 또는 그 초과의 위치들에 배치될 수 있다. 예컨대, 도 6에 도시된 바와 같이, 센서들(604, 608)은 헤드셋(58)의 양측에 배치될 수 있다. 이들 센서들(604, 608)은 다소 작게 엔지니어링되므로(그리고 이에 따라 어떤 경우들에는 덜 민감할 수 있으므로), 측정들의 효율성 및 정밀도를 향상시키기 위해 다수의 센서들을 포함하는 것이 중요할 수 있다.

[0084] 하나 또는 그 초과의 실시예들에서, 하나 또는 그 초과의 센서들(604, 608)은 또한 벨트 팩(620) 또는 사용자 신체의 임의의 다른 부분 상에 배치될 수 있다. 센서들(604, 608)은 전자기장 방출기(602)에 의해 방출되는 알려진 자기장과 관련하여 센서들(604, 608)(및 이들이 부착된 AR 헤드셋(58))의 포즈 및 배향을 결정하는 컴퓨팅 장치(607)(예컨대, 제어기)와 무선으로 또는 블루투스®를 통해 통신할 수 있다. 하나 또는 그 초과의 실시예들에서, 도 6에 도시된 바와 같이, 컴퓨팅 장치(607)는 벨트 팩(620)에 상주할 수 있다. 다른 실시예들에서, 컴퓨팅 장치(607)는 헤드셋(58) 자체, 또는 심지어 핸드헬드 제어기(604)에 상주할 수 있다. 하나 또는 그 초과의 실시예들에서, 컴퓨팅 장치(607)는 센서들(604, 608)의 측정들을 수신하고, 전자기장 방출기(602)에 의해 방출되는 알려진 전자기장과 관련하여 센서들(604, 608)의 포지션 및 배향을 결정할 수 있다.

[0085] 하나 또는 그 초과의 실시예들에서, 센서들(604, 608)의 위치 좌표들을 결정하기 위해 맵핑 데이터베이스(632)가 참조될 수 있다. 맵핑 데이터베이스(632)는 일부 실시예들에서 벨트 팩(620)에 상주할 수 있다. 예시된 실시예에서, 맵핑 데이터베이스(632)는 클라우드 자원(630) 상에 상주한다. 도 6에 도시된 바와 같이, 컴퓨팅 장치(607)는 클라우드 자원(630)과 무선으로 통신한다. AR 시스템에 의해 수집된 포인트들 및 이미지들과 함께 결정된 포즈 정보는 그 다음, 클라우드 자원(630)에 전달되고, 이어서 패스가능 월드 모델(634)에 추가될 수 있다.

[0086] 위에서 설명된 바와 같이, 종래의 전자기 방출기는 AR 디바이스들에서 사용하기에는 너무 부피가 클 수 있다. 따라서 전자기장 방출기는 종래의 시스템들에 비해 더 작은 코일들을 사용하여 콤팩트하게 엔지니어링될 수 있다. 그러나 전자기장의 세기가 전자기장 방출기로부터의 거리의 3차 함수로서 감소한다면, 전자기 센서들(604)과 전자기장 방출기(602) 사이의 더 짧은 반경(예컨대, 약 3-3.5ft)은 도 4에서 상술된 것과 같은 종래의 시스템들과 비교할 때 허용 가능한 전계 강도를 유지하면서 전력 소비를 감소시킬 수 있다.

[0087] 하나 또는 그 초과의 실시예들에서, 이 특징은 제어기(606) 및 전자기장 방출기(602)에 전력을 공급하는 배터리(610)의 수명을 연장시키는데 이용될 수 있다. 대안으로, 이 특징은 전자기장 방출기(602)에서 자기장을 발생시키는 코일들의 크기를 감소시키는데 이용될 수 있다. 그러나 동일한 세기의 자기장을 얻기 위해, 전자기장 방출기(602)의 전력이 증가될 필요가 있을 수 있다. 이는 핸드헬드 제어기(606)에 콤팩트하게 맞춰질 수 있는 전자기장 방출기 유닛(602)을 가능하게 한다.

[0088] AR 디바이스들에 전자기 추적 시스템을 사용할 때 몇 가지 다른 변경들이 이루어질 수 있다. 하나 또는 그 초과의 실시예들에서, IMU-기반 포즈 추적이 사용될 수 있다. 이러한 실시예들에서, IMU들을 가능한 한 안정되게 유지하는 것은 포즈 검출 프로세스의 효율을 향상시킨다. IMU들은 50-100 밀리초까지 안정적으로 유지되도록 엔지니어링되어, 포즈 업데이트/보고 레이트가 10-20Hz인 안정적인 신호들을 야기한다. 일부 실시예들은 포즈 업데이트들이 10-20Hz의 레이트로 보고될 수 있게 할 수 있는 외부 포즈 추정기 모듈을 이용할 수 있다(IMU가 시간에 따라 드리프트할 수 있기 때문에)고 인식되어야 한다. 적정한 양의 시간 동안 IMU들을 안정적으로 유지함으로써, 포즈 업데이트들의 레이트는 (종래의 시스템들의 더 높은 주파수들과 비교할 때) 10-20Hz로 극적으로 감소될 수 있다.

[0089] AR 시스템의 전력을 보존하기 위한 또 다른 방법은 (예컨대, 100 밀리초마다 지상에 대해서만 핑을 보내는) 10% 듀티 사이클로 전자기 추적 시스템을 실행하는 것일 수 있다. 즉, 전자기 추적 시스템은 포즈 추정치를 생성하기 위해 매 100 밀리초 중에서 10 밀리초 동안 작동한다. 이는 절전으로 바로 전환하며, 이는 결국 AR 디바이스의 크기, 배터리 수명 및 비용에 영향을 줄 수 있다.

[0090] 하나 또는 그 초과의 실시예들에서, 듀티 사이클의 이러한 감소는 단지 하나보다는 (도시되지 않은) 2개의 핸드헬드 제어기들을 제공함으로써 전략적으로 이용될 수 있다. 예컨대, 사용자는 2개의 토템들 등을 필요로 하는 게임을 플레이하고 있을 수 있다. 또는, 다중-사용자 게임에서 2명의 사용자들이 게임을 플레이하기 위해 그들 자신의 토템들/핸드헬드 제어기들을 가질 수 있다. 1개보다는 2개의 제어기들(예컨대, 각각의 손에 대한 대칭 제어기들)이 사용되는 경우, 제어기들은 오프셋 듀티 사이클들로 작동할 수 있다. 동일한 개념은 또한 예컨대, 멀티-플레이어 게임을 플레이하는 2명의 상이한 사용자들에 의해 이용되는 제어기들에 적용될 수 있다.

[0091] 이제 도 7을 참조하면, AR 디바이스들과 관련하여 전자기 추적 시스템을 설명하는 예시적인 흐름도가 설명된다. 702에서, 핸드헬드 제어기(606)는 자기장을 방출한다. 704에서, (헤드셋(58), 벨트 팩(620) 등에 배치된) 전자기 센서들(604)이 자기장을 검출한다. 706에서, 헤드셋/벨트의 포지션 및 배향이 센서들(604)에서 코일들/IMU들(608)의 거동에 기반하여 결정된다. 일부 실시예들에서, 센서들(604)의 검출된 거동은 컴퓨팅 장치(607)에 전달되며, 이는 결국, 전자기장과 관련하여 센서들(604)의 포지션 및 배향(예컨대, 핸드헬드 컴포넌트에 대한 좌표들)을 결정한다. 물론, 위에서 논의된 바와 같이, 월드에 대한 헤드 포즈가 SLAM 프로세싱을 통해 알려질 수 있기 때문에, 이들 좌표들은 그 다음에 월드 좌표들로 변환될 수 있다고 인식되어야 한다.

[0092] 708에서, 포즈 정보는 컴퓨팅 장치(607)(예컨대, 벨트 팩(620) 또는 헤드세트(58)에 있음)에 전달된다. 710에서, 선택적으로, 결정된 헤드 포즈 및 핸드 포즈에 기반하여 사용자에게 디스플레이될 가상 콘텐츠를 결정하도록, 패스가능 월드 모델(634)이 컨설팅될 수 있다. 712에서, 가상 콘텐츠는 상관에 기반하여 AR 헤드세트(58)에서 사용자에게 전달될 수 있다. 위에서 설명된 흐름도가 단지 예시적 목적들을 위한 것이며, 제한하는 것으로서 판독되지 않아야 한다는 것이 인식되어야 한다.

[0093] 유리하게, 도 6에서 약술된 것과 유사한 전자기 추적 시스템을 사용하는 것은, 더 높은 재생률 및 더 낮은 레이턴시로 포즈 추적을 가능하게 한다(예컨대, 헤드 포지션 및 배향, 토템들의 포지션 및 배향, 및 다른 컨트롤러들). 이는 AR 시스템으로 하여금, 포즈 정보를 계산하기 위한 광 추적 기술들과 비교할 때, 더 높은 정도의 정확성 및 더 낮은 레이턴시로 가상 콘텐츠를 프로젝팅하도록 허용한다.

[0094] 도 8을 참조하면, 위에서 설명된 센서들과 유사한 많은 감지 컴포넌트들을 특징으로 하는 시스템 구성이 예시된다. 도 2a-2d 및 도 6의 참조 번호들이 도 8에서 반복된다는 것이 인식되어야 한다. 도 9a-9f를 참조하여 아래에서 설명되는 컨트롤 및 퀵 릴리즈 모듈(86)을 또한 특징으로 하는 물리적 멀티코어 리드를 여기서 사용하여, 로컬 프로세싱 및 데이터 모듈(70), 이를테면 벨트 팩(도 2d와 유사함)에 동작가능하게 커플링(68)된 헤드 장착 웨어러블 컴포넌트(58)가 도시된다. 로컬 프로세싱 및 데이터 모듈(70)은 핸드 헬드 컴포넌트(606)(도 6과 유사함)에 동작가능하게 커플링(100)될 수 있다. 하나 또는 그 초과의 실시예들에서, 로컬 프로세싱 모듈(70)은 저전력 블루투스®와 같은 무선 연결을 통해 핸드-헬드 컴포넌트(606)에 커플링될 수 있다. 하나 또는 그 초과의 실시예들에서, 핸드 헬드 컴포넌트(606)는 또한, 이를테면 저전력 블루투스®와 같은 무선 연결에 의해, 헤드 장착 웨어러블 컴포넌트(58)에 직접적으로 동작가능하게 커플링(94)될 수 있다.

[0095] 일반적으로, 다양한 컴포넌트들의 포즈 정보를 검출하기 위하여 IMU 데이터가 패스되는 경우, 이를테면 수백 또는 수천 사이클/초 또는 그 초과의 범위의 고-주파수 연결이 바람직할 수 있다. 다른 한편으로, 이를테면 센서(604) 및 송신기(602) 페어링들에 의해, 초당 수십 사이클들이 전자기 로컬화 감지에 적합할 수 있다. 또한, 사용자 주위의 실세계의 고정 오브젝트들, 이를테면 벽(8)을 표현하는 글로벌 좌표계(10)가 도시된다. 클라우드 자원들(46)이 또한, 로컬 프로세싱 및 데이터 모듈(70), 헤드 장착 웨어러블 컴포넌트(58), 벽(8)에 커플링될 수 있는 자원들, 또는 글로벌 좌표계(10)에 대해 고정된 다른 아이템에 각각 동작가능하게 커플링(42, 40, 88, 90)될 수 있다. 벽(8)에 커플링된, 또는 글로벌 좌표계(10)에 대한 알려진 포지션들 및/또는 배향들을 갖는 자원들은 Wi-Fi 트랜시버(114), 전자기 방출기(602) 및/또는 수신기(604), 주어진 타입의 방사선을 방출하거나 또는 반사하도록 구성된 비콘 또는 반사기(112), 이를테면 적외선 LED 비콘, 셀룰러 네트워크 트랜시버(110), RADAR 방출기 또는 검출기(108), LIDAR 방출기 또는 검출기(106), GPS 트랜시버(118), 알려진 검출가능한 패턴(122)을 갖는 포스터 또는 마커, 및 카메라(124)를 포함할 수 있다.

[0096] 헤드 장착 웨어러블 컴포넌트(58)는, 카메라(124) 검출기들을 보조하도록 구성된 조명 방출기들(130), 이를테면 적외선 카메라(124)용 적외선 방출기들(130) 이외에도, 예시된 바와 같이, 유사한 컴포넌트들을 특징으로 한다. 하나 또는 그 초과의 실시예들에서, 헤드 장착 웨어러블 컴포넌트(58)는, 헤드 장착 웨어러블 컴포넌트(58)의 프레임 또는 기계적 플랫폼에 고정식으로 커플링되며, 전자기 수신기 센서들(604) 또는 디스플레이 엘리먼트들(62)과 같은 컴포넌트들 간에 그러한 플랫폼의 편향을 결정하도록 구성될 수 있는 하나 또는 그 초과의 스트레인 게이지들(116)을 더 포함할 수 있으며, 플랫폼의 얇은 부분, 이를테면 도 8에서 묘사된 안경-형 플랫폼 상의 코 위의 부분에서, 플랫폼의 휨이 발생했는지를 이해하는 것이 가치가 있을 수 있다.

[0097] 헤드 장착 웨어러블 컴포넌트(58)는 또한, 프로세서(128)와 하나 또는 그 초과의 IMU들(102)을 포함할 수 있다. 컴포넌트들 각각은 바람직하게는, 프로세서(128)에 동작가능하게 커플링된다. 유사한 컴포넌트들을 특징으로 하는 핸드 헬드 컴포넌트(606)와 로컬 프로세싱 및 데이터 모듈(70)이 예시된다. 도 8에서 도시된 바와 같이, 매우 많은 감지 및 연결성 수단에 대해, 그러한 시스템은 무겁고, 크고, 비교적 값비쌀 공산이 있으며, 다량의 전력을 소비할 공산이 있다. 그러나, 예시적 목적들을 위해, 매우 높은 레벨의 연결성, 시스템 컴포넌트 통합, 및 포지션/배향 추적을 제공하기 위해 그러한 시스템이 활용될 수 있다. 예컨대, 그러한 구성에 대해, 다양한 메인 모바일 컴포넌트들(58, 70, 606)은, Wi-Fi, GPS, 또는 셀룰러 신호 삼각측량을 사용하여 글로벌 좌표계에 대한 포지션 면에서 로컬화될 수 있으며; 비콘들, 전자기 추적(위에서 설명됨), RADAR, 및 LIDIR 시스템들은 여전히 추가적인 위치 및/또는 배향 정보 및 피드백을 제공할 수 있다. 상대 및 절대 포지션 및 배향에 관한 추가적인 정보를 제공하기 위해, 마커들 및 카메라들이 또한 활용될 수 있다. 예컨대, 동시 로컬화 및 매핑 프로토콜들 또는 "SLAM"에서 활용될 수 있는 데이터를 캡처하여, 컴포넌트(58)가 어디에 있는지 그리고 이 컴포넌트(58)가 다른 컴포넌트들에 대해 어떻게 배향되는지를 결정하기 위해, 헤드 장착 웨어러블 컴포넌트(58)에 커플링된 것으로 도시된 것들과 같은 다양한 카메라 컴포넌트들(124)이 활용될 수 있다.

[0098] 도 9a-9f를 참조하면, 컨트롤 및 퀵 릴리즈 모듈(86)의 다양한 양상들이 도시된다. 도 9a를 참조하면, 2개의 외부 하우징(134) 컴포넌트들은 기계적 래칭으로 향상될 수 있는 자기 커플링 구성을 사용하여 함께 커플링된다. 연관된 시스템의 동작을 위한 버튼들(136)이 포함될 수 있다. 도 9b는 버튼(136) 및 하부의 최상부 인쇄 회로 보드(138)가 도시되어 있는 부분 절취도를 예시한다. 도 9c를 참조하면, 버튼들(136) 및 하부의 최상부 인쇄 회로 보드(138)가 제거되어, 암형 접촉 핀 어레이(140)가 가시적이다. 도 9d를 참조하면, 하우징(134)의 대향하는 부분이 제거되어, 하위 인쇄 회로 보드(142)는 가시적이다. 도 9e에 도시된 바와 같이, 하위 인쇄 회로 기판(142)이 제거되어, 수형 접촉 핀 어레이(144)가 가시적이다.

[0099] 도 9f의 단면도를 참조하면, 수형 핀들 또는 암형 핀들 중 적어도 하나는 이들이 각각의 핀의 종축을 따라 함몰될 수 있도록 스프링-로딩되게 구성된다. 하나 또는 그 초과의 실시예들에서, 핀들은 "포고 핀들(pogo pins)"로 불릴 수 있으며, 일반적으로 구리 또는 금과 같은 고전도성 재료를 포함할 수 있다. 어셈블리될 때, 예시된 구성은 46개의 수형 핀들을 암형 핀들과 메이팅할 수 있으며, 전체 어셈블리는 그것을 수동으로 분리하고 핀 어레이들(140, 144)의 둘레 주위에 배향되는 북 및 남 자석들을 사용하여 발현될 수 있는 자기 인터페이스(146) 로드를 극복함으로써 반으로 신속-해제 디커플링될 수 있다.

[00100] 일 실시예에서, 46개의 포고 핀들을 압축하는 것으로부터 약 2kg 로드는 약 4kg의 폐쇄 유지력으로 반작용된다. 어레이들(140, 144) 내의 핀들은 약 1.3mm만큼 분리될 수 있고, 핀들은 USB 3.0, HDMI 2.0, I2S 신호들, GPIO 및 MIPI 구성들 등을 지원하기 위한 연선들 또는 다른 조합들과 같은 다양한 타입들의 전도 라인들, 및 일 실시예에서, 약 4amps/5 볼트까지를 위해 구성되는 고전류 아날로그 라인들 및 접지들에 동작 가능하게 커플링될 수 있다.

[00101] 도 10을 참조하면, 다양한 컴포넌트들의 무게 및 부피를 최소화하고, 예컨대, 도 10에 피처링된 헤드 장착 컴포넌트(58)의 것과 같이 비교적 슬림한 헤드 장착 컴포넌트에 도달할 수 있도록 최소화된 컴포넌트/피처 세트를 갖는 것이 도움이 된다. 따라서, 도 8에 도시된 다양한 컴포넌트들의 다양한 치환들 및 조합들이 활용될 수 있다.

[00102] 도 11a를 참조하면, 헤드 장착 컴포넌트(58)에 커플링되는 전자기 감지 코일 어셈블리(604, 예컨대, 하우징에 커플링되는 3개의 개별적인 코일들)가 도시된다. 이러한 구성은 전체 어셈블리에 부가적인 기하구조(즉, 돌출부)를 부가하며, 이는 바람직하지 않을 수 있다. 도 11b를 참조하면, 도 11a의 구성에서와 같이 박스 또는 단일 하우징에 코일들을 하우징하기 보단, 개별적인 코일들이 도 11b에 도시된 바와 같이 헤드 장착 컴포넌트들(58)의 다양한 구조들로 통합될 수 있다. 예컨대, x-축 코일(148)은 헤드 장착 컴포넌트(58)의 일 부분(예컨대, 프레임의 중심)에 배치될 수 있다. 유사하게, y-축 코일(150)은 헤드 장착 컴포넌트(58)의 다른 부분(예컨대, 프레임의 양쪽의 최하부 측)에 배치될 수 있다. 유사하게, z-축 코일(152)은 헤드 장착 컴포넌트(58)의 또 다른 부분(예컨대, 프레임의 양쪽의 최상부 측)에 배치될 수 있다.

[00103] 도 12a 내지 도 12e는 필드 감도를 증가시키기 위해 전자기 센서들에 커플링되는 페라이트 코어를 피처링하는 다양한 구성들을 예시한다. 도 12a를 참조하면, 페라이트 코어는 솔리드 큐브(1202) 일 수 있다. 솔리드 큐브가 필드 감도를 증가시키는데 가장 효과적 일 수 있지만, 도 12b-12e에 도시된 나머지 구성들와 비교할 때 가장 무거울 수도 있다. 도 12b를 참조하면, 복수의 페라이트 디스크들(1204)이 전자기 센서에 커플링될 수 있다. 유사하게, 도 12c를 참조하면, 일 축 공기 코어(1206)를 갖는 솔리드 큐브가 전자기 센서에 커플링될 수 있다. 도 12c에 도시된 바와 같이, 개방 공간(즉, 공기 코어)은 하나의 축을 따라 솔리드 큐브에 형성될 수 있다. 이는 필요한 필드 감도를 여전히 제공하면서 큐브의 무게를 감소시킬 수 있다. 또 다른 실시예에서, 도 12d를 참조하면, 3개의 축 공기 코어(1208)를 갖는 솔리드 큐브가 전자기 센서에 커플링될 수 있다. 이 구성에서, 솔리드 큐브는 3개의 축들을 따라 비워져서 큐브의 무게를 상당히 감소시킨다. 도 12e를 참조하면, 플라스틱 하우징(1210)을 갖는 페라이트 로드가 또한 전자기 센서에 커플링될 수 있다. 도 12b 내지 도 12e의 실시예들은 위에서 논의된 바와 같이, 도 12a의 솔리드 코어 구성보다 무게가 더 가볍고 질량을 절약하는데 활용될 수 있다는 것이 인지되어야 한다.

[00104] 도 13a-13c를 참조하면, 시분할 멀티플렉싱("TDM")이 또한 질량을 절약하는데 활용될 수 있다. 예컨대, 도 13a를 참조하면, 3-코일 전자기 수신기 센서에 대한 종래의 로컬 데이터 프로세싱 구성이 도시되며, 여기서 아날로그 전류들은 X, Y 및 Z 코일들(1302, 1304 및 1306) 각각으로부터 들어오고, 별개의 전치-증폭기(1308)로 진행하고, 별개의 대역통과 필터(1310)로, 별개의 전치-증폭기(1312)로, 아날로그-디지털 변환기(1314)를 통과하여, 궁극적으로는 디지털 신호 프로세서(1316)로 진행된다.

[00105] 도 13b의 송신기 구성 및 도 13c의 수신기 구성을 참조하면, 시분할 멀티플렉싱은 각각의 코일 센서 체인이 자기 자신의 증폭기들 등을 요구하지 않도록 하드웨어를 공유하기 위해 활용될 수 있다. 이것은 도 13b에 도시된 TDM 스위치(1320)를 통해 달성될 수 있는데, 이는 동일한 세트의 하드웨어 컴포넌트들(증폭기들 등)을 사용하여 다수개의 송신기들 및 수신기들로부터의 그리고 다수개의 송신기들 및 수신기들로의 신호들의 프로세싱을 가능하게 한다. 하드웨어 오버헤드를 절약하기 위해 센서 하우징들을 제거하고 멀티플렉싱하는 것에 추가하여, 신호 대 잡음비들은 하나 초과의 세트의 전자기 센서들을 가짐으로써 증가될 수 있고, 각각의 세트는 단일의 더 큰 코일 세트에 비해 상대적으로 작다. 또한, 일반적으로 근접한 다수의 감지 코일들을 가질 필요가 있는 로우-사이드 주파수 한계들은 대역폭 요건 개선들을 가능하게 하도록 개선될 수 있다. 멀티플렉싱이 일반적으로 시간에 따라 라디오 주파수 신호들의 수신을 확산시키고 이는 일반적으로 보다 대략적인 신호들을 초래한다는 점에서, 멀티플렉싱과의 트레이드오프가 존재할 수 있다는 점이 주목되어야 한다. 따라서, 보다 큰 코일 직경들이 멀티플렉싱된 시스템들에 요구될 수 있다. 예컨대, 멀티플렉싱된 시스템이 9 mm-측면 디멘션 큐빅 코일 센서 박스를 요구할 수 있는 경우, 멀티플렉싱되지 않은 시스템은 유사한 성능을 위해 단지 7 mm-측면 디멘션 큐빅 코일 박스를 요구할 수 있다. 따라서, 지오메트리 및 질량을 최소화하는데 트레이드오프들이 존재할 수 있다는 점이 주목되어야 한다.

[00106] 특정 시스템 컴포넌트, 이를테면, 헤드 장착 컴포넌트(58)가 두 개 또는 그 초과의 전자기 코일 센서 세트들을 특징으로 하는 다른 실시예에서, 시스템은 시스템의 성능을 최적화하기 위해 서로 가장 가까운 센서 및 전자기 이미터 파싱을 선택적으로 활용하도록 구성될 수 있다.

[00107] 도 14를 참조하면, 일 실시예에서, 사용자가 자신의 웨어러블 컴퓨팅 시스템(160)에 전원을 공급한 이후에, 헤드 장착 컴포넌트 어셈블리는 실제 월드 글로벌 좌표 시스템(162)에 대해 헤드 포즈(즉, 포지션 및 배향)를 결정 및 업데이트하기 위해 IMU와 카메라 데이터(이를테면, 더 많은 RAW 프로세싱 하우스파워가 존재할 수 있는 벨트 팩 프로세서에서, 예컨대, SLAM 분석을 위해 사용되는 카메라 데이터)의 조합을 캡처할 수 있다. 사용자는 또한, 예컨대, 증강 현실 게임(164)을 플레이하기 위해 핸드헬드 컴포넌트를 활성화할 수 있고, 핸드헬드 컴포넌트는 벨트 팩 및 헤드 장착 컴포넌트(166) 중 하나 또는 둘 모두에 동작가능하게 커플링된 전자기 송신기를 포함할 수 있다. 헤드 장착 컴포넌트에 커플링된 하나 또는 그 초과의 전자기장 코일 수신기 세트들(예컨대, 한 세트는 3개의 상이하게-배향된 개별 코일들임)이 전자기 송신기로부터의 자속을 캡처하기 위해 사용될 수 있다. 이 캡처된 자속은 헤드 장착 컴포넌트와 핸드헬드 컴포넌트(168) 간의 포지션적 또는 배향적 차이(또는 "델타")를 결정하기 위해 활용될 수 있다.

[00108] 하나 또는 그 초과의 실시예들에서, 글로벌 좌표 시스템에 대해 포즈를 결정하는 것을 보조하는 헤드 장착 컴포넌트와 헤드 장착 컴포넌트에 대해 핸드헬드의 상대적 위치 및 배향을 결정하는 것을 보조하는 핸드헬드의 조합은, 시스템이 글로벌 좌표 시스템에 대해 각각의 컴포넌트가 어디에 로케이팅되는지를 일반적으로 결정하게 허용하고, 따라서, 사용자의 헤드 포즈 및 핸드헬드 포즈는 핸드헬드 컴포넌트(170)의 이동들 및 회전들을 사용하는 증강 현실 이미지 피처들 및 상호작용의 표현을 위해 바람직하게는, 비교적 낮은 레이턴시로 추적될 수 있다.

[00109] 도 15를 참조하면, 사용자의 헤드 포즈 및 핸드헬드 포즈는 핸드헬드 컴포넌트(180)의 이동들 및 회전들을 사용하는 증강 현실 이미지 피처들 및 상호작용의 표현을 위해 바람직하게는 비교적 낮은 레이턴시로 추적될 수 있도록, 시스템이 헤드 장착 컴포넌트(172) 및 핸드헬드 컴포넌트(176, 178) 둘 모두의 포즈를 결정하는 것을 보조하기 위해 이용가능한 더 많은 감지 디바이스들 및 구성들을 가지는 것을 제외하고 실시예가 도 14의 것과 다소 유사하게 예시된다.

[00110] 구체적으로, 사용자가 자신의 웨어러블 컴퓨팅 시스템(160)에 전원을 공급한 이후에, 헤드 장착 컴포넌트는 실-세계 글로벌 좌표 시스템에 대한 헤드 포즈를 결정하고 업데이트하기 위해 SLAM 분석을 위한 IMU와 카메라 데이터의 조합을 캡처한다. 시스템은 글로벌 좌표 시스템의 다양한 양상들에 또는 하나 또는 그 초과의 이동가능한 컴포넌트들(172)에 연결될 수 있는, Wi-Fi, 셀룰러, 비콘들, RADAR, LIDAR, GPS, 마커들 및/또는 다른 카메라들과 같은 환경에서 다른 로컬화 자원들의 존재를 검출하도록 추가로 구성될 수 있다.

[00111] 사용자는 또한, 예컨대, 증강 현실 게임(174)을 플레이하기 위해 핸드헬드 컴포넌트를 활성화할 수 있고, 핸드헬드 컴포넌트는 벨트 팩 및 헤드 장착 컴포넌트(176) 중 하나 또는 둘 모두에 동작가능하게 커플링된 전자기 송신기를 포함할 수 있다. 다른 로컬화 자원들이 또한 유사하게 활용될 수 있다. 헤드 장착 컴포넌트에 커플링된 하나 또는 그 초과의 전자기장 코일 수신기 세트들(예컨대, 한 세트는 3개의 상이하게-배향된 개별 코일들임)이 전자기 송신기로부터의 자속을 캡처하기 위해 사용될 수 있다. 이 캡처된 자속은 헤드 장착 컴포넌트와 핸드헬드 컴포넌트(178) 간의 포지션적 또는 배향적 차이(또는 "델타")를 결정하기 위해 활용될 수 있다.

[00112] 따라서, 사용자의 헤드 포즈 및 핸드헬드 포즈는 AR 컨텐츠의 표현을 위해 그리고/또는 핸드헬드 컴포넌트(180)의 이동 또는 회전들을 사용하여 AR 시스템과의 상호작용을 위해 비교적 낮은 레이턴시로 추적될 수 있다.

[00113] 본 발명의 다양한 예시적인 실시예들이 본원에서 설명된다. 비-제한적인 의미로 이들 예들에 대한 참조가 이루어진다. 그 예들은 본 발명의 더 광범위한 적용가능한 양상들을 예시하기 위해 제공된다. 본 발명의 실제 사상 및 범위를 벗어나지 않으면서, 다양한 변화들이 설명된 본 발명에 대해 이루어질 수 있고 등가물들이 대체될 수 있다. 게다가, 특정 상황, 재료, 재료의 구성물, 프로세스, 프로세스 동작(들) 또는 단계(들)을 본 발명의 목적(들) 사상 또는 범위에 적응시키기 위해 많은 수정들이 이루어질 수 있다. 추가로, 당업자들에 의해 인지될 바와 같이, 본원에서 설명되고 예시된 개별적인 변동들 각각은, 본 발명들의 범위 및 사상을 벗어나지 않으면서, 다른 수개의 실시예들 중 임의의 실시예의 특징들로부터 용이하게 분리되거나 또는 그 특징들과 결합될 수 있는 개별 컴포넌트들 및 특징들을 갖는다. 그러한 모든 수정들은 본 개시내용과 연관된 청구항들의 범위 내에 있는 것으로 의도된다.

[00114] 본 발명은 대상 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 최종 사용자에 의해 수행될 수 있다. 다시 말해서, "제공하는" 동작은 단지 대상 방법에서 필요한 디바이스를 제공하도록 최종 사용자가 획득, 액세스, 접근, 포지셔닝, 셋업, 활성화, 파워-업 또는 그렇지 않으면 동작하게 요구한다. 본원에서 언급된 방법들은 논리적으로 가능한 언급된 이벤트들의 임의의 순서 뿐만 아니라 이벤트들의 언급된 순서로 수행될 수 있다.

[00115] 재료 선택 및 제조에 관한 세부사항들과 함께 본 발명의 예시적인 양상들이 위에 기재되었다. 본 발명의 다른 세부사항들에 대해, 이들은 위에서-참조된 특허들 및 공개물들과 관련하여 인지될 뿐만 아니라 당업자들에 의해 일반적으로 알려지거나 인지될 수 있다. 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들의 측면들에서 본 발명의 방법-기반 양상들에 대해 동일한 것이 참으로 유지될 수 있다.

[00116] 게다가, 본 발명이 다양한 특징들을 선택적으로 통합하는 수개의 예들을 참조하여 설명되었지만, 본 발명은, 본 발명의 각각의 변동에 관해 고려될 때 설명되거나 또는 표시되는 것으로 제한되지 않는다. 본 발명의 실제 사상 및 범위를 벗어나지 않으면서, 다양한 변화들이 설명된 본 발명에 대해 이루어질 수 있고 (본원에서 인용되는지 또는 일부 간략화를 위해 포함되지 않는지에 관계없이) 등가물들이 대체될 수 있다. 게다가, 값들의 범위가 제공되는 경우, 그 범위의 상한과 하한 간의 모든 각각의 중간값 및 그 언급된 범위 내의 임의의 다른 언급된 또는 중간값이 본 발명 내에 포함된다는 것이 이해된다.

[00117] 또한, 설명된 본 발명의 변동들의 임의의 선택적인 특징이 독립적으로 또는 본원에서 설명된 특징들 중 임의의 하나 또는 그 초과와 조합하여 기재되고 청구될 수 있다는 것이 고려된다. 단수형 아이템들에 대한 참조는 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 상세하게는, 본원에서 그리고 그와 연관된 청구항들에서 사용되는 바와 같이, 단수형들은, 달리 상세하게 언급되지 않으면 복수의 지시물들을 포함한다. 다시 말해서, 물품들의 사용은, 본 개시내용과 연관된 위의 설명 뿐만 아니라 청구항들에서 대상 아이템 중 "적어도 하나"를 허용한다. 그러한 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 선발될 수 있다는 것이 추가로 주목된다. 그러므로, 이러한 진술은 청구항 엘리먼트들의 인용과 관련하여 "단독으로", "유일한" 등으로서 그러한 배타적인 전문용어의 사용 또는 "네거티브" 제한의 사용에 대한 선행 기반으로 기능하도록 의도된다.

[00118] 그러한 배타적인 전문용어의 사용없이, 본 개시내용와 연관된 청구항들의 용어 "포함하다"는, 주어진 수의 엘리먼트들이 그러한 청구항들에서 열거되는지 또는 특징의 부가가 그러한 청구항들에서 기재된 엘리먼트의 성질을 변환시키는 것으로 간주될 수 있는지에 관계없이, 임의의 부가적인 엘리먼트의 포함을 허용해야 한다. 본원에서 상세하게 정의된 것을 제외하고, 본원에서 사용된 모든 기술 용어들 및 과학 용어들은 청구 유효성을 유지하는 동안 가능한 일반적으로 이해되는 의미로 광범위하게 주어질 것이다.

[00119] 본 발명의 폭은 제공된 예들 및/또는 대상 명세서로 제한되는 것이 아니라 오히려 본 개시내용과 연관된 청구 언어의 범위에 의해서만 제한된다.

Claims

증강 현실을 디스플레이하기 위한 방법으로서,
전자기장 방출기를 통해, 알려진 자기장을 방출하는 단계;
전자기 센서를 통해, 방출된 알려진 자기장의 결과로서의 상기 전자기 센서에서의 자속과 관련된 파라미터를 측정하는 단계 ― 상기 전자기 센서의 월드 좌표계(world coordinate)들은 알려져 있음 ―;
상기 전자기 센서에서의 자속과 관련된 측정된 파라미터에 적어도 부분적으로 기반하여 상기 전자기장 방출기에 대한 포즈(pose) 정보를 결정하는 단계; 및
상기 전자기장 방출기에 대한 결정된 포즈 정보에 적어도 부분적으로 기반하여 사용자에게 가상 콘텐츠를 디스플레이하는 단계를 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기장 방출기는 AR 디스플레이 시스템의 모바일 컴포넌트에 상주하는, 증강 현실을 디스플레이하기 위한 방법.
제 2 항에 있어서,
상기 모바일 컴포넌트는 핸드헬드(hand-held) 컴포넌트인, 증강 현실을 디스플레이하기 위한 방법.
제 2 항에 있어서,
상기 모바일 컴포넌트는 토템(totem)인, 증강 현실을 디스플레이하기 위한 방법.
제 2 항에 있어서,
상기 모바일 컴포넌트는 상기 AR 디스플레이 시스템의 헤드 장착 컴포넌트인, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
디스플레이 시스템을 헤드 장착 컴포넌트에 하우징(housing)하는 단계를 더 포함하며,
상기 전자기 센서는 상기 헤드 장착 컴포넌트에 동작가능하게 커플링되는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기 센서의 월드 좌표계들은, 헤드 포즈 정보를 결정하기 위해 수행되는 SLAM 분석에 적어도 부분적으로 기반하여 알려지고,
상기 전자기 센서는, 디스플레이 시스템을 하우징하는 헤드 장착 컴포넌트에 동작가능하게 커플링되는, 증강 현실을 디스플레이하기 위한 방법.
제 7 항에 있어서,
상기 헤드 장착 컴포넌트에 동작가능하게 커플링된 하나 또는 그 초과의 카메라들을 통해 이미지 데이터를 캡처하는 단계를 더 포함하며,
상기 SLAM 분석은 적어도, 상기 하나 또는 그 초과의 카메라들에 의해 캡처된 데이터에 기반하여 수행되는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
전자기 센서들은 하나 또는 그 초과의 IMU(inertial measurement unit)들을 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 포즈 정보는 적어도, 월드에 대한 상기 전자기장 방출기의 포지션 및 배향에 대응하는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기장 방출기에 대응하는 월드 좌표계들을 결정하기 위해 상기 포즈 정보가 분석되는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기장 방출기에 대응하는 포즈 정보에 적어도 부분적으로 기반하여, 하나 또는 그 초과의 가상 콘텐츠들과의 상호작용을 검출하는 단계를 더 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 12 항에 있어서,
검출된 상호작용에 적어도 부분적으로 기반하여 상기 사용자에게 가상 콘텐츠를 디스플레이하는 단계를 더 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기 센서는, 3개의 방향들에서 자속을 측정하기 위한 적어도 3개의 코일들을 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 14 항에 있어서,
상기 적어도 3개의 코일들은 실질적으로 동일한 위치에 함께 하우징되고, 상기 전자기 센서는 AR 디스플레이 시스템의 헤드 장착 컴포넌트에 커플링되는, 증강 현실을 디스플레이하기 위한 방법.
제 14 항에 있어서,
상기 적어도 3개의 코일들은 AR 디스플레이 시스템의 헤드 장착 컴포넌트의 상이한 위치들에 하우징되는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기장 방출기에 의해 방출되는 자기장을 컨트롤 및 퀵 릴리즈 모듈(control and quick release module)을 통해 디커플링(decoupling)하는 단계를 더 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
부가적인 로컬화 자원들을 통해 상기 전자기장 방출기의 월드 좌표계들을 결정하는 단계를 더 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 18 항에 있어서,
상기 부가적인 로컬화 자원들은 GPS 수신기를 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 18 항에 있어서,
상기 부가적인 로컬화 자원들은 비콘(beacon)을 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기 센서는 논-솔리드 페라이트 큐브(non-solid ferrite cube)를 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기 센서는 페라이트 디스크들의 스택(stack)을 포함하는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기 센서는 복수의 페라이트 로드(rod)들을 포함하며, 상기 페라이트 로드들 각각은 폴리머 코팅을 갖는, 증강 현실을 디스플레이하기 위한 방법.
제 1 항에 있어서,
상기 전자기 센서는 시분할 멀티플렉싱(time division multiplexing) 스위치를 포함하는, 증강 현실을 디스플레이하기 위한 방법.
상기 방법 단계들을 구현하기 위한 수단들을 갖는 시스템으로서 구현되는 제 1 항 내지 제 24 항의 방법.
상기 방법 단계들을 실행하기 위한 실행가능 코드를 갖는 컴퓨터-사용가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서 구현되는 제 1 항 내지 제 24 항의 방법.