KR20160115958A

KR20160115958A - 마이크로파워 임펄스 레이더를 사용한 모바일 디스플레이 포지션 및 배향의 판정 기법

Info

Publication number: KR20160115958A
Application number: KR1020167023644A
Authority: KR
Inventors: 나타니엘 디 네이글; 마크 이 스프렝거; 폴 제이 그윈
Original assignee: 인텔 코포레이션
Priority date: 2014-03-28
Filing date: 2015-02-18
Publication date: 2016-10-06
Also published as: TWI561841B; KR101809067B1; CN106030335B; US9761049B2; CN106030335A; EP3123200A1; TW201602611A; US20150279103A1; WO2015148014A1; EP3123200A4

Abstract

실시예들은 일반적으로 마이크로파워 임펄스 레이더를 사용한 모바일 디스플레이 포지션 및 배향의 판정에 지향된다. 장치의 일 실시예는, 이미지를 표시하는 디스플레이와, 레이더 신호 펄스들을 생성하고 수신된 귀환 신호들에 기반하여 거리 데이터를 생성하는 레이더 컴포넌트들과, 레이더 신호 펄스들을 송신하고 귀환 신호들을 수신하는 레이더 안테나들과, 신호들 및 데이터를 처리하는 프로세서를 포함하되, 프로세서는, 환경 내의 실제 객체들에 대하여 디스플레이의 포지션 및 배향을 판정하고 위 장치의 사용자의 전망 지점의 포지션을 판정하기 위해 귀환 신호들을 처리하고, 가상 객체를 렌더링하는 것과 하나 이상의 실제 객체를 포함하는 이미지 상에 가상 객체를 중첩시키는 것을 포함하여 증강 이미지를 생성하되, 가상 이미지의 렌더링은 디스플레이의 판정된 포지션 및 배향과 사용자의 판정된 전망 지점에 적어도 부분적으로 기반한다.

Description

마이크로파워 임펄스 레이더를 사용한 모바일 디스플레이 포지션 및 배향의 판정 기법{DETERMINATION OF MOBILE DISPLAY POSITION AND ORIENTATION USING MICROPOWER IMPULSE RADAR}

본 문서에 기술된 실시예는 일반적으로 전자 디바이스 분야에 관련되고, 더욱 구체적으로는, 마이크로파워 임펄스 레이더(micropower impulse radar)를 사용한 모바일 디스플레이 포지션(position) 및 배향(orientation)의 판정 기법에 관련된다.

모바일 전자 디바이스의 동작에서, 그 디바이스의 포지션 및 배향의 정확한 판정이 필요할 수 있다. 일례에서, 증강 현실(augmented reality) 이미지는 실제의 객체를 포함하는 환경(environment)의 이미지를 가상 객체의 이미지와 조합하되, 그러한 이미지 컴포넌트들을 매끄럽게(seamlessly) 병합하는 조합된 이미지를 제공하는 의도를 갖고서 조합할 수 있다.

그러나, 종래의 시스템은 흔히 가상 및 실제 이미지들을 병합하는 데에 어려움이 있는데 증강 이미지(augmented image)를 묘사하는 데에 사용되는 디스플레이와 관련하여 그러한 요소들을 위한 계산된 포지션(computed position)에서의 부정확성 때문이다. 상기 계산된 포지션에서의 부정확성은 증강 이미지를 묘사하는 데에 사용되는 디스플레이의 포지션 및 배향의 측정에서의 불충분한 정확성으로부터 생긴다. 결과적으로, 가상 이미지는 흔히 환경에 제대로 고착되지(anchored) 않아, 그러한 이미지가 환경 내에서 자연스럽게 존재하거나 움직이기보다는 환경 내에서 흔히 "부유하게"(swim) 한다.

또한, 실제 및 가상 객체들의 병합은 가상 객체가 실제 객체 뒤에 부분적으로 숨겨지는 폐색(occlusion)의 정확한 묘사를 요구한다. 만약 포지션 및 배향이 정확히 제시되지 않는 경우, 실제 객체와 가상 객체 사이의 경계는 부정확할 것인데, 이는 가상 및 실제의 객체들 간의 자연스럽게 보이는 소묘보다는 증강 현실 이미지 내에 틈(gap)을 만들 수 있다.

여기에 기술된 실시예는 비슷한 참조 번호는 유사한 구성요소를 나타내는 첨부된 도면의 그림 내에 한정으로서가 아니고 예로서 보여진다.
도 1은 마이크로파워 임펄스 레이더의 포지션 및 배향의 판정을 제공하는 전자 디바이스의 일 실시예를 보여주고,
도 2는 마이크로파워 임펄스 레이더를 사용한 포지션 및 배향의 판정을 포함하는 일 실시예에 따른 장치의 구성요소들의 블록도를 보여주며,
도 3은 일 실시예에 따라 마이크로파워 임펄스 레이더 컴포넌트 또는 시스템을 보여주고,
도 4a는 일 실시예에 따라 모바일 디바이스에 의한 증강 현실 이미지의 생성을 보여주며,
도 4b는 일 실시예에 따라 환경의 조절된 카메라 뷰(adjusted camera view)를 보여주고,
도 4c는 일 실시예에 따라 증강 현실 이미지에서의 사용을 위한 가상 객체 뷰(virtual object view)의 렌더링(rendering)을 보여주며,
도 4d는 일 실시예에 다라 증강 현실 이미지를 위한 가상 정보 뷰(virtual information view)를 보여주고,
도 4e는 일 실시예에 따라 증강 현실 이미지의 생성을 위한 합성 스택(compositing stack)을 보여주며,
도 4f는 일 실시예에 따라 증강 현실 이미지의 생성을 위한 가상 객체를 보여주고,
도 4g는 일 실시예에 따라 결과적인 합성된 증강 현실 뷰(composited augmented reality view)를 보여주며,
도 5는 일 실시예에 따라 증강 현실 이미지 내의 가상 객체의 배치를 보여주고,
도 6은 마이크로파워 임펄스 레이더를 사용한 디바이스 포지션 및 배향의 판정을 위한 프로세스의 일 실시예를 보여주는 흐름도이며,
도 7은 마이크로파워 임펄스 레이더를 사용한 장치 포지션 및 배향의 판정을 가능케 하는 전자 장치 또는 시스템의 일 실시예의 예시이다.

본 문서 내에 기술된 실시예들은 일반적으로 마이크로파워 임펄스 레이더를 사용한 모바일 디스플레이 포지션 및 배향의 판정에 지향된다.

이 설명의 목적으로:

"모바일 디바이스"(mobile device)는 태블릿 컴퓨터(tablet computer), 투인원(2-in-1) 또는 분리가능(detachable) 컴퓨터, 스마트폰(smartphone), 핸드헬드(handheld) 컴퓨터, 모바일 인터넷 디바이스, 또는 처리 및 이미지 표시 능력을 포함하는 다른 모바일 전자 디바이스를 의미한다.

"마이크로파워 임펄스 레이더"(Micropower Impulse Radar) 또는 "MIR"는 짧은 전자기파 펄스를 산출하는 더 낮은 전력의 레이더 시스템을 의미한다. MIR 컴포넌트 또는 시스템은 일반적으로 짧은 펄스 내의 큰 무선 스펙트럼(radio spectrum)(500 MHz보다 더 큼)을 사용하여 초광대역(Ultra-WideBand: UWB) 신호를 산출하고, 그러한 컴포넌트 또는 시스템은 초광대역 마이크로파워 임펄스 레이더(Ultra-wideband Micropower Impulse Radar) 또는 "UMIR"로 지칭될 수 있다. 본 문서에서 사용되는 바와 같이, 레이더 시스템은 일반적으로 MIR 시스템 또는 컴포넌트로 지칭되는데, 이는 UMIR를 포함한다.

"커버"(cover) 또는 "케이스"(case)는 전자 디바이스의 내부 컴포넌트를 둘러쌀 수 있는 그 디바이스의 바깥 부분을 의미한다.

모바일 디바이스와 같은 전자 디바이스는 증강 현실(Augmented Reality: AR) 동작에서 사용될 수 있다. 증강 현실 시스템은 실제 세계 위에 시각적으로 중첩된(superimposed) 가상 객체를 렌더링한다(render). 실제의 물리적 객체를 시뮬레이션하기(simulate)를 시도하는 증강 현실 시스템이 보는 이(viewer)에게 자연스럽게 나타나기 위해서, 그 시스템은 가상 객체를, 그 객체가 실제 물리적 객체처럼 행동하도록 사용자에게 나타나는 그러한 방식으로 렌더링할 것이 요구된다. 다른 인자보다도, 가상 객체는 환경에 확고히 고착된 것으로 나타날 필요가 있고, 그러한 객체는 만약 실제 환경의 폐색하는 부분이 있는 경우 실제 객체와 동일한 방식으로 폐색되어야(occluded) 한다.

증강 현실 동작은 이전의 종래 시스템에 의해 성공의 갖가지 정도로써 시도되었다. 그러나, 종래의 시스템에 있어서의 공통적인 문제는, 환경에 대한 디스플레이의 포지션을 감지하는 데에서의 오차는 물론 디스플레이에 대하여 사용자의 우세안(dominant eye)(또는 전망 지점(vantage point))의 포지션에 관한 오차로 인해, 렌더링된 가상 객체가 "부유"하거나, 실제 환경에 부실하게 고착된 것으로 나타나는 경향이 있다는 것이다. 또한, 추가적인 문제는 환경의 폐색하는 특징부가 식별하고 특징짓기 어려우며, 따라서 종래의 시스템은 가상 객체의 폐색을 흔히 부실하게 표현한다는 것이다.

종래의 증강 현실 시스템은 객체 위치파악(object location)을 다루기 위해 비디오의 디지털 처리를 이용하였다. 그러나, 그러한 시스템과의 문제점은 시스템이 단지 시야 절두체(viewing frustum)의 2D 투영(projection)을 제공한다는 것인데, 여기서 시야 절두체는 특정한 시점(viewpoint)으로부터 보이는 3차원 공간(three-dimensional space), 예를 들어 보는 이가 디스플레이를 통해 보는 영역이다. 장면(scene) 내의 실제 깊이에 대한 정보는 2D 투영에서 상실되고, 그 투영을 원래대로 하는 것은 계산상 고비용이다. 추가로, 비디오 장면 내의 참조 객체에 의지하지 않고서 그 장면 내의 절대적인 거리 또는 깊이를 직접적으로 판정하는 것은 보통 가능하지 않고, 그러한 참조 객체의 사용은, 예컨대 증강 현실을 위해 사용되는 자립적인(self-contained) 모바일 디바이스의 목적을 무산시킨다.

몇몇 실시예에서, 장치, 시스템 및 프로세스는 주위의 환경에 대한 디스플레이의 포지션 및 배향을 정확히 판정하고 사용자의 시점에 대한 디스플레이의 포지션 및 배향을 정확히 판정하기 위해 (마이크로파워 임펄스 레이더 요소와 같은) 레이더 요소를 통해서 실제 환경에 능동적으로 질문함(interrogating)으로써 "부유" 및 폐색 문제를 다루는 증강 현실 동작을 제공한다.

도 1은 마이크로파워 임펄스 레이더를 사용한 포지션 및 배향의 판정을 제공하는 전자 디바이스의 일 실시예를 보여준다. 몇몇 실시예에서, 모바일 디스플레이의 시야 절두체 내의 환경의 깊이 맵(depth map)을 구축하기 위해, 그리고 디바이스에 대해 사용자의 시야 절두체를 정확히 배치하도록 시야 행렬(viewing matrix)을 생성하고 업데이트하기 위해 초광대역 마이크로파워 임펄스 레이더를 활용함으로써 디바이스가 동작한다. 포지션 데이터의 생성은 이하의 판정을 포함한다:

(a) 환경에 대한 모바일 디스플레이의 평면의 포지션 및 배향, 그리고

(b) 디스플레이에 대한 사용자의 시점의 포지션.

도 1에 제공되는 평면도(top view) 내에 예시된 바와 같이, 모바일 디바이스(110)는 증강 현실 애플리케이션을 위해 활용된다. 몇몇 실시예에서, 디바이스(110)는 실제 환경의 이미지를 포착하기(capture) 위한 촬상 요소(imaging element)(120)(후방 카메라(rear facing camera)를 포함하나 이에 한정되지 않음)를 포함하는데, 실제 환경은 디바이스의 카메라 시야 절두체(camera viewing frustum)(160) 내의 실제의 객체(175)를 포함하되, 도 1은 사용자 시야 절두체(user viewing frustum)(162)를 또한 보여준다. 몇몇 실시예에서, 모바일 디바이스(110)는 증강 현실 이미지를 생성하고 디스플레이 스크린(125) 상에서 사용자에게 제공하는데, 증강 현실은 가상 이미지(170)의 추가를 포함한다.

그러나, 가상 객체가 환경 내에 적절히 붙박이고(rooted) 가상 이미지의 측면에서 사용자에게 더 가까운 실제의 객체, 예를 들어 객체(175)에 의해 적절히 폐색된 것으로 나타나지 않는 한 증강 현실 이미지는 그것의 환경 내에 자연스럽게 나타나지 않을 것이다. 도 1에 예시된 바와 같이, 카메라 시점(182)으로부터의 실제 객체 실루엣 광선(actual object silhouette ray)은 실제의 객체(175)에 의한 가상 객체(170)의 폐색을 나타내지 않을 수 있지만, 사용자의 시점(182)으로부터의 실제 객체 실루엣 광선은 사용자의 시점으로부터 가상 객체(170)의 일부분의 폐색이 있음을 보인다.

몇몇 실시예에서, 모바일 디바이스는 여러 레이더 안테나를 포함하며(안테나는 객체(175)와 같은 실제의 객체의 위치 및 거리를 판정하는 데에서의 사용을 위한 여러 후방(rear facing) MIR 안테나(130 내지 132)를 포함함), 사용자(150)의 전망 지점의 포지션을 판정하는 데에서의 사용을 위한 여러 전방(front facing) MIR 안테나(134 내지 136)를 더 포함할 수 있다. 몇몇 실시예에서, 안테나는 초 마이크로파워 임펄스 레이더 신호 펄스(ultra micropower impulse radar signal pulse)를 송신하고 수신하는 데에 사용된다. MIR은 매우 작은 시간 스텝(time step)으로 객체의 포지션을 판정하는 데에서 예외적인 정확성을 제공하며, 따라서 이들 기능을 수행하는 유용하고 강력한 기술이다.

보통, 3D 렌더링 프로그램은 가상 세계 내에 가상 모델을 배향시키기(orient) 위해, 그리고 가상 세계 내에 가상 카메라를 위치시키기 위해 3D 변환 행렬을 사용한다. 증강 현실 애플리케이션에서, 시야 절두체(160)는 사용자의 시점(150)에 그리고 실제 세계 내의 모바일 디스플레이의 포지션 및 배향에 정확히 대응하여야 한다. 도 1에서 2차원으로 묘사되나, 시야 절두체는 형상이 거의 4면(four-sided) 피라미드의 것인데 사용자의 시점(150)이 피라미드 형상의 정점에 있다. 도 1은 카메라 시야 절두체 및 사용자 절두체를 위한 상이한 원점을 또한 예시한다. 몇몇 실시예에서, 시점들 간의 차이는 사용자의 시점으로부터 포착된 것으로 나타나게 하기 위해 카메라 비디오를 전처리함(pre-processing)으로써 교정될 수 있다. 몇몇 실시예에서, 사용자(150)가 축에서 벗어나서(즉, 디스플레이의 앞에서 똑바로가 아님) 디스플레이(125)를 바라보는 것을 수용하기 위하여, 카메라 시야 절두체(160)는 사용자 시야 절두체보다 더 넓을 수 있어서 카메라 비디오의 전처리가 카메라 시야 절두체의 적절한 서브세트를 사용자의 시야 절두체와 매칭되도록(match) 선택할 수 있을 것이다. 몇몇 실시예에서, 그러한 시야 절두체를 기술하기 위한 시야 행렬은 환경 내의 중요 특징부의 포지션의 감지에 기반하여 계속해서 계산된다. 몇몇 실시예에서, 이후 시야 행렬은 실제 환경에 제대로 고착된 것으로 나타나는 방식으로 가상 객체를 렌더링하기를 바라는 애플리케이션에게 모바일 플랫폼 운영 체제의 서비스로서 제공된다.

가상 객체가 증강 현실 내의 실제 객체에 의해 적어도 부분적으로 숨겨지는 폐색을 다루기 위하여, 3D(3차원) 촬상 프로그램은 대체로 Z-버퍼 또는 깊이-버퍼의 사용을 포함한다. 몇몇 실시예에서, 현재의 그리고 정확한 깊이 정보를 제공하기 위해 깊이 맵을 업데이트하는 데에 디바이스의 MIR 컴포넌트가 사용된다. 몇몇 실시예에서, MIR에 의해 수집된 깊이 맵이 3D 프로그램의 Z-버퍼를 사전초기화하는(pre-initialize) 데에 사용되는바, 따라서 실제 객체에 의해 가상 객체를 폐색하기 위한 타당한 정보를 제공한다. 가상 객체의 깊이보다 관측자에게 더 가까운 깊이를 차지하는 실제 세계 내의 객체는 가상 객체의 폐색된 부분이 렌더링되지 못하게 할 것이니, 모바일 디스플레이를 통해 보이는 바와 같이, 가상 객체가 실제 세계에 존재한다는 착각(illusion)을 더 향상시킨다. 특히, 사전초기화된 깊이는, 디스플레이 평면으로부터 객체들까지의 직교 거리가 아니라, 사용자의 안점(eye-point)으로부터, 디스플레이의 각각의 픽셀(pixel)을 거쳐, 환경 내의 가장 가까운 실제 객체까지의 거리일 것이 요구된다.

MIR 기술은 환경에 질문하고 절대적인 거리와 각도를 판정하는 직접적인 수단을 제공하는데, 이는 환경 내의 디스플레이의 배향 및 포지션을 판정하는 더 나은 수단을 제공한다. 일반적으로, MIR 컴포넌트는 3D 렌더링 프레임 레이트(3D rendering frame rate)의 몇 배인 빠르기로 작동하고, 따라서 MIR 시스템이 제공하는 시야 행렬과 깊이 맵은 언제나 갓 나온(fresh) 것이며 사용자 및 디스플레이의 포지션에 맞물린다(locked).

또한, MIR 시스템은 일반적으로, 장면으로부터 빛을 수동적으로 모으는 비디오처럼, 주변 광 조건에서의 변화에 좌우되는 것은 아니다. MIR에 의해 사용되는 레이더 에너지는 인간 관측자에게 가시적인 것은 아니어서, 그것은 AR 환경에 대한 사용자의 경험을 간섭하지 않고서 사용될 수 있다. 이것은 보통 인간 관측자에게 가시적인 광 스펙트럼을 사용하는 비디오에 있어서 일반적으로 가능하지 않다.

도 2는 마이크로파워 임펄스 레이더를 사용한 포지션 및 배향의 판정을 포함하는 일 실시예에 따른 장치의 구성요소들의 블록도를 보여준다. 몇몇 실시예에서, 모바일 디바이스(210)와 같은 장치는 하나 이상의 MIR 모듈 또는 서브시스템(230)을 포함하는 마이크로파워 임펄스 레이더 시스템을 포함하되, 모바일 디바이스는 여러 MIR 안테나를 더 포함하는데, 이들은 모바일 디바이스(210)의 커버(212)의 각각의 모퉁이(corner)에 있는 안테나로서 도 2에 예시되되, 그 안테나들은 디바이스의 커버(212)의 제1 모퉁이의 안테나(220), 제2 모퉁이의 안테나(222), 제3 모퉁이의 안테나(224), 그리고 제4 모퉁이의 안테나(226)이다. 몇몇 실시예에서, 송신 및 수신 안테나는 하나이고 동일할 수 있다. 예시의 용이함을 위해 레이더 안테나의 제1 세트만을 위한 연결이 도 2에 도시되나, 몇몇 실시예에서 모바일 디바이스는 제1 방향에서 객체 포지션을 추적하기 위한 레이더 안테나의 제1 세트, 예를 들어 예시된 안테나(220, 222, 224 및 226)와, 모바일 디바이스 사용자의 전망 지점(모바일 디바이스의 사용자의 우세안)의 포지션을 추적하기 위한 레이더 안테나의 제2 세트, 예를 들어 안테나(221, 223, 225 및 227)의 추가적인 세트를 포함한다. 몇몇 실시예에서, 모바일 디바이스는 사용자의 어느 눈이 사용자의 우세안인지에 관한 정보를 요청하고 수신할 수 있는데, 예를 들어 사용자에 의한 모바일 디바이스의 개인화의 초기 단계에서 사용자로부터 그러한 정보를 수신하는 것 또는 사용자가 먼저 증강 현실 애플리케이션을 활용하는 경우 그러한 정보를 요청하는 것이다.

몇몇 실시예에서, MIR 시스템(230)은 객체 포지션 데이터(240)와 사용자 포지션 데이터(242)(처리 유닛(232)에 제공됨)를 생성한다. 몇몇 실시예에서, 처리 유닛(232)은 또한 가상 이미지를 렌더링하는데, 이는 어떤 가상 객체 데이터(244)의 사용을 포함할 수 있되, 그 데이터는 메모리(234) 내에 저장될 수 있다. 몇몇 실시예에서, 처리 유닛(232)은 병합된 이미지 데이터(246)를 생성하는데(업데이트된 시야 행렬 및 깊이 맵의 활용을 포함함), 병합된 데이터는 사용자에게 증강 현실 이미지를 제공하기 위해 디스플레이(236)에 제공된다. 예컨대, 도 6에 예시되고 아래에서 기술된 프로세스를 보시오.

도 3은 일 실시예에 따라 마이크로파워 임펄스 레이더 컴포넌트 또는 시스템을 보여준다. 몇몇 실시예에서, 증강 현실 동작을 위한 MIR 시스템(300)은 신호 펄스들 간의 시간의 양을 달리하기 위해 잡음 데이터를 펄스 반복 생성기(pulse repetition generator)(304)에 제공할 잡음 소스(noise source)(302)를 포함한다. 잡음 소스는 여러 MIR 레이더로 하여금 동시에 동일한 공간 내에서 동작할 수 있게 하는 목적으로 제공된다. 극히 낮은 듀티 사이클(duty-cycle)(펄스 반복 레이트(pulse repetition rate)에 대비되는 펄스 폭(pulse width))과 함께, 펄스들 간의 가변적인 시간은 하나의 MIR 레이더로부터의 펄스가 수신되어 동일한 공간 내에서 동작하는 제2 MIR 레이더로부터 발신된 펄스로 오해될 일을 극히 가능성 없게 한다. 따라서, MIR 레이더 유닛들은 그것들이, 예컨대 모바일 디바이스의 일 실시예에서 동시에 동작하는 여러 MIR 유닛과 같이, 심지어 여러 유닛이 동일한 공간 내에서 동시에 동작하고 있는 경우에도 서로 간섭하지 않는다는 바람직한 특징을 갖는다. 펄스 반복 생성기는 임펄스 생성기(impulse generator)에 그리고 지연(delay)(310)에 펄스 신호를 제공하는데, 그 지연을 범위 제어(range control)(312)를 포함한다.

임펄스 생성기(306)는 발신/수신기 안테나(308)를 통한 송신을 위해 임펄스를 생성한다. 발신 안테나(320)는 송신되는 신호(330)를 산출하는데, 이는 객체와 충돌할 때 귀환 신호(return signal)(332)로서 반사된다. 귀환 신호는 (발신 안테나(320)와 동일한 유닛일 수 있는) 수신 안테나(322)에서 수신된다. 수신된 신호는 임펄스 수신기(impulse receiver)(316)에 제공되는데, 이는 또한 범위 게이트(range gate)(314)에 의해 제어되는 바와 같이 지연(310)으로부터 지연된 펄스(delayed pulse)를 수신한다. 지연 시간은 상이한 시간에 임펄스 수신기(316)로써 샘플을, 그리고 따라서 안테나로부터의 거리를 취하기 위해 스쳐가게 되는데(swept), 객체 거리들에 상관된(correlated) 펄스들의 기록(record)을 초래한다. 임펄스 수신기(316)는 수신된 신호를 처리하여 객체 포지션 데이터 및 사용자 포지션 데이터 중 하나 또는 양자 모두를 생성하도록 프로세서(318)에 결과 신호(resulting signal)를 제공한다. 몇몇 실시예에서, 프로세서는 증강 현실 디스플레이를 위한 이미지의 생성 중에 사용자의 시점에 기반하여 객체 포지션 데이터 및 가상 객체 데이터를 활용한다. 가상 객체의 렌더링 동안에, z-버퍼는 가상 객체의 적절한 부분이 폐색되고 따라서 생성되지 않게 하는데, 이는 카메라 및 가상 이미지 데이터를 병합하는 알파 합성(alpha compositing) 동작 전에 발생한다. 알파 합성 동작은 z-버퍼를 알 필요가 없다. 그러나, 생성되는 이미지들은 3D 렌더링 프로세스 동안 그것들의 정확한 레지스트레이션(registration)으로 인해 실제의 환경과 정확하게 부합한다.

구조화된 바와 같이, MIR 시스템(300)은 크기에 있어 매우 작고 전력을 거의 소모하지 않을 수 있고, 따라서 한정된 공간 및 전력 용량을 갖는 모바일 디바이스 내에서 활용될 수 있다. 생성된 MIR 임펄스는 반복 레이트(repetition rate)에 비해, 심지어 상기 반복 레이트가 몇 메가헤르츠(Megahertz)이더라도, 매우 짧다. 이런 이유로, 많은 MIR 시스템이 동일한 공간 내에서 동시에 동작하고 있을 수 있는데, 하나의 MIR로부터의 임펄스가 MIR 시스템 내의 잡음 생성 때문에 다른 것으로부터의 임펄스와는 시간 상관이 되지(time-correlated) 않는다. 따라서, 도 3에 예시된 아키텍처를 구비한 MIR 시스템(300)은, 동일한 공간 내에서 동작하는 여러 MIR 컴포넌트로부터의 임펄스를 포함하여, 외래 신호에 대해 큰 면역성(immunity)을 갖는다. 이 속성은 몇 개의 MIR 컴포넌트로 하여금, 상당한 간섭 없이 모바일 디바이스 내에서, 동시적으로 동작하면서, 호응하여(in concert) 동작할 수 있게 한다. MIR 기술은 극히 낮은 전력 레벨을 사용하고, 따라서 디바이스로부터 출력된 신호에의 인간의 노출은 일반적으로 보통의 셀룰러 전화에 의해 이용되는 RF 전력의 일부임에 또한 유의한다.

몇몇 실시예에서, 태블릿 컴퓨터와 같은 모바일 디바이스는 확산 패턴(spread pattern)으로 된 다수의 장착된(mounted) MIR 안테나, 예를 들어 모바일 디바이스의 커버의 각각의 모퉁이에 장착된 안테나를 포함한다. 이 예에서, 4개의 안테나가 (디바이스의 앞으로부터) 사용자를 대향하고 있을 수 있고 4개의 안테나가 (디바이스의 뒤로부터) 사용자에게서 멀어져 대향하고 있을 수 있다. 각각의 그러한 안테나로부터, 반사되는 임펄스 신호에 대한 비과시간(time-of-flight)을 기록하는 것이 가능하다. 레이더 임펄스의 각각의 개별 비과시간은 그것을 송신한 특정한 MIR에 중심이 있는 구(sphere)의 표면을 나타낸다. 이 예에서, 각각의 모퉁이 안테나로부터의 측정들을 조합함으로써, 각각의 안테나에서의 비과시간에 의해 판정된 반경의 4개의 구의 교차부(intersection)가 획득된다. (사용자를 향하여 또는 사용자로부터 멀어져) 동일한 방향으로 대향하는 임의의 3개의 안테나로부터의 특정한 거리 및 방위(heading)에서의 객체는 그 객체가 차지한 공간 내의 지점에서 교차하는 3개의 구 내에 반환(return)이 있을 것이다. 그러므로, 적절한 반경 구 내의 반환을 조사하는 것에 의해 그리고 이들 측정에 적용된 잘 알려진 삼각법(trigonometric) 알고리즘의 사용에 의해, 사용자의 안점으로부터 환경 내의 객체로의 반경 거리가 계산되며 z-버퍼를 초기화하는 데에 사용될 수 있다.

몇몇 실시예에서, 측정이 행해진 속도로 태블릿 컴퓨터에 대해 정지된 것으로 객체가 나타난다는 가정을 함으로써, 그리고 서로에 대해 정적인 공간적 관계로 남아 있지 않은 환경 내의 객체 또는 특징부를 폐기함(또는 다시 말해, 움직이는 객체를 폐기함)으로써, MIR들의 어레이(array)에 의해 샘플링된(sampled) 환경에 대한 태블릿 컴퓨터의 포지션 및 배향을 정확히 판정하는 것이 따라서 가능하다.

도 4a는 일 실시예에 따라 모바일 디바이스에 의한 증강 현실 이미지의 생성을 보여준다. 도 4에서, 모바일 디바이스(410), 예를 들어 태블릿 컴퓨터는, 자연스러운 설정의 증강 현실을 위해 활용된다. 예시된 바와 같이, 가상 이미지(420)(공룡)가 시야 스크린(viewing screen)(425) 내의 실제 환경 위에 중첩된다.

보는 이를 위해 사실적으로 도 4 내의 공룡 이미지(420)와 같은 가상 객체를 그리기 위해서, 가상 객체의 포지션은 환경에 대해 부자연스럽게 움직이는 것, 예를 들어, 이 예에서, 지면에 대해 부자연스럽게 움직이는 것으로 나타나지 않는 것이 필요하다. 공룡 가상 이미지 그 자체는 장면 내에서 움직이는 것으로 나타날 수 있지만, 공룡의 발은 그 발이 지면과 접촉이 되어 있는 한 지면에 대해 움직이는 것으로 나타나서는 안 된다. 추가로, 가상 객체의 일부분인 공룡 이미지(420)의 꼬리는 실제 객체인 나무에 의해 부분적으로 폐색된다. 사실적이고 자연스러운 증강 현실 이미지를 제공하기 위해서, 폐색된 가상 객체의 일부분이 나무가 시작되는 바로 그 위치(때때로 실루엣 에지(silhouette edge)로 칭해짐)에서 사라지는 것으로 나타나도록 나무와 꼬리의 교차부가 사용자의 시점에 대해 정확히 정렬되는(aligned) 것이 필요하다.

가상 객체의 포지션은, 시야 절두체의 형상 및 배향에 결국 달려 있는 시야 행렬 내의 수치들에 달려 있다. 몇몇 실시예에서, 사용자의 시점(더욱 구체적으로, 사용자의 우세안)과, 태블릿의 디스플레이 영역의 에지에 의해 정의된 시야 절두체 내에서 어디에서나 실제 세계 위에 중첩된 가상 세계 내에 가상 객체를 정확히 위치시키는 값들이 있는 MIR 데이터를 사용하여 시야 행렬이 산출된다.

도 4b 내지 4g는 일 실시예에 따라 도 4a 내에 제공된 증강 현실 이미지를 생성하기 위한 이미지들의 생성 및 중첩을 보여준다:

도 4b는 일 실시예에 따라 환경의 조절된 카메라 뷰를 보여주어, 환경의 예시된 나무들과 같은 실제 객체들(410)을 도시한다. 몇몇 실시예에서, 조절된 카메라 뷰는 실제의 환경을 포착하는 것과 그 환경의 뷰(view)를 그 뷰가 사용자의 우세안의 뷰와 매칭되도록 조절하는 것에 의해 생성된다. 이것은 도 1에 예시된 바와 같이, 현재의 사용자 시야 절두체(162)와 매칭되도록 카메라 시야 절두체(160)를 조절하는 것으로 간주될 수 있다.

도 4c는 일 실시예에 따라 증강 현실 이미지에서의 사용을 위한 가상 객체 뷰의 렌더링을 보여준다. 몇몇 실시예에서, 현재의 포지션 정보에 기반하여 증강 현실 촬상(augmented reality imaging)을 위해 가상 이미지(420)가 렌더링되는데, 그 이미지의 렌더링은 실제 객체에 의해 폐색될 이미지 부분을 배제한다. 이 예에서, MIR에 의해 판정된 바와 같은 실제의 객체의 거리 및 이미지의 가상 거리에 기반하여, 가상 이미지의 일부분은 렌더링되지 않는다. 몇몇 실시예에서, 렌더링되지 않는 부분은, 도 1에 예시된 사용자의 시점(180)으로부터 실제 객체 실루엣 광선에 의해 정의된 것과 같이, 사용자의 시점으로부터의 판정된 실제 객체 실루엣에 위치된다.

도 4d는 일 실시예에 따라 증강 현실 이미지를 위한 가상 정보 뷰를 보여준다. 몇몇 실시예에서, 3D 이미지의 렌더링은 도 4c의 가상 뷰 내에 포함된 하나 이상의 가상 객체에 관한 정보를 제공하는 정보 뷰(430)의 렌더링을 더 포함한다. 몇몇 실시예에서, 그 가상 뷰는 도 4c에 예시된 가상 객체(420)가 사용자의 시야 절두체 내에 완전히 또는 대부분 있는 경우에만 나타날 수 있다. 정보 뷰(430)가 가상 객체(420)와 동일한 방식으로 환경에 고착되는 것은 필요하지 않을 수 있으며, 따라서 정보 뷰(430)는 뷰 내의 실제의 객체에 대해서 부유할 수 있고, 예컨대, 이미지가 실제의 객체에 의해 폐색되지 않도록 증강 이미지 내의 임의의 실제의 객체의 앞에 있게 렌더링될 수 있다.

도 4e는 일 실시예에 따라 증강 현실 이미지의 생성을 위한 합성 스택을 보여준다. 도 4e에 예시된 바와 같이, 사용자의 우세안(450)의 뷰를 위한 증강 현실 이미지의 생성을 위한 합성 스택은 (도 4b에 도시된 바와 같이) 실제 객체(410)를 포함하는 조절된 카메라 비디오를 제공하는 제1 계층을 포함하는데, 이는 (도 4c에 도시된 바와 같이) 가상 3D 공룡 가상 객체(420)를 포함하는 제2 계층으로 오버레이되고(overlaid), 이는 정보 뷰 가상 객체(430)를 포함하는 제3 계층으로 오버레이된다.

도 4f는 일 실시예에 따라 증강 현실 이미지의 생성을 위한 가상 객체를 보여준다. 도시된 바와 같이, 조합된 이미지는 정보 뷰(430)로써 오버레이된 가상 이미지(420)를 포함한다.

도 4g는 일 실시예에 따라 결과적인 합성된 증강 현실 뷰를 보여준다. 도시된 바와 같이, 조절된 비디오 카메라 뷰의 실제 객체(410)는 가상 이미지(420) 및 정보 뷰(430)로써 오버레이된다. 실제 환경의 조절된 카메라 뷰와 함께 가상 이미지(420)는 실제 객체(410)의 실루엣 경계와 정확히 매칭되도록 렌더링되고, 가상 이미지(420)는 가상 이미지가 실제 환경 내에서 부유하는 것으로 나타나지 않게 가상 이미지(420)를 환경에 결부시키도록 렌더링된다.

도 5는 일 실시예에 따라 증강 현실 이미지 내의 가상 객체의 배치를 보여준다. 몇몇 실시예에서, 모바일 디바이스는 레이더 신호(530)를 송신하기 위해 그리고 귀환 신호(532)를 수신하기 위해 (개별적인 MIR 서브시스템을 포함할 수 있는) 여러 MIR 요소(520)를 활용한다. 도 5에 예시된 바와 같이, 시야 절두체(560)는, 모바일 디바이스 사용자의 전망 지점(550)(모바일 디바이스 사용자의 우세안)으로부터, 가상 객체(570)(공룡 이미지)의 오른쪽 및 뒤의 관점으로부터의 것이다. 도 5를 포착하는 카메라의 전망 지점으로부터는, 만약 가상 객체(570)가 실제 세계 내에 실제로 존재한다면, 꼬리의 폐색된 부분이 보일 것이나, 모바일 디바이스 사용자의 뷰로부터는 가상 객체(570)의 그러한 부분이 실제 객체(575)(나무)에 의해 폐색된다.

몇몇 실시예에서, 사용자를 대향하는 여러 안테나(도 5 예시 내의 4개의 안테나)에 의해서(그림 내에서 모바일 디바이스 사용자를 향해 움직이는 파면(wavefront)), 사용자의 우세안(550)의 포지션이 정확하게 판정될 수 있다. 포지션(550)은 도 5에 예시된 시야 절두체(560)의 정점이다. 몇몇 실시예에서, 정점 지점을 알고, 환경에 대한 모바일 디바이스의 정확한 포지션과 배향을 알면, (4개의 안테나 및 사용자로부터 멀어져서 움직이는 파면에 의해서 획득됨) 모바일 디바이스 사용자가 어떤 순간에 보는 바와 같은 물리적 세계와 정렬이 된 가상 세계 내의 시야 절두체(560)를 정의하는 시야 행렬이 생성되는데, 그 시야 행렬은 공룡 가상 객체(570)를 그리고 있는 3D 렌더링 프로그램이 이용할 수 있게 된다.

몇몇 실시예에서, 가상 객체의 적절한 부분(이 예에서는, 꼬리)을 폐색하기 위해서, 환경 내의 가상 객체는 깊이 맵으로써 사전초기화된 깊이 맵을 사용하여 렌더링된다. 몇몇 실시예에서, 깊이 맵의 초기화는 MIR 컴포넌트에 의해 포착될 수 있는데, 비디오 래스터(video raster) 내의 각각의 지점의 깊이는 MIR에 의해, 또는 3D 카메라 컴포넌트를 사용하여 측정된다.

도 6은 마이크로파워 임펄스 레이더를 사용한 디바이스 포지션 및 배향의 판정을 위한 프로세스의 일 실시예를 보여주는 흐름도이다. 몇몇 실시예에서, 전자 디바이스가 인에이블되고(enabled)(600) 디바이스가 증강 현실 애플리케이션에 진입(602)하는 경우에, 전자 디바이스의 MIR 시스템은 (만약 MIR 컴포넌트 또는 서브시스템이 현재 인에이블되지 않은 경우) 인에이블될 수 있고(604) 이미지 깊이 맵과 시야 행렬이 초기화될 수 있다(여기서 그러한 초기화는 MIR 동작, 비디오 카메라 동작, 또는 다른 유사한 동작에 기반할 수 있음). 몇몇 실시예에서, 증강 현실 애플리케이션은 사용자의 우세안의 식별의 요청을, 만약 이 정보가 이전에 수신되지 않았으면, 포함할 수 있다.

몇몇 실시예에서, 처리는 레이더 데이터 프로세스(610) 및 3D 이미지 생성 프로세스(620) 양자 모두를 포함할 수 있다. 몇몇 실시예에서, 레이더 데이터 프로세스(610)는 전자 디바이스의 여러 레이더 안테나로부터 레이더 신호를 송신하는 것(612)을 포함할 수 있는데, 그러한 송신은 디스플레이의 포지션 및 배향의 판정을 위해 실제 환경을 향하기도 하고 사용자의 전망 지점의 판정을 위해 사용자를 향하기도 하는 신호의 송신을 포함한다. 몇몇 실시예에서, MIR 안테나에서 귀환 신호가 수신되는데(614), 귀환 신호는 환경 내의 실제의 객체로부터의 그리고 사용자로부터의 반사를 제공한다. 몇몇 실시예에서, 프로세스는 디스플레이 포지션 데이터 및 사용자 포지션 데이터를 판정하는 것(616)과, 환경 내의 객체의 깊이를 정의하고 환경 내의 실제의 객체에 대한 모바일 디바이스를 위한 정확한 위치와 배향 및 모바일 디바이스에 대한 사용자의 포지션을 제공하는 깊이 맵 및 시야 행렬을 업데이트하는 것(618)을 더 포함한다. 몇몇 실시예에서, 생성된 데이터는, 포지션 데이터(632)에 의해 나타내어지는 바와 같이, 증강 현실 이미지의 생성에서의 사용을 위해 저장될 수 있다. 몇몇 실시예에서, 레이더 데이터 프로세스(610)는 빠르게 동작하고, 따라서 현재의 포지션 데이터(630)는 이미지의 생성을 위해 필요할 때 이용가능하다.

몇몇 실시예에서, 3D 이미지 생성 프로세스(620)는 가상 이미지 객체의 렌더링(622)을 포함할 수 있는데, 이는 포지션 데이터(630) 및 어떤 가상 이미지 데이터(632)를 메모리로부터 획득하는 것을 포함할 수 있다. 몇몇 실시예에서, 프로세스는 디지털 카메라 비디오 데이터(634)를 획득하는 것과, 사용자의 시점을 위한 조절된 카메라 비디오를 생성하기 위해 카메라 데이터 및 사용자의 우세안 지점을 중첩시키도록 비디오 데이터를 처리하는 것(624)을 더 포함한다. 몇몇 실시예에서, 프로세스는 조절된 카메라 뷰와 함께 가상 이미지의 적층(layering)에 의한 병합된 이미지 데이터의 생성(626)을 포함하는데, 병합된 이미지 데이터는 가상 이미지를 정확히 위치시키고 가상 이미지의 정확한 폐색을 제공하기 위해 이미지 깊이 맵 및 시야 행렬을 활용하여, 사용자의 현재의 시야 절두체에 따른 병합된 이미지 데이터 내의 가상 이미지의 자연스러운 배치를 초래한다. 몇몇 실시예에서, 프로세스는 병합된 이미지 데이터에 기반하여 증강 현실 이미지를 디스플레이하는 것(628)을 포함한다.

몇몇 실시예에서, 만약 증강 현실 애플리케이션으로부터 빠져나가는 것이 전혀 없는 경우, 레이더 데이터 프로세스(610) 및 3D 이미지 생성 프로세스(620)는 계속된다. 만약 증강 현실 애플리케이션으로부터 빠져나가는 것(640)이 있으면, MIR 시스템 또는 시스템들은 (적절하다면) 디스에이블될(disabled) 수 있고(642) 프로세스는 종료될 수 있다(644).

도 7은 마이크로파워 임펄스 레이더를 사용한 디스플레이 포지션 및 배향의 판정을 가능케 하는 전자 장치 또는 시스템의 일 실시예의 예시이다. 이 예시에서, 본 설명에 관계가 있지 않은 어떤 표준적이고 잘 알려진 컴포넌트는 도시되지 않는다. 별개의 구성요소들로 도시된 구성요소들은 조합될 수 있는데, 예컨대, 단일 칩 상에 여러 구성요소를 조합하는 SoC(시스템 온 칩(System on Chip))를 포함한다. 장치 또는 시스템은 태블릿 컴퓨터와 같은 모바일 디바이스를 포함할 수 있으나, 이에 한정되지 않는다.

몇몇 실시예 하에서, 장치 또는 시스템(700)(본 문서에서 일반적으로 장치로 지칭됨)은 커버(710)를 포함한다. 몇몇 실시예에서, 장치는, 비디오 이미지의 송신 및 수신을 위한 제1 레이더 안테나(720), 제2 레이더 안테나(722), 제3 레이더 안테나(724) 및 제4 레이더 안테나(726)를 포함하여, 여러 레이더 안테나를 더 포함한다. 예시의 용이함을 위해 단지 안테나의 제1 세트를 위한 연결이 도시되나, 몇몇 실시예에서 모바일 디바이스는 제1 방향에서 객체 포지션을 추적하기 위한 안테나의 제1 세트, 예를 들어 예시된 안테나(720, 722, 724 및 726)와, 제2 방향에서 모바일 디바이스의 사용자의 전망 지점(모바일 디바이스의 사용자의 우세안)의 포지션을 추적하기 위한 안테나의 제2 세트, 예를 들어 안테나(721, 723, 725 및 727)의 추가적인 세트를 포함한다. 몇몇 실시예에서, 레이더 안테나는 각각의 임펄스 신호의 타이밍(timing)의 분리를 가능하게 하기 위해 공간적으로 확산될 수 있는데, 예컨대 장치(700)의 각각의 모퉁이 내의 안테나의 위치와 같다. 몇몇 실시예에서, 안테나 각각은 장치 내의 상이한 위치 내에 있다. 몇몇 실시예에서, 안테나(720, 722, 724, 726)는 복수의 MIR 컴포넌트 또는 서브시스템(730) 레이더 데이터를 송신하고 수신한다. 몇몇 실시예에서, 안테나는 환경 내의 객체들에 대한 장치(700)의 포지션 및 배향의 판정을 위해 환경을 향하여 지향된다. 몇몇 실시예에서, 장치(700)에 관해 사용자의 전망 지점의 포지션을 판정하기 위해 반대 방향으로 (장치의 사용자를 향하여) 지향된 안테나(721, 723, 725, 727)의 추가적인 세트가 있다.

몇몇 실시예에서, 장치(700)는 데이터의 송신을 위한 상호연결(interconnect)(740) 또는 다른 통신 수단을 포함하는데, MIR 컴포넌트(730)는 상호연결(740)과 커플링된다(coupled). 상호연결(740)은 단순함을 위해 단일 상호연결로서 예시되나, 여러 상이한 상호연결 또는 버스를 나타낼 수 있고 그러한 상호연결로의 컴포넌트 연결은 달라질 수 있다. 도 7에 도시된 상호연결(740)은 적절한 브리지(bridge), 어댑터(adapter), 또는 제어기(controller)에 의해 연결된 임의의 하나 이상의 물리적 버스, 점대점(point-to-point) 연결, 또는 양자 모두를 나타내는 추상화(abstraction)이다.

몇몇 실시예에서, 장치(700)는 정보를 처리하기 위해 상호연결(740)에 커플링된 하나 이상의 프로세서(742)와 같은 처리 수단을 포함할 수 있다. 프로세서(742)는 하나 이상의 물리적 프로세서와 하나 이상의 논리적 프로세서를 포함할 수 있다. 몇몇 실시예에서, 프로세서는 하나 이상의 일반 목적 프로세서 또는 특수 프로세서 프로세서를 포함할 수 있다. 몇몇 실시예에서, 프로세서(742)는 환경 내의 실제 객체에 대한 장치의 포지션 및 배향, 장치(700)의 사용자의 전망 지점, 또는 양자 모두를 기술하는 데이터를 생성하기 위해 레이더 신호 데이터를 처리하도록 동작한다.

몇몇 실시예에서, 장치는 증강 현실 이미지의 생성을 위해 환경의 이미지의 포착을 포함할 수 있는, 카메라와 같은 하나 이상의 이미지 포착 요소(764)를 포함한다. 몇몇 실시예에서, 이미지 포착 요소는 3D 카메라를 포함하는데, 3D 카메라는 장치(700)를 위한 포지션 데이터의 초기화에서 활용될 수 있다.

몇몇 실시예에서, 장치(700)는 랜덤 액세스 메모리(Random Access Memory: RAM) 또는 다른 동적 저장 디바이스 또는 요소를 프로세서(742)에 의해 실행될 명령어 및 정보를 저장하기 위한 주 메모리(main memory)(744)로서 더 포함한다. 장치(700)는, 어떤 요소의 저장을 위해, 예컨대, 플래시 메모리를 포함하여, 하나 이상의 비휘발성 메모리 요소(746)를 포함할 수 있다. 장치(700)는 또한 프로세서(742)를 위해 정적 정보 및 명령어를 저장하기 위한 판독 전용 메모리(Read Only Memory: ROM)(748) 또는 다른 정적 저장 디바이스와, 데이터의 저장을 위한, 솔리드 스테이트 드라이브(solid state drive)와 같은 데이터 스토리지(data storage)(750)를 포함할 수 있다. 몇몇 실시예에서, 장치(700)의 메모리는, 사용자의 눈 중 어느 것이 우세한지와 같은 포지션 데이터의 판정과, 증강 현실 이미지의 표시를 위한 이미지 데이터의 생성에 관련된 데이터의 스토리지를 포함할 수 있다.

몇몇 실시예에서, 장치(700)는 상호연결(740)에 커플링된 하나 이상의 송신기 또는 수신기(752)를 포함한다. 몇몇 실시예에서, 장치(700)는 무선 통신을 통한 데이터의 송신 및 수신을 위한 하나 이상의 안테나(756)(안테나는 양극(bipole) 및 단극(monopole) 안테나를 포함할 수 있음)와, 유선 통신을 통한 데이터의 송신 및 수신을 위한 하나 이상의 포트(754)를 포함할 수 있다.

몇몇 실시예에서, 장치(700)는, 하드 버튼(hard button) 및 소프트 버튼(soft button), 조이스틱(joy stick), 마우스(mouse) 또는 다른 포인팅 디바이스(pointing device), 음성 명령 시스템(voice command system), 또는 제스처 인식 시스템(gesture recognition system)을 포함하여, 데이터의 입력을 위한 하나 이상의 입력 디바이스(758)를 포함한다.

몇몇 실시예에서, 장치(700)는 출력 디스플레이(760)를 포함하는데, 디스플레이(760)는 사용자에게 정보 또는 콘텐트를 디스플레이하기 위해, 액정 디스플레이(Liquid Crystal Display: LCD) 또는 임의의 다른 디스플레이 기술을 포함할 수 있다. 몇몇 환경에서, 디스플레이(760)는 입력 디바이스(758)의 적어도 일부로서 또한 활용되는 터치 스크린을 포함할 수 있다. 몇몇 실시예에서, 출력 디스플레이(760)는 증강 현실 이미지의 디스플레이 내에서 활용될 수 있다.

장치(700)는 배터리(battery) 또는 다른 전원(power source)(762)을 또한 포함할 수 있는데, 이는 태양 전지(solar cell), 연료 전지(fuel cell), 충전된 커패시터(charged capacitor), 근접장 유도 커플링(near field inductive coupling), 또는 장치(700) 내에서 전력을 제공하거나 생성하기 위한 다른 시스템이나 디바이스를 포함할 수 있다. 전원(762)에 의해 제공되는 전력은 장치(700)의 요소에 요구에 따라 배분될 수 있다.

위의 설명에서, 설명의 목적으로, 기술된 실시예의 철저한 이해를 제공하기 위해서 다수의 특정 세부사항이 개진된다. 그러나, 실시예는 이들 특정 세부사항 중 일부 없이 실시될 수 있음은 당업자에게 분명할 것이다. 다른 사례에서, 잘 알려진 구조 및 디바이스는 블록도 형태로 도시된다. 예시된 컴포넌트들 간에 중간 구조(intermediate structure)가 있을 수 있다. 본 문서 내에 기술되거나 예시된 컴포넌트는 예시되거나 기술되지 않은 추가적인 입력 또는 출력을 가질 수 있다.

다양한 실시예는 다양한 프로세스를 포함할 수 있다. 이들 프로세스는 하드웨어 컴포넌트에 의해 수행될 수 있거나 컴퓨터 프로그램 또는 머신 실행가능(machine-executable) 명령어(이는 그 명령어로써 프로그래밍된(programmed) 일반 목적 또는 특수 목적 프로세서 또는 로직 회로로 하여금 프로세스를 수행하게 하는 데에 사용될 수 있음)로 실체화될(embodied) 수 있다. 대안적으로, 프로세스는 하드웨어와 소프트웨어의 조합에 의해 수행될 수 있다.

다양한 실시예의 일부는, 어떤 실시예에 따라 프로세스를 수행하기 위한 하나 이상의 프로세서에 의한 실행을 위해 컴퓨터(또는 다른 전자 디바이스)를 프로그래밍하는 데에 사용될 수 있는 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독가능(computer-readable) 매체를 포함할 수 있는 컴퓨터 프로그램 제품으로서 제공될 수 있다. 컴퓨터 판독가능 매체는 자기 디스크, 광학 디스크, 콤팩트 디스크 판독 전용 메모리(Compact Disk Read-Only Memory: CD-ROM), 그리고 자기-광학 디스크, 판독 전용 메모리(Read-Only Memory: ROM), 랜덤 액세스 메모리(Random Access Memory: RAM), 소거가능 프로그램가능 판독 전용 메모리(Erasable Programmable Read-Only Memory: EPROM), 전기적 소거가능 프로그램가능 판독 전용 메모리(Electrically-Erasable Programmable Read-Only Memory: EEPROM), 자석 또는 광학 카드, 플래시 메모리, 또는 전자적 명령어를 저장하는 데에 적합한 다른 유형의 컴퓨터 판독가능 매체를 포함할 수 있으나, 이에 한정되지 않는다. 더욱이, 실시예는 또한 컴퓨터 프로그램 제품으로서 다운로드될 수 있는데, 프로그램은 원격 컴퓨터(remote computer)로부터 요청 컴퓨터(requesting computer)로 전송될 수 있다.

방법들 중 다수가 그것들의 가장 기본적인 형태로 기술되나, 본 실시예의 기본적인 범주로부터 벗어나지 않고서 프로세스가 방법들 중 임의의 것에 추가되거나 그로부터 삭제될 수 있고 정보가 기술된 메시지 중 임의의 것에 추가되거나 그로부터 공제될 수 있다. 많은 추가 수정 및 적응이 행해질 수 있음은 당업자에게 분명할 것이다. 특정한 실시예는 개념을 한정하기 위해 제공되지 않지만 그것을 예시하기 위해 제공된다. 실시예의 범주는 위에서 제공된 특정 예에 의해서 정해지면 안 되고 아래의 청구항에 의해서만 정해져야 한다.

만약 구성요소 "A"가 구성요소 "B"에 또는 이와 커플링된다고 하는 경우, 구성요소 A는 구성요소 B에 직접적으로 커플링되거나, 예컨대, 구성요소 C를 통해 간접적으로 커플링될 수 있다. 컴포넌트, 특징, 구조, 프로세스, 또는 특성 A가 컴포넌트, 특징, 구조, 프로세스, 또는 특성 B를 "유발한다"고 명세서 또는 청구항이 언급하는 경우, 그것은 "A"가 "B"의 적어도 부분적인 원인임을 의미하되 "B"를 유발하는 데에 도움이 되는 적어도 하나의 다른 컴포넌트, 특징, 구조, 프로세스, 또는 특성이 또한 있을 수 있다. 만약 컴포넌트, 특징, 구조, 프로세스, 또는 특성이 포함"될 수 있다", 포함"되는 수가 있다", 포함"될 수가 있다"고 명세서가 나타내는 경우, 그 특정한 컴포넌트, 특징, 구조, 프로세스, 또는 특성은 포함될 것이 요구되는 것은 아니다. 만약 명세서 또는 청구항이 "한" 또는 "일" 구성요소를 나타내는 경우, 이것은 기술된 구성요소 중 오직 하나가 있음을 의미하지 않는다.

실시예는 구현 또는 예이다. 명세서 내에서의 "일 실시예", "하나의 실시예", "몇몇 실시예" 또는 "다른 실시예"에 대한 언급은 그 실시예와 관련하여 기술된 특정한 특징, 구조, 또는 특성이 반드시 모든 실시예는 아니나 적어도 몇몇 실시예 내에 포함됨을 의미한다. "일 실시예", "하나의 실시예", 또는 "몇몇 실시예"의 다양한 출현은 반드시 모두 동일한 실시예를 나타내고 있는 것은 아니다. 예시적인 실시예의 전술한 설명에서, 다양한 특징은 때때로 개시를 간소화하고 다양한 신규 양상 중 하나 이상의 양상의 이해에 도움이 되는 목적으로 단일의 실시예, 그림, 또는 이의 설명 내에 함께 그룹핑됨(grouped)이 인식되어야 한다. 그러나, 이 개시 방법은 청구된 실시예가 각각의 청구항 내에 명시적으로 진술된 것보다 더 많은 특징을 요구한다는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 이하의 청구항이 반영하는 바와 같이, 신규 양상은 단일의 전술한 개시된 실시예의 모든 특징보다 더 적은 데에 있다. 그러므로, 청구항은 이 설명 내에 이로써 명시적으로 포함되는데, 각각의 청구항은 별개의 실시예로서 자립해 있다.

몇몇 실시예에서, 장치의 일 실시예는, 이미지를 표시하는 디스플레이와, 레이더 신호 펄스들을 생성하고 수신된 귀환 신호들에 기반하여 거리 데이터를 생성하는 레이더 컴포넌트들과, 위 레이더 신호 펄스들을 송신하고 위 귀환 신호들을 수신하는 레이더 안테나들과, 신호들 및 데이터를 처리하는 프로세서를 포함하되, 위 프로세서는, 환경 내의 실제 객체들에 대하여 위 디스플레이의 포지션 및 배향을 판정하기 위해 그리고 위 장치의 사용자의 전망 지점의 포지션을 판정하기 위해 위 레이더 안테나들에 의해 수신된 위 귀환 신호들을 처리하고, 가상 객체를 렌더링하는 것과 하나 이상의 실제 객체를 포함하는 이미지 상에 위 가상 객체를 중첩시키는 것을 포함하여 증강 이미지를 생성하되, 위 가상 이미지의 위 렌더링은 위 디스플레이의 위 판정된 포지션 및 배향과 위 장치의 위 사용자의 위 판정된 전망 지점에 적어도 부분적으로 기반한다.

몇몇 실시예에서, 위 레이더 컴포넌트들은 마이크로파워 임펄스 레이더(Micropower Impulse Radar: MIR) 컴포넌트들이다.

몇몇 실시예에서, 위 레이더 안테나들은 제1 방향으로 레이더 신호 펄스들을 송신하는 레이더 안테나들의 제1 세트 및 제2 방향으로 레이더 신호 펄스들을 송신하는 레이더 안테나들의 제2 세트를 포함한다.

몇몇 실시예에서, 위 귀환 신호들을 처리하는 것은 실제 객체들의 거리를 제공하는 깊이 맵을 업데이트하는 것을 포함한다.

몇몇 실시예에서, 위 귀환 신호들을 처리하는 것은 시야 행렬을 업데이트하는 것을 포함하되, 위 시야 행렬은 위 장치의 사용자의 시야 절두체를 정의한다.

몇몇 실시예에서, 위 가상 이미지를 렌더링하는 것은 제1 실제 객체에 의해 폐색된 위 가상 이미지의 일부분을 배제하되, 위 폐색은 위 깊이 맵 및 위 시야 행렬에 기반한다.

몇몇 실시예에서, 위 프로세서는 위 환경의 위 이미지를 위 사용자의 위 전망 지점으로부터 포착된 것으로 나타나도록 전처리한다.

몇몇 실시예에서, 위 장치는 모바일 디바이스이다. 몇몇 실시예에서, 위 레이더 안테나들 각각은 위 모바일 디바이스 내의 상이한 위치 내에 있다.

몇몇 실시예에서, 위 사용자의 위 전망 지점은 위 사용자의 우세안이다.

몇몇 실시예에서, 방법은, 카메라로써 환경의 이미지를 포착하는 단계와, 모바일 디바이스 내의 레이더 안테나들로부터 레이더 신호 펄스들을 송신하는 단계와, 위 레이더 안테나들에서 귀환 신호들을 수신하는 단계와, 위 환경 내의 실제 객체들에 대한 디스플레이의 포지션 및 배향과 위 모바일 디바이스의 사용자의 전망 지점의 포지션을 판정하기 위해 위 레이더 안테나들에서 수신된 위 귀환 신호들을 처리하는 단계와, 3D(3차원) 가상 객체를 렌더링하는 단계(위 가상 객체의 위 렌더링은 위 디스플레이의 위 판정된 포지션 및 배향과 위 사용자의 위 전망 지점의 위 판정된 포지션에 적어도 부분적으로 기반함)와, 위 환경의 위 이미지 상에 위 가상 객체를 중첩시킴으로써 증강 현실 이미지를 생성하는 단계를 포함한다.

몇몇 실시예에서, 위 레이더 신호 펄스들은 마이크로파워 임펄스 레이더(Micropower Impulse Radar: MIR) 시스템을 사용하여 송신된다.

몇몇 실시예에서, 위 레이더 신호 펄스들을 송신하는 것은, 위 환경을 향해 위 모바일 디바이스 내의 레이더 안테나들의 제1 세트로부터 레이더 신호 펄스들을 송신하는 것과, 위 모바일 디바이스의 사용자를 향해 위 모바일 디바이스 내의 레이더 안테나들의 제2 세트로부터 레이더 신호 펄스들을 송신하는 것과, 위 제1 세트 및 제2 세트의 레이더 안테나들에서 귀환 신호들을 수신하는 것을 포함한다.

몇몇 실시예에서, 위 방법은 위 환경의 위 이미지를 위 사용자의 위 전망 지점으로부터 포착된 것으로 나타나도록 전처리하는 단계를 더 포함한다.

몇몇 실시예에서, 위 레이더 안테나들에서 수신된 위 귀환 신호들을 처리하는 단계는 위 환경 내의 객체들의 거리들을 제공하는 깊이 맵을 업데이트하는 단계를 포함한다.

몇몇 실시예에서, 위 레이더 안테나들에서 수신된 위 귀환 신호들을 처리하는 단계는 시야 행렬을 업데이트하는 단계를 포함하되, 위 시야 행렬은 위 모바일 디바이스의 위 사용자의 시야 절두체를 정의한다.

몇몇 실시예에서, 모바일 디바이스는, 이미지를 표시하는 터치스크린 디스플레이와, 환경의 이미지를 포착하는 카메라와, 복수의 레이더 신호 펄스들을 생성하고 수신된 귀환 신호들에 기반하여 거리 데이터를 생성하는 마이크로파워 임펄스 레이더(Micropower Impulse Radar: MIR) 시스템(위 MIR 시스템은 레이더 신호 펄스들을 송신하고 수신하는 레이더 안테나들을 포함함)과, 신호들 및 데이터를 처리하는 프로세서를 포함하되, 위 프로세서는, 위 환경 내의 실제 객체들에 대하여 위 디스플레이의 포지션 및 배향을 판정하기 위해, 그리고 위 모바일 디바이스의 사용자의 전망 지점의 포지션을 판정하기 위해 위 레이더 안테나들에 의해 수신된 귀환 신호들을 처리하고, 하나 이상의 가상 객체를 렌더링하는 것과 위 환경의 위 이미지 상에 위 하나 이상의 가상 객체를 중첩시키는 것을 포함하여 증강 이미지를 생성하되, 위 하나 이상의 가상 이미지의 위 렌더링은 위 디스플레이의 위 판정된 포지션 및 배향과 위 모바일 디바이스의 위 사용자의 위 전망 지점에 적어도 부분적으로 기반한다.

몇몇 실시예에서, 위 귀환 신호들을 처리하는 것은 실제 객체들의 거리들을 제공하는 깊이 맵을 업데이트하는 것을 포함한다.

몇몇 실시예에서, 위 귀환 신호들을 처리하는 것은 시야 행렬을 업데이트하는 것을 포함하되, 위 시야 행렬은 위 모바일 디바이스의 위 사용자의 시야 절두체를 정의한다.

몇몇 실시예에서, 제1 가상 이미지를 렌더링하는 것은 제1 실제 객체에 의해 폐색된 제1 가상 이미지의 일부분을 배제하되, 위 폐색은 위 깊이 맵 및 위 시야 행렬에 기반한다.

몇몇 실시예에서, 위 MIR 시스템은 초광대역 마이크로파워 임펄스 레이더(Ultra-wideband Micropower Impulse Radar: UMIR) 시스템이다.

몇몇 실시예에서, 위 MIR 시스템은 복수의 MIR 서브시스템을 포함한다.

몇몇 실시예에서, 프로세서에 의해 실행되는 경우 위 프로세서로 하여금, 환경의 이미지를 포착하는 것과, 레이더 안테나들로부터 마이크로파워 임펄스 레이더 신호 펄스들을 송신하는 것과, 위 레이더 안테나들에서 귀환 신호들을 수신하는 것과, 위 환경 내의 실제 객체들에 대하여 모바일 디바이스의 디스플레이 스크린의 포지션 및 배향을 판정하기 위해 그리고 위 모바일 디바이스의 사용자의 우세안의 포지션을 판정하기 위해 위 귀환 신호들을 처리하는 것과, 가상 객체를 렌더링하는 것(위 가상 객체의 위 렌더링은 위 디스플레이의 위 판정된 포지션 및 배향과 위 사용자의 위 우세안의 위 판정된 포지션에 적어도 부분적으로 기반함)과, 위 환경의 위 이미지 상에 위 가상 객체를 중첩시킴으로써 증강 현실 이미지를 생성하는 것을 포함하는 동작을 수행하게 하는 명령어의 시퀀스를 나타내는 데이터가 저장된 비일시적 컴퓨터 판독가능 저장 매체이다.

몇몇 실시예에서, 위 레이더 안테나들에서 수신된 위 귀환 신호들을 처리하는 것은 위 환경 내의 객체들의 거리들을 제공하는 깊이 맵을 업데이트하는 것을 포함한다.

몇몇 실시예에서, 위 레이더 안테나들에서 수신된 위 귀환 신호들을 처리하는 것은 시야 행렬을 업데이트하는 것을 포함하되, 위 시야 행렬은 위 모바일 디바이스의 사용자의 시야 절두체를 정의한다.

몇몇 실시예에서, 위 명령어는 위 프로세서로 하여금 위 환경의 위 이미지를 위 사용자의 위 우세안의 뷰(view)와 매칭되도록 조절하는 것을 포함하는 동작을 수행하게 하는 명령어를 더 포함한다.

몇몇 실시예에서, 위 명령어는 위 프로세서로 하여금 위 디스플레이 스크린 상에 위 증강 이미지를 디스플레이하는 것을 포함하는 동작을 수행하게 하는 명령어를 더 포함한다.

몇몇 실시예에서, 위 명령어는 위 프로세서로 하여금 위 사용자의 위 우세안의 식별(identification)을 요청하는 것을 포함하는 동작을 수행하게 하는 명령어를 더 포함한다.

몇몇 실시예에서, 장치는, 환경의 이미지를 포착하는 수단과, 복수의 레이더 안테나로부터 마이크로파워 임펄스 레이더 신호 펄스들을 송신하는 수단과, 위 복수의 레이더 안테나에서 귀환 신호들을 수신하는 수단과, 위 환경 내의 실제 객체들에 대하여 모바일 디바이스의 디스플레이 스크린의 포지션 및 배향을 판정하기 위해 그리고 위 모바일 디바이스의 사용자의 우세안의 포지션을 판정하기 위해 위 귀환 신호들을 처리하는 수단과, 가상 객체를 렌더링하는 수단(위 가상 객체의 위 렌더링은 위 디스플레이의 위 판정된 포지션 및 배향과 위 사용자의 위 우세안의 위 판정된 포지션에 적어도 부분적으로 기반함)과, 위 환경의 위 이미지 상에 위 가상 객체를 중첩시킴으로써 증강 현실 이미지를 생성하는 수단을 포함한다.

몇몇 실시예에서, 위 복수의 레이더 안테나에서 수신된 위 귀환 신호들을 처리하는 수단은 위 환경 내의 객체들의 거리들을 제공하는 깊이 맵을 업데이트하는 수단을 포함한다.

몇몇 실시예에서, 위 복수의 레이더 안테나에서 수신된 위 귀환 신호들을 처리하는 수단은 시야 행렬을 업데이트하는 수단을 포함하되, 위 시야 행렬은 위 모바일 디바이스의 사용자의 시야 절두체를 정의한다.

몇몇 실시예에서, 위 장치는 위 환경의 위 이미지를 위 사용자의 위 우세안의 뷰와 매칭되도록 조절하는 수단을 더 포함한다.

몇몇 실시예에서, 위 장치는 위 디스플레이 스크린 상에 위 증강 이미지를 디스플레이하는 수단을 더 포함한다.

Claims

장치로서,
이미지를 표시하는 디스플레이와,
복수의 레이더 신호 펄스를 생성하고 수신된 귀환 신호에 기반하여 거리 데이터를 생성하는 레이더 컴포넌트와,
상기 복수의 레이더 신호 펄스를 송신하고 상기 귀환 신호를 수신하는 복수의 레이더 안테나와,
신호 및 데이터를 처리하는 프로세서를 포함하되, 상기 프로세서는,
환경 내의 실제 객체에 대하여 상기 디스플레이의 포지션(position) 및 배향(orientation)을 판정하기 위해 그리고 상기 장치의 사용자의 전망 지점(vantage point)의 포지션을 판정하기 위해 상기 복수의 레이더 안테나에 의해 수신된 상기 귀환 신호를 처리하고,
가상 객체를 렌더링하는 것(rendering)과 하나 이상의 실제 객체를 포함하는 이미지 상에 상기 가상 객체를 중첩시키는 것(superimposing)을 포함하여 증강 이미지(augmented image)를 생성하되, 가상 이미지의 렌더링은 상기 디스플레이의 상기 판정된 포지션 및 배향과 상기 장치의 상기 사용자의 상기 판정된 전망 지점에 적어도 부분적으로 기반하는,
장치.
제1항에 있어서,
상기 레이더 컴포넌트는 마이크로파워 임펄스 레이더(Micropower Impulse Radar: MIR) 컴포넌트인,
장치.
제1항에 있어서,
상기 복수의 레이더 안테나는 제1 방향으로 레이더 신호 펄스를 송신하는 제1 복수의 레이더 안테나 및 제2 방향으로 레이더 신호 펄스를 송신하는 제2 복수의 레이더 안테나를 포함하는,
장치.
제1항에 있어서,
상기 귀환 신호를 처리하는 것은 실제 객체의 거리를 제공하는 깊이 맵(depth map)을 업데이트하는 것을 포함하는,
장치.
제4항에 있어서,
상기 귀환 신호를 처리하는 것은 시야 행렬(viewing matrix)을 업데이트하는 것을 포함하되, 상기 시야 행렬은 상기 장치의 사용자의 시야 절두체(viewing frustum)를 정의하는,
장치.
제5항에 있어서,
상기 가상 이미지를 렌더링하는 것은 제1 실제 객체에 의해 폐색된(occluded) 상기 가상 이미지의 일부분을 배제하되, 상기 폐색은 상기 깊이 맵 및 상기 시야 행렬에 기반하는,
장치.
제1항에 있어서,
상기 프로세서는 상기 환경의 이미지를 상기 사용자의 상기 전망 지점으로부터 포착된 것으로 나타나도록 전처리하는(preprocessing),
장치.
제1항에 있어서,
상기 장치는 모바일 디바이스인,
장치.
제7항에 있어서,
상기 복수의 레이더 안테나 각각은 상기 모바일 디바이스 내의 상이한 위치 에 있는,
장치.
카메라로써 환경의 이미지를 포착하는 단계와,
모바일 디바이스 내의 복수의 레이더 안테나로부터 레이더 신호 펄스를 송신하는 단계와,
상기 복수의 레이더 안테나에서 귀환 신호를 수신하는 단계와,
상기 환경 내의 실제 객체에 대한 디스플레이의 포지션 및 배향과 상기 모바일 디바이스의 사용자의 전망 지점의 포지션을 판정하기 위해 상기 복수의 레이더 안테나에서 수신된 상기 귀환 신호를 처리하는 단계와,
3D(3차원) 가상 객체를 렌더링하는 단계 - 상기 가상 객체의 렌더링은 상기 디스플레이의 상기 판정된 포지션 및 배향과 상기 사용자의 상기 전망 지점의 상기 판정된 포지션에 적어도 부분적으로 기반함 - 와,
상기 환경의 이미지 상에 상기 가상 객체를 중첩시킴으로써 증강 현실 이미지를 생성하는 단계를 포함하는
방법.
제10항에 있어서,
상기 레이더 신호 펄스는 마이크로파워 임펄스 레이더(Micropower Impulse Radar: MIR) 시스템을 사용하여 송신되는,
방법.
제10항에 있어서,
상기 레이더 신호 펄스를 송신하는 것은,
상기 환경을 향해 상기 모바일 디바이스 내의 제1 복수의 레이더 안테나로부터 레이더 신호 펄스를 송신하는 것과,
상기 모바일 디바이스의 사용자를 향해 상기 모바일 디바이스 내의 제2 복수의 레이더 안테나로부터 레이더 신호 펄스를 송신하는 것과,
상기 제1 복수의 레이더 안테나 및 상기 제2 복수의 레이더 안테나에서 귀환 신호를 수신하는 것을 포함하는,
방법.
제10항에 있어서,
상기 환경의 이미지를 상기 사용자의 상기 전망 지점으로부터 포착된 것으로 나타나도록 전처리하는 단계를 더 포함하는
방법.
제10항에 있어서,
상기 복수의 레이더 안테나에서 수신된 상기 귀환 신호를 처리하는 단계는 상기 환경 내의 객체의 거리를 제공하는 깊이 맵을 업데이트하는 단계를 포함하는,
방법.
제14항에 있어서,
상기 복수의 레이더 안테나에서 수신된 상기 귀환 신호를 처리하는 단계는 시야 행렬을 업데이트하는 단계를 포함하되, 상기 시야 행렬은 상기 모바일 디바이스의 상기 사용자의 시야 절두체를 정의하는,
방법.
모바일 디바이스로서,
이미지를 표시하는 터치스크린 디스플레이와,
환경의 이미지를 포착하는 카메라와,
복수의 레이더 신호 펄스를 생성하고 수신된 귀환 신호에 기반하여 거리 데이터를 생성하는 마이크로파워 임펄스 레이더(Micropower Impulse Radar: MIR) 시스템 - 상기 MIR 시스템은 레이더 신호 펄스를 송신하고 수신하는 복수의 레이더 안테나를 포함함 - 과,
신호 및 데이터를 처리하는 프로세서를 포함하되, 상기 프로세서는,
상기 환경 내의 실제 객체에 대하여 상기 디스플레이의 포지션 및 배향을 판정하기 위해, 그리고 상기 모바일 디바이스의 사용자의 전망 지점의 포지션을 판정하기 위해 상기 복수의 레이더 안테나에 의해 수신된 귀환 신호를 처리하고,
하나 이상의 가상 객체를 렌더링하는 것과 상기 환경의 이미지 상에 상기 하나 이상의 가상 객체를 중첩시키는 것을 포함하여 증강 이미지를 생성하되, 하나 이상의 가상 이미지의 렌더링은 상기 디스플레이의 상기 판정된 포지션 및 배향과 상기 모바일 디바이스의 상기 사용자의 상기 전망 지점에 적어도 부분적으로 기반하는,
모바일 디바이스.
제16항에 있어서,
상기 귀환 신호를 처리하는 것은 실제 객체의 거리를 제공하는 깊이 맵을 업데이트하는 것을 포함하는,
모바일 디바이스.
제17항에 있어서,
상기 귀환 신호를 처리하는 것은 시야 행렬을 업데이트하는 것을 포함하되, 상기 시야 행렬은 상기 모바일 디바이스의 상기 사용자의 시야 절두체를 정의하는,
모바일 디바이스.
제16항에 있어서,
제1 가상 이미지를 렌더링하는 것은 제1 실제 객체에 의해 폐색된 제1 가상 이미지의 일부분을 배제하되, 상기 폐색은 상기 깊이 맵 및 상기 시야 행렬에 기반하는,
모바일 디바이스.
제16항에 있어서,
상기 복수의 레이더 안테나는 제1 방향으로 레이더 신호 펄스를 송신하는 제1 복수의 레이더 안테나 및 제2 방향으로 레이더 신호 펄스를 송신하는 제2 복수의 레이더 안테나를 포함하는,
모바일 디바이스.
비일시적 컴퓨터 판독가능 저장 매체로서,
프로세서에 의해 실행되는 경우 상기 프로세서로 하여금,
환경의 이미지를 포착하는 것과,
복수의 레이더 안테나로부터 마이크로파워 임펄스 레이더 신호 펄스를 송신하는 것과,
상기 복수의 레이더 안테나에서 귀환 신호를 수신하는 것과,
상기 환경 내의 실제 객체에 대하여 모바일 디바이스의 디스플레이 스크린의 포지션 및 배향을 판정하기 위해 그리고 상기 모바일 디바이스의 사용자의 우세안(dominant eye)의 포지션을 판정하기 위해 상기 귀환 신호를 처리하는 것과,
가상 객체를 렌더링하는 것 - 상기 가상 객체의 렌더링은 상기 디스플레이의 상기 판정된 포지션 및 배향과 상기 사용자의 상기 우세안의 상기 판정된 포지션에 적어도 부분적으로 기반함 - 과,
상기 환경의 이미지 상에 상기 가상 객체를 중첩시킴으로써 증강 현실 이미지를 생성하는 것
을 포함하는 동작을 수행하게 하는 명령어의 시퀀스를 나타내는 데이터가 저장된
비일시적 컴퓨터 판독가능 저장 매체.
제21항에 있어서,
상기 복수의 레이더 안테나에서 수신된 상기 귀환 신호를 처리하는 것은 상기 환경 내의 객체의 거리를 제공하는 깊이 맵을 업데이트하는 것을 포함하는,
비일시적 컴퓨터 판독가능 저장 매체.
제22항에 있어서,
상기 복수의 레이더 안테나에서 수신된 상기 귀환 신호를 처리하는 것은 시야 행렬을 업데이트하는 것을 포함하되, 상기 시야 행렬은 상기 모바일 디바이스의 상기 사용자의 시야 절두체를 정의하는,
비일시적 컴퓨터 판독가능 저장 매체.
제21항에 있어서,
상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 환경의 이미지를 상기 사용자의 상기 우세안의 뷰(view)와 매칭되도록 조절하는 것을 포함하는 동작을 수행하게 하는 명령어를 더 포함하는
비일시적 컴퓨터 판독가능 저장 매체.
제21항에 있어서,
상기 프로세서에 의해 실행되는 경우 상기 프로세서로 하여금 상기 디스플레이 스크린 상에 상기 증강 이미지를 디스플레이하는 것을 포함하는 동작을 수행하게 하는 명령어를 더 포함하는
비일시적 컴퓨터 판독가능 저장 매체.