KR20170092632A

KR20170092632A - 혼합 현실 시각화 및 방법

Info

Publication number: KR20170092632A
Application number: KR1020177018143A
Authority: KR
Inventors: 매튜 애쉬만
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2014-12-04
Filing date: 2015-11-24
Publication date: 2017-08-11
Also published as: EP3227862A1; CN107004303A; WO2016089655A1; US20160163063A1; JP2018503165A

Abstract

시각화 디바이스의 사용자에게 혼합 현실 뷰를 제공하는 기술이 개시된다. 디바이스는 디바이스의 디스플레이 영역 상에서, 사용자의 환경의 실세계 실시간 뷰를 사용자에게 제공한다. 디바이스는 추가적으로 가상 현실 창이 사용자의 환경의 실세계 실시간 뷰 내에서 디스플레이되어야 하는 위치를 결정하고, 사용자의 환경의 실세계 실시간 뷰 내의 결정된 위치에서 가상 현실 창을 디스플레이한다. 디바이스는 추가적으로 사용자의 환경의 실세계 실시간 뷰 내에서 하나 이상의 증강 현실 객체들을 디스플레이할 수 있다.

Description

혼합 현실 시각화 및 방법{MIXED-REALITY VISUALIZATION AND METHOD}

본 발명의 적어도 하나의 실시예는 가상 현실(virtual reality; VR) 및 증강 현실(augmented reality; AR) 디스플레이 시스템에 관한 것이며, 보다 상세하게는 디스플레이된 장면에서 VR, AR 및/또는 실세계 시각 콘텐츠를 결합하기 위한 디바이스 및 방법에 관한 것이다.

가상 현실(VR)은 다양한 실세계 및 상상의 환경들에서 사용자의 물리적 존재를 시뮬레이션할 수 있는 컴퓨터 시뮬레이션 환경이다. 종래의 VR 디스플레이 시스템은 물리적 현실과의 최소한의 대응관계를 갖는 3차원(3D) 콘텐츠를 디스플레이하는데, 이것은 "단절된" (하지만 잠재적으로 무제한적인) 사용자 경험을 초래시킨다. 증강 현실(AR)은 비디오, 그래픽, 사운드 등과 같은, 컴퓨터로 생성된 지각 입력에 의해 요소들이 증강(또는 보완)된, 물리적, 실세계 환경의 직접적 또는 간접적 라이브 뷰(live direct or indirect view)이다. 오늘날의 AR 시스템은 물리학 및 폐색에 대한 표면 재구성과 같이, 실세계 인식을 3D 증강과 병합하려고 시도하고 있다.

여기서는 VR 및 AR 콘텐츠의 조합을 비롯하여, 혼합 현실 시각적 콘텐츠를 사용자에게 제공함으로써, 이 양자 유형들의 시각화 방법의 장점들을 제공하기 위한 시각화 방법 및 시각화 디바이스(개개별로 그리고 총칭하여, "시각화 기술" 또는 "기술"이라 함)가 소개된다. 본 기술은 사용자 환경의 실세계 뷰(real-world view) 내에서 다른 우주 또는 환경(즉, VR 환경)으로의 물리적 창의 환영(illusion)을 사용자에게 제공한다. 시각화 기술은, 예를 들어, 스마트폰 또는 태블릿 컴퓨터와 같은 표준적인 핸드헬드 모바일 컴퓨팅 디바이스에 의해 또는 머리 장착형 디스플레이(head-mounted display; HMD) 시스템과 같은 특수 목적 시각화 디바이스에 의해 구현될 수 있다.

특정 실시예들에서, 시각화 디바이스는 디바이스의 디스플레이 영역 상에서 사용자(또는 사용자들)에게 사용자(또는 디바이스)의 실세계 실시간 뷰("현실 뷰")를 제공한다. 디바이스는 VR 창 또는 VR "포털(portal)"이 현실 뷰 내에서 사용자에게 디스플레이되어야 하는 위치를 결정하고, VR 포털이 그 결정된 위치에 있는 것으로 사용자에게 나타나 보이도록 VR 포털을 디스플레이한다. 특정 실시예들에서, 이는 현실 뷰에서 미리 결정된 시각적 마커 패턴(marker pattern)을 검출하고, 마커 패턴에 기초하여 VR 포털을 위치시킴으로써 (예를 들어, VR 포털을 마커 패턴 상에 중첩시킴으로써) 행해진다. 그런 후, 디바이스는 VR 포털 내에서 VR 장면을 디스플레이하고, 또한 하나 이상의 AR 객체들을 현실 뷰 상에 오버레이시키면서 VR 포털 외부에 디스플레이할 수 있다. 특정 실시예들에서, 디바이스는 자신(또는 디바이스를 소지하고/착용하고 있는 사용자)의 물리적 위치 및/또는 배향의 변화를 검출할 수 있고, 이에 대응하여 VR 포털 및 VR 포털 내의 콘텐츠의 겉보기(디스플레이된) 위치 및/또는 배향을 동적으로 조정한다. 이렇게 함으로써, 디바이스는 VR 포털이 다른 우주 또는 환경(즉, VR 환경)으로의 물리적 창이라는 일관되고 현실적인 환영을 사용자에게 제공한다.

VR 콘텐츠 및 AR 콘텐츠 각각은 (즉, 사용자/디바이스가 움직이지 않는 경우에도) 정적 또는 동적이거나, 정적 및 동적 콘텐츠 둘 다의 조합일 수 있다. 추가적으로, 디스플레이된 객체들은 VR 포털 내의 위치들로부터 VR 포털 밖의 위치들로 이동할 수 있고, 이 경우, 이러한 객체들은 각자의 디스플레이 위치들에 따라, 본질적으로 VR 객체들인 것으로부터 AR 객체들인 것으로 변경되거나 또는 이와 반대로 변경된다.

본 기술의 다른 양태들이 첨부 도면들 및 상세한 설명으로부터 명백해질 것이다.

본 요약은 아래의 상세한 설명에서 더 자세히 설명되는 개념들의 선택을 단순화된 형태로 소개하기 위해 제공된 것이다. 본 요약은 청구된 발명내용의 중요한 특징들 또는 필수적인 특징들을 확인시키려는 의도는 없으며, 또한 청구된 발명내용의 범위를 제한시키려는 의도도 없다.

본 발명의 하나 이상의 실시예들은 첨부된 도면들의 도면으로 제한되는 것이 아니고 단지 예시로서 나타내어진 것이며, 첨부된 도면들에서 동일한 참조 부호들은 유사한 엘리먼트들을 나타낸다.
도 1은 혼합 현실 시각화 디바이스에 의한 혼합 현실 디스플레이의 예시를 나타낸다.
도 2는 VR 창의 위치지정에 사용될 타겟 이미지의 예시를 도시한다.
도 3은 폐색 지오메트리(occlusion geometry)와 VR 이미지 간의 관계를 나타낸다.
도 4a 내지 도 4d는 혼합 현실 시각화 기술이 어떻게 적용될 수 있는지의 예시를 도시한다.
도 5는 혼합 현실 시각화 디바이스에 의해 수행될 수 있는 전체 프로세스의 예시를 도시한다.
도 6은 혼합 현실 시각화 디바이스에 의해 수행될 수 있는 프로세스의 예시를 더 상세하게 도시한다.
도 7은 혼합 현실 시각화 디바이스의 기능적 컴포넌트들의 예시를 도시하는 하이 레벨 블록도이다.
도 8은 혼합 현실 시각화 디바이스의 물리적 컴포넌트들의 예시의 하이 레벨 블록도이다.

본 설명에서, "실시예", "일 실시예" 등에 대한 언급은 설명되고 있는 특정 특징, 기능, 구조, 또는 특성이 여기서 소개된 기술의 적어도 하나의 실시예에 포함됨을 의미한다. 본 명세서에서 그러한 어구들의 발생들은 모두가 반드시 동일한 실시예를 언급한다는 것은 아니다. 한편, 언급된 실시예들은 또한 반드시 상호 배타적인 것은 아니다.

여기서 소개된 기술은, 선택적 사항의 AR 콘텐츠가 사용자의 실세계 뷰 상에 오버레이되도록 하면서 실세계와 가상 세계 간의 다공성 인터페이스(porous interface)로서 나타나 보이는 시각적 "포털"을 생성하도록, 통상적인 이미지 디스플레이 디바이스(예를 들어, 액정 디스플레이(LCD))의 사용, 예를 들어, HMD 또는 AR 가능 모바일 디바이스에서의 사용을 가능하게 한다. 이 기술은 (다른 것들 중에서도) HMD 디바이스들에 대해 이점들을 갖는데, 그 이유는, 예를 들어, 스크린의 어두운 백그라운드는 향상된 콘트라스트비를 제공할 수 있음으로 인해, 예를 들어, 장면에 빛을 추가하기만 하는 투명 또는 반투명 디스플레이를 HMD 디바이스들이 갖기 때문에, 실세계 콘텐츠를 백그라운드에서 폐색시키지 않고서 AR 콘텐츠를 디스플레이하는 HMD 디바이스의 기술적 문제를 해결하기 때문이다.

특정 실시예들에서, 혼합 현실 시각화 디바이스는, 1) 6 자유도(6 DOF(degrees-of-freedom)) 포지션/위치 추적 능력 및 평면 마커 이미지들을 인식하고 추적하며 실세계에 대해 고정된 것처럼 나타나 보이는 혼합 현실 오버레이를 제공하는 능력들을 갖춘 HMD 디바이스 또는 핸드헬드 모바일 AR 가능 디바이스; 2) 타겟 이미지를 디스플레이하고 필요할 때 공백 또는 어두운 스크린을 제공할 수 있는 이미지 디스플레이 시스템; 및 3) 별도의 디스플레이 시스템 상에서 평면 마커 이미지의 디스플레이를 트리거하기 위한 디스플레이 제어 인터페이스를 포함한다. 동작시, 혼합 현실 시각화 기술은 평면 마커 이미지가 시각화 디바이스와는 별개인 별도의 이미지 디스플레이 시스템(예컨대, LCD 모니터) 상에 디스플레이되게 하고, 시각화 디바이스로 평면 마커 이미지의 위치 및 배향을 인식하며, 이미지 디스플레이 시스템이 AR 콘텐츠와 VR 콘텐츠 간의 다공성 인터페이스 또는 "포털"이 되도록 시각화 디바이스를 동작시키는 것을 포함할 수 있다. 적어도 시각화 디바이스가 스마트폰 또는 태블릿 컴퓨터와 같은 표준적인 핸드헬드 모바일 디바이스인 실시예들에서, 혼합 VR/AR 콘텐츠는 복수의 사용자들에 의해 동시에 보여질 수 있다.

도 1은 여기서 소개된 혼합 현실 시각화 기술을 시각화 디바이스가 사용할 때, 시각화 디바이스의 사용자가 볼 수 있는 디스플레이의 예시를 개념적으로 나타낸다. 도 1 및 본 설명의 다른 모든 도면들에서의 바깥쪽 파선 박스는 시각화 디바이스(도시되지 않음)의 디스플레이 엘리먼트의 디스플레이 영역 경계, 또는 대안적으로 사용자의 시야각(field of view)의 경계를 나타낸다. 실선들(2)은 시각화 디바이스의 사용자가 점유한 실내의 벽, 바닥, 및 천장의 교차선들을 나타낸다. 사용자는 시각화 디바이스를 소지하거나 또는 착용하고 있는 것으로 가정할 수 있다. 디스플레이에서, 사용자는 실내의 다양한 실세계(물리적) 객체들(6)을 비롯하여, 자신의 환경의 현실 뷰를 볼 수 있다. 적어도 시각화 디바이스가 HMD 디바이스인 경우, 사용자가 자신의 환경을 디스플레이를 통해 직접 볼 수 있도록, 디스플레이 영역은 반투명 또는 투명할 수 있다. 스마트폰 또는 태블릿 실시예에서와 같은 다른 실시예들에서, 디스플레이 상에 제공된 현실 뷰는 시각화 디바이스 상의 적어도 하나의 카메라로부터 나온 것이다.

시각화 디바이스는 또한, 적어도 몇몇 실시예들에서, 후술하는 바와 같이, 공간 내에서 고정된 위치 및 배향으로 있는 것처럼 사용자에게 나타나 보이는 VR 창(또한 VR 포털이라고도 칭함)(3)을 생성하고 이를 사용자에게 디스플레이한다. 시각화 디바이스는 복수의 VR 객체들(4)을 비롯하여, VR 환경을 나타내는 VR 콘텐츠를 VR 창(3) 내에 디스플레이한다. VR 객체들(4)(도 1에서 도시된 것보다 훨씬 더 많은 다양한 외관을 가질 수 있음)은 VR 창(3) 내에서 사용자에게 깊이 환영(illusion of depth)을 주기 위해 종래의 투시 기술들을 사용하여 렌더링될 수 있다. 선택적 사항으로서, 시각화 디바이스는 또한 VR 창(3) 외부에 하나 이상의 AR 객체들(5)을 생성하고 이들을 사용자에게 디스플레이할 수 있다. VR/AR 객체들(4 또는 5) 중 임의의 것은 움직이는 것처럼 나타나 보일 수 있고, VR 창(3)을 출입하는 것처럼 나타나 보이도록 디스플레이될 수 있다.

일부 실시예들에서, 사용자에게 디스플레이되는 VR 창(3)의 위치 및 배향은 미리 결정된 평면 마커 이미지 또는 타겟 이미지의 사용에 의해 결정된다. 도 2는 타겟 이미지의 예시를 도시한다. 도 2에서는, 종래의 컴퓨터 모니터(21)가 타겟 이미지(22)를 디스플레이하고 있다. 그러나, 모니터(21)는 시각화 디바이스의 일부가 아님을 유념해 둔다. 도시된 예시에서, 타겟 이미지(22)는 대문자 "Q"를 갖는 모니터의 전체(어두운) 디스플레이 영역이다. "Q" 이미지는 수평축과 수직축으로 모두 대칭성이 없기 때문에 이롭다. 대칭성은 타겟 이미지의 검출된 포즈(pose)의 모호화를 초래할 수 있다. 그러나, 타겟 이미지는 이 대신에 어떤 다른 미리 결정된 이미지일 수 있되, 수평 대칭도 아니고 수직 대칭도 아닌 것이 또한 바람직함을 유념해 둔다. 예를 들어, 대신에 타겟 이미지는 벽이나 어떤 다른 물리적 객체에 부착되거나 또는 그 위에 도색될 수 있다. 대안적으로, 타겟 이미지는 (시각화 디바이스 상의 카메라에 의해 보여지는) 실제 물리적 객체일 수 있다. 또한, 예시된 실시예에서 타겟 이미지는 고정되어 있지만, 다른 실시예들에서는 타겟 이미지가 실세계 환경 곳곳을 물리적으로 이동할 수 있다. 어느 쪽 시나리오에서든지, 시각화 디바이스는 시각화 디바이스에 대한 타겟 이미지의 현재 위치 및 배향을 반영하도록 VR 창의 디스플레이된 위치, 크기 및 형상을 연속적으로 조정할 수 있다.

시각화 디바이스는 사용자에게 디스플레이되는 VR 창을 어디에 위치시키고 이를 어떻게 크기조정하고 배향시킬지를 결정하기 위해 타겟 이미지를 사용한다. 특정 실시예들에서, 시각화 디바이스는 타겟 이미지 상에 VR 창을 오버레이시키고, VR 창의 경계를 타겟 이미지의 경계들에 정확하게 일치시키며, 즉, VR 창과 타겟 이미지를 정합(coregister)시킨다. 다른 실시예들에서, 디바이스는, 예를 들어, VR 창을 중심에 위치시키기 위한 기준점으로서 타겟 이미지를 단순 사용할 수 있다.

추가적으로, 시각화 디바이스는 자신의 국부적인 물리적 환경 내에서의 자신의 위치 및 그 6 DOF 움직임(즉, 3개의 직교축들 각각을 따른 병진이동 및 회전)을 감지하는 능력을 갖는다. 시각화 디바이스는 이 능력을 사용하여, 사용자가 마커 이미지를 기준으로 공간에서 이동할 때, 사용자의 위치 및 시점의 변화를 반영하도록 VR 창에서 디스플레이된 콘텐츠를 수정한다. 예를 들어, 사용자(또는 시각화 디바이스)가 타겟 이미지에 더 가깝게 이동하면, VR 창과 VR 창 내의 VR 콘텐츠는 디스플레이 상에서 더 커질 것이다. 이 경우, VR 창 내의 콘텐츠는 또한, 마치 사용자가 VR 창으로부터 좀 떨어진 곳에 서있을 때보다 VR 창 바로 앞에 있을 때 실물(물리적) 창을 더 많이 살펴보게 되는 것처럼, VR 창의 가장자리 주위에 추가적인 객체 세부사항 및/또는 추가적인 객체들을 보이게 하도록 수정될 수 있다. 마찬가지로, 사용자가 타겟 이미지로부터 멀리 이동하면, VR 창과 VR 창 내의 VR 콘텐츠는 디스플레이 상에서 더 작아질 것이며, VR 콘텐츠는 이에 따라 수정될 것이다. 또한, 디바이스가 평면 타겟 이미지의 직접적(수직) 뷰를 갖지 않도록 사용자가 옆쪽으로 이동하면, 시각화 디바이스는 VR 창이 다른 환경/우주로의 포털이라는 현실적인 환영을 유지하기 위해 사용자의 시점 변경을 반영하도록 이에 따라 VR 창의 디스플레이된 형상 및 콘텐츠를 조정할 것이다.

특정 실시예들에서, VR 창 내의 VR 콘텐츠는 시각화 디바이스에 의해 유지되는 더 큰 VR 이미지의 서브세트이다. 예를 들어, 더 큰 VR 이미지는 적어도 사용자의 시야 또는 전체 디스플레이 영역을 포함하도록 크기가 정해질 수 있다. 이러한 실시예들에서, 시각화 디바이스는 VR 창 외부에 있는 VR 이미지의 부분이 사용자에게 디스플레이되지 않도록 이 VR 이미지의 부분을 마스킹하기 위해 메쉬(mesh) 또는 셰이더(shader)와 같은 폐색 지오메트리(occlusion geometry)를 사용한다. 폐색 지오메트리의 예시가 도 3에서 폐색 메쉬(33)의 형태로 도시되어 있다. 전체 VR 이미지는 복수의 VR 객체들을 포함하지만, 도 1의 예시에서 도시된 바와 같이, 최소한 부분적으로라도 VR 창 내에 있는 VR 객체들만이 사용자에게 보여지게 된다.

도 4a 내지 도 4d는 혼합 현실 시각화 기술이 어떻게 적용될 수 있는지에 관한 약간 더 복잡한 예시들을 도시한다. 도 4에서, 시각화 디바이스는 타겟 이미지(도시되지 않음)가 디스플레이를 통해 더 이상 사용자에게 보여지지 않도록 VR 장면을 포함하는 VR 창(40)을 타겟 이미지 위에 오버레이시킨다. 이 예시에서 VR 장면은 우주선(41), 행성(42), 및 달(43)을 포함한다. 따라서, VR 장면은 모니터(21)(또는 이에 연결된 디바이스)에 의해 실제로 생성된 것이 아니라, 이 대신에 사용자가 소지하거나 착용한 시각화 디바이스(도 4a 내지 도 4d에서는 도시되지 않음)에 의해 생성되고 디스플레이된 것임을 이해해야 한다. 그럼에도 불구하고, 시각화 디바이스는, 예를 들어, 별개의 디바이스와 통신하여 그 별개의 디바이스가 타겟 이미지를 디스플레이하게 함으로써, 타겟 이미지의 디스플레이를 트리거하기 위한 적절한 제어 인터페이스를 가질 수 있다.

VR 객체들(41 내지 43) 중 적어도 일부는 애니메이션화될 수 있다. 예를 들어, 도 4b 및 도 4c에서 도시된 바와 같이, 우주선(41)은 사용자를 향해 VR 창 밖으로 비행하여 나오는 것처럼 보일 수 있다(점선 화살표 및 --- 선으로 표시된 우주선 윤곽선은 설명을 위해 본 명세서에서 제공된 것일 뿐이며 사용자에게는 디스플레이되지 않는다). VR 창(40)의 경계 밖에서 디스플레이된 객체 또는 그 임의의 부분은 VR 객체라기보다는 AR 객체로 있는 것으로 간주된다. 그러나, AR 객체와 VR 객체 간에는 기능적 차이가 없으며, 또한, 디스플레이 상에서의 이들 객체들의 겉보기 위치 및 사용자로부터의 겉보기 거리를 제외하고는, 사용자가 이들 객체들 간의 구별을 알지도 못한다. 시각화 디바이스에서의 렌더링 하드웨어 및 소프트웨어는 임의의 VR 객체를 VR 창(40) 밖으로 원활하게 이동시킬 수 있고(이 경우, 객체는 AR 객체가 됨), 임의의 AR 객체를 VR 창(40) 안으로 원활하게 이동시킬 수 있다(이 경우, 객체는 VR 객체가 됨).

도 4d는 사용자/디바이스가 평면 타겟 이미지의 직접적(수직) 뷰를 갖지 않도록, 사용자가 사용자의 좌측으로 더 멀리 간 위치에서 장면을 바라보는 대안적인 뷰를 도시한다. 이 뷰에서, VR 창(40)의 형상 및 그 내부의 VR 콘텐츠는, VR 창(40)이 다른 환경/우주로의 포털이라는 현실적인 환영을 유지하도록 그에 따라 수정된다. 이 예시에서, 사용자는 이제 VR 창의 후방에서, 도 4a 내지 도 4c의 예시(사용자가 이미지를 정면으로 바라보았던 경우)에서 숨겨져 있었던 또다른 행성(45)을 볼 수 있고, 또한 전방에서는 첫번째 행성(42)의 더 많은 부분을 볼 수 있다. 또한, 우주선(41)은 이제 사용자에 의해 (AR 객체로서) 다른 각도에서 보여지게 된다. 추가적으로, VR 창(40) 자체의 형상은 다른 시야각을 반영하기 위해 완벽하게 직사각형이 아닌 약간 사다리꼴 형상으로 변경된다.

도 5는 특정 실시예들에서, 시각화 디바이스에 의해 수행되는 전체 프로세스의 예시를 도시한다. 단계 501에서, 시각화 디바이스는 사용자에게 사용자 자신의 환경의 실세계 실시간 뷰를 제공한다. 이 "현실 뷰"는 HMD 디바이스 상의 투명 또는 반투명 디스플레이를 통해서 보이는 것과 같은 직접적 뷰일 수 있거나, 또는 카메라에 의해 취득된 다음 핸드헬드 모바일 디바이스 상에 디스플레이되는 간접적 뷰일 수 있다. 단계 501와 동시에, 단계 502에서 디바이스는 VR 창이 환경의 실세계 실시간 뷰 내에서 디스플레이되어야 하는 위치를 결정하고, 단계 503에서 VR 창을 상기 결정된 위치에서 디스플레이한다. 이 프로세스는 전술한 바대로 계속 반복될 수 있다. 다른 실시예들에서, 단계들의 배열은 상이할 수 있다는 것을 유의한다.

도 6은 특정 실시예들에 따른 시각화 디바이스의 동작의 예시를 보다 상세히 도시한다. 단계 601에서, 시각화 디바이스는 타겟 이미지의 6 DOF 포즈를 추정한다. 그 후, 단계 602에서, 시각화 디바이스는 전술한 바와 같이 타겟 이미지에 정렬된 폐색 지오메트리를 생성한다. 폐색 지오메트리는 사실상 VR 창을 생성한다. 시각화 디바이스는 단계 603에서 자신의 6 DOF 카메라 포즈, 즉, 자신의 추적 카메라의 6 DOF 위치 및 배향을 추정한다. 예시된 실시예에서, 그 후 시각화 디바이스는 단계 604에서 6 DOF 카메라 포즈를 사용하여 VR 창 내에서 가상 카메라로 VR 장면을 렌더링하면서, 단계 605에서는 VR 창 외부에 하나 이상의 AR 객체들을 렌더링한다. 단계 604와 단계 605는 명료함을 위해 도 6에서는 개별적으로 도시되어 있지만, 단일 렌더링 단계로서 수행될 수 있다는 것을 유의해야 한다. 추가적으로, 도 6의 프로세스에서의 단계들의 시퀀스는 다른 실시예들에서 상이할 수 있다. 6 DOF 카메라 포즈는 타겟 이미지의 좌표계로부터 시각화 디바이스 상의 디스플레이 카메라(예를 들어, RGB 카메라)의 좌표계(회전 및 병진이동)로의 추정된 포즈 변환 또는 이와 반대로의 추정된 포즈 변환이다. 타겟 이미지의 중심이 타겟 이미지의 좌표계의 원점으로서 취해질 수 있다. 가상 카메라는 그래픽 소프트웨어 또는 하드웨어에 의해 구현되는 렌더링 카메라이다. 추정된 6 DOF 카메라 포즈는 라이브 비디오 피드로부터의 배경 이미지 앞에서 가상 카메라를 장면 내에서 이동시켜서, 합성된 장면에 있는 콘텐츠의 환영을 생성시키는데 사용될 수 있다. 그 후 전술한 프로세스는 단계 603로 되돌아가고 해당 지점으로부터 전술한 바와 같이 계속 반복될 수 있다.

도 7은 몇몇의 실시예들에 따른, 혼합 현실 시각화 디바이스의 특정 기능적 컴포넌트들의 예시를 도시하는 하이 레벨 블록도이다. 예시된 혼합 현실 시각화 디바이스(71)는 6 DOF 추적 모듈(72), 애플리케이션 렌더링 모듈(73), 하나 이상의 추적(비디오) 카메라(74), 및 하나 이상의 디스플레이(비디오) 카메라(75)를 포함한다. 6 DOF 추적 모듈(72)은 추적 카메라(들)(74)로부터 (및 선택적 사항으로서, 도시되지 않은 IMU(inertial measurement unit; 관성 측정 유닛)로부터) 입력들을 수신하고, 이들 입력들에 기초하여 카메라 포즈를 계속 업데이트한다. 6 DOF 추적 모듈(72)은 이들 입력들에 기초하여 타겟 이미지의 좌표계로부터 디스플레이 카메라의 좌표계로의 추정된 포즈 변환을 나타내는 변환 데이터(예를 들어, 회전(R) 및 병진이동(t))를 생성하여 출력한다.

애플리케이션 & 렌더링 모듈(73)은 혼합 현실 시각화 기술이 적용되는 애플리케이션 콘텍스트를 생성하며, 이것은 예를 들어 게임 소프트웨어 애플리케이션일 수 있다. 애플리케이션 & 렌더링 모듈(73)은 6 DOF 추적 모듈(72)로부터 변환 데이터(R, t)를 수신하고, 이 데이터 및 디스플레이 카메라(들)(75)로부터의 이미지 데이터에 기초하여, 디스플레이 디바이스(들)(76)에 전송되어 사용자에게 디스플레이하기 위한 이미지 데이터를 생성한다. 6 DOF 추적 모듈(72) 및 애플리케이션 렌더링 모듈(73) 각각은 적절하게 프로그래밍된 프로그램가능 회로에 의해 또는 특수 설계된("하드와이어드") 회로에 의해 또는 이들의 조합에 의해 구현될 수 있다.

전술한 바와 같이, 혼합 현실 시각화 디바이스(71)는, 예를 들어, 적절히 구성된 종래의 핸드헬드 모바일 디바이스, 또는 특수 목적용 HMD 디바이스일 수 있다. 어느 경우에서든지, 이러한 시각화 디바이스의 물리적 컴포넌트들은 이러한 디바이스의 하이 레벨 개념도를 도시하는 도 8에서 도시될 수 있다. 이러한 시각화 디바이스의 다른 실시예들은 도 8에서 도시된 모든 컴포넌트들을 포함하는 것은 아닐 수 있고/있거나 도 8에서 도시되지 않은 추가적인 컴포넌트들을 포함할 수 있다는 것을 유의해야 한다.

예시된 시각화 디바이스(71)의 물리적 컴포넌트들은 프로세서(81), 메모리(82), 디스플레이 디바이스(83), 디스플레이 비디오 카메라(84), 깊이 감지 추적 비디오 카메라(85), 관성 측정 유닛(IMU)(86), 및 통신 디바이스(87) 각각의 하나 이상의 예시를 포함하며, 이들 모두는 상호접속부(88)에 의해(직접적으로 또는 간접적으로) 결합된다. 상호접속부(88)는 하나 이상의 도전성 트레이스, 버스, 점대점 접속부, 제어기, 어댑터, 무선 링크 및/또는 다른 종래의 연결 디바이스 및/또는 매체일 수 있거나 또는 이들을 포함할 수 있으며, 이들 중 적어도 일부는 서로 독립적으로 작동할 수 있다.

프로세서(들)(81)은 개별적으로 및/또는 집합적으로 시각화 디바이스(71)의 전체 동작을 제어하고 다양한 데이터 처리 기능을 수행한다. 추가적으로, 프로세서(들)(81)은 전술한 가상 측정 툴을 생성하고 디스플레이하기 위한 연산 및 데이터 처리 기능 중 적어도 일부를 제공할 수 있다. 각각의 프로세서(81)는, 예를 들어, 하나 이상의 프로그램가능 범용 마이크로프로세서, 디지털 신호 프로세서(DSP), 모바일 애플리케이션 프로세서, 마이크로제어기, 주문형 집적 회로(ASIC), 프로그램가능 게이트 어레이(PGA) 등, 또는 이러한 디바이스들의 조합일 수 있거나 또는 이들을 포함할 수 있다.

여기에서 소개된 혼합 현실 시각화 기술의 양태들을 실행하도록 프로세서(들)(81)을 구성하는 데이터 및 명령어(코드)(90)가 하나 이상의 메모리(82)에 저장될 수 있다. 각각의 메모리(82)는 하나 이상의 물리적 저장 디바이스들일 수 있거나 또는 이들을 포함할 수 있으며, 이러한 물리적 저장 디바이스들은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM)(소거가능형 및 프로그램가능형일 수 있음), 플래시 메모리, 소형 하드 디스크 드라이브, 또는 다른 적절한 유형의 저장 디바이스, 또는 이러한 디바이스들의 조합의 형태로 있을 수 있다.

하나 이상의 통신 디바이스(87)는 시각화 디바이스(71)가 개인 컴퓨터, 게임 콘솔, 또는 원격 서버와 같은 별개의 외부 처리 시스템으로부터 데이터 및/또는 커맨드를 수신하고, 이 외부 처리 시스템에 데이터 및/또는 커맨드를 송신할 수 있게 한다. 각각의 통신 디바이스(88)는, 예를 들어, 범용 직렬 버스(universal serial bus; USB) 어댑터, Wi-Fi 트랜스시버, 블루투스 또는 블루투스 저에너지(Bluetooth Low Energy; BLE) 트랜스시버, 이더넷 어댑터, 케이블 모뎀, DSL 모뎀, 셀룰러 트랜스시버(예컨대, 3G, LTE/4G 또는 5G), 기저대역 프로세서 등, 또는 이들의 조합일 수 있거나 또는 이들을 포함할 수 있다.

디스플레이 비디오 카메라(들)(84)은 특히, 종래의 핸드헬드 모바일 디바이스 실시예에서 사용자 환경의 현실 뷰를 생성하기 위해 사용자 환경의 라이브 비디오 피드를 취득한다. 추적 비디오 카메라(들)(85)은 로컬 환경에 대한(및 특히, 타겟 이미지에 대한) 시각화 디바이스(71)의 움직임(병진이동 및/또는 회전)을 검출하는데 사용될 수 있다.추적 카메라(들)(85) 중 하나 이상은 깊이 감지 카메라(85)일 수 있고, 이 경우 카메라(들)(85)은, 예를 들어, 타겟 이미지를 비롯하여, 근처의 객체들까지의 거리를 결정하기 위해 TOF(time-of-flight) 원리를 적용하는데 사용될 수 있다. IMU(86)는, 예를 들어, 디바이스(71)의 병진이동 및/또는 회전을 전송하기 위한 하나 이상의 자이로스코프 및/또는 가속도계를 포함할 수 있다. 적어도 일부 실시예들에서, IMU(86)는 추적 카메라(들)(85)이 존재한다는 점에서 불필요하지만, 그럼에도 불구하고 더 견고한 추정을 제공하기 위해 사용될 수 있다.

전술된 컴포넌트들 중 일부 또는 전부는 전술된 기능면에서 완전히 자립적일 수 있지만, 일부 실시예들에서는, 하나 이상의 프로세서(81)가 다른 컴포넌트들과 연관된 처리 기능의 적어도 일부를 제공한다는 점을 유의해야 한다. 예를 들어, 추적 카메라(들)(85)과 연관된 깊이 검출을 위한 데이터 처리 중 적어도 일부는 프로세서(들)(81)에 의해 수행될 수 있다. 마찬가지로, IMU(86)와 연관된 시선 추적을 위한 데이터 처리 중 적어도 일부는 프로세서(들)(81)에 의해 수행될 수 있다. 똑같이, AR/VR 디스플레이(83)를 지원하는 이미지 처리 중 적어도 일부는 프로세서(들)(81)에 의해 수행될 수 있는 것과 같다.

전술한 머신 구현 동작들은 소프트웨어 및/또는 펌웨어에 의해 프로그래밍되거나 구성된 프로그램가능 회로에 의해, 또는 전적으로 특수 목적 회로에 의해, 또는 이들의 조합에 의해 구현될 수 있다. 이러한 특수 목적 회로(있는 경우)는, 예를 들어, 하나 이상의 주문형 집적 회로(application-specific integrated circuit; ASIC), 프로그램가능 로직 디바이스(programmable logic device; PLD), 필드 프로그램가능 게이트 어레이(field-programmable gate array; FPGA), 시스템 온 칩 시스템(system-on-a-chip system; SOC) 등의 형태로 있을 수 있다.

여기서 소개된 기술들을 구현하기 위한 소프트웨어는 머신 판독가능 저장 매체에 저장될 수 있으며, 하나 이상의 범용 목적 또는 특수 목적 프로그램가능 마이크로프로세서에 의해 실행될 수 있다. 본 명세서에서 사용된 용어인 "머신 판독가능 매체"는 머신에 의해 액세스가능한 형태로 정보를 저장할 수 있는 임의의 메커니즘을 포함한다(예를 들어, 여기서 머신은 컴퓨터, 네트워크 디바이스, 셀룰러 전화기, 개인 휴대 정보 단말기(PDA), 제조 도구, 하나 이상의 프로세서가 있는 임의의 디바이스 등일 수 있다). 예를 들어, 머신 액세스가능한 매체는 기록가능/기록불가능 매체(예를 들어, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스 등)를 포함한다.

특정 실시예들의 예시들

본 명세서에서 소개된 기술의 특정 실시예들은 번호가 매겨진 아래의 예시들로 요약된다:

예시 1. 방법으로서, 시각화 디바이스의 디스플레이 영역 상에서, 상기 시각화 디바이스의 사용자의 환경의 실세계 실시간 뷰를 상기 사용자에게 제공하는 단계; 상기 시각화 디바이스에서, 상기 사용자의 환경의 상기 실세계 실시간 뷰 내에서 가상 현실 창이 디스플레이되어야 하는 위치를 결정하는 단계; 및 상기 시각화 디바이스의 디스플레이 영역 상에서, 상기 사용자의 환경의 상기 실세계 실시간 뷰 내의 상기 결정된 위치에서 상기 가상 현실 창을 디스플레이하는 단계를 포함하는 방법.

예시 2. 예시 1에 있어서, 상기 시각화 디바이스에서, 상기 사용자의 환경 이외의 제2 환경의 시뮬레이션된 장면을 생성하는 단계를 더 포함하고, 상기 가상 현실 창을 디스플레이하는 단계는 상기 가상 현실 창 내에서 상기 제2 환경의 시뮬레이션된 장면을 디스플레이하는 단계를 포함한 것인 방법.

예시 3. 예시 1 또는 예시 2에 있어서, 상기 시각화 디바이스의 물리적 이동을 검출하는 단계를 더 포함하고, 상기 가상 현실 창을 디스플레이하는 단계는, 상기 가상 현실 창에 대한 상기 시각화 디바이스의 시점 변화를 시뮬레이션하기 위해, 상기 시각화 디바이스의 상기 물리적 이동에 응답하여, 상기 시각화 디바이스에서, 상기 가상 현실 창의 콘텐츠를 수정하는 단계를 포함한 것인 방법.

예시 4. 예시 1 내지 예시 3 중 어느 하나의 예시에 있어서, 상기 가상 현실 창이 디스플레이되어야 하는 위치를 결정하는 단계는, 상기 사용자의 환경에서의 미리 결정된 패턴을 식별하는 단계; 및 상기 미리 결정된 패턴에 기초하여, 상기 가상 현실 창이 디스플레이되어야 하는 위치를 설정하는 단계를 포함한 것인 방법.

예시 5. 예시 1 내지 예시 4 중 어느 하나의 예시에 있어서, 상기 가상 현실 창을 디스플레이하는 단계는 상기 가상 현실 창을 상기 시각화 디바이스의 시점으로부터 상기 미리 결정된 패턴 위에 오버레이시키는 단계를 포함한 것인 방법.

예시 6. 예시 1 내지 예시 5 중 어느 하나의 예시에 있어서, 상기 미리 결정된 패턴의 위치 및 배향을 검출하는 단계; 및 상기 미리 결정된 패턴의 위치 및 배향에 기초하여, 상기 가상 현실 창에 대한 디스플레이 위치 및 배향을 결정하는 단계를 더 포함하는 방법.

예시 7. 예시 1 내지 예시 6 중 어느 하나의 예시에 있어서, 상기 시각화 디바이스의 디스플레이 영역 상에서, 증강 현실 이미지를 상기 실세계 실시간 뷰 위에 오버레이시키면서 상기 가상 현실 창 외부에 디스플레이하는 단계를 더 포함하는 방법.

예시 8. 예시 1 내지 예시 7 중 어느 하나의 예시에 있어서, 상기 디바이스에 의해 생성된 객체가 상기 가상 현실 창으로부터 상기 사용자의 환경의 실세계 실시간 뷰로 이동하거나 또는 이와 반대로 이동하는 것으로 나타나도록 상기 객체를 상기 디스플레이 영역 상에 디스플레이하는 단계를 더 포함하는 방법.

예시 9. 방법에 있어서, 디스플레이 능력을 갖춘 디바이스에 의해, 상기 디바이스의 사용자에 의해 점유된 3차원 공간 내에 위치된 제1 영역을 식별하는 단계; 상기 사용자가 상기 디바이스 상의, 상기 제1 영역을 제외한 상기 3차원 공간의 일부분의 실세계 실시간 뷰를 볼 수 있게 하는 단계; 상기 사용자가 상기 제1 영역을 제외한 상기 3차원 공간의 일부분의 실세계 실시간 뷰를 볼 수 있게 하는 동시에, 상기 디바이스로 하여금 상기 제1 영역에서 가상 현실 이미지를 상기 사용자에게 디스플레이하게 하는 단계; 상기 디바이스로 하여금 상기 실세계 실시간 뷰를 상기 사용자에게 디스플레이하게 하는 동시에, 상기 디바이스로 하여금 상기 사용자의 시점으로부터 상기 3차원 공간의 제2 영역 - 상기 제2 영역은 상기 제1 영역 외부에 있음 - 에서 증강 현실 이미지를 상기 사용자에게 디스플레이하게 하는 단계; 상기 디바이스에 의해, 상기 디바이스의 위치 및 배향의 변화를 검출하는 단계; 및 디스플레이 디바이스의 위치 및 배향의 변화에 응답하여, 상기 디바이스에 의해 디스플레이되는 상기 가상 현실 이미지의 위치 또는 배향을 조정하는 단계를 포함하는 방법.

예시 10. 예시 9에 있어서, 상기 제1 영역을 식별하는 단계는 상기 사용자에 의해 점유된 상기 3차원 공간에서의 미리 결정된 가시적 마커 패턴을 식별하는 단계를 포함한 것인 방법.

예시 11. 예시 9 또는 예시 10에 있어서, 상기 디바이스로 하여금 상기 제1 영역에서 상기 가상 현실 이미지를 디스플레이하게 하는 단계는 상기 제1 영역이 상기 미리 결정된 가시적 마커 패턴과 동일 공간에 있도록 상기 가상 현실 이미지를 상기 제1 영역 상에 오버레이시키는 단계를 포함한 것인 방법.

예시 12. 예시 9 내지 예시 11 중 어느 하나의 예시에 있어서, 상기 디바이스에 의해 생성된 객체가 상기 제1 영역으로부터 상기 제2 영역으로 이동하거나 또는 이와 반대로 이동하는 것으로 나타나도록 상기 객체를 상기 디바이스 상에 디스플레이하는 단계를 더 포함하는 방법.

예시 13. 시각화 디바이스에 있어서, 디스플레이 영역을 갖는 디스플레이 디바이스; 상기 디바이스가 위치한 환경의 이미지들을 획득하기 위한 카메라; 관성 측정 유닛(IMU); 상기 디스플레이 디바이스, 상기 카메라, 및 상기 IMU에 결합된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 디스플레이 디바이스로 하여금 상기 디바이스가 위치한 환경의 실세계 실시간 뷰를 상기 디스플레이 영역 상에 디스플레이하게 하고, 가상 현실 창이 상기 실세계 실시간 뷰 내에서 디스플레이되어야 하는 위치를 결정하고, 상기 디스플레이 디바이스로 하여금, 상기 디스플레이 영역 상에서, 상기 실세계 실시간 뷰 내의 상기 결정된 위치에서 상기 가상 현실 창을 디스플레이하게 하고, 상기 카메라 또는 상기 IMU 중 적어도 하나로부터의 데이터에 기초하여 상기 디바이스의 물리적 이동을 검출하며, 상기 가상 현실 창에 대한 상기 사용자의 시점 변화를 시뮬레이션하기 위해, 상기 디바이스의 상기 물리적 이동에 응답하여, 상기 가상 현실 창의 콘텐츠를 수정하도록 구성된 것인 시각화 디바이스.

예시 14. 예시 13에 있어서, 상기 디바이스는 핸드헬드 모바일 컴퓨팅 디바이스이고, 상기 디바이스가 위치한 환경의 상기 실세계 실시간 뷰는 상기 카메라에 의해 획득되는 것인 시각화 디바이스.

예시 15. 예시 13에 있어서, 상기 디바이스는 머리 장착형 AR/VR 디스플레이 디바이스인 것인 시각화 디바이스.

예시 16. 예시 13 내지 예시 15 중 어느 하나의 예시에 있어서, 상기 적어도 하나의 프로세서는 또한, 상기 디바이스가 위치한 환경 이외의 제2 환경의 시뮬레이션된 장면을 생성하도록 구성되며, 상기 가상 현실 창을 디스플레이하는 것은 상기 가상 현실 창 내에서 상기 제2 환경의 시뮬레이션된 장면을 디스플레이하는 것을 포함한 것인 시각화 디바이스.

예시 17. 예시 13 내지 예시 16 중 어느 하나의 예시에 있어서, 상기 적어도 하나의 프로세서는 또한, 상기 디스플레이 디바이스로 하여금 상기 디스플레이 영역 상에서, 증강 현실 이미지를 상기 실세계 실시간 뷰 위에 오버레이시키면서 상기 가상 현실 창 외부에 디스플레이하게 하도록 구성된 것인 시각화 디바이스.

예시 18. 예시 13 내지 예시 17 중 어느 하나의 예시에 있어서, 상기 적어도 하나의 프로세서는 또한, 객체를 생성하고, 상기 객체가 상기 가상 현실 창으로부터 상기 디바이스가 위치한 환경의 상기 실세계 실시간 뷰로 이동하거나 또는 이와 반대로 이동하는 것으로 나타나도록 상기 디스플레이 디바이스로 하여금 상기 디스플레이 영역 상에 상기 객체를 디스플레이하게 하도록 구성된 것인 시각화 디바이스.

예시 19. 예시 13 내지 예시 18 중 어느 하나의 예시에 있어서, 상기 가상 현실 창이 디스플레이되어야 하는 위치를 결정하는 것은, 상기 사용자의 환경에서의 미리 결정된 패턴을 식별하는 것; 및 상기 미리 결정된 패턴의 위치에 기초하여, 상기 위치를 설정하는 것을 포함한 것인 시각화 디바이스.

예시 20. 예시 13 내지 예시 19 중 어느 하나의 예시에 있어서, 상기 가상 현실 창을 디스플레이하는 것은 상기 가상 현실 창을 상기 시각화 디바이스의 시점으로부터 상기 미리 결정된 패턴 위에 오버레이시키는 것을 포함한 것인 시각화 디바이스.

예시 21. 장치에 있어서, 시각화 디바이스의 디스플레이 영역 상에서, 상기 시각화 디바이스의 사용자의 환경의 실세계 실시간 뷰를 상기 사용자에게 제공하기 위한 수단; 상기 시각화 디바이스에서, 상기 사용자의 환경의 상기 실세계 실시간 뷰 내에서 가상 현실 창이 디스플레이되어야 하는 위치를 결정하기 위한 수단; 및 상기 시각화 디바이스의 디스플레이 영역 상에서, 상기 사용자의 환경의 상기 실세계 실시간 뷰 내의 상기 결정된 위치에서 상기 가상 현실 창을 디스플레이하기 위한 수단을 포함하는 장치.

예시 22. 예시 21에 있어서, 상기 시각화 디바이스에서, 상기 사용자의 환경 이외의 제2 환경의 시뮬레이션된 장면을 생성하기 위한 수단을 더 포함하고, 상기 가상 현실 창을 디스플레이하기 위한 수단은 상기 가상 현실 창 내에서 상기 제2 환경의 시뮬레이션된 장면을 디스플레이하기 위한 수단을 포함한 것인 장치.

예시 23. 예시 21 또는 예시 22에 있어서, 상기 시각화 디바이스의 물리적 이동을 검출하기 위한 수단을 더 포함하고, 상기 가상 현실 창을 디스플레이하기 위한 수단은, 상기 가상 현실 창에 대한 상기 시각화 디바이스의 시점 변화를 시뮬레이션하기 위해, 상기 시각화 디바이스의 상기 물리적 이동에 응답하여, 상기 시각화 디바이스에서, 상기 가상 현실 창의 콘텐츠를 수정하기 위한 수단을 포함한 것인 장치.

예시 24. 예시 21 내지 예시 23 중 어느 하나의 예시에 있어서, 상기 가상 현실 창이 디스플레이되어야 하는 위치를 결정하기 위한 수단은, 상기 사용자의 환경에서의 미리 결정된 패턴을 식별하기 위한 수단; 및 상기 미리 결정된 패턴에 기초하여, 상기 가상 현실 창이 디스플레이되어야 하는 위치를 설정하는 것을 포함한 것인 장치.

예시 25. 예시 21 내지 예시 24 중 어느 하나의 예시에 있어서, 상기 가상 현실 창을 디스플레이하기 위한 수단은 상기 가상 현실 창을 상기 시각화 디바이스의 시점으로부터 상기 미리 결정된 패턴 위에 오버레이시키기 위한 수단을 포함한 것인 장치.

예시 26. 예시 21 내지 예시 25 중 어느 하나의 예시에 있어서, 상기 미리 결정된 패턴의 위치 및 배향을 검출하기 위한 수단; 및 상기 미리 결정된 패턴의 위치 및 배향에 기초하여, 상기 가상 현실 창에 대한 디스플레이 위치 및 배향을 결정하기 위한 수단을 더 포함하는 장치.

예시 27. 예시 21 내지 예시 26 중 어느 하나의 예시에 있어서, 상기 시각화 디바이스의 디스플레이 영역 상에서, 증강 현실 이미지를 상기 실세계 실시간 뷰 위에 오버레이시키면서 상기 가상 현실 창 외부에 디스플레이하기 위한 수단을 더 포함하는 장치.

예시 28. 예시 21 내지 예시 27 중 어느 하나의 예시에 있어서, 상기 디바이스에 의해 생성된 객체가 상기 가상 현실 창으로부터 상기 사용자의 환경의 실세계 실시간 뷰로 이동하거나 또는 이와 반대로 이동하는 것으로 나타나도록 상기 객체를 상기 디스플레이 영역 상에 디스플레이하기 위한 수단을 더 포함하는 장치.

당 업계의 통상의 지식을 가진 자에게 명백할 바와 같이, 상술한 특징들 및 기능들 중 임의의 것 또는 그 모두는, 달리 상술될 수 있는 정도 또는 이들 실시예 중 임의의 실시예가 그 기능 또는 구조에 의해 양립될 수 없는 정도까지를 제외하고, 서로 결합될 수 있다. 물리적 가능성에 반하지 않는 한, (i) 본원에 기재된 방법/단계는 임의의 순서 및/또는 임의의 조합으로 수행될 수 있다는 것과, (ii) 각각의 실시예의 컴포넌트들은 임의의 방식으로 결합될 수 있다는 것을 알 수 있다.

본 발명내용은 구조적 특징들 및/또는 동작들에 특유적인 용어로 기술되었지만, 첨부된 청구항들에서 정의된 발명내용은 위에서 설명된 이러한 특정한 특징들 또는 동작들로 반드시 제한될 필요는 없다는 것을 이해하여야 한다. 이보다는, 전술한 특정 특징 및 동작은 청구범위를 구현하는 예시들로서 개시된 것이며, 다른 등가적인 특징 및 동작은 청구범위 내에 있는 것으로 의도된다.

Claims

방법에 있어서,
시각화 디바이스의 디스플레이 영역 상에서, 상기 시각화 디바이스의 사용자의 환경의 실세계 실시간 뷰(real-world, real-time view)를 상기 사용자에게 제공하는 단계;
상기 시각화 디바이스에서, 상기 사용자의 환경의 상기 실세계 실시간 뷰 내에서 가상 현실 창이 디스플레이되어야 하는 위치를 결정하는 단계; 및
상기 시각화 디바이스의 디스플레이 영역 상에서, 상기 사용자의 환경의 상기 실세계 실시간 뷰 내의 상기 결정된 위치에서 상기 가상 현실 창을 디스플레이하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 시각화 디바이스에서, 상기 사용자의 환경 이외의 제2 환경의 시뮬레이션된 장면을 생성하는 단계
를 더 포함하고,
상기 가상 현실 창을 디스플레이하는 단계는 상기 가상 현실 창 내에서 상기 제2 환경의 시뮬레이션된 장면을 디스플레이하는 단계를 포함한 것인 방법.
제1항 또는 제2항에 있어서,
상기 시각화 디바이스의 물리적 이동을 검출하는 단계
를 더 포함하고,
상기 가상 현실 창을 디스플레이하는 단계는, 상기 가상 현실 창에 대한 상기 시각화 디바이스의 시점 변화를 시뮬레이션하기 위해, 상기 시각화 디바이스의 상기 물리적 이동에 응답하여, 상기 시각화 디바이스에서, 상기 가상 현실 창의 콘텐츠를 수정하는 단계를 포함한 것인 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 가상 현실 창이 디스플레이되어야 하는 위치를 결정하는 단계는,
상기 사용자의 환경에서의 미리 결정된 패턴을 식별하는 단계; 및
상기 미리 결정된 패턴에 기초하여, 상기 가상 현실 창이 디스플레이되어야 하는 위치를 설정하는 단계
를 포함한 것인 방법.
제4항에 있어서,
상기 가상 현실 창을 디스플레이하는 단계는 상기 가상 현실 창을 상기 시각화 디바이스의 시점으로부터 상기 미리 결정된 패턴 위에 오버레이시키는 단계를 포함한 것인 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 시각화 디바이스의 디스플레이 영역 상에서, 증강 현실 이미지를 상기 실세계 실시간 뷰 위에 오버레이시키면서 상기 가상 현실 창 외부에 디스플레이하는 단계
를 더 포함하는 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 디바이스에 의해 생성된 객체가 상기 가상 현실 창으로부터 상기 사용자의 환경의 실세계 실시간 뷰로 이동하거나 또는 이와 반대로 이동하는 것으로 나타나도록 상기 객체를 상기 디스플레이 영역 상에 디스플레이하는 단계
를 더 포함하는 방법.
시각화 디바이스에 있어서,
디스플레이 영역을 갖는 디스플레이 디바이스;
상기 디바이스가 위치한 환경의 이미지들을 획득하기 위한 카메라;
관성 측정 유닛(inertial measurement unit; IMU);
상기 디스플레이 디바이스, 상기 카메라, 및 상기 IMU에 결합된 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서는,
상기 디스플레이 디바이스로 하여금 상기 디바이스가 위치한 환경의 실세계 실시간 뷰를 상기 디스플레이 영역 상에 디스플레이하게 하고,
가상 현실 창이 상기 실세계 실시간 뷰 내에서 디스플레이되어야 하는 위치를 결정하고,
상기 디스플레이 디바이스로 하여금, 상기 디스플레이 영역 상에서, 상기 실세계 실시간 뷰 내의 상기 결정된 위치에서 상기 가상 현실 창을 디스플레이하게 하고,
상기 카메라 또는 상기 IMU 중 적어도 하나로부터의 데이터에 기초하여 상기 디바이스의 물리적 이동을 검출하며,
상기 가상 현실 창에 대한 상기 사용자의 시점 변화를 시뮬레이션하기 위해, 상기 디바이스의 상기 물리적 이동에 응답하여, 상기 가상 현실 창의 콘텐츠를 수정하도록 구성된 것인 시각화 디바이스.
제8항에 있어서,
상기 디바이스는 핸드헬드 모바일 컴퓨팅 디바이스이고, 상기 디바이스가 위치한 환경의 상기 실세계 실시간 뷰는 상기 카메라에 의해 획득되는 것인 시각화 디바이스.
제8항 또는 제9항에 있어서,
상기 디바이스는 머리 장착형 AR/VR 디스플레이 디바이스인 것인 시각화 디바이스.
제8항 내지 제10항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서는 또한,
상기 디바이스가 위치한 환경 이외의 제2 환경의 시뮬레이션된 장면을 생성하도록 구성되며,
상기 가상 현실 창을 디스플레이하는 것은 상기 가상 현실 창 내에서 상기 제2 환경의 시뮬레이션된 장면을 디스플레이하는 것을 포함한 것인 시각화 디바이스.
제8항 내지 제11항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서는 또한,
상기 디스플레이 디바이스로 하여금, 상기 디스플레이 영역 상에서, 증강 현실 이미지를 상기 실세계 실시간 뷰 위에 오버레이시키면서 상기 가상 현실 창 외부에 디스플레이하게 하도록 구성된 것인 시각화 디바이스.
제8항 내지 제12항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서는 또한,
객체를 생성하며,
상기 객체가 상기 가상 현실 창으로부터 상기 디바이스가 위치한 환경의 상기 실세계 실시간 뷰로 이동하거나 또는 이와 반대로 이동하는 것으로 나타나도록 상기 디스플레이 디바이스로 하여금 상기 디스플레이 영역 상에 상기 객체를 디스플레이하게 하도록 구성된 것인 시각화 디바이스.
제8항 내지 제13항 중 어느 한 항에 있어서,
상기 가상 현실 창이 디스플레이되어야 하는 위치를 결정하는 것은,
상기 사용자의 환경에서의 미리 결정된 패턴을 식별하는 것; 및
상기 미리 결정된 패턴의 위치에 기초하여, 상기 위치를 설정하는 것
을 포함한 것인 시각화 디바이스.
제14항에 있어서,
상기 가상 현실 창을 디스플레이하는 것은 상기 가상 현실 창을 상기 시각화 디바이스의 시점으로부터 상기 미리 결정된 패턴 위에 오버레이시키는 것을 포함한 것인 시각화 디바이스.