KR20190070971A

KR20190070971A - 증강 현실 소프트웨어 애플리케이션을 지원

Info

Publication number: KR20190070971A
Application number: KR1020197015058A
Authority: KR
Inventors: 유 왕; 요한 하랄드손; 재승 정; 산드라 바크스트룀; 매튜 존 로렌슨
Original assignee: 텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date: 2016-11-11
Filing date: 2016-11-11
Publication date: 2019-06-21
Also published as: IL265494B; CO2019003467A2; HUE049833T2; WO2018086704A1; CN109937393A; EP3667464B1; MX2019005382A; RU2723920C1; ZA201902002B; BR112019009494A2; MY195155A; KR102262812B1; EP3667464C0; EP3667464A1; US20210287440A1; AU2016429066A1; IL265494A; JP2020514848A; AU2016429066B2; EP3500908A1

Abstract

증강 현실(Augmented-Reality, AR) 소프트웨어 애플리케이션을 지원하기 위한 컴퓨팅 디바이스(120)가 제공된다. 컴퓨팅 디바이스는 물리적 장면 및 오버레이된 현재 가상 객체를 사용자에게 디스플레이하는(123) 것에 응답하여 사용자가 추정하는 예상 물리적 위치와, 공간적으로 의존하고 AR 소프트웨어 애플리케이션의 사용자 경험에 영항을 미치는 속성을 근거로, 현재 가상 객체가 사용자(110)의 주변에서 물리적 장면(100;200)을 캡처하는 비디오 시퀀스상에 오버레이 될 때 배치된 것으로 보이는, 현재 가상 객체(104)를 배치하기 위한 물리적 위치(131)를 선택하도록 동작한다. 가상 객체를 배치하기 위한 물리적 위치를 선택할 때 사용자의 예상 물리적 위치에서 공간-의존 속성을 고려하는 것은 사용자에게 개선된, 적어도 만족스러운 사용자 경험을 제공하도록 가상 객체가 물리적 위치에서 배열될 수 있다는 점에서 유리하다.

Description

증강 현실 소프트웨어 애플리케이션을 지원

본 발명은 증강 현실(Augmented-Reality, AR) 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스, AR 소프트웨어 애플리케이션을 지원하는 방법, 대응하는 컴퓨터 프로그램, 및 대응하는 컴퓨터 프로그램 제품에 관한 것이다.

AR은 사운드, 비디오, 또는 그래픽과 같이 컴퓨터-발생된 감각 입력에 의해 요소가 증강되는 (또는 보완되는) 물리적 실제 환경의 직접 또는 간접 라이브 뷰(live view)이다. 이는 중재된 현실이라 칭하여지는 보다 일반적인 개념과 관련되고, 여기서 현실의 뷰는 컴퓨터에 의해 수정된다 (심지어 증강되기 보다는 축소될 수도 있다). 증강은 일반적으로 환경 객체와 함께 실시간 및 의미적 맥락에서 실행된다. 부가하여, 객체 인식을 사용함으로서, 물리적 실제 객체는 조작되거나 실제 환경을 증강하는 것을 고려할 수 있다.

전형적으로, AR 소프트웨어 애플리케이션은 사용자가 착용한 카메라에 의해 종종 캡처되는, 사용자 주변의 증강된 장면을 디스플레이하기 위해 사용자가 착용하는 디스플레이를 사용한다. 최근 몇 년 동안, 헤드-장착 디스플레이(Head-Mounted Display, HMD) 또는 가상 현실(Virtual-Reality, VR) 헤드셋이 AR과 함께 사용되도록 인기가 높아지고 있다. 이들 디바이스는 하나 이상의 디스플레이, 및 종종 카메라도 또한 포함하고, 하네스(harness)나 헬멧과 같이 사용자의 이마와 쌍을 이뤄 설계된다. HMD는 사용자의 시야에서 물리적 세계를 증강하는 가상 객체와 물리적 세계 모두의 이미지를 배치한다. 이들은 종종 AR 소프트웨어 애플리케이션이 사용자의 움직임에 응답하여 물리적 세계에 가상 객체를 정확히 맞추게 허용하는 6 자유도 모니터링(6 degrees-of-freedom monitoring)을 위한 센서를 사용한다. HMD는 예를 들어, 마이크로소프트 홀로렌즈 및 오큘러스 리프트(Microsoft HoloLens 및 Oculus Rift)와 같이 상업적으로 이용가능하다. 또한, 스마트폰을 HMD로 사용하여 스마트폰과 사용자의 이마가 쌍을 이루는 것을 용이하게 하는 유틸리티도 이용가능한다(예를 들면, 구글 카드보드(Google Cardboard) 및 삼성기어 VR(Google Cardboard 및 Samsung Gear VR)).

AR 소프트웨어 애플리케이션의 수는 상업적으로 이용가능한 HMD의 출현으로 상당히 증가되었다. AR은 예를 들어, 빌딩 프로젝트를 시각화하는 건축에서, 고객에 대한 제품을 시작화하는 상거래에서, 또한 게임에서 사용된다. 예를 들면, 2016년 7월에 닌텐도(Nintendo)에서 출시한 모바일 게임 애플리케이션 포켓몬 고(Pokemon Go)는 수억 번의 다운로드로 빠르게 세계적 성공을 이루었다. 포켓몬 고는 가상 객체를 포켓몬 몬스터의 형태로 물리적 위치에 배치하는 위치-기반의 AR 게임이고, 플레이어는 몬스터를 잡기 위해 물리적 위치로 이동하여야 한다.

포겟몬 고의 성공에 따라, 위치-기반 AR 게임 및 앱(app)의 수가 상당히 증가될 것으로 기대된다. 위치-기반 AR 게임 및 앱의 공통적인 특성은 플레이어 또는 사용자가 거기에 배치된 가상 객체와 상호작용을 하기 위해 특정한 물리적, 즉 실제 위치를 방문하도록 요구된다는 점이다. AR 소프트웨어 애플리케이션이 전형적으로 무선 액세스 네트워크(Radio Access Network, RAN)를 통해 AR 소프트웨어 애플리케이션을 호스팅하는 애플리케이션 서버와 통신하므로, 상당한 네트워크 부하를 발생시켜 RAN에 높은 요구를 제기한다. 특히, 이는 상당한 수의 AR 사용자들이 서로 근접하게 이동하는 경우이다. 위치-기반 AR 게임 및 앱은 또한 예를 들어, 쉐도잉(shadowing), 간섭 등에 의해 나쁜 커버리지 영역으로 사용자가 이동하면 접속 불량을 겪을 수 있다. 이러한 두 문제점은 모두 AR 소프트웨어 애플리케이션의 사용자 경험에 부정적인 영향을 갖는다.

본 발명의 목적은 상기 기술 및 종래 기술에 대해 개선된 대안을 제공하는 것이다.

보다 구체적으로, 본 발명의 목적은 AR 소프트웨어 애플리케이션에 의한 가상 객체의 배치를 위한 물리적 위치를 선택하도록 개선된 해결법을 제공하는 것이다.

본 발명의 이들 목적 및 다른 목적은 독립항에 의해 정의된 바와 같은, 본 발명의 다른 측면에 의해 이루어진다.

본 발명의 실시예는 종속항에 의해 특징지워진다.

본 발명의 제1 측면에 따라, AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스가 제공된다. 컴퓨팅 디바이스는 AR 소프트웨어 애플리케이션의 사용자가 추정하는 예상 물리적 위치와, 사용자 주변에서 공간적으로 의존하는 속성을 근거로 현재 가상 객체를 배치하기 위한 물리적 위치를 선택하도록 동작되는 프로세싱 수단을 포함한다. 공간적으로 의존하는 속성은 AR 소프트웨어 애플리케이션의 사용자 경험에 영항을 미친다. 예상 물리적 위치는 사용자의 주변에서 물리적 장면을 캡처한 비디오 시퀀스 및 오버레이(overlay)된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 물리적 위치이다. 선택된 물리적 위치는 현재 가상 객체가 사용자의 주변에서 물리적 장면을 캡처한 비디오 시퀀스에 오버레이 될 때 배치되는 것으로 보이는 물리적 위치이다.

본 발명의 제2 측면에 따라, AR 소프트웨어 애플리케이션을 지원하는 방법이 제공된다. 그 방법은 컴퓨팅 디바이스에 의해 실행되고, AR 소프트웨어 애플리케이션의 사용자가 추정하는 예상 물리적 위치와, 사용자 주변에서 공간적으로 의존하는 속성을 근거로 현재 가상 객체를 배치하기 위한 물리적 위치를 선택하는 단계를 포함한다. 공간적으로 의존하는 속성은 AR 소프트웨어 애플리케이션의 사용자 경험에 영항을 미친다. 예상 물리적 위치는 사용자의 주변에서 물리적 장면을 캡처한 비디오 시퀀스 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 물리적 위치이다. 선택된 물리적 위치는 현재 가상 객체가 사용자의 주변에서 물리적 장면을 캡처한 비디오 시퀀스에 오버레이 될 때 배치되는 것으로 보이는 물리적 위치이다.

본 발명의 제3 측면에 따라, 컴퓨터 프로그램이 제공된다. 컴퓨터 프로그램은 한 디바이스가 그에 포함된 프로세싱 유닛에서 컴퓨터-실행가능 명령을 실행할 때, 본 발명의 제2 측면의 실시예에 따른 방법을 실행하게 하기 위한 컴퓨터-실행가능 명령을 포함한다.

본 발명의 제4 측면에 따라, 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품은 여기서 구현되는 본 발명의 제3 측면에 따른 컴퓨터 프로그램을 갖는 컴퓨터-판독가능 저장 매체를 포함한다.

본 명세서에서, AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스는 예를 들어 AR 소프트웨어 애플리케이션을 호스팅하는 애플리케이션 서버, HMD 또는 VR 헤드셋, 이동전화, 스마트폰, 이동 단말기, 개인용 컴퓨터, 랩탑. 테블릿, 또는 게임 콘솔로 구현될 수 있다. AR 소프트웨어 애플리케이션은 예를 들어 포켓몬 고와 같은 AR 게임, 또는 AR 관광 가이드 정보와 같이 물리적 실제 객체를 증강시키는 AR 앱이 될 수 있다. 본 명세서를 통해, "물리적" 및 "실제"란 말은 교환가능하게 사용되고 실제 세상에서의 위치 또는 객체를 칭하는 것으로 이해되어야 한다. 사용자 주변, 및 가상 객체를 오버레이 함으로서 증강된 캡처 장면은 실제 실내 또는 실외 위치, 예를 들면 방이나 공동 공간이 될 수 있다.

본 발명은 AR 소프트웨어 애플리케이션에 의한 가상 객체의 배치 또는 배열을 위한 물리적 위치의 개선된 선택이 공간-의존하는 속성을 고려함으로서 이루어질 수 있다는 이해를 이용하고, 그 속성은 AR 소프트웨어 애플리케이션의 사용자 경험에 영향을 미친다. 공간-의존 속성은 적어도 사용자 주변에서 실제 물리적 위치의 함수로 변화된다. 공간-의존 속성은 예를 들어, 무선 연결의 신호 강도, 데이터 비율, 대역폭, 에러 비율, 재전송 비율, 및 대기 시간과 같이, AR 소프트웨어 애플리케이션에 의해 이용되는 무선 연결의 성능에 관련될 수 있다. AR 소프트웨어 애플리케이션의 사용자 경험은 전형적으로 높은 신호 강도, 높은 데이터 비율이나 대역폭, 낮은 에러 비율, 낮은 재전송 비율, 및 낮은 대기시간으로부터 이익을 얻는 것으로 이해된다. 무선 연결은 가상 객체의 배치에 관련된 정보를 사용자 디바이스에 전송하기 위해 AR 소프트웨어 애플리케이션에 의해 사용되는 연결이 될 수 있고, 사용자 디바이스는 수신된 정보를 근거로 사용자에게 디스플레이하기 위해 증강된 장면을 렌더링(rendering)한다. 다른 방법으로, 무선 연결은 비디오 스트림과 같이, 렌더링된 증강 장면을 사용자 디바이스에 전송하여 증강된 장면을 사용자에게 디스플레이하기 위해 사용될 수 있다. 무선 연결은 예를 들어, 셀룰러 RAN, 무선 근거리 네트워크(Wireless Local Area Network, WLAN)/와이파이(Wi-Fi) 네트워크, 블루투스(Bluetooth) 등을 통해 영향을 받을 수 있다.

다른 방법으로, 공간-의존 속성은 AR 소프트웨어 애플리케이션에 의해 렌더링된 사운드의 사용자에 의한 인식에 관련될 수 있다. 특히, 이는 사용자 주변에 배치된 스피커에 의해 렌더링된 사운드가 될 수 있다. 예를 들어, 사용자의 인식은 스테레오 오디오 또는 3D 오디오가 AR 소프트웨어 애플리케이션의 사용자 경험에 영향을 미치는 충분한 품질의 특정 위치에서 전달될 수 있는가 여부에 관련될 수 있다.

현재 가상 객체, 즉 AR 소프트웨어 애플리케이션이 배열하려고 하는 가상 객체를 배치하기 위한 물리적 위치는 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치에서 공간-의존 속성을 평가함으로서 선택된다. 이는 사용자의 예상되는 미래 위치, 즉 오버레이 된 가상 객체가 사용자에게 디스플레이되고 사용자에 의해 관찰된 이후의 사용자 위치이다. 특히, 가상 객체는 사용자에게 디스플레이될 때, 사용자를 그의 현재 물리적 위치에 유지하거나 위치 변경을 트리거하는 효과를 가질 수 있다. 예를 들어, 사용자가 한 예로, AR 게임에서 "친숙한" 캐릭터로부터 아이템을 수집하기 위해 가상 객체와 상호작용하기를 원할 수 있다. 이 경우, 사용자는 현재 가상 객체가 실제 세계에서 배치되는 것으로 보이는 물리적 위치에 가까운 물리적 위치로 이동할 것으로 예상된다. 한편, AR 게임에서 "적대적인" 캐릭터를 나타내는 가상 객체, 즉 사용자의 게임 캐릭터에 위협을 가하는 캐릭터는 사용자를 현재 물리적 위치에 유지하거나, 가상 객체가 배치되는 것으로 보이는 물리적 위치까지의 거리를 증가시키도록 사용자의 물리적 위치 변경을 초기화할 가능성이 있다.

가상 객체를 배치하기 위한 물리적 위치를 선택할 데 사용자의 예상 물리적 위치에서 공간-의존 속성을 고려하는 것은 가상 객체가 개선된, 또는 적어도 만족스러운 사용자 경험을 사용자에게 제공하도록 물리적 위치에 배열될 수 있다는 점에서 유리하다. 이를 위해, AR 소프트웨어 애플리케이션은 불량한 무선 조건이나 무선 연결성으로 어려움을 겪는 물리적 위치에서, 또는 AR 소프트웨어 애플리케이션에 의해 렌더링된 사운드가 충분한 품질로 인지될 수 없는 물리적 위치에서, 가상 객체가 배치될 것으로 보이는 실제 위치를 향해 사용자의 물리적 위치 변경을 트리거하는 것으로 알려진, 가상 객체의 배열을 피할 수 있다.

본 발명의 한 실시예에 따라, 현재 가상 객체를 배치하기 위한 물리적 위치는 현재 가상 객체를 배치하기 위한 적어도 하나의 후보 물리적 위치를 고려함으로서 선택된다. 이들 후보 위치는 예를 들면, AR 소프트웨어 애플리케이션으로부터 획득될 수 있다. 다른 방법으로, AR 소프트웨어 애플리케이션은 지형적인 경계 및/또는 다른 정보, 예를 들면, 사용자로부터의 거리 및/또는 다른 가상 객체나 실제 객체로부터의 거리를 근거로 가상 객체를 배치하기 위한 물리적 위치를 요청할 수 있다. 보다 구체적으로, 적어도 하나의 후보 물리적 위치 각각에 대해, 사용자가 추정하는 예상 물리적 위치가 결정되고, 그 예상 물리적 위치에서 공간-의존 속성의 값이 평가된다. 사용자가 추정하는 예상 물리적 위치는 후보 물리적 위치에 배치되게 보이도록 오버레이 된 현재 가상 객체 및 물리적 장면을 사용자에게 디스플레이하는 것에 응답하여 사용자가 남아있거나, 사용자가 이동하는 위치이다. 공간-의존 속성이 적어도 하나의 후보 물리적 위치에 대해 평가된 이후에, 현재 가상 객체를 배치하기 위한 물리적 위치는 적어도 하나의 후보 물리적 위치에서 평가된 공간-의존 속성의 다수의 값을 근거로 선택된다.

본 발명의 한 실시예에 따라, 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치는 후보 물리적 위치의 소정의 범위 내에 있다. 특히, 예상 물리적 위치는 후보 물리적 위치에 가깝거나, 그와 같을 수 있다. 이는 현재 가상 객체가 배치될 것으로 보이는 물리적 위치에 가깝게 사용자가 이동할 것으로 예상되는 경우 유리하다.

본 발명의 한 실시예에 따라, 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치는 현재 가상 객체의 종류를 근거로 결정될 수 있다. 예를 들어, 예상 물리적 위치는 현재 가상 객체와 똑같은 종류의 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 AR 소프트웨어 애플리케이션의 사용자 예상 행동에 관련된 정보를 근거로 결정될 수 있다. 한 예로, AR 게임에서, 가상 객체는 사용자가 가상 객체에 더 가깝게 이동하거나, 그 물리적 위치에 남아있거나, 또는 가상 객체로부터 더 멀리 이동할 수 있는 예상에 따라, 각각 "친숙한", "중립적인", 또한 "적대적인" 것과 같은 종류로 분류될 수 있다. 다른 방법으로, 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치는 현재 가상 객체와 똑같은 종류로 앞서 디스플레이되었던 가상 객체에 응답하는 사용자의 학습 행동을 근거로 결정될 수 있다. 한 예로, AR 관광 가이드의 사용자는 그 사용자가 이전에 이러한 객체를 방문한 것으로 알려진 경우, 객체에 대한 정보(예를 들면, 역사적 정보나 영업 시간)에 의해 증강될 때, 동상이나 건물과 같은 실제 객체에 더 가까이 이동할 것으로 예상될 수 있다.

본 발명의 한 실시예에 따라, 공간-의존 속성의 하나 이상의 값은 사용자 주변에서의 물리적 위치의 함수로, 데이터베이스로부터 검색될 수 있다. 검색된 값은 측정값, 예를 들면 사용자에 의해 휴대 될 때 컴퓨팅 디바이스에 의해 측정된 값 또는 다른 유사한 컴퓨팅 디바이스에 의해 측정된 (즉, 크라우드-소싱(crowd-sourced)된) 값이 될 수 있다. 다른 방법으로, 검색된 값은 시뮬레이션(simulated)된 값, 예를 들면 사용자 주변에서 무선 커버리지에 대한 모델을 근거로 계산된 값이 될 수 있다.

본 발명의 이점이 일부 경우에서 본 발명의 제1 측면의 실시예를 참고로 설명되었지만, 대응하는 추론은 본 발명의 다른 측면의 실시예에 적용된다.

본 발명의 또 다른 목적, 특징, 및 이점은 이어지는 상세한 설명, 도면, 및 첨부된 청구항을 연구할 때 명백해질 것이다. 종래 기술에 숙련된 자는 본 발명의 다른 특징이 다음에 기술된 것 이외의 다른 실시예를 생성하도록 조합될 수 있음을 인식한다.

본 발명의 상기 목적 뿐만 아니라 추가 목적, 특징, 및 이점은 첨부된 도면을 참고로 본 발명의 실시예에 대한 다음의 예시적이고 비제한적인 상세한 설명을 통해 더 잘 이해될 것이다.
도 1은 본 발명의 실시예에 따라 AR 소프트웨어 애플리케이션을 대신하여 가상 객체를 배치하는 물리적 위치를 선택하기 위한 제1 시나리오를 설명한다.
도 2는 본 발명의 실시예에 따라 AR 소프트웨어 애플리케이션을 대신하여 가상 객체를 배치하는 물리적 위치를 선택하기 위한 제2 시나리오를 설명한다.
도 3은 AR 소프트웨어 애플리케이션을 대신하여 가상 객체를 배치하는 물리적 위치를 선택할 때 본 발명의 실시예의 다른 역할 사이의 상호작용을 설명한다.
도 4는 본 발명의 한 실시예에 따라 AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스를 도시한다.
도 5는 본 발명의 또 다른 실시예에 따라 AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스를 도시한다.
도 6은 본 발명의 또 다른 실시예에 따라 AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스를 도시한다.
도7은 AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스에 포함된 프로세싱 수단의 한 실시예를 도시한다.
도8은 AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스에 포함된 프로세싱 수단의 또 다른 실시예를 도시한다.
도 9는 본 발명의 실시예에 따라 AR 소프트웨어 애플리케이션을 지원하는 방법을 도시한다.
모든 도면은 반드시 일정한 축적이 아닌 개략적인 것이고, 본 발명을 명료하게 하기 위해 필요한 부분만을 일반적으로 도시하고, 다른 부분은 생략되거나 간단히 제안될 수 있다.

본 발명은 이제 본 발명의 특정한 실시예가 도시된 첨부 도면을 참고로 여기서 보다 완전하게 설명될 것이다. 그러나, 본 발명은 많은 다른 형태로 구현될 수 있고 여기서 설명되는 실시예에 한정되는 것으로 해석되지 않아야 한다. 오히려, 이들 실시예는 본 내용이 철저하고 완전해지도록 예로서 제공되고, 종래 기술에 숙련된 자에게 본 발명의 범위를 충분히 전달할 것이다.

도 1에서는 한 예로 AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스의 실시예(120)를 사용하여, AR 소프트웨어 애플리케이션을 대신하여 가상 객체를 배치하기 위한 물리적 위치를 선택하는 것이 설명된다. AR 소프트웨어 애플리케이션은 예를 들어, AR 게임 앱이거나 AR 관광 가이드와 같은 다른 종류의 AR 앱이 될 수 있다. AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스는 예를 들어, AR 소프트웨어 애플리케이션을 호스팅하는 애플리케이션 서버, AR 소프트웨어 애플리케이션에 의한 요구에 따라 가상 객체를 배치하기 위한 물리적 위치를 선택하는 애플리케이션 서버, HMD나 VR 헤드셋, 이동전화, 스마트폰, 이동 단말기, 개인용 컴퓨터, 랩탑, 테블릿, 또는 게임 콘솔이 될 수 있다.

다음에는 본 발명의 실시예가 도 1을 참고로 설명되고, 여기서 AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스의 한 실시예(120)는 도 4에서 더 상세히 도시될 HMD 또는 VR 헤드셋으로 도시된다. 컴퓨팅 디바이스(120)는 시야(122)를 갖는 카메라(121), 적어도 하나의 디스플레이(124), 프로세싱 수단(125), 및 통신 모듈(126)을 포함한다.

본 문맥에서, 가상 객체를 배치하거나, 가상 객체를 배열하는 것은 가상 객체의 그래픽 표현, 예를 들면 AR 게임에서의 캐릭터 또는 AR 관광 가이드에 의해 제공되는 실제 객체에 대한 정보가 물리적인 실제 장면을 캡처한 비디오 시퀀스상에 오버레이 되어, 가상 객체가 물리적 장면에서 대응하는 물리적 위치에 배치된 것으로 보이게 되는 것으로 이해되어야 한다. 이는 물리적 위치(131)에 배치되어 오버레이 된 가상 객체(104)를 갖는 실내 물리적 장면(100)을 도시하는 도 1에서 설명된다. 부가하여, AR 소프트웨어 애플리케이션에 의해 랜더링 되고 컴퓨팅 디바이스(120)에 통합된 디스플레이(121)를 사용하여 AR 소프트웨어 애플리케이션의 사용자(110)에게 제시되는 장면(123)이 또한 설명된다.

본 내용에 걸쳐, 사용자(110)는 물리적 장면(100)을 포함하여 그 주변을 통해 이동할 수 있다고 가정한다. 물리적 장면(100)에 오버레이 되어 사용자(110)에게 제시되는 가상 객체(104)의 종류에 따라, 사용자(110)는 가상 객체(104)가 배치된 물리적 위치(131)로 더 가깝게 이동하거나, 그의 현재 위치에 남아있거나, 또는 가상 객체(104)로부터 더 멀리 이동할 수 있다. 예를 들어, 가상 객체(104)가 AR 게임에서 "친숙한" 캐릭터로 나타나면, 사용자(110)는 가상 객체(104)와 상호작용하기 위해, 예를 들면 보물과 같이 가치있는 아이템을 수집하기 위해 가상 객체(104)가 배치된 물리적 위치(131)에 더 가깝게 이동할 것으로 예상될 수 있다. 반면, 가상 객체(104)가 "적대적인" 캐릭터로 나타나면, 사용자(110)는 가상 객체(104)가 배치된 물리적 위치(131)로부터 더 멀리 이동하거나 그의 현재 위치를 유지할 가능성이 있다.

이를 위해, 프로세싱 수단(125)은 도 1에 도시되는 물리적 위치(131)에 배치된 가상 객체(104)와 같이, 현재 가상 객체를 배치하기 위한 물리적 위치를 선택하도록 동작한다. 선택된 물리적 위치(131)는 물리적 장면(100)을 캡처하는 비디오 시퀀스상에 오버레이 될 때 현재 가상 객체(104)가 배치된 것으로 보이는 물리적 위치이다. 프로세싱 수단(125)은 물리적 장면(100) 및 오버레이 된 현재 가상 객체(104)를 사용자(110)에게 디스플레이 하는 것에 응답하여 사용자(110)가 추정하는 예상 물리적 위치와, 사용자(110)의 주변에서 공간적으로 의존하는 속성을 근거로 물리적 위치(131)를 선택하도록 동작한다. 공간-의존 속성은 AR 소프트웨어 애플리케이션의 사용자 경험에 영향을 미친다. 여기서, 사용자(110)가 추정하는 예상 물리적 위치는 오버레이 된 현재 가상 객체(104)가 사용자(110)에게 디스플레이된 이후에, 사용자(110)의 추측되는 가능한 미래 위치이다. 사용자(110)의 이러한 예상 물리적 위치는 AR 소프트웨어 애플리케이션의 사용자에게 개선된, 또는 적어도 만족스러운 사용자 경험을 제공하도록, 현재 가상 객체(104)를 배치하기 위한 물리적 위치를 선택할 때 고려된다.

공간-의존 속성은 AR 소프트웨어 애플리케이션이 의존하는 물리적 특성이며, AR 소프트웨어 애플리케이션의 사용자 경험에 영향을 미친다. 예를 들어, 공간-의존 속성은 AR 소프트웨어 애플리케이션에 의해 사용되는 무선 연결의 성능에 관련될 수 있다. 도 1를 참고로, 무선 연결은 예를 들면, 무선 근거리 네트워크(WLAN)/와이파이 네트워크의 액세스 포인트(Access Point, AP)(103)와 컴퓨팅 디바이스(120)에 포함된 통신 모듈(126) 사이에 설정될 수 있다. 공간-의존 속성은 무선 연결의 신호 강도, 데이터 비율, 대역폭, 에러 비율, 재전송 비율, 및 대기 시간 중 임의의 하나가 될 수 있다. 특히, AR 소프트웨어 애플리케이션의 사용자 경험은 전형적으로 높은 신호 강도, 높은 데이터 비율, 높은 대역폭, 낮은 에러 비율, 낮은 재전송 비율, 및 낮은 대기시간으로부터 이익을 얻는다. 다른 방법으로, 공간-의존 속성은 예를 들면, 물리적 장면(100)에 가까이 제공된 스피커(도 1에 도시되지 않은)에 의하여, AR 소프트웨어 애플리케이션에 의해 렌더링된 사운드를 사용자(110)가 인식하는 것에 관련될 수 있다. 이 경우, 사용자(110)에 의한 인식은 스테레오 오디오 또는 3D 오디오가 얼마나 충분한 품질, 볼륨 등으로 특정한 물리적 위치에 전달될 수 있는가 여부에 관련될 수 있다.

도 1을 더 참고로, 현재 가상 객체(104)를 배치하기 위한 대체 물리적 위치(132)가 도시된다. 본 발명의 실시예는 현재 가상 객체를 배치하기 위한 2개의 후보 물리적 위치를 고려하는 것에 제한되지 않는 것으로 이해된다. 오히려, 여기에 제시된 실시예는 단순성을 위해 간단히 유지된다. 물리적 위치(131)와 유사하게, 대체 물리적 위치(132)는 수납장(101) 가까이에 있고, 물리적 위치(131, 132)는 예를 들면, 캐릭터가 예를 들어 방의 구석이나 수납장(101)과 같은 가구 일부에 근접해 숨을 수 있게 AR 게임의 캐릭터로 여기서 도시되는 현재 가상 객체(104)를 배치하기 위한 물리적 위치를 찾도록 AR 게임의 요구를 근거로 선택된다. 그러나, 물리적 위치(131)와 대조적으로, 대체 물리적 위치(132)는 AP(103)에 의해 생성되는 무선 네트워크에서 간섭을 일으킬 수 있는 전자렌지(102)에 더 가깝다. 따라서, 통신 모듈(126)을 통해, AR 소프트웨어 애플리케이션에 의해 사용되는 무선 연결의 성능은 물리적 위치(131)와 비교하여 대체 물리적 위치(132)에서 더 열등할 것으로 예상된다. 열등한 성능은 무선 연결의 신호 강도, 데이터 비율, 대역폭, 에러 비율, 재전송 비율, 또는 대기 시간과 같은 공간-의존 속성에 의해 반영되거나 그로부터 추론될 수 있다. 이를 위해, 현재 가상 객체(104)를 배치하기 위한 물리적 위치(131)는 물리적 위치(131)에서의 무선 연결의 우수한 성능을 근거로 2개의 후보 물리적 위치(131, 132) 중에서 선택된다.

도 2에서, 본 발명의 실시예는 다른 시나리오에서 설명된다. 여기서는 실외 물리적 장면(200)이 도시되고, 이는 사용자(110)가 착용한 HMD 또는 VR 헤드셋으로 다시 설명되는 컴퓨팅 디바이스(120)에 포함된 카메라(121)에 의해 캡처된다. 도 1과 유사하게, 프로세싱 수단(125)은 물리적 장면(200) 및 오버레이 된 현재 가상 객체(104)를 포함하는 렌더링된 증강 장면(223)을 사용자(110)에게 디스플레이 하는 것에 응답하여 사용자(110)가 추정하는 예상 물리적 위치와, 공간-의존 속성을 근거로 현재 가상 객체(204)를 배치하기 위한 물리적 위치(231)를 선택하도록 동작한다. 물리적 위치(231)는 물리적 장면(200)을 캡처한 비디오 시퀀스상에 오버레이 될 때 현재 가상 객체(104)가 배치된 것으로 보이는 물리적 위치이다. 도 1과 유사하게, 공간-의존 속성은 본 예에서 AR 소프트웨어 애플리케이션에 의해 사용되는 무선 연결의 성능과 관련되고, 이는 AR 소프트웨어 애플리케이션의 사용자 경험에 영향을 미친다. 도 1과 대조적으로, 무선 연결은 도 2에서 셀룰러 통신 네트워크의 무선 기지국(Radio Base Station, RBS)(203)과 컴퓨팅 디바이스(120)에 포함된 통신 모듈(126) 사이에 설정된다. 셀룰러 통신 네트워크는 예를 들면, GSM(Global System for Mobile communication) 네트워크, UMTS(Universal Mobile Telecommunications System) 네트워크, LTE(Long Term Evolution) 네트워크, 또는 5G 네트워크 중 임의의 하나가 될 수 있다.

도 2에서 설명되는 시나리오에서는 물리적 위치(231)에서의 무선 연결의 우수한 성능을 근거로, 대체 물리적 위치(232) 보다, 물리적 위치(231)가 가상 객체(104)를 배치하기 위해 선택된다. 이는 대체 물리적 위치(232)가 RBS(202)와 통신 모듈(126) 사이의 무선 연결에 부정적으로 영향을 주는 건물(202) 뒤에 있다는 사실에 기인한다. 본 발명의 실시예는 현재 가상 객체(104)를 배치하기 위한 2개의 후보 물리적 위치(231, 232)를 고려하는 것에 제한되지 않는 것으로 이해된다.

다음에는 본 발명의 실시예에 따라, 현재 가상 객체(104/204)를 배치하기 위한 물리적 위치를 선택하는 것이 보다 상세히 설명된다. 이를 위해, 프로세싱 수단(125)은 도 1에 도시된 물리적 위치(131, 132) 또는 도 2에 도시된 물리적 위치(231, 232)와 같이, 적어도 하나의 후보 물리적 위치를 포함하는 한 세트의 후보 물리적 위치로부터 현재 가상 객체(104, 204)를 배치하기 위한 물리적 위치를 선택하도록 동작할 수 있다. 후보 물리적 위치는 예를 들면, AR 소프트웨어 애플리케이션에 의해 제공될 수 있다. 예를 들어, 후보 물리적 위치의 리스트는 현재 가상 객체(104/204)를 배치하기 위한 물리적 위치를 선택한다는 요청과 함께 AR 소프트웨어 애플리케이션에 의해 제공될 수 있다. 다른 방법으로, AR 소프트웨어 애플리케이션은 지형적인 경계 또는 AR 소프트웨어 애플리케이션에 의해 제공되는 다른 정보를 근거로 컴퓨팅 디바이스(120)로부터 현재 가상 객체(104/204)를 배치하기 위한 물리적 위치를 요청할 수 있다. 한 예로, AR 소프트웨어 애플리케이션은 사용자(110), 실제 객체, 및/또는 다른 가상 객체로부터, 또는 현재 가상 객체(104)를 배치하기 위한 물리적 위치가 선택될 수있는 지형적 영역으로부터 한 거리 또는 거리들을 제공할 수 있다.

후보 물리적 위치 각각에 대해, 현재 가상 객체(104/204)가 현재 후보 물리적 위치에 배치된 것으로 보이도록, 물리적 장면(100/200) 및 현재 가상 객체(104/204)를 사용자(110)에게 디스플레이하는 것에 응답하여 사용자(110)가 추정하는 예상 물리적 위치가 결정된다. 이어서, 공간-의존 속성의 값이 사용자(110)의 결정된 예상 물리적 위치에서 평가된다. 유리하게, AR 소프트웨어 애플리케이션의 사용자 경험은 현재 가상 객체(104/204)를 배치하기 위한 물리적 위치가 선택될 때 그에 의해 고려된다. 이는 예를 들어, 이후 더 설명될 바와 같이, 데이터베이스로부터 사용자(110) 주변에서 물리적 위치의 함수로 공간-의존 속성의 하나 이상의 값을 검색함으로서 이루어질 수 있다. 그 값은 예를 들면, 한번에 한 후보 물리적 위치에 대해 검색될 수 있다. 다른 방법으로, 사용자(110)의 주변을 커버하는 공간-의존 속성을 나타내는 맵 또는 값의 어레이나 리스트가 데이터베이스로부터 검색될 수 있다. 검색된 값은 디바이스(120)의 물리적 위치, 이전에 배치된 가상 객체, 사용자(110)가 착용한 카메라(121)의 시야(122) 등을 근거로 선택될 수 있다. 마지막으로, 현재 가상 객체(104/204)를 배치하기 위한 물리적 위치는 적어도 하나의 후보 물리적 위치에서 평가된 공간-의존 속성의 값을 근거로 후보 물리적 위치의 세트로부터 선택된다.

예를 들면, 대응하는 예상 물리적 위치에서 평가된 공간-의존 속성이 소정의 기준을 충족시키는 후보 물리적 위치 중 하나가 현재 가상 객체(104/204)를 배치하기 위한 물리적 위치로 선택될 수 있다. 한 예로, 선택된 물리적 위치는 후보 물리적 위치에서 평가된 공간-의존 속성이 소정의 기준을 충족시키는 제1 후보 물리적 위치가 될 수 있다. 바람직하게, 소정의 기준은 공간-의존 속성에 의해 영향을 받는 AR 소프트웨어 애플리케이션의 사용자 경험에 관련되거나 그를 반영한다. 소정의 기준은 예를 들면, 각각 특정한 데이터 비율이나 대역폭을 넘거나, 특정한 대기 시간이나 에러 비율을 넘지 않는 한계치 기준이 될 수 있다.

한 대안으로, 현재 가상 객체(104/204)를 배치하기 위한 물리적 위치는 평가된 공간-의존 속성이 최대값(예를 들면, 데이터 비율이나 대역폭) 또는 최소값(예를 들면, 에러 비율이나 대기 시간)을 추정하는 후보 물리적 위치로 선택될 수 있다.

또 다른 대안으로, 현재 가상 객체(104/204)를 배치하기 위한 물리적 위치는 다수의 후보 물리적 위치에서 평가된 다수의 공간-의존 속성값들을 보간하고, 보간된 공간-의존 속성값이 극단값, 예를 들면 각각 데이터 비율이나 대역폭에서의 최대값, 또는 대기 시간이나 에러 비율에서의 최소값을 추정하는 물리적 위치를 선택함으로서 선택될 수 있다.

공간-의존 속성이 평가되는 후보 물리적 위치는 적응 방식에서 선택적으로 결정될 수 있다. 예를 들면, 다음 후보 물리적 위치는 이전 후보 물리적 위치에 대해 평가된 공간-의존 속성값에서 식별되는 트렌드를 근거로 선택될 수 있다. 한 예로, 다음 후보 물리적 위치는 각각 공간-의존 속성이 무선 연결의 데이터 비율이나 대역폭에 관련되는 경우 증가되도록, 또는 공간-의존 속성이 무선 연결의 에러 비율이나 대기 시간에 관련되는 경우 감소되도록 식별된 트렌드를 근거로 공간-의존 속성이 예상되는 사용자(110) 주변에서의 방향을 근거로 선택될 수 있다. 평가되는 후보 물리적 위치의 수는 사용자(110) 주변에서 물리적 위치의 함수로 공간-의존 속성의 변화 비율에 의존할 수 있음을 또한 알게 된다. 즉, 공간-의존 속성이 사용자(110) 주변에서 비교적 일정하면, 공간-의존 속성이 물리적 위치에 따라 급격히 변하는 시나리오와 비교해 더 적은 후보 물리적 위치를 평가하는 것으로 충분히다.

프로세싱 수단(125)은 현재 후보 물리적 위치, 즉 평가 중인 후보 물리적 위치의 소정의 범위 내에 있는 예상 물리적 위치를 선택함으로서, 물리적 장면(100/200) 및 오버레이 된 현재 가상 객체(104/204)를 사용자(110)에게 디스플레이하는 것에 응답하여 사용자(110)가 추정하는 예상 물리적 위치를 결정하도록 동작할 수 있다. 특히, 공간-의존 속성을 평가하기 위해, 사용자(110)의 예상 물리적 위치는 후보 물리적 위치에 가깝거나 같도록 선택될 수 있다. 특히, 이는 현재 가상 객체(104/204)가 물리적 장면(100/200)상에 오버레이 될 때 현재 가상 객체(104/204)를 향한 사용자(110)의 물리적 위치의 변화를 트리거할 가능성이 있는 종류인 경우이다.

선택적으로, 물리적 장면(100/200) 및 오버레이 된 현재 가상 객체(104/204)를 사용자(110)에게 디스플레이하는 것에 응답하여 사용자(110)가 추정하는 예상 물리적 위치는 현재 가상 객체(104/204)의 종류를 근거로 결정된다. 예를 들면, AR 게임에서, AR 게임의 캐릭터에 대해 가능한 가상 객체 종류는 "친숙한", "적대적인", "친구", "적군" 등이 될 수 있다. 바람직하게, 가상 객체는 가상 객체로부터 멀리 이동하거나, 가상 객체에 더 가깝게 이동하거나, 또는 그의 현재 물리적 위치를 유지하도록 사용자의 행동을 반영하는 다른 종류로 분류된다. 예를 들어, 물리적 장면(100/200) 및 오버레이 된 현재 가상 객체(104/204)를 사용자(110)에게 디스플레이하는 것에 응답하여 사용자(110)가 추정하는 예상 물리적 위치는 현재 가상 객체(104)와 똑같은 종류의 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 AR 소프트웨어 애플리케이션의 사용자 그룹의 예상 행동에 대한 정보를 근거로 결정될 수 있다. 이 정보는 예를 들면, AR 소프트웨어 애플리케이션에 의해 제공될 수 있다. 다른 방법으로, 물리적 장면(100/200) 및 오버레이 된 현재 가상 객체(104/204)를 사용자(110)에게 디스플레이하는 것에 응답하여 사용자(110)가 추정하는 예상 물리적 위치는 현재 가상 객체(104)와 똑같은 종류로 이전에 디스플레이되었던 가상 객체에 응답하여 사용자(110)의 학습 행동을 근거로 결정된다. 즉, 컴퓨팅 디바이스(120)의 한 실시예는 사용자(110)가 특정한 종류의 오버레이 된 가상 객체에 반응하는 방법을, 즉 사용자(110)가 그 가상 객체에 대한 자신의 거리를 증가시키는지, 감소시키는지, 또는 유지하는지 여부를 학습할 수 있다.

앞서 설명된 바와 같이, 후보 물리적 위치 중 하나에 배치된 현재 가상 객체(104/204)를 디스플레이하는 것에 응답하여 사용자(110)가 추정하는 예상 물리적 위치에서 공간-의존 속성의 값을 평가할 때, 공간-의존 속성의 하나 이상의 값은 위치별로, 또는 특정한 지형적 영역 내의 공간-의존 속성을 나타내는 맵 또는 값들의 어레이나 리스트를 검색함으로서, 데이터베이스로부터 검색될 수 있다. 특히, 이는 사용자(110)의 주변 내에 있는 영역이 될 수 있다. 이들 값은 컴퓨팅 디바이스(120) 또는 다른 유사한 컴퓨팅 디바이스에 의해 측정된 즉, 크라우드-소싱된 값이 될 수 있다. 다른 방법으로, 이들 값은 사용자(110) 주변에서 무선 커버리지에 대한 모델을 사용해 얻어진 시뮬레이션 값이 될 수 있다.

선택적으로, 프로세싱 수단(125)은 또한 데이터베이스에 물리적 위치의 함수로 공간-의존 속성의 측정값을 저장하도록 동작할 수 있다. 이를 위해, 이들 값은 사용자(110)가 착용할 때 컴퓨팅 디바이스(120)에 의해 측정된다. 측정은 계속적으로, 규칙적인 간격으로, 또는 측정값이 소정의 범위로 변했을 때 실행될 수 있다. 측정값은 측정되었던 물리적 위치, 예를 들면 측정하는 동안 컴퓨팅 디바이스(120)의 물리적 위치와 함께 저장된다. 그 값은 자체 용도를 위해, 또는 크라우드-소싱 목적으로, 즉 AR 소프트웨어 애플리케이션의 다른 사용자가 사용하기 위해 저장될 수 있다.

다음에는 도 3을 참고로, 본 발명의 실시예가 다른 역할 및 그들의 상호 작용에 대해 설명된다.

사용자 디바이스(301)의 역할은 전형적으로 사용자(110)가 착용한 HMD(120)나 VR 헤드셋(120), 테블릿, 이동 전화, 이동 단말기, 스마트폰, 또는 게임 콘솔과 같이, AR 소프트웨어 애플리케이션의 사용자에 의해 동작되는 디바이스로 구현된다. 사용자 디바이스(301)는 전형적으로 사용자(110)의 주변에서 물리적 장면(100/200)을 캡처하기 위한(311) 카메라(121)와, 렌더링된 뷰(123/223), 즉 물리적 장면(100/200) 및 오버레이 된 현재 가상 객체(104/204)를 캡처한 비디오 시퀀스를 사용자(110)에게 디스플레이하기 위한 디스플레이(124)를 포함한다.

AR 앱(302)의 역할은 전형적으로 AR 소프트웨어 애플리케이션을 호스팅하는, 즉 실행하는 네트워크 노드나 컴퓨팅 디바이스에 의해 구현된다. 특히, 이는 물리적 장면(100/200)에 관련된 데이터를 근거로, AR 게임에서의 캐릭터(104/204) 또는 AR 관광 가이드에 의해 제공되는 정보와 같이, 가상 객체의 배열을 결정하고 평가하는 것을 포함할 수 있다. 물리적 장면(100/200)에 대한 데이터는 사용자 디바이스(301)로부터 비디오 데이터, 예를 들면, 물리적 장면(100/200)을 캡처한 비디오 시퀀스로, 또는 물리적 장면(100/200)에서 실제 물리적 객체의 종류와 각각의 물리적 위치를 설명하는 데이터로 수신된다(312). 실제 객체를 설명하는 데이터는 객체 인식 기술을 사용함으로서, 물리적 장면(100/200)을 캡처한 비디오 시퀀스의 이미지/비디오 프로세싱을 근거로 사용자 디바이스(301)에 의해 결정될 수 있다.

AR 앱(302)이 가상 객체(104/204)를 배열하기로(313) 결정할 때, 가상 객체(104/204)를 배치하기 위한 물리적 위치에 대한 요청(314)이 위치 선택기(303)에 송신된다. 위치 선택기(303)의 역할은 본 발명의 실시예, 특히 AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스에 의해 실현되고, 이는 물리적 장면(100/200) 및 오버레이 된 현재 가상 객체(104/204)를 사용자(110)에게 디스플레이하는(123/223) 것에 응답하여 사용자(110)가 추정하는 예상 물리적 위치와, AR 앱(302)에 의해 호스팅되는 AR 소프트웨어 애플리케이션의 사용자 경험에 영향을 미티는 공간-의존 속성을 근거로, 가상 객체(104/204)를 배치하기 위한 물리적 위치(131/132)를 선택함으로서 AR 소프트웨어 애플리케이션을 호스팅하는 AR 앱(302)을 지원한다.

가상 객체(104/204)를 배치하기 위한 물리적 위치를 선택할 때, 위치 선택기(303)는 사용자(110)의 예상 물리적 위치에서의 공간-의존 속성의 값에 대한 요청(315)을 속성 데이터베이스(304)에 송신하고, 속성 데이터베이스(304)는 요청된 값을 위치 선택기(303)에 송신함으로서(316) 응답한다. 속성 데이터베이스(304)의 역할은 전형적으로 위치의 함수로 공간-의존 속성의 값을 유지하는 네트워크 노드나 컴퓨팅 디바이스에 의해 실현된다. 공간-의존 속성의 값을 저장하는 데이터베이스는 컴퓨팅 디바이스(120)에 의해, 예를 들면 컴퓨팅 디바이스(120)에 포함된 데이터 저장 또는 메모리에 유지되거나 분리된 디바이스에 의해 유지될 수 있다. 예를 들어, 데이터베이스는 AR 소프트웨어 애플리케이션을 호스팅하는 애플리케이션 서버, 또는 그와 연관된 또 다른 네트워크 노드에 의해 유지될 수 있다. 또 다른 예로, 데이터베이스는 RAN 노드 또는 운영 지원 시스템(Operations Support Systems, OSS) 노드에 의해 유지될 수 있다. 예를 들면, RAN 노드는 데이터 비율, 에러 비율, 신호 강도 등과 같이, RAN의 성능에 대해 공간적으로 해결된 정보를 유지할 수 있다. 이 정보는 RAN을 사용해 이동 단말기로부터 수신되거나 시뮬레이트될 수 있다.

공간-의존 속성에 대해 수신된(316) 값을 근거로, 위치 선택기(303)는 여기서 설명되는 바와 같이, 가상 객체(104/204)를 배치하기 위한 물리적 위치(131/231)를 선택한다. 선택된 물리적 위치는 AR 앱(302)으로 송신되고(318), AR 앱(302)은 선택된 물리적 위치에 가상 객체(104/204)를 배치함으로서 가상 객체(104/204)를 배열한다(319). 배열된 가상 객체를 설명하는 데이터는 사용자 디바이스(301)에 제공되고(320), 사용자 디바이스(301)는 이어서 선택된 물리적 위치에 있는 가상 객체(104/204)를 물리적 장면(100/200)에 오버레이 함으로서(321) 사용자(110)에게 디스플레이되는 뷰(123/223)를 렌더링 한다. 다른 방법으로, 사용자(110)에게 디스플레이되는 뷰(123/223)는 사용자 디바이스(301) 보다 AR 앱(302)에 의해 렌더링 될 수 있다. 이 경우, 배열된 가상 객체를 설명하는 데이터(320)는 렌더링된 증강 장면의 이미지/비디오 데이터이고, 이는 이어서 사용자 디바이스(301)에 의해 디스플레이된다.

본 발명의 실시예는 여기서 설명된 다른 역할들을 분리하여, 또는 조합하여 실현할 수 있는 것으로 이해된다. 예를 들면, HMD(120)는 사용자 디바이스(301)의 역할을 실현하는 것에 부가하여, AR 앱(302), 위치 선택기(303), 및 속성 데이터베이스(304)의 역할 중 임의의 하나 또는 여러개를 더 실현할 수 있다. 다른 방법으로, HMD(120)가 사용자 디바이스(301)의 역할만을 실현하는 경우, HMD(120)는 통신 네트워크, 특히 무선 연결을 통해 AR 앱(302)의 역할을 실현하고, 선택적으로 위치 선택기(303) 및 속성 데이터베이스(304)의 역할을 실현하는 애플리케이션 서버와 상호작용할 수 있다. AR 앱(302)의 역할을 단독으로 실현하는 애플리케이션 서버는 교대로, 위치 선택기(303)의 역할을 실현하고, 선택적으로 속성 데이터베이스(304)의 역할을 실현하는 위치 서버와 상호작용할 수 있다. 위치 선택기(303)의 역할을 단독으로 실현하는 위치 서버는 교대로, 속성 데이터베이스(304)의 역할을 실현하는 네트워크 노드와 상호작용할 수 있다.

비록 본 발명의 실시예는 주로 도 1, 도 2, 및 도 4에서 HMD 또는 VR 헤드셋으로 도시된 컴퓨팅 디바이스(120)를 참고로 설명되었지만, AR 소프트웨어 애플리케이션을 지원하는 컴퓨팅 디바이스는 대안으로 다른 종류의 디바이스에 의해 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스는 테블릿, 이동 전화, 이동 단말기, 게임 콘솔, 또는 도 5에 도시된 바와 같은 스마트폰(500)으로 구현될 수 있다. HMD(120)와 유사하게, 스마트폰(500)은 카메라(121), 디스플레이(124), 프로세싱 수단(125), 및 통신 모듈(126)을 포함한다. 스마트폰(500)은 사용자(110)가 잡고 있거나, 구글 카드보드나 삼성 기어 VR과 유사하게, 어댑터(510)를 사용하여 사용자(110)의 이마와 쌍을 이뤄 결합될 수 있다.

또 다른 대안으로서, 도 6을 참고로, 컴퓨팅 디바이스는 AR 소프트웨어 애플리케이션을 호스팅하는 애플리케이션 서버(600)로, 또는 본 발명의 실시예에 따라 AR 소프트웨어 애플리케이션을 지원하고 AR 앱(302)의 역할 또는 위치 선택기(303)의 역할을 각각 실현하는 위치 서버(600)로 구현될 수 있다. 더욱이, 애플리케이션/위치 서버(600)의 실시예는 사용자 디바이스(301)의 역할 및/또는 속성 데이터베이스(304)의 역할을 더 실현할 수 있다. HMD(120) 및 스마트폰(500)과 유사하게, 애플리케이션/위치 서버(600)는 프로세싱 수단(125)과 통신 모듈(126)을 포함한다. 도 6에 도시된 바와 같이, 애플리케이션/위치 서버(600)는 사용자(110)의 주변에서 물리적 장면을 캡처하기 위한 카메라, 또는 캡처된 장면 및 오버레이 된 가상 객체를 사용자(110)에게 제시하기 위한 디스플레이를 포함하지 않는다. 오히려, 이는 외부 카메라 및 외부 디스플레이에 의해 각각 이루어질 수 있다. 예를 들면, AR 소프트웨어 애플리케이션을 호스팅하는 애플리케이션 서버(600)는 사용자(110)에 의해 착용되어 사용자 디바이스(301)의 역할을 실현하고 사용자(110)의 주변에서 물리적 장면을 캡처하기 위한 카메라 뿐만 아니라 캡처된 장면 및 오버레이 된 가상 객체를 사용자(110)에게 제시하기 위한 디스플레이도 포함하는 디바이스와, 바람직하게 무선 연결을 통해 통신할 수 있다. 사용자-착용 디바이스는 예를 들면, 도 4에 도시된 것과 유사한 HMD 또는 VR이 될 수 있다. 또 다른 예로, 위치 서버(600)는 사용자 디바이스(301)의 역할을 실현하고 사용자(110)의 주변에서 물리적 장면을 캡처하기 위한 카메라와, 캡처된 장면 및 오버레이 된 가상 객체를 사용자(110)에게 제시하기 위한 디스플레이를 포함하는 것에 부가하여, AR 소프트웨어 애플리케이션을 호스팅함으로서 AR 앱(302)의 역할도 또한 실현하는 사용자-착용 디바이스와, 바람직하게 무선 연결을 통해 통신할 수 있다.

이를 위해, 현재 가상 객체를 배치하기 위한 물리적 위치를 선택하는 것, 즉 위치 선택기(303)의 역할을 실현하는 것에 부가하여, AR 소프트웨어 애플리케이션을 지원하기 위한 컴퓨팅 디바이스의 실시예는 또한 AR 소프트웨어 애플리케이션을 호스팅, 즉 실행하도록, 즉 AR 앱(302)의 역할을 실현하도록 동작할 수 있다. 다른 방법으로, AR 소프트웨어 애플리케이션은 AR 앱(302)의 역할을 실현하는 애플리케이션 서버(600)와 같이, 분리된 디바이스에 의해 실행될 수 있고, 애플리케이션 서버(600)는 위치 선택기(303)의 역할을 실현하는 AR 소프트웨어 애플리케이션을 지원하기 위한 컴퓨팅 디바이스와 통신한다.

AR 소프트웨어 애플리케이션을 지원하기 위한 컴퓨팅 디바이스의 한 실시예는 AR 소프트웨어 애플리케이션의 사용자 주변에서 물리적 장면을 캡처한 비디오 시퀀스에 가상 객체를 오버레이 하여, 오버레이 된 가상 객체가 선택된 물리적 위치에 배치된 것으로 보이게 함으로서 사용자 디바이스(301)의 역할을 더 실현할 수 있다. 바람직하게, 비디오 시퀀스는 카메라의 시야가 사용자의 물리적 위치 및 방향과 상관되도록, 즉 사용자와 함께 움직이도록 사용자가 착용한 카메라에 의해 캡처된다. 카메라는 선택적으로 컴퓨팅 디바이스, 예를 들면 스마트폰, HMD, 또는 VR 헤드셋에 포함될 수 있다. 다른 방법으로, 유선이나 무선 연결을 사용해 컴퓨팅 디바이스에 외부 카메라, 특히 GoPro형 카메라와 같이 사용자가 착용하는 카메라가 연결될 수 있다.

더욱이, AR 소프트웨어 애플리케이션을 지원하기 위한 컴퓨팅 디바이스의 한 실시예는 또한 바람직하게 사용자가 착용한 디스플레이를 사용하여, 물리적 장면을 캡처한 비디오 시퀀스 및 오버레이 된 가상 객체를 사용자에게 디스플레이하도록 동작할 수 있다. 디스플레이는 예를 들어, 컴퓨팅 디바이스에, 예를 들면 스마트폰, HMD, 또는 VR 헤드셋에 통합될 수 있다. 다른 방법으로, 디스플레이는 사용자의 시야 위에 물리적 세상과 가상 객체 모두의 이미지를 배치하도록 사용자의 이마와 쌍을 이뤄 결합될 수 있다.

다음에는 컴퓨팅 디바이스(120, 500, 600)와 같이, AR 소프트웨어 애플리케이션을 지원하기 위한 컴퓨팅 디바이스에 포함된 프로세싱 수단(125)의 실시예가 도 7 및 도 8을 참고로 설명된다.

도 7에는 프로세싱 수단(125)의 제1 실시예(700)가 도시된다. 프로세싱 수단(700)은 범용 프로세서와 같은 프로세싱 유닛(702)과, 랜덤 액세스 메모리(RAM), 플래쉬 메모리 등과 같은 컴퓨터-판독가능 저장 매체(703)를 포함한다. 부가하여, 프로세싱 수단(700)은 카메라(121), 디스플레이(124), 및 통신 모듈(126)과 같이, 컴퓨팅 디바이스(120/500/600)에 포함되는 다른 구성성분으로부터 정보를 수신 및/또는 제어하기 위한 하나 이상의 인터페이스(701)(도 7에서 "I/O")를 포함한다. 메모리(703)는 컴퓨터-실행가능 명령(704), 즉 컴퓨터 프로그램을 포함하여, 컴퓨터-실행가능 명령(704)이 프로세싱 유닛(702)에서 실행될 때, 컴퓨팅 디바이스(120/500/600)가 여기서 설명된 바와 같이 본 발명의 실시예에 따라 실행되게 한다. 특히, 컴퓨팅 디바이스(120/500/600)는 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 AR 소프트웨어 애플리케이션의 사용자가 추정하는 예상 물리적 위치와, 사용자 주변에서 공간적으로 의존하고 AR 소프트웨어 애플리케이션의 사용자 경험에 영향을 미치는 속성을 근거로, 현재 가상 객체를 배치하기 위한 물리적 위치를 선택하도록 동작할 수 있다. 예를 들면, 현재 가상 객체를 배치하기 위한 물리적 위치는 물리적 장면 및 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치를, 현재 가상 객체를 배치하기 위한 적어도 하나의 후보 물리적 위치에 대해, 결정하고, 예상 물리적 위치에서의 공간-의존 속성의 값을 평가함으로서 선택될 수 있다. 현재 가상 객체를 배치하기 위한 물리적 위치는 이때 적어도 하나의 후보 물리적 위치에서 평가된 다수의 공간-의존 속성값을 근거로 선택된다. 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치는 예를 들어, 후보 물리적 위치의 소정의 범위 내에 있거나 그와 동일할 수 있다.

선택적으로, 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치는 현재 가상 객체의 종류를 근거로 결정될 수 있다. 예를 들면, 예상 물리적 위치는 현재 가상 객체와 똑같은 종류의 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 AR 소프트웨어 애플리케이션의 사용자의 예상 행동에 대한 정보를 근거로 결정될 수 있다. 다른 방법으로, 예상 물리적 위치는 현재 가상 객체와 똑같은 종류로 이전에 디스플레이된 가상 객체에 응답하여 사용자의 학습 행동을 근거로 결정될 수 있다.

공간-의존 속성은 AR 소프트웨어 애플리케이션에 의해 사용되는 무선 연결의 성능에 관련될 수 있다. 예를 들면, 공간-의존 속성은 무선 연결의 신호 강도, 데이터 비율, 대역폭, 에러 비율, 재전송 비율, 및 대기 시간 중 임의의 하나가 될 수 있다. 다른 방법으로, 공간-의존 속성은 AR 소프트웨어 애플리케이션에 의해 렌더링된 사운드의 사용자에 의한 인식에 관련될 수 있다.

도 8에는 프로세싱 수단(125)의 또 다른 실시예(800)가 도시된다. 프로세싱 수단(700)과 유사하게, 프로세싱 수단(800)은 카메라(121), 디스플레이(124), 및 통신 모듈(126)과 같이, 컴퓨팅 디바이스(120/500/600)에 포함된 다른 구성성분으로부터 정보를 수신 및/또는 제어하기 위한 하나 이상의 인터페이스(801)(도 8에서 "I/O")를 포함한다. 프로세싱 수단(800)은 컴퓨팅 디바이스(120/500/600)가 여기서 설명된 바와 같이 본 발명의 실시예에 따라 실행되게 하도록 구성된 위치 선택 모듈(803)을 더 포함한다. 특히, 위치 선택 모듈(803)은 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 AR 소프트웨어 애플리케이션의 사용자가 추정하는 예상 물리적 위치와, 사용자의 주변에서 공간적으로 의존하고 AR 소프트웨어 애플리케이션의 사용자 경험에 영향을 미치는 속성을 근거로, 현재 가상 객체를 배치하기 위한 물리적 위치를 선택하도록 구성된다. 예를 들면, 현재 가상 객체를 배치하기 위한 물리적 위치는 물리적 장면 및 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치를, 현재 가상 객체를 배치하기 위한 적어도 하나의 후보 물리적 위치에 대해, 결정하고, 예상 물리적 위치에서의 공간-의존 속성의 값을 평가함으로서 선택될 수 있다. 현재 가상 객체를 배치하기 위한 물리적 위치는 이때 적어도 하나의 후보 물리적 위치에서 평가된 다수의 공간-의존 속성값을 근거로 선택된다. 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치는 예를 들어, 후보 물리적 위치의 소정의 범위 내에 있거나 그와 동일할 수 있다.

프로세싱 수단(800)은 선택적으로 AR 소프트웨어 애플리케이션을 호스팅하도록, 즉 실행하도록 구성된 AR 모듈(802)을 포함할 수 있다.

선택적으로, 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치는 현재 가상 객체의 종류를 근거로 결정될 수 있다. 예를 들면, 예상 물리적 위치는 현재 가상 객체와 똑같은 종류의 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 AR 소프트웨어 애플리케이션의 사용자의 예상 행동에 대한 정보를 근거로 결정될 수 있다. 이 정보는 예를 들어, AR 모듈(802)에 의해 제공되거나 AR 소프트웨어 애플리케이션을 호스팅하는 애플리케이션 서버로부터 검색될 수 있다. 다른 방법으로, 예상 물리적 위치는 현재 가상 객체와 똑같은 종류로 이전에 디스플레이된 가상 객체에 응답하여 사용자의 학습 행동을 근거로, 프로세싱 수단(800)에 포함된 선택적 학습 모듈(805)에 의해 결정될 수 있다.

공간-의존 속성은 AR 소프트웨어 애플리케이션에 의해 사용되는 무선 연결의 성능에 관련될 수 있다. 예를 들면, 공간-의존 속성은 무선 연결의 신호 강도, 데이터 비율, 대역폭, 에러 비율, 재전송 비율, 및 대기 시간 중 임의의 하나가 될 수 있다. 다른 방법으로, 공간-의존 속성은 AR 소프트웨어 애플리케이션에 의해 렌더링된 사운드의 사용자에 의한 인식에 관련될 수 있다. 프로세싱 수단(800)은 선택적으로 하나 이상의 공간-의존 속성값이 사용자 주변에서 물리적 위치의 함수로 검색될 수 있는 데이터베이스를 유지하도록 구성된 데이터베이스 모듈(804)을 포함할 수 있다. 또한 선택적으로, 컴퓨팅 디바이스(120/500/600)에 의해 측정된 공간-의존 속성값은 데이터베이스 모듈(804)에 의해 물리적 위치의 함수로 데이터베이스에 저장될 수 있다.

인터페이스(701, 801) 및 모듈(802 내지 805) 뿐만 아니라 프로세싱 수단(800)에 포함되는 임의의 추가 모듈은 임의의 종류의 전자 회로에 의해, 예를 들면 아날로그 전자 회로, 디지털 전자 회로, 및 적절한 컴퓨터 프로그램을 실행하는 프로세싱 수단 중 임의의 하나 또는 그들의 조합에 의해 실현될 수 있다.

컴퓨팅 디바이스(120/500/600)에 포함되는 통신 모듈(126)은 블루투스 모듈, WLAN/와이파이 모듈, 또는 GMS, UMTS, LTE, 및 5G 표준 중 임의의 하나 또는 그들의 조합을 지원하는 셀룰러 통신 모듈이 될 수 있다. 다른 방법으로, 통신 모듈(126)은 적외선(IR)광, 가시적 코드화 광(Visible Coded Light, VCL), 지그비(ZigBee) 등을 통해 통신을 수행하도록 구성될 수 있다.

다음에는 도 9를 참고로 AR 소프트웨어 애플리케이션을 지원하는 방법의 실시예(900)가 설명된다. 방법(900)은 AR 소프트웨어 애플리케이션을 호스팅하는 게임 서버, AR 소프트웨어 애플리케이션을 지원하기 위한 위치 서버, VR 헤드셋이나 HMD, 이동 전화, 스마트폰, 이동 단말기, 개인용 컴퓨터, 랩탑, 테블릿, 및 게임 콘솔과 같은 컴퓨팅 디바이스에 의해 실행될 수 있다. 방법(900)은 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치와, 사용자의 주변에서 공간적으로 의존하고 AR 소프트웨어 애플리케이션의 사용자 경험에 영향을 미치는 속성을 근거로, 현재 가상 객체를 배치하기 위한 물리적 위치를 선택하는 단계(906)를 포함한다. 선택된 물리적 위치는 AR 소프트웨어 애플리케이션의 사용자 주변에서 물리적 장면을 캡처한 비디오 시퀀스상에 오버레이 될 때 현재 가상 객체가 배치된 것으로 보이는 물리적 위치이다.

현재 가상 객체를 배치하기 위한 물리적 위치는 현재 가상 객체를 배치하기 위한 적어도 하나의 후보 물리적 위치에 대해 (더 많은 후보 물리적 위치가 평가될 필요가 있음을 결정한 단계(905)에 응답하여 새로운 후보 물리적 위치를 선택 또는 생성하는 단계(902)에 의해), 물리적 장면 및 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하고, 후보 물리적 위치에 배치된 것으로 보이도록 오버레이 되는 예상 물리적 위치를 결정하는 단계(903)와, 예상 물리적 위치에서 공간-의존 속성의 값을 평가하는 단계(904)에 의해 선택될 수 있다(906). 현재 가상 객체를 배치하기 위한 물리적 위치는 이때 적어도 하나의 후보 물리적 위치에서 평가된(904) 다수의 공간-의존 속성값을 근거로 선택된다(906). 후보 물리적 위치의 세트는 예를 들어, AR 소프트웨어 애플리케이션으로부터 수신될 수 있다. 다른 방법으로, 새로운 후보 물리적 위치는 상기에 설명된 바와 같이, AR 소프트웨어 애플리케이션에 의해 제공되는 정보를 근거로 생성될 수 있다(902).

물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치는 예를 들어, 후보 물리적 위치의 소정의 범위 내에서, 또는 그와 동일하게 결정될 수 있다(903). 선택적으로, 물리적 장면 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 사용자가 추정하는 예상 물리적 위치는 현재 가상 객체의 종류를 근거로 결정될 수 있다(903). 예를 들면, 예상 물리적 위치는 현재 가상 객체와 똑같은 종류의 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 AR 소프트웨어 애플리케이션의 사용자의 예상 행동에 대한 정보를 근거로 결정될 수 있다(903). 다른 방법으로, 예상 물리적 위치는 현재 가상 객체와 똑같은 종류로 이전에 디스플레이된 가상 객체에 응답하여 사용자의 학습 행동을 근거로 결정될 수 있다(903).

방법(900)은 또한 사용자 주변에서의 물리적 위치의 함수로 하나 이상의 공간-의존 속성값을, 데이터베이스로부터, 검색할 수 있다. 이들 값은 예를 들면, 결정된(903) 사용자의 예상 물리적 위치에서 공간-의존 속성을 평가할 때(904) 검색될 수 있다. 다른 방법으로, 특정한 지형적 영역에서 공간-의존 속성을 나타내는 맵 또는 값들의 어레이나 리스트가 검색될 수 있다(901).

방법(900)은 또한 오버레이 된 현재 가상 객체가 선택된 물리적 위치에 배치된 것으로 보이도록, 물리적 장면을 캡처한 비디오 시퀀스상에 현재 가상 객체를 오버레이 하는 단계(907)를 포함할 수 있다.

방법(900)은 또한 물리적 장면을 캡처한 비디오 시퀀스 및 오버레이 된 현재 가상 객체를 사용자에게 디스플레이하는 단계(908)를 포함할 수 있다.

방법(900)은 본 내용을 통해 설명된 것에 따라 추가 또는 수정 단계들을 포함할 수 있는 것으로 이해된다. 방법(900)의 실시예는 AR 소프트웨어 애플리케이션을 지원하기 위한 컴퓨팅 디바이스에 포함된 프로세싱 유닛에 의해 실행되는 컴퓨터 프로그램(704)과 같은 소프트웨어로 실현될 수 있고, 여기서 컴퓨팅 디바이스는 여기서 설명된 본 발명의실시예에 따라 실행되도록 동작한다.

종래 기술에 숙련된 자는 본 발명이 결코 상기에 기술된 실시예에 제한되지 않음을 이해한다. 반대로, 첨부된 청구항의 범위 내에서 많은 수정 및 변형이 가능하다.

100, 200 : 물리적 장면
104, 204 : 가상 객체
110 : 사용자
120, 500, 600 : 컴퓨팅 디바이스
121 : 카메라
124 : 디스플레이
125, 700, 800 : 프로세싱 수단
126 : 통신 모듈
131, 132, 231, 232 : 물리적 위치
301 : 사용자 디바이스
302 : AR 앱
303 : 위치 선택기
304 : 속성 데이터베이스
701, 801 : I/O 인터페이스
702 : 프로세서
703 : 메모리
802 : AR 모듈
803 : 위치 선택 모듈
804 : 데이터베이스 모듈
805 : 학습 모듈

Claims

증강 현실(Augmented-Reality, AR) 소프트웨어 애플리케이션을 지원하기 위한 컴퓨팅 디바이스(120;500;600)로서,
현재 가상 객체(104;204)를 배치하기 위한 물리적 위치(131;231)를 선택하는데 있어, 그 위치에서 상기 현재 가상 객체가 상기 AR 소프트웨어 애플리케이션의 사용자(110) 주변에서 물리적 장면(100;200)을 캡처하는 비디오 시퀀스상에 오버레이 될 때 배치된 것으로 보이고,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는(123;223) 것에 응답하여 상기 사용자가 추정하는 예상 물리적 위치와,
사용자의 주변에서 공간적으로 의존하고 상기 AR 소프트웨어 애플리케이션의 사용자 경험에 영항을 미치는 속성
을 근거로 선택하도록 동작하는 프로세싱 수단(125)을 포함하는 컴퓨팅 디바이스.
제1항에 있어서,
상기 프로세싱 수단은
상기 현재 가상 객체를 배치하기 위한 적어도 하나의 후보 물리적 위치(131;132;231;232)에 대해:
상기 물리적 장면 및 상기 후보 물리적 위치에 배치된 것으로 보이도록 오버레이 된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치를 결정하고,
상기 예상 물리적 위치에서 상기 공간-의존 속성의 값을 평가하고, 또한
상기 적어도 하나의 후보 물리적 위치에서 평가된 다수의 상기 공간-의존 속성값을 근거로 상기 현재 가상 객체를 배치하기 위한 상기 물리적 위치를 선택함으로서 상기 현재 가상 객체를 배치하기 위한 상기 물리적 위치를 선택하도록 동작하는 컴퓨팅 디바이스.
제2항에 있어서,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치는 상기 후보 물리적 위치의 소정의 범위내에 있는 컴퓨팅 디바이스.
제2항에 있어서,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치는 상기 현재 가상 객체의 종류를 근거로 결정되는 컴퓨팅 디바이스.
제4항에 있어서,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치는 상기 현재 가상 객체와 똑같은 종류의 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 AR 소프트웨어 애플리케이션의 사용자의 예상 행동에 대한 정보를 근거로 결정되는 컴퓨팅 디바이스.
제4항에 있어서,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치는 상기 현재 가상 객체와 똑같은 종류로 이전에 디스플레이된 가상 객체에 응답하여 사용자의 학습 행동을 근거로 결정되는 컴퓨팅 디바이스.
제1항 내지 제6항 중 한 항에 있어서,
데이터베이스(703;804)로부터, 상기 공간-의존 속성의 하나 이상의 값을 사용자 주변에서의 물리적 위치의 함수로 검색하도록 더 동작하는 컴퓨팅 디바이스.
제1항 내지 제7항 중 한 항에 있어서,
상기 프로세싱 수단은 데이터베이스(703;804)에, 상기 공간-의존 속성의 측정된 값을 물리적 위치의 함수로 저장하도록 더 동작하는 컴퓨팅 디바이스.
제7항 또는 제8항에 있어서,
상기 데이터베이스는: 상기 컴퓨팅 디바이스, 무선 액세스 네트워크(Radio Access Network, RAN) 노드, 및 운영 지원 시스템(Operations Support Systems, OSS) 노드 중 임의의 하나에 의해 유지되는 컴퓨팅 디바이스.
제1항 내지 제9항 중 한 항에 있어서,
상기 공간-의존 속성은 상기 AR 소프트웨어 애플리케이션에 의해 사용되는 무선 연결의 성능에 관련되는 컴퓨팅 디바이스.
제10항에 있어서,
상기 공간-의존 속성은: 상기 무선 연결의 신호 강도, 데이터 비율, 대역폭, 에러 비율, 재전송 비율, 및 대기 시간 중 임의의 하나인 컴퓨팅 디바이스.
제1항 내지 제9항 중 한 항에 있어서,
상기 공간-의존 속성은 상기 AR 소프트웨어 애플리케이션에 의해 렌더링된 사운드의 사용자에 의한 인식에 관련되는 컴퓨팅 디바이스.
제1항 내지 제12항 중 한 항에 있어서,
상기 프로세싱 수단은 상기 물리적 장면을 캡처한 비디오 시퀀스상에 상기 현재 가상 객체를 오버레이 하여, 오버레이 된 상기 현재 가상 객체가 선택된 물리적 위치에 배치된 것으로 보이도록 더 동작하는 컴퓨팅 디바이스.
제13항에 있어서,
상기 프로세싱 수단은 상기 물리적 장면을 캡처한 상기 비디오 시퀀스(123;223) 및 오버레이 된 상기 현재 가상 객체를 사용자에게 디스플레이하도록 더 동작하는 컴퓨팅 디바이스.
제1항 내지 제14항 중 한 항에 있어서,
상기 비디오 시퀀스는 사용자가 착용한 카메라(121)에 의해 캡처되어 상기 카메라의 시야(122)가 사용자의 물리적 위치 및 방향과 상관되는 컴퓨팅 디바이스.
제1항 내지 제15항 중 한 항에 있어서,
상기 디스플레이(124)는 사용자에 의해 착용되는 컴퓨팅 디바이스.
제1항 내지 제16항 중 한 항에 있어서,
상기 AR 소프트웨어 애플리케이션을 호스팅하는 게임 서버(600), 가상-현실 헤드셋(120), 헤드-장착 디스플레이(120), 이동 전화(500), 스마트폰(500), 이동 단말기(500), 개인용 컴퓨터, 랩탑, 테블릿, 및 게임 콘솔 중 임의의 하나인 컴퓨팅 디바이스.
증강 현실(AR) 소프트웨어 애플리케이션을 지원하고, 컴퓨팅 디바이스에 의해 실행되는 방법(900)으로서,
현재 가상 객체를 배치하기 위한 물리적 위치를 선택하는데 있어, 그 위치에서 상기 현재 가상 객체가 상기 AR 소프트웨어 애플리케이션의 사용자 주변에서 물리적 장면을 캡처하는 비디오 시퀀스상에 오버레이 될 때 배치된 것으로 보이고,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 예상 물리적 위치와,
사용자의 주변에서 공간적으로 의존하고 상기 AR 소프트웨어 애플리케이션의 사용자 경험에 영항을 미치는 속성
을 근거로 선택하는 단계(906)를 포함하는 방법.
제18항에 있어서,
상기 현재 가상 객체를 배치하기 위한 상기 물리적 위치는:
상기 현재 가상 객체를 배치하기 위한 적어도 하나의(902, 905) 후보 물리적 위치에 대해:
상기 물리적 장면 및 상기 후보 물리적 위치에 배치된 것으로 보이도록 오버레이 된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치를 결정하고(903),
상기 예상 물리적 위치에서 상기 공간-의존 속성의 값을 평가하고(904), 또한
상기 적어도 하나의 후보 물리적 위치에서 평가된 다수의 상기 공간-의존 속성값을 근거로 상기 현재 가상 객체를 배치하기 위한 상기 물리적 위치를 선택함(906)으로서 선택되는(906) 방법.
제19항에 있어서,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치는 상기 후보 물리적 위치의 소정의 범위내에 있는 방법.
제19항에 있어서,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치는 상기 현재 가상 객체의 종류를 근거로 결정되는(903) 방법.
제21항에 있어서,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치는 상기 현재 가상 객체와 똑같은 종류의 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 AR 소프트웨어 애플리케이션의 사용자의 예상 행동에 대한 정보를 근거로 결정되는(903) 방법.
제21항에 있어서,
상기 물리적 장면 및 오버레이된 상기 현재 가상 객체를 사용자에게 디스플레이하는 것에 응답하여 상기 사용자가 추정하는 상기 예상 물리적 위치는 상기 현재 가상 객체와 똑같은 종류로 이전에 디스플레이된 가상 객체에 응답하여 사용자의 학습 행동을 근거로 결정되는(903) 방법.
제18항 내지 제23항 중 한 항에 있어서,
데이터베이스로부터, 상기 공간-의존 속성의 하나 이상의 값을 사용자 주변에서의 물리적 위치의 함수로 검색하는 단계(901,904)를 더 포함하는 방법.
제18항 내지 제24항 중 한 항에 있어서,
데이터베이스에, 상기 공간-의존 속성의 측정된 값을 물리적 위치의 함수로 저장하는 단계를 더 포함하는 방법.
제24항 또는 제25항에 있어서,
상기 데이터베이스는: 상기 컴퓨팅 디바이스, 무선 액세스 네트워크(RAN) 노드, 및 운영 지원 시스템(OSS) 노드 중 임의의 하나에 의해 유지되는 방법.
제18항 내지 제26항 중 한 항에 있어서,
상기 공간-의존 속성은 상기 AR 소프트웨어 애플리케이션에 의해 사용되는 무선 연결의 성능에 관련되는 방법.
제27항에 있어서,
상기 공간-의존 속성은: 상기 무선 연결의 신호 강도, 데이터 비율, 대역폭, 에러 비율, 재전송 비율, 및 대기 시간 중 임의의 하나인 방법.
제18항 내지 제26항 중 한 항에 있어서,
상기 공간-의존 속성은 상기 AR 소프트웨어 애플리케이션에 의해 렌더링된 사운드의 사용자에 의한 인식에 관련되는 방법.
제18항 내지 제29항 중 한 항에 있어서,
상기 물리적 장면을 캡처한 비디오 시퀀스상에 상기 현재 가상 객체를 오버레이 하여, 오버레이 된 상기 현재 가상 객체가 선택된 물리적 위치에 배치된 것으로 보이게 하는 단계(907)를 더 포함하는 방법.
제30항에 있어서,
상기 물리적 장면을 캡처한 상기 비디오 시퀀스 및 오버레이 된 상기 현재 가상 객체를 사용자에게 디스플레이하는 단계(908)를 더 포함하는 방법.
제18항 내지 제31항 중 한 항에 있어서,
상기 비디오 시퀀스는 사용자가 착용한 카메라(121)에 의해 캡처되어 상기 카메라의 시야(122)가 사용자의 물리적 위치 및 방향과 상관되는 방법.
제18항 내지 제32항 중 한 항에 있어서,
상기 디스플레이는 사용자에 의해 착용되는 방법.
컴퓨터-실행가능 명령을 포함하여, 상기 컴퓨터-실행가능 명령이 디바이스에 포함된 프로세싱 유닛(702)에서 실행될 때, 상기 디바이스가 제18항 내지 제33항 중 한 항에 따른 방법을 실행하게 하는 컴퓨터 프로그램(704).
그 안에서 실현된 제34항에 따른 컴퓨터 프로그램(704)을 갖는 컴퓨터-판독가능 저장 매체(703)를 포함하는 컴퓨터 프로그램 제품.