KR20240028893A

KR20240028893A - 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치

Info

Publication number: KR20240028893A
Application number: KR1020220127172A
Authority: KR
Inventors: 유진선; 강석영; 국승빈; 이좌영
Original assignee: 삼성전자주식회사
Priority date: 2022-08-25
Filing date: 2022-10-05
Publication date: 2024-03-05

Abstract

콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하고, 적어도 하나의 이미지 센서를 이용하여, 제1 영역과 제2 영역을 센싱하여, 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하고, 추적 결과에 기초하여, 가상 현실 장치의 화면 표시를 제어하는, 가상 현실 장치를 제어하는 방법 및 가상 현실 장치가 개시된다.

Description

가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치{METHOD FOR CONTROLLING VIRTUAL REALITY DEVICE AND VIRTUAL REALITY DEVICE USING THE SAME}

가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치에 관한 것이다.

가상 현실(Virtual Reality)은 가상의 공간에서 가상 이미지를 현실처럼 체험하도록 보여주는 것을 의미한다. 가상 현실 장치(Vitual Reality Device)는 '가상 현실'을 표현할 수 있는 장치로서, 헤드 마운트 디스플레이 장치나, 가상 현실 헬멧(Vitual Reality Helmet), 사용자의 시야를 모두 덮을 수 있는 형태의 고글형 디스플레이 장치일 수 있다.

본 개시의 일 실시예에 따르면, 가상 현실 장치를 제어하는 방법이 제공된다. 가상 현실 장치를 제어하는 방법은 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계를 포함한다. 또한, 가상 현실 장치를 제어하는 방법은 적어도 하나의 이미지 센서를 이용하여, 제1 영역과 제2 영역을 센싱하는 단계를 포함한다. 또한, 가상 현실 장치를 제어하는 방법은 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하는 단계를 포함한다. 또한, 가상 현실 장치를 제어하는 방법은 추적 결과에 기초하여, 가상 현실 장치의 화면 표시를 제어하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 전술한 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

본 개시의 일 실시예에 따르면, 가상 현실 장치가 제공된다. 가상 현실 장치는 하나 이상의 인스트럭션을 저장하는 메모리, 프로세서, 적어도 하나의 이미지 센서, 디스플레이 엔진부, 및 디스플레이를 포함한다. 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정한다. 또한, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 이미지 센서를 이용하여, 제1 영역과 제2 영역을 센싱한다. 또한, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적한다. 또한, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 추적 결과에 기초하여, 디스플레이 엔진부와 디스플레이를 이용하여, 가상 현실 장치(100)의 화면 표시를 제어한다.

도 1은 본 개시의 일 실시예에 따른 가상 현실 장치를 착용한 사용자가 가상 현실 장치를 통해 콘텐츠를 시청하는 중에 객체가 접근함에 따라 가상 형성 장치의 화면 표시를 제어하는 모습을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 가상 현실 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 가상 현실 장치의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따른 가상 현실 장치에서 콘텐츠의 타입에 따른 제1 영역의 영역 범위를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 가상 현실 장치의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.
도 8은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 가상 현실 장치의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.
도 10은 본 개시의 일 실시예에 따른 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하는 단계에 대한 상세 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 가상 현실 장치의 화면 표시를 제어하는 단계에 대한 상세 흐름도이다.
도 12는 본 개시의 일 실시예에 따른 가상 현실 장치에서 제1 영역과 제2 영역에 객체가 위치하는지에 따라 화면 표시를 제어하는 모습을 나타낸 도면이다.
도 13은 본 개시의 일 실시예에 따른 가상 현실 장치에서 제2 영역 내에 위치하는 객체의 디바이스와 통신을 수행하여 객체를 추적하고, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시한 예를 나타낸 도면이다.
도 14는 본 개시의 일 실시예에 따른 가상 현실 장치의 구성을 설명하기 위한 블록도이다.
도 15는 본 개시의 일 실시예에 따른 가상 현실 장치와 통신을 수행하는 서버의 구성을 설명하기 위한 블록도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다. 본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 "a", "b", "c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 본 개시의 일 실시예에 따른 가상 현실 장치(100)를 착용한 사용자가 가상 현실 장치(100)를 통해 콘텐츠를 시청하는 중에 객체가 접근함에 따라 가상 형성 장치(100)의 화면 표시를 제어하는 모습을 나타낸 도면이다.

본 개시에서, 가상 현실 장치(100)는 가상 현실(Virtual Reality)을 표현할 수 있는 장치이다. '가상 현실'은 가상 세계의 디지털 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체(real world object)에 대응되는 이미지와 가상 이미지를 함께 보여주는 것을 의미한다. 가상 현실 장치(100)는 헤드 마운트 디스플레이 장치(HMD: Head Mounted Display Apparatus) 또는 가상 현실 헬멧(Virtual Reality Helmet) 형태일 수 있다.

서버(200)는 가상 현실 장치(100)에 가상 현실 서비스나 가상 현실 서비스에 기반한 콘텐츠를 제공한다. 서버(200)는 가상 현실 장치(100)로부터 가상 현실 서비스에 관련된 정보를 수신하거나, 가상 현실 장치(100)에 가상 현실 서비스에 관련된 정보를 송신할 수 있다. 서버(200)는 가상 현실 서비스를 위한 플랫폼을 제공하며, 가상 현실 서비스에 등록되어 있거나 가상 현실 서비스를 구독 중인 사용자의 가상 현실 장치(100)에 가상 현실 서비스 또는 가상 현실 서비스에 기반한 콘텐츠를 제공할 수 있다. 가상 현실 장치(100)들은 서버(200)를 통해 서로 정보를 주고 받을 수 있으며, 소정의 범위 내에 있는 가상 현실 장치(100)들은 상호 간에 직접적인 통신을 통해 서로 연결될 수 있다.

도 1을 참고하면, 본 개시의 일 실시예에 따른 가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 서로 다른 영역들을 설정하여, 설정된 영역들 내의 객체를 추척할 수 있다. 가상 현실 장치(100)는 콘텐츠를 시청하는 공간에 설정된 제1 영역 또는 제2 영역에 객체가 있는지에 따라, 가상 현실 장치(100)의 화면 표시를 제어할 수 있다. 제1 영역은 가상 현실 장치(100)를 착용한 사용자가 콘텐츠를 몰입하여 시청 또는 체험하기 위해 필요한 크기의 공간으로서, 몰입 영역에 해당한다. 제2 영역은 가상 현실 장치(100)를 착용한 사용자가 외부 객체의 접근을 인지하기 위한 소정의 공간으로서, 안전 영역에 해당한다.

도 1에 도시된 내용을 보면, 사용자가 가상 현실 장치(100)를 착용하고, 게임하는 경우, 가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 설정된 제1 영역과 제2 영역을 센싱할 수 있다. 가상 현실 장치(100)를 착용한 사용자는 외부 환경을 볼 수 없는 광차폐 상태이기 때문에, 가상 현실 장치(100)가 카메라나 마이크 등을 이용하여, 주변 환경을 센싱할 수 있다.

제2 영역 밖에 있던 다른 사용자와 같은 객체가 제2 영역에 진입하게 되면, 가상 현실 장치(100)는 제2 영역에서 객체를 검출하고 추적할 수 있다. 가상 현실 장치(100)는 제2 영역에 객체 진입이 확인되면, 해당 객체를 식별하여, 식별된 객체에 대한 정보를 게임 화면의 일부분에 표시하여, 사용자에게 알려줄 수 있다. 사용자는 가상 현실 장치(100)를 착용한 상태에서 제2 영역에 위치한 객체를 확인할 수 있다.

제2 영역에 위치하던 객체가 제1 영역으로 진입하게 되면, 가상 현실 장치(100)는 제1 영역에 객체 진입을 확인하고, 게임 화면을 씨스루 전체 화면으로 전환하여 표시할 수 있다. 가상 현실 장치(100)는 게임 화면을 종료하고, 대신, 현실 세계를 가상 현실 장치(100)에 구비된 카메라로 촬영하여 실시간으로 가상 현실 장치(100)의 디스플레이에 표시할 수 있다. 사용자는 가상 현실 장치(100)를 착용한 상태에서 외부 환경을 확인할 수 있다.

이하, 콘텐츠를 시청하는 공간 내에 설정된 소정의 영역들에 대한 외부 객체의 진입 여부에 따라 가상 현실 장치(100)의 화면 표시를 제어하고, 가상 현실 장치(100)를 착용한 상태에서 소정의 영역들에 진입하는 객체를 인지할 수 있도록, 가상 현실 장치(100)를 제어하는 방법 및 이를 수행하는 가상 현실 장치(100)에 대해 설명한다.

도 2는 본 개시의 일 실시예에 따른 가상 현실 장치(100)를 제어하는 방법을 설명하기 위한 흐름도이다.

가상 현실 장치(100)는 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정할 수 있다.(S210) 가상 현실 장치(100)는 영화, 교육, 스포츠, 게임 등 다양한 분야의 콘텐츠를 제공할 수 있다. 스캔 공간 정보는 가상 현실 장치(100)를 착용한 사용자가 콘텐츠를 시청하는 공간을 적어도 하나의 센서로 센싱하여, 주변 지형이나 사물을 스캔한 정보이다. 제1 영역은 콘텐츠의 타입에 따라 영역 범위가 달라질 수 있으며, 제2 영역은 제1 영역 밖의 소정의 영역 범위를 가질 수 있다. 설명의 편의상, 본 개시의 일 실시예에서는 제1 영역과 제2 영역, 총 2개의 영역을 설정하는 예를 들어 설명하나, 이에 한정되는 것은 아니며, 제1 영역부터 제N 영역까지, 총 N개의 영역을 설정할 수도 있다. 가상 현실 장치(100)가 콘텐츠를 시청하는 공간에 총 N개의 영역을 설정하는 경우, 각 영역에 객체가 진입할 때마다, 가상 현실 장치(100)의 화면 표시를 다르게 제어할 수 있다. 이하, 도 3 내지 도 9를 참고하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 상세히 설명한다.

도 3은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.

도 3에서는 가상 현실 장치(100)가 적어도 하나의 이미지 센서를 이용하여 콘텐츠를 시청하는 공간을 직접 센싱하는 예에 대해서 설명한다.

가상 현실 장치(100)는 콘텐츠에 대한 재생 입력을 수신함에 따라, 콘텐츠를 시청하는 공간을 센싱할 수 있다.(S310) 가상 현실 장치(100)는 가상 현실 장치(100)에 구비된 카메라나 라이다와 같은 이미지 센서를 이용하여, 주변 환경을 센싱할 수 있다.

예를 들어, 가상 현실 장치(100)는 적어도 하나의 이미지 센서를 이용하여 콘텐츠를 시청하는 공간을 스캔할 수 있다. 가상 현실 장치(100)는 스캔된 이미지로부터 깊이 정보를 획득할 수 있다. 가상 현실 장치(100)는 촬영된 복수의 이미지들과 깊이 정보를 포함하는 깊이 맵을 이용하여, 콘텐츠를 시청하는 공간에 대한 3차원 스캔 결과를 획득할 수 있다. 다른 예를 들어, 가상 현실 장치(100)는 콘텐츠를 시청하는 공간에 대해 촬영된 복수의 이미지들을 이용하여 3차원 스캔 결과를 획득할 수 있다.

가상 현실 장치(100)는 센싱에 따른 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.(S320) 가상 현실 장치(100)는 콘텐츠를 시청하는 공간을 스캔한 스캔 공간 정보와 사용자가 선택한 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역의 영역 범위과 제2 영역의 영역 범위를 결정할 수 있다. 콘텐츠에 관한 콘텐츠 정보는 콘텐츠의 명칭, 콘텐츠의 타입이나 분야, 콘텐츠를 시청하거나 체험하는 방식, 콘텐츠에 몰입하기 위해 요구되는 거리 또는 안전한 콘텐츠 실행에 요구되는 안전 거리 등이 될 수 있다. 콘텐츠에 관한 콘텐츠 정보는 각 콘텐츠에 대응되는 애플리케이션의 실행 파일에 메타데이터 형태로 포함되어 있거나, 콘텐츠의 내용으로부터 또는 외부의 장치로부터 획득될 수 있다. 예를 들어, 가상 현실 장치(100)는 사용자가 선택한 콘텐츠를 분석하여, 가상 현실 장치(100)를 착용한 사용자가 콘텐츠가 재생되는 동안 움직임이 많은지 또는 넓은 영역이 필요한지 판단하여, 제1 영역을 설정할 수 있다. 가상 현실 장치(100)는 제1 영역을 설정한 후, 더 넓은 소정의 영역 범위까지 제2 영역으로 설정할 수 있다.

더 나아가, 가상 현실 장치(100)는 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 획득할 수 있다.(S330) 가상 현실 장치(100)의 사용자는 제2 영역에 진입이 예상되거나 진입을 허용하는 객체에 대해서, 객체에 관한 정보를 등록해 둘 수 있다. 객체에 관한 정보는 객체의 식별 정보, 객체의 사진이나 아바타와 같은 이미지 정보, 객체의 소속 정보 등일 수 있다.

가상 현실 장치(100)는 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 획득된 허용 객체에 관한 정보를 콘텐츠를 제공하는 서버(200)에 전송할 수 있다.(S340) 이와 같은 정보들을 서버(200)에 저장해 두고 이용함으로써, 가상 현실 장치(100)는 동일하거나 유사한 콘텐츠를 재생할 때, 제1 영역과 제2 영역을 설정하는 과정을 간단하고 빠르게 처리할 수 있다.

도 4는 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.

도 4를 참고하면, 가상 현실 장치(100)를 착용한 사용자는 가상 현실 장치(100)이 디스플레이에 표시된 홈 화면에서 다양한 분야 및 장르의 콘텐츠들 중, 재생하고자 하는 콘텐츠에 대응되는 애플리케이션을 실행시킬 수 있다.(S400)

가상 현실 장치(100)는 사용자가 선택한 콘텐츠를 재생하기 전에, 콘텐츠를 시청하는 공간을 센싱하여, 스캔 공간 정보를 획득할 수 있다.(S410)

가상 현실 장치(100)는 획득된 스캔 공간 정보와 사용자의 입력에 따라 선택된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정할 수 있다.(S420)

가상 현실 장치(100)를 착용한 사용자는 제2 영역에 진입이 예상되거나 진입을 허용하는 허용 객체에 관한 정보를 등록해 둘 수 있다.(S430) 가상 현실 장치(100)를 착용한 사용자는 허용 객체를 추가하거나 제거할 수 있고, 허용 객체에 관한 정보를 입력할 수 있다.

가상 현실 장치(100)는 설정된 영역에 대한 정보나 허용 객체에 관한 정보를 사용자의 입력에 따라 선택된 콘텐츠를 제공하는 서버(200)에 전송할 수 있다.(S440) 추후, 가상 현실 장치(100)의 사용자가 해당 콘텐츠의 실행을 서버(200)에 다시 요청하는 경우, 가상 현실 장치(100)는 서버(200)로부터 설정된 영역에 대한 정보나 허용 객체에 관한 정보를 수신함으로써, S410 내지 S440의 과정을 대체할 수 있다.

가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정한 후, 사용자의 콘텐츠 재생 시작 요청에 따라, 콘텐츠 재생 화면을 표시할 수 있다.(S450) 가상 현실 장치(100)는 콘텐츠가 재생되는 동안, 적어도 하나의 센서를 이용하여 주변의 환경을 감시함으로써, 제1 영역과 제2 영역을 센싱할 수 있다.

도 5는 본 개시의 일 실시예에 따른 가상 현실 장치(100)에서 콘텐츠의 타입에 따른 제1 영역의 영역 범위를 설명하기 위한 도면이다.

도 5를 참고하면, 콘텐츠의 타입에 따라, 제1 영역의 영역 범위가 달라짐을 알 수 있다. 예를 들어, 영화나 레이싱 게임과 같은 제1 타입의 콘텐츠의 경우, 가상 현실 장치(100)는 사용자가 앉을 수 있는 의자와 같은 현실 객체를 인식하고, 의자에 해당하는 영역을 고려하여 제1 영역을 설정할 수 있다. 다른 예를 들어, 댄스나 리듬 게임과 같은 제2 타입의 콘텐츠의 경우, 가상 현실 장치(100)는 가상 현실 장치(100)를 착용한 사용자의 위치를 중심으로 제1 영역을 설정할 수 있다. 이때, 설정하고자 하는 제1 영역에 장애물이 있는 경우, 가상 현실 장치(100)는 제1 영역을 보정하여 설정하고, 가상 현실 장치(100)를 착용한 사용자에게 설정된 제1 영역 안으로 들어오도록 유도할 수 있다. 또 다른 예를 들어, 복싱이나 샌드박스형 게임과 같은 제3 타입의 콘텐츠의 경우, 사용자의 많은 움직임이 필요하므로 넓은 범위의 제1 영역을 확보할 수 있도록, 가상 현실 장치(100)는 가상 현실 장치(100)를 착용한 사용자에게 장애물을 치우도록 유도할 수 있다.

6은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.

도 6에서는 가상 현실 장치(100)가 외부의 서버(200)로부터 제1 영역과 제2 영역을 설정하는데 필요한 정보를 수신하여 제1 영역과 제2 영역을 설정하는 예에 대해서 설명한다.

가상 현실 장치(100)는 실행 이력이 있는 콘텐츠에 대한 재생 입력을 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 수신할 수 있다.(S510) 예를 들어, 가상 현실 장치(100)는 예전에 실행한 적이 있는 콘텐츠와 동일하거나 유사한 콘텐츠에 대한 사용자의 선택이 있는 경우, 해당 콘텐츠를 제공하는 서버(200)에 제1 영역에 대한 정보와 제2 영역에 대한 정보를 요청할 수 있다. 서버(200)는 가상 현실 장치(100)의 요청에 응답하여, 서버(200)에 저장되어 있는 제1 영역에 대한 정보와 제2 영역에 대한 정보를 회득하여, 가상 현실 장치(100)로 전송할 수 있다.

가상 현실 장치(100)는 서버(200)로부터 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.(S520) 이와 같은 경우, 콘텐츠를 시청하는 공간을 스캔하거나 사용자가 선택한 콘텐츠를 분석하는 과정 없이, 제1 영역의 영역 범위과 제2 영역의 영역 범위를 결정할 수 있다.

한편, 가상 현실 장치(100)는 서버(200)로부터 기등록된 허용 객체에 관한 정보를 더 수신할 수 있다. 가상 현실 장치(100)는 서버(200)로부터 수신된, 허용 객체에 관한 정보를 이용하여, 제2 영역에 위치하는 객체가 허용 객체로서 기등록된 객체인지 확인할 수 있다.

도 7은 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.

도 7을 참고하면, 가상 현실 장치(100)를 착용한 사용자는 가상 현실 장치(100)의 디스플레이에 표시된 홈 화면에서 다양한 분야 및 장르의 콘텐츠들 중, 재생하고자 하는 콘텐츠에 대응되는 애플리케이션을 실행시킬 수 있다.(S600)

가상 현실 장치(100)는 실행 이력이 있는 콘텐츠에 대한 재생 입력을 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)와 통신을 수행할 수 있다. 가상 현실 장치(100)는 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 수신할 수 있다.(S610)

가상 현실 장치(100)는 서버(200)로부터 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 설정할 수 있다.(S620)

가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정한 후, 사용자의 콘텐츠 재생 시작 요청에 따라, 콘텐츠 재생 화면을 표시할 수 있다.(S630) 가상 현실 장치(100)는 콘텐츠가 재생되는 동안, 적어도 하나의 센서를 이용하여 주변의 환경을 감시함으로써, 제1 영역과 제2 영역을 센싱할 수 있다.

도 8은 본 개시의 일 실시예에 따른 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 단계에 대한 상세 흐름도이다.

가상 현실 장치(100)는 콘텐츠에 대한 재생 입력을 수신함에 따라, 적어도 하나의 이미지 센서를 이용하여 콘텐츠를 시청하는 공간을 센싱한 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.(S710)

가상 현실 장치(100)는 가상 현실 장치(100)의 사용자의 입력에 따라, 제1 영역과 제2 영역을 조정할 수 있다.(S720) 가상 현실 장치(100)는 자동으로 결정된 제1 영역과 제2 영역을, 사용자의 입력에 따라, 수동으로 조정할 수 있다.

도 9는 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 화면에 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정하는 과정을 표시한 예를 나타낸 도면이다.

도 9를 참고하면, 가상 현실 장치(100)를 착용한 사용자는 가상 현실 장치(100)의 디스플레이에 표시된 홈 화면에서 다양한 분야 및 장르의 콘텐츠들 중, 재생하고자 하는 콘텐츠에 대응되는 애플리케이션을 실행시킬 수 있다.(S800)

가상 현실 장치(100)는 콘텐츠를 시청하는 공간을 센싱한 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.(S810)

가상 현실 장치(100)는 자동으로 결정된 제1 영역과 제2 영역을 특정하여 표시하고, 제1 영역과 제2 영역을 편집할 수 있는 툴을 제공하여, 사용자로부터 제1 영역과 제2 영역을 조정하는 입력을 수신할 수 있다.(S820)

가상 현실 장치(100)는 콘텐츠를 시청하는 공간 내에 제1 영역과 제2 영역을 설정한 후, 사용자의 콘텐츠 재생 시작 요청에 따라, 콘텐츠 재생 화면을 표시할 수 있다.(S830) 가상 현실 장치(100)는 콘텐츠가 재생되는 동안, 적어도 하나의 센서를 이용하여 주변의 환경을 감시함으로써, 제1 영역과 제2 영역을 센싱할 수 있다.

다시 도 2를 참고하면, 가상 현실 장치(100)는 적어도 하나의 이미지 센서를 이용하여, 제1 영역과 제2 영역을 센싱할 수 있다.(S220) 가상 현실 장치(100)는 가상 현실 장치(100)의 상부나 전면과 후면 또는 측면에 구비된 이미지 센서를 이용하여, 제1 영여과 제2 영역을 센싱할 수 있다. 또한, 가상 현실 장치(100)는 마이크로폰을 더 이용하여, 주변 환경에서 발생한 소리나 음성을 획득할 수도 있다.

가상 현실 장치(100)는 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적할 수 있다.(S230) 이하, 도 10을 참고하여, 상세히 설명한다.

도 10은 본 개시의 일 실시예에 따른 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하는 단계에 대한 상세 흐름도이다.

가상 현실 장치(100)는 적어도 하나의 이미지 센서를 이용한 센싱 결과에 기초하여, 객체를 검출할 수 있다.(S910) 또한, 가상 현실 장치(100)는 마이크로폰을 더 이용하여 획득한 소리나 음성에 더 기초하여, 객체를 검출할 수 있다. 예를 들어, 가상 현실 장치(100)는 소리나 음성이 발생한 방향을 확인할 수 있고, 소리나 음성의 세기를 확인할 수 있다. 가상 현실 장치(100)는 소리나 음성의 방향 및 세기에 기초하여, 객체의 위치와 가상 현실 장치(100)로부터의 거리를 판단할 수 있다.

가상 현실 장치(100)는 검출된 객체가 제2 영역에 위치하는 경우, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단할 수 있다.(S920)

가상 현실 장치(100)는 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능하면, 검출된 객체의 디바이스로부터 객체의 위치 정보 및 사용자 정보를 수신할 수 있다.(S930) 다만, 검출된 객체가 디바이스를 소지하지 않거나 디바이스를 소지하였더라도 통신이 불가할 수도 있으므로, S920 및 S930은 생략될 수 있는 과정이다.

가상 현실 장치(100)는 제2 영역 내에 위치하는 객체의 디바이스와 통신이 불가능하면, 센싱 결과에 기초하여 검출된 객체를 추적하고, 통신이 가능하면, 센싱 결과와 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여 검출된 객체를 추적할 수 있다.(S940)

다시 도 2를 참고하면, 가상 현실 장치(100)는 추적 결과에 기초하여, 가상 현실 장치(100)의 화면 표시를 제어할 수 있다.(S240) 이하, 도 11 내지 도 13을 참고하여, 상세히 설명한다.

도 11은 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 화면 표시를 제어하는 단계에 대한 상세 흐름도이다.

가상 현실 장치(100)는 추적된 객체가 제1 영역 또는 제2 영역 내에 위치하는지 판단하고, 판단 결과에 기초한 화면 표시 모드에 따라, 가상 현실 장치(100)의 화면을 표시할 수 있다. 도 11에서는 사용자가 콘텐츠를 시청하는 공간에 콘텐츠의 몰입에 방해될 수 있는 외부의 객체가 없음을 확인한 후, 가상 현실 장치(100)를 착용하여 콘텐츠를 시청 중인 경우를 전제로 설명한다.

가상 현실 장치(100)는 제2 영역 내에 객체가 위치하는지 판단할 수 있다.(S1010) 가상 현실 장치(100)는 추적된 객체가 제2 영역에 진입하는지 판단할 수 있다. 제2 영역에 진입한 객체가 없으면, 가상 현실 장치(100)는 제1 영역과 제2 영역을 센싱한 결과로부터 객체를 계속해서 검출 및 추적할 수 있다.

가상 현실 장치(100)는 제2 영역 내에 객체가 위치하는 경우, 객체를 식별할 수 있다.(S1020) 예를 들어, 가상 현실 장치(100)는 적어도 하나의 이미지 센서로부터 이미지를 획득하고, 획득된 이미지로부터 추출된 특징 정보에 기초한, 객체의 분류 정보 및 외형 정보에 따라, 객체를 식별할 수 있다. 예를 들어, 가상 현실 장치(100)는 특징 벡터들을 DNN(Deep Neural Network), CNN(Convolution Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 형태의 이미지 분류 모델, 객체 지역화(localization) 모델, 객체 검출 모델 등에 입력하여, 대상 분류, 외형 정보 측정, 객체 검출 등을 수행할 수 있다. 가상 현실 장치(100)는 이미지 분류에 따라 객체를 분류하고, 객체를 바운딩 박스로 지역화하여 외형 정보를 계측하여, 객체를 식별할 수 있다. 또한, 가상 현실 장치(100)는 마이크로폰을 통해 획득된 객체의 발화 내용에 기초하여, 객체를 식별할 수 있다. 예를 들어, 가상 현실 장치(100)는 객체의 발화 내용으로부터 가상 현실 장치(100)의 사용자와의 관계나 객체의 이름과 같은 식별 정보를 획득할 수 있다.

가상 현실 장치(100)는 식별된 객체가 허용 객체로서 기등록된 객체인지 판단할 수 있다.(S1030) 가상 현실 장치(100)의 사용자는 제2 영역에 진입이 예상되거나 진입을 허용하는 객체에 대해서, 객체에 관한 정보를 허용 객체에 관한 정보로 사전에 등록해 둘 수 있다. 가상 현실 장치(100)는 식별된 객체의 정보와 허용 객체에 관한 정보를 비교하여, 식별된 객체가 기등록된 객체인지 판단할 수 있다.

가상 현실 장치(100)는 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시할 수 있다.(S1040) 가상 현실 장치(100)는 식별된 객체가 허용 객체이므로, 허용 객체로서 사전에 등록해 둔 객체의 식별 정보, 객체의 사진이나 아바타와 같은 이미지 정보, 객체의 소속 정보 등에 기초하여, 식별된 객체에 대응되는 인디케이터를 생성하고, 콘텐츠 재생 화면의 일부분에 표시할 수 있다. 인디케이터는 아이콘 또는 썸네일의 형태일 수 있다.

가상 현실 장치(100)는 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시할 수 있다.(S1050) 가상 현실 장치(100)는 식별된 객체에 대한 정보를 확인할 수 없으므로, 제2 영역 내에 위치한 객체를 사용자가 직접 확인할 수 있도록, 콘텐츠 재생 화면의 일부분에 씨스루 부분 화면을 표시할 수 있다.

가상 현실 장치(100)는 제1 영역 내에 객체가 위치하는지 판단할 수 있다.(S1060) 가상 현실 장치(100)는 추적된 객체가 제2 영역에서 제1 영역으로 진입하는지 판단할 수 있다. 제1 영역에 진입한 객체가 없으면, 가상 현실 장치(100)는 제2 영역에 위치한 객체를 계속해서 추적하고, 식별된 객체에 대한 정보를 콘텐츠 재생 화면의 일부분에 계속해서 표시할 수 있다.

가상 현실 장치(100)는 추적된 객체가 제2 영역에서 제1 영역으로 진입하여, 제1 영역 내에 객체가 위치하는 경우, 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하여 표시할 수 있다.(S1070) 가상 현실 장치(100)는 사용자가 콘텐츠에 몰입할 수 없는 사정이 발생하였으므로, 콘텐츠 재생 화면을 종료하고, 가상 현실 장치(100)를 착용한 상태에서 외부 환경이나 객체를 확인할 수 있도록, 씨스루 전체 화면을 표시할 수 있다.

도 12는 본 개시의 일 실시예에 따른 가상 현실 장치(100)에서 제1 영역과 제2 영역에 객체가 위치하는지에 따라 화면 표시를 제어하는 모습을 나타낸 도면이다.

가상 현실 장치(100)는 가상 현실 장치(100)를 착용한 사용자의 콘텐츠 재생 시작 요청에 따라, 가상 현실 장치(100)의 디스플레이를 통해 사용자가 선택한 콘텐츠를 제공할 수 있다. 이에 따라, 가상 현실 장치(100)를 착용한 사용자는 광차폐 모드에서 외부 환경을 볼 수 없는 상태로, 콘텐츠에 몰입하여 시청할 수 있다.

도 12를 참고하면, 콘텐츠를 시청하는 공간 내의 제1 영역 또는 제2 영역에 위치한 객체가 없는 경우, 가상 현실 장치(100)는 사용자가 콘텐츠에 계속해서 몰입할 수 있도록 콘텐츠 재생 화면만 표시할 수 있다.

콘텐츠를 시청하는 공간 내의 제2 영역에 객체가 확인되는 경우, 가상 현실 장치(100)는 해당 객체가 기등록된 객체인지에 따라, 두 가지 형태의 화면 표시 모드 중 어느 하나에 따라, 가상 현실 장치(100)의 화면을 표시할 수 있다.

가상 현실 장치(100)는 식별된 객체가 등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시할 수 있다. 인디케이터는 객체의 식별 정보, 객체의 사진이나 아바타와 같은 이미지 정보, 객체의 소속 정보 등에 기초하여, 식생성될 수 있다. 인디케이터는 콘텐츠 재생 화면의 일부분에 표시될 수 있으며, 콘텐츠 재생 화면에서 인디케이터의 위치는 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정될 수 있다. 예를 들어, 식별된 객체가 제2 영역 내의 북쪽 방향에 위치하다가 서쪽 방향으로 이동하면, 인디케이터 역시 콘텐츠 재생 화면의 북쪽 방향에 위치하다가 서쪽 방향으로 이동하면서 표시될 수 있다. 한편, 도 12에 도시된 바와 같이, 제2 영역 내에 두 개의 객체가 위치하는 경우, 각 객체의 위치를 고려하여, 각 객체에 대응되는 인디케이터를 콘텐츠 재생 화면의 대응되는 위치에 표시할 수 있다.

가상 현실 장치(100)는 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시할 수 있다. 씨스루 부분 화면운 콘텐츠 재생 화면의 일부분에 표시될 수 있으며, 콘텐츠 재생 화면에서 씨스루 부분 화면의 위치는 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정될 수 있다. 예를 들어, 식별된 객체가 제2 영역 내의 남쪽 방향에 위치하다가 동쪽 방향으로 이동하면, 씨스루 부분 화면 역시 콘텐츠 재생 화면의 남쪽 방향에 위치하다가 동쪽 방향으로 이동하면서 표시될 수 있다.

콘텐츠를 시청하는 공간 내의 제1 영역에 객체가 확인되는 경우, 가상 현실 장치(100)는 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하여 표시할 수 있다. 가상 현실 장치(100)는 콘텐츠 재생 화면을 종료하고, 가상 현실 장치(100)를 착용한 상태에서 외부 환경이나 객체를 확인할 수 있도록, 씨스루 전체 화면을 표시할 수 있다. 다만, 제1 영역에 위치한 객체가 예외 객체로 등록한 객체에 해당하는 경우, 예를 들어, 강아지나 고양이와 같은 애완 동물인 경우, 가상 현실 장치(100)는 예외 처리를 통해, 씨스루 전체 화면으로 전환하지 않고, 콘텐츠 재생 화면을 유지하거나 콘텐츠 재생 화면에 예외 객체에 대응되는 인디케이터를 표시할 수 있다.

도 13은 본 개시의 일 실시예에 따른 가상 현실 장치(100)에서 제2 영역 내에 위치하는 객체의 디바이스와 통신을 수행하여 객체를 추적하고, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시한 예를 나타낸 도면이다.

가상 현실 장치(100)는 제2 영역 내에 객체가 위치하는 경우, 해당 객체의 디바이스와 통신이 가능한지 판단하여, 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능하면, 객체의 디바이스로부터 객체의 위치 정보 및 사용자 정보를 수신할 수 있다. 가상 현실 장치(100)는 센싱 결과와 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여, 객체에 대응되는 인디케이터를 콘텐츠 재생 화면의 일부분에 표시할 수 있다.

도 13을 참고하면, 제2 영역에 제1 객체와 제2 객체가 진입한 상태이며, 가상 현실 장치(100)는 제1 객체의 디바이스(310)(예를 들어, 스마트 폰) 및 제2 객체의 디바이스(320)(예를 들어, 가상 현실 장치)에 통신을 수행할 수 있는지 메시지를 전송하고, 이에 대한 응답 메시지를 수신할 수 있다. 도 13에 도시된 바와 같이, 제1 객체와 제2 객체 각각에 대응되는 인디케이터의 우측 하단에 객체의 디바이스 정보를 추가로 표시할 수 있으나, 이에 한정되는 것은 아니다. 콘텐츠 재생 화면에서 인디케이터의 위치는 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정될 수 있다.

도 14는 본 개시의 일 실시예에 따른 가상 현실 장치(100)의 구성을 설명하기 위한 블록도이다. 가상 현실 장치(100)를 제어하는 방법에 관하여 이상에서 설명한 내용은 이하 생략된 내용이라하더라도, 가상 현실 장치(100)에 대해서도 그대로 적용될 수 있다.

도 14를 참조하면, 가상 현실 장치(100)는 메모리(110), 프로세서(120), 이미지 센서(130), 디스플레이 엔진부(140), 디스플레이(150), 시선 추적 센서(160), 통신 인터페이스 모듈(170), 입력부(180)를 포함할 수 있다. 그 외에도 가상 현실 장치(100)의 위치를 감지하는 위치 센서나 가상 현실 장치(100)에 전원을 공급하는 전원부와 같은 구성들도 더 포함할 수 있으며, 본 개시의 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 14에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.

메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(110)는 명령어들로 구성된 프로그램을 저장할 수 있다. 메모리(110)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 플래시 메모리(flash memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.

메모리(110)는 명령어들을 포함하는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 각 소프트웨어 모듈은 프로세서(120)에 의해 실행됨으로써, 가상 현실 장치(100)가 소정의 동작이나 기능을 수행하도록 한다. 예를 들어, 프로세서(120)에 의해 공간 센싱 모듈, 객체 추적 모듈, 화면 표시 제어 모듈 등이 실행될 수 있으나, 이에 한정되는 것은 아니며, 다른 소프트웨어 모듈을 더 포함할 수 있다.

프로세서(120)는 메모리(110)에 저장된 명령어들이나 프로그램화된 소프트웨어 모듈을 실행함으로써, 가상 현실 장치(100)가 수행하는 동작이나 기능을 제어할 수 있다. 프로세서(120)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다.

프로세서(120)는 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 처리 장치(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 애플리케이션 프로세서(Application Processor), 신경망 처리 장치(Neural Processing Unit) 또는 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다. 프로세서(120)를 구성하는 각 프로세서는 소정의 기능을 수행하기 위한 전용 프로세서일 수 있다.

이미지 센서(130)는 현실 세계의 장면을 촬영하는 장치로써, 스테레오 카메라이거나 단일 카메라일 수 있다. 또한, 이미지 센서(130)는 뎁스 정보를 감지하기 위한 뎁스 카메라나 라이다와 같은 형태의 센서일 수 있다. 가상 현실 장치(100)는 각 기능에 대응되는 이미지 센서(130)를 복수 개 구비할 수 있다. 예를 들어, 현실 객체를 3D 스캔하기 위한 제1 카메라, 특정 각도의 방향을 촬영하는 제2 카메라, 깊이 정보를 획득하는 제3 카메라 등을 구비할 수 있다.

가상 현실 장치(100)는 디스플레이 엔진부(140)와 디스플레이(150)를 통해 화면 표시를 제어할 수 있다. 가상 이미지는 광학 엔진을 통해 생성될 수 있으며, 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 가상 이미지는 사용자가 가상 현실 장치(100)를 통해서 가상의 공간에서 보여지는 이미지로서, 콘텐츠의 이미지이거나 현실 장면을 촬영한 현실 객체에 대한 이미지 또는 가상 현실 장치(100)의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.

디스플레이 엔진부(140)는 가상 이미지를 생성하여 투사하는 광학 엔진과 광학 엔진으로부터 투사된 가상 이미지의 광을 디스플레이(150)까지 안내하는 가이드부를 포함할 수 있다.

디스플레이(150)는 콘텐츠의 이미지나 현실 객체에 대한 이미지 또는 가상 현실 장치(100)의 동작에 대한 정보나 제어 메뉴를 나타내는 이미지 등의 가상 이미지를 디스플레이할 수 있다. 디스플레이(150)를 통해 가상 이미지가 표시되는 경우, 가상 현실 장치(100)를 착용한 사용자는 가상 이미지를 조작하기 위해 이미지 센서(130)나 시선 추적 센서(160) 또는 입력부(180)를 통해 가상 이미지를 조작할 수 있다.

시선 추적 센서(160)는 사용자 눈이 향하는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 등 시선 정보를 검출할 수 있다. 예를 들어, 시선 추적 센서(160)는 적외선 광을 사용자의 눈에 조사하여 반사된 광을 수신함으로써 촬영된 영상으로부터 동공을 검출하여 그 움직임을 추적할 수 있다. 프로세서(120)는 시선 추적 센서(160)에서 검출된 사용자의 시선 정보에 기초하여, 안구 움직임(eye movement) 형태를 판단할 수 있다. 예를 들어, 프로세서(120)는 시선 추적 센서(160)로부터 획득된 시선 정보에 기초하여, 어느 한 곳을 주시하는 고정(fixation), 움직이는 객체를 쫓는 추적(pursuit), 한 응시점에서 다른 응시점으로 신속하게 시선이 이동하는 도약(saccade) 등을 포함한 다양한 형태의 시선 움직임을 판단할 수 있다. 가상 현실 장치(100)의 프로세서(120)는 시선 추적 센서(160)를 이용하여 사용자의 응시점이나 사용자의 시선 이동을 판단하여, 가상 현실 장치(100)의 제어에 이용할 수 있다.

통신 인터페이스 모듈(170)은 가상 현실 장치(100)의 외부에 위치한 장치와 연결되어, 가상 현실 장치(100)에서 획득하거나 생성된 정보를 외부에 위치한 장치에 전송하거나, 외부에 위치한 장치로부터 여러 가지 종류의 정보를 수신할 수 있다. 예를 들어, 외부에 위치한 장치는 서버(200)나 사용자 단말(미도시)일 수 있다. 통신 인터페이스 모듈(170)은 다른 장치 또는 네트워크와 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 모듈(170)은 다양한 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity), 블루투스와 같은 근거리 통신이나 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다.

입력부(180)는 가상 현실 장치(100)의 사용자의 입력을 수신할 수 있다. 예를 들어, 입력부(180)는 터치 스크린, 사용자의 음성을 수신하는 마이크로폰, 사용자의 모션을 감지하는 모션 센서 등 일 수 있으나, 이에 제한되는 것은 아니다. 일 실시예에 따르면, 이미지 센서(130)와 시선 추적 센서(140)를 이용하여 사용자의 입력을 수신함으로써, 입력부(180)가 대체될 수 있다. 예를 들어, 프로세서(120)는 시선 추적 센서(160)를 이용하여 회득된 시선 정보에 기초하여, 시선 좌표를 획득할 수 있다. 프로세서(120)는 이미지 센서(130)를 통해 촬영된 영상에 기초하여, 시선 좌표에 대응되는 가상 이미지를 선택하는 제스처를 인식할 수 있다.

상기한 구성에 따라, 본 개시의 일 실시예에 따른 프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 가상 현실 장치(100)를 제어하기 위한 전반적인 동작들을 제어할 수 있다.

본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제1 프로세서는 공간 센싱 모듈을 실행하여, 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정할 수 있다. 프로세서(120) 또는 제1 프로세서는 적어도 하나의 이미지 센서(130)를 이용하여, 제1 영역과 제2 영역을 센싱할 수 있다. 제1 영역은 스캔 공간 정보와 콘텐츠 정보에 기초하여 결정되고, 제2 영역은 스캔 공간 정보에 기초하여 결정될 수 있다.

일 실시예에 따른 프로세서(120) 또는 제1 프로세서는 콘텐츠에 대한 재생 입력을 입력부(180)를 통해 수신함에 따라, 적어도 하나의 이미지 센서(130)를 이용하여, 콘텐츠를 시청하는 공간을 센싱할 수 있다. 프로세서(120) 또는 제1 프로세서는 센싱에 따른 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다. 또한, 프로세서(120) 또는 제1 프로세서는 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 입력부(180)를 통해 획득할 수 있다. 프로세서(120) 또는 제1 프로세서는 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 획득된 허용 객체에 관한 정보를 통신 인터페이스 모듈(170)을 통해 콘텐츠를 제공하는 서버(200)에 전송할 수 있다.

일 실시예에 따른 프로세서(120) 또는 제1 프로세서는 실행 이력이 있는 콘텐츠에 대한 재생 입력을 입력부(180)를 통해 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 통신 인터페이스 모듈(170)을 통해 수신할 수 있다. 프로세서(120) 또는 제1 프로세서는 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다. 서버(200)가 가상 현실 장치(100)의 콘텐츠 시청 이력을 저장하고 있는 경우, 가상 현실 장치(100)로부터 시청 이력이 있는 콘텐츠에 대한 요청이 있으면, 이전에 설정했었던 제1 영역과 제2 영역에 대한 정보를 조회하여, 가상 현실 장치(100)로 전송해 줄 수 있다. 이와 같은 경우, 가상 현실 장치(100)는 제1 영역과 제2 영역을 설정하기 위한 일부 과정을 생략할 수 있다.

일 실시예에 따른 프로세서(120) 또는 제1 프로세서는 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정하고, 입력부(180)를 통한 가상 현실 장치(100)의 사용자의 입력에 따라, 제1 영역과 제2 영역을 조정할 수 있다. 프로세서(120) 또는 제1 프로세서는 콘텐츠 정보에 포함된 콘텐츠의 타입에 따라 제1 영역의 영역 범위를 달리 설정할 수 있다.

본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제2 프로세서는 객체 추적 모듈을 실행하여, 제1 영역과 제2 영역에 대한 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적할 수 있다. 프로세서(120) 또는 제2 프로세서는 제1 영역 또는 제2 영역 내의 객체를 연속적으로 검출함으로써, 객체의 현재 위치, 이동 방향, 이동 속도 등을 확인할 수 있다.

일 실시예에 따른 프로세서(120) 또는 제2 프로세서는 객체를 검출하고, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단할 수 있다. 프로세서(120) 또는 제2 프로세서는 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 불가능하면, 센싱 결과에 기초하여 검출된 객체를 추적하고, 통신이 가능하면, 센싱 결과와 통신 인터페이스 모듈(170)를 통해 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여 검출된 객체를 추적할 수 있다.

본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제3 프로세서는 화면 표시 제어 모듈을 실행하여, 제1 영역 또는 제2 영역 내에 위치하는 객체의 추적 결과에 기초하여, 디스플레이 엔진부(140)와 디스플레이(150)를 이용하여, 가상 현실 장치(100)의 화면 표시를 제어할 수 있다.

일 실시예에 따른 프로세서(120) 또는 제3 프로세서는 객체가 제1 영역 또는 제2 영역 내에 위치하는지 판단할 수 있다. 프로세서(120) 또는 제3 프로세서는 판단 결과에 기초한 화면 표시 모드에 따라, 디스플레이 엔진부(140)와 디스플레이(150)를 제어하여 가상 현실 장치(100)의 화면을 표시할 수 있다.

일 실시예에 따른 프로세서(120) 또는 제3 프로세서는 제2 영역 내에 객체가 위치하는 경우, 객체를 식별하여, 식별된 객체가 허용 객체로서 기등록된 객체인지 판단할 수 있다. 프로세서(120) 또는 제3 프로세서는 판단 결과, 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시하고, 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하도록 디스플레이 엔진부(140)와 디스플레이(150)를 제어할 수 있다. 프로세서(120) 또는 제2 프로세서는 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여, 콘텐츠 재생 화면에서 인디케이터 또는 씨스루 부분 화면의 위치를 결정할 수 있다.

일 실시예에 따른 프로세서(120) 또는 제3 프로세서는 제1 영역 내에 객체가 위치하는 경우, 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하도록 디스플레이 엔진부(140)와 디스플레이(150)를 제어할 수 있다. 콘텐츠 재생 화면에서 씨스루 전체 화면으로 전환되면, 재생 중이던 콘텐츠는 종료되고, 사용자가 가상 현실 장치(100)를 착용한 상태에서, 현실 장면을 직접 보는 것과 같은 느낌을 줄 수 있도록, 현실 세계를 촬영한 이미지를 실시간으로 가상 현실 장치(100)의 디스플레이(150)에 표시할 수 있다.

가상 현실 장치(100)를 착용한 사용자가 씨스루 전체 화면을 통해 제1 영역 내에 진입한 객체를 확인한 후, 다시 콘텐츠를 재생하기 위한 입력 또는 제스쳐를 취하면, 씨스루 전체 화면은 콘텐츠 재생 화면으로 전환될 수 있다. 이때, 인디케이터 또는 씨스루 부분 화면은 사용자의 설정에 따라, 콘텐츠 재생 화면에 표시되거나, 사용자가 이미 확인한 객체에 대해서는 더 이상 신경쓰이지 않도록, 인디케이터 또는 씨스루 부분 화면이 콘텐츠 재생 화면에 표시되지 않을 수 있다.

도 15는 본 개시의 일 실시예에 따른 가상 현실 장치(100)와 통신을 수행하는 서버(200)의 구성을 설명하기 위한 블록도이다.

도 15를 참조하면, 서버(200)는 메모리(210), 프로세서(220), 통신 인터페이스 모듈(230), 스토리지(240)를 포함한다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 15에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.

도 15의 블록도의 각 구성요소는 서버(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 2 이상의 구성요소로 세분화되거나, 2 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.

서버(200)는 가상 현실 서비스를 제공하는 장치로서, 가상 현실 서비스 플랫폼을 제공할 수 있다. 또는, 서버(200)는 콘텐츠를 제공하는 장치로서, 가상 현실 서비스에 기반한 콘텐츠를 제공할 수 있다.

메모리(210)는 프로세서(220)에 의해 실행 가능한 인스트럭션들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.

프로세서(220)는 메모리(210)에 저장된 인스트럭션들을 실행할 수 있다. 프로세서(220)는 서버(200)의 전반적인 제어를 수행할 수 있다. 프로세서(220)는 통신 인터페이스 모듈(230)를 통해 수신되는 정보 및 요청 사항을 획득하고, 수신되는 정보를 스토리지(240)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 제1 외부 장치로부터 수신되는 정보로부터 제2 외부 장치에서 이용되는 정보를 획득하거나, 수신되는 정보를 가공하는 행위를 수행할 수 있다. 또한, 프로세서(220)는 제1 외부 장치로부터 수신되는 정보를 제2 외부 장치로 전달할 수 있다.

통신 인터페이스 모듈(230)는 가상 현실 장치(100)와 같은 외부 장치와 통신을 수행할 수 있다. 서버(200)는 가상 현실 장치(100)로부터 가상 현실 서비스와 관련된 정보를 수신할 수 있고, 가상 현실 장치(100)의 요청에 따라, 가상 현실 서비스와 관련된 정보를 전달할 수 있다. 예를 들어, 서버(200)는 가상 현실 장치(100)로부터 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 허용 객체에 관한 정보를 수신하여, 가상 현실 장치(100) 별로 수신된 정보를 저장할 수 있다.

스토리지(240)는 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(240)는 서버(200)에서 실행되는 프로그램, 애플리케이션, 및 가상 현실 서비스를 제공하는데 이용되는 각종 데이터 또는 정보를 저장할 수 있다.

서버(200)는 소정의 범위 내에 있는 가상 현실 장치(100)들 간의 정보를 서로 교환하도록 중개 장치의 역할을 수행할 수 있다. 이를 위해, 서버(200)는 사용자 별로 가상 현실 장치(100)에 대한 정보를 스토리지(240)에 미리 등록하고, 가상 현실 서비스에 관련된 정보를 업데이트할 수 있다. 서버(200)는 가상 현실 장치(100)로부터 수신된 정보를 반영한 가상 현실 서비스를 다른 가상 현실 장치(100)로 전달할 수 있다.

한편, 본 개시의 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.

또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

본 개시의 일 실시예에 따르면, 가상 현실 장치(100)를 제어하는 방법이 제공된다. 가상 현실 장치(100)를 제어하는 방법은 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계(S210)를 포함한다. 또한, 가상 현실 장치(100)를 제어하는 방법은 적어도 하나의 이미지 센서(130)를 이용하여, 제1 영역과 제2 영역을 센싱하는 단계(S220)를 포함한다. 또한, 가상 현실 장치(100)를 제어하는 방법은 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적하는 단계(S230)를 포함한다. 또한, 가상 현실 장치(100)를 제어하는 방법은 추적 결과에 기초하여, 가상 현실 장치(100)의 화면 표시를 제어하는 단계(S240)를 포함한다.

또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)의 화면 표시를 제어하는 단계(S240)는 객체가 제1 영역 또는 제2 영역 내에 위치하는지 판단하는 단계(S1010, S1060)를 포함할 수 있다. 또한, 가상 현실 장치(100)의 화면 표시를 제어하는 단계(S240)는 판단 결과에 기초한 화면 표시 모드에 따라, 가상 현실 장치(100)의 화면을 표시하는 단계(S1040, S1050, S1070)를 포함할 수 있다.

또한, 가상 현실 장치(100)의 화면을 표시하는 단계(S1040, S1050, S1070)는 제2 영역 내에 객체가 위치하는 경우(S1010), 객체를 식별하여, 식별된 객체가 허용 객체로서 기등록된 객체인지 판단하는 단계(S1020, S1030)를 포함할 수 있다. 또한, 가상 현실 장치(100)의 화면을 표시하는 단계(S1040, S1050, S1070)는 판단 결과, 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시하고, 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하는 단계(S1040, S1050)를 포함할 수 있다. 또한, 가상 현실 장치(100)의 화면을 표시하는 단계(S1040, S1050, S1070)는 제1 영역 내에 객체가 위치하는 경우(S1060), 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하는 단계(S1070)를 포함할 수 있다.

또한, 콘텐츠 재생 화면에서 인디케이터 또는 씨스루 부분 화면의 위치는 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정될 수 있다.

또한, 본 개시의 일 실시예에 따르면, 객체를 추적하는 단계(S230)는 객체를 검출하는 단계(S910)를 포함할 수 있다. 또한, 객체를 추적하는 단계(S230)는 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단하는 단계(S920)를 포함할 수 있다. 또한, 객체를 추적하는 단계(S230)는 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 불가능하면, 센싱 결과에 기초하여 검출된 객체를 추적하고, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능하면, 센싱 결과와 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여 검출된 객체를 추적하는 단계(S930, S940)를 포함할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계(S210)는 콘텐츠에 대한 재생 입력을 수신함에 따라, 콘텐츠를 시청하는 공간을 센싱하는 단계(S310, S410)를 포함할 수 있다. 또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 센싱에 따른 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정하는 단계(S320, S420)를 포함할 수 있다.

또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 획득하는 단계(S330, S430)를 포함할 수 있다. 또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 획득된 허용 객체에 관한 정보를 콘텐츠를 제공하는 서버(200)에 전송하는 단계(S340, S440)를 포함할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계(S210)는 실행 이력이 있는 콘텐츠에 대한 재생 입력을 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 수신하는 단계(S510, S610)를 포함할 수 있다. 또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 결정하는 단계(S520, S620)를 포함할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정하는 단계(S210)는 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정하는 단계(S710, S810)를 포함할 수 있다. 또한, 제1 영역과 제2 영역을 설정하는 단계(S210)는 가상 현실 장치(100)의 사용자의 입력에 따라, 제1 영역과 제2 영역을 조정하는 단계(S720, S820)를 포함할 수 있다.

본 개시의 일 실시예에 따르면, 가상 현실 장치(100)가 제공된다. 가상 현실 장치(100)는 하나 이상의 인스트럭션을 저장하는 메모리(110), 프로세서(120), 적어도 하나의 이미지 센서(130), 디스플레이 엔진부(140), 및 디스플레이(150)를 포함한다. 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 콘텐츠를 시청하는 공간 내에 제1 영역과 제1 영역과 다른 제2 영역을 설정한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 적어도 하나의 이미지 센서(130)를 이용하여, 제1 영역과 제2 영역을 센싱한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 센싱 결과에 기초하여, 제1 영역 또는 제2 영역 내에 위치하는 객체를 추적한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 추적 결과에 기초하여, 디스플레이 엔진부(140)와 디스플레이(150)를 이용하여, 가상 현실 장치(100)의 화면 표시를 제어한다.

또한, 본 개시의 일 실시예에 따르면, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 객체가 제1 영역 또는 제2 영역 내에 위치하는지 판단할 수 있다. 또한, 프로세서(120)는 판단 결과에 기초한 화면 표시 모드에 따라, 디스플레이 엔진부(140)와 디스플레이(150)를 제어하여 가상 현실 장치(100)의 화면을 표시할 수 있다.

또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 제2 영역 내에 객체가 위치하는 경우, 객체를 식별하여, 식별된 객체가 허용 객체로서 기등록된 객체인지 판단할 수 있다. 또한, 프로세서(120)는 판단 결과, 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 객체에 대응되는 인디케이터를 표시하고, 식별된 객체가 기등록된 객체가 아니면, 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하도록 디스플레이 엔진부(140)와 디스플레이(150)를 제어할 수 있다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 제1 영역 내에 객체가 위치하는 경우, 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하도록 디스플레이 엔진부(140)와 디스플레이(150)를 제어할 수 있다.

또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여, 콘텐츠 재생 화면에서 인디케이터 또는 씨스루 부분 화면의 위치를 결정할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)는 통신 인터페이스 모듈(170)를 더 포함할 수 있다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 객체를 검출하고, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단할 수 있다. 프로세서(120)는 판단 결과, 제2 영역 내에 위치하는 객체의 디바이스와 통신이 불가능하면, 센싱 결과에 기초하여 검출된 객체를 추적하고, 통신이 가능하면, 센싱 결과와 통신 인터페이스 모듈(170)를 통해 검출된 객체의 디바이스로부터 수신된 객체의 위치 정보 및 사용자 정보에 기초하여 검출된 객체를 추적할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)는 입력부(180)를 더 포함할 수 있다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 콘텐츠에 대한 재생 입력을 입력부(180)를 통해 수신함에 따라, 적어도 하나의 이미지 센서(130)를 이용하여, 콘텐츠를 시청하는 공간을 센싱할 수 있다. 프로세서(120)는 센싱에 따른 스캔 공간 정보와 재생 입력이 수신된 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.

또한, 가상 현실 장치(100)는 통신 인터페이스 모듈(170)를 더 포함할 수 있다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 입력부(180)를 통해 획득할 수 있다. 프로세서(120)는 제1 영역에 대한 정보, 제2 영역에 대한 정보, 및 획득된 허용 객체에 관한 정보를 통신 인터페이스 모듈(170)을 통해 콘텐츠를 제공하는 서버(200)에 전송할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)는 통신 인터페이스 모듈(170) 및 입력부(180)를 더 포함할 수 있다. 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 실행 이력이 있는 콘텐츠에 대한 재생 입력을 입력부(180)를 통해 수신함에 따라, 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 제1 영역에 대한 정보와 제2 영역에 대한 정보를 통신 인터페이스 모듈(170)을 통해 수신할 수 있다. 프로세서(120)는 수신된, 제1 영역에 대한 정보와 제2 영역에 대한 정보에 기초하여, 제1 영역과 제2 영역을 결정할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 가상 현실 장치(100)는 입력부(180)를 더 포함할 수 있다. 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 스캔 공간 정보와 콘텐츠에 관한 콘텐츠 정보에 기초하여, 제1 영역과 제2 영역을 결정하고, 입력부(180)를 통한 가상 현실 장치(100)의 사용자의 입력에 따라, 제1 영역과 제2 영역을 조정할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 콘텐츠 정보에 포함된 콘텐츠의 타입에 따라 제1 영역의 영역 범위를 달리 설정할 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims

가상 현실 장치를 제어하는 방법에 있어서,
콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 공간 내에 제1 영역과 상기 제1 영역과 다른 제2 영역을 설정하는 단계(S210);
적어도 하나의 이미지 센서를 이용하여, 상기 제1 영역과 상기 제2 영역을 센싱하는 단계(S220);
상기 센싱 결과에 기초하여, 상기 제1 영역 또는 상기 제2 영역 내에 위치하는 객체를 추적하는 단계(S230); 및
상기 추적 결과에 기초하여, 상기 가상 현실 장치의 화면 표시를 제어하는 단계(S240);
를 포함하는, 방법.
제1 항에 있어서,
상기 화면 표시를 제어하는 단계(S240)는,
상기 객체가 상기 제1 영역 또는 상기 제2 영역 내에 위치하는지 판단하는 단계(S1010, S1060); 및
상기 판단 결과에 기초한 화면 표시 모드에 따라, 상기 가상 현실 장치의 화면을 표시하는 단계(S1040, S1050, S1070)를 포함하는, 방법.
제1 항 또는 제2 항에 있어서,
상기 가상 현실 장치의 화면을 표시하는 단계(S1040, S1050, S1070)는,
상기 제2 영역 내에 상기 객체가 위치하는 경우(S1010),
상기 객체를 식별하여, 상기 식별된 객체가 허용 객체로서 기등록된 객체인지 판단하는 단계(S1020, S1030); 및
상기 판단 결과, 상기 식별된 객체가 상기 기등록된 객체이면, 콘텐츠 재생 화면에 상기 객체에 대응되는 인디케이터를 표시하고, 상기 식별된 객체가 상기 기등록된 객체가 아니면, 상기 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하는 단계(S1040, S1050)를 포함하고,
상기 제1 영역 내에 상기 객체가 위치하는 경우(S1060),
상기 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하는 단계(S1070)를 포함하는, 방법.
제1 항 내지 제3 항 중 어느 한 항에 있어서,
상기 콘텐츠 재생 화면에서 상기 인디케이터 또는 상기 씨스루 부분 화면의 위치는 상기 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여 결정되는, 방법.
제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 객체를 추적하는 단계(S230)는,
상기 객체를 검출하는 단계(S910);
상기 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단하는 단계(S920); 및
상기 판단 결과, 상기 통신이 불가능하면, 상기 센싱 결과에 기초하여 상기 검출된 객체를 추적하고, 상기 통신이 가능하면, 상기 센싱 결과와 상기 검출된 객체의 디바이스로부터 수신된 상기 객체의 위치 정보 및 사용자 정보에 기초하여 상기 검출된 객체를 추적하는 단계(S930, S940)를 포함하는, 방법.
제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 설정하는 단계(S210)는,
상기 콘텐츠에 대한 재생 입력을 수신함에 따라, 상기 콘텐츠를 시청하는 공간을 센싱하는 단계(S310, S410); 및
상기 센싱에 따른 상기 스캔 공간 정보와 상기 재생 입력이 수신된 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하는 단계(S320, S420)를 포함하는, 방법.
제1 항 내지 제6 항 중 어느 한 항에 있어서,
상기 설정하는 단계(S210)는,
상기 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 획득하는 단계(S330, S430); 및
상기 제1 영역에 대한 정보, 상기 제2 영역에 대한 정보, 및 상기 획득된 허용 객체에 관한 정보를 상기 콘텐츠를 제공하는 서버에 전송하는 단계(S340, S440)를 더 포함하는, 방법.
제1 항 내지 제7 항 중 어느 한 항에 있어서,
상기 설정하는 단계(S210)는,
실행 이력이 있는 콘텐츠에 대한 재생 입력을 수신함에 따라, 상기 실행 이력이 있는 콘텐츠를 제공하는 서버로부터 상기 제1 영역에 대한 정보와 상기 제2 영역에 대한 정보를 수신하는 단계(S510, S610); 및
상기 수신된, 제1 영역에 대한 정보와 상기 제2 영역에 대한 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하는 단계(S520, S620)를 포함하는, 방법.
제1 항 내지 제8 항 중 어느 한 항에 있어서,
상기 설정하는 단계(S210)는,
상기 스캔 공간 정보와 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하는 단계(S710, S810); 및
상기 가상 현실 장치의 사용자의 입력에 따라, 상기 제1 영역과 상기 제2 영역을 조정하는 단계(S720, S820)를 포함하는, 방법.
제1 항 내지 제9 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
가상 현실 장치(100)에 있어서,
하나 이상의 인스트럭션을 저장하는 메모리(110);
프로세서(120);
적어도 하나의 이미지 센서(130);
디스플레이 엔진부(140);
디스플레이(150)를 포함하고,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
콘텐츠를 시청하는 공간에 대한 스캔 공간 정보와 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 공간 내에 제1 영역과 상기 제1 영역과 다른 제2 영역을 설정하고, 상기 적어도 하나의 이미지 센서(130)를 이용하여, 상기 제1 영역과 상기 제2 영역을 센싱하고, 상기 센싱 결과에 기초하여, 상기 제1 영역 또는 상기 제2 영역 내에 위치하는 객체를 추적하고, 상기 추적 결과에 기초하여, 상기 디스플레이 엔진부(140)와 상기 디스플레이(150)를 이용하여, 상기 가상 현실 장치(100)의 화면 표시를 제어하는, 가상 현실 장치(100).
제11 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 객체가 상기 제1 영역 또는 상기 제2 영역 내에 위치하는지 판단하고, 상기 판단 결과에 기초한 화면 표시 모드에 따라, 상기 디스플레이 엔진부(140)와 상기 디스플레이(150)를 제어하여 상기 가상 현실 장치(100)의 화면을 표시하는, 가상 현실 장치(100).
제11 항 또는 제12 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 제2 영역 내에 상기 객체가 위치하는 경우, 상기 객체를 식별하여, 상기 식별된 객체가 허용 객체로서 기등록된 객체인지 판단하고, 상기 판단 결과, 상기 식별된 객체가 기등록된 객체이면, 콘텐츠 재생 화면에 상기 객체에 대응되는 인디케이터를 표시하고, 상기 식별된 객체가 상기 기등록된 객체가 아니면, 상기 콘텐츠 재생 화면에 씨스루 부분 화면을 표시하도록 상기 디스플레이 엔진부(140)와 상기 디스플레이(150)를 제어하고,
상기 제1 영역 내에 상기 객체가 위치하는 경우, 상기 콘텐츠 재생 화면을 씨스루 전체 화면으로 전환하도록 상기 디스플레이 엔진부(140)와 상기 디스플레이(150)를 제어하는, 가상 현실 장치(100).
제11 항 내지 제13 항 중 어느 한 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 식별된 객체의 위치, 이동 방향, 및 이동 속도에 기초하여, 상기 콘텐츠 재생 화면에서 상기 인디케이터 또는 상기 씨스루 부분 화면의 위치를 결정하는, 가상 현실 장치(100).
제11 항 내지 제14 항 중 어느 한 항에 있어서,
통신 인터페이스 모듈(170)를 더 포함하고,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 객체를 검출하고, 상기 제2 영역 내에 위치하는 객체의 디바이스와 통신이 가능한지 판단하고, 상기 판단 결과, 상기 통신이 불가능하면, 상기 센싱 결과에 기초하여 상기 검출된 객체를 추적하고, 상기 통신이 가능하면, 상기 센싱 결과와 상기 통신 인터페이스 모듈(170)를 통해 상기 검출된 객체의 디바이스로부터 수신된 상기 객체의 위치 정보 및 사용자 정보에 기초하여 상기 검출된 객체를 추적하는, 가상 현실 장치(100).
제11 항 내지 제15 항 중 어느 한 항에 있어서,
입력부(180)를 더 포함하고,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 콘텐츠에 대한 재생 입력을 상기 입력부(180)를 통해 수신함에 따라, 상기 적어도 하나의 이미지 센서(130)를 이용하여, 상기 콘텐츠를 시청하는 공간을 센싱하고, 상기 센싱에 따른 상기 스캔 공간 정보와 상기 재생 입력이 수신된 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하는, 가상 현실 장치(100).
제11 항 내지 제16 항 중 어느 한 항에 있어서,
통신 인터페이스 모듈(170)를 더 포함하고,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 제2 영역에 위치할 수 있는 허용 객체에 관한 정보를 상기 입력부(180)를 통해 획득하고, 상기 제1 영역에 대한 정보, 상기 제2 영역에 대한 정보, 및 상기 획득된 허용 객체에 관한 정보를 상기 통신 인터페이스 모듈(170)을 통해 상기 콘텐츠를 제공하는 서버(200)에 전송하는, 가상 현실 장치.
제11 항 내지 제17 항 중 어느 한 항에 있어서,
통신 인터페이스 모듈(170) 및 입력부(180)를 더 포함하고,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
실행 이력이 있는 콘텐츠에 대한 재생 입력을 상기 입력부(180)를 통해 수신함에 따라, 상기 실행 이력이 있는 콘텐츠를 제공하는 서버(200)로부터 상기 제1 영역에 대한 정보와 상기 제2 영역에 대한 정보를 상기 통신 인터페이스 모듈(170)을 통해 수신하고, 상기 수신된, 제1 영역에 대한 정보와 상기 제2 영역에 대한 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하는, 가상 현실 장치(100).
제11 항 내지 제18 항 중 어느 한 항에 있어서,
입력부(180)를 더 포함하고,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 스캔 공간 정보와 상기 콘텐츠에 관한 콘텐츠 정보에 기초하여, 상기 제1 영역과 상기 제2 영역을 결정하고, 상기 입력부(180)를 통한 상기 가상 현실 장치(100)의 사용자의 입력에 따라, 상기 제1 영역과 상기 제2 영역을 조정하는, 가상 현실 장치(100).
제11 항 내지 제19 항 중 어느 한 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 콘텐츠 정보에 포함된 상기 콘텐츠의 타입에 따라 상기 제1 영역의 영역 범위를 달리 설정하는, 가상 현실 장치(100).