KR20240045042A

KR20240045042A - 가상 현실 영상을 표시하는 영상 표시 장치 및 그 표시 방법

Info

Publication number: KR20240045042A
Application number: KR1020220165104A
Authority: KR
Inventors: 김동욱; 강동근; 김정섭
Original assignee: 삼성전자주식회사
Priority date: 2022-09-29
Filing date: 2022-11-30
Publication date: 2024-04-05

Abstract

가상 현실 영상을 표시하는 영상 표시 장치 및 그 표시 방법이 제공될 수 있다. 구체적으로, 영상 표시 장치는, 디스플레이; 센서부; 통신부; 하나 이상의 인스트럭션을 포함하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득하도록 상기 센서부를 제어하고, 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 제스처를 인식하도록 상기 센서부를 제어하고, 상기 제 1 위치, 상기 제 2 위치, 및 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 상기 제스처와 관련된 센싱 데이터를 서버로 전송하도록 상기 통신부를 제어하고, 상기 센싱 데이터에 기반하여 상기 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들 중 선택된 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하고, 및 상기 제 1 가상 시나리오가 반영된 가상 현실 영상을 표시하도록 상기 디스플레이를 제어할 수 있다.

Description

가상 현실 영상을 표시하는 영상 표시 장치 및 그 표시 방법{IMAGE DISPLAY DEVICE DISPLAYING VIRTUAL REALITY IMAGE AND DISPLAYING METHOD THEREOF}

본 개시의 실시예들은 가상 현실 영상을 표시하는 영상 표시 장치 및 그 표시 방법에 관한 것이다.

최근 가상 공간에서의 경험을 제공하기 위해 가상 현실(Virtual Reality) 영상이 이용되고 있다. 가상 현실 영상은 평면 영상보다 현실적인 상황을 표현할 수 있다.

가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치는 다양한 작업 환경 및 사용자 작업 시나리오 요구에 대응하여 장치 플랫폼을 변형하는 것을 제시하였다. 가변형 플랫폼 관리 장치는 사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠의 입체영상을 출력하고, 입체영상에 대한 사용자의 움직임을 근거로 실제 작업도구를 이용한 작업시에 발생하는 감각 피드백과 동일한 감각 피드백을 발생시킬 수 있다.

기존의 가상 현실 영상의 이용은 가상 공간에서의 경험 및 작업 환경을 시뮬레이션 하며, 실제 위치 및 기기와의 인식 기반으로 가상 현실을 제공하는 기술은 현재 존재하지 않는다. 실제 공간의 위치를 기반한 가상 현실 플랫폼을 이용하여, 사용자가 있는 실제 공간에서 가상 공간을 경험할 수 있도록 하는 기술이 필요하게 되었다.

본 개시의 일 실시예에 따른 영상 표시 장치는, 디스플레이; 센서부; 통신부; 하나 이상의 인스트럭션을 포함하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득하도록 상기 센서부를 제어할 수 있다. 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 제스처를 인식하도록 상기 센서부를 제어할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제 1 위치, 상기 제 2 위치, 및 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 상기 제스처와 관련된 센싱 데이터를 서버로 전송하도록 상기 통신부를 제어할 수 있다. 상기 적어도 하나의 프로세서는, 상기 센싱 데이터에 기반하여 상기 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들 중 선택된 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제 1 가상 시나리오가 반영된 가상 현실 영상을 표시하도록 상기 디스플레이를 제어할 수 있다.

본 개시의 일 실시예에 따른 영상 표시 장치의 표시 방법은, 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득하도록 상기 영상 표시 장치의 센서부를 제어하는 동작을 포함할 수 있다. 영상 표시 장치의 표시 방법은, 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 제스처를 인식하도록 상기 센서부를 제어하는 동작을 포함할 수 있다. 영상 표시 장치의 표시 방법은, 상기 제 1 위치, 상기 제 2 위치, 및 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 상기 제스처와 관련된 센싱 데이터를 서버로 전송하도록 상기 영상 표시 장치의 통신부를 제어하는 동작을 포함할 수 있다. 영상 표시 장치의 표시 방법은, 상기 센싱 데이터에 기반하여 상기 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들 중 선택된 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하는 동작을 포함할 수 있다. 영상 표시 장치의 표시 방법은, 상기 제 1 가상 시나리오가 반영된 가상 현실 영상을 표시하도록 상기 영상 표시 장치의 디스플레이를 제어하는 동작을 포함할 수 있다.

도 1은 본 개시의 일 실시예에 따른 시스템을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 시스템을 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따른 영상 표시 장치를 나타낸 블록도이다.
도 4는 본 개시의 일 실시예에 따른 영상 표시 장치의 동작을 나타낸 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 연결 패킷을 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따른 영상 표시 장치, 원격 제어 장치, 및 태그 사이의 패킷의 전달을 나타낸 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 앵커를 나타낸 블록도이다.
도 8은 본 개시의 일 실시예에 따른 태그를 나타낸 블록도이다.
도 9는 본 개시의 일 실시예에 따른 외부 장치의 위치를 획득하는 것을 나타낸 도면이다.
도 10은 본 개시의 일 실시예에 따른 외부 장치가 이동한 이후의 위치를 획득하는 것을 나타낸 도면이다.
도 11은 본 개시의 일 실시예에 따른 신규 등록한 외부 장치의 위치를 획득하는 것을 나타낸 도면이다.
도 12는 본 개시의 일 실시예에 따른 삼각 측량을 이용하여 외부 장치의 위치를 획득하는 것을 나타낸 도면이다.
도 13은 본 개시의 일 실시예에 따른 ToF 센서를 나타낸 도면이다.
도 14는 본 개시의 일 실시예에 따른 표시 방법을 나타낸 흐름도이다.
도 15는 본 개시의 일 실시예에 따른 영상 표시 장치가 센싱 데이터를 서버로 전송하고, 센싱 데이터에 기반하여 선택된 가상 시나리오를 서버로부터 수신하는 과정을 나타낸 도면이다.
도 16은 본 개시의 일 실시예에 따른 공기조화기의 기능 표시 방법을 나타낸 흐름도이다.
도 17은 본 개시의 일 실시예에 따른 프로젝터의 기능 표시 방법을 나타낸 흐름도이다.
도 18은 본 개시의 일 실시예에 따른 공기조화기의 유지 보수 기능 표시 방법을 나타낸 흐름도이다.
도 19는 본 개시의 일 실시예에 따른 공기청정기의 유지 보수 기능 표시 방법을 나타낸 흐름도이다.
도 20은 본 개시의 일 실시예에 따른 로봇 청소기의 유지 보수 기능 표시 방법을 나타낸 흐름도이다.

본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시의 일 실시예에 대해 구체적으로 설명하기로 한다.

본 개시에서 사용되는 용어는 본 개시의 일 실시예에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 개시의 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 개시에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시의 일 실시예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시의 일 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 본 개시 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시의 일 실시예에 따른 영상 표시 장치 및 그 표시 방법은, 사용자가 실제 공간에서 외부 장치에 대한 사용, 분해, 교체, 수리와 같은 다양한 조작을 시도할 때, 사용자에게 실체 위치에서의 실제 상황에 기반한 가상 공간 경험을 제공하고자 한다.

본 개시의 일 실시 예에 따른 영상 표시 장치는, 디스플레이; 센서부; 통신부; 하나 이상의 인스트럭션을 포함하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득하도록 상기 센서부를 제어하고, 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 제스처를 인식하도록 상기 센서부를 제어하고, 상기 제 1 위치, 상기 제 2 위치, 및 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 상기 제스처와 관련된 센싱 데이터를 서버로 전송하도록 상기 통신부를 제어하고, 상기 센싱 데이터에 기반하여 상기 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들 중 선택된 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하고, 및 상기 제 1 가상 시나리오가 반영된 가상 현실 영상을 표시하도록 상기 디스플레이를 제어할 수 있다.

일 실시 예에서, 상기 메모리는 상기 적어도 하나의 외부 장치의 종류와 관련된 식별 정보를 저장할 수 있다.

일 실시 예에서, 상기 센서부는 초광대역(Ultra-wide Band, UWB) 센서를 포함할 수 있다.

일 실시 예에서, 상기 초광대역 센서는, 상기 적어도 하나의 외부 장치에 부착된 제 1 태그를 감지하여 상기 제 1 위치를 획득하고, 및 상기 사용자에 부착된 제 2 태그를 감지하여 상기 제 2 위치를 획득할 수 있다.

일 실시 예에서, 상기 센서부에 포함된 이미지 센서, 거리 센서, ToF(Time of Flight) 센서, 및 방향 센서 중 적어도 하나를 이용하여 상기 제스처를 인식할 수 있다.

일 실시 예에서, 상기 프로세서는, 상기 제스처에 기반하여 상기 적어도 하나의 외부 장치와 관련된 상기 사용자의 의도를 파악하여 선택된 상기 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어할 수 있다.

일 실시 예에서, 상기 복수의 가상 시나리오들은 상기 적어도 하나의 외부 장치의 기능 사용 안내, 상기 적어도 하나의 외부 장치의 분해 시 내부의 구조, 상기 적어도 하나의 외부 장치를 이루는 부품의 교체, 및 상기 적어도 하나의 외부 장치의 수리와 관련될 수 있다.

일 실시 예에서, 상기 센싱 데이터는 상기 서버의 모델에 입력됨으로써, 상기 모델이 상기 센싱 데이터에서 상기 제스처를 하는 상기 사용자의 손 및 상기 적어도 하나의 외부 장치 사이의 근접 빈도, 상기 손의 형태, 및 상기 손 및 상기 적어도 하나의 외부 장치 사이의 위치 패턴을 학습하는데 이용되고, 상기 학습된 모델을 이용하여 상기 복수의 가상 시나리오들 중 상기 제 1 가상 시나리오가 선택될 수 있다.

일 실시 예에서, 상기 프로세서는, 상기 제 1 가상 시나리오에 따른 상기 적어도 하나의 외부 장치의 사용, 분해, 부품 교체, 및 수리 방법 중 적어도 하나를 상기 가상 현실 영상으로 표시하도록 상기 디스플레이를 제어할 수 있다.

일 실시 예에서, 상기 프로세서는, 상기 제 1 가상 시나리오에 따른 상기 적어도 하나의 외부 장치의 변형 형태를 상기 가상 현실 영상으로 표시하도록 상기 디스플레이를 제어할 수 있다.

본 개시의 일 실시 예에 따른 영상 표시 장치의 표시 방법은, 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득하도록 상기 영상 표시 장치의 센서부를 제어하는 동작; 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 제스처를 인식하도록 상기 센서부를 제어하는 동작; 상기 제 1 위치, 상기 제 2 위치, 및 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 상기 제스처와 관련된 센싱 데이터를 서버로 전송하도록 상기 영상 표시 장치의 통신부를 제어하는 동작; 상기 센싱 데이터에 기반하여 상기 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들 중 선택된 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하는 동작; 및 상기 제 1 가상 시나리오가 반영된 가상 현실 영상을 표시하도록 상기 영상 표시 장치의 디스플레이를 제어하는 동작을 포함할 수 있다.

일 실시 예에서, 상기 영상 표시 장치의 메모리는 상기 적어도 하나의 외부 장치의 종류와 관련된 식별 정보를 저장할 수 있다.

일 실시 예에서, 상기 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하는 동작은, 상기 제스처에 기반하여 상기 적어도 하나의 외부 장치와 관련된 상기 사용자의 의도를 파악하여 선택된 상기 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하는 동작을 포함할 수 있다.

일 실시 예에서, 상기 센싱 데이터는 상기 서버의 모델에 입력됨으로써, 상기 모델이 상기 센싱 데이터에서 상기 제스처를 하는 상기 사용자의 손 및 상기 적어도 하나의 외부 장치 사이의 근접 빈도, 상기 손의 형태, 및 상기 손 및 상기 적어도 하나의 외부 장치 사이의 위치 패턴을 학습하는데 이용되고, 및 상기 학습된 모델을 이용하여 상기 복수의 가상 시나리오들 중 상기 제 1 가상 시나리오가 선택될 수 있다.

일 실시 예에서, 상기 제 1 가상 시나리오가 반영된 상기 가상 현실 영상을 표시하도록 상기 디스플레이를 제어하는 동작은, 상기 제 1 가상 시나리오에 따른 상기 적어도 하나의 외부 장치의 사용, 분해, 부품 교체, 및 수리 방법 중 적어도 하나를 상기 가상 현실 영상으로 표시하도록 상기 디스플레이를 제어하는 동작을 포함할 수 있다.

일 실시 예에서, 상기 제 1 가상 시나리오가 반영된 상기 가상 현실 영상을 표시하도록 상기 디스플레이를 제어하는 동작은, 상기 제 1 가상 시나리오에 따른 상기 적어도 하나의 외부 장치의 변형 형태를 상기 가상 현실 영상으로 표시하도록 상기 디스플레이를 제어하는 동작을 포함할 수 있다.

도 1은 본 개시의 일 실시예에 따른 시스템을 나타낸 도면이다. 일 실시 예에서, 시스템은 가상 현실(Virtual Reality, VR) 영상을 표시하여 사용자에게 가상 현실 상의 경험을 제공하는 가상 현실 시스템일 수 있다.

도 1을 참조하면, 시스템은 영상 표시 장치(110), 서버(120), 전자 장치(130), 및 적어도 하나의 외부 장치(140)를 포함할 수 있다.

영상 표시 장치(110)는 가상 현실 영상을 표시할 수 있다. 예를 들어, 영상 표시 장치(110)는 가상 현실 영상을 표시할 수 있는 TV일 수 있다. 그러나 이에 한정되지 않으며, 영상 표시 장치(110)는 가상 현실 영상을 표시할 수 있는 모니터, 노트북 컴퓨터, 태블릿, 전자책 단말기, 디지털 방송용 단말기 등과 같은 다양한 종류의 영상 출력 장치일 수 있다. 영상 표시 장치(110)는 서버(120)로부터 가상 현실 영상의 구성 및 형태 중 적어도 하나와 관련된 데이터를 수신할 수 있다. 영상 표시 장치(110)는 서버(120)로부터 제공받은 데이터에 기반하여 가상 현실 영상을 표시할 수 있다.

서버(120)는 가상 현실 영상의 구성 및 형태와 관련된 데이터를 생성할 수 있다. 서버(120)는 적어도 하나의 외부 장치(140)와 관련된 정보를 가질 수 있다. 서버(120)는 적어도 하나의 외부 장치(140)와 관련된 정보를 반영하여 적어도 하나의 외부 장치(140)와 관련된 가상 현실 영상을 표현하는 데이터를 생성할 수 있다.

영상 표시 장치(110)는 적어도 하나의 외부 장치(140)와 관련된 가상 현실 영상을 표시할 수 있다. 영상 표시 장치(110)는 적어도 하나의 외부 장치(140)와 관련된 가상 시나리오를 반영한 가상 현실 영상을 표시할 수 있다. 예를 들어, 영상 표시 장치(110)는 적어도 하나의 외부 장치(140)의 형상, 적어도 하나의 외부 장치(140)의 구조, 적어도 하나의 외부 장치(140)의 사용 형태, 및 적어도 하나의 외부 장치(140)의 유지 보수 중 적어도 하나와 관련된 가상 현실 영상을 표시할 수 있다.

전자 장치(130)는 스마트폰, PDA, 태블릿과 같은 휴대용 단말일 수 있다. 전자 장치(130)는 서버(120)를 통해 영상 표시 장치(110)와 연동될 수 있다. 전자 장치(130)는 영상 표시 장치(110)에서 표시하는 가상 현실 영상의 형태 및 종류 중 적어도 하나를 제어할 수 있다. 전자 장치(130)는 영상 표시 장치(110)에서 표시하는 가상 현실 영상을 불러올 수 있다. 전자 장치(130)는 영상 표시 장치(110)에서 표시하는 가상 현실 영상을 전자 장치(130)의 디스플레이에 표시할 수 있다.

적어도 하나의 외부 장치(140)는 실내에 배치된 다양한 종류의 가전 기기일 수 있다. 예를 들어, 적어도 하나의 외부 장치(140)는 에어컨(141), 전자 레인지(142), 세탁기(143), 및 로봇 청소기(144) 중 적어도 하나를 포함할 수 있다. 그러나 이에 한정되지 않으며, 적어도 하나의 외부 장치(140)는 다양한 종류의 가전 기기 및 전자 장치일 수 있다. 예를 들어, 적어도 하나의 외부 장치(140)는 공기 청정기, 프로젝터, 사운드 바, 스피커, 파워 스테이션, 및 무선 청소기 중 적어도 하나를 포함할 수 있다.

적어도 하나의 외부 장치(140)와 관련된 센싱 데이터는 서버(120)에 전달될 수 있다. 서버(120)는 적어도 하나의 외부 장치(140)와 관련된 정보 및 적어도 하나의 외부 장치(140)와 관련된 센싱 데이터에 기반하여 적어도 하나의 외부 장치(140)와 관련된 가상 현실 영상의 구성 및 형태 중 적어도 하나를 결정할 수 있다. 적어도 하나의 외부 장치(140)와 관련된 가상 현실 영상은 서버(120)가 결정한 대로 영상 표시 장치(110)에 표시될 수 있다.

이하에서는 시스템 내에서 적어도 하나의 외부 장치와 관련된 센싱 데이터를 서버로 전달하는 과정에 대해서 도 2를 참조하여 상세하게 설명하기로 한다.

도 2는 본 개시의 일 실시예에 따른 시스템을 나타낸 도면이다. 일 실시 예에 따른 시스템은 서버(120), 적어도 하나의 외부 장치(140), 영상 표시 장치(110)를 포함할 수 있다. 적어도 하나의 외부 장치(140)는 제 1 외부 장치(141), 제 2 외부 장치(142), 및 제 3 외부 장치(143)를 포함할 수 있다.

영상 표시 장치(110)는 센서부(210)를 포함할 수 있다.

센서부(210)는 위치를 감지하는 센서, 거리를 감지하는 센서, 및 제스처를 감지하는 센서를 포함할 수 있다. 예를 들어, 센서부(210)는 태그(Tag) 장치의 위치를 감지하는 초광대역(Ultra Wide Band, UWB) 센서를 포함할 수 있다. 예를 들어, 센서부(210)는 거리를 감지하는 ToF(Time of Flight) 센서를 포함할 수 있다. 예를 들어, 센서부(210)는 제스처를 감지하는 3D 센서를 포함할 수 있다.

센서부(210)는 적어도 하나의 외부 장치(140)의 위치를 감지할 수 있다. 센서부(210)는 제 1 외부 장치(141), 제 2 외부 장치(142), 및 제 3 외부 장치(143) 각각의 위치를 감지할 수 있다. 센서부(210)는 적어도 하나의 외부 장치(140)의 위치를 실내 좌표 상에서 제 1 위치로 결정할 수 있다. 실내 좌표는 적어도 하나의 외부 장치(140)가 배치된 실내 공간을 미리 설정된 좌표 축 상에서 정의한 좌표일 수 있다. 센서부(210)는 제 1 외부 장치(141), 제 2 외부 장치(142), 및 제 3 외부 장치(143) 각각의 위치에 대한 위치 정보를 획득할 수 있다.

센서부(210)는 사용자(230)의 위치를 감지할 수 있다. 센서부(210)는 사용자(230)의 위치를 실내 좌표 상에서 제 2 위치로 결정할 수 있다. 센서부(210)는 사용자(230)의 위치에 대한 위치 정보를 획득할 수 있다.

센서부(210)는 적어도 하나의 외부 장치(140) 및 사용자(230) 사이의 거리를 감지할 수 있다. 센서부(210)는 적어도 하나의 외부 장치(140) 및 사용자(230) 사이의 거리에 대한 거리 정보를 획득할 수 있다.

센서부(210)는 적어도 하나의 외부 장치(140)에 대한 사용자(230)의 제스처를 인식할 수 있다. 센서부(210)는 사용자(230)의 적어도 하나의 외부 장치(140)에 대한 액션을 감지할 수 있다. 센서부(210)는 사용자(230)의 액션 중 적어도 하나의 외부 장치(140)와 관련된 의도를 가진 것으로 분류할 수 있는 액션을 적어도 하나의 외부 장치(140)에 대한 사용자(230)의 제스처를 인식할 수 있다. 센서부(210)가 인식하는 적어도 하나의 외부 장치(140)에 대한 사용자(230)의 제스처는 적어도 하나의 외부 장치(140)에 사용자가 접근하는 동작, 적어도 하나의 외부 장치(140)에 대한 사용자의 손 동작, 및 적어도 하나의 외부 장치(140)의 특정 부분에 사용자가 손을 뻗는 동작 중 적어도 하나를 포함할 수 있다. 예를 들어, 사용자(230)가 제 3 외부 장치(143)의 후면에 손을 뻗는 경우, 센서부(210)는 제 3 외부 장치(143)의 후면에 사용자(230)가 손을 뻗는 제스처를 인식할 수 있다.

센서부(210)는 적어도 하나의 외부 장치(140)의 위치, 사용자(230)의 위치, 및 적어도 하나의 외부 장치(140)에 대한 사용자(230)의 제스처와 관련된 센싱 데이터를 수신할 수 있다. 센싱 데이터는 적어도 하나의 외부 장치(140)의 위치, 사용자(230)의 위치, 및 적어도 하나의 외부 장치(140)에 대한 사용자(230)의 제스처와 관련된 데이터를 결합한 데이터일 수 있다. 센싱 데이터는 적어도 하나의 외부 장치(140) 및 사용자(230) 간의 상호 작용(Interaction)을 나타내는 데이터일 수 있다. 예를 들어, 센싱 데이터는 적어도 하나의 외부 장치(140)를 사용자(230)가 사용하거나, 유지 보수하는 것을 나타내는 데이터일 수 있다. 센서부(210)는 적어도 하나의 외부 장치(140) 및 사용자(230) 각각에 마련된 감지 장치로부터 센싱 데이터를 수신할 수 있다. 예를 들어, 감지 장치는 적어도 하나의 외부 장치(140) 및 사용자(230) 각각에 부착된 태그(Tag) 장치 일 수 있다. 이하에서는, 태그 장치는 "태그"로 지칭할 수 있다.

영상 표시 장치(110)는 센서부(210)에 의해 감지 장치로부터 수신한 센싱 데이터를 영상 표시 장치(110) 및 서버(120)를 무선 통신으로 연결하는 통신 네트워크를 통해 서버(120)으로 전달할 수 있다. 서버(120)는 영상 표시 장치(110)로부터 전달된 센싱 데이터에 기반하여 적어도 하나의 외부 장치(140)와 관련된 가상 현실 영상을 표현할 수 있다. 서버(120)는 센싱 데이터에 기반하여 적어도 하나의 외부 장치(140)에 대한 사용자(230)의 상호 작용을 반영한 가상 현실 영상을 표현하는 데이터를 생성할 수 있다. 서버(120)는 사용자(230)의 상호 작용을 반영한 가상 현실 영상을 표현하는 데이터를 영상 표시 장치(110)로 전달할 수 있다. 이에 따라, 영상 표시 장치(110)는 적어도 하나의 외부 장치(140)에 사용자(230)의 상호 작용을 반영한 가상 현실 영상을 표시할 수 있다. 예를 들어, 영상 표시 장치(110)는 적어도 하나의 외부 장치(140)를 사용하거나 유지 보수하는 가상 현실 영상을 표시할 수 있다.

이하에서는 영상 표시 장치의 구성 요소들을 도 3을 참조하여 설명하기로 한다.

도 3은 본 개시의 일 실시예에 따른 영상 표시 장치를 나타낸 블록도이다. 영상 표시 장치는 디스플레이(310), 메모리(320), 유저 인터페이스(330), 입출력 인터페이스(340), 센서부(210), 구동부(350), 통신부(360), 전원부(370), 및 프로세서(380)를 포함할 수 있다.

디스플레이(310)는 가상 현실 영상을 표시할 수 있다. 디스플레이(310)는 프로세서(380)로부터 전달된 영상 데이터에 대응하는 가상 현실 영상을 표시할 수 있다.

메모리(320)는 구동 OS(Operating System)을 저장하는 저장부일 수 있다. 구동 OS는 가상 현실 영상을 표현하기 위한 프로그램을 포함할 수 있다. 예를 들어, 메모리(320)는 영상 표시 장치에 포함된 저장부일 수 있다.

메모리(320)는 센싱 데이터를 저장할 수 있다. 센싱 데이터는 센서부(210)에서 획득한 적어도 하나의 외부 장치의 제 1 위치, 사용자의 제 2 위치, 및 적어도 하나의 외부 장치에 대한 사용자의 제스처와 관련된 데이터를 포함할 수 있다. 메모리(320)는 저장된 센싱 데이터를 프로세서(380)로 전달할 수 있다. 이에 따라, 프로세서(380)는 센싱 데이터를 반영하여 가상 현실 영상을 표현하는 영상 데이터를 생성할 수 있다.

메모리(320)는 적어도 하나의 외부 장치와 관련된 기기 정보를 저장할 수 있다. 기기 정보는 적어도 하나의 외부 장치의 식별자를 포함할 수 있다. 기기 정보는 적어도 하나의 외부 장치의 식별자 각각에 대응하여, 적어도 하나의 외부 장치의 외부 장치의 종류, 적어도 하나의 외부 장치의 외부 장치의 모델, 적어도 하나의 외부 장치의 내부 분해 구조, 적어도 하나의 외부 장치의 기능, 적어도 하나의 외부 장치의 사용 방법, 및 적어도 하나의 외부 장치의 유지 보수와 관련된 정보를 포함할 수 있다. 메모리(320)는 프로세서(380)로부터 외부 장치의 식별자를 전달받을 수 있다. 메모리(320)는 식별자와 대응하는 외부 장치와 관련된 기기 정보를 프로세서(380)로 전달할 수 있다. 이에 따라, 프로세서(380)는 식별자와 대응하는 외부 장치와 관련된 기기 정보를 반영하여 가상 현실 영상을 표현하는 영상 데이터를 생성할 수 있다.

유저 인터페이스(330)는 사용자의 입력을 받는 입력부 및 사용자에게 피드백을 제공하는 출력부를 포함할 수 있다. 입력부는 영상 표시 장치에 포함된 물리적인 키, 리모컨과 같이 영상 표시 장치와 원격으로 연결된 별도의 원격 제어 장치에 포함된 물리적인 키, 사용자의 음성 입력을 수신하는 마이크, 및 디스플레이(310)에 표시된 가상 현실 영상에 사용자가 터치 입력을 할 수 있는 그래픽 사용자 인터페이스(Graphic User Interface, GUI) 중 적어도 하나를 포함할 수 있다. 출력부는 사용자에게 가상 현실 영상에 대응하는 음성을 제공하는 스피커 및 사용자에게 가상 현실 영상에 대응하는 촉각 효과를 제공하는 햅틱 피드백 출력 장치 중 적어도 하나를 포함할 수 있다.

입출력 인터페이스(340)는 프로세서(380)가 적어도 하나의 외부 장치들 사이에서 서로 전달되는 데이터 및 신호를 송수신하도록 할 수 있다. 입출력 인터페이스(340)는 RF 신호를 송수신하는 트랜시버 회로를 포함할 수 있다. 입출력 인터페이스(340)는 적어도 하나의 외부 장치들 사이의 RF 신호, 적어도 하나의 외부 장치들 사이의 센서 신호, 적어도 하나의 외부 장치들 사이의 오디오 신호, 및 적어도 하나의 외부 장치들 사이의 영상 신호를 입력 및 출력할 수 있다.

센서부(210)는 적어도 하나의 외부 장치의 위치 및 사용자의 위치를 결정할 수 있다. 센서부(210)는 적어도 하나의 외부 장치 및 사용자의 위치를 감지하기 위한 초광대역(Ultra Wide Band, UWB) 센서를 포함할 수 있다. 센서부(210)는 주변의 환경, 주변의 객체, 및 투사면을 감지하기 위한 이미지 센서를 포함할 수 있다. 예를 들어, 센서부(210)는 카메라를 포함할 수 있다.

센서부(210)는 적어도 하나의 외부 장치와 사용자 사이의 거리를 결정할 수 있다. 센서부(210)는 적어도 하나의 외부 장치에 대한 사용자의 제스처를 인식할 수 있다. 센서부(210)는 적어도 하나의 외부 장치와 사용자 사이의 거리를 감지하기 위한 거리 센서를 포함할 수 있다. 센서부(210)는 적어도 하나의 외부 장치에 대한 사용자의 제스처를 인식하기 위한 제스처 인식 센서를 포함할 수 있다. 예를 들어, 센서부(210)는 ToF(Time of Flight) 센서를 포함할 수 있다. 센서부(210)는 적어도 하나의 외부 장치의 방향 및 사용자의 방향을 감지하기 위한 방향 센서를 포함할 수 있다. 예를 들어, 센서부(210)는 가속도 센서 및 자이로 센서 중 적어도 하나를 포함할 수 있다.

구동부(350)는 센서부(210)에 포함된 적어도 하나 이상의 센서들을 구동시킬 수 있다. 구동부(350)는 프로세서(380)의 제어에 따라 센서부(210)에 포함된 센서들을 개별적 또는 통합적으로 구동시킬 수 있다.

통신부(360)는 적어도 하나의 외부 장치와 프로세서(380)가 통신을 수행하도록 할 수 있다. 통신부(360)는 프로세서(380)를 인터넷 서버에 연결시킬 수 있다. 통신부(360)는 블루투스(Bluetooth, BT) 통신, NFC 통신과 같은 근거리 무선 통신을 지원할 수 있다. 통신부(360)는 Wi-fi 통신, 셀룰러(Cellular) 통신과 같은 원거리 무선 통신을 지원할 수 있다.

통신부(360)는 서버와 연결되어 통신할 수 있다. 서버는 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들을 포함할 수 있다. 복수의 가상 시나리오들은 적어도 하나의 외부 장치의 사용과 관련된 시나리오, 적어도 하나의 외부 장치의 내부 분해 구조와 관련된 시나리오, 적어도 하나의 외부 장치의 기능과 관련된 시나리오, 및 적어도 하나의 외부 장치의 유지 보수와 관련된 시나리오 중 적어도 하나를 포함할 수 있다. 통신부(360)는 센서부(210)에서 획득한 센싱 데이터를 전체적으로 통합시킬 수 있다. 서버는 센싱 데이터를 처리하는 알고리즘을 가질 수 있다. 통신부(360)는 센싱 데이터를 서버로 전달할 수 있다.

전원부(370)는 디스플레이(310), 메모리(320), 유저 인터페이스(330), 입출력 인터페이스(340), 센서부(210), 구동부(350), 통신부(360), 및 프로세서(380)에 전원을 공급할 수 있다. 예를 들어, 전원부(370)는 영상 표시 장치에 포함된 배터리일 수 있다. 예를 들어, 전원부(370)는 영상 표시 장치의 후면에 배치되어, 외부의 전원 소스와 연결된 플러그 회로일 수 있다.

프로세서(310)는 영상부(110), 메모리(320), 유저 인터페이스(330), 입출력 인터페이스(340), 센서부(210), 구동부(350), 통신부(360), 전원부(370), 및 서버 통신부(220)와 전기적으로 연결될 수 있다. 프로세서(310)는 영상부(110), 메모리(320), 유저 인터페이스(330), 입출력 인터페이스(340), 센서부(210), 구동부(350), 통신부(360), 전원부(370), 및 서버 통신부(220)의 동작을 전체적으로 제어할 수 있다. 프로세서(310)는 영상부(110), 메모리(320), 유저 인터페이스(330), 입출력 인터페이스(340), 센서부(210), 구동부(350), 통신부(360), 전원부(370), 및 서버 통신부(220)를 전체적으로 제어하기 위한 연산 및 처리 기능을 수행하는 제어 회로일 수 있다. 예를 들어, 프로세서(310)는 영상부(110)를 구성하는 전자 장치에 포함된 AP(Application Processor)일 수 있다. 예를 들어, 프로세서(310)는 서버 통신부(220)와 연결된 서버의 컨트롤러일 수 있다.

프로세서(380)는 센싱 데이터를 서버(120)로 전송하도록 통신부(360)를 제어할 수 있다. 서버(120)로 전송된 센싱 데이터는 적어도 하나의 외부 장치에 대한 사용자의 의도에 부합하는 가상 시나리오를 선택하는 데에 이용될 수 있다. 서버(120)는 센싱 데이터를 처리하는 알고리즘을 수행할 수 있다. 서버(120)에 의해 수행되는 센싱 데이터를 처리하는 알고리즘은 센싱 데이터에 기반하여 적어도 하나의 외부 장치에 대한 사용자의 의도를 판단할 수 있다. 사용자의 의도는 적어도 하나의 외부 장치의 사용, 적어도 하나의 외부 장치의 내부 관찰, 적어도 하나의 외부 장치의 기능 습득, 및 적어도 하나의 외부 장치의 유지 보수 중 적어도 하나를 포함할 수 있다.

서버(120)는 센싱 데이터를 처리하는 알고리즘을 이용하여 사용자의 의도에 부합하는 가상 시나리오를 설정할 수 있다. 사용자의 의도에 부합하는 가상 시나리오는 적어도 하나의 외부 장치와 관련된 사용자의 의도를 만족시키는 가상 시나리오일 수 있다. 예를 들어, 사용자의 의도가 적어도 하나의 외부 장치의 사용인 경우, 사용자의 의도에 부합하는 가상 시나리오는 적어도 하나의 외부 장치의 사용 방법을 안내하는 가상 시나리오일 수 있다. 예를 들어, 사용자의 의도가 적어도 하나의 외부 장치의 내부 관찰인 경우, 사용자의 의도에 부합하는 가상 시나리오는 적어도 하나의 외부 장치의 내부 구조 또는 분해도를 보여주는 가상 시나리오일 수 있다. 예를 들어, 사용자의 의도가 적어도 하나의 외부 장치의 기능 습득인 경우, 사용자의 의도에 부합하는 가상 시나리오는 적어도 하나의 외부 장치가 갖는 기능을 안내하는 가상 시나리오일 수 있다. 예를 들어, 사용자의 의도가 적어도 하나의 외부 장치의 유지 보수인 경우, 사용자의 의도에 부합하는 가상 시나리오는 적어도 하나의 외부 장치를 유지 보수하는 방법을 안내하는 가상 시나리오일 수 있다. 서버(120)는 복수의 가상 시나리오들을 데이터베이스에 저장할 수 있다. 서버(120)는 저장된 복수의 가상 시나리오들 중 적어도 하나의 외부 장치에 대한 사용자의 의도에 부합하는 제 1 가상 시나리오를 선택할 수 있다.

프로세서(380)는 서버에서 선택된 제 1 가상 시나리오를 수신하도록 통신부(360)를 제어할 수 있다. 프로세서(380)는 제 1 가상 시나리오를 반영한 가상 현실 영상을 생성할 수 있다. 프로세서(380)는 제 1 가상 시나리오에 대응하는 가상 현실 영상을 디스플레이(310)에 표시할 수 있다. 제 1 가상 시나리오에 대응하는 가상 현실 영상은 적어도 하나의 외부 장치에 대한 사용 방법을 안내하는 가상 현실 영상, 적어도 하나의 외부 장치의 분해 시 내부 구조를 보여주는 가상 현실 영상, 적어도 하나의 외부 장치의 기능을 안내하는 가상 현실 영상, 및 적어도 하나의 외부 장치의 유지 보수를 안내하는 가상 현실 영상 중 적어도 하나를 포함할 수 있다.

이하에서는 본 개시의 일 실시예에 따른 영상 표시 장치가 가상 현실 영상을 표시하는 방법에 포함된 주요 동작을 도 4를 참조하여 설명하기로 한다.

도 4는 본 개시의 일 실시예에 따른 영상 표시 장치의 동작을 나타낸 흐름도이다.

일 실시 예에 따른 영상 표시 장치의 프로세서는 동작 410에서 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득하도록 센서부를 제어할 수 있다. 프로세서는 적어도 하나의 외부 장치의 위치를 감지하도록 센서부를 제어할 수 있다. 프로세서는 사용자의 위치를 감지하도록 센서부를 제어할 수 있다. 프로세서는 센서부의 감지 결과에 기반하여, 적어도 하나의 외부 장치의 위치를 제 1 위치로 결정할 수 있다. 프로세서는 센서부의 감지 결과에 기반하여, 사용자의 위치를 제 2 위치를 결정할 수 있다. 예를 들어, 적어도 하나의 외부 장치에는 제 1 태그 장치가 부착될 수 있다. 적어도 하나의 외부 장치에 제 1 태그 장치가 부착된 경우, 프로세서는 제 1 태그 장치의 위치를 감지하여 제 1 위치를 결정하도록 센서부를 제어할 수 있다. 예를 들어, 사용자는 제 2 태그 장치를 휴대할 수 있다. 사용자가 제 2 태그 장치를 휴대하는 경우, 프로세서는 제 2 태그 장치의 위치를 감지하여 제 2 위치를 결정하도록 센서부를 제어할 수 있다.

일 실시 예에서, 프로세서는 메모리에 사용자 기기를 등록할 수 있다. 사용자 기기는 적어도 하나의 외부 장치일 수 있다. 일 실시 예에 따라 프로세서가 메모리에 사용자 기기를 등록하는 것은 동작 410을 수행하기 이전에 수행될 수 있다. 사용자 기기는 사용자가 사용하고자 하는 기기, 사용자가 내부 구조를 확인하고자 하는 기기, 사용자가 기능을 실행하고자 하는 기기, 및 사용자가 유지 보수하고자 하는 기기 중 적어도 하나일 수 있다. 프로세서가 메모리에 사용자 기기를 등록하는 경우, 프로세서는 등록된 기기를 감지 및 판단 대상 기기에 포함시키도록 센서부를 제어할 수 있다.

일 실시 예에 따른 프로세서는 동작 420에서 적어도 하나의 외부 장치에 대한 사용자의 제스처를 인식하도록 센서부를 제어할 수 있다. 프로세서는 적어도 하나의 외부 장치와 사용자 간 인터랙션(Interaction, 상호 작용)을 감지하도록 센서부를 제어할 수 있다. 프로세서는 사용자 및 적어도 하나의 외부 장치 사이의 거리를 감지하도록 센서부를 제어할 수 있다. 프로세서는 사용자가 적어도 하나의 외부 장치에 시도하는 액션을 감지하도록 센서부를 제어할 수 있다. 프로세서는 사용자가 적어도 하나의 외부 장치에 시도하는 제스처의 형태를 감지하도록 센서부를 제어할 수 있다. 예를 들어, 프로세서는 사용자가 적어도 하나의 외부 장치를 향해 움직이는 행동, 적어도 하나의 외부 장치의 버튼 입력부를 조작하려 시도하는 행동, 및 적어도 하나의 외부 장치의 하부면 또는 후면을 향해 손을 뻗는 행동을 감지하도록 센서부를 제어할 수 있다.

일 실시 예에 따른 프로세서는 동작 430에서 제 1 위치, 제 2 위치, 및 적어도 하나의 외부 장치에 대한 사용자의 제스처와 관련된 센싱 데이터를 서버로 전송하도록 통신부를 제어할 수 있다. 센싱 데이터는 적어도 하나의 외부 장치의 위치, 사용자의 위치, 및 적어도 하나의 외부 장치와 사용자 간의 인터랙션을 포함할 수 있다. 센싱 데이터를 수신한 서버는 알고리즘을 구동할 수 있다. 알고리즘은 사용자의 제스처를 바탕으로 적어도 하나의 외부 장치에 대한 사용자의 의도를 파악하는 통합 센싱 알고리즘일 수 있다. 알고리즘은 인공지능(Artificial Intelligence, AI)에 기반한 알고리즘일 수 있다. 서버는 알고리즘을 이용하여 센싱 데이터를 분석할 수 있다.

일 실시 예에 따른 프로세서는 동작 440에서 센싱 데이터에 기반하여 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들 중 선택된 제 1 가상 시나리오를 서버로부터 수신하도록 통신부를 제어할 수 있다. 서버는 센싱 데이터를 분석하여 적어도 하나의 외부 장치에 대한 사용자의 의도를 파악할 수 있다. 사용자의 의도는 적어도 하나의 외부 장치의 사용, 내부 구조, 기능, 및 유지 보수 중 적어도 하나를 포함할 수 있다. 서버는 데이터베이스(Database, DB)에 저장된 복수의 가상 시나리오들 중 파악한 사용자의 의도에 대응하는 제 1 가상 시나리오를 선택할 수 있다. 서버는 적어도 하나의 외부 장치와 관련된 사용자의 의도를 만족시키는 제 1 가상 시나리오를 선택할 수 있다. 프로세서는 서버에서 선택된 제 1 가상 시나리오를 서버로부터 수신하도록 통신부를 제어할 수 있다.

일 실시 예에 따른 프로세서는 동작 450에서 제 1 가상 시나리오가 반영된 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 프로세서는 수신한 제1 가상 시나리오를 반영한 가상 현실 영상을 생성할 수 있다. 프로세서는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

도 4에 도시된 실시 예에서는 영상 표시 장치(110)가 센싱 데이터를 서버에 전송하고, 서버가 센싱 데이터에 대응하는 가상 시나리오를 선택하는 예로 설명되었다. 그러나 개시된 실시 예는 이에 한정되지 않는다. 일 실시 예에서 영상 표시 장치(110)의 자원이 허용된다면 영상 표시 장치(110)는 영상 표시 장치(110) 자체적으로 통합 센싱 알고리즘을 포함할 수 있다. 즉, 영상 표시 장치(110)는 제 1 위치, 제 2 위치, 및 적어도 하나의 외부 장치에 대한 사용자의 제스처와 관련된 센싱 데이터를 바탕으로 사용자의 적어도 하나의 외부 장치에 대한 의도를 파악함으로써 사용자의 의도에 대응하는 제 1 가상 시나리오를 선택할 수 있다.

동작 450에 따라 영상 표시 장치가 가상 현실 영상을 표시할 때, 사용자는 리모컨과 같은 원격 제어 장치를 이용하여 영상 표시 장치를 조작할 수 있다. 예를 들어, 사용자는 원격 제어 장치를 이용하여 영상 표시 장치의 전원을 켜가나 끌 수 있다. 예를 들어, 사용자는 원격 제어 장치를 이용하여 영상 표시 장치에서 표시하는 가상 현실 영상의 가로 길이와 비교한 세로 길이의 비율, 가상 현실 영상의 확대 배율, 가상 현실 영상의 명도, 가상 현실 영상의 색감, 및 가상 현실 영상을 표시할 때의 음량을 조절할 수 있다. 예를 들어, 사용자는 원격 제어 장치를 이용하여 영상 표시 장치에서 표시하는 가상 현실 영상을 휴대용 단말과 같은 휴대용 전자 장치로 공유할 수 있다. 원격 제어 장치를 이용하여 영상 표시 장치를 조작하기 위해, 영상 표시 장치 및 원격 제어 장치는 연결 패킷을 전송 및 수신하여 상호 연결을 수립할 수 있다. 이하에서는 본 개시의 일 실시예에 따른 영상 표시 장치 및 리모컨과 같은 원격 제어 장치를 연결하는 연결 패킷의 구성을 도 5를 참조하여 설명하기로 한다.

도 5는 본 개시의 일 실시예에 따른 연결 패킷을 나타낸 도면이다. 연결 패킷은 복수의 AD(Active Directory) 구조들(510, 520)을 포함할 수 있다. 복수의 AD 구조들(510, 520) 각각은 서로 다른 타입을 가질 수 있다. 예를 들어, 연결 패킷은 0x01 타입을 갖는 제 1 AD 구조(510) 및 0xff 타입을 갖는 제 2 AD 구조(520)를 포함할 수 있다. 복수의 AD 구조들(510, 520) 각각은 길이 정보(511, 521) 및 AD 타입(512, 522)을 포함할 수 있다. 제 1 AD 구조(510)는 플래그 값(513)을 포함할 수 있다. 제 2 AD 구조(520)는 제조자 특정 데이터(523)를 포함할 수 있다.

길이 정보(511, 521)는 1 바이트(byte)로 구성되어 복수의 AD 구조들(510, 520) 각각의 길이를 나타낼 수 있다. 예를 들어, 제 1 AD 구조(510)의 길이 정보(511)는 0x02의 값을 가질 수 있다. AD 타입(512, 522)은 1 바이트로 구성되어 복수의 AD 구조들(510, 520) 각각의 타입을 나타낼 수 있다. 예를 들어, 제 1 AD 구조(510)의 AD 타입(512)은 0x01의 값을 갖고, 제 2 AD 구조(520)의 AD 타입(522)은 0xFF의 값을 가질 수 있다. 플래그 값(513)은 1 바이트로 구성되어 패킷에 부여된 플래그 값을 나타낼 수 있다. 제조자 특정 데이터(523)는 제조사에 따른 고유한 특징을 나타내는 데이터로 최대 26 바이트의 크기를 가질 수 있다. 제조자 특정 데이터(523)는 제조사 ID(531), Ver 바이트 값(532), 서비스 ID(533), 및 서비스 특정 데이터(534)를 포함할 수 있다.

제조사 ID(531)는 2 바이트의 크기를 갖는, 영상부를 포함하는 전자 장치의 제조사 별로 정해진 값일 수 있다. 예를 들어, 영상부가 TV인 경우 제조사 ID(531)는 0x75 0x00과 같은 값을 가질 수 있다. Ver 바이트 값(532)은 1 바이트의 크기를 갖는, 영상부를 포함하는 전자 장치의 모델 버전에 따라 정해진 값일 수 있다. 예를 들어, 영상부가 TV인 경우 Ver 바이트 값(532)은 0x02 또는 0x42의 값을 가질 수 있다. 서비스 ID(533)는 1바이트의 크기를 갖는, 영상부가 제공하는 서비스의 종류에 따라 정해진 값일 수 있다. 예를 들어, 영상부가 가상 현실 영상을 제공하는 경우 서비스 ID(533)는 0x0D의 값을 가질 수 있다. 서비스 특정 데이터(534)는 서비스의 세부적인 종류를 결정하는 데이터로 최대 22 바이트의 크기를 가질 수 있다. 서비스 특정 데이터(534)는 OS(541), 장치 타입(542), 장치 아이콘(543), 목적(544), 가능 서비스(545), BT Mac 주소(546), UWB Mac 주소(547), 및 TBD(548)를 포함할 수 있다.

OS(541)는 1 바이트의 크기를 갖고, 사용되는 운영 체제 및 제조사를 정의하는 값을 가질 수 있다. 예를 들어, 모바일 운영 체제의 경우 OS(541)가 0x00의 값을 갖는 경우 알려지지 않고(Unknown), 0x01의 값을 갖는 경우 제 1 회사의 안드로이드(Android) 운영 체제를 정의하고, 0x02의 값을 갖는 경우 제 2 회사의 안드로이드 운영 체제를 정의할 수 있다. 장치 타입(542)은 표준 장치 타입을 결정하는 1 바이트의 값일 수 있다. 장치 아이콘(543)은 표준 장치 아이콘을 결정하는 1 바이트의 값일 수 있다.

목적(544)은 1 바이트의 크기를 갖고 신호에 의해 활성화하려는 센서 또는 표시하려는 가상 현실 영상의 시점을 정의할 수 있다. 예를 들어, 목적(544)의 0^th비트(bit)는 주변(Ambient) 센서, 1^st 비트는 원격 스마트 뷰(Remote Smart View), 2^nd 비트는 탭 뷰(Tap View), 3^rd 비트는 초광대역(UWB)을 정의할 수 있다. 가능 서비스(545)는 1바이트의 크기를 갖고 패킷이 수행하려는 기능을 정의할 수 있다. 예를 들어, 리모컨이 TV를 향하여 패킷을 전달하였을 때, 가능 서비스(545)의 0^th 비트는 스크린 미러링(Screen Mirroring), 1^st 비트는 TV 음소거(Mute), 2^nd 비트는 모바일 키보드(Mobile Keyboard), 3^rd 비트는 보안 서명 진입(Secure Sign in), 4^th 비트는 결제 푸시(Payment Push)를 정의할 수 있다.

BT Mac 주소(546)는 6 바이트의 크기를 갖고 블루투스(Bluetooth) 통신 시 TV의 Mac 주소 정보를 나타낼 수 있다. UWB Mac 주소(547)는 6 바이트의 크기를 갖고 초광대역 통신 시 TV의 Mac 주소 정보를 나타낼 수 있다. TBD(548)는 패킷의 마지막 부분에 남는 공간일 수 있다.

동작 410에 따라 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득할 때, 원격 제어 장치 및 영상 표시 장치, 그리고 원격 제어 장치 및 적어도 하나의 외부 장치 간 연결이 수립되어 있어야 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득할 수 있다. 예를 들어, 적어도 하나의 외부 장치에 UWB 태그를 부착한 경우, 원격 제어 장치가 영상 표시 장치 및 적어도 하나의 외부 장치와 UWB 페어링이 되어 있어야 UWB 앵커를 이용하여 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득할 수 있다. 또한, UWB 페어링을 수행하기 위해서는 원격 제어 장치가 영상 표시 장치 및 적어도 하나의 외부 장치와 BLE 연결이 수립되어 있어야 한다. BLE 연결을 수립하고 UWB 페어링을 하고 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득하기 위해, 원격 제어 장치, 영상 표시 장치, 및 태그는 패킷들을 전송 및 수신할 수 있다. 이하에서는 TV, 리모컨, 태그(Tag) 간 패킷 흐름에 대해서 도 6을 참조하여 설명하기로 한다.

도 6은 본 개시의 일 실시예에 따른 영상 표시 장치(110), 원격 제어 장치(610), 및 태그(620) 사이의 패킷의 전달을 나타낸 흐름도이다. 도 6에서는 영상 표시 장치(110)가 TV이고, 원격 제어 장치(610)가 리모컨인 경우, TV, 리모컨, 및 태그(620) 사이에 연결을 수립하고 패킷을 전달하는 연결 시퀀스(Sequence)를 도시하였다. 태그는 적어도 하나의 외부 장치에 부착된 신호 송수신 장치일 수 있다. 태그는 초광대역(UWB) 신호를 송수신할 수 있다.

일 실시 예에서, 영상 표시 장치(110), 원격 제어 장치(610), 및 태그(620)는 BLE(Bluetooth Low Energy, 블루투스 저 전력) 연결을 수립할 수 있다. BLE 연결은 BLE 레인징(BLE Ranging)으로 지칭될 수 있다. 원격 제어 장치(610)는 BLE 스캐닝을 수행하여, 주변에 BLE 신호를 송신하는 장치를 찾을 수 있다. 영상 표시 장치(110)는 제 1 BLE 신호를 원격 제어 장치(610)로 전송할 수 있다. 태그(620)는 제 2 BLE 신호를 원격 제어 장치(610)로 전송할 수 있다. 제 1 BLE 신호 및 제 2 BLE 신호는 BLE 개량(Adv.) 신호일 수 있다. BLE 개량 신호는 수동 진입(Passive Entry) 및 초광대역 세션 ID(UWB Session ID)를 포함할 수 있다. 원격 제어 장치(610)는 제 1 BLE 신호에 기반하여 영상 표시 장치(110)와 BLE 연결을 수립할 수 있다. 원격 제어 장치(610)는 제 2 BLE 신호에 기반하여 태그(620)와 BLE 연결을 수립할 수 있다. BLE 개량 신호를 이용하여 영상 표시 장치(110) 및 원격 제어 장치(610) 사이에는 상호 커뮤니케이션이 진행될 수 있다.

일 실시 예에서, 영상 표시 장치(110), 원격 제어 장치(610), 및 태그(620)는 UWB 페어링(Pairing)을 수립할 수 있다. 영상 표시 장치(110), 원격 제어 장치(610), 및 태그(620)의 BLE 간의 연결 수립 이후 UWB 페어링을 수행할 수 있다. 원격 제어 장치(610)는 영상 표시 장치(110)에 제 1 페어링 요청을 전송할 수 있다. 제 1 페어링 요청은 초광대역 세션 ID를 포함할 수 있다. 영상 표시 장치(110)는 제 1 페어링 요청에 응답하여 원격 제어 장치(610)에 제 1 ACK(Acknowledge, 확인 응답 신호)를 전송하고 원격 제어 장치(610)와 UWB 페어링 될 수 있다. 원격 제어 장치(610)는 태그(620)에 제 2 페어링 요청을 전송할 수 있다. 제 2 페어링 요청은 초광대역 세션 ID를 포함할 수 있다. 태그(620)는 제 2 페어링 요청에 응답하여 원격 제어 장치(610)에 제 2 ACK를 전송하고 원격 제어 장치(610)와 UWB 페어링 될 수 있다. UWB 페어링이 완료되면 통신을 초기화(Initialization)할 수 있다. UWB 페어링에 의해 적어도 하나 이상의 영상 표시 장치(110) 및 적어도 하나 이상의 태그(620)를 원격 제어 장치(610)에 연결시킬 수 있다.

일 실시 예에서, 영상 표시 장치(110), 원격 제어 장치(610), 및 태그(620)는 UWB 위치 감지를 수행할 수 있다. UWB 위치 감지는 인근 존재 확인(Locality Check)을 포함할 수 있다. 원격 제어 장치(610)는 영상 표시 장치 (110)에 제 1 위치 패킷을 전송할 수 있다. 제 1 위치 패킷은 원격 제어 장치(610)의 위치 정보를 포함할 수 있다. 영상 표시 장치(110)는 제 1 위치 패킷의 수신에 응답하여 제 3 ACK를 원격 제어 장치(610)로 전송할 수 있다. 영상 표시 장치(110)는 원격 제어 장치(610)에 제 2 위치 패킷을 전송할 수 있다. 제 2 위치 패킷은 영상 표시 장치(110)의 위치 정보를 포함할 수 있다. 원격 제어 장치(610)는 제 2 위치 패킷의 수신에 응답하여 제 4 ACK를 영상 표시 장치(110)로 전송할 수 있다. 원격 제어 장치(610)는 제 2 위치 패킷을 이용하여 원격 제어 장치(610) 및 영상 표시 장치(110) 사이의 거리를 산출할 수 있다. 원격 제어 장치(610)는 태그(620)에 제 1 위치 패킷을 전송할 수 있다. 태그(620)는 제 1 위치 패킷의 수신에 응답하여 제 5 ACK를 원격 제어 장치(610)로 전송할 수 있다. 태그(620)는 원격 제어 장치(610)에 제 3 위치 패킷을 전송할 수 있다. 제 3 위치 패킷은 태그(620)의 위치 정보를 포함할 수 있다. 원격 제어 장치(610)는 제 3 위치 패킷의 수신에 응답하여 제 6 ACK를 태그(620)로 전송할 수 있다. 원격 제어 장치(610)는 제 3 위치 패킷을 이용하여 원격 제어 장치(610) 및 태그(620) 사이의 거리를 산출할 수 있다.

동작 410에 따라 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득할 때, 영상 표시 장치의 센서부는 UWB 앵커에서 전송된 UWB 신호를 수신할 수 있다. 영상 표시 장치의 센서부는 수신한 UWB 신호를 이용하여 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 측정할 수 있다. 이하에서는 UWB 앵커(Anchor)의 구성에 대하여 도 7을 참조하여 설명하기로 한다.

도 7은 본 개시의 일 실시예에 따른 앵커(710)를 나타낸 블록도이다.

앵커(710)는 UWB 신호를 송수신할 수 있다. 앵커(710)는 태그로부터 전달되는 UWB 신호를 수신할 수 있다. 앵커(710)는 TV AP(720)와 연결될 수 있다. 앵커(710)는 UWB 신호를 TV AP(720)에 전달할 수 있다. 앵커(710)는 트랜시버(Transceiver)(711), 제어부(712), 메모리(713), 및 증폭기(714)를 포함할 수 있다.

트랜시버(711)는 UWB 신호를 송수신할 수 있다. 트랜시버(711)는 증폭기(714)로부터 전달되는 UWB 신호를 수신할 수 있다. 트랜시버(711)는 제어부(712)와 SPI(Serial Peripheral Interface Bus) 방식으로 연결될 수 있다. 트랜시버(711)는 제어부(712)에 UWB 신호를 전달할 수 있다.

제어부(712)는 트랜시버(711)로부터 UWB 신호를 전달받을 수 있다. 제어부(712)는 전달받은 UWB 신호를 메모리(713)에 저장할 수 있다. 제어부(712)는 MCU(Micro Controller Unit)으로 구현될 수 있다. 제어부(712)는 UWB 신호를 처리하여 UWB 신호를 송출한 태그의 위치를 판단할 수 있다. 제어부(712)는 TV AP(720)와 I2C(Inter-Integrated Circuit) 통신 방식 또는 USB(Universal Serial Bus) 방식으로 연결될 수 있다. 제어부(712)는 TV AP(720)로 UWB 신호를 송출한 태그의 위치 정보를 전달할 수 있다.

메모리(713)는 UWB 신호를 저장할 수 있다. 메모리(713)는 기 저장된 UWB 신호를 제어부(712)로 전달할 수 있다. 메모리(713)는 제어부(712)로 입력된 UWB 신호를 송출한 태그의 위치 정보를 저장할 수 있다. 메모리(713)는 플래시 메모리일 수 있다.

증폭기(714)는 태그로부터 수신되는 UWB 신호를 증폭할 수 있다. 증폭기(714)는 증폭된 UWB 신호를 제어부(712)로 전달할 수 있다.

TV AP(720)는 제어부(712)로부터 UWB 신호를 송출한 태그의 위치 정보를 전달받을 수 있다. TV AP(720)는 태그의 위치 정보에 기반하여 TV 및 태그 사이의 거리를 산출할 수 있다. TV AP(720)는 송신기(730)의 BLE(731)와 연결될 수 있다.

송신기(730)는 블루투스 저 전력 방식으로 신호를 송신할 수 있다. 송신기(730)는 태그와 블루투스 저 전력 방식으로 페어링 될 수 있다. BLE(731)는 블루투스 저 전력 신호를 생성할 수 있다. BLE(731)는 증폭기(732)를 이용하여 블루투스 저 전력 신호를 증폭시킬 수 있다. BLE(731)는 증폭된 블루투스 저 전력 신호를 송신할 수 있다.

동작 410에 따라 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득할 때, 적어도 하나의 외부 장치 및 사용자는 UWB 태그를 부착하거나 휴대할 수 있다. UWB 앵커는 UWB 태그에서 송신되는 UWB 신호를 수신할 수 있다. UWB 앵커는 센서부는 수신한 UWB 신호를 이용하여 UWB 태그를 부착한 외부 장치의 제 1 위치 및 UWB 태그를 휴대한 사용자의 제 2 위치를 측정할 수 있다. 이하에서는 UWB 태그의 구성에 대하여 도 8을 참조하여 설명하기로 한다.

도 8은 본 개시의 일 실시예에 따른 태그(810)를 나타낸 블록도이다. 태그(810)는 UWB 신호를 송신할 수 있다. 태그(810)에서 송신한 UWB 신호는 UWB 앵커에서 수신되어 태그(810)의 위치를 확인하기 위해 사용될 수 있다. 태그(810)는 제어부(811), BLE(812), 트랜시버(813), 제 1 증폭기(814), 및 제 2 증폭기(815)를 포함할 수 있다.

제어부(811)는 BLE(812)로 저 전력 블루투스 신호와 관련된 정보를 전달할 수 있다. 제어부(811)는 트랜시버(813)로 UWB 신호와 관련된 정보를 전달할 수 있다. UWB 신호와 관련된 정보는 태그(810)의 위치와 관련된 위치 정보를 포함할 수 있다. 제어부(811)는 MCU(Micro Controller Unit)으로 구현될 수 있다.

BLE(812)는 블루투스 저 전력 신호를 생성할 수 있다. BLE(812)는 제 1 증폭기(814)를 이용하여 블루투스 저 전력 신호를 증폭시킬 수 있다. BLE(812)는 증폭된 블루투스 저 전력 신호를 송신할 수 있다.

트랜시버(813)는 UWB 신호를 생성할 수 있다. 트랜시버(813)는 제 2 증폭기(815)를 이용하여 UWB 신호를 증폭시킬 수 있다. 트랜시버(813)는 증폭된 UWB 신호를 송신할 수 있다.

동작 410에 따라 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득할 때, 적어도 하나의 외부 장치 및 사용자가 이동하지 않고 고정된 상태를 유지하는 동안 제 1 위치 및 제 2 위치를 획득할 수 있다. 이하에서는 적어도 하나의 외부 장치 및 사용자의 이동 전에, 적어도 하나의 외부 장치 및 사용자의 위치를 획득하는 방법에 대하여 도 9를 참조하여 설명하기로 한다.

도 9는 본 개시의 일 실시예에 따른 외부 장치의 위치를 획득하는 것을 나타낸 도면이다. 외부 장치의 위치는 UWB 통신에 기반한 실내 로컬화(Indoor localization) 방식을 통해 획득할 수 있다.

실내의 벽면에는 제 1 태그(910)를 부착할 수 있다. 영상 표시 장치(110)에는 제 2 태그(920)를 설치할 수 있다. 예를 들어, 영상 표시 장치(110)가 TV인 경우, 영상 표시 장치(110) 자체에 제 2 태그(920)를 부착할 수 있다. 예를 들어, 영상 표시 장치(110)가 TV인 경우, 영상 표시 장치(110)에 내장 모듈 또는 외장 모듈을 장착하고, 내장 모듈 또는 외장 모듈에 제 2 태그(920)를 고정시킬 수 있다. 외부 장치에는 제 3 태그(930)를 부착하거나, 제 3 태그(930)가 설치되어 있을 수 있다. 예를 들어, 위치를 측정하고 싶은 외부 장치가 에어컨인 경우, 에어컨에 제 3 태그(930)를 부착할 수 있다. 예를 들어, 위치를 측정하고 싶은 외부 장치가 리모컨과 같은 원격 제어 장치 또는 모바일 단말인 경우, 원격 제어 장치 또는 모바일 단말에 설치되어 있는 제 3 태그(930)를 이용할 수 있다. 실내에는 제 1 태그(910), 제 2 태그(920), 및 제 3 태그(930)와 UWB 통신을 수행하는 앵커를 설치할 수 있다. 예를 들어, UWB 통신을 수행하는 앵커를 실내의 천장에 부착할 수 있다.

UWB 통신을 수행하는 앵커는 제 1 태그(910), 제 2 태그(920), 및 제 3 태그(930) 각각으로부터 UWB 신호를 수신할 수 있다. UWB 통신을 수행하는 앵커는 수신한 UWB 신호에 기반하여 제 3 태그(930)가 부착된 외부 장치의 위치를 산출할 수 있다. UWB 통신을 수행하는 앵커는 삼각 측량 방법에 기반하여 제 3 태그(930)의 위치를 산출할 수 있다. UWB 통신을 수행하는 앵커는 제 1 태그(910) 및 제 2 태그(920)와 비교하여 제 3 태그(930)의 상대적인 위치를 산출할 수 있다. 예를 들어, UWB 통신을 수행하는 앵커는 제 1 태그(910) 및 제 3 태그(930) 사이의 제 1 거리, 제 2 태그(920) 및 제 3 태그(930) 사이의 제 2 거리, 및 제 3 태그(930)에서 보았을 때 제 1 태그(910) 및 제 2 태그(920)가 이루는 제 1 각도를 산출할 수 있다. UWB 통신을 수행하는 앵커는 제 1 거리, 제 2 거리, 및 제 1 각도에 기반하여 제 1 태그(910) 및 제 2 태그(920)와 비교하여 제 3 태그(930)의 상대적인 위치를 산출할 수 있다.

동작 410에 따라 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득할 때, 적어도 하나의 외부 장치 및 사용자 중 적어도 하나가 이동하는 동안 또는 이동한 이후에 제 1 위치 및 제 2 위치를 획득할 수 있다. 이하에서는 적어도 하나의 외부 장치 및 사용자 중 적어도 하나가 이동하는 동안 또는 이동한 이후에, 적어도 하나의 외부 장치 및 사용자의 위치를 획득하는 방법에 대하여 도 10을 참조하여 설명하기로 한다.

도 10은 본 개시의 일 실시예에 따른 외부 장치가 이동한 이후의 위치를 획득하는 것을 나타낸 도면이다.

제 3 태그(930)가 부착된 외부 장치는 이동할 수 있다. 제 3 태그(930)가 부착된 외부 장치는 제 1 위치(1010)로 이동할 수 있다. UWB 통신을 수행하는 앵커는 제 1 태그(910), 제 2 태그(920), 및 제 3 태그(930) 각각으로부터 UWB 신호를 수신할 수 있다. UWB 통신을 수행하는 앵커는 수신한 UWB 신호에 기반하여 외부 장치가 이동한 제 1 위치(1010)를 산출할 수 있다. UWB 통신을 수행하는 앵커는 삼각 측량 방법에 기반하여 제 1 위치(1010) 산출할 수 있다.

UWB 통신을 수행하는 앵커는 제 1 위치(1010)의 좌표 값을 산출할 수 있다. 예를 들어, UWB 통신을 수행하는 앵커는 제 1 태그(910) 및 제 1 위치(1010) 사이의 제 3 거리, 제 2 태그(920) 및 제 1 위치(1010) 사이의 제 4 거리, 및 제 1 위치(1010)에서 보았을 때 제 1 태그(910) 및 제 2 태그(920)가 이루는 제 2 각도를 산출할 수 있다. UWB 통신을 수행하는 앵커는 제 3 거리, 제 4 거리, 및 제 12각도에 기반하여 제 1 위치(1010)의 좌표 값을 산출할 수 있다.

영상 표시 장치(110)의 센서부는 제 3 태그(930)의 원래 위치와 비교하여 제 1 위치(1010)의 변화 정도를 산출할 수 있다. 영상 표시 장치(110)의 센서부는 AOA(Angle of Attack, 받음각) 센서 및 9축 센서 중 적어도 하나를 포함할 수 있다. 9축 센서는 가속도 센서, 지자기 센서, 및 자이로 센서를 포함할 수 있다. AOA 센서는 외부 장치의 중심 축 및 외부 장치의 이동 방향이 이루는 각도를 감지할 수 있다. 9축 센서는 외부 장치의 가속도, 외부 장치 주변의 지자기 환경, 및 외부 장치가 향하는 방향(Orientation)을 감지할 수 있다. 영상 표시 장치(110)의 센서부는 이동 전과 비교하여 이동 후 외부 장치의 위치의 변화량을 감지할 수 있다. 동작 410에 따라 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득할 때, 적어도 하나의 외부 장치 및 사용자 중 적어도 하나가 이동하는 경우, 이동 이후의 제 1 위치 및 제 2 위치를 획득하기 위해 UWB 앵커가 UWB 통신을 재 수행하여야 할 수 있다. 이동 전의 제 1 위치 및 제 2 위치를 알고 있는 경우, 이동 전과 비교하여 이동 후 외부 장치의 위치의 변화량만을 감지하는 경우, 이동 이후의 제 1 위치 및 제 2 위치를 획득하기 위한 UWB 통신의 패킷 송수신량을 감소시킬 수 있다.

동작 410에 따라 적어도 하나의 외부 장치의 제 1 위치를 획득할 때, 새로운 외부 장치를 추가하고 그 새로운 외부 장치의 위치를 제 1 위치로 획득할 수 있다. 예를 들어, 사용자는 실내에서 에어컨의 위치를 먼저 획득한 이후, 로봇 청소기의 위치를 획득하기 위해 로봇 청소기를 추가할 수 있다. 이하에서는 새롭게 등록한 기기의 위치를 획득하는 방법에 대하여 도 11을 참조하여 설명하기로 한다.

도 11은 본 개시의 일 실시예에 따른 신규 등록한 외부 장치의 위치를 획득하는 것을 나타낸 도면이다.

신규 등록하려는 외부 장치에는 제 4 태그(1110)를 부착할 수 있다. 제 4 태그(1110)를 부착한 외부 장치는 UWB 통신을 수행하는 앵커에 새롭게 등록될 수 있다. UWB 통신을 수행하는 앵커는 제 4 태그(1110)를 부착한 외부 장치가 위치한 곳으로 제 3 태그(930)가 부착된 기존의 외부 장치를 이동시킨 것으로 처리할 수 있다. 신규 외부 장치를 새롭게 추가하는 동작은 UWB 앵커의 성능에 따라 용이하지 않을 수 있는 반면, 기존에 등록된 외부 장치가 이동하는 것으로 처리하는 동작은 UWB 통신 처리 상 보다 용이하고 UWB 앵커의 성능에 관계없이 처리 가능한 처리일 수 있다. UWB 통신을 수행하는 앵커는 제 3 태그(930)가 부착된 기존의 외부 장치를 대체 위치(1120)로 이동시킨 것으로 처리할 수 있다. UWB 통신을 수행하는 앵커는 제 1 태그(910), 제 2 태그(920), 및 제 4 태그(1110)를 고정된 상태로 위치를 판단할 수 있다. UWB 통신을 수행하는 앵커는 삼각 측량 방법에 기반하여 제 4 태그(1110)의 위치를 산출할 수 있다.

사용자의 위치를 감지하려는 경우, 사용자에게 제 4 태그(1110)를 부착할 수 있다. UWB 통신을 수행하는 앵커는 삼각 측량 방법에 기반하여 제 4 태그(1110)를 부착한 사용자의 위치를 판단할 수 있다.

동작 410에 따라 적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득할 때, 삼각 측량 방법을 적용할 수 있다. 이하에서는 삼각 측량 방법을 이용하여 외부 장치의 위치를 획득하는 방법에 대하여 도 12를 참조하여 설명하기로 한다.

도 12는 본 개시의 일 실시예에 따른 삼각 측량을 이용하여 외부 장치의 위치를 획득하는 것을 나타낸 도면이다. 영상 표시 장치의 프로세서는 삼각 측량의 원리를 이용하여 제 3 태그(930)가 부착된 외부 장치의 좌표 값을 획득할 수 있다.

제 1 태그(910) 및 제 2 태그(920) 사이의 거리는 제 1 거리(d1)일 수 있다. 제 2 태그(920)의 좌표 값이 (0, 0)인 경우, 제 1 태그(910)의 좌표 값은 (-d1, 0)일 수 있다. 획득하고자 하는 외부 장치의 좌표 값은 (x, y)로 설정할 수 있다.

프로세서는 제 3 태그(930)로부터 제 1 태그(910)가 부착된 제 3 거리(d3)를 산출할 수 있다. 프로세서는 제 3 태그(930)로부터 제 2 태그(920)가 부착된 제 2 거리(d2)를 산출할 수 있다. 프로세서는 제 1 태그(910)에서 보았을 때 제 2 태그(920) 및 제 3 태그(930)가 이루는 지향 각도를 산출할 수 있다. 프로세서는 제 1 태그(910), 제 2 태그(920), 및 제 3 태그(930) 각각과의 거리 및 지향 각도에 기반하여 외부 장치의 좌표 값을 획득할 수 있다.

지향 각도를 기준으로 코사인(cosine) 제 2 법칙을 적용하면 지향 각도의 코사인 값은 다음 수학식 1에 따라 산출할 수 있다.

지향 각도를 기준으로 사인(sine) 법칙을 적용하면 지향 각도의 사인 값은 다음 수학식 2에 따라 산출할 수 있다.

프로세서는 지향 각도를 알고 있으므로, 획득하고자 하는 외부 장치의 좌표 값인 x 값 및 y 값을 산출할 수 있다. 외부 장치의 좌표 값을 산출할 때 코사인 값 및 사인 값을 이용하여 산출하므로 좌측 좌표 값 및 우측 좌표 값과 같이 2개의 값이 산출될 수 있다. 프로세서는 사용자의 선택에 따라 좌측 좌표 값 및 우측 좌표 값 중 하나의 값을 선택할 수 있다.

프로세서는 2차원 상의 좌표 값을 산출하므로 제 1 태그(910), 제 2 태그(920), 및 제 3 태그(930)가 지면에 투영(Projection)된 경우의 좌표 축을 산출할 수 있다. 예를 들어, 제 1 태그(910)가 제 3 태그(930)보다 높은 위치에 있는 경우, 프로세서는 제 1 태그(910)가 제 3 태그(930)와 동일한 높이를 갖도록 제 1 태그의 투영(1210)을 설정하고 제 3 태그(930)로부터 제 1 태그의 투영(1210)까지의 거리를 측정할 수 있다. 3차원 상의 위치를 획득하기 위해, 프로세서는 가속도 센서를 이용하여 외부 장치의 기울기(tilt)를 측정하여 투영 전 제 1 태그(910)의 높이를 측정할 수 있다.

동작 420에 따라 적어도 하나의 외부 장치에 대한 사용자의 제스처를 인식하도록 센서부를 제어할 때, 센서부는 사용자 및 적어도 하나의 외부 장치 사이의 거리를 감지하고, 사용자의 제스처 형태를 감지할 수 있다. 이하에서는 사용자 및 기기 사이의 거리와, 사용자의 제스처를 감지하기 위해 사용하는 ToF(Time of Flight) 센서의 구조에 대하여 도 13을 참조하여 설명하기로 한다.

도 13은 본 개시의 일 실시예에 따른 ToF 센서(1300)를 나타낸 도면이다. 도 13에서는 ToF 센서(1300)를 상부에서 바라본 탑 뷰(Top View)를 도시하였다. ToF 센서(1300)는 발광부(1310) 및 수신부(1320)를 포함할 수 있다.

발광부(1310)는 외부 장치를 향하여 광을 방출할 수 있다. 발광부(1310)는 직진성이 강한 광을 외부 장치가 있는 방향으로 집중시켜 방출할 수 있다. 예를 들어, 발광부(1310)는 수직 캐비티 표면 방출 레이저(Vertical Cavity Surface Emitting Laser, VCSEL) 및 마이크로 렌즈 어레이(Micro Lens Array, MLA)를 포함할 수 있다.

수신부(1320)는 외부 장치 및 사용자로부터 반사된 광을 수신할 수 있다. 수신부(1320)는 광을 집중하여 수신할 수 있는 구성 및 수신된 광을 디지털 신호로 변환시킬 수 있는 이미지 센서를 포함할 수 있다. 예를 들어, 수신부(1320)는 복수의 렌즈들 및 복수의 단일 광자 증폭 다이오드(Single Photon Avalanche Diode, SPAD)들을 포함할 수 있다. ToF 센서(1300)는 광이 발광부(1310)에서 방출된 후 외부 장치 및 사용자로부터 다시 반사되어 수신부(1320)에서 수신되기까지 소요된 시간을 측정할 수 있다. 영상 표시 장치의 프로세서는 외부 장치 및 사용자 사이의 거리를 획득하도록 ToF 센서(1300)를 제어할 수 있다.

수신부(1320)는 세부 수신 영역(1321)을 포함할 수 있다. 세부 수신 영역(1321)은 코너 셀(1, 4, 14, 17), 엣지 셀(2, 3, 5, 8, 10, 13, 15, 16), 및 센터 셀(6, 7, 11, 12)을 포함할 수 있다. 세부 수신 영역(1321)에 포함된 셀들을 이용하여 외부 장치 및 사용자로부터 반사된 광을 반사 지점에 따라 세분화할 수 있다. 영상 표시 장치의 프로세서는 외부 장치에 대한 사용자의 제스처 형태를 감지하도록 ToF 센서(1300)를 제어할 수 있다.

이하에서는 가상 현실 영상을 표시하는 방법에 포함된 동작들에 대하여 도 14를 참조하여 설명하기로 한다.

도 14는 본 개시의 일 실시예에 따른 표시 방법을 나타낸 흐름도이다. 도 14에서는 일 실시 예에 따른 영상 표시 장치의 프로세서가 가상 현실 영상을 표시하는 방법을 도시하였다.

일 실시 예에 따른 프로세서는 동작 1410에서, 적어도 하나의 외부 장치를 가상 현실 영상을 표시하기 위한 가상 현실 데이터를 저장하는 메모리에 등록할 수 있다. 프로세서는 적어도 하나의 외부 장치를 서버의 데이터베이스 또는영상 표시 장치의 메모리에 등록할 수 있다. 프로세서는 가상 현실 영상의 객체 및 배경을 구성하기 위한 가상 현실 데이터를 메모리에 저장할 수 있다. 프로세서는 적어도 하나의 외부 장치에 관련된 정보를 가상 현실 데이터가 저장된 메모리에 추가로 저장시킬 수 있다.

메모리는 적어도 하나의 외부 장치의 종류와 관련된 식별 정보를 저장할 수 있다. 식별 정보는 적어도 하나의 외부 장치의 물품명, 적어도 하나의 외부 장치의 일련 번호, 적어도 하나의 외부 장치의 모델명, 적어도 하나의 외부 장치의 내부 구조, 적어도 하나의 외부 장치의 사용 방법, 적어도 하나의 외부 장치의 기능, 및 적어도 하나의 외부 장치의 유지 보수 방법을 포함할 수 있다.

일 실시 예에 따른 프로세서는 동작 1420에서, 가상 현실 데이터를 생성하기 위하여 실제 환경을 감지하여 센싱 데이터를 획득하는 센서부를 이용하여 적어도 하나의 외부 장치의 제 1 위치를 획득할 수 있다. 프로세서는 등록된 외부 장치의 위치를 감지하도록 센서부를 제어할 수 있다. 프로세서는 외부 장치가 배치된 위치를 실내 평면을 기준으로 좌표 축으로 산출할 수 있다. 프로세서는 외부 장치의 위치 정보를 센싱 데이터에 포함시킬 수 있다.

센서부는 초광대역(Ultra-wide Band, UWB) 센서를 포함할 수 있다. 초광대역 센서가 포함된 센서부는 적어도 하나의 외부 장치에 부착된 제 1 태그를 감지하여 제 1 위치를 획득할 수 있다. 적어도 하나의 외부 장치에는 UWB 신호를 방출하는 제 1 태그를 부착시킬 수 있다.

일 실시 예에 따른 프로세서는 동작 1430에서, 센서부를 이용하여 사용자의 제 2 위치를 획득할 수 있다. 프로세서는 사용자의 위치를 감지하도록 센서부를 제어할 수 있다. 프로세서는 사용자의 위치를 실내 평면을 기준으로 좌표 축으로 산출할 수 있다. 프로세서는 사용자의 위치 정보를 센싱 데이터에 포함시킬 수 있다. 센서부가 초광대역 센서를 포함하는 경우, 센서부는 사용자에 부착된 제 2 태그를 감지하여 제 2 위치를 결정할 수 있다. 사용자에게는 UWB 신호를 방출하는 제 2 태그를 부착시킬 수 있다.

일 실시 예에 따른 프로세서는 동작 1440에서, 센서부를 이용하여 적어도 하나의 외부 장치에 대한 사용자의 제스처를 인식할 수 있다. 센서부는 이미지 센서, 거리 센서, ToF(Time of Flight) 센서, 및 방향 센서 중 적어도 하나를 포함할 수 있다. 프로세서는 이미지 센서, 거리 센서, ToF(Time of Flight) 센서, 및 방향 센서 중 적어도 하나를 이용하여 제스처를 인식하도록 센서부를 제어할 수 있다. 예를 들어, 프로세서는 사용자가 적어도 하나의 외부 장치를 향하여 손을 뻗는 제스처, 사용자가 적어도 하나의 외부 장치의 입력부를 조작하려는 제스처, 사용자가 적어도 하나의 외부 장치를 분해하려는 제스처, 및 사용자가 적어도 하나의 외부 장치의 교체 가능한 부분을 교체하려는 제스처를 인식하도록 센서부를 제어할 수 있다. 프로세서는 인식한 제스처와 관련된 정보를 센싱 데이터에 포함시킬 수 있다.

프로세서는 센서부가 인식한 제스처에 기반하여 적어도 하나의 외부 장치와 관련된 사용자의 의도를 파악할 수 있다. 예를 들어, 프로세서는 사용자가 적어도 하나의 외부 장치의 입력부를 조작하려는 제스처에 대하여, 사용자가 적어도 하나의 외부 장치를 사용하고 외부 장치의 기능을 실행하려는 의도를 파악할 수 있다. 예를 들어, 프로세서는 사용자가 적어도 하나의 외부 장치를 분해하려는 제스처에 대하여, 사용자가 적어도 하나의 외부 장치의 내부 구조를 확인하려는 의도를 파악할 수 있다. 예를 들어, 프로세서는 사용자가 적어도 하나의 외부 장치의 교체 가능한 부분을 교체하려는 제스처에 대하여, 사용자가 적어도 하나의 외부 장치를 유지 보수하려는 의도를 파악할 수 있다.

일 실시 예에 따른 프로세서는 동작 1450에서, 영상 표시 장치 및 서버 사이의 통신 연결을 수립하는 통신부를 이용하여 제 1 위치, 제 2 위치, 및 제스처와 관련된 센싱 데이터를 서버로 전송할 수 있다. 프로세서는 센서부에서 생성한 센싱 데이터를 서버로 전송하도록 통신부를 제어할 수 있다. 서버에서는 센싱 데이터를 수신하고, 센싱 데이터를 처리하기 위한 알고리즘을 구동시킬 수 있다.

일 실시 예에 따른 프로세서는 동작 1460에서, 센싱 데이터에 기반하여 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들 중 선택된 제 1 가상 시나리오를 서버로부터 수신할 수 있다. 서버는 센싱 데이터에 기반하여 복수의 가상 시나리오들 중 제 1 가상 시나리오를 선택할 수 있다. 프로세서는 선택된 제 1 가상 시나리오를 서버로부터 수신하도록 통신부를 제어할 수 있다.

서버의 데이터베이스는 복수의 가상 시나리오들을 저장할 수 있다. 서버에서 센싱 데이터를 수신하고 알고리즘이 구동되면, 서버는 복수의 가상 시나리오들 중 센싱 데이터에 부합하는 제 1 가상 시나리오를 선택할 수 있다.

복수의 가상 시나리오들은 적어도 하나의 외부 장치의 기능 사용 안내, 적어도 하나의 외부 장치의 분해 시 내부의 구조, 적어도 하나의 외부 장치를 이루는 부품의 교체, 및 적어도 하나의 외부 장치의 수리와 관련될 수 있다. 서버는 센싱 데이터에 포함된 사용자의 제스처에 대응하는 사용자의 의도에 부합하도록 복수의 가상 시나리오들 중 제 1 가상 시나리오를 선택할 수 있다. 예를 들어, 센싱 데이터에 사용자가 적어도 하나의 외부 장치의 입력부를 조작하려는 제스처가 포함된 경우, 서버는 제 1 가상 시나리오로 적어도 하나의 외부 장치의 기능 사용 안내를 선택할 수 있다. 예를 들어, 센싱 데이터에 사용자가 적어도 하나의 외부 장치를 분해하려는 제스처가 포함된 경우, 서버는 제 1 가상 시나리오로 적어도 하나의 외부 장치의 분해 시 내부의 구조를 선택할 수 있다. 예를 들어, 센싱 데이터에 사용자가 적어도 하나의 외부 장치의 교체 가능한 부분을 교체하려는 제스처가 포함된 경우, 서버는 제 1 가상 시나리오로 적어도 하나의 외부 장치를 이루는 부품의 교체 및 적어도 하나의 외부 장치의 수리를 선택할 수 있다.

알고리즘을 구동시켜 복수의 가상 시나리오들 중 제 1 가상 시나리오를 선택할 때, 서버는 인공지능(Artificial Intelligence, AI)을 이용하여 보다 정확하고 사용자의 의도에 부합하는 가상 시나리오를 선택할 수 있다. 서버는 센싱 데이터를 수집하여 서버의 모델에 입력할 수 있다. 모델은 기계 학습(Machine Learning, ML) 방법을 적용한 인공지능 학습 모델일 수 있다. 모델은 딥 러닝(Deep Learning) 방법을 적용한 인공지능 학습 모델일 수 있다. 모델은 빅 데이터(Big Data) 방법을 적용한 인공지능 학습 모델일 수 있다. 서버는 모델에 센싱 데이터에서 제스처를 하는 사용자의 손 및 적어도 하나의 외부 장치 사이의 근접 빈도, 손의 형태, 및 손 및 적어도 하나의 외부 장치 사이의 위치 패턴을 학습시킬 수 있다. 서버는 근접 빈도, 손의 형태, 및 손의 위치 패턴을 반복적으로 모델에 입력시킬 수 있다. 서버는 손의 형태 및 손의 위치 패턴 중 유사한 형태 및 유사한 패턴을 그룹화하도록 모델을 학습시킬 수 있다. 서버는 손의 형태 및 손의 위치 패턴을 적어도 하나의 외부 장치에 대한 사용자의 의도와 연결시키도록 모델이 학습하도록 다양한 사례들을 적용할 수 있다. 서버는 학습된 모델을 이용하여 복수의 가상 시나리오들 중 제 1 가상 시나리오를 선택할 수 있다.

일 실시 예에 따른 프로세서는 동작 1470에서, 제 1 가상 시나리오에 대응하는 가상 현실 영상을 생성할 수 있다. 제 1 가상 시나리오는 적어도 하나의 외부 장치와 관련된 내용을 포함할 수 있다. 예를 들어, 제 1 가상 시나리오는 적어도 하나의 외부 장치의 사용 방법 안내, 적어도 하나의 외부 장치의 내부 구조, 적어도 하나의 외부 장치의 기능 안내, 및 적어도 하나의 외부 장치의 유지 보수 안내 중 적어도 하나를 포함할 수 있다. 프로세서는 제 1 가상 시나리오에 따른 적어도 하나의 외부 장치와 관련된 내용을 표현할 수 있는 가상 현실 영상을 생성할 수 있다.

일 실시 예에 따른 프로세서는 동작 1480에서, 제 1 가상 시나리오에 대응하는 가상 현실 영상을 디스플레이를 통해 표시할 수 있다. 프로세서는 생성한 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

프로세서는 제 1 가상 시나리오에 따른 적어도 하나의 외부 장치의 사용, 분해, 부품 교체, 및 수리 방법을 가상 현실 영상으로 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 제 1 가상 시나리오가 적어도 하나의 외부 장치의 기능 사용 안내인 경우, 프로세서는 적어도 하나의 외부 장치의 사용 방법을 가상 현실 영상으로 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 제 1 가상 시나리오가 적어도 하나의 외부 장치의 분해 시 내부의 구조인 경우, 프로세서는 적어도 하나의 외부 장치의 분해된 모습을 가상 현실 영상으로 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 제 1 가상 시나리오가 적어도 하나의 외부 장치를 이루는 부품의 교체인 경우, 프로세서는 적어도 하나의 외부 장치의 부품 교체 방법을 가상 현실 영상으로 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 제 1 가상 시나리오가 적어도 하나의 외부 장치의 수리인 경우, 프로세서는 적어도 하나의 외부 장치의 수리 방법을 가상 현실 영상으로 표시하도록 디스플레이를 제어할 수 있다.

프로세서는 제 1 가상 시나리오에 따른 적어도 하나의 외부 장치의 변형 형태를 가상 현실 영상으로 표시하도록 상기 디스플레이를 제어할 수 있다. 예를 들어, 예를 들어, 제 1 가상 시나리오가 적어도 하나의 외부 장치의 기능 사용 안내인 경우, 프로세서는 적어도 하나의 외부 장치의 사용 시 어떻게 적어도 하나의 외부 장치의 구조, 적어도 하나의 외부 장치의 출력 형태, 및 적어도 하나의 외부 장치의 기능 실행 모습을 가상 현실 영상으로 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 제 1 가상 시나리오가 적어도 하나의 외부 장치를 이루는 부품의 교체인 경우, 프로세서는 적어도 하나의 외부 장치의 부품 교체 전의 형태, 부품을 교체하는 중의 모습, 및 부품 교체 후의 형태를 가상 현실 영상으로 표시하도록 디스플레이를 제어할 수 있다.

이하에서는 영상 표시 장치가 센싱 데이터를 서버로 전송하고, 센싱 데이터에 기반하여 선택된 가상 시나리오를 서버로부터 수신하는 과정에 대하여 도 15를 참조하여 설명하기로 한다.

도 15는 본 개시의 일 실시예에 따른 영상 표시 장치(110)가 센싱 데이터를 서버(120)로 전송하고, 센싱 데이터에 기반하여 선택된 가상 시나리오를 서버(120)로부터 수신하는 과정을 나타낸 도면이다.

영상 표시 장치(110)의 통신부(360)는 센싱 데이터를 서버(120)로 전송할 수 있다. 센싱 데이터는 적어도 하나의 외부 장치의 제 1 위치, 사용자의 제 2 위치, 및 적어도 하나의 외부 장치에 대한 사용자의 제스처를 포함할 수 있다.

서버(120)의 알고리즘 처리부(1510)는 센싱 데이터를 수신할 수 있다. 알고리즘 처리부(1510)는 알고리즘을 구동하여 수신한 센싱 데이터를 분석할 수 있다. 알고리즘은 통합 센싱 알고리즘일 수 있다. 알고리즘은 센싱 데이터를 학습하는 모델을 포함하는 인공지능 알고리즘일 수 있다. 알고리즘 처리부(1510)는 알고리즘을 이용하여 센싱 데이터를 분석하여 사용자의 의도를 판단할 수 있다. 사용자의 의도는 적어도 하나의 외부 장치와 관련하여 사용자가 무엇을 알고 싶거나, 하고 싶은지와 관련된 내용일 수 있다. 예를 들어, 센싱 데이터가 사용자가 적어도 하나의 외부 장치의 입력부를 조작하려는 제스처를 포함하는 경우, 알고리즘 처리부(1510)는 적어도 하나의 외부 장치를 사용하려는 사용자의 의도를 판단할 수 있다. 예를 들어, 센싱 데이터가 사용자가 적어도 하나의 외부 장치의 후면이나 하부면을 개방하려는 제스처를 포함하는 경우, 알고리즘 처리부(1510)는 적어도 하나의 외부 장치를 분해하려는 사용자의 의도를 판단할 수 있다.

알고리즘 처리부(1510)는 센싱 데이터에 기반하여 판단한 사용자의 의도를 만족시킬 수 있는 가상 시나리오를 선택할 수 있다. 서버(120)의 데이터베이스에는 복수의 가상 시나리오들(1511, 1512, 1513, 1514)이 저장될 수 있다. 알고리즘 처리부(1510)는 복수의 가상 시나리오들(1511, 1512, 1513, 1514) 중, 판단한 사용자의 의도에 부합하는 정보를 제공하는 제 1 가상 시나리오(1511)를 선택할 수 있다. 예를 들어, 알고리즘 처리부(1510)는 사용자의 의도를 적어도 하나의 외부 장치를 사용하려는 것으로 판단하고 적어도 하나의 외부 장치의 사용 방법을 안내하는 가상 시나리오를 선택할 수 있다. 예를 들어, 알고리즘 처리부(1510)는 사용자의 의도를 적어도 하나의 외부 장치를 분해하려는 것으로 판단하고 적어도 하나의 외부 장치의 분해 시 내부 구조를 보여 주는 가상 시나리오를 선택할 수 있다.

이하에서는 기기의 동작을 설명하는 가상 현실 영상을 표시하는 방법에 대하여 도 16 및 도 17을 참조하여 설명하기로 한다.

도 16은 본 개시의 일 실시예에 따른 공기조화기의 기능 표시 방법을 나타낸 흐름도이다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1610에서, 센서부를 이용하여, 사용자가 공기조화기 앞에 서서 팔을 들어 모드 버튼을 누르려고 하는 제스처를 감지할 수 있다. 센서부에 포함된 거리 센서는 사용자가 공기조화기 앞에 근접한 것을 감지할 수 있다. 센서부에 포함된 ToF 센서는 사용자가 팔을 드는 동작 및 사용자가 공기조화기의 모드 버튼을 누르려고 하는 동작을 감지할 수 있다. 영상 표시 장치(110)는 사용자가 공기조화기 앞에 서서 팔을 들어 모드 버튼을 누르려고 하는 제스처를 수행함을 나타내는 센싱 데이터를 검출하도록 센서부를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1620에서, 감지된 제스처에 대응하는 센싱 데이터에 기반하여 서버에서 선택된 가상 시나리오를 수신할 수 있다.

일 실시 예에 따라 영상 표시 장치(110)는 센서부에 의해 검출된 센싱 데이터를 서버로 전송함으로써 서버로부터 센싱 데이터에 대응하여 선택된 가상 시나리오를 수신할 수 있다. 서버는 사용자가 공기조화기 앞에 서서 팔을 들어 모드 버튼을 누르려고 하는 제스처를 수행하였음을 확인할 수 있다. 서버는 사용자가 공기조화기 앞에 서서 팔을 들어 모드 버튼을 누르려고 하는 제스처를 수행하는 것으로부터 사용자가 공기조화기의 모드 버튼을 눌러 공기조화기의 기능을 실행하려 한다는 사용자의 의도를 파악할 수 있다. 서버는 복수의 가상 시나리오들 중, 이러한 사용자의 의도에 대응하는 가상 시나리오를 선택하고 선택된 가상 시나리오를 영상 표시 장치(110)로 전송할 수 있다. 예를 들어, 서버는 공기조화기의 기능을 실행하려 한다는 사용자의 의도에 대응하는 공기조화기의 기능 안내와 관련된 가상 시나리오를 선택할 수 있다.

일 실시 예에 따라 영상 표시 장치(110)는 센서부에 의해 검출된 센싱 데이터를 서버로 전송하지 않고 영상 표시 장치(110) 자체적으로 센싱 데이터에 대응하여 가상 시나리오를 선택할 수도 있을 것이다. 영상 표시 장치(110)는 사용자가 공기조화기 앞에 서서 팔을 들어 모드 버튼을 누르려고 하는 제스처를 수행하였음을 확인할 수 있다. 영상 표시 장치(110)는 사용자가 공기조화기 앞에 서서 팔을 들어 모드 버튼을 누르려고 하는 제스처를 수행하는 것으로부터 사용자가 공기조화기의 모드 버튼을 눌러 공기조화기의 기능을 실행하려 한다는 사용자의 의도를 파악할 수 있다. 영상 표시 장치(110)는 복수의 가상 시나리오들 중, 이러한 사용자의 의도에 대응하는 가상 시나리오를 선택할 수 있을 것이다. 예를 들어, 서버는 공기조화기의 기능을 실행하려 한다는 사용자의 의도에 대응하는 공기조화기의 기능 안내와 관련된 가상 시나리오를 선택할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1630에서, 디스플레이를 이용하여, 모드 버튼에는 어떤 기능들이 있고, 기능들 각각은 어떠한 역할을 하는지 가상 현실 영상으로 표시할 수 있다. 예를 들어, 프로세서는 모드 버튼에는 운전 시작 기능, 바람 세기 조절 기능, 온도 조절 기능, 모드 선택 기능, 및 예약 기능이 있다는 내용을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 운전 시작 기능은 공기조화기의 동작을 시작하는 역할을 수행한다는 내용을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 바람 세기 조절 기능은 공기조화기에서 출력되는 바람의 세기를 낮은 레벨, 중간 레벨, 및 높은 레벨 중 선택하는 역할을 수행한다는 내용을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 온도 조절 기능은 공기조화기를 이용하여 구현하려는 실내 온도를 높이거나 낮추는 역할을 수행하는 내용을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 모드 선택 기능은 냉방 모드, 송풍 모드, 제습 모드 중 하나의 모드를 선택하는 역할을 수행한다는 내용을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 예약 기능은 공기조화기의 사용 종료 시점을 설정하는 역할을 수행한다는 내용을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 디스플레이를 이용하여, 공기조화기의 주위 환경은 기능들 각각에 따라 어떻게 변화될 것인지 및 주의 사항은 무엇인지 가상 현실 영상으로 표시할 수 있다. 예를 들어, 프로세서는 공기조화기의 동작 시 예상되는 실내 온도 변화를 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 공기조화기의 세기를 임계 세기 이상으로 설정하거나 온도를 임계 온도 이하로 낮추는 것이 불가능하다는 주의 사항을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

도 17은 본 개시의 일 실시예에 따른 프로젝터의 기능 표시 방법을 나타낸 흐름도이다. 프로젝터는 빔을 스크린 면에 방사하여 화면 및 영상을 보여주는 장치일 수 있다. 예를 들어, 프로젝터는 프리스타일(Freestyle)과 같은 휴대용 빔 프로젝터일 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1710에서, 센서부를 이용하여, 사용자가 프로젝터의 전면부 쪽으로 손을 움직이는 제스처를 감지할 수 있다. 센서부에 포함된 거리 센서는 사용자의 손이 프로젝터의 전면부에 근접한 것을 감지할 수 있다. 센서부에 포함된 ToF 센서는 사용자가 프로젝터의 전면부 쪽으로 손을 움직이는 동작을 감지할 수 있다. 프로세서는 사용자가 프로젝터의 전면부 쪽으로 손을 움직이는 제스처를 수행하였음을 포함하는 센싱 데이터를 생성하도록 센서부를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는 서버로 센싱 데이터를 전송할 수 있다. 서버는 사용자가 프로젝터의 전면부 쪽으로 손을 움직이는 제스처를 수행하는 것으로부터 사용자가 프로젝터를 사용하려 한다는 사용자의 의도를 파악하고, 사용자의 의도에 대응하도록 프로젝터 사용 방법을 안내하는 가상 시나리오를 선택할 수 있다. 영상 표시 장치(110)는 선택된 가상 시나리오를 서버로부터 수신할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1720에서, 디스플레이를 이용하여, 프로젝터의 전면부에는 터치 센서, 전원 버튼, 및 음량 버튼이 있다는 내용 및 버튼들 각각을 누를 때 어떤 기능이 실행되는지를 가상 현실 영상으로 표시할 수 있다. 영상 표시 장치(110)는 프로젝터 사용 방법을 안내하는 가상 시나리오에 대응하는 가상 현실 영상을 표시할 수 있다. 예를 들어, 프로세서는 터치 센서, 전원 버트, 및 음량 버튼 각각이 프로젝터의 전면부 어디에 위치하는지 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 터치 센서를 누르면 세부 메뉴가 표시되고, 전원 버튼으로 화면 송출을 시작하거나 종료하고, 음량 버튼으로 영상의 음량을 조절하는 기능을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

일 실시 예에 따른 프로세서는, 동작 1730에서, 센서부를 이용하여, 사용자가 프로젝터를 상하로 이동시키려는 제스처를 감지할 수 있다. 센서부에 포함된 거리 센서는 사용자의 손이 프로젝터에 근접한 것을 감지할 수 있다. 센서부에 포함된 ToF 센서는 사용자가 프로젝터를 상하로 이동시키려는 동작을 감지할 수 있다. 프로세서는 사용자가 프로젝터를 상하로 이동시키려는 제스처를 수행하였음을 포함하는 센싱 데이터를 생성하도록 센서부를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는 서버로 센싱 데이터를 전송할 수 있다. 서버는 프로젝터를 상하로 이동시키려는 제스처를 수행하는 것으로부터 사용자가 프로젝터의 방향 또는 높이를 조절하려 한다는 사용자의 의도를 파악하고, 사용자의 의도에 대응하도록 프로젝터 상하 이동 시 기능 안내 및 주의 사항을 안내하는 가상 시나리오를 선택할 수 있다. 영상 표시 장치는 선택된 가상 시나리오를 서버로부터 수신할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1740에서, 디스플레이를 이용하여, 프로젝터가 상하로 이동할 때 어떤 현상이 일어날 수 있고, 어떻게 사용하고, 어떤 기능이 새롭게 구현되고, 주의 사항은 무엇인지 가상 현실 영상으로 표시할 수 있다. 영상 표시 장치(110)는 프로젝터 상하 이동 시 기능 안내 및 주의 사항을 안내하는 가상 시나리오에 대응하는 가상 현실 영상을 표시할 수 있다. 예를 들어, 프로세서는 프로젝터가 상하로 이동할 때 예상되는 영상 표시 형태의 변화를 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 프로젝터를 상하로 이동시키기 위해 어느 부분을 잡고 프로젝터를 움직여야 하는지 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 프로젝터를 상하로 이동시키면 팝업 화면을 표시하는 기능이 새롭게 구현된다는 내용을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 프로젝터를 임계 각도 범위를 벗어나도록 프로젝터를 상하로 이동시킬 수 없다는 주의 사항을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

이하에서는 기기의 유지 보수 방법을 설명하는 가상 현실 영상을 표시하는 방법에 대하여 도 18 내지 도 20을 참조하여 설명하기로 한다.

도 18은 본 개시의 일 실시예에 따른 공기조화기의 유지 보수 기능 표시 방법을 나타낸 흐름도이다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1810에서, 센서부를 이용하여, 사용자가 공기조화기의 후면부를 향해 손을 뻗는 제스처를 감지할 수 있다. 센서부에 포함된 거리 센서는 사용자가 공기조화기 뒤에 근접한 것을 감지할 수 있다. 센서부에 포함된 ToF 센서는 사용자가 공기조화기의 후면부를 향해 손을 뻗는 동작을 감지할 수 있다. 프로세서는 사용자가 공기조화기의 후면부를 향해 손을 뻗는 제스처를 수행하였음을 포함하는 센싱 데이터를 생성하도록 센서부를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1820에서, 감지된 제스처에 대응하는 센싱 데이터에 기반하여 서버에서 선택된 가상 시나리오를 선택할 수 있다. 영상 표시 장치(110)는 서버로 센싱 데이터를 전송할 수 있다. 서버는 사용자가 공기조화기의 후면부를 향해 손을 뻗는 제스처를 수행하는 것으로부터 사용자가 공기조화기의 후면부를 열고 후면부의 내부를 확인하고, 교체할 수 있는 부품인 필터를 교체하려 한다는 사용자의 의도를 파악할 수 있다. 서버는 사용자의 의도에 대응하도록 후면 내부 구조를 보여주고, 필터 교체 방법을 안내하는 가상 시나리오를 선택할 수 있다. 영상 표시 장치(110)는 선택된 가상 시나리오를 서버로부터 수신할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1830에서, 공기조화기의 후면 내부 구조 및 유지 보수 안내와 관련된 가상 현실 영상을 표시할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 디스플레이를 이용하여, 공기조화기의 후면부를 열면 어떤 모양이 보이는지 가상 현실 영상으로 표시할 수 있다. 예를 들어, 프로세서는 후면부를 열었을 때 보이는 모습 및 보이는 모습 속 각각의 부품들을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 디스플레이를 이용하여, 공기조화기의 필터 교환과 같이 공기조화기에 대하여 수행할 수 있는 유지 보수 기능을 가상 현실 영상으로 표시할 수 있다. 예를 들어, 프로세서는 사용자가 직접 공기조화기의 후면부를 열고 수행할 수 있는 유지 보수 작업에는 필터 교환이 있다는 것을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 사용자가 공기조화기의 필터 교환을 직접 하는 방법을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

도 19는 본 개시의 일 실시예에 따른 공기청정기의 유지 보수 기능 표시 방법을 나타낸 흐름도이다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1810에서, 센서부를 이용하여, 사용자가 공기청정기의 후면부를 향해 손을 뻗는 제스처를 감지할 수 있다. 센서부에 포함된 거리 센서는 사용자가 공기청정기 뒤에 근접한 것을 감지할 수 있다. 센서부에 포함된 ToF 센서는 사용자가 공기청정기의 후면부를 향해 손을 뻗는 동작을 감지할 수 있다. 프로세서는 사용자가 공기청정기의 후면부를 향해 손을 뻗는 제스처를 수행하였음을 포함하는 센싱 데이터를 생성하도록 센서부를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1920에서, 감지된 제스처에 대응하는 센싱 데이터에 기반하여 서버에서 선택된 가상 시나리오를 수신할 수 있다. 영상 표시 장치(110)는 서버로 센싱 데이터를 전송할 수 있다. 서버는 사용자가 공기청정기의 후면부를 향해 손을 뻗는 제스처를 수행하는 것으로부터 사용자가 공기청정기의 후면부를 열고 후면부의 내부를 확인하고, 공기청정기의 클리닝을 수행하려 한다는 사용자의 의도를 파악할 수 있다. 서버는 사용자의 의도에 대응하도록 후면 내부 구조를 보여주고, 필터 교체 방법을 안내하는 가상 시나리오를 선택할 수 있다. 영상 표시 장치(110)는 선택된 가상 시나리오를 서버로부터 수신할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 1930에서, 공기청정기의 후면 내부 구조 및 유지 보수 안내와 관련된 가상 현실 영상을 표시할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 디스플레이를 이용하여, 공기청정기의 후면부를 열면 어떤 모양이 보이는지 가상 현실 영상으로 표시할 수 있다. 예를 들어, 프로세서는 후면부를 열었을 때 보이는 모습 및 보이는 모습 속 각각의 부품들을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 디스플레이를 이용하여, 공기청정기의 클리닝과 같이 공기청정기에 대하여 수행할 수 있는 유지 보수 기능을 가상 현실 영상으로 표시할 수 있다. 예를 들어, 프로세서는 사용자가 직접 공기청정기의 후면부를 열고 수행할 수 있는 유지 보수 작업에는 클리닝이 있다는 것을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 사용자가 공기청정기의 클리닝을 직접 하는 방법을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

도 20은 본 개시의 일 실시예에 따른 로봇 청소기의 유지 보수 기능 표시 방법을 나타낸 흐름도이다.

일 실시 예에 따른 프로세서는, 동작 2010에서, 센서부를 이용하여, 사용자가 로봇 청소기의 하부를 향해 손을 뻗는 제스처를 감지할 수 있다. 센서부에 포함된 거리 센서는 사용자가 로봇 청소기에 근접한 것을 감지할 수 있다. 센서부에 포함된 ToF 센서는 사용자가 로봇 청소기의 하부를 향해 손을 뻗는 동작을 감지할 수 있다. 프로세서는 로봇 청소기의 하부를 향해 손을 뻗는 제스처를 수행하였음을 포함하는 센싱 데이터를 생성하도록 센서부를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 동작 2020에서, 감지된 제스처에 대응하는 센싱 데이터에 기반하여 서버에서 선택된 가상 시나리오를 수신할 수 있다. 영상 표시 장치(110)는 서버로 센싱 데이터를 전송할 수 있다. 서버는 사용자가 로봇 청소기의 하부를 향해 손을 뻗는 제스처를 수행하는 것으로부터 사용자가 로봇 청소기의 하부를 열고 하부면의 내부를 확인하고, 로봇 청소기의 하부의 이물질을 제거하려 한다는 사용자의 의도를 파악할 수 있다. 서버는 사용자의 의도에 대응하도록 후면 내부 구조를 보여주고, 필터 교체 방법을 안내하는 가상 시나리오를 선택할 수 있다. 영상 표시 장치(110)는 선택된 가상 시나리오를 서버로부터 수신할 수 있다.

일 실시 예에 따른 영상 표시 장치(110), 동작 2030에서, 로봇 청소기의 하부 구조 및 유지 보수 안내와 관련된 가상 현실 영상을 표시할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 디스플레이를 이용하여, 로봇 청소기의 하부를 열면 어떤 모양이 보이는지 가상 현실 영상으로 표시할 수 있다. 예를 들어, 프로세서는 하부를 열었을 때 보이는 모습 및 보이는 모습 속 각각의 부품들을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

일 실시 예에 따른 영상 표시 장치(110)는, 디스플레이를 이용하여, 로봇 청소기의 아물질 제거와 같이 로봇 청소기에 대하여 수행할 수 있는 유지 보수 기능을 가상 현실 영상으로 표시할 수 있다. 예를 들어, 프로세서는 사용자가 직접 로봇 청소기의 후면부를 열고 수행할 수 있는 유지 보수 작업에는 이물질 제거가 있다는 것을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 프로세서는 사용자가 로봇 청소기의 이물질 제거를 직접 하는 방법을 안내하는 가상 현실 영상을 표시하도록 디스플레이를 제어할 수 있다.

본 개시의 일 실시예에 따른 영상 표시 장치 및 그 표시 방법은, 사용자가 실제 공간에서 외부 장치에 대한 사용, 분해, 교체, 수리와 같은 다양한 조작을 시도할 때 가상 현실 영상을 통해 외부 장치에 대한 조작 시나리오를 보여주어, 사용자에게 실체 위치에서의 실제 상황에 기반한 가상 공간 경험을 제공할 수 있다.

본 개시의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

본 개시의 일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.　 또한, 본 개시의 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품 (computer program product)으로도 구현될 수 있다.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims

영상 표시 장치에 있어서,
디스플레이;
센서부;
통신부;
하나 이상의 인스트럭션을 포함하는 메모리; 및
상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득하도록 상기 센서부를 제어하고,
상기 적어도 하나의 외부 장치에 대한 상기 사용자의 제스처를 인식하도록 상기 센서부를 제어하고,
상기 제 1 위치, 상기 제 2 위치, 및 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 상기 제스처와 관련된 센싱 데이터를 서버로 전송하도록 상기 통신부를 제어하고,
상기 센싱 데이터에 기반하여 상기 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들 중 선택된 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하고, 및
상기 제 1 가상 시나리오가 반영된 가상 현실 영상을 표시하도록 상기 디스플레이를 제어하는, 영상 표시 장치.
제 1 항에 있어서,
상기 메모리는 상기 적어도 하나의 외부 장치의 종류와 관련된 식별 정보를 저장하는 것을 특징으로 하는, 영상 표시 장치.
제 1 항에 있어서,
상기 센서부는 초광대역(Ultra-wide Band, UWB) 센서를 포함하는 것을 특징으로 하는, 영상 표시 장치.
제 3 항에 있어서,
상기 초광대역 센서는,
상기 적어도 하나의 외부 장치에 부착된 제 1 태그를 감지하여 상기 제 1 위치를 획득하고, 및
상기 사용자에 부착된 제 2 태그를 감지하여 상기 제 2 위치를 획득하는 것을 특징으로 하는, 영상 표시 장치.
제 1 항에 있어서,
상기 센서부에 포함된 이미지 센서, 거리 센서, ToF(Time of Flight) 센서, 및 방향 센서 중 적어도 하나를 이용하여 상기 제스처를 인식하는 것을 특징으로 하는, 영상 표시 장치.
제 5 항에 있어서,
상기 프로세서는,
상기 제스처에 기반하여 상기 적어도 하나의 외부 장치와 관련된 상기 사용자의 의도를 파악하여 선택된 상기 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는, 영상 표시 장치.
제 1 항에 있어서,
상기 복수의 가상 시나리오들은 상기 적어도 하나의 외부 장치의 기능 사용 안내, 상기 적어도 하나의 외부 장치의 분해 시 내부의 구조, 상기 적어도 하나의 외부 장치를 이루는 부품의 교체, 및 상기 적어도 하나의 외부 장치의 수리와 관련된 것을 특징으로 하는, 영상 표시 장치.
제 1 항에 있어서,
상기 센싱 데이터는 상기 서버의 모델에 입력됨으로써,
상기 모델이 상기 센싱 데이터에서 상기 제스처를 하는 상기 사용자의 손 및 상기 적어도 하나의 외부 장치 사이의 근접 빈도, 상기 손의 형태, 및 상기 손 및 상기 적어도 하나의 외부 장치 사이의 위치 패턴을 학습하는데 이용되고,
상기 학습된 모델을 이용하여 상기 복수의 가상 시나리오들 중 상기 제 1 가상 시나리오가 선택되는 것을 특징으로 하는, 영상 표시 장치.
제 1 항에 있어서,
상기 프로세서는,
상기 제 1 가상 시나리오에 따른 상기 적어도 하나의 외부 장치의 사용, 분해, 부품 교체, 및 수리 방법 중 적어도 하나를 상기 가상 현실 영상으로 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는, 영상 표시 장치.
제 1 항에 있어서,
상기 프로세서는,
상기 제 1 가상 시나리오에 따른 상기 적어도 하나의 외부 장치의 변형 형태를 상기 가상 현실 영상으로 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 하는, 영상 표시 장치.
영상 표시 장치의 표시 방법에 있어서,
적어도 하나의 외부 장치의 제 1 위치 및 사용자의 제 2 위치를 획득하도록 상기 영상 표시 장치의 센서부를 제어하는 동작;
상기 적어도 하나의 외부 장치에 대한 상기 사용자의 제스처를 인식하도록 상기 센서부를 제어하는 동작;
상기 제 1 위치, 상기 제 2 위치, 및 상기 적어도 하나의 외부 장치에 대한 상기 사용자의 상기 제스처와 관련된 센싱 데이터를 서버로 전송하도록 상기 영상 표시 장치의 통신부를 제어하는 동작;
상기 센싱 데이터에 기반하여 상기 적어도 하나의 외부 장치와 관련된 복수의 가상 시나리오들 중 선택된 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하는 동작; 및
상기 제 1 가상 시나리오가 반영된 가상 현실 영상을 표시하도록 상기 영상 표시 장치의 디스플레이를 제어하는 동작을 포함하는, 방법.
제 11 항에 있어서,
상기 영상 표시 장치의 메모리는 상기 적어도 하나의 외부 장치의 종류와 관련된 식별 정보를 저장하는 것을 특징으로 하는, 방법.
제 11 항에 있어서,
상기 센서부는 초광대역(Ultra-wide Band, UWB) 센서를 포함하는 것을 특징으로 하는, 방법.
제 13 항에 있어서,
상기 초광대역 센서는,
상기 적어도 하나의 외부 장치에 부착된 제 1 태그를 감지하여 상기 제 1 위치를 획득하고, 및
상기 사용자에 부착된 제 2 태그를 감지하여 상기 제 2 위치를 획득하는 것을 특징으로 하는, 방법.
제 11 항에 있어서,
상기 센서부에 포함된 이미지 센서, 거리 센서, ToF(Time of Flight) 센서, 및 방향 센서 중 적어도 하나를 이용하여 상기 제스처를 인식하는 것을 특징으로 하는, 방법.
제 15 항에 있어서, 상기 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하는 동작은,
상기 제스처에 기반하여 상기 적어도 하나의 외부 장치와 관련된 상기 사용자의 의도를 파악하여 선택된 상기 제 1 가상 시나리오를 상기 서버로부터 수신하도록 상기 통신부를 제어하는 동작을 포함하는, 방법.
제 11 항에 있어서,
상기 복수의 가상 시나리오들은 상기 적어도 하나의 외부 장치의 기능 사용 안내, 상기 적어도 하나의 외부 장치의 분해 시 내부의 구조, 상기 적어도 하나의 외부 장치를 이루는 부품의 교체, 및 상기 적어도 하나의 외부 장치의 수리와 관련된 것을 특징으로 하는, 방법.
제 11 항에 있어서,
상기 센싱 데이터는 상기 서버의 모델에 입력됨으로써, 상기 모델이 상기 센싱 데이터에서 상기 제스처를 하는 상기 사용자의 손 및 상기 적어도 하나의 외부 장치 사이의 근접 빈도, 상기 손의 형태, 및 상기 손 및 상기 적어도 하나의 외부 장치 사이의 위치 패턴을 학습하는데 이용되고, 및
상기 학습된 모델을 이용하여 상기 복수의 가상 시나리오들 중 상기 제 1 가상 시나리오가 선택되는 것을 특징으로 하는, 방법.
제 11 항에 있어서, 상기 제 1 가상 시나리오가 반영된 상기 가상 현실 영상을 표시하도록 상기 디스플레이를 제어하는 동작은,
상기 제 1 가상 시나리오에 따른 상기 적어도 하나의 외부 장치의 사용, 분해, 부품 교체, 및 수리 방법 중 적어도 하나를 상기 가상 현실 영상으로 표시하도록 상기 디스플레이를 제어하는 동작을 포함하는, 방법.
제 11 항에 있어서, 상기 제 1 가상 시나리오가 반영된 상기 가상 현실 영상을 표시하도록 상기 디스플레이를 제어하는 동작은,
상기 제 1 가상 시나리오에 따른 상기 적어도 하나의 외부 장치의 변형 형태를 상기 가상 현실 영상으로 표시하도록 상기 디스플레이를 제어하는 동작을 포함하는, 방법.