KR20170081493A

KR20170081493A - 헤드 마운트 디스플레이 장치

Info

Publication number: KR20170081493A
Application number: KR1020160000590A
Authority: KR
Inventors: 홍석현; 박근량; 서일호
Original assignee: 엘지전자 주식회사
Priority date: 2016-01-04
Filing date: 2016-01-04
Publication date: 2017-07-12

Abstract

본 발명은 헤드 마운트 디스플레이 장치에 관한 것이다. 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는, 디스플레이와, 디스플레이에 표시되는 영상을 확대하는 렌즈부와, 외부 기기와 데이터를 교환하는 통신부와, 디스플레이에 영상을 표시하도록 제어하며, 외부 기기에 접속되는 경우, 외부 기기를 나타내는 오브젝트를 표시하도록 제어하는 프로세서를 포함한다. 이에 의해, 주변 외부 기기와의 연동을 간편하게 수행할 수 있다.

Description

헤드 마운트 디스플레이 장치{Head mount display apparatus}

본 발명은 헤드 마운트 디스플레이 장치에 관한 것이며, 더욱 상세하게는 주변 외부 기기와의 연동을 간편하게 수행할 수 있는 헤드 마운트 디스플레이 장치에 관한 것이다.

헤드 마운트 디스플레이 장치는 사용자의 머리에 착용하여 영상을 볼 수 있는 장치이다. 한편, 헤드 마운트 디스플레이 장치는, 사용자의 머리에 착용하므로, 사용자 입력을 수신하기 위한 수단이 제한적이다.

이에 따라, 헤드 마운트 디스플레이 장치에서 사용자 입력을 위한 다양한 연구가 진행되고 있다.

본 발명의 목적은, 주변 외부 기기와의 연동을 간편하게 수행할 수 있는 헤드 마운트 디스플레이 장치을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는, 디스플레이와, 디스플레이에 표시되는 영상을 확대하는 렌즈부와, 외부 기기와 데이터를 교환하는 통신부와, 디스플레이에 영상을 표시하도록 제어하며, 외부 기기에 접속되는 경우, 외부 기기를 나타내는 오브젝트를 표시하도록 제어하는 프로세서를 포함한다.

본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치는, 디스플레이와, 디스플레이에 표시되는 영상을 확대하는 렌즈부와, 외부 기기와 데이터를 교환하는 통신부와, 디스플레이에 영상을 표시하도록 제어하며, 외부 기기에 접속되는 경우, 외부 기기를 나타내는 오브젝트를 표시하도록 제어하는 프로세서를 포함함으로써, 주변 외부 기기와의 연동을 간편하게 수행할 수 있게 된다.

한편, 와부 기기와의 미러링을 수행하여, 헤드 마운트 디스플레이 장치를 착용한 상태에서, 외부 기기의 동작 정보를 간편하게 확인할 수 있게 된다.

특히, 외부 기기를 나타내는 오브젝트 표시된 상태에서, 외부 기기에, 메일, 메시지, 콜(call) 또는 알람이 수신되는 경우, 외부 기기를 나타내는 오브젝트를 표시한 상태에서, 메일, 메시지, 콜 또는 알람을 나타내는 오브젝트가 표시되도록 제어함으로써, 외부 기기의 동작 정보를 간편하게 확인할 수 있게 된다.

한편, 외부 기기를 나타내는 오브젝트 내의 가상 카메라 항목이 선택되어, 캡쳐 동작이 수행되는 경우, 카메라에서 촬영된 이미지를, 외부 기기를 나타내는 오브젝트 내에 표시함으로써, 외부 기기를 통해 가상으로 이미지 캡쳐가 수행되는 것으로 인식할 수 있게 된다.

한편, 외부 기기의 카메라가 활성화되어 촬영을 수행하는 경우, 외부 기기로부터 촬영 이미지를 수신하고, 외부 기기를 나타내는 오브젝트 내에 수신되는 촬영 이미지를 표시함으로써, 외부 기기를 통한 이미지 캡쳐에 대한 내용을, 헤드 마운트 디스플레이 장치를 통해 바로 확인할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 일예를 도시한 도면이다.
도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이다.
도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도이다.
도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.
도 5는 헤드 마운트 디스플레이 장치에서의 헤드 트래킹을 예시하는 도면이다.
도 6a 내지 도 6b는 도 4의 프로세서의 내부 블록도의 다양한 예를 예시한다.
도 7a 내지 도 7b는 도 1의 헤드 마운트 디스플레이 장치에서의 사용자 제스쳐 인식 원리를 설명하기 위하여 참조되는 도면이다.
도 8은 본 발명의 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 일예를 도시한 도면이다.
도 9는 본 발명의 또 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 일예를 도시한 도면이다.
도 10은 도 9의 헤드 마운드 디스플레이 장치에서 거리 검출을 위한 광을 출력하는 것을 도시한다.
도 11은 도 9의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도의 일예이다.
도 12는 도 9의 헤드 마운드 디스플레이 장의 구조도의 일예를 예시한 도면이다.
도 13은 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이다.
도 14a 내지 도 21d는 도 13의 동작 방법을 설명하기 위해 참조되는 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

본 명세서에서 기술되는 헤드 마운트 디스플레이 장치는, 사용자의 머리에 착용가능한 헤드 마운트 디스플레이 장치로서, 소정 영상을 표시할 수 있다. 특히, 영상을 표시하는 디스플레이와, 표시되는 영상을 확대하는 렌즈부를 구비하여, 사용자가, 디스플레이에 표시되는 영상을 확대된 영상으로 인식하도록 할 수 있다.

이하에서는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치에 대해 기술한다.

도 1은 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 일예를 도시한 도면이고, 도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이고, 도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도이다.

도면을 참조하면, 사용자(700)는, 헤드 마운트 디스플레이 장치(100a)를 머리에 착용할 수 있다. 도 1과 같이, 눈을 덮는 형태로, 착용 가능하며, 표시 영상의 몰입감 향상을 위해, 외부광 등은 차단되도록 하는 것이 바람직하다.

이러한 헤드 마운트 디스플레이 장치(100a)를 착용한 사용자(700)는, 눕거나 앉아서, 재생되는 영상을 시청할 수 있게 된다.

한편, 도 1의 헤드 마운트 디스플레이 장치(100a)는, 이격되어 배치되는 카메라 장치(500)를 포함하는 개념일 수 있다.

카메라 장치(500)는, 적어도 하나의 카메라를 구비하고, 헤드 마운트 디스플레이 장치(100a) 주변을 촬영할 수 있다.

그리고, 카메라 장치(500)는, 촬영된 이미지에 기초하여, 헤드 마운트 디스플레이 장치(100a)를 착용한 사용자의 움직임 정보 또는 제스쳐 정보를, 헤드 마운트 디스플레이 장치(100a)로 전송할 수 있다. 또한, 카메라 장치(500)는, 헤드 마운트 디스플레이 장치(100a) 주변의 기기 정보를 연산하고, 주변 기기 정보를, 헤드 마운트 디스플레이 장치(100a)로 전송할 수 있다. 구체적으로 주변의 외부 기기와의 거리 정보, 방향 정보 등을 연산하고, 이 정보 등을, 헤드 마운트 디스플레이 장치(100a)로 전송할 수 있다.

또는, 카메라 장치(500)는, 촬영된 이미지를 무선으로 헤드 마운트 디스플레이 장치(100a)로 전송하며, 헤드 마운트 디스플레이 장치(100a)는 수신되는 촬영 이미지에 기초하여, 사용자의 움직임 정보 또는 제스쳐 정보를 연산하거나, 헤드 마운트 디스플레이 장치(100a) 주변의 기기 정보를 연산할 수 있다. 구체적으로 주변의 외부 기기와의 거리 정보, 방향 정보 등을 연산할 수 있다.

한편, 헤드 마운트 디스플레이 장치(100a)는, 주변 기기와 접속되어 데이터를 교환할 수 있다.

한편, 주변 기기는, 도면에서 도시된 바와 같이, 스마트 폰과 같은 이동 단말기(600a), 태블릿(600b), 스마트 워치와 같은 웨어러블 기기(600c), 노트북과 같은 컴퓨터(600d), 및 TV, 모니터와 같은 영상표시장치(600e) 등을 포함하는 개념일 수 있다.

예를 들어, 헤드 마운트 디스플레이 장치(100a)는, 주변 외부 기기와의 페어링 이후, 주변 기기로부터의 컨텐츠 데이터를 수신할 수 있다. 이때, 주변 외부 기기와의 페어링시의 통신 방식과, 컨텐츠 데이터 수신시의 통신 방식은 다를 수 있다.

예를 들어, 주변 외부 기기와의 페어링시의 통신 방식은, BLE(bluetooth low energy) 등에 기초한 블루투스 통신 방식이며, 컨텐츠 데이터 수신시의 통신 방식은 WiFi Direct, WiFi 통신 방식 등일 수 있다.

한편, 본 발명의 실시예에 따른, 헤드 마운트 디스플레이 장치(100a)는, 디스플레이(180)에 영상을 표시하도록 제어하며, 외부 기기에 접속되는 경우, 외부 기기를 나타내는 오브젝트를 표시할 수 있다. 이에 따라, 주변 외부 기기와의 연동을 간편하게 수행할 수 있게 된다.

특히, 헤드 마운트 디스플레이 장치(100a)는, 외부 기기의 디스플레이(180)에 표시되는 이미지에 대응하는 이미지를, 외부 기기를 나타내는 오브젝트 내에 표시할 수 있다.

한편, 헤드 마운트 디스플레이 장치(100a)는, 외부 기기에 접속되는 경우, 외부 기기에 미러링 이미지 전송 요청을 전송하고, 외부 기기로부터 수신되는 미러링 이미지를 외부 기기를 나타내는 오브젝트 내에 표시할 수 있다.

한편, 도 2와 같이, 헤드 마운트 디스플레이 장치(100a)는 렌즈부(195L,195R)를 구비하며, 사용자의 눈에, 렌즈부(195L,195R)를 통해 확대되는 영상을 제공한다.

도 3은, 헤드 마운트 디스플레이 장치(100a)의 상측 단면도를 나타낸다. 사용자(700)의 양안(710L,710R)에 일정 간격 이격되어, 헤드 마운트 디스플레이 장치(100a)의 렌즈부(195L,195R)가 위치하며, 디스플레이(300L,300R)에서 각각 표시되는 영상은, 렌즈부(195L,195R)를 거쳐 확대되어, 사용자 양안(710L,710R)에 입사된다. 이에 따라, 사용자(700)는, 도면과 같이, 확대된 영상(300L,300R)을 인식할 수 있게 된다. 이때의 확대된 영상(300L,300R)은 허상 영상(virtual image)일 수 있다.

도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.

도면을 참조하면, 헤드 마운트 디스플레이 장치(100a)는, 센서부(130), 통신부(135), 메모리(140), 오디오 출력부(160), 프로세서(170), 디스플레이(180), 전원 공급부(190), 구동부(193) 및 렌즈부(195)를 구비할 수 있다.

센서부(130)는, 헤드 마운트 디스플레이 장치(100a)의 움직임 정보, 특히, 사용자의 머리의 움직임 정보를 감지하고, 센싱 신호를 발생시킬 수 있다.

예를 들어, 센서부(130)는, 모션 센서(미도시), 근접센서(미도시), 압력센서(미도시) 등 중 적어도 하나를 구비할 수 있다.

모션 센서(미도시)는 가속도 센서, 자이로 센서 등을 이용하여 헤드 마운트 디스플레이 장치(100a)의 위치나 움직임 등을 감지한다.

가속도 센서는, X축, Y축, Z축 방향에 대한 가속도 센서를 구비할 수 있다. 한편, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.

근접센서(미도시)는 헤드 마운트 디스플레이 장치(100a)로 접근하는 물체나, 헤드 마운트 디스플레이 장치(100a)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있다.

압력센서(미도시)는 헤드 마운트 디스플레이 장치(100a)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 예를 들어, 사용자 손에 의한 압력을 감지할 수 있다.

통신부(135)는, 외부 장치와의 통신을 위한 인터페이스를 제공할 수 있다. 이를 위해, 통신부(135)는, 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시), 및 GPS 모듈(미도시) 등 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선 인터넷 모듈(미도시)을 통해, WiFi 통신을 수행할 수 있으며, 근거리 통신 모듈(미도시)를 통해, NFC(Near Field Communication) 통신을 수행할 수 있다.

한편, 통신부(135)는, 도 1의 주변 기기(600a 내지 600e) 또는 외부 서버(미도시)와, 데이터를 교환할 수 있다. 구체적으로, 통신부(135)는, 이동 단말기(600a)로부터, 영상 컨텐츠 등 각종 데이터를 수신할 수 있다. 한편, 이동 단말기(600a)로, 헤드 마운트 디스플레이 장치(100a)의 상태 정보 등을 전송할 수도 있다.

한편, 통신부(135)는, 이동 단말기(600a) 또는 외부 서버(미도시)로부터, 사용자(700)의 시력 정보를 수신할 수 있다.

한편, 통신부(135)는, 별도로 구성되는 카메라 장치(500)와의 데이터 통신을 수행할 수 있다.

예를 들어, 통신부(135)는, 카메라 장치(500)에서 촬영된 이미지를 무선으로 수신하거나, 카메라 장치(500)에서 촬영된 이미지에 기반하여, 연산된 사용자 움직임 정보, 제스쳐 정보 또는 주변 기기의 위치 정보 등을 수신할 수 있다.

메모리(140)는, 헤드 마운트 디스플레이 장치(100a) 내의 프로세서(170)의 처리 또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.

한편, 메모리(140)는, 외부 장치에서 수신되는 컨텐츠 데이터를 일시적으로 또는 일정 기간 동안 저장할 수 있다.

오디오 출력부(160)는, 오디오 신호를 출력할 수 있다. 예를 들어, 디스플레이(180)에서 재생되는 컨텐츠의 오디오 신호를 출력할 수 있다. 한편, 오디오 출력부(160)는, 스피커를 구비할 수 있으며, 또는, 외부로 오디오 출력을 위한 오디오 출력 단자를 구비할 수도 있다.

프로세서(170)는, 헤드 마운트 디스플레이 장치(100a) 내의 각 유닛의 전반적인 동작을 제어한다.

예를 들어, 프로세서(170)는, 사용자 입력에 기초하여, 메모리(140)에 저장된 또는 통신부(135)를 통해 수신되는 영상 컨텐츠를 재생하여, 해당 비디오 신호와 오디오 신호를, 각각 디스플레이(180)와 오디오 출력부(160)에 출력할 수 있다.

다른 예로, 프로세서(170)는, 센서부(130)에서 감지되는, 헤드 마운트 디스플레이 장치(100a)의 움직임 정보, 특히, 사용자의 머리의 움직임 정보에 기초하여, 대응하는 동작을 수행하도록 제어할 수 있다.

프로세서(170)는, 제1 해상도의 영상을 수신하며, 제1 해상도 보다 작은 제2 해상도 표시 모드에 따라, 제1 해상도의 영상 중 일부 영역을 표시하도록 제어하며, 감지되는 사용자(700) 머리 움직임에 따라, 제1 해상도의 영상 중 다른 일부 영역을 표시하도록 제어할 수 있다.

한편, 프로세서(170)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시하도록 제어할 수 있다.

한편, 프로세서(170)는, 감지되는 사용자(700) 머리 움직임에 따라, 출력되는 오디오 신호의 주파수, 크기 또는 위상 중 적어도 하나를 가변할 수 있다.

한편, 프로세서(170)는, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변하도록 제어할 수 있다.

한편, 프로세서(170)는, 카메라 장치(500)로부터 수신되는 이미지에 기초하여, 사용자의 움직임 정보 또는 제스쳐 정보를 연산하거나, 헤드 마운트 디스플레이 장치(100a) 주변의 기기 정보를 연산할 수 있다. 구체적으로 주변의 외부 기기와의 거리 정보, 방향 정보 등을 연산할 수 있다.

한편, 프로세서(170)는, 센서부(130)로부터 사용자의 머리 움직임에 대한 각도 정보에 기초하여, 시점 이동 여부를 판단할 수 있다.

디스플레이(180)는, 텍스트 또는 이미지 등을 표시할 수 있다. 특히, 디스플레이(180)는, 소정 영상을 표시할 수 있다.

한편, 디스플레이(180)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시할 수 있다.

전원 공급부(190)는, 프로세서(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.

한편, 구동부(193)는, 프로세서(170)의 제어에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변할 수 있다. 이를 위해, 구동부(193)는, 스텝핑 모터 등과 같은, 렌즈부 이동 부재(미도시)를 구비할 수 있다. 이러한 모터의 동작에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리가 가변될 수 있다.

도 5는 헤드 마운트 디스플레이 장치에서의 헤드 트래킹을 예시하는 도면이다.

도 5는, 사용자(700)가 헤드 마운트 디스플레이 장치(100)를 착용하여, 제1 해상도의 영상(610) 중 일부 영역에 해당하는 영상(620)이 표시되는 것을 예시한다. 이때, 일부 영역에 해당하는 영상(620)의 가로 크기는 S1일 수 있다.

한편, 프로세서(170)는, 디스플레이(180)에 제1 해상도의 영상 중 일부 영역에 해당하는 영상(620)과 함께, 일부 표시 모드 또는 제2 해상도 표시 모드를 나타내는 오브젝트(625)가 표시되도록 제어할 수 있다. 이에 의해, 사용자는, 시청하고 있는 영상이, 전체 영상 영역 중 일부 영상 영역인 것을 인식할 수 있게 된다.

한편, 헤드 마운트 디스플레이 장치(100)는, 센서부(130)를 이용하여, 사용자(700) 머리의 움직임을 감지할 수 있다.

센서부(130)는, 사용자(700)의 머리의 움직임을 감지할 수 있다. 구체적으로, 가속도 센서를 통해, X축, Y축, Z축 방향에 대한 가속도를 감지하고, 자이로 센서를 통해, 각속도를 감지할 수 있다.

프로세서(170)는, 센서부(130)에서 감지되는 센싱 신호에 기초하여, 사용자(700)의 머리의 움직임이, 상,하,좌, 또는 우로 이동인지, 앞, 뒤로 움직인지, 회전 움직임인 지 여부를 판단할 수 있다.

프로세서(170)는, 헤드 마운트 디스플레이 장치(100)는, 감지되는 사용자(700) 머리 움직임에 따라, 제1 해상도의 영상 중 다른 일부 영역을 표시할 수 있다.

프로세서(170)는, 감지되는 사용자의 머리 움직임에 따라, 대응하는 동작을 수행할 수 있다.

특히, 프로세서(170)는, 제1 해상도의 영상 중 일부 영역을 디스플레이(180)에 출력하고 있는 상태에서, 사용자의 머리 움직임이 감지되면, 제1 해상도의 영상 중 다른 일부 영역을 디스플레이(180)에 출력할 수 있다.

구체적으로, 프로세서(170)는, 사용자(700) 머리의 상,하,좌, 또는 우 움직임에 대응하여, 제1 해상도의 영상의 다른 일부 영역을 표시하도록 제어할 수 있다.

도 5는, 사용자(700)의 머리(705)의 움직임이, 상,하,좌, 또는 우로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상 영역이 그에 대응하여, 상,하,좌, 또는 우로 이동하는 것을 예시한다. 이에 의해, 사용자는, 제1 해상도의 영상 중 미쳐 시청하고 있지 못한 영역 영역을 간단하게 확인할 수 있게 된다.

한편, 헤드 마운트 디스플레이 장치(100)를 통해, 가상 현실 표시(Vitual Reality Dusplay)가 가능하며, 이러한 경우, 도 1 등에 개시된 카메라 장치(500)를 통해, 촬영된 이미지를 활용할 수 있다.

그리고, 프로세서(170)는, 카메라에서 촬영된 이미지 상에, 가상 현실을 위한 오브젝트가 표시되도록 제어할 수 있다.

한편, 프로세서(170)는, 우안 카메라(597a)와 좌안 카메라(597b)를 구비하는 카메라 장치(500)로부터 수신되는 스테레오 이미지로부터 오브젝트 검출 등을 수행하여, 외부의 주변 기기 등의 위치 정보 등을 연산할 수 있다. 이에 대해서는 도 6a 내지 도 6b를 참조하여 기술한다.

도 6a 내지 도 6b는 도 4의 프로세서의 내부 블록도의 다양한 예를 예시한다.

먼저, 도 6a는, 프로세서(170)의 내부 블록도의 일예를 도시한다.

헤드 마운트 디스플레이 장치(100a) 내의 프로세서(170)는, 카메라 장치(500)로부터의 신호 처리를 위해, 영상 전처리부(410), 디스패러티 연산부(420), 오브젝트 검출부(434), 오브젝트 트래킹부(440), 및 어플리케이션부(450)를 구비할 수 있다.

특히, 오브젝트 검출을 위해, 영상 전처리부(image preprocessor)(410)는, 카메라 장치(500)로부터의 스테레오 이미지를 수신하여, 전처리(preprocessing)를 수행할 수 있다.

구체적으로, 영상 전처리부(410)는, 스테레오 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 카메라 장치(500)에서 촬영된 스테레오 이미지 보다 선명한 스테레오 이미지를 획득할 수 있다.

디스패러티 연산부(disparity calculator)(420)는, 영상 전처리부(410)에서 신호 처리된, 스테레오 이미지를 수신하고, 수신된 스테레오 이미지들에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득한다. 즉, 카메라 장치(500) 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.

이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌,우 이미지의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.

세그멘테이션부(segmentation unit)(432)는, 디스패러티 연산부(420)로부터의 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.

구체적으로, 세그멘테이션부(432)는, 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해,배경(background)과 전경(foreground)을 분리할 수 있다.

예를 들어, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다.

다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.

이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.

다음, 오브젝트 검출부(object detector)(434)는, 세그멘테이션부(432)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다.

즉, 오브젝트 검출부(434)는, 디스페러티 정보 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.

구체적으로, 오브젝트 검출부(434)는, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들어, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.

다음, 오브젝트 확인부(object verification unit)(436)는, 분리된 오브젝트를 분류하고(classify), 확인한다(verify).

이를 위해, 오브젝트 확인부(436)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.

한편, 오브젝트 확인부(436)는, 메모리(140)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다.

예를 들어, 오브젝트 확인부(436)는, 카메라 장치(500) 주변에 위치하는, 헤드 마운트 디스플레이 장치(100), 사용자의 손, 이동 단말기 등과 같은 주변 기기 등을 확인할 수 있다.

오브젝트 트래킹부(object tracking unit)(440)는, 확인된 오브젝트에 대한 트래킹을 수행한다. 예를 들어, 순차적으로, 획득되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 카메라 장치(500) 주변에 위치하는, 헤드 마운트 디스플레이 장치(100), 사용자의 손, 이동 단말기 등과 같은 주변 기기 등을 트래킹할 수 있게 된다.

다음, 어플리케이션부(450)는, 카메라 장치(500) 주변에, 위치하는 다양한 오브젝트들, 예를 들어, 헤드 마운트 디스플레이 장치(100), 사용자의 손, 이동 단말기 등과 같은 주변 기기 등에 대한 위치 정보(거리 정보 또는 방향 정보) 등을 연산할 수 있다.

그리고, 어플리케이션부(450)는, 연산된 사용자 제스쳐 등에 의해, 메뉴 표시 제어 신호, 컨텐츠 재생을 위한 제어 신호, 재생 중인 컨텐츠 중지 신호 등을 생성할 수 있다.

또는, 어플리케이션부(450)는, 연산된 주변 기기 등에 대한 위치 정보를 이용하여, 주변 기기와의 무선 접속을 위한 제어 신호를 생성하고, 무선 접속을 수행하도록 제어할 수 있다.

도 6b는 프로세서의 내부 블록도의 다른 예이다.

도면을 참조하면, 도 6b의 프로세서(170)는, 도 6a의 프로세서(170)와 내부 구성 유닛이 동일하나, 신호 처리 순서가 다른 것에 그 차이가 있다. 이하에서는 그 차이만을 기술한다.

오브젝트 검출부(434)는, 스테레오 이미지를 수신하고, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 도 6a와 달리, 디스패러티 정보에 기초하여, 세그먼트된 이미지에 대해, 오브젝트를 검출하는 것이 아닌, 스테레오 이미지로부터 바로 오브젝트를 검출할 수 있다.

다음, 오브젝트 확인부(object verification unit)(436)는, 세그멘테이션부(432)로부터의 이미지 세그먼트, 및 오브젝트 검출부(434)에서 검출된 오브젝트에 기초하여, 검출 및 분리된 오브젝트를 분류하고(classify), 확인한다(verify).

도 7a 내지 도 7b는 도 1의 헤드 마운트 디스플레이 장치에서의 사용자 제스쳐 인식 원리를 설명하기 위하여 참조되는 도면이다.

도 7a는, 사용자(1500)가, 헤드 마운트 디스플레이 장치(100a)를 착용한 상태에서, 오른 손을 올리는 제스쳐를 수행하는 것을 예시한다.

헤드 마운트 디스플레이 장치(100a)와 이격된 카메라 장치(700) 내의 카메라(597a,595b)는, 사용자 손에 대한 영상을 촬영한다. 도 7b는 카메라(597a,595b)를 통해, 촬영된 영상(1520)을 예시한다. 도면에는, 사용자가 오른 손을 올리는 제스쳐를 수행한 순간의 영상(1520)을 예시한다.

한편, 카메라(597a,595b)는, 연속으로 사용자에 대한 촬영 영상을 촬영할 수 있다. 촬영된 영상은, 무선 통신을 통해, 헤드 마운트 디스플레이 장치(100a)의 프로세서(170)에 입력될 수 있다.

헤드 마운트 디스플레이 장치(100a)의 프로세서(170)는, 카메라(597a,595b)를 통해, 사용자가 오른 손을 올리기 이전 영상을 입력 받을 수 있다. 이러한 경우, 헤드 마운트 디스플레이 장치(100a)의 프로세서(170)는, 별다른 제스쳐가 없는 것으로 처리할 수 있다. 한편, 이때, 헤드 마운트 디스플레이 장치(100a)의 프로세서(170)는, 사용자의 얼굴(도 7b의 1515)만 인식하고 있을 수 있다.

다음, 헤드 마운트 디스플레이 장치(100a)의 프로세서(170)는, 카메라(597a,595b)를 통해, 도 7b와 같이, 사용자가 오른 손을 올리는 제스쳐를 수행한 순간의 영상(1520)을 입력받을 수 있다.

이러한 경우, 헤드 마운트 디스플레이 장치(100a)의 프로세서(170)는, 사용자의 얼굴(도 7b의 1515)과, 사용자의 오른 손(1505) 사이의 거리를 측정하고, 측정된 거리(D1)가 기준 거리(Dref) 이하인지 여부를 판단할 수 있다. 그리고, 측정된 거리(D1)가 기준 거리(Dref) 이하인 경우, 기 설정된 제1 제스쳐로 인식할 수 있다.

도 8은 본 발명의 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 일예를 도시한 도면이다.

도면을 참조하면, 도 7의 헤드 마운트 디스플레이 장치(100b)는, 도 1의 헤드 마운트 디스플레이 장치(100a)와 달리, 카메라(197a,197b)가 헤드 마운트 디스플레이 장치(100b)에 부착되는 것에 그 차이가 있다.

한편, 헤드 마운트 디스플레이 장치(100b)는, 스테레오 카메라(197a,197b)를 구비할 수 있으며, 헤드 마운트 디스플레이 장치(100b의 프로세서(170)는, 도 6a 내지 도 6b와 같이, 프로세서(170) 내에 영상 전처리부(410), 디스패러티 연산부(420), 오브젝트 검출부(434), 오브젝트 트래킹부(440), 및 어플리케이션부(450)를 구비할 수 있다.

그리고, 헤드 마운트 디스플레이 장치(100b의 프로세서(170)는, 헤드 마운트 디스플레이 장치(100b) 주변의, 사용자의 손, 이동 단말기 등과 같은 주변 기기 등을 검출, 확인, 트래킹할 수 있게 된다. 특히, 제스쳐를 인식할 수 있게 된다.

한편, 본 발명의 실시예에 따른, 헤드 마운트 디스플레이 장치(100b)는, 디스플레이(180)에 영상을 표시하도록 제어하며, 외부 기기에 접속되는 경우, 외부 기기를 나타내는 오브젝트를 표시할 수 있다. 이에 따라, 주변 외부 기기와의 연동을 간편하게 수행할 수 있게 된다.

특히, 헤드 마운트 디스플레이 장치(100b)는, 외부 기기의 디스플레이(180)에 표시되는 이미지에 대응하는 이미지를, 외부 기기를 나타내는 오브젝트 내에 표시할 수 있다.

한편, 헤드 마운트 디스플레이 장치(100b)는, 외부 기기에 접속되는 경우, 외부 기기에 미러링 이미지 전송 요청을 전송하고, 외부 기기로부터 수신되는 미러링 이미지를 외부 기기를 나타내는 오브젝트 내에 표시할 수 있다.

도 9는 본 발명의 또 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 일예를 도시한 도면이다.

도면을 참조하면, 도 9의 헤드 마운트 디스플레이 장치(100c)는, 도 1의 헤드 마운트 디스플레이 장치(100a)와 달리, 카메라(197c,197d)가 헤드 마운트 디스플레이 장치(100b)에 부착되는 것에 그 차이가 있다.

도 7의 헤드 마운트 디스플레이 장치(100b) 내의 카메라(197a,197b)는, RGB 기반의 카메라이나, 도 9의 헤드 마운트 디스플레이 장치(100c) 내의 카메라(197c,197d) 중 하나는 RGB 카메라이고, 다른 하나는 IR 카메라인 것에 그 차이가 있다.

예를 들어, 카메라(197c)가 RGB 카메라이고, 카메라(197d)가, 주변 오브젝트에 대한 거리 검출을 위한 IR 카메라일 수 있다.

도 9의 헤드 마운트 디스플레이 장치(100c)에 따르면, 거리 검출을 위한 IR 카메라(197d)가 배치되므로, 도 6a 내지 도 6b에서 기술한 프로세서(170) 내의 디스패러티 연산부(420) 등은 구비되지 않을 수 있다.

한편, IR 카메라(197d)를 이용한 거리 검출 수행 후, RGB 카메라(197c)로부터의 이미지에 기반한, 오브젝트 검출을 위해, 영상 전처리부(410), 오브젝트 검출부(434), 오브젝트 트래킹부(440), 및 어플리케이션부(450) 등이, 헤드 마운트 디스플레이 장치(100c) 내의 프로세서(170)에 구비될 수도 있다.

한편, 본 발명의 실시예에 따른, 헤드 마운트 디스플레이 장치(100c)는, 디스플레이(180)에 영상을 표시하도록 제어하며, 외부 기기에 접속되는 경우, 외부 기기를 나타내는 오브젝트를 표시할 수 있다. 이에 따라, 주변 외부 기기와의 연동을 간편하게 수행할 수 있게 된다.

특히, 헤드 마운트 디스플레이 장치(100c)는, 외부 기기의 디스플레이(180)에 표시되는 이미지에 대응하는 이미지를, 외부 기기를 나타내는 오브젝트 내에 표시할 수 있다.

한편, 헤드 마운트 디스플레이 장치(100c)는, 외부 기기에 접속되는 경우, 외부 기기에 미러링 이미지 전송 요청을 전송하고, 외부 기기로부터 수신되는 미러링 이미지를 외부 기기를 나타내는 오브젝트 내에 표시할 수 있다.

도 10은 도 9의 헤드 마운드 디스플레이 장치에서 거리 검출을 위한 광을 출력하는 것을 도시한다.

도면을 참조하면, IR 카메라(197d)는, 외부 대상물의 거리 검출을 위한 출력광을, 제1 방향 스캐닝 및 제2 방향 스캐닝에 의해, 외부로 출력하는 스캐너(145)를 구비할 수 있다.

이러한 스캐너(145)는, 소정의 프레임 레이트에 따라, 스캔 영역(710)에 대한, 순차적인 스캐닝을 수행하면서, 적외선광 기반의 출력광을 출력할 수 있다.

도면에서는 스캔 영역(710) 내의 외부 대상물(750)이 위치하는 것을 예시하며, IR 카메라(197d)는, 외부 대상물(750)에서 산란 또는 반사되는, 수신광을 수신할 수 있다. 그리고, 출력광과 수신광에 기초하여, 외부 대상물(750)을 포함하는 스캔 영역(710)에 대한 거리 검출을 수행할 수 있다.

한편, 이러한 스캐너(145)는, MEMS 스캐너로서, 소정의 프레임 레이트, 소정의 x축 방향 스캐닝 각도, 소정의 y축 방향 스캐닝 각도에 의해, 구동된다.

도 11은 도 9의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도의 일예이다.

도면을 참조하면, 도 9의 헤드 마운트 디스플레이 장치(100c)는, 센서부(130), 통신부(135), 메모리(140), 오디오 출력부(160), 프로세서(170), 디스플레이(180), 전원 공급부(190), 구동부(193) 및 렌즈부(195), RGB 카메라(197c), IR 카메라(197d)를 구비할 수 있다.

이 중 RGB 카메라(197c), IR 카메라(197d)만이 도 4에 대한 설명과 다르므로, RGB 카메라(197c), IR 카메라(197d), 특히, IR 카메라(197d)를 중심으로 기술한다.

IR 카메라(197d)는, IR 카메라(197d)는, TOF(Time of Flight) 방식으로 출력광을 출력한다. 이를 위해, IR 카메라(197d)는, 광원부(210), 스캐너(145), 광 검출부(280) 등을 구비할 수 있다.

스캐너(145)는, 입력되는 광을, 제1 방향 스캐닝 및 제2 방향 스캐닝을 순차 및 반복적으로 수행하여, 외부에 출력할 수 있다.

스캐너(145)에 입력되는 광은, 외부 대상물에 대한 거리 검출을 위한 출력광을 포함할 수 있다. 여기서 출력광은, 적외선광일 수 있다.

스캐너(145)는, 외부 스캔 영역에 대해, 좌에서 우 방향 스캐닝 및 우에서 좌방향 스캐닝을 순차 및 반복적으로 수행하면서, 외부 스캔 영역 전체에 대한 스캐닝을 프레임 단위로 수행할 수 있다. 그리고, 이러한 스캐닝에 의해, 외부 스캔 영역에 대해 출력할 수 있다.

한편, 프로세서(170)는, IR 카메라(197d)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, IR 카메라(197d) 내의 각 유닛의 동작을 제어할 수 있다.

한편, 프로세서(170)는, 외부 대상물의 거리 검출을 위해, 출력광에 대응하는 전기 신호를 구동부(185)로 전송할 수 있다.

프로세서(170)는, 스캐너(145)의 동작을 제어할 수 있다. 구체적으로, 제1 방향 스캐닝 및 제2 방향 스캐닝을 순차 및 반복적으로 수행하여, 외부에 출력광을 출력하도록 제어할 수 있다.

한편, 프로세서(170)는, 구동부(185)로 전송되는 출력광에 대응하는 전기 신호와, 광 검출부(280)에서 수신되는 수신광에 기초한 전기 신호에 기초하여, 외부 대상물에 대한 거리 검출을 수행할 수 있다.

예를 들어, 프로세서(170)는, 출력광에 대응하는 전기 신호와, 수신광에 대응하는 전기 신호의 위상 차이를 이용하여, 외부 스캔 영역(700)에 거리를 검출할 수 있다. 그리고, 프로세서(170)는, 프레임 단위로 검출되는 외부 스캔 영역에 대한 거리 정보에 기초하여, 사용자의 제스쳐 동작을 검출할 수 있다.

또한, 광원부(210)는, 적외선 광을 출력하는 적외선 광원부를 포함할 수 있다.

광검출부(280)는, 출력광에 대응하여 외부로부터 수신되는 수신광을 전기 신호로 변환할 수 있다. 이를 위해, 광검출부(280)는, 광 신호를 수신 신호, 즉 전기신호로 변환하는 포토 다이오드(Photodiode)를 포함할 수 있다. 특히, 광검출부(280)는, 고 광전 효율의 포토 다이오드로 외부 대상물로부터 산란된 수신광을 전기 신호로 변환해주는 Avalanche Photodiode를 포함할 수 있다.

한편, 광검출부(280)는, 출력광이 적외선광인 경우, 적외선광의 수신광을 수신하기 위해, CCD(Charge Coupled Device), 또는 CMOS 센서를 포함할 수도 있다.

한편, 도면에는 도시하지 않았으나, 광검출부(280)와 프로세서(170) 사이에, 아날로그 신호를 디지털 신호로 변환하는 샘플러(미도시)가 더 구비될 수 있다.

한편, 구동부(185)는, 프로세서(170)로부터 수신되는 출력광에 대응하는 전기 신호에 대응하여, 구동부(185) 내의 적외선 광원에서, 적외선광이 출력되도록 제어할 수 있다.

도 12는 도 9의 헤드 마운드 디스플레이 장의 구조도의 일예를 예시한 도면이다.

도 12의 IR 카메라(197d)는, 광원부(210), 집광부(212), 제1 광반사부(220)와 제2 광반사부(256), 스캐너(145), 프로세서(170), 구동부(185), 집광부(218), 적외선 투과 필터(282), 및 광검출부(280)를 구비할 수 있다.

광원부(210)는 적외선 방식의 출력광을 출력하는 출력광 광원부(210IR)를 구비할 수 있다. 출력광 광원부(210IR)는, 레이저 다이오드 또는 LED를 구비할 수 있다.

한편, 출력광 광원부(210IR)는, 구동부(185)로부터의 전기 신호에 의해, 구동될 수 있으며, 이러한 구동부(185)의 전기 신호는, 프로세서(170)의 제어에 의해, 생성될 수 있다. 이에 의해, 출력광 광원부(210IR)가 출력광을 출력할 수 있다.

출력광 광원부(210IR)에서 출력되는 광은, 집광부(212) 및 제1 광반사부(220)와 제2 광반사부(256)를 거쳐, 스캐너(145)로 입사된다.

집광부(212)는, 광원부(210)에서 출력되는 출력광을 시준한다(collimate). 이를 위해, 집광부(212)는, 출력광을 시준하기 위한 Collimate Lens를 구비할 수 있다.

제1 광반사부(220)와 제2 광반사부(256)는, Total Mirror(TM)를 구비할 수 있다.

그리고, 스캐너(145)는, 출력광(IR)을 스캐닝하여 외부 스캔 영역으로 출력한다. 외부 스캔 영역에서, 출력광(IR)이, 산란 또는 반사되어, 수신광이, IR 카메라(197d)로 입사될 수 있다. 구체적으로, 수신광이, 집광부(218), 적외선 투과 필터(282)를 거쳐, 광검출부(280)로 입력될 수 있다.

광검출부(280)는, 이러한 수신광을 전기 신호로 변환하고, 프로세서(170)는, 수신광과 출력광에 기초하여, 거리 검출을 수행할 수 있다.

한편, 프로세서(170)는, 출력광의 위상 신호와 수신광의 위상 신호의 위상 차이(Φ)에 따라, 거리 정보 레벨을 산출할 수 있다.

예를 들어, 위상 차이가 클수록, 외부 대상물이 멀리 있는 것이므로, 거리 정보 레벨이 크도록 설정할 수 있으며, 위상 차이가 작을수록, 외부 대상물이 가깝게 있는 것이므로, 거리 정보 레벨이 작도록 설정할 수 있다.

이러한, 거리 레벨 설정은, 상술한 바와 같이, 외부 스캔 영역(710)을 수평 스캐닝 및 수직 스캐닝하면서, 외부 스캔 영역(710) 내의 각 영역 별로 수행된다. 한편, 외부 스캔 영역(710)의 각 영역 별로, 거리 정보 레벨의 검출이 가능하다.

한편, 이하에서는, 헤드 마운트 디스플레이 장치와 주변 외부 기기와의 연동을 간편하게 수행하기 위한 다양한 방법을 기술한다.

이하의, 헤드 마운트 디스플레이 장치의 동작은, 상술한 도 1의 헤드 마운트 디스플레이 장치(100a), 도 8의 헤드 마운트 디스플레이 장치(100b), 도 9의 헤드 마운트 디스플레이 장치(100c)에 모두 적용 가능하다.

이에, 이하에서, 헤드 마운트 디스플레이 장치(100)로 명명하는 것은, 도 1, 도 8, 도 9의 헤드 마운트 디스플레이 장치에 모두 적용 가능하다.

또한, 이하에서, 카메라(197)로 명명하는 것은, 도 1의 카메라(597a,597b), 도 8의 카메라(197a,197b), 도 9의 카메라(197ㅊ,197d)를 모두 포함하는 의미일 수 있다.

도 13은 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이고, 도 14a 내지 도 21d는 도 13의 동작 방법을 설명하기 위해 참조되는 도면이다.

먼저, 도 13을 참조하면, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 디스플레이(180)에 영상을 표시하도록 제어한다(S1305).

표시되는 영상은, 메모리(140)에 저장된 영상, 카메라(197)에서 촬영된 영상 또는 외부 기기로부터 수신되는 영상일 수 있다.

도 14a는, 소정 영상이, 디스플레이(180)에 표시되어, 헤드 마운트 디스플레이 장치(100)를 착용한 사용자(700)가, 렌즈부(195)를 통해, 해당 영상을 인식하는 것을 예시한다.

다음, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 외부 기기 연동 입력이 있는 지 여부를 판단한다(S1310).

예를 들어, 외부 기기 연동 입력은, 메뉴 내에 표시되는 외부 기기 항목 또는 미러링 항목일 수 있다.

다른 예로, 카메라(197)에서 촬영된 이미지가, 외부 기기를 포함하는 경우, 프로세서(170)는, 외부 기기 연동 입력으로 판단할 수 있다.

또 다른 예로, 카메라(197)에서 촬영된 이미지에 기반하여, 프로세서(197)가 사용자 제스쳐를 인식하고, 인식된 사용자 제스쳐가, 외부 기기를 지향하거나, 선택하는 경우, 해당 제스쳐를 외부 기기 연동 입력으로 판단할 수 있다.

다음, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 외부 기기 연동 입력이 있는 경우, 외부 기기와 관련한 메뉴를 표시하도록 제어할 수 있다(S1315).

도 14b는 외부 기기 연동 입력에 따라, 복수의 항목을 포함하는 메뉴가 표시되는 것을 예시한다.

이때, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 표시되던 영상(1405)과 함께 메뉴(1407)가 표시되도록 제어할 수 있다.

한편, 메뉴(1407)는, 설정 항목, 외부 입력 항목(1407a), 미러링 항목(1407b), 게임 항목, 영화 항목 등을 포함할 수 있다.

헤드 마운트 디스플레이 장치(100)를 착용한 사용자(700)는, 영상(1405)과 함께 메뉴(1407)를 함께 인식하게 된다.

다음, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 메뉴 내의 소정 항목 선택시 외부 기기와 관련한 화면을 표시하도록 제어한다(S1320).

예를 들어, 프로세서(170)는, 메뉴 내의 소정 항목(외부 입력 항목 또는 미러링 항목) 선택시, 외부 기기와 접속을 시도하고, 외부기기와의 접속되는 경우, 외부 기기를 나타내는 오브젝트를 표시하도록 제어할 수 있다. 이에 따라, 외부 기기와의 연동을 간편하게 수행할 수 있게 된다.

외부 기기와의 접속을 위해, 프로세서(170)는, 통신부(135)를 통해, 외부 기기로의 페어링 신호를 전송하도록 제어하고, 통신부(135)를 통해, 페어링 응답 신호를 수신할 수 있다.

그리고, 프로세서(170)는, 페어링 응답 신호에 기초하여, 외부 기기에 접속할 수 있다.

다른 예로, 프로세서(170)는, 메뉴 내의 소정 항목(외부 입력 항목 또는 미러링 항목) 선택시, 도 14c와 같이, 외부 기기 선택을 위한 외부 기기 리스트 화면(1410)이 표시되도록 제어할 수 있다.

도 14c의 외부 기기 리스트 화면(1410)은, 이동 단말기 항목(600ai), 태블릿 항목(600bi), 웨어러블 항목(600ci), 노트북 항목(600di), 영상표시장치 항목(600ei) 등을 포함할 수 있다.

한편, 프로세서(170)는, 카메라(197)를 통해 사용자 손을 포함하는 이미지가 촬영되는 경우, 사용자의 손(797)을 나타내는 오브젝트(798i)가 외부 기기 리스트 화면(1410) 내에 표시되도록 제어할 수 있다.

프로세서(170)는, 카메라(197)에서 촬영된 이미지에 기초하여 사용자의 제스쳐를 인식하고, 사용자의 제스쳐 입력에 의해, 외부 기기가 선택되는 경우, 외부 기기에 접속하도록 제어하며, 외부 기기를 나타내는 오브젝트를 표시하도록 제어할 수 있다.

도면에서는, 사용자의 손(797)을 나타내는 오브젝트(798i)에 기초하여, 이동 단말기 항목(600ai)이 선택되는 것을 예시한다.

이에, 프로세서(170)는, 도 14d와 같이, 이동 단말기를 나타내는 오브젝트(600ai)가 디스플레이에 표시되도록 제어할 수 있다. 이에 의해, 이동 단말기와의 연동을 간편하게 수행할 수 있게 된다.

한편, 프로세서(170)는, 이동 단말기 항목(600ai)의 선택시, 이동 단말기(600)에 페어링 신호를 전송하고, 이동 단말기(600)로부터 페어링 응답 신호를 수신하여, 이동 단말기(600)에 접속할 수 있다.

한편, 프로세서(170)는, 이동 단말기(600)에 접속한 경우, 미러링 모드가 수행되도록 제어할 수 있다.

즉, 프로세서(170)는, 이동 단말기(600)에 표시되는 이미지를 미러링 이미지로서, 이동 단말기(600)로부터 수신하여, 이동 단말기를 나타내는 오브젝트(600ai) 내에 표시되도록 제어할 수 있다. 이에 따라, 이동 단말기와의 연동을 간편하게 수행할 수 있게 된다.

다음, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 외부 기기로의 데이터 전송 입력이 있는 경우(S1325), 외부 비기로 데이터 전송이 수행되도록 제어한다(S1330).

예를 들어, 프로세서(170)는, 사용자 입력에 기초하여, 접속된 이동 단말기(600)에, 카메라(197)에서 촬영된 이미지를 전송하도록 제어할 수 있다. 이에 대해서는, 도 19a 이하를 참조하여 상세히 기술한다.

한편, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 외부 기기의 디스플레이(180)에 표시되는 이미지에 대응하는 이미지를, 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어할 수 있다.

이때, 한편, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 외부 기기에 접속되는 경우, 외부 기기에 미러링 이미지 전송 요청을 전송하고, 외부 기기로부터 수신되는 미러링 이미지를 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어할 수 있다.

한편, 외부 기기 선택은 도 14c와 달리 다양한 방법이 가능하다.

예를 들어, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 카메라(197)에서 촬영된 이미지 중 외부 기기가 포함되는 경우, 외부 기기에 접속하도록 제어하며, 외부 기기를 나타내는 오브젝트를 표시하도록 제어할 수 있다.

다른 예로, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 카메라(197)에서 촬영된 이미지에 기초하여 사용자의 제스쳐를 인식하고, 사용자의 제스쳐 입력에 의해, 외부 기기가 선택되는 경우, 외부 기기에 접속하도록 제어하며, 외부 기기를 나타내는 오브젝트를 표시하도록 제어할 수 있다.

도 15a는, 헤드 마운트 디스플레이 장치(100)에 소정 영상(1405)가 표시되는 것을 예시한다.

한편, 메뉴 표시 입력이 있는 경우, 도 15b와 같이, 설정 항목, 외부 입력 항목(1407a), 미러링 항목(1407b), 게임 항목, 영화 항목 등을 포함하는 메뉴(1407)가, 영상(1405)와 함께 표시될 수 있다.

한편, 헤드 마운트 디스플레이 장치(100)의 카메라(197)를 통해, 영상표시장치(600e)와 이동 단말기(600a)가 촬영되는 경우, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 도 15c와 같이, 이동 단말기 오브젝트(600ai), 영상표시장치 오브젝트(600ei)가 표시되도록 제어할 수 있다.

이때, 프로세서(170)는, 이동 단말기(600a)와 영상표시장치(600e)에 각각 접속하여, 이동 단말기(600a)와 영상표시장치(600e)의 각 화면 이미지를 수신할 수 있다. 그리고, 프로세서(170)는, 영상표시장치 오브젝트(600ei) 내에, 영상표시장치(600e)에 표시되는 이미지에 대응하는 이미지가 표시되록 제어할 수 있다.

한편, 헤드 마운트 디스플레이 장치(100)의 카메라(197)를 통해, 영상표시장치(600e)와 웨어러블 기기(600c)가 촬영되는 경우, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 도 15d와 같이, 웨어러블 기기 오브젝트(600ci), 영상표시장치 오브젝트(600ei)가 표시되도록 제어할 수 있다.

이때, 프로세서(170)는, 웨어러블 기기(600c)와 영상표시장치(600e)에 각각 접속하여, 웨어러블 기기(600c)와 영상표시장치(600e)의 각 화면 이미지를 수신할 수 있다. 그리고, 프로세서(170)는, 영상표시장치 오브젝트(600ei) 내에, 영상표시장치(600e)에 표시되는 이미지에 대응하는 이미지가 표시되록 제어할 수 있다.

한편, 프로세서(170)는, 외부 기기를 나타내는 오브젝트 표시된 상태에서, 외부 기기에, 메일, 메시지, 콜(call) 또는 알람이 수신되는 경우, 외부 기기를 나타내는 오브젝트를 표시한 상태에서, 메일, 메시지, 콜 또는 알람을 나타내는 오브젝트가 표시되도록 제어할 수 있다.

한편, 프로세서(170)는, 외부 기기를 나타내는 오브젝트 표시 이후, 외부 기기에, 메일, 메시지, 콜(call) 또는 알람이 수신되는 경우, 메일, 메시지, 콜 또는 알람을 나타내는 오브젝트가 표시되도록 제어할 수 있다.

도 16은 이동 단말기를 나타내는 오브젝트 표시 이후, 이동 단말기에, 콜 및 메시지가 수신된 경우, 콜 및 메시지를 나타내는 오브젝트(1712)가 표시되는 것을 예시한다.

특히, 프로세서(170)는, 카메라(197)를 통해, 이동 단말기(600)를 촬영하는 경우, 이동 단말기(600)에 접속하여, 콜 및 메시지 정보를 수신할 수 있다. 그리고, 촬영된 이미지 상에, 콜 및 메시지를 나타내는 오브젝트(1712)가 표시되도록 제어할 수 있다.

이에 따라, 헤드 마운트 디스플레이 장치(100)를 착용한 사용자가, 소정 영상을 시청하면서, 이동 단말기에 수신된 콜 및 메시지를 간편하게 확인할 수 있게 된다.

도 17은 이동 단말기를 나타내는 오브젝트 표시 이후, 이동 단말기에, 폰 메시지가 수신된 경우, 폰 메시지를 나타내는 오브젝트(1607)가 표시되는 것을 예시한다. 이에 따라, 헤드 마운트 디스플레이 장치(100)를 착용한 사용자가, 소정 영상을 시청하면서, 이동 단말기에 수신된 폰 메시지를 간편하게 확인할 수 있게 된다.

도 18은, 사용자가 이동 단말기를 들고 있는 경우, 카메라(197)를 통해 촬영된 영상(1709) 상에, 이동 단말기 오브젝트(600ai)가 표시되는 것을 예시한다.

프로세서(170)는, 이동 단말기에 접속하여, 이동 단말기에 표시되는 이미지에 대응하는 이미지(1709)가, 이동 단말기 오브젝트(600ai)에 표시되도록 제어할 수 있다.

한편, 프로세서(170)는, 외부 기기를 나타내는 오브젝트 내의 가상 카메라 항목이 선택되어, 캡쳐 동작이 수행되는 경우, 카메라(197)에서 촬영된 이미지를, 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어할 수 있다.

그리고, 프로세서(170)는, 외부 기기를 나타내는 오브젝트 내에 표시되는 촬영 이미지에 대해, 외부 기기 또는 다른 외부 기기로의 전송 입력이 있는 경우, 외부 기기 또는 다른 외부 기기로 촬영 이미지를 전송하도록 제어할 수 있다. 이에 대해서는, 도 19a 내지 도 19e를 참조하여 기술한다.

도 19a는 영상(1905) 상에 이동 단말기 오브젝트(600ai)가 표시되는 것을 예시한다.

한편, 이동 단말기 오브젝트(600ai) 내에 다양한 애플리케이션 항목들이 표시될 수 있다.

이 중, 사용자 제스쳐 입력 등에 의해, 복수의 애플리케이션 항목 중 가상 카메라 항목(1901)이 선택되는 경우, 프로세서(170)는, 도 19b와 같이, 캡쳐된 이미지와, 캡쳐를 위한 오브젝트(1909)가 표시되도록 제어한다.

이때 캡쳐된 이미지(1905a)는, 헤드 마운트 디스플레이 장치(100)에서 재생 중인 영상의 캡쳐 이미지일 수 있다.

즉, 가상의 카메라 항목을 이용하여, 현재 재생 중인 영상을 캡쳐할 수 있다.

다음, 프로세서(170)는, 캡쳐를 위한 오브젝트(1909)가 선택되는 경우, 도 19c와 공유를 위한 오브젝트가 표시되도록 제어할 수 있다. 특히, 이동 단말기 항목(1919)이 선택되는 경우, 도 19d와 같이, 이동 단말기(600)로 캡쳐된 이미지(1905a)가 전송되도록 제어할 수 있다. 이에 따라, 재생 중인 영상을 간단하게 캡쳐하여, 이동 단말기 등으로 공유할 수 있게 된다.

한편, 도 19d와 달리, 영상표시장치 항목(1929)이 선택되는 경우, 도 19e와 같이, 영상표시장치(600e)로 캡쳐된 이미지(1905a)가 전송되도록 제어할 수 있다. 이에 따라, 영상표시장치(600e)는 수신된 이미지(1905b)를 표시할 수 있다. 결국, 헤드 마운트 디스플레이 장치(100)에서 재생 중인 영상을 간단하게 캡쳐하여, 영상표시장치(600e) 등으로 공유할 수 있게 된다.

한편, 프로세서(170)는, 카메라(197)에서 촬영된 이미지를 표시한 상태에서, 외부 기기에 접속되는 경우, 촬영 이미지 상에, 외부 기기를 나타내는 오브젝트를 표시하도록 제어하며, 외부 기기를 나타내는 오브젝트 내의 가상 카메라 항목이 선택되어, 캡쳐 동작이 수행되는 경우, 카메라(197)에서 촬영된 이미지를, 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어할 수 있다.

그리고, 프로세서(170)는, 외부 기기를 나타내는 오브젝트 내에 표시되는 촬영 이미지에 대해, 외부 기기 또는 다른 외부 기기로의 전송 입력이 있는 경우, 외부 기기 또는 다른 외부 기기로 촬영 이미지를 전송하도록 제어할 수 있다. 이에 대해서는, 도 20a 내지 도 20e를 참조하여 기술한다.

도 20a는, 카메라(197)에서 촬영된 이미지(1705) 상에 이동 단말기 오브젝트(600ai)가 표시되는 것을 예시한다.

이 중, 사용자 제스쳐 입력 등에 의해, 복수의 애플리케이션 항목 중 가상 카메라 항목(1901)이 선택되는 경우, 프로세서(170)는, 도 20b와 같이, 캡쳐된 이미지와, 캡쳐를 위한 오브젝트(1909)가 표시되도록 제어한다.

이때 캡쳐된 이미지(1705a)는, 헤드 마운트 디스플레이 장치(100)의 카메라(197)에서 촬영된 이미지에 대응하는 이미지일 수 있다. 예를 들어, 헤드 마운트 디스플레이 장치(100)의 카메라(197)에서 촬영된 이미지가 축소 스케일링된 이미지일 수 있다.

즉, 가상의 카메라 항목을 이용하여, 헤드 마운트 디스플레이 장치(100)의 카메라(197)에서 촬영된 이미지를, 이동 단말기에 대응하는 스케일로 간단하게 캡쳐할 수 있다.

다음, 프로세서(170)는, 캡쳐를 위한 오브젝트(1909)가 선택되는 경우, 도 20c와 공유를 위한 오브젝트가 표시되도록 제어할 수 있다. 특히, 이동 단말기 항목(1919)이 선택되는 경우, 도 20d와 같이, 이동 단말기(600)로 캡쳐된 이미지(1705a)가 전송되도록 제어할 수 있다. 이에 따라, 헤드 마운트 디스플레이 장치(100)의 카메라(197)에서 촬영된 이미지를, 간단하게 캡쳐하여, 이동 단말기 등으로 공유할 수 있게 된다.

한편, 도 20d와 달리, 영상표시장치 항목(1929)이 선택되는 경우, 도 20e와 같이, 영상표시장치(600e)로 캡쳐된 이미지(1705a)가 전송되도록 제어할 수 있다. 이에 따라, 영상표시장치(600e)는 수신된 이미지(1705b)를 표시할 수 있다. 결국, 헤드 마운트 디스플레이 장치(100)의 카메라(197)에서 촬영된 이미지를, 간단하게 캡쳐하여, 영상표시장치(600e) 등으로 공유할 수 있게 된다.

한편, 프로세서(170)는, 외부 기기의 디스플레이(180)에 표시되는 이미지에 대응하는 이미지를, 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어하며, 외부 기기의 카메라(197)가 활성화되어 촬영을 수행하는 경우, 외부 기기로부터 촬영 이미지를 수신하고, 외부 기기를 나타내는 오브젝트 내에 수신되는 촬영 이미지를 표시하도록 제어할 수 있다.

그리고, 프로세서(170)는, 외부 기기를 나타내는 오브젝트 내에 표시되는 촬영 이미지에 대해, 다른 외부 기기로의 전송 입력이 있는 경우, 다른 외부 기기로 촬영 이미지를 전송하도록 제어할 수 있다. 이에 대해서는, 도 21a 내지 도 21d를 참조하여 기술한다.

도 21a는, 카메라(197)에서 촬영된 이미지(1705) 상에 이동 단말기 오브젝트(600ai)가 표시되는 것을 예시한다.

한편, 도 21a는 사용자가 직접 이동 단말기를 조작하는 경우를 가정한다. 이에 따라, 이동 단말기와 헤드 마운트 디스플레이 장치(100)는 서로 페어링되어, 미러링 이미지를 교환할 수 있다.

특히, 이동 단말기에서 표시되는 이미지(2107)가 미러링 이미지로서, 헤드 마운트 디스플레이 장치(100)로 전송될 수 있다.

프로세서(170)는, 수신되는 이미지를 이용하여, 이동 단말기 오브젝트(600ai) 내에, 이동 단말기의 홈 화면 이미지(1907)가 표시되도록 제어할 수 있다.

한편, 이동 단말기에 대한 사용자 조작에 의해, 이동 단말기 내에서 카메라 항목이 선택되는 경우, 이동 단말기(600)는, 도 21b와 같이, 이동 단말기 내에 캡쳐된 이미지와, 캡쳐를 위한 오브젝트를 포함하는 화면이 표시될 수 있다.

이에 따라, 헤드 마운트 디스플레이 장치(100)의 프로세서(170)는, 이동 단말기와의 미러링에 의해, 캡쳐된 이미지(1705a)와, 캡쳐를 위한 오브젝트(2009)가 표시되도록 제어할 수 있다.

이때 캡쳐된 이미지(1705a)는, 이동 단말기의 카메라에서 촬영된 이미지에 대응하는 이미지일 수 있다.

다음, 프로세서(170)는, 사용자 제스쳐 등에 의해, 헤드 마운트 디스플레이 장치(100)에 표시되는 캡쳐를 위한 오브젝트(2009)가 선택되는 경우, 도 21c와 같이, 이미지 리스트가 표시되도록 제어할 수 있다.

이때, 프로세서(170)는, 캡쳐를 위한 오브젝트(2009)가 선택된 후, 이미지 리스트 표시 요청을 이동 단말기로 전송하고, 이동 단말기로부터 이미지 리스트 화면을 수신할 수 있다. 이에 따라, 프로세서(170)는, 도 21c와 같이, 이미지 리스트가 표시되도록 제어할 수 있다.

한편, 프로세서(170)는, 이미지 리스트 내의 이미지(1705)가 선택되는 경우, 또는 도 21b에서 캡쳐를 위한 오브젝트(2009)가 선택되는 경우, 도 21d와 같이, 공유를 위한 오브젝트가 표시되도록 제어할 수 있다.

특히, 영상표시장치(600e)가 선택되는 경우, 도 21d와 같이, 영상표시장치(600e)로 캡쳐된 이미지(1705a)가 전송되도록 제어할 수 있다. 이에 따라, 이동 단말기에서 촬영된 이미지를, 간단하게 영상표시장치(600e) 등으로 공유할 수 있게 된다.

프로세서(170)는, 센서부(130)를 통해, 사용자의 머리 움직임을 감지하고, 사용자의 머리 움직임에 대응하여, 표시 영상을 이동 표시하도록 제어할 수 있다.

예를 들어, 프로세서(170)는, 도 14a 내지 도 21d에 도시된, 헤드 마운트 디스플레이 장치(100)에 표시되는 영상을, 사용자의 머리 움직임에 대응하여, 표시 영상을 이동 표시하도록 제어할 수 있다.

본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 헤드 마운트 디스플레이 장치의 동작방법은 헤드 마운트 디스플레이 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

사용자의 머리에 착용 가능한 헤드 마운트 디스플레이 장치에 있어서,
디스플레이;
상기 디스플레이에 표시되는 영상을 확대하는 렌즈부;
외부 기기와 데이터를 교환하는 통신부;
상기 디스플레이에 영상을 표시하도록 제어하며, 외부 기기에 접속되는 경우, 외부 기기를 나타내는 오브젝트를 표시하도록 제어하는 프로세서;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 외부 기기의 디스플레이에 표시되는 이미지에 대응하는 이미지를, 상기 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제2항에 있어서,
상기 프로세서는,
상기 외부 기기에 접속되는 경우, 상기 외부 기기에 미러링 이미지 전송 요청을 전송하고, 상기 외부 기기로부터 수신되는 미러링 이미지를 상기 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
카메라;를 더 포함하고,
상기 프로세서는,
상기 카메라에서 촬영된 이미지 중 외부 기기가 포함되는 경우, 상기 외부 기기에 접속하도록 제어하며, 상기 외부 기기를 나타내는 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
카메라;를 더 포함하고,
상기 프로세서는,
상기 카메라에서 촬영된 이미지에 기초하여 사용자의 제스쳐를 인식하고, 상기 사용자의 제스쳐 입력에 의해, 상기 외부 기기가 선택되는 경우, 상기 외부 기기에 접속하도록 제어하며, 상기 외부 기기를 나타내는 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 외부 기기를 나타내는 오브젝트 표시된 상태에서, 상기 외부 기기에, 메일, 메시지, 콜(call) 또는 알람이 수신되는 경우, 상기 외부 기기를 나타내는 오브젝트를 표시한 상태에서, 상기 메일, 메시지, 콜 또는 알람을 나타내는 오브젝트가 표시되도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 외부 기기를 나타내는 오브젝트 표시 이후, 상기 외부 기기에, 메일, 메시지, 콜(call) 또는 알람이 수신되는 경우, 상기 메일, 메시지, 콜 또는 알람을 나타내는 오브젝트가 표시되도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
외부 기기 연동 입력이 있는 경우, 상기 외부 기기와 관련한 메뉴를 표시하도록 제어하며, 메뉴 내의 외부 입력 항목 또는 미러링 항목 선택에 기초하여, 외부 기기에 접속하도록 제어하며, 상기 외부 기기에 접속되는 경우, 상기 외부 기기를 나타내는 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제8항에 있어서,
상기 프로세서는,
상기 메뉴 내의 외부 입력 항목 또는 미러링 항목 선택에 기초하여, 외부 기기 선택을 위한 외부 기기 리스트 화면을 표시하도록 제어하고, 상기 외부 기기 화면 리스트 내의 소정 외부 기기 항목이 선택되는 경우, 해당 외부 기기에 접속하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
카메라;를 더 포함하고,
상기 프로세서는,
상기 외부 기기를 나타내는 오브젝트 내의 가상 카메라 항목이 선택되어, 캡쳐 동작이 수행되는 경우, 상기 카메라에서 촬영된 이미지를, 상기 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제10항에 있어서,
상기 프로세서는,
상기 외부 기기를 나타내는 오브젝트 내에 표시되는 촬영 이미지에 대해, 상기 외부 기기 또는 다른 외부 기기로의 전송 입력이 있는 경우, 상기 외부 기기 또는 다른 외부 기기로 상기 촬영 이미지를 전송하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
카메라;를 더 포함하고,
상기 프로세서는,
상기 카메라에서 촬영된 이미지를 표시한 상태에서, 상기 외부 기기에 접속되는 경우, 상기 촬영 이미지 상에, 외부 기기를 나타내는 오브젝트를 표시하도록 제어하며,
상기 외부 기기를 나타내는 오브젝트 내의 가상 카메라 항목이 선택되어, 캡쳐 동작이 수행되는 경우, 상기 카메라에서 촬영된 이미지를, 상기 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제12항에 있어서,
상기 프로세서는,
상기 외부 기기를 나타내는 오브젝트 내에 표시되는 촬영 이미지에 대해, 상기 외부 기기 또는 다른 외부 기기로의 전송 입력이 있는 경우, 상기 외부 기기 또는 다른 외부 기기로 상기 촬영 이미지를 전송하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
상기 프로세서는,
상기 외부 기기의 디스플레이에 표시되는 이미지에 대응하는 이미지를, 상기 외부 기기를 나타내는 오브젝트 내에 표시하도록 제어하며,
상기 외부 기기의 카메라가 활성화되어 촬영을 수행하는 경우, 상기 외부 기기로부터 촬영 이미지를 수신하고, 상기 외부 기기를 나타내는 오브젝트 내에, 수신되는 촬영 이미지를 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제14항에 있어서,
상기 프로세서는,
상기 외부 기기를 나타내는 오브젝트 내에 표시되는 촬영 이미지에 대해, 다른 외부 기기로의 전송 입력이 있는 경우, 상기 다른 외부 기기로 상기 촬영 이미지를 전송하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.
제1항에 있어서,
상기 사용자의 머리의 움직임을 감지하는 센서부;를 더 포함하고,
상기 프로세서는,
상기 사용자의 머리 움직임에 대응하여, 상기 표시 영상을 이동 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.