KR20180010845A - Hmd 및 그 hmd의 제어 방법 - Google Patents

Abstract

본 발명은 HMD 및 그 HMD의 제어 방법에 관한 것으로, HMD(Head Mounted Display)에 있어서, 사용자의 입력을 감지하는 감지부와, 적어도 하나의 VR(Virtual Reality) 컨텐츠를 저장하는 메모리와, 어느 하나의 VR 컨텐츠가 재생되면, 재생되는 VR 컨텐츠로부터 상기 HMD를 착용한 사용자의 두부가 향하는 방향에 대응되는 화각의 영상을 표시하는 디스플레이부, 및, 상기 감지부를 통해 현재 재생되는 VR 컨텐츠의 편집을 위한 사용자의 입력이 감지되면, 상기 감지된 사용자의 입력에 근거하여 상기 VR 컨텐츠의 제1 재생 시점으로부터 제2 재생 시점까지의 구간을 편집 구간으로 설정하며, 상기 어느 하나의 VR 컨텐츠가 재생되는 동안 설정된 적어도 하나의 편집 구간에 근거하여, 상기 어느 하나의 VR 컨텐츠와 재생 시간이 서로 다르거나, 또는 특정 재생 시점의 영상 중 특정 화각의 영상이 상기 어느 하나의 VR 컨텐츠의 영상과 서로 다른 편집 컨텐츠를 생성하는 제어부를 포함하는 것을 특징으로 한다.

Description

HMD 및 그 HMD의 제어 방법{HEAD MOUNTED DISPLAY AND METHOD FOR CONTROLLING THE SAME}

본 발명은 HMD 및 그 HMD의 제어 방법에 관한 것이다.

최근 사람의 신체의 일부에 장착가능 하도록 형성되는 웨어러블(wearable-type) 글래스 타입 단말기가 개발되고 있다. 그리고 사용자의 두부에 장착되는 글래스 타입(glass type) 단말기는 헤드 마운티드 디스플레이(HMD)에 해당될 수 있다.

헤드 마운티드 디스플레이(HMD)란, 사용자의 두부에 착용되며, 사용자의 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치를 말하는 것으로, TV나 또는 화면보다 더 거대한 영상으로 사용자가 영상 컨텐츠를 즐길 수 있도록 하거나. 또는 가상 공간 화면을 표시하여 사용자가 가상 공간 체험을 즐길 수 있도록 할 수도 있다.

한편 이러한 가상 공간 체험은 기 저장된 특정 형태의 영상 컨텐츠의 재생으로 이루어질 수 있다. 예를 들어 상기 특정 형태의 영상 컨텐츠는(이하 가상 현실(VR : Virtual Reality) 컨텐츠), 일정 시간동안 360도 전방향 또는 180도의 화각으로 촬영된 영상 컨텐츠일 수 있다. 이에 따라 사용자는 두부를 회전하여 360도 전방향 또는 180도 화각의 영상을 시청할 수 있다.

한편, 상술한 바와 같이 사용자의 두부에 장착되는 HMD의 특성상, 사용자가 VR 컨텐츠를 시청할 때에, 재생되는 VR 컨텐츠를 제어하기 위한 입력을 인가하기가 쉽지 않다. 이는 보다 사용자의 현실감을 높이기 위해, HMD는 사용자의 시야를 외부로부터 완전히 차폐하는 형태로 현성되기 때문이다. 이에 따라 사용자는 VR 컨텐츠를 재생하기 위해서는 육안으로 키를 확인하지 못하는 상태에서 HMD 또는 별도로 구비된 컨트롤러를 이용하여 사용자의 입력을 인가하거나, 또는 사용자의 두부 움직임이나 눈 깜빡임등을 이용하여 사용자의 입력을 인가하고 있다.

한편 이처럼 사용자의 입력을 인가하기 어렵기 때문에, HMD에서 재생되는 VR 컨텐츠는 제어하기가 쉽지 않다. 따라서 사용자는 한번 VR 컨텐츠를 재생하면, 그 VR 컨텐츠의 재생을 완전히 종료하더가(HMD를 오프(off)하는 경우), 그 VR 컨텐츠의 재생이 완료되기까지 VR 컨텐츠를 모두 시청하여야 했다. 따라서 사용자가 상기 재생되는 VR 컨텐츠로부터 시청하기를 원하지 않는 부분을 제거할 수 있는, 즉 VR 컨텐츠를 편집할 수 있도록 하는 방안이 활발하게 연구 중인 실정이다.

본 발명은, HMD에서 재생될 수 있는 VR 컨텐츠를 보다 쉽고 빠르게 편집할 수 있도록 하는 HMD 및 그 HMD의 제어 방법을 제공하는 것이다.

본 발명의 다른 목적은, HMD에서 사용자가 VR 컨텐츠를 시청하는 상태에서, 상기 VR 컨텐츠를 편집할 수 있도록 하는 HMD 및 그 HMD의 제어 방법을 제공하는 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은, HMD(Head Mounted Display)에 있어서, 사용자의 입력을 감지하는 감지부와, 적어도 하나의 VR(Virtual Reality) 컨텐츠를 저장하는 메모리와, 어느 하나의 VR 컨텐츠가 재생되면, 재생되는 VR 컨텐츠로부터 상기 HMD를 착용한 사용자의 두부가 향하는 방향에 대응되는 화각의 영상을 표시하는 디스플레이부, 및, 상기 감지부를 통해 현재 재생되는 VR 컨텐츠의 편집을 위한 사용자의 입력이 감지되면, 상기 감지된 사용자의 입력에 근거하여 상기 VR 컨텐츠의 제1 재생 시점으로부터 제2 재생 시점까지의 구간을 편집 구간으로 설정하며, 상기 어느 하나의 VR 컨텐츠가 재생되는 동안 설정된 적어도 하나의 편집 구간에 근거하여, 상기 어느 하나의 VR 컨텐츠와 재생 시간이 서로 다르거나, 또는 특정 재생 시점의 영상 중 특정 화각의 영상이 상기 어느 하나의 VR 컨텐츠의 영상과 서로 다른 편집 컨텐츠를 생성하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 어느 하나의 VR 컨텐츠가 재생되는 동안 설정된 편집 구간이 복수인 경우, 상기 복수의 편집 구간들을 시간 순서대로 연결하여 상기 편집 컨텐츠를 생성하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 편집 구간이 설정되면, 상기 편집 구간의 시작 시점 및 끝 시점의 정보 및, 상기 어느 하나의 VR 컨텐츠로부터 상기 설정된 편집 구간 동안 상기 디스플레이부를 통해 표시된 영상의 화각에 대한 정보를 더 저장하며, 상기 편집 컨텐츠가 생성되면, 상기 저장된 각 화각 정보에 근거하여 상기 편집 구간들 각각마다 기준 화각을 다르게 설정하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부 상의 일 영역에 표시되는 기 설정된 그래픽 객체에 대한 사용자의 입력이 감지되면, 상기 사용자의 입력이 감지된 시점을 상기 편집 구간을 설정하기 위한 제1 재생 시점으로 인식하고, 현재 디스플레이부 상에 표시되는 VR 컨텐츠의 영상 중 일 영역에 대한 사용자의 다른 입력에 근거하여, 상기 일 영역에 포함된 객체들 중 적어도 하나를 삭제하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 일 영역에 포함된 객체들 중 적어도 하나의 삭제가 선택되면, 상기 삭제가 선택된 적어도 하나의 객체가 표시되는 영역의 주변과 같은 색상 패턴을 가지는 이미지를 생성하여, 상기 삭제가 선택된 적어도 하나의 객체가 표시되는 영역에 덮어씌우는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 HMD는, 기 설정된 이동 단말기와 연결되며, 상기 제어부는, 상기 이동 단말기에 구비된 적어도 하나의 센서로부터 감지되는 감지값 또는 상기 이동 단말기에 구비된 터치 스크린 상에 인가되는 사용자의 터치 입력을, 현재 재생되는 VR 컨텐츠에 대한 사용자의 입력으로 감지하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 어느 하나의 VR 컨텐츠의 재생이 종료되는 경우, 사용자가 상기 HMD를 착용하고 있는지 여부에 근거하여, 상기 디스플레이부 또는 연결된 이동 단말기에 구비된 터치 스크린을 통해, 상기 어느 하나의 VR 컨텐츠가 재생되는 동안 설정된 편집 구간들에 대한 정보를 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 편집 구간들에 대한 정보는, 상기 어느 하나의 VR 컨텐츠의 총 재생 시간과, 상기 VR 컨텐츠의 총 재생 시간 중 상기 현재 설정된 편집 구간들 각각의 시간 영역들이 구분되게 표시되는 그래픽 객체와, 상기 편집 구간들 각각으로부터 생성된 대표 이미지들을 포함하며, 상기 대표 이미지들은, 상기 편집 구간들 각각에 대응되며, 상기 편집 구간들 각각에 기 설정된 기준 화각에 대응되는 상기 편집 구간들 각각의 일 재생 시점의 영상들임을 특징으로 한다.

일 실시 예에 있어서, 상기 메모리는, 기 설정된 각도 이상의 화각을 가지는 이미지를 상기 VR 컨텐츠로 더 저장하며, 상기 제어부는, 상기 기 설정된 각도 이상의 화각을 가지는 이미지가 선택되면, 상기 HMD를 착용한 사용자의 두부가 향하는 방향에 대응되는 상기 이미지의 일부가 상기 디스플레이부 상에 표시되도록 제어하며, 상기 사용자의 입력이 감지되는 경우, 상기 사용자의 두부가 향하는 방향에 대응되는 상기 이미지의 일부를 저장하고, 상기 저장된 이미지가 복수인 경우, 상기 저장된 이미지들의 개수에 따른 면들로 형성되는 다면체 형태의 갤러리 공간을 상기 편집 컨텐츠로 생성하는 것을 특징으로 한다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은, 사용자로부터 선택된 VR(Virtual Reality) 컨텐츠를, 연결된 HMD(Head Mounted Display)를 통해 재생하는 이동 단말기에 있어서, 화상 정보를 표시하고 사용자의 입력을 감지하는 터치 스크린 및, 상기 VR 컨텐츠가 재생되는 동안, 감지된 사용자의 입력에 근거하여 상기 VR 컨텐츠의 제1 재생 시점으로부터 제2 재생 시점까지의 구간을 편집 구간으로 설정하며, 상기 VR 컨텐츠의 재생이 종료되면 상기 설정된 적어도 하나의 편집 구간에 대한 정보가 표시되도록 상기 터치 스크린을 제어 및, 상기 적어도 하나의 편집 구간에 근거하여, 상기 VR 컨텐츠와 재생 시간이 서로 다르거나, 또는 특정 재생 시점의 영상 중 특정 화각의 영상이 상기 VR 컨텐츠의 영상과 서로 다른 편집 컨텐츠를 생성하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 적어도 하나의 편집 구간 중 어느 하나가 선택되면, 상기 선택된 편집 구간에 대응되는 상기 VR 컨텐츠의 일 시점의 영상 중, 사용자로부터 선택된 화각에 대응되는 부분을 상기 터치 스크린 상에 표시하고, 상기 터치 스크린 상에 인가되는 터치 입력에 근거하여, 상기 터치 스크린 상에 표시되는 부분 영상의 일 영역 또는 상기 일 영역에 표시되는 적어도 하나의 객체를 편집하는 것을 특징으로 한다.

또한 본 발명의 일 실시 예에 따르면, 본 발명은, HMD에 있어서, 사용자의 입력을 감지하는 감지부와, 일정 수준 이상의 화각을 가지는 정지 영상 형태의 VR(Virtual Reality) 컨텐츠를 저장하는 메모리와, 상기 VR 컨텐츠 중, 상기 HMD를 착용한 사용자의 두부가 향하는 방향에 대응되는 일 영역의 영상을 표시하는 디스플레이부, 및, 상기 감지부를 통해 상기 디스플레이부 상에 표시되는 일 영역에 대한 사용자의 입력이 감지되면, 상기 VR 컨텐츠의 일 영역을 사용자의 선택에 따른 편집 영역으로 설정 및, 상기 편집 영역으로 설정된 VR 컨텐츠의 일 영역에 대응되는 정보를 상기 VR 컨텐츠의 부가 정보로서 저장하며, 상기 VR 컨텐츠의 부가 정보에 대한 사용자의 선택에 근거하여, 상기 편집 영역에 대응되는 상기 VR 컨텐츠의 일 영역에 대응되는 이미지를 상기 디스플레이부 상에 표시하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 사용자의 두부가 향하는 방향이 변경되는 경우, 상기 두부가 향하는 방향에 따라 상기 VR 컨텐츠의 다른 영역이 상기 디스플레이부 상에 표시되도록 상기 디스플레이부를 제어 및, 사용자의 입력에 따라 상기 다른 영역을, 다른 편집 영역으로 설정하며, 설정된 편집 영역이 복수인 경우, 상기 복수의 편집 영역 각각을 구분하기 위한 복수의 그래픽 객체를 상기 디스플레이부 상에 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 복수의 그래픽 객체는, 상기 편집 영역들 각각에 대응되는 상기 VR 컨텐츠 영역들의 일부 또는 상기 VR 컨텐츠 영역들 각각으로부터 추출된 썸네일(thumbnail) 이미지임을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 HMD의 탈착 여부에 따라, 상기 HMD의 탈착이 감지되기 전까지 설정된 편집 영역들 각각에 대응되는 상기 복수의 그래픽 객체를, 상기 디스플레이부 또는 상기 HMD와 연결된 이동 단말기의 터치 스크린 상에 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 VR 컨텐츠의 일 영역에 대응되는 정보는, 상기 편집 영역으로 설정된 VR 컨텐츠의 일 영역을 캡쳐(capture)한 이미지 또는 상기 VR 컨텐츠에서 상기 일 영역의 위치에 관련된 정보임을 특징으로 한다.

또한 본 발명의 일 실시 예에 따르면, 본 발명은 일정 수준 이상의 화각을 가지는 정지 영상 형태의 VR(Virtual Reality) 컨텐츠를, 연결된 HMD(Head Mounted Display)를 통해 표시하는 이동 단말기에 있어서, 화상 정보를 표시하고 사용자의 입력을 감지하는 터치 스크린, 및, 상기 VR 컨텐츠가 상기 HMD를 통해 표시되는 동안, 감지된 사용자의 입력에 근거하여 상기 VR 컨텐츠의 서로 다른 일부의 영역들을, 각각 서로 다른 편집 영역으로 저장하며, 상기 저장된 편집 영역들 중 어느 하나에 대한 사용자의 선택에 따라, 선택된 편집 영역에 대응되는 상기 VR 컨텐츠의 일 영역에 대응되는 이미지를 상기 터치 스크린 상에 표시하는 제어부를 포함하는 것을 특징으로 한다.

또한 본 발명의 일 실시 예에 따르면, 본 발명은, HMD에 있어서, 사용자의 입력을 감지하는 감지부와, 일정 수준 이상의 화각을 가지는 정지 영상 형태의 VR(Virtual Reality) 컨텐츠를 저장하는 메모리와, 상기 VR 컨텐츠 중, 상기 HMD를 착용한 사용자의 두부가 향하는 방향에 대응되는 일 영역의 영상을 표시하는 디스플레이부와, 및, 상기 감지부를 통해 상기 디스플레이부 상에 표시되는 VR 컨텐츠의 영역 중 일 지점에 대한 사용자의 제1 입력이 감지되면, 상기 일 지점을 중심으로 형성되는 상기 일 영역의 일부를 편집 영역으로 설정하고, 상기 설정된 편집 영역에 인가되는 사용자의 제2 입력에 근거하여, 상기 편집 영역에 포함된 객체들 중 적어도 하나의 객체가 표시되지 않도록 상기 적어도 하나의 객체를 편집하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 편집 영역에 포함된 객체들 중 적어도 하나의 편집이 선택되면, 상기 편집이 선택된 적어도 하나의 객체가 표시되는 영역의 주변과 같은 색상 패턴을 가지는 이미지를 생성하여, 상기 편집이 선택된 적어도 하나의 객체가 표시되는 영역에 덮어씌우는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 사용자가 상기 HMD의 착용을 해제하였는지를 감지하고, 사용자가 상기 HMD의 착용을 해제하는 경우, 상기 HMD의 착용이 해제되기 전까지 설정된 편집 영역들에 대한 정보를 상기 HMD와 연결된 이동 단말기를 통해 표시하며, 상기 이동 단말기를 통해 어느 하나의 편집 영역이 선택되면, 상기 편집 영역에 대응되는 상기 VR 컨텐츠의 일부 영역이 상기 이동 단말기를 통해 표시되도록 상기 이동 단말기를 제어하는 것을 특징으로 한다.

또한 본 발명의 일 실시 예에 있어서, 본 발명은 일정 수준 이상의 화각을 가지는 정지 영상 형태의 VR(Virtual Reality) 컨텐츠를, 연결된 HMD(Head Mounted Display)를 통해 표시하는 이동 단말기에 있어서, 화상 정보를 표시하고 사용자의 입력을 감지하는 터치 스크린, 및, 상기 VR 컨텐츠가 상기 HMD를 통해 표시되는 동안, 상기 VR 컨텐츠의 영역 중 일 지점에 대한 사용자의 제1 입력이 감지되면, 상기 일 지점을 중심으로 형성되는 상기 일 영역의 일부를 편집 영역으로 설정하고, 상기 설정된 편집 영역에 인가되는 사용자의 제2 입력에 근거하여, 상기 편집 영역에 포함된 객체들 중 적어도 하나의 객체를 편집하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 사용자의 선택에 따라 상기 VR 컨텐츠가 표시되는 동안 설정된 적어도 하나의 편집 영역의 개수 또는 편집할 객체가 있음을 알리기 위한 그래픽 객체를 상기 터치 스크린 상에 표시하며, 상기 터치 스크린 상에 인가되는 사용자의 입력에 근거하여, 어느 하나의 편집 영역에 대응되는 상기 VR 컨텐츠의 일부 영역의 영상을 상기 터치 스크린 상에 표시 및, 상기 일부 영역에 포함된 적어도 하나의 객체가 표시되지 않도록 상기 적어도 하나의 객체를 편집하는 것을 특징으로 한다.

본 발명에 따른 HMD 및 그 HMD의 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 사용자가 HMD를 통해 VR 컨텐츠를 시청하는 중에, 상기 VR 컨텐츠를 바로 편집할 수 있도록 함으로써, 상기 VR 컨텐츠 중에서 사용자가 원하는 시각에 재생되는 사용자가 원하는 화각의 영상들만으로 형성되는 컨텐츠를 생성할 수 있도록 하는 효과가 있다.

또한 본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 사용자가 HMD를 통해 VR 컨텐츠를 시청하는 중에, 특정 구간의 VR 영상의 일 부분에 포함된 객체를 편집하여 제거할 수 있도록 하는 효과가 있다.

또한 본 발명의 실시 예들 중 적어도 하나의 의하면, 본 발명은 사용자가 정지 화상들을 편집하여, 사용자만의 가상의 갤러리 공간을 생성할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 실시 예에 따라 이동 단말기와 연결된 HMD를 설명하기 위한 블록도이다.
도 2a 및 2b는 본 발명의 실시 예에 따른 HMD 및, 상기 HMD와 연결될 수 있는 이동 단말기를 설명하기 위한 블록도들이다.
도 3은 본 발명의 실시 예에 따른 HMD에서, 연결된 이동 단말기를 이용하여 사용자의 입력을 인가받는 예를 도시한 개념도이다.
도 4는 본 발명의 실시 예에 따른 HMD에서, 재생되는 VR 컨텐츠의 복수 구간을 선택받아 편집하는 동작 과정을 도시한 흐름도이다.
도 5a는 본 발명의 실시 예에 따른 HMD에서, 사용자에 의해 선택된 편집 구간에 대한 정보를 저장하는 동작 과정을 도시한 흐름도이다.
도 5b는, 도 5a에서 저장되는 정보 중, 사용자의 뷰 앵글(view angle)의 예를 도시한 개념도이다.
도 6은 본 발명의 실시 예에 따른 HMD에서, 재생되는 VR 컨텐츠의 일 영역에 포함된 객체들 중 편집된 객체에 대한 정보를 편집 구간의 정보로 저장하는 동작 과정을 도시한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 HMD에서, 편집될 영역의 크기에 따라 유사 영상을 이용하여 VR 컨텐츠를 편집하는 동작 과정을 도시한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 HMD에서, 선택된 정지 화상들을 이용하여 가상 갤러리 공간을 생성하는 동작 과정을 도시한 흐름도이다.
도 9는 본 발명의 실시 예에 따른 HMD에서, 사용자로부터 선택된 구간들로 구성된 편집 컨텐츠가 생성되는 예를 도시한 예시도이다.
도 10a 내지 도 10c는 본 발명의 실시 예에 따른 HMD에서, 재생되는 VR 컨텐츠의 일 영역에 포함된 객체들 중 적어도 하나가 편집되는 예를 도시한 예시도이다.
도 11은 본 발명의 실시 예에 따른 HMD와 연결가능한 이동 단말기에서, 기 저장된 편집 구간에 대한 정보를 표시하는 예시도이다.
도 12는 본 발명의 실시 예에 따른 HMD와 연결가능한 이동 단말기에서, 선택된 구간들로 구성된 편집 컨텐츠가 생성되는 예시도이다.
도 13은 본 발명의 실시 예에 따른 HMD와 연결가능한 이동 단말기에서, VR 컨텐츠에 포함된 일 객체가 편집되는 예를 도시한 예시도이다.
도 14a 내지 도 14b는 본 발명의 실시 예에 따른 HMD와 연결가능한 이동 단말기에서, 편집될 영역의 크기에 따라 유사 영상을 이용하여 VR 컨텐츠를 편집하는 예를 도시한 예시도이다.
도 15는 본 발명의 실시 예에 따른 HMD에서, 선택된 정지 화상들을 이용하여 가상 갤러리 공간을 생성하는 예를 도시한 예시도이다.
도 16a, 도 16b 및 도 17은 본 발명의 실시 예에 따른 HMD에서, VR 컨텐츠가 정지 영상인 경우 사용자의 선택에 따른 편집 이미지들을 생성하는 예를 도시한 예시도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기(smart watch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.

우선 도 1은 본 발명과 관련된 테더링 형 HMD(100)가, 이동 단말기(200)에 연결된 예를 도시한 것이다.

도 1에서 보이고 있는 것과 같이, 본 발명의 실시 예에 따른 HMD(100)는 이동 단말기(200)와 연결될 수 있다. 여기서 상기 이동 단말기(200)는 다양한 기기가 될 수 있다. 예를 들어 상기 이동 단말기(200)는 스마트 폰이나 태블릿 PC 등이 될 수 있다. 그리고 HMD(100)는 상기 이동 단말기(200)를 통해 입력되는 정보 또는 감지되는 신호를 수신하거나, 상기 이동 단말기(200)에 저장된 다양한 정보 및 데이터 등을 공유할 수 있다.

한편, HMD(100)의 디스플레이부 상에 표시되는 가상 공간의 영상은 상기 HMD(100)에서 생성되거나 또는 상기 HMD(100)에 연결된 이동 단말기(200)에서 생성될 수 있다. 예를 들어 상기 가상 공간의 영상을 상기 HMD(100)에서 생성하는 경우, 상기 HMD(100)는 상기 가상 공간의 영상을 처리하기 위한 이미지 프로세싱 및 렌더링 처리를 수행하고, 상기 이미지 프로세싱 및 렌더링 처리 결과 생성된 화상 정보를 HMD(100)의 디스플레이부를 통해 출력할 수 있다. 반면 상기 이동 단말기(200)에서 상기 가상 공간의 영상이 생성되는 경우, 상기 이동 단말기(200)가 상기 이미지 프로세싱 및 렌더링 처리를 수행하고, 상기 이미지 프로세싱 및 렌더링 처리 결과 생성된 화상 정보를 상기 HMD(100)에 전송할 수 있다. 그러면 상기 HMD(100)는 상기 이동 단말기(200)로부터 수신된 화상 정보를 출력할 수 있다.

도 2a는 이러한 본 발명과 관련된 HMD(100)를 설명하기 위한 블록도이다.

도 2a를 참조하여 살펴보면, 본 발명의 실시 에에 따른 HMD(100)는 무선 통신부(110), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 2a에 도시된 구성요소들은 본 발명의 실시 예에 따른 HMD(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 HMD(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

보다 구체적으로 상기 구성요소들 중, 무선 통신부(110)는, HMD(100)와 각종 주변 기기 사이, 예를 들어 이동 단말기(200)와 상기 HMD(100) 사이, 또는 HMD(100)와 외부 서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한 HMD(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.

한편 센싱부(140)는 상기 HMD(100)를 착용한 사용자의 두부 움직임을 감지하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 가속도 센서(141), 자이로 센서(143)를 포함할 수 있다. 여기서 가속도 센서(141) 및 자이로 센서(143)는 사용자의 두부 움직임에 따른 가속도 및 각속도를 감지할 수 있다.

또한 상기 센싱부(140)는 사용자의 눈동자를 추적하여 사용자의 시선이 어디에 머물고 있는지를 감지하기 위한 아이 트랙킹 센서(Eye Tracking Sensor)(142)를 더 포함할 수 있다. 예를 들어 상기 아이 트랙킹 센서(142)는, 사용자의 눈동자의 위치에 대응되는 디스플레이부(151) 상의 영역을 검출함으로써 디스플레이부(151)상의 특정 영역을 향하는 사용자의 시선 방향을 감지할 수 있다. 또는 상기 아이 트래킹 센서(142)는 사용자의 눈 영상을 센싱하고, 센싱된 영상을 통해 사용자의 눈 깜빡임을 검출할 수도 있다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 사용자에게 보다 큰 크기의 영상을 제공할 수 있도록, 사용자가 HMD(100)를 착용하였을 때에 사용자의 양안에 대응되는 위치에 설치될 수 있다. 또한 음향 출력부(152)는 재생되는 컨텐츠에 관련된 음향 신호가 전달될 수 있도록, 사용자가 HMD(100)를 착용하였을 때에 사용자의 양쪽 귀에 밀착될 수 있는 헤드폰(headphone)의 형태로 형성될 수 있다. 또한 상기 햅틱 모듈(153)은 필요에 따라 사용자에게 현재 재생 중인 컨텐츠에 관련된 진동을 발생시킴으로서, 사용자가 보다 현실감있게 컨텐츠를 시청할 수 있도록 할 수 있다.

한편 인터페이스부(160)는 HMD(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port) 등의 다양한 포트들 중 적어도 하나를 포함할 수 있다. 예를 들어 상기 인터페이스부(160)는 상기 HMD(100)와 이동 단말기(200)가 유선으로 연결되는 경우, 상기 HMD(100)와 이동 단말기(200) 사이에 다양한 데이터 및 정보들이 교환되는 통로 역할을 수행할 수 있다.

또한, 메모리(170)는 HMD(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 HMD(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), HMD(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, HMD(100)의 기본적인 기능(예를 들어, 컨텐츠의 재생 및 재생되는 컨텐츠의 영상 신호 및 음향 신호의 출력 등)을 위하여 출고 당시부터 HMD(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, HMD(100) 상에 설치되어, 제어부(180)에 의하여 상기 HMD(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.

HMD(100)의 제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 HMD(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 2a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, HMD(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

전원 공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 HMD(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원 공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.

한편 도 2b는 본 발명과 관련된 HMD(100)와 연결되는 이동 단말기(200)를 설명하기 위한 블록도이다.

상기 이동 단말기(200)는 무선 통신부(210), 입력부(220), 센싱부(240), 출력부(250), 인터페이스부(260), 메모리(270), 제어부(280) 및 전원 공급부(290) 등을 포함할 수 있다. 도 2b에 도시된 구성요소들은 이동 단말기(200)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기(200)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

보다 구체적으로, 상기 구성요소들 중, 무선 통신부(210)는, 이동 단말기(200)와 무선 통신 시스템 사이, 이동 단말기(200)와 다른 이동 단말기 사이, 또는 이동 단말기(200)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(210)는, 이동 단말기(200)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.

이러한 무선 통신부(210)는, 방송 수신 모듈(211), 이동통신 모듈(212), 무선 인터넷 모듈(213), 근거리 통신 모듈(214), 위치정보 모듈(215) 중 적어도 하나를 포함할 수 있다.

입력부(220)는, 영상 신호 입력을 위한 카메라(221) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 222), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(223, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(220)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.

센싱부(240)는 이동 단말기(200) 내 정보, 이동 단말기(200)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(240)는 근접센서(241, proximity sensor), 조도 센서(242, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(221 참조)), 마이크로폰(microphone, 222 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.

출력부(250)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(251), 음향 출력부(252), 햅팁 모듈(253), 광 출력부(254) 중 적어도 하나를 포함할 수 있다. 디스플레이부(251)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(223)로써 기능함과 동시에, 이동 단말기(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이하의 설명에서는, 상기 이동 단말기(200)의 디스플레이부(251)가 '터치 스크린'임을 가정하여 설명하기로 한다.

인터페이스부(260)는 이동 단말기(200)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(260)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(200)에서는, 상기 인터페이스부(260)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.

또한, 메모리(270)는 이동 단말기(200)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(270)는 이동 단말기(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(200)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(200)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(270)에 저장되고, 이동 단말기(200) 상에 설치되어, 제어부(280)에 의하여 상기 이동 단말기(200)의 동작(또는 기능)을 수행하도록 구동될 수 있다.

제어부(280)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(200)의 전반적인 동작을 제어한다. 제어부(280)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(270)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 제어부(280)는 메모리(270)에 저장된 응용 프로그램을 구동하기 위하여, 도 2b와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(280)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(200)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

전원 공급부(290)는 제어부(280)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(200)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원 공급부(290)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.

상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기(200)의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기(200)의 동작, 제어, 또는 제어 방법은 상기 메모리(270)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.

이하에서는, 위에서 살펴본 이동 단말기(200)를 통하여 구현되는 다양한 실시 예들을 살펴보기에 앞서, 위에서 열거된 구성요소들에 대하여 도 2b를 참조하여 보다 구체적으로 살펴본다.

먼저, 무선 통신부(210)에 대하여 살펴보면, 무선 통신부(210)의 방송 수신 모듈(211)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 상기 이동 단말기(200)에 제공될 수 있다.

이동 통신 모듈(212)은, 이동 통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.

상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(213)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(200)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(213)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.

무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(213)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.

WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A 등에 의한 무선 인터넷 접속은 이동 통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동 통신망을 통해 무선 인터넷 접속을 수행하는 상기 무선 인터넷 모듈(213)은 상기 이동 통신 모듈(212)의 일종으로 이해될 수도 있다.

근거리 통신 모듈(214)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신 모듈(214)은, 근거리 무선 통신망(Wireless Area Networks)을 통해 이동 단말기(200)와 무선 통신 시스템 사이, 이동 단말기(200)와 다른 이동 단말기 사이, 또는 이동 단말기(200)와 다른 이동 단말기(또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 상기 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.

여기에서, 다른 이동 단말기는 본 발명에 따른 이동 단말기(200)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트 와치(smart watch), 스마트 글래스(smart glass), HMD(head mounted display))가 될 수 있다. 근거리 통신 모듈(214)은, 이동 단말기(200) 주변에, 상기 이동 단말기(200)와 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(280)는 상기 감지된 웨어러블 디바이스가 본 발명에 따른 이동 단말기(200)와 통신하도록 인증된 디바이스인 경우, 이동 단말기(200)에서 처리되는 데이터의 적어도 일부를, 상기 근거리 통신 모듈(214)을 통해 웨어러블 디바이스로 전송할 수 있다. 따라서 웨어러블 디바이스의 사용자는, 이동 단말기(200)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다. 예를 들어, 이에 따르면 사용자는, 이동 단말기(200)에 전화가 수신된 경우, 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 이동 단말기(200)에 메시지가 수신된 경우, 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.

위치 정보 모듈(215)은 이동 단말기(200)의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 이동 단말기(200)는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 이동 단말기(200)의 위치를 획득할 수 있다. 다른 예로서, 이동 단말기(200)는 Wi-Fi 모듈을 활용하면, Wi-Fi 모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 이동 단말기(200)의 위치를 획득할 수 있다. 필요에 따라서, 위치 정보 모듈(215)은 치환 또는 부가적으로 이동 단말기(200)의 위치에 관한 데이터를 얻기 위해 무선 통신부(210)의 다른 모듈 중 적어도 하나의 기능을 수행할 수 있다. 위치 정보 모듈(215)은 이동 단말기(200)의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 이동 단말기(200)의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.

다음으로, 입력부(220)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 이동 단말기(200)는 하나 또는 복수의 카메라(221)를 구비할 수 있다. 카메라(221)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 터치 스크린(251)에 표시되거나 메모리(270)에 저장될 수 있다. 한편, 이동 단말기(200)에 구비되는 복수의 카메라(221)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(221)를 통하여, 이동 단말기(200)에는 다양한 각도 또는 초점을 갖는 복수의 영상 정보가 입력될 수 있다. 또한, 복수의 카메라(221)는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스테레오 구조로 배치될 수 있다.

마이크로폰(222)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동 단말기(200)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(222)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(223)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(223)를 통해 정보가 입력되면, 제어부(280)는 입력된 정보에 대응되도록 이동 단말기(200)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(223)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 이동 단말기(200)의 전ㅇ후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치 스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치 스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.

한편, 센싱부(240)는 이동 단말기(200) 내 정보, 이동 단말기(200)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(280)는 이러한 센싱 신호에 기초하여, 이동 단말기(200)의 구동 또는 동작을 제어하거나, 이동 단말기(200)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다. 센싱부(240)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.

먼저, 근접 센서(241)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선 등을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 이러한 근접 센서(241)는 위에서 살펴본 터치 스크린에 의해 감싸지는 이동 단말기(200)의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(241)가 배치될 수 있다.

근접 센서(241)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식인 경우에, 근접 센서(241)는 전도성을 갖는 물체의 근접에 따른 전계의 변화로 상기 물체의 근접을 검출하도록 구성될 수 있다. 이 경우 터치 스크린(또는 터치 센서) 자체가 근접 센서로 분류될 수 있다.

한편, 설명의 편의를 위해, 터치 스크린 상에 물체가 접촉되지 않으면서 근접되어 상기 물체가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 명명하고, 상기 터치 스크린 상에 물체가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 명명한다. 상기 터치 스크린 상에서 물체가 근접 터치 되는 위치라 함은, 상기 물체가 근접 터치될 때 상기 물체가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다. 상기 근접 센서(241)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 한편, 제어부(280)는 위와 같이, 근접 센서(241)를 통해 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 데이터(또는 정보)를 처리하며, 나아가, 처리된 데이터에 대응하는 시각적인 정보를 터치 스크린 상에 출력시킬 수 있다. 나아가, 제어부(280)는, 터치 스크린 상의 동일한 지점에 대한 터치가, 근접 터치인지 또는 접촉 터치인지에 따라, 서로 다른 동작 또는 데이터(또는 정보)가 처리되도록 이동 단말기(200)를 제어할 수 있다.

터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 터치 스크린(251))에 가해지는 터치(또는 터치입력)을 감지한다.

일예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력, 터치 시의 정전 용량 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.

이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(280)로 전송한다. 이로써, 제어부(280)는 터치 스크린(251)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(280)와 별도의 구성요소일 수 있고, 제어부(280) 자체일 수 있다.

한편, 제어부(280)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 이동 단말기(200)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다.

한편, 위에서 살펴본 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.

초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편 제어부(280)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.

한편, 입력부(220)의 구성으로 살펴본, 카메라(221)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함한다.

카메라(221)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝(scanning)하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.

터치 스크린(251)는 이동 단말기(200)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 터치 스크린(251)는 이동 단말기(200)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.

또한, 상기 터치 스크린(251)는 입체영상을 표시하는 입체 디스플레이부로서 구성될 수 있다.

상기 입체 디스플레이부에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.

음향 출력부(252)는 호 신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(210)로부터 수신되거나 메모리(270)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(252)는 이동 단말기(200)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(252)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

햅틱 모듈(haptic module)(253)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(253)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈(253)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(253)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(253)은, 진동 외에도, 접촉된 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(253)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(253)은 이동 단말기(200)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

광 출력부(254)는 이동 단말기(200)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기(200)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.

광 출력부(254)가 출력하는 신호는 이동 단말기(200)가 전면이나 후면으로 단색이나 복수색의 빛을 발광함에 따라 구현된다. 상기 신호 출력은 이동 단말기(200)가 사용자의 이벤트 확인을 감지함에 의하여 종료될 수 있다.

인터페이스부(260)는 이동 단말기(200)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(260)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(200) 내부의 각 구성요소에 전달하거나, 이동 단말기(200) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(260)에 포함될 수 있다.

한편, 식별 모듈은 이동 단말기(200)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(260)를 통하여 이동 단말기(200)와 연결될 수 있다.

또한, 상기 인터페이스부(260)는 이동 단말기(200)가 외부의 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동 단말기(200)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동 단말기(200)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동 단말기(200)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.

메모리(270)는 제어부(280)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(270)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

메모리(270)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광 디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(200)는 인터넷(internet)상에서 상기 메모리(270)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.

한편, 앞서 살펴본 것과 같이, 제어부(280)는 응용 프로그램과 관련된 동작과, 통상적으로 이동 단말기(200)의 전반적인 동작을 제어한다. 예를 들어, 제어부(280)는 상기 이동 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.

또한, 제어부(280)는 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행하거나, 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. 나아가 제어부(280)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 이동 단말기(200) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.

전원 공급부(290)는 제어부(280)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원 공급부(190)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다.

또한, 전원 공급부(290)는 연결포트를 구비할 수 있으며, 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스(260)의 일 예로서 구성될 수 있다.

다른 예로서, 전원 공급부(290)는 상기 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원 공급부(190)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.

한편, 이하에서 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

한편, 본 발명에 따른 이동 단말기(200)에서는, 가속도 센서 또는 터치 센서를 통해 상기 탭을 감지하기 위하여, 이동 단말기(200)의 터치 스크린(251)가 비활성화 상태에서도 최소한의 전류 또는 전력이 소모되는 특정 모드로 동작할 수 있다. 이러한 특정모드는 '도즈 모드(또는 Doze mode)'라고 명명 될 수 있다.

예를 들어 도즈 모드는, 터치 센서와 터치 스크린(251)가 상호 레이어 구조를 이루는 터치스크린 구조에서, 상기 터치 스크린(251)에서 화면을 출력하기 위한 발광소자만이 오프(off)되고, 상기 터치 센서는 온(on) 상태를 유지하는 상태일 수 있다. 또는 상기 도즈 모드는, 상기 터치 스크린(251)가 오프되고, 상기 가속도 센서가 온 된 상태를 유지하는 모드일 수 있다. 또는 상기 도즈 모드는 상기 터치 스크린(251)가 오프되고, 상기 터치 센서 및 가속도 센서가 모두 온 된 상태를 유지하는 모드일 수 있다.

따라서 상기 도즈 모드 상태, 즉, 터치 스크린(251) 조명이 오프된 상태, 또는 상기 터치 스크린(251)가 오프된 상태(터치 스크린(251)가 비활성된 상태)에서, 사용자가 상기 터치 스크린(251) 상의 적어도 일 지점 또는 상기 이동 단말기(200) 본체의 특정 지점에 상기 탭을 가하는 경우, 온(on) 되어 있는 터치 센서 또는 가속도 센서 중 적어도 하나를 통해 사용자로부터 상기 탭이 가해졌음을 감지할 수 있다.

한편 본 발명의 실시 예에 따른 HMD(100)는 상기 이동 단말기(200)로부터 상기 HMD(100)의 기능을 제어하기 위한 제어 신호를 입력받을 수 있다. 예를 들어 HMD(100)는 상기 이동 단말기(200)로부터, 상기 이동 단말기(200)의 움직임을 감지한 결과를 수신하고, 감지 결과에 근거하여 HMD(100)의 기능을 제어할 수 있다. 또는 이러한 제어 신호는 HMD(100) 자체적으로 감지되는 것일 수도 있다. 즉, HMD(100)는, HMD(100)에 구비된 센서들을 이용하여 상기 HMD(100)를 착용한 사용자의 두부 움직임을 감지하고 그 감지 결과에 근거하여 상기 HMD(100)의 기능을 제어할 수도 있다.

여기서 상기 이동 단말기(200)의 움직임 또는 HMD(100)의 움직임에 따라 HMD(100)의 기능을 제어한다는 것은, 상기 감지된 이동 단말기(200)의 움직임 또는 HMD(100)의 움직임에 따라 제어되는 화상 정보가 표시되도록 하는 것을 의미할 수 있다. 즉, 본 발명의 실시 예에 따른 HMD(100)는, HMD(100)의 디스플레이부 상에 표시되는 가상 공간 내에서, 상기 이동 단말기(200)의 움직임 또는 HMD(100)의 움직임에 대응되는 방향의 상기 가상 공간의 영상이, 상기 디스플레이부(151) 상에 표시되도록 할 수 있다. 이를 이용하여 상기 HMD(100)는 상기 가상 공간 내에서의 사용자의 이동을 모사하거나, 또는 사용자의 두부 움직임에 따라 다른 방향의 가상 공간 영상이 표시되도록 할 수 있다.

한편 상기 이동 단말기(200)로부터 입력되는 제어 신호는, 상기 이동 단말기(200)의 움직임을 감지한 결과 뿐만 아니라, 상기 이동 단말기(200)에 구비된 터치 센서를 통해 입력되는 터치 입력일 수도 있다. 예를 들어 상기 제어 신호는, 상기 이동 단말기(200)의 터치 스크린(251) 상에 인가되는 적어도 한번의 터치 또는 터치 앤드 드래그 입력이나, 일정 시간 이상 동안 상기 터치 스크린(251) 상의 일 지점에 터치 입력이 지속적으로 인가되는 홀드(hold) 입력일 수 있다.

도 3은 이러한 본 발명의 실시 예에 따른 HMD(100)에서, 연결된 이동 단말기를 통해 사용자의 입력을 인가받는 예를 도시한 개념도이다.

도 3을 참조하여 살펴보면, 먼저 도 3의 첫 번째 도면은, 상기 도 1에서 보이고 있는 바와 같이 본 발명의 실시 예에 따른 HMD(100)와 이동 단말기(200)가 연결된 상태에서, 상기 이동 단말기(200)에 사용자의 터치 입력(302)이 인가되는 예를 도시한 것이다. 그러면 이동 단말기(200)의 제어부(280)는 상기 터치 입력(302)이 인가된 지점(300)의 좌표 정보를, 연결된 HMD(100)로 전송할 수 있다.

한편, 이동 단말기(200)로부터 터치 입력 지점(300)에 대한 좌표 정보가 수신되면, 제어부(180)는 상기 터치 입력(302)이 인가된 지점(300)에 대응되는 일 지점을 디스플레이부(151) 상에 표시할 수 있다. 즉, HMD(100)의 제어부(180)는 도 3의 두 번째 도면에서 보이고 있는 바와 같이, 수신된 좌표 정보에 대응되는 HMD(100)의 디스플레이부(151) 상의 일 지점에 기 설정된 그래픽 객체(350)를 표시할 수 있다. 따라서 상기 터치 입력(302)에 대응되는 HMD(100) 디스플레이부(151) 상의 일 지점의 위치를 사용자가 확인할 수 있다.

한편 HMD(100)와 이동 단말기(200)가 서로 연결되는 경우, 상기 이동 단말기(200)와 HMD(100)는 서로 연동될 수 있다. 즉, 이동 단말기(200)를 통해 인가되는 사용자의 터치 입력, 홀드 입력, 또는 드래그 입력 등이, 그대로 HMD(100)에 전송될 수 있다. 따라서 HMD(100)의 디스플레이부(151)에서 기 설정된 그래픽 객체가 표시되는 영역에 대응되는 이동 단말기(200) 터치 스크린(251) 상의 일 지점에, 상기 사용자의 터치 입력(302)이 감지되는 경우, 제어부(180)는 상기 터치 입력(302)을, 상기 기 설정된 그래픽 객체에 대한 사용자의 입력으로 감지할 수 있다.

따라서 도 3의 두 번째 도면에서 보이고 있는 바와 같이, 이동 단말기(200)의 터치 스크린(251) 상에 터치 입력(302)이 인가된 지점(300)이, HMD(100)의 디스플레이부(151)에서 볼륨 조절 객체(352)가 표시되는 일 영역 내의 일 지점(350)에 대응되는 경우, 제어부(180)는 상기 터치 입력(302)이 현재 재생되는 VR 컨텐츠의 볼륨을 제어하기 위한 것으로 감지할 수 있다. 따라서 상기 터치 입력(302)에 대한 응답으로, 제어부(180)는 현재 재생되는 VR 컨텐츠의 볼륨을 증가시킬 수 있다.

이하에서는 이러한 본 발명의 실시 예에 따른 HMD(100)에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

도 4는 본 발명의 실시 예에 따른 HMD(100)에서, 재생되는 VR 컨텐츠의 적어도 일 구간을 사용자로부터 선택받고, 선택된 편집 구간에 따라 VR 컨텐츠를 편집하는 동작 과정을 도시한 흐름도이다.

도 4를 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 사용자의 선택에 따른 VR 컨텐츠를 재생할 수 있다(S400). 여기서 상기 VR 컨텐츠는, 360도 전방향 또는 180도 화각으로 촬영된 동영상일 수 있다. 그리고 제어부(180)는 상기 VR 컨텐츠 중에서, HMD(100)를 착용한 사용자의 안면이 향하는 방향에 대응되는 적어도 일부의 영상을, 상기 HMD(100)의 디스플레이부(151) 상에 표시할 수 있다. 그리고 사용자의 안면이 향하는 방향이 변경되면, 변경된 방향에 따라 상기 VR 컨텐츠 중에서 다른 영역, 즉 다른 화각의 영상을 상기 HMD(100)의 디스플레이부(151) 상에 표시할 수 있다.

한편 이러한 상태에서, 제어부(180)는 현재 재생되는 VR 컨텐츠를 편집하기 위한 사용자의 입력을 수신할 수 있다. 이러한 사용자의 입력은 상기 HMD(100)의 디스플레이부(151) 상에 표시된 기 설정된 특정 그래픽 객체를 사용자가 일정 시간동안 응시하는 제스처일 수 있다. 또는 상기 사용자 입력은 HMD(100)로 인가되는 특정 키의 입력일 수 있다. 일 예로 상기 특정 키는, 상기 HMD(100)에 구비된 키이거나 또는 상기 HMD(100)의 컨트롤러 역할을 수행하는 이동 단말기(200)에 구비된 키일 수 있다. 또는 제어부(180)는 HMD(100)가 이동 단말기(200)와 연결된 상태인 경우, 상기 이동 단말기(200)로부터 인가되는 터치 입력을 사용자의 입력으로 인가받을 수도 있다.

이처럼 편집을 위한 사용자의 입력이 수신되면, 제어부(180)는 사용자의 입력에 따라 현재 재생되는 VR 컨텐츠의 일 구간이, 사용자에 의해 편집 구간으로 선택된 것으로 인식할 수 있다. 그리고 선택된 편집 구간에 대한 정보를 저장할 수 있다(S402). 여기서 상기 '구간'이라 함은, 상기 VR 컨텐츠의 영상의 재생 시간 중, 일 시점에서 다른 시점까지를 의미하는 것일 수 있으며, 상기 '일 구간의 영상'이라 함은, 상기 VR 컨텐츠의 영상 중 상기 일 시점에서 다른 시점까지의 영상을 의미하는 것일 수 있다.

예를 들어 제어부(180)는 사용자의 입력이 감지된 시점을 기준으로, 전후 각 일정 시간 동안에 해당되는 VR 컨텐츠의 일 구간을 상기 '편집 구간'으로 설정할 수 있다. 또는 제어부(180)는 사용자의 제1 입력이 감지된 시점을 상기 '편집 구간'의 시작 시점으로 인식하고, 사용자의 제2 입력이 감지된 시점을 상기 '편집 구간'의 끝 시점으로 인식할 수도 있다. 즉, 제어부(180)는 사용자의 제1 입력이 인가된 후에 사용자의 제2 입력이 인가될 때까지의 상기 VR 컨텐츠의 일 구간을, 상기 '편집 구간'으로 설정할 수 있다. 그리고 설정된 편집 구간에 대한 시점 정보, 즉 상기 시작 시점 및 끝 시점에 대한 정보를 저장할 수 있다. 여기서 상기 '편집 구간'에 대한 시점 정보는, HMD(100)의 메모리(170)에 저장되거나, 또는 HMD(100)와 연결된 이동 단말기(200)의 메모리(270)에 저장될 수 있다.

여기서 상기 사용자의 제1 입력과 제2 입력은, 동일한 방식으로 인가되는 사용자의 입력일 수 있다. 즉, 기 설정된 시간 동안 기 설정된 횟수 이상 감지되는 사용자의 눈 깜빡임이나, 사용자의 기 설정된 두부 제스처일 수 있다. 또는 상기 제1 입력과 제2 입력은 상기 HMD(100) 또는 상기 이동 단말기(200)에 구비된 동일한 키의 입력일 수 있다.

또는 상기 제1 입력과 제2 입력은 상기 이동 단말기(200)의 터치 스크린(251) 상에 인가되는 터치 입력일 수도 있다. 즉, 상기 제1 입력과 제2 입력은 기 설정된 횟수의 두드림이나 기 설정된 시간 이상 그 입력 상태가 유지되는 홀드(hold) 입력일 수 있다. 또는 기 설정된 길이 이상 또는 기 설정된 방향으로 인가되는 드래그 입력일 수도 있다.

한편 제어부(180)는 상기 S402 단계에서, 현재 설정된 편집 구간에 관련된 정보로서, 상기 편집 구간의 시작 시점과 끝 시점에 대한 정보 외에도 다양한 정보들을 더 저장할 수 있다. 예를 들어 제어부(180)는 상기 편집 구간에서 사용자가 시청한 VR 컨텐츠의 일부 영역에 대한 정보를 저장할 수 있다. 이는 상술한 바와 같이 상기 VR 컨텐츠가 사용자에게 보다 높은 현실감을 주기 위하여 360 전방향 영상 또는 180도 영상으로 제작될 수 있으며, 이에 따라 사용자의 안면이 향하는 방향, 즉 사용자의 두부가 향하는 방향에 대응되는 화각의 영상만을, 즉 상기 VR 컨텐츠의 영상 중 일부 화각의 영상만을 HMD(100)의 디스플레이부(151) 상에 표시할 수 있기 때문이다.

한편 제어부(180)는 현재 재생되는 VR 컨텐츠의 일부 구간이 상기 편집 구간으로 설정되면, 상기 HMD(100)의 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 영역에 대한 정보를 저장할 수 있다. 예를 들어 현재 HMD(100)의 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 영역은, 현재 사용자의 두부가 향하는 방향에 대한 정보 및, 상기 사용자의 두부 움직임에 대한 정보가 될 수 있다. 이는 사용자의 두부가 향하는 방향에 따라, VR 컨텐츠의 화면 중 사용자가 응시하는 지점을 인식할 수 있으며, 상기 인식된 지점으로부터 현재 재생되고 있는 VR 컨텐츠 중 사용자가 현재 시청하고 있는 화각에 대응되는 영역을 추정할 수 있기 때문이다. 이처럼 상기 S402 단계에서 설정된 편집 구간 시작 시점 및 끝 시점의 정보와 함께, 사용자가 시청한 VR 컨텐츠의 화각에 대한 정보를 더 저장하는 본 발명의 실시 예에 따른 HMD(100)의 동작 과정을 하기 도 5a 및 도 5b를 참조하여 보다 자세하게 살펴보기로 한다.

한편 상기 S402 단계는, 사용자로부터 현재 재생되는 VR 컨텐츠의 화면 중 일 영역에 대한 편집을 입력받는 단계일 수도 있다. 즉, 제어부(180)는 VR 컨텐츠의 재생 중 사용자의 입력이 인가되는 경우, 상술한 바와 같이 사용자의 입력에 따라 현재 재생 중인 VR 컨텐츠의 일 구간을 편집 구간으로 설정할 수 있다. 그리고 사용자의 다른 입력에 근거하여 현재 재생중인 VR 컨텐츠의 영상 중 화면 상의 일 영역을 편집할 수도 있다.

일 예로, 제어부(180)는 현재 재생 중인 VR 컨텐츠 화면의 일 영역 내에서, 상기 사용자의 다른 입력에 따른 특정 영역에 표시되는 적어도 하나의 객체를, 사용자의 선택에 따라 삭제할 수 있다. 이러한 경우 제어부(180)는 삭제된 객체에 대한 정보를, 현재 설정된 편집 구간의 시점 정보(예를 들어 시작 시점과 끝 시점의 정보)와 함께 저장할 수 있다. 이처럼 상기 S402 단계에서, 설정된 편집 구간의 시점 정보와 함께, 편집된 객체에 대한 정보를 더 저장하는 본 발명의 실시 예에 따른 HMD(100)의 동작 과정을 하기 도 6을 참조하여 보다 자세하게 살펴보기로 한다.

한편 S402 단계에서, 사용자의 입력에 따라 편집 구간으로 선택된 VR 컨텐츠의 일 구간에 대한 정보가 저장되면, 제어부(180)는 VR 컨텐츠의 재생이 종료되었는지 여부를 확인할 수 있다(S404). 예를 들어 제어부(180)는 현재 선택된 VR 컨텐츠의 모든 구간이 재생되거나, 또는 사용자에 의해 VR 컨텐츠의 재생이 종료가 선택되는 경우, 또는 사용자가 다른 VR 컨텐츠의 재생을 선택하는 경우, VR 컨텐츠의 재생이 종료된 것으로 판단할 수 있다.

상기 S404 단계의 판단 결과, VR 컨텐츠의 재생이 종료되지 않은 경우라면, 제어부(180)는 현재 선택된 VR 컨텐츠의 아직 재생되지 않은 다른 부분을 계속 이어서 재생할 수 있다. 그리고 다시 S402 단계로 진행하여 사용자의 입력이 있는지 여부를 감지하고, 사용자의 입력이 있는 경우 상기 사용자의 입력에 따라 현재 재생되는 VR 컨텐츠의 다른 일 구간을 다른 편집 구간으로 설정할 수 있다. 그리고 상기 다른 편집 구간에 대한 정보를 더 저장할 수 있다. 그리고 다시 S404 단계로 진행하여 VR 컨텐츠의 재생이 종료되었는지 여부를 확인할 수 있다.

한편 상기 S404 단계의 판단 결과, VR 컨텐츠의 재생이 종료된 경우라면, 제어부(180)는 현재 설정된 편집 구간들에 대한 정보를 표시할 수 있다(S406). 예를 들어 제어부(180)는 사용자가 HMD(100)를 착용하고 있는지 여부에 따라 HMD(100)의 디스플레이부(151) 상에 상기 편집 구간들에 대한 정보를 표시하거나, 또는 이동 단말기(200)의 터치 스크린(251) 상에 상기 편집 구간들에 대한 정보를 표시할 수 있다. 즉, 사용자가 VR 컨텐츠의 재생이 종료되었음에도 불구하고 HMD(100)를 착용하고 있는 상태라면, 제어부(180)는 상기 편집 구간들에 대한 정보를 HMD(100)의 디스플레이부(151) 상에 표시할 수 있다. 그러나 사용자가 HMD(100)를 탈착한 경우라면, 제어부(180)는 상기 이동 단말기(200)의 터치 스크린(251)를 통해 상기 편집 구간들에 대한 정보를 표시할 수도 있다. 이러한 경우 이동 단말기(200)의 제어부(280)는 상기 HMD(100)의 탈착이 감지되면, 사용자에게 현재 선택된 편집 구간이 있음을 알리기 위한 다양한 정보를 표시할 수 있다.

한편 상기 S406 단계에서, 현재 설정된 편집 구간들이 표시되면 제어부(180)는 사용자의 선택에 따라 VR 컨텐츠를 편집할 수 있다. 즉, 제어부(180)는 현재 저장된 편집 구간들의 시점 정보들 및, 각 편집 구간들에 관련된 정보들(예를 들어 사용자의 두부가 향하는 방향에 대한 정보 및, 상기 사용자의 두부 움직임에 대한 정보, 또는 VR 컨텐츠에서 삭제된 객체에 대한 정보 등)에 근거하여 현재 재생이 완료된 VR 컨텐츠를 편집할 수 있다(S408).

예를 들어 제어부(180)는 상기 S408 단계에서, 상기 VR 컨텐츠로부터 편집 구간들의 영상들만을 추출하고, 추출된 영상들을 사용자의 선택에 따라 배열함으로써 편집된 VR 컨텐츠를 생성할 수 있다.

이러한 경우 제어부(180)는 상기 편집된 VR 컨텐츠를 생성할 때에, 상기 저장된 정보에 따라 각 편집 구간 마다 서로 다른 화각의 영상이 기준 화각의 영상으로 설정되도록 할 수도 있다. 여기서 상기 '기준 화각'은 사용자의 두부가 향하는 방향, 즉 사용자의 시선이 향하는 정면 방향의 영상을 의미할 수 있다.

즉, 상술한 바와 같이 제어부(180)는 상기 각 편집 구간마다, 그 편집 구간에 대응되게 저장된 특정 화각을 각 편집 구간의 기준 화각으로 설정할 수 있다. 따라서 사용자가 상기 편집된 VR 컨텐츠를 재생하는 경우, 사용자가, 두부의 방향을 변경하지 않더라도, 각 편집 구간마다 저장된 화각 정보에 따라 서로 다른 화각의 영상들이 디스플레이부(151) 상에 표시되도록 할 수 있다. 따라서 사용자가 두부의 방향을 변경하지 않더라도, 사용자가 선택한 각 편집 구간들에서, 사용자가 바라보던 화각의 VR 컨텐츠 영상들을 시청할 수 있다.

또한 사용자에 의해 삭제가 선택된 객체를 포함하는 편집 구간이 있는 경우, 제어부(180)는 상기 편집 구간의 영상으로부터 상기 객체를 삭제할 수도 있다. 이러한 경우 제어부(180)는 상기 S408 단계에서, 각 편집 구간 별로 삭제가 선택된 객체에 대한 정보를 표시할 수 있으며, 사용자의 선택에 따라 상기 객체가 해당 편집 구간에서 삭제되도록 하거나, 또는 상기 편집 과정을 취소하여 상기 삭제된 객체가 상기 편집 구간에서 다시 표시되도록 할 수도 있다. 또는 제어부(180)는 다른 객체(제2 객체)를 사용자로부터 더 선택받을 수 있으며, 상기 제2 객체를 편집할 수도 있다. 여기서 제어부(180)는, 상기 제2 객체를 포함하는 일 시점의 영상 뿐만 아니라, 현재 선택된 편집 구간 전체의 영상으로부터 상기 제2 객체가 편집되도록 할 수 있다.

이러한 S408 단계의 편집 과정은, HMD(100)에서 자체적으로 수행될 수 있으며(사용자가 HMD(100)를 착용하고 있는 상태에서 편집을 수행하는 경우), 또는 상기 HMD(100)와 연결된 이동 단말기(200)를 통해 수행될 수도 있다(사용자가 HMD(100)를 탈착한 상태에서 이동 단말기(200)를 통해 편집을 수행하는 경우). 예를 들어 이동 단말기(200)의 제어부(280)는 사용자가 HMD(100)를 탈착한 경우, 상기 S406 단계에서, 현재 설정된 편집 구간들에 대한 정보를 표시할 수 있으며, 그 중 어느 하나의 편집 구간이 선택되면, 그에 대한 응답으로 기 설정된 애플리케이션을 실행시킬 수 있다.

여기서 상기 기 설정된 애플리케이션은 상기 편집을 위해 이동 단말기(200) 상에 설치되거나 또는 내장된 것일 수 있다. 상기 애플리케이션은, 상기 이동 단말기(200) 또는 HMD(100)에 저장된 상기 편집 구간들의 시점 정보들 및 상기 편집 구간들에 관련된 정보들에 근거하여, 상기 이동 단말기(200) 또는 HMD(100)에 저장된 VR 컨텐츠로부터, 편집 구간으로 설정된 구간들을 추출할 수 있다. 그리고 추출된 편집 구간들의 영상을 이용하여 상기 편집 컨텐츠를 생성할 수 있다. 그리고 생성된 편집 컨텐츠를 사용자의 선택에 따라, 이동 단말기(200) 또는 HMD(100)에 저장할 수 있다.

한편 상술한 설명에 따르면 본 발명의 실시 예에 따른 HMD(100)는, 설정된 편집 구간의 시작 시점 및 끝 시점의 정보와 함께, 편집된 객체에 대한 정보를 더 저장할 수 있음을 언급한 바 있다.

따라서 본 발명에서는 편집 컨텐츠를 생성하는 경우, 상기 편집 컨텐츠를 구성하는 각 편집 구간 마다, 사용자가 그 편집 구간에서 어느 화각의 영상을 시청하고 있는지가 저장될 수 있다. 이에 따라 본 발명의 실시 예에 따른 HMD(100)는, 각 편집 구간에 저장된 화각 정보에 근거하여 각 편집 구간에 대응되는 대표 영상을 표시할 수 있다. 그리고 상기 편집 구간들로 구성되는 편집 컨텐츠가 재생되는 경우, 각 편집 구간의 영상이 재생될 때에 각 편집 구간에 대응되게 저장된 화각 정보에 따른 화각을 기준으로, 각 편집 구간에 대응되는 VR 컨텐츠의 영상이 재생되도록 할 수도 있다.

도 5a는 이처럼 본 발명의 실시 예에 따른 HMD(100)에서, 사용자에 의해 선택된 편집 구간에 대한 정보를 저장하는 동작 과정을 도시한 흐름도이다. 그리고 도 5b는, 상기 도 5a에서 저장되는 정보로서, 각 편집 구간의 시점 정보와 함께 저장되는 화각, 즉 뷰 앵글(view angle)의 예를 도시한 개념도이다.

우선 도 5a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는, 상기 도 4의 S400 단계에서 VR 컨텐츠가 재생되는 상태에서 사용자의 입력에 따라 편집 구간을 선택받을 수 있다. 즉, 제어부(180)는 VR 컨텐츠의 재생 중에 인가되는 사용자의 제1 입력을 감지할 수 있다.

예를 들어 제어부(180)는 VR 컨텐츠와 함께 표시되는 특정 객체에 대해 일정 시간동안 사용자의 시선이 감지되는 경우 상기 사용자의 제1 입력이 있는 것으로 감지할 수 있다. 또는 제어부(180)는 HMD(100) 외부 또는 이동 단말기(200)를 통해 인가되는 사용자의 기 설정된 입력이 있는 경우 상기 제1 입력이 있는 것으로 감지할 수 있다. 또는 제어부(180)는 사용자가 일정 시간 내에 기 설정된 횟수 이상 눈을 깜빡이는 경우, 상기 제1 입력이 있는 것으로 감지할 수 있다.

그리고 제어부(180)는 상기 제1 입력이 감지되면, 현재 재생되는 VR 컨텐츠의 구간이 편집 구간으로 선택된 것으로 인식할 수 있다. 따라서 제어부(180)는, 상기 제1 입력이 감지된 시점을 제1 편집 구간의 시작 시점으로 저장할 수 있다(S500).

한편 상기 S500 단계에서, 제어부(180)는 현재 재생되는 VR 컨텐츠의 일 구간이 편집 구간으로 선택되면, 사용자가 현재 시청하는 VR 컨텐츠의 화각을 산출할 수 있다. 그리고 사용자의 두부 움직임에 따라 변경되는 화각의 정보를 추적할 수 있다. 그리고 상기 산출된 화각의 정보와, 상기 화각의 변경을 추적한 정보를 저장할 수 있다(S502). 여기서 사용자가 현재 시청하는 VR 컨텐츠의 화각 정보는, HMD(100)를 착용하고 있는 사용자의 두부가 향하고 있는 방향의 각도, 즉 뷰 앵글(view angle) 정보가 될 수 있다. 이는 VR 컨텐츠 중에서 사용자가 시청하고 있는 화각이 상기 사용자의 두부가 향하고 있는 방향이 될 수 있기 때문이다.

도 5b는 VR 컨텐츠가 360도 전방향 영상인 경우에, 상기 사용자의 두부가 향하는 방향에 따른 화각 정보를 저장하는 예를 도시한 것이다.

우선 도 5b의 첫 번째 도면을 참조하여 살펴보면, 제어부(180)는 360도 전방향 영상인 VR 컨텐츠를 기준으로, 지면과 수평한 방향(이하 수평 방향)에서 사용자의 두부가 향하는 방향에 따른 뷰 앵글의 예를 보이고 있는 것이다.

도 5b의 첫 번째 도면에서 보이고 있는 바와 같이 VR 컨텐츠가 360도 전방향 영상(550)의 경우, 제어부(180)는 임의 또는 기 저장된 VR 컨텐츠의 정보에 따라 특정 화각의 영상을 기준 화각(0도)의 영상으로 설정할 수 있다. 그리고 설정된 기준 화각을 중심으로 HMD(100)를 착용한 사용자의 두부가 향하는 방향에 따라, 현재 사용자가 시청하고 있는 영상의 화각을 산출할 수 있다. 즉, 도 5b의 첫 번째 도면에서 보이고 있는 바와 같이 사용자가 VR 컨텐츠를 시청하고 있는 상태라면, 사용자의 시선 방향(552)에 대한 수평 방향의 뷰 앵글은 120도가 될 수 있다.

이에 따라 제어부(180)는, 기준 화각으로부터 수평 방향으로 120도 화각에 대응되는 VR 컨텐츠의 영상을 현재 사용자가 시청하고 있는 것으로 판단할 수 있다. 따라서 현재 재생되는 VR 컨텐츠의 구간이 편집 구간으로 선택되는 경우라면, 제어부(180)는 수평 방향의 뷰 앵글 정보로서 '120도'를 저장할 수 있다.

한편 상기 도 5b의 두 번째 도면은 지면과 수직한 방향(이하 수직 방향)에서, 사용자의 두부가 향하는 방향에 따른 뷰 앵글의 예를 보이고 있는 것이다. 상기 도 5b의 두 번째 도면에서 보이고 있는 VR 컨텐츠의 영상(560)은 현재 사용자가 시청하고 있는 화각의 영상, 즉 VR 컨텐츠 중, 120도 화각에 대응되는 영상의 상하 방향 영상일 수 있다.

이러한 상태에서, 제어부(180)는 센싱부(140)의 감지 결과를 통해, 상기 HMD(100)가 향하는 수직 방향의 각도를 감지할 수 있다. 즉, 도 5b에서 보이고 있는 바와 같이 HMD(100)가 30도 각도의 위쪽 방향을 향하도록 기울어져 있는 상태라면, 제어부(180)는 사용자가 수직 방향으로 상향 30도의 화각에 대응되는 VR 컨텐츠를 시청하고 있는 것으로 판단할 수 있다. 이에 따라 사용자의 수직 방향의 뷰 앵글은 +30도가 될 수 있다. 그리고 제어부(180)는 수직 방향의 뷰 앵글 정보로서 '+30도'를 저장할 수 있다.

따라서 상기 도 5b의 첫 번째 도면 및 두 번째 도면에서 보이고 있는 바와 같이 사용자가 VR 컨텐츠를 시청하는 상태라면, 제어부(180)는 '수평 방향 120도, 수직 방향 +30도'를 사용자의 뷰 앵글 정보로서 저장할 수 있다. 그리고 현재 이를 편집 구간의 시점 정보와 함께 저장할 수 있다.

한편 도 5b에서는 특정 시점의 사용자 뷰 앵글 정보를 저장하는 것을 예로 든 것이다. 따라서 사용자의 두부가 향하는 방향이 변경되면, 제어부(180)는 변경된 두부의 방향에 따라 변경된 뷰 앵글 정보를 저장할 수 있다. 즉, 제어부(180)는 편집 구간으로 선택된 VR 컨텐츠의 재생이 진행됨에 따라, 실시간으로 사용자의 두부가 향하는 방향의 정보들을 저장할 수 있다. 그리고 상기 저장된 사용자 두부가 향하는 방향 각각은, 상기 편집 구간의 VR 컨텐츠의 각 시점(時點)에 대응될 수 있다.

한편 상기 도 5b에서는, 상기 HMD(100)를 착용한 사용자의 두부가 향하는 방향에 근거하여 화각 정보가 산출 및 저장되는 예를 설명하였으나, 이와는 다른 방법으로 사용자가 현재 시청하고 있는 화각 정보를 산출할 수도 있음은 물론이다. 예를 들어 HMD(100)의 제어부(180)는 현재 재생되는 VR 컨텐츠 중 HMD(100)의 디스플레이부(151) 상에 표시되는 영역을 이용하여 이러한 사용자의 뷰 앵글 정보를 산출할 수도 있다. 즉, 제어부(180)는 VR 컨텐츠의 일부 영상이 디스플레이부(151) 상에 표시되는 경우, 상기 디스플레이부(151) 화면에 표시되는 상기 VR 컨텐츠의 일부 영상의 좌표 정보를 산출할 수 있다. 예를 들어 제어부(180)는 상기 디스플레이부(151) 화면의 중심 좌표에 대응되는 상기 VR 컨텐츠의 일부 영상의 일 지점의 좌표를 상기 좌표 정보로 산출할 수 있다. 그리고 산출된 좌표 정보에 근거하여, 상기 VR 컨텐츠 중 현재 디스플레이부(151) 상에 표시되는 영상에 대응되는 화각을 산출할 수 있다. 그리고 산출된 화각을, 현재 설정된 편집 구간에서 사용자가 VR 컨텐츠 영상을 시청하는 화각의 정보로 저장할 할 수도 있다.

한편 상기 S502 단계에서, 상기 VR 컨텐츠 중에서 현재 디스플레이부(151) 상에 표시되는 영상에 대응되는 화각 정보와, 상기 화각의 변경을 추적한 정보가 실시간으로 저장되는 상태에서, 제어부(180)는 사용자로부터 제2 입력이 있는지 여부를 감지할 수 있다(S504). 예를 들어 상기 제2 입력은 편집 구간의 선택 완료를 의미하는 것일 수 있다. 즉, 제어부(180)는 상기 제2 입력이 인가되는 경우, 상기 제2 입력이 인가된 시점을 현재 설정된 편집 구간의 끝 시점으로 인식할 수 있다.

여기서 상기 제2 입력은 VR 컨텐츠와 함께 표시되는 특정 객체에 대해 일정 시간동안 감지되는 시선이 될 수 있다. 또는 상기 제2 입력은 HMD(100) 외부 또는 이동 단말기(200)를 통해 인가되는 사용자의 기 설정된 입력이나, 일정 시간 내에 기 설정된 횟수 이상 감지되는 사용자의 눈 깜빡임 등이 될 수도 있다. 또한 상기 제2 입력은, 상기 제1 입력과 같은 입력일 수도 있음은 물론이다. 이러한 경우 제어부(180)는 동일한 사용자 입력이 첫 번째(홀수회) 감지되면 이를 편집 구간의 시작을 위한 것으로, 동일한 입력이 두 번째(짝수회) 감지되면 이를 편집 구간의 끝을 위한 것으로 판단할 수 있다.

한편 상기 제2 입력이 감지되는 경우, 제어부(180)는 현재 재생되는 VR 컨텐츠 중, 상기 제1 입력이 인가된 시점부터 제2 입력이 인가된 시점까지의 구간을, 사용자로부터 선택된 편집 구간으로 설정할 수 있다. 이에 따라 제어부(180)는 상기 제2 입력이 인가되는 경우, 상기 제2 입력이 감지된 시점을 상기 제1 편집 구간의 끝 시점에 대한 시점 정보로서 저장할 수 있다(S504). 그리고 상기 S502 단계에서 산출 및 추적된 화각 정보를 상기 제1 편집 구간에 관련된 정보로서 더 저장할 수 있다(S508).

한편 본 발명의 실시 예에 따른 HMD(100)는, 상술한 바와 같이 사용자로부터 선택된 편집 구간들을 선택받고, 선택된 편집 구간들로 구성되는 편집 컨텐츠를 생성할 수 있을 뿐만 아니라, 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 일 화면에 포함된 특정 객체를 편집할 수도 있다.

도 6은 이처럼 본 발명의 실시 예에 따른 HMD(100)에서, 사용자의 입력에 따라 편집이 선택된 객체에 대한 정보를, 편집 구간의 정보로 저장하는 동작 과정을 도시한 흐름도이다.

우선 도 6을 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는, 상기 도 4의 S400 단계에서 VR 컨텐츠가 재생되는 상태에서 현재 재생되는 VR 컨텐츠의 일 구간을 편집 구간으로 선택하기 위한 사용자의 입력을 감지할 수 있다. 그리고 감지된 사용자의 입력에 따라 현재 재생되는 VR 컨텐츠의 일 구간의 시작 시점 및 끝 시점의 정보를 편집 구간의 시점 정보로서 저장할 수 있다(S600).

한편 이처럼 편집 구간을 선택하기 위한 사용자의 입력이 감지되는 경우 제어부(180)는 현재 선택된 편집 구간의 VR 컨텐츠의 화면 중, 일 영역에 대한 사용자의 다른 입력(이하 사용자의 제3 입력이라 한다)을 감지할 수 있다(S602). 여기서 상기 사용자의 제3 입력은 현재 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 영상에 포함된 적어도 하나의 객체를 편집하기 위한 것일 수 있다.

예를 들어 제어부(180)는 VR 컨텐츠를 재생하는 중에, 디스플레이부(151) 상에 표시되는 영상에 포함된 객체를 편집하기 위한 사용자의 입력을 감지할 수 있다. 예를 들어 이러한 입력은, 기 설정된 그래픽 객체(예를 들어 편집 객체)를 일정 시간 응시하는 사용사의 시선이거나, 또는 HMD(100)의 외부 또는 이동 단말기(200)를 통해 인가되는 사용자의 입력일 수도 있다. 제어부(180)는 이러한 사용자의 입력이 감지되면, 그에 따라 현재 재생되는 VR 컨텐츠를 일시 정지 상태로 전환할 수 있으며, 이에 따라 디스플레이부(151) 상에 표시되는 영상은 사용자가 상기 디스플레이부(151) 상에 표시되는 영상을 편집할 수 있도록 일시적으로 정지될 수 있다.

한편 이처럼 영상 편집을 위한 사용자의 입력이 감지되는 경우, 제어부(180)는 상기 감지된 사용자의 입력을 상기 편집 구간의 선택을 위한 입력으로 감지할 수도 있다. 즉, 사용자가 상기 편집 객체를 사용자의 시선을 이용하여 선택하거나, 또는 사용자의 다른 입력에 따라 상기 디스플레이부(151) 상에 표시되는 영상을 편집할 수 있도록 일시적으로 고정되는 경우라면, 제어부(180)는 상기 영상이 고정된 시점을 편집 구간의 시점 정보(예를 들어 시작 시점의 정보)로 저장할 수 있다. 그리고 이러한 상태에서 제어부(180)는 상기 S602 단계에서, 편집될 객체를 선택받기 위한 상기 사용자의 제3 입력을 감지할 수 있다.

한편 VR 컨텐츠 화면 중, 사용자에 의해 편집될 객체를 포함하는 상기 일 영역은 사용자의 시선 방향에 따라 결정될 수 있다. 즉, 디스플레이부(151) 상에 현재 표시되는 영상 중, 사용자가 기 설정된 시간 이상 응시한 지점을 포함하는 기 설정된 넓이의 영역이, 상기 일 영역으로 설정될 수 있다. 또는 상기 HMD(100) 외부 또는 이동 단말기(200)를 통해 사용자 입력이 인가되는 경우, 인가된 사용자 입력에 대응되는 디스플레이부(151) 상의 일 지점을 포함하는 기 설정된 넓이의 영역이 상기 일 영역으로 설정될 수 있다. 그러면 제어부(180)는 VR 컨텐츠의 영상으로부터, 상기 설정된 일 영역에서 표시되는 객체들을 구분하고, 구분된 객체들을 식별 가능하게 표시할 수 있다(S604).

예를 들어 제어부(180)는 상기 S604 단계에서, 상기 구분된 객체들이 구분될 수 있도록, 가이드 라인(guide line) 등의 그래픽 객체를 상기 구분된 객체들 각각의 주변에 표시할 수 있다. 뿐만 아니라 제어부(180)는 상기 일 영역에 포함된 객체들을 사용자가 보다 쉽게 확인할 수 있도록, 상기 일 영역을 중심으로 일정 배율로 확대된 영상을 디스플레이부(151) 상에 표시할 수도 있다.

한편 이처럼 상기 일 영역에 포함된 객체들이 각각 구분될 수 있도록 표시된 상태에서, 제어부(180)는 상기 객체들을 편집하기 위한 사용자의 입력을 감지할 수 있다. 그리고 감지된 사용자의 입력에 근거하여 상기 구분되게 표시된 적어도 하나의 객체들에 대한 편집을 수행할 수 있다(S606).

예를 들어 제어부(180)는 상기 S606 단계에서, 상기 객체들 중 적어도 하나를 삭제할 수 있다. 즉, 제어부(180)는 상기 객체들 중 어느 하나가 표시되는 디스플레이부(151) 상의 영역 내의 일 지점에, 기 설정된 시간 이상 머무르는 사용자의 시선이 감지되는 경우, 상기 어느 하나의 객체가 선택된 것으로 판단할 수 있다. 그리고 선택된 객체를 삭제할 수 있다.

여기서 상기 선택된 객체의 삭제는, 상기 선택된 객체가 표시되는 일 영역을, 상기 일 영역의 주변에 표시되는 영상과 같은 색상 패턴을 가지는 이미지로 덮어씌우는 과정이 될 수 있다. 즉 제어부(180)는 상기 선택된 객체 주변의 화소들(또는 픽셀(Pixel)들)에서 표시되는 색상 정보(예를 들어 RGB값들)를 수집하고, 수집된 색상 정보로부터 색상 패턴을 분석할 수 있다. 그리고 상기 선택된 객체가 표시되는 일 영역을, 상기 분석된 색상 패턴에 따라 형성되는 이미지로 채울 수 있다. 그리고 채워진 이미지와 기존의 이미지를 합성하여 상기 선택된 객체가 더 이상 표시되지 않도록 할 수 있다.

한편, 제어부(180)는 상기 선택된 객체에 대해 객체 추적 기능을 수행할 수 있다. 그리고 상기 객체의 추적 결과에 따라 다른 재생 시점의 영상에 포함된 상기 선택된 객체를 추적할 수도 있다. 그리고 추적된 각 재생 시점 별 객체들에 대해, 각각 상기 S606 단계의 편집 과정, 즉 상기 추적된 객체들을 삭제하는 과정을 수행할 수 있다.

즉, 현재 재생되는 VR 컨텐츠의 일 영역에서 선택된 객체의 편집 상태를 반영하는 과정은, 현재 선택된 편집 구간 전체에 반영될 수 있다(S608). 예를 들어 제어부(180)는 다른 재생 시점의 영상들로부터 상기 선택된 객체를 추적한 결과, 상기 선택된 객체가 표시되는 재생 시점의 영상들을 포함하는 구간을 상기 편집 구간으로 설정할 수도 있다. 이러한 경우 제어부(180)는 특정 객체를 삭제하기 위한 사용자의 최초 입력이 인가된 시점을 상기 편집 구간의 시작 시점으로 인식하고, 상기 VR 컨텐츠 중 상기 시작 시점 이후의 영상들로부터 상기 특정 객체가 포함된 영상들을 포함하는 구간을 상기 편집 구간으로 설정할 수 있다.

또한 제어부(180)는 상기 다른 재생 시점의 영상들 중, 서로 시간적으로 연속되는 재생 시점의 영상들만을 하나의 편집 구간으로 식별할 수도 있다. 즉 제어부(180)는 특정 재생 시점의 영상이 상기 선택된 객체를 포함하고 있다고 할지라도, 현재 설정된 편집 구간의 영상으로부터 시간적으로 연속되지 않는 경우라면, 상기 특정 재생 시점의 영상은 현재 설정된 편집 구간의 영상으로 포함하지 않을 수도 있다.

한편 제어부(180)는, 상기 S608 단계에서 현재 설정된 편집 구간에 대해 상기 객체 편집 결과가 반영되면, 현재 설정된 편집 구간에 관련된 정보로서 상기 편집된 객체에 대한 정보를 저장할 수 있다(S610). 여기서 상기 편집된 객체에 대한 정보는, 상기 객체가 삭제된 각 재생 시점 영상들의 정보 및, 상기 각 영상들로부터 상기 삭제된 객체의 위치에 대한 정보들을 포함할 수 있다.

한편 상기 S606 단계에서 사용자에 의해 선택되어 편집되는 객체들은 복수개일 수 있다. 이러한 경우 상기 S608 단계에서 추적되는 객체들 역시 복수개일 수 있다. 또한 상기 S608 단계에서 식별되는 편집 구간은, 사용자의 선택에 따라, 상기 복수개의 객체들 모두를 포함하는 영상들만을 포함하여 형성되거나, 또는 상기 복수개의 객체들 중 어느 하나를 포함하는 영상들을 모두 포함하여 형성될 수도 있다.

한편 현재 편집이 선택된 객체의 크기가 기 설정된 크기 이상인 경우라면, 제어부(180)는 상기 편집이 선택된 객체가 표시되는 영역을 그 주변의 이미지로부터 생성되는 색상 패턴의 이미지로 덮어씌울 수 없다고 판단할 수도 있다. 또는 제어부(180)는 현재 편집이 선택된 객체가 표시되는 영역 주변의 이미지로부터 그 패턴을 분석하기가 어려운 경우, 즉, 상기 편집이 선택된 객체 주변에 복수의 서로 다른 다양한 이미지가 표시되는 상태인 경우, 상기 객체가 표시되는 영역을 다른 이미지로 채워 넣기 어려운 것으로 판단할 수도 있다.

이러한 경우 본 발명의 실시 예에 따른 HMD(100)는, 사용자로부터 유사 영상을 선택받을 수 있다. 그리고 선택된 유사 영상의 일부분을 이용하여 상기 편집 구간의 영상으로부터 선택된 객체가 표시되는 영역을 편집할 수도 있다.

도 7은 이러한 경우에 본 발명의 실시 예에 따른 HMD(100)에서, 편집될 영역의 크기에 따라 유사 영상을 이용하여 VR 컨텐츠를 편집하는 동작 과정을 도시한 흐름도이다.

도 7을 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는, 상술한 바와 같이 현재 편집이 선택된 객체의 크기가 기 설정된 크기 이상이거나 현재 편집이 선택된 객체가 표시되는 영역 주변의 이미지로부터 그 패턴을 분석하기가 어려운 경우, 선택된 객체가 표시되는 영역을 주변의 이미지를 이용하여 편집하기 어렵다고 판단할 수 있다. 그러면 제어부(180)는, 상기 편집이 선택된 객체가 표시되는 영상의 일부 영역을 공백 영역으로 형성하고, 상기 공백 영역을 포함하는 영상에 사용자로부터 선택되는 영상의 일부를 합성하여 편집을 수행할 수 있다. 이하 상기 편집이 선택된 객체를 포함하는 VR 컨텐츠의 영상을 제1 영상이라고 칭하기로 한다.

한편, 상술한 바와 같이, 상기 제1 영상의 편집이 어렵다고 판단된 경우, 제어부(180)는 현재 공백으로 형성된 영역, 즉 상기 선택된 객체가 표시되었던 영역의 편집에 이용할 수 있는 유사 영상을 사용자로부터 선택받을 수 있다. 이러한 경우 복수의 유사 영상 중 어느 하나를 사용자로부터 선택받기 위한 메뉴 화면이 디스플레이부(151) 상에 표시될 수 있다(S700).

한편 상기 유사 영상은, 기 설정된 조건에 따라 이동 단말기(200) 또는 HMD(100)에 기 저장된 이미지들로부터 검출되는 이미지일 수 있다. 예를 들어 상기 유사 영상은 현재 재생 중인 VR 컨텐츠가 촬영된 시점으로부터 기 설정된 시간 이내에 촬영된 다른 이미지일 수 있다. 또는 현재 재생 중인 VR 컨텐츠가 촬영될 당시의 위치 정보와 같은 위치에서 촬영된 다른 이미지일 수 있다. 따라서 제어부(180)는 현재 재생 중인 VR 컨텐츠가 촬영된 시점으로부터 기 설정된 시간 이내에 촬영되거나, 상기 VR 컨텐츠와 같은 위치에서 촬영된 다른 이미지가 있는 경우라면, 그 이미지를 포함하는 메뉴 화면을 상기 디스플레이부(151) 상에 표시할 수 있다. 또는 제어부(180)는 사용자의 선택에 따른 적어도 하나의 다른 이미지가 있는 경우, 그 이미지를 포함하는 메뉴 화면을 상기 디스플레이부(151) 상에 표시할 수도 있다.

한편 제어부(180)는 상기 디스플레이부(151) 상에 표시되는 복수의 이미지 중 어느 하나를 사용자로부터 선택받을 수 있다. 그리고 현재 공백으로 형성된 영역, 즉 상기 편집이 선택된 객체가 표시되었던 영역을 포함하는 상기 제1 영상과 겹쳐지도록 상기 선택된 이미지를 배치할 수 있다(S702).

여기서 제어부(180)는 사용자의 선택에 따라 상기 선택된 이미지를 회전하거나 그 위치를 변경할 수 있다. 예를 들어 상기 선택된 이미지의 회전 또는 위치 변경은, 사용자의 두부에 착용된 HMD(100)의 움직임에 따라 이루어질 수 있다. 즉, 사용자는 두부를 회전하거나 또는 좌 또는 우로 흔듦으로써, 상기 선택된 이미지가 회전되도록 하거나 그 위치가 변경되도록 할 수 있다. 따라서 상기 제1 영상의 공백 영역에는, 상기 회전 또는 위치의 변경에 따라 상기 선택된 이미지의 다른 일부가 표시될 수 있다.

한편 제어부(180)는, 상기 S702 단계에서 상기 선택된 이미지가 사용자의 선택에 따라 배치되는 경우, 상기 제1 영상과 상기 선택된 이미지가 서로 식별가능하게 표시되도록, 상기 선택된 이미지를 반투명화하여 상기 제1 영상에 겹쳐서 표시할 수 있다(S704).

한편 이처럼 상기 제1 영상의 적어도 일부에 상기 선택된 이미지가 반투명하게 겹쳐지게 표시된 상태에서, 제어부(180)는 사용자가 유사 영상을 이용한 편집을 종료하였는지 여부를 감지할 수 있다(S706). 예를 들어 상기 편집 종료는 사용자의 기 설정된 입력이 있는지 여부에 따라 결정될 수 있다. 여기서 상기 사용자의 기 설정된 입력은, 기 설정된 객체가 표시되는 디스플레이부(151) 상의 일 영역을 일정 시간 동안 응시하는 사용자의 시선일 수 있다. 또는 상기 HMD(100)의 외부나 이동 단말기(200)를 통해 인가되는 사용자의 기 설정된 키 입력 또는 터치 입력일 수 있다.

한편 상기 S706 단계에서 사용자가 편집 종료를 선택한 경우가 아니라면, 제어부(180)는 다시 S702 단계로 진행할 수 있다. 그리고 사용자의 선택에 따라 상기 겹쳐지게 표시된 이미지(상기 선택된 이미지)의 위치를 변경하거나 또는 회전할 수 있다. 이에 따라 상기 공백 영역을 통해 표시되는 상기 선택된 이미지의 일부는 변경될 수 있다. 그리고 상기 위치가 변경되거나 회전된 상기 선택된 이미지는, 식별 가능하게 상기 제1 영상과 겹쳐지게 표시될 수 있다.

반면 상기 S706 단계에서 사용자가 편집 종료를 선택한 경우라면, 제어부(180)는 현재 배치된 상태 그대로 상기 선택된 이미지와 상기 제1 영상을 합성할 수 있다(S708). 즉, 제어부(180)는 상기 제1 영상에 형성된 공백 부분을 통해 표시되는 상기 선택된 이미지의 일부와, 상기 제1 영상의 나머지 부분을 서로 합성할 수 있다. 따라서 상기 제1 영상의 공백으로 형성된 부분에, 상기 선택된 이미지의 일부를 포함하는 영상이 생성될 수 있다. 이에 따라 상기 편집이 선택된 영역이 기 설정된 크기 이상이거나 또는 주변의 영상으로부터 색상 패턴을 분석하기 어려운 경우라고 할지라도, 제어부(180)는 사용자로부터 선택된 특정 이미지의 일부를 이용하여 VR 컨텐츠의 편집을 수행할 수 있다.

한편 제어부(180)는, 상기 도 6에서 설명한 바와 유사한 방식으로, 현재 재생중인 VR 컨텐츠로부터 상기 편집이 선택된 객체를 포함하는 일정 구간의 영상에 상기 편집 결과를 반영할 수도 있다. 즉 제어부(180)는, 객체 추적 기능을 통해 상기 VR 컨텐츠로부터 상기 편집이 선택된 객체를 포함하는 일정 구간을 편집 구간으로 선택할 수 있다. 그리고 선택된 편집 구간의 각 재생 시점의 영상들로부터, 상기 편집된 객체가 포함되는 영역을 상기 도 7에서 합성된 이미지로 일괄 대체할 수 있다. 이에 따라 상기 선택된 편집 구간의 영상에는 상기 편집이 선택된 객체가 모두 삭제될 수 있으며, 상기 편집이 선택된 객체가 표시되는 영역에는 상기 선택된 이미지로부터 추출된 영상이 표시될 수 있다.

한편 상기 도 7은 HMD(100)에서 수행되는 것으로 기재하였으나, 이러한 편집 동작은 상기 도 7과 유사한 방식으로 이동 단말기(200)에서 수행될 수도 있음은 물론이다. 이러한 경우 상기 이동 단말기(200)를 통해 상기 도 7의 편집 과정이 수행되는 예를 하기 도 14a 내지 도 14b를 참조하여 보다 자세하게 살펴보기로 한다.

한편 상술한 설명에서는 동영상 형태의 VR 컨텐츠를 편집하는 예를 들어 설명하였으나, 본 발명이 이에 한정되는 것이 아님은 물론이다. 즉, 본 발명은 얼마든지 앞서 설명한 방법들과 유사한 방식으로 특정 정지 화상, 즉 이미지에 포함된 객체를 편집하거나, 또는 사용자의 선택에 따른 복수의 이미지만으로 구성된 VR 컨텐츠, 즉 편집 컨텐츠를 생성할 수도 있다.

하기 도 8은 이처럼 본 발명의 실시 예에 따른 HMD(100)에서, 사용자가 선택한 이미지들만으로 구성된 VR 컨텐츠(예를 들어 편집 컨텐츠)를 생성하는 동작 과정을 도시한 것으로, 상기 선택된 이미지들로 구성되는 가상의 갤러리 공간을 생성하는 과정을 도시한 흐름도이다.

도 8을 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 사용자로부터 선택된 이미지를 HMD(100)의 디스플레이부(151)를 통해 표시할 수 있다. 여기서 상기 표시되는 이미지는, VR 컨텐츠의 형태로 생성된 기 설정된 각도 이상의 화각을 가지는 이미지일 수 있다. 즉 360도 전방향을 촬영한 이미지이거나 또는 180도 화각의 영상을 촬영한 이미지일 수 있다. 이에 따라 제어부(180)는 사용자의 두부 움직임에 따라 서로 다른 화각의 이미지들을 디스플레이부(151) 상에 표시할 수 있다(S800).

그리고 제어부(180)는 디스플레이부(151) 상에 표시되는 서로 다른 화각의 이미지들에 대한 사용자의 입력을 감지할 수 있다. 예를 들어 제어부(180)는 사용자의 입력이 감지되면, 현재 HMD(100)의 디스플레이부(151) 상에 표시되는 화각의 이미지를 사용자가 선택한 것으로 판단할 수 있다. 그리고 사용자의 입력이 감지되는 화각의 이미지들 개수를 체크할 수 있다(S802).

여기서 사용자의 입력은, 편집 컨텐츠를 생성하기 위한 이미지들을 선택하기 위한 사용자의 선택일 수 있다. 그리고 상기 사용자의 입력은 기 설정된 객체가 표시되는 디스플레이부(151) 상의 일 영역을 일정 시간 동안 응시하는 사용자의 시선이거나, 상기 HMD(100)의 외부 또는 이동 단말기(200)를 통해 인가되는 사용자의 기 설정된 키 입력 또는 터치 입력일 수 있다.

그리고 제어부(180)는 사용자가 편집 컨텐츠의 생성을 선택하는 경우, 상기 S802 단계에서 체크된 이미지들의 개수에 따른 면들로 형성되는 다면체 형태의 갤러리 공간을 생성할 수 있다(S804).

예를 들어 상기 다면체 형태의 갤러리 공간은, 상기 사용자의 입력이 감지된 이미지들의 개수에 근거하여 형성되는 면의 개수를 가질 수 있다. 예를 들어 제어부(180)는 현재 사용자의 입력이 감지된 이미지들의 개수가 3개라면, 3개의 사각형 면을 가지는 삼각기둥 형태의 갤러리 공간을 생성할 수 있다. 반면 사용자의 입력이 감지된 이미지들의 개수가 5개라면, 5개의 사각형 면을 가지는 오각기둥 형태의 갤러리 공간을 생성할 수 있다. 즉 제어부(180)는 상기 S804 단계에서, 윗면과 아랫면을 제외한 면들의 수가, 사용자가 선택한 이미지들의 개수에 따라 결정되는 다면체 형태의 갤러리 공간을 생성할 수 있다.

한편 이처럼 갤러리 공간이 형성된 상태에서, 제어부(180)는 상기 갤러리 공간의 각 내면에 표시할 이미지를 사용자로부터 선택받을 수 있다(S806). 그리고 상기 형성된 갤러리 공간의 내부 각 면에 상기 선택된 이미지를 표시할 수 있다(S808). 예를 들어 제어부(180)는, 사용자가 기 설정된 시간 동안 상기 다면체 공간의 일 면을 응시하는 경우, 상기 사용자에 의해 선택된 특정 화각의 이미지들 중 어느 하나를 상기 다면체 공간의 상기 일 면에 표시할 수 있다. 그리고 이와 같은 방식으로 갤러리 공간의 각 면에, 현재 선택된 VR 컨텐츠의 서로 다른 화각의 이미지들을 표시할 수 있다.

한편 이처럼 다면체 형태의 갤러리 공간이 생성되면, 제어부(180)는 사용자의 선택에 따라 현재 형성된 갤러리 공간을 VR 컨텐츠로서 저장할 수 있다(S810). 따라서 제어부(180)는 사용자가 상기 갤러리 공간을 선택하는 경우, 360도 영상을 표시하는 VR 컨텐츠와 유사하게, 상기 갤러리 공간의 영상을 표시할 수 있다. 이처럼 VR 컨텐츠의 형태로 생성된 갤러리 공간의 예를 하기 도 15를 참조하여 보다 자세하게 살펴보기로 한다.

한편 상기 S810 단계에서, 사용자는 현재 생성된 갤러리 공간을 편집할 수도 있음은 물론이다. 즉, 제어부(180)는 현재 생성된 갤러리 공간의 일면에 표시된 이미지를 사용자로부터 선택받을 수 있으며, 선택된 이미지를 다른 이미지로 교체할 수 있다. 또는 제어부(180)는 현재 생성된 갤러리 공간의 일면에 표시된 이미지의 삭제를 사용자로부터 선택받거나, 새로운 이미지의 추가를 선택받을 수도 있다.

여기서 제어부(180)는 상기 갤러리 공간의 일면에 표시된 이미지의 삭제가 선택되면, 현재 형성된 다면체 형태의 갤러리 공간을, 이미지들의 개수에 따라 재구성할 수 있다. 즉 제어부(180)는 상기 S802 단계에서 선택된 이미지가 5개임에 따라 오각기둥 형태의 갤러리 공간이 생성된 상태에서, 어느 하나의 이미지에 대한 삭제가 선택되는 경우, 오각기둥 형태의 갤러리 공간을 사각기둥 형태로 재구성할 수 있다. 이는 하나의 이미지가 삭제됨으로써 4개의 이미가 표시되는 상태로 변경되었기 때문이다.

반면 사용자로부터 현재 생성된 갤러리 공간에 추가될 이미지가 선택되면, 현재 형성된 다면체 형태의 갤러리 공간을, 선택된 이미지들의 개수에 따라 재구성할 수 있다. 즉 제어부(180)는 상기 S802 단계에서 선택된 이미지가 5개임에 따라 오각기둥 형태의 갤러리 공간이 생성된 상태에서, 어느 하나의 이미지가 더 추가되는 경우, 오각기둥 형태의 갤러리 공간을 육각기둥 형태로 재구성할 수 있다. 이는 하나의 이미지가 추가됨으로써 6개의 이미가 표시되는 상태로 변경되었기 때문이다.

한편 상술한 설명에서는, 윗면과 아랫면을 제외한 면들의 수가 사용자로부터 선택된 이미지들의 개수에 따라 형성되는 기둥 형태의 갤러리 공간이 형성되는 것을 예로 들어 설명하였으나, 본 발명이 이에 한정되는 것이 아님은 물론이다. 즉 선택된 이미지들의 개수가 기 설정된 개수인 경우, 얼마든지 상기 윗면과 아랫면을 이미지가 표시되는 면으로 포함하는 다면체 형태의 갤러리 공간이 생성될 수도 있음은 물론이다.

즉, 선택된 이미지가 3개 또는 4개인 경우 제어부(180)는 삼각뿔이나 정사면체 형태의 갤러리 공간을 생성할 수 있다. 그리고 내부의 각 면에 사용자로부터 선택된 이미지들을 각각 표시할 수 있다. 또는 선택된 이미지가 5개 또는 6개인 경우 제어부(180)는 피라미드 형태 또는 정육면체 형태의 갤러리 공간을 생성할 수 있다. 이러한 경우 제어부(180)는 사용자의 전면, 후면, 좌측면, 우측면 뿐만 아니라 윗면이나 또는 아랫면에도 사용자로부터 선택된 이미지가 표시되도록 할 수도 있음은 물론이다.

한편 이상의 설명에서는, 본 발명의 실시 예에 따른 HMD(100)를 통해 사용자로부터 선택된 VR 컨텐츠가 편집되거나, 사용자로부터 선택된 편집 구간들 또는 이미지들로 구성되는 편집 VR 컨텐츠가 생성되는 예를 복수의 흐름도를 참조하여 자세히 설명하였다.

이하의 설명에서는, 이러한 본 발명의 실시 예에 따라 VR 컨텐츠가 HMD(100) 또는 상기 HMD(100)와 연결된 이동 단말기(200)를 통해 편집되는 예들을 복수의 예시도를 참조하여 보다 자세하게 살펴보기로 한다.

도 9는 본 발명의 실시 예에 따른 HMD(100)에서, 사용자로부터 선택된 구간들로 구성된 편집 컨텐츠가 생성되는 예를 도시한 예시도이다.

먼저 도 9의 첫 번째 도면을 참조하여 살펴보면, 도 9의 첫 번째 도면은 VR 컨텐츠의 재생이 종료된 경우의 예를 보이고 있는 것이다. 예를 들어 HMD(100)의 제어부(180)는 현재 선택된 VR 컨텐츠의 모든 구간이 재생완료되거나, 사용자로부터 종료 명령이 수신되는 경우, 또는 사용자가 다른 VR 컨텐츠를 선택하는 경우에 현재 재생중인 VR 컨텐츠의 종료가 선택된 것으로 판단할 수 있다.

이러한 경우 제어부(180)는 도 9의 첫 번째 도면에서 보이고 있는 바와 같이, 사용자로부터 현재 재생이 완료된 VR 컨텐츠에 대한 편집을 선택받을 수 있다. 예를 들어 제어부(180)는 상기 도 9의 첫 번째 도면에서 보이고 있는 바와 같이, 편집 기능을 선택받을 수 있는 그래픽 객체(900)를 디스플레이부(151) 상에 표시할 수 있으며, 상기 그래픽 객체(900)에 대한 사용자의 입력이 있는 경우 이를 사용자의 선택으로 감지할 수 있다.

여기서 사용자의 입력은, 상기 그래픽 객체(900)가 표시되는 디스플레이부(151) 상의 일 영역에 대해 일정 시간 동안 인가되는 사용자의 시선일 수 있다. 또는 상기 HMD(100)와 연결된 이동 단말기(200)를 통해 입력되는 터치 입력일 수 있다. 이러한 경우 제어부(180)는 도 9의 첫 번째 도면에서 보이고 있는 바와 같이, 상기 터치 입력이 인가된 이동 단말기(200) 터치 스크린(251) 상의 일 지점(902)을 디스플레이부(151) 상에 표시함으로써, 사용자가 상기 그래픽 객체(900)를 선택하도록 할 수 있다.

한편 도 9의 첫 번째 도면에서 보이고 있는 바와 같이, 사용자가 편집 기능을 선택하는 경우라면, 제어부(180)는 상기 VR 컨텐츠를 재생하면서 설정된 편집 구간들에 대한 정보를 표시할 수 있다. 예를 들어 사용자가 HMD(100)를 착용하고 있는 상태라면, 제어부(180)는 도 9의 두 번째 도면에서 보이고 있는 바와 같이, 상기 VR 컨텐츠의 전체 재생 시간에 대응되는 타임 라인(time line) 그래픽 객체(920)를 표시할 수 있으며, 상기 타임 라인 그래픽 객체(920)에 현재 설정된 편집 구간들에 대응되는 구간들(922, 924, 926)을 표시할 수 있다.

한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 각 편집 구간을 설정 받을 때에, 각 편집 구간의 영상에 대응되는 화각 정보를 더 저장할 수 있음을 언급한 바 있다. 그리고 제어부(180)는 상기 편집 구간들 각각에 대해, 상기 저장된 각 화각 정보에 따라 기준 화각이 설정되도록 할 수 있다. 그리고 각 편집 구간에 설정된 기준 화각에 따라, 각 편집 구간에 대응되는 대표 영상들을 생성할 수 있다. 예를 들어 상기 대표 영상들은, 상기 편집 구간들 각각에 설정된 기준 화각에 대응되는 상기 VR 컨텐츠의 서로 다른 재생 시점의 영상들일 수 있다. 즉 상기 대표 영상은 특정 편집 구간에 해당되는 영상들 중 일 재생 시점의 영상의 일부, 즉, 상기 특정 편집 구간에 대응되게 기 저장된 화각의 영상일 수 있다.

도 9의 두 번째 도면에서 보이고 있는 대표 영상들(912, 922, 924)은, 이처럼 각 편집 구간마다 저장된 화각 정보에 근거하여 생성된 대표 영상들의 예를 보이고 있는 것이다.

한편 이러한 상태에서, 제어부(180)는 도 9의 두 번째 도면에서 보이고 있는 바와 같이, 편집 컨텐츠의 생성을 사용자로부터 선택받을 수 있다. 그리고 도 9의 두 번째 도면에서 보이고 있는 바와 같이, 사용자의 터치 입력에 따라 편집 동영상의 생성이 선택(902)되면, 제어부(180)는 현재 설정된 편집 구간들의 영상들을 이용하여 편집 컨텐츠를 생성할 수 있다.

이에 따라 제어부(180)는 도 9의 세 번째 도면에서 보이고 있는 바와 같이, 설정된 편집 구간들(922, 924, 926)을 시간 순서대로 서로 연결하여 편집 컨텐츠를 생성할 수 있다. 이에 따라 상기 편집 컨텐츠는 상기 편집 구간들(922, 924, 926)만으로 구성될 수 있다. 따라서 사용자는 자신이 선택한 부분들만을 포함하는 VR 컨텐츠를 생성할 수 있다.

한편 상술한 바에 따르면 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 각 편집 구간을 설정받을 때 각 편집 구간의 영상에 대응되는 화각 정보를 저장할 수 있다. 그리고 각 편집 구간들의 기준 화각을 상기 저장된 화각에 따라 설정할 수 있음을 언급한 바 있다. 따라서 비록 하나의 컨텐츠로 이루어져 있다고 할지라도, 제1 편집 구간(922)과 제2 편집 구간(924), 그리고 제3 편집 구간(926)은 각각 기준 화각에 대응되는 영상이 각각 서로 다르게 설정될 수 있다. 여기서 상기 기준 화각에 대응되는 영상이란, VR 컨텐츠의 재생 시작 시에 사용자의 안면 방향에 대응되는 화각, 즉 수평 방향 및 수직 방향의 화각이 각각 0도에 대응되는 상기 VR 컨텐츠의 영상이 될 수 있다.

따라서 제어부(180)는 상기 편집 컨텐츠의 재생 시, 상기 제1 편집 구간(922)과 제2 편집 구간(924), 그리고 제3 편집 구간(926)에서 각각 서로 다른 화각의 영상을 디스플레이부(151) 상에 표시할 수 있다. 즉, 상기 편집 컨텐츠를 시청하는 경우 사용자는 두부를 움직이지 않고서도, 상기 편집 구간들 각각을 선택할 때 사용자가 시청하였던 화각의 VR 컨텐츠 영상을, 그대로 다시 시청할 수 있다.

한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 화면 일 영역에 표시되는 객체를 사용자의 선택에 따라 편집할 수도 있음을 언급한 바 있다.

도 10a 내지 도 10c는 이처럼 본 발명의 실시 예에 따른 HMD(100)에서, 재생되는 VR 컨텐츠의 일 영역에 포함된 객체들 중 적어도 하나가 편집되는 예를 도시한 예시도이다.

우선 도 10a는 VR 컨텐츠의 재생 중에 사용자로부터 편집 기능을 선택받는 예를 도시한 것이다. 먼저 도 10a의 첫 번째 도면을 참조하여 살펴보면, 상기 편집 기능은 다양한 방법으로 선택될 수 있다. 예를 들어 사용자가 VR 컨텐츠가 재생되는 상태에서, 디스플레이부(151) 상의 일 영역에 표시되는 편집 그래픽 객체(1010)를 기 설정된 시간 동안 응시하는 경우, 제어부(180)는 상기 편집 기능이 선택된 것으로 판단할 수 있다. 예를 들어 제어부(180)는 HMD(100)를 착용한 사용자의 두부 움직임에 따라 디스플레이부(151) 상의 일 지점(예를 들어 디스플레이부(151) 상의 중심)에 상기 편집 그래픽 객체(1010)가 위치하는 화각의 영상이 표시되는 상태가 상기 기 설정된 시간 동안 유지되는 경우, 사용자가 상기 편집 그래픽 객체(1010)를 기 설정된 시간 동안 응시한 것으로 판단할 수 있다. 이러한 경우 사용자가 응시한 시간에 대응되는 그래픽 객체(1012)가 상기 편집 그래픽 객체(1010) 주변에 표시될 수 있다.

또는 상기 편집 기능은 상기 HMD(100)와 연결된 이동 단말기(200)를 통해 선택될 수도 있다. 예를 들어 제어부(180)는 상기 HMD(100)와 연결된 이동 단말기(200)를 통해 기 설정된 방식의 터치 입력(예를 들어 기 설정된 횟수의 두드림 등)이 인가되는 경우 사용자가 상기 편집 기능을 선택한 것으로 판단할 수 있다.

한편 제어부(180)는 사용자로부터 편집 기능이 선택되는 경우, 도 10a의 첫 번째 도면에서 보이고 있는 바와 같이, 현재 재생중인 VR 컨텐츠를 일시 정지 상태로 전환하는 예를 보이고 있는 것이다. 그리고 상기 VR 컨텐츠에서 편집 기능이 선택된 시점을, 편집 구간의 시작 시점으로 인식할 수 있다. 즉, 제어부(180)는 상기 편집 기능이 선택되는 경우, 현재 재생되는 VR 컨텐츠의 일 구간을 편집 구간으로 설정할 수 있다.

이처럼 일시 정지 상태로 전환된 상태에서, 제어부(180)는 현재 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 화면(1000) 중 편집할 일 영역을 사용자로부터 선택받을 수 있다. 예를 들어 제어부(180)는 상기 일 영역을 다양한 방법으로 선택받을 수 있다. 즉, 제어부(180)는 도 10a의 두 번째 도면에서 보이고 있는 바와 같이, 제어부(180)는 현재 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 화면(1000) 중, 사용자가 일정 시간 동안 응시한 일 지점에 근거하여 일정 크기의 영역(1040)을, 사용자로부터 선택된 편집 영역(1030)으로 설정할 수 있다.

예를 들어 제어부(180)는 HMD(100)를 착용한 사용자의 두부 움직임에 따라 디스플레이부(151) 상의 일 지점(예를 들어 디스플레이부(151) 상의 중심)에 대응되는 화면 상의 일 영역을 디스플레이부(151) 상에 표시할 수 있다. 그리고 상기 사용자의 두부가 향하는 방향이 기 설정된 시간 이상 변경되지 않는 경우, 상기 일 지점에 대응되는 화면(1000) 상의 일 영역(1040)을, 사용자로부터 선택된 편집 영역(1030)으로 설정할 수 있다. 여기서 제어부(180)는 상기 사용자의 두부가 향하는 방향이 변경되더라도, 기 설정된 오차 범위 내에서 변경되는 경우 상기 사용자의 두부가 향하는 방향이 변경되지 않은 것으로 판단할 수 있음은 물론이다. 한편 상기 일 지점을 사용자가 응시한 시간에 대응되는 그래픽 객체(1042)가 상기 일 영역(1040) 주변에 표시될 수 있다.

또는 제어부(180)는 상기 편집 영역을 상기 HMD(100)와 연결된 이동 단말기(200)를 통해 입력되는 터치 입력을 통해 설정할 수도 있음은 물론이다. 즉 도 10a의 두 번째 도면에서 보이고 있는 바와 같이, 제어부(180)는 상기 이동 단말기(200)의 터치 스크린(251) 상에 터치 입력이 인가되는 경우, 인가된 터치 입력 지점에 대응되는 화면(1000) 상의 일 영역(1030)을, 사용자로부터 선택된 편집 영역으로 설정할 수 있다.

이처럼 현재 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 화면(1000) 중 일 영역이 편집 영역(1030)으로 설정되면, 제어부(180)는 상기 편집 영역(1030)에 표시되는 VR 컨텐츠의 객체들을 인식할 수 있다. 그리고 상기 인식된 객체들이 구분 가능하도록 표시할 수 있다. 그리고 상기 인식된 객체들 중 적어도 하나를, 사용자의 입력에 따라 편집할 수 있다.

한편 이러한 사용자의 입력은 다양한 방법으로 입력될 수 있다. 예를 들어 제어부(180)는 상기 인식된 객체들 중 어느 하나에 인가되는 사용자의 시선에 근거하여 상기 어느 하나의 객체를 편집할 수 있다. 또는 제어부(180)는 HMD(100)와 연결된 이동 단말기(200)를 통해 인가되는 사용자의 입력에 따라 상기 어는 하나의 객체를 편집할 수도 있다.

우선 도 10b는 이처럼 HMD(100)와 연결된 이동 단말기(200)를 통해 인가되는 사용자의 입력에 따라 상기 어는 하나의 객체를 편집하는 예를 도시한 것이다. 먼저 도 10b의 첫 번째 도면은 상술한 바와 같이 상기 편집 영역(1030)에 표시되는 VR 컨텐츠의 객체들을 인식한 결과를 표시하는 예를 도시한 것이다.

예를 들어 제어부(180)는 현재 설정된 편집 영역(1030)을 중심으로 현재 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 화면(1000)을 확대한 영상을 디스플레이부(151) 상에 표시할 수 있다. 이러한 경우, 현재 디스플레이부(151) 상에 표시되는 영역의 위치에 대한 정보(1072)가, 상기 디스플레이부(151) 상에 표시된 미니맵(1070) 상에 표시될 수 있다. 그리고 상기 편집 영역(1030)에 대응되는 영역(1060)이 확대되어 표시될 수 있으며, 상기 편집 영역(1030)에 포함된 객체들(1062, 1064)이 각각 구분되게 표시될 수 있다.

이러한 상태에서 제어부(180)는, 이동 단말기(200)를 통해 인가되는 사용자의 입력을 감지할 수 있다. 즉 도 10b의 두 번째 도면에서 보이고 있는 바와 같이 이동 단말기(200)의 터치 스크린(251) 상의 일 지점(1080)에 터치 입력이 인가되는 경우, 제어부(180)는 상기 일 지점(1080)에 대응되는 디스플레이부(151) 상의 일 지점(1082)을 구분되게 표시할 수 있다. 이러한 경우 상기 터치 입력에 대응되는 일 지점(1082)은, 현재 객체들(1062, 1064)이 표시되는 영역 외부의 일 지점일 수 있다.

한편 도 10b의 두 번째 도면에서 보이고 있는 상태에서, 이동 단말기(200)의 터치 스크린(251) 상에 상기 터치 입력에 이어 드래그 입력이 인가되는 경우, 제어부(180)는 상기 드래그 입력의 궤적에 따라 상기 디스플레이부(151) 상에 표시되는 상기 일 지점(1082)의 위치를 변경할 수 있다. 그리고 도 10b의 세 번째 도면에서 보이고 있는 바와 같이, 상기 드래그 입력에 따라 상기 일 지점(1082)의 위치가, 현재 설정된 편집 영역(1060) 내의 객체들(1062, 1064) 중 어느 하나(1062)가 표시되는 영역 내부의 일 지점으로 변경되는 경우라면, 제어부(180)는 상기 드래그 입력을, 현재 인식된 객체들(1062, 1064) 중 편집될 객체를 선택하기 위한 사용자의 입력으로 판단할 수 있다. 따라서 제어부(180)는 도 10b의 네 번째 도면에서 보이고 있는 바와 같이, 변경된 일 지점(1082)의 위치에 대응되는 어느 하나의 객체(1062)를 삭제할 수 있다. 이러한 경우 상기 제어부(180)는 상기 어느 하나의 객체(1062)가 표시되는 화면(1000) 상의 일 영역을, 상기 어느 하나의 객체(1062) 주변의 화소들로부터 분석되는 색상 정보에 따라 형성되는 특정 색상의 이미지로 채움으로써 상기 어느 하나의 객체(1062)의 삭제를 수행할 수 있다. 즉, 도 10b의 네 번째 도면에서 보이고 있는 바와 같이 상기 어느 하나의 객체(1062)가 하늘을 날고 있는'새'인 경우, 제어부(180)는 주변의 색상 정보, 즉 하늘색으로 상기 어느 하나의 객체(1062)가 표시되던 화면(1000) 상의 영역을 채움으로써, 상기 어느 하나의 객체(1062)가 삭제되도록 할 수 있다.

한편 도 10b가 이동 단말기(200)를 통해 편집이 이루어지는 예를 도시한 것이라면, 도 10c는 HMD(100)를 통해 상기 편집이 이루어지는 예를 도시한 것이다.

먼저 도 10c의 첫 번째 도면을 참조하여 살펴보면, 도 10c의 첫 번째 도면은, 상기 도 10a의 두 번째 도면에서 보이고 있는 바와 같이 사용자로부터 선택된 편집 영역(1030)에 포함된 객체들(1062, 1064)이 인식되는 예를 도시한 것이다. 이러한 상태에서 사용자가 상기 편집 영역(1030)을 기 설정된 시간 동안 응시하는 경우 제어부(180)는, 도 10c의 두 번째 도면에서 보이고 있는 바와 같이, 현재 설정된 편집 영역(1030)을 중심으로 현재 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 화면(1000)을 확대하여 디스플레이부(151) 상에 표시할 수 있다. 그리고 현재 디스플레이부(151) 상에 표시되는 영역의 위치에 대한 정보(1072)를 포함하는 미니맵(1070) 정보를 상기 디스플레이부(151) 상의 일 영역에 표시할 수 있다. 이러한 경우 상기 편집 영역(1030)에 대응되는 영역(1060)이 확대되어 표시될 수 있으며, 상기 편집 영역(1030)에 포함된 객체들(1062, 1064)이 각각 구분되게 표시될 수 있다.

이처럼 편집 영역(1030)에 대응되는 영역이 확대되어 표시된 상태에서, 제어부(180)는 상기 편집 영역(1030)에 포함된 객체들(1062, 1064)에 대한 사용자의 시선 방향을 감지할 수 있다. 그리고 상기 객체들(1062, 1064) 중 어느 하나(1062)가 표시되는 영역을 사용자가 기 설정된 시간동안 응시하는 경우, 상기 어느 하나의 객체(1062)가 사용자에 의해 선택된 것으로 판단할 수 있다. 이러한 경우 도 10c의 세 번째 도면에서 보이고 있는 바와 같이, 현재 사용자의 시선에 대응되는 일 지점(1090)(예를 들어 디스플레이부(151)의 중심 지점)이 표시될 수 있으며, 사용자가 응시한 시간에 대응되는 그래픽 객체(1092)가 상기 일 지점(1090) 주변에 표시될 수 있다.

한편 이처럼 사용자의 시선 방향에 따라 편집될 객체(1062)가 선택되면 선택된 객체(1062)를 삭제할 수 있다. 이러한 경우 상기 제어부(180)는 상기 어느 하나의 객체(1062)가 표시되는 화면(1000) 상의 일 영역을, 상기 어느 하나의 객체(1062) 주변의 화소들로부터 분석되는 색상 정보에 따라 형성되는 특정 색상의 이미지로 채움으로써 상기 어느 하나의 객체(1062)의 삭제를 수행할 수 있다.

한편 도 10b 및 도 10c에서 보이고 있는 바와 같이, 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 화면(1000) 중 일 영역에 포함된 어느 하나의 객체(1062)가 편집되면, 제어부(180)는 현재 재생 중인 VR 컨텐츠의 다른 재생 시점의 영상들로부터 상기 삭제된 객체(1062)를 포함하는 다른 재생 시점의 영상들을 검출할 수 있다. 그리고 검출된 영상들에 근거하여 편집 구간이 설정되도록 할 수 있다. 보다 바람직하게 제어부(180)는 현재 삭제된 컨텐츠(1062)를 포함하는 영상과 시간적으로 연속하여 이어질 수 있는 재생 시점의 영상들로 편집 구간이 설정되도록 할 수 있다.

즉, 예를 들어 현재 선택된 VR 컨텐츠가, 상기 도 10a에서 편집 기능이 선택된 시점으로부터 상기 삭제가 선택된 객체(1062)가 연속하여 5초간 더 표시되는 컨텐츠의 경우, 제어부(180)는 상기 편집 기능이 선택된 시점을 편집 구간의 시작 시점으로 인식할 수 있다. 그리고 상기 편집 기능이 선택된 시점 이후에, 상기 삭제된 객체(1062)를 포함하는 5초 동안의 구간을 편집 구간으로 설정할 수 있다. 그리고 제어부(180)는 현재 설정된 편집 구간의 모든 영상으로부터 상기 삭제된 객체(1062)를 삭제할 수 있다. 여기서 제어부(180)는 객체 추적(object trace) 기능을 이용하여 상기 삭제가 선택된 객체(1062)를 추적하여 삭제할 수도 있음은 물론이다.

한편 제어부(180)는 현재 설정된 편집 구간의 시점 정보와, 편집된 객체(1062)에 대한 정보를 저장할 수 있다. 예를 들어 상기 편집된 객체(1062)에 대한 정보는, 상기 객체(1062)의 위치 및, 상기 객체를 포함하는 영상의 재생 시점에 대한 정보 등을 포함할 수 있다. 그리고 상기 편집된 객체(1062)의 정보를 포함하는 편집 구간의 정보가, 이동 단말기(200) 또는 HMD(100)의 디스플레이부(251 또는 151)를 통해 표시될 수 있다.

한편 상술한 설명에서는, 사용자가 HMD(100)를 착용한 상태에서, 상기 HMD(100)의 제어부(180)가 VR 컨텐츠를 편집하는 예들을 설명하였다. 그러나 이와는 달리, 상기 HMD(100)와 연결된 이동 단말기(200)를 통해 상기 VR 컨텐츠가 편집될 수도 있음은 물론이다. 하기 도 11 내지 도 14는 이처럼 이동 단말기(200)를 통해 VR 컨텐츠가 편집되는 예들을 도시한 것이다.

상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD(100)는 VR 컨텐츠의 재생이 종료되는 경우, 사용자가 HMD(100)를 탈착한 상태라면 현재 설정된 편집 구간들의 정보가 상기 HMD(100)에 연결된 이동 단말기(200)를 통해 다양하게 표시될 수 있음을 언급한 바 있다. 도 11은 이처럼 본 발명의 실시 예에 따른 HMD(100)와 연결가능한 이동 단말기(200)에서, 현재 설정된 편집 구간들에 대한 정보를 표시하는 예시도이다.

예를 들어 이동 단말기(200)의 제어부(280)는 이동 단말기(200)가 잠금 상태에 있는 경우, 도 11의 (a)에서 보이고 있는 바와 같이 상기 잠금 화면 상에 표시되는 알림 정보(1102)의 형태로 현재 설정된 편집 구간들의 정보를 표시할 수 있다. 예를 들어 상기 알림 정보(1102)는 편집 구간들이 설정된 날짜와, 설정된 편집 구간들의 개수(1104)에 대한 정보를 포함할 수 있다.

한편 이동 단말기(200)의 제어부(280)는 다른 방식으로 사용자에게 편집된 VR 컨텐츠에 대한 정보를 표시할 수도 있다. 예를 들어 제어부(280)는 도 11의 (b)에서 보이고 있는 바와 같이, 홈 스크린(1100)에 겹쳐서 표시되는 알림창(1112)의 형태로 표시할 수 있다. 예를 들어 상기 알림창(1112)은 상기 홈 스크린(1100)보다 상위의 레이어(layer)로 표시되는 반투명한 윈도우의 형태로 형성될 수 있으며, 편집된 VR 컨텐츠의 명칭 및, 현재 설정된 편집 구간들의 개수에 대한 정보(1114)를 포함할 수 있다.

뿐만 아니라 이동 단말기(200)의 제어부(280)는 편집된 VR 컨텐츠가 있음을, 상기 VR 컨텐츠에 관련된 특정 어플리케이션의 아이콘에 표시할 수도 있음은 물론이다. 즉 도 11의 (c)에서 보이고 있는 바와 같이, 제어부(280)는 VR 컨텐츠의 재생과 관련된 특정 어플리케이션의 아이콘(1120) 주변에, 기 설정된 그래픽 객체(1122)를 표시하여, 현재 편집된 VR 컨텐츠가 있음을 표시할 수 있다. 이러한 경우 상기 그래픽 객체(1122)는 상기 도 11의 (c)에서 보이고 있는 바와 같이 현재 설정된 편집 구간들의 개수를 더 포함할 수도 있다.

한편 도 11의 (a) 내지 (c)에서 보이고 있는 알림 정보(1102), 알림창(1112) 또는 어플리케이션 아이콘(1120) 중 어느 하나를 선택하는 경우, 이동 단말기(200)의 제어부(280)는 터치 스크린(251) 상에 편집이 선택된 VR 컨텐츠에 대한 정보를 표시할 수 있다. 예를 들어 상기 편집이 선택된 VR 컨텐츠의 정보는, 상기 VR 컨텐츠의 재생 시간 및, 상기 VR 컨텐츠에 설정된 편집 구간들의 정보일 수 있다.

도 12는 이처럼 본 발명의 실시 예에 따른 HMD(100)와 연결 가능한 이동 단말기(200)에서, 기 설정된 편집 구간들로 구성된 편집 컨텐츠가 생성되는 예시도이다.

먼저 도 12의 첫 번째 도면을 참조하여 살펴보면, 이동 단말기(200)의 제어부(280)는 상기 VR 컨텐츠를 재생하면서 설정된 편집 구간들에 대한 정보를 표시할 수 있다. 즉 제어부(280)는 도 12의 첫 번째 도면에서 보이고 있는 바와 같이, 상기 VR 컨텐츠의 전체 재생 시간에 대응되는 타임 라인(time line) 그래픽 객체(1200)를 표시할 수 있으며, 상기 타임 라인 그래픽 객체(1200)에 현재 설정된 편집 구간들에 대응되는 구간들(1212, 1214, 1216)을 표시할 수 있다. 그리고 각 편집 구간에 설정된 기준 화각에 따라, 각 편집 구간에 대응되는 대표 영상들(1202, 1204, 1206)을 각각 표시할 수 있다.

이러한 상태에서 상기 이동 단말기(200)의 제어부(280)는 사용자의 선택에 따라 편집 컨텐츠를 생성할 수 있다. 예를 들어 제어부(280)는 도 12의 두 번째 도면에서 보이고 있는 바와 같이, 각 편집 구간들(1212, 1214, 1216)을 시간 순서대로 서로 연결하여 편집 컨텐츠를 생성할 수 있다. 이에 따라 상기 편집 컨텐츠는 상기 편집 구간들(1212, 1214, 1216)만으로 구성될 수 있다. 그리고 제어부(280)는 편집 컨텐츠의 전체 재생 시간에 대응되는 타임 라인 그래픽 객체(1210)를 표시할 수 있다.

한편 이러한 상태에서, 이동 단말기(200) 제어부(280)는 사용자의 선택에 따라 상기 편집 컨텐츠를 구성하는 편집 구간들의 순서를 변경할 수도 있음은 물론이다. 즉, 제어부(280)는 도 12의 세 번째 도면에서 보이고 있는 바와 같이, 어느 하나의 편집 구간에 대응되는 사용자의 입력을 감지할 수 있다. 예를 들어 이러한 사용자의 입력은 상기 타임 라인 그래픽 객체(1200) 상의 일 영역에 인가되거나, 대표 영상들(1202, 1204, 1206) 중 어느 하나(제2 대표 영상)에 인가될 수 있다. 그리고 도 12의 세 번째 도면에서 보이고 있는 바와 같이, 제2 대표 영상(1204)에 사용자의 터치 입력이 인가되면, 제어부(280)는 상기 제2 대표 영상(1204)에 대응되는 편집 구간(1214)이 사용자에 의해 선택된 것으로 판단할 수 있다.

한편 도 12의 세 번째 도면에서 보이고 있는 바와 같이, 어느 하나의 편집 구간이 선택되면, 제어부(280)는 선택된 편집 구간이 재생되는 순서를 변경할 수 있다. 즉, 제어부(280)는 도 12의 네 번째 도면에서 보이고 있는 바와 같이, 상기 제2 대표 영상(1204)을 선택하기 위해 인가된 터치 입력으로부터 이어서 인가되는 드래그 입력을 감지할 수 있다. 그리고 상기 드래그 입력에 따라 상기 제2 대표 영상(1204)이 제1 대표 영상(1202)이 표시되는 위치로 변경되면, 상기 변경된 위치에 따른 대표 영상들(1202, 1204)의 순서에 따라, 제1 대표 영상(1202)에 대응되는 제1 편집 구간(1214)의 재생 순서와, 상기 제2 대표 영상(1204)에 대응되는 제2 편집 구간(1212)의 재생 순서를 변경할 수 있다. 따라서 도 12의 네 번째 도면에서 보이고 있는 바와 같이, 제2 편집 구간이 먼저 재생되는 편집 컨텐츠가 생성될 수 있다.

한편 상기 이동 단말기(200)의 제어부(280)는, 사용자의 선택에 따라 VR 컨텐츠 중 특정 시점의 영상에 포함된 객체를 편집할 수도 있다. 도 13은 이처럼 본 발명의 실시 예에 따른 HMD(100)와 연결가능한 이동 단말기(200)에서, VR 컨텐츠에 포함된 일 객체가 편집되는 예를 도시한 예시도이다.

우선 이동 단말기(200)의 제어부(280)는 현재 설정된 편집 구간들의 정보가 표시되는 상태에서, 어느 하나의 편집 구간을 선택받을 수 있다. 그러면 제어부(280)는 현재 선택된 편집 구간의 영상을 이동 단말기(200)의 터치 스크린(251) 상에 표시할 수 있다. 도 13의 첫 번째 도면은 이처럼 특정 편집 구간의 영상(1300)이 표시되는 예를 보이고 있는 것이다.

도 13의 첫 번째 도면을 참조하여 살펴보면, 이동 단말기(200)의 제어부(280)는 현재 선택된 편집 구간의 정보(1310) 및, 상기 편집 구간으로 설정된 구간의 재생 시간을 타임 라인 그래픽 객체(1312)로 표시할 수 있다. 그리고 상기 타임 라인 그래픽 객체(1312)에 대한 사용자의 입력에 따라, 특정 재생 시점에 대응되는 VR 컨텐츠의 영상을 터치 스크린(251) 상에 표시할 수 있다.

또한 제어부(280)는 상하좌우 방향으로 화각을 변경할 수 있는 화각 제어 객체(1302)를 터치 스크린(251) 상에 표시할 수 있다. 그리고 상기 화각 제어 객체(1302)를 통해 인가되는 사용자의 입력에 따라, 현재 선택된 재생 시점에서 다른 화각의 VR 컨텐츠 영상을 이동 단말기(200)의 터치 스크린(251) 상에 표시할 수 있다.

이러한 상태에서, 제어부(280)는 상기 특정 시점의 VR 컨텐츠의 영상(1300) 중, 일 영역에 대한 사용자의 입력을 감지할 수 있다. 즉, 도 13의 첫 번째 도면에서 보이고 있는 바와 같이, 현재 이동 단말기(200)의 터치 스크린(251) 상에 표시되는 화각의 VR 컨텐츠 영상(1300) 중, 일 지점(1320)에 대한 사용자의 터치 입력이 감지되면, 제어부(280)는 도 13의 두 번째 도면에서 보이고 있는 바와 같이, 사용자가 편집할 객체를 선택하기 쉽도록 상기 터치 입력이 감지된 지점을 중심으로 확대된 영상(1340)을 터치 스크린(251) 상에 표시할 수 있다. 이러한 경우 현재 터치 스크린(251) 상에 표시되는 영역의 위치에 대한 정보(1352)가, 상기 터치 스크린(251) 상에 표시된 미니맵(1350) 상에 표시될 수 있다.

이러한 상태에서, 제어부(280)는 도 13의 두 번째 도면에서 보이고 있는 바와 같이, 터치 스크린(251) 상에 인가되는 드래그 입력(1330)을 감지할 수 있다. 그리고 상기 드래그 입력 궤적이 도 13의 두 번째 도면에서 보이고 있는 바와 같이 폐곡선을 형성하는 경우, 제어부(280)는 상기 드래그 입력 궤적에 따라 형성되는 폐곡선에 근거하여 편집될 객체를 선택할 수 있다.

즉, 상기 도 13의 세 번째 도면에서 보이고 있는 바와 같이 폐곡선을 형성하는 드래그 입력이 인가되면, 제어부(280)는 상기 폐곡선 내부의 영역(1360)이 사용자에 의해 편집이 선택된 영역으로 판단할 수 있다. 그리고 제어부(280)는 도 13의 네 번째 도면에서 보이고 있는 바와 같이 상기 폐곡선 내부의 영역을 사용자의 선택에 따라 삭제할 수 있다. 여기서 상기 선택된 영역의 삭제는, 상기 선택된 영역 주변의 영상을 분석한 결과, 상기 선택된 영역 주변의 영상과 같은 색상 패턴을 가지는 이미지로 상기 선택된 영역을 덮어씌우는 과정이 될 수 있다.

또한 제어부(280)는 이처럼 특정 재생 시점의 영상 중 일 영역이 삭제되는 경우, 현재 선택된 편집 구간의 다른 재생 시점의 영상들로부터 상기 삭제된 일 영역에 대응되는 영역을 일괄 삭제할 수도 있음은 물론이다. 이러한 경우 상기 특정 재생 시점의 영상으로부터 상기 삭제가 선택된 일 영역의 좌표 및 넓이에 대응되는 다른 재생 시점의 영상들의 일 영역이 상기 도 13의 네 번째 도면에서 보이고 있는 바와 같이 삭제될 수 있다.

한편 상술한 설명에서는, 사용자로부터 인가되는 드래그 입력에 따라 일정 영역이 선택되고, 선택된 영역이 편집되는 예를 설명하였으나, 상술한 편집 과정과 유사하게, 현재 선택된 편집 영역에 포함된 객체를 인식하고, 상기 인식된 객체에 해당되는 영역만을 삭제할 수도 있음은 물론이다. 이러한 경우 이동 단말기(200)의 제어부(280)는 상술한 바와 같이 객체 추적 기능을 이용하여, 현재 선택된 편집 구간의 다른 재생 시점의 영상들로부터, 상기 삭제가 선택된 객체를 추적하고, 추적된 객체가 포함된 영역들을 일괄 삭제할 수도 있음은 물론이다.

한편 상술한 설명에 따르면, 본 발명은 편집이 선택된 영역이, 주변의 영상으로부터 분석된 색상 패턴에 근거하여 편집이 가능한지 여부를 판단하고, 판단 결과에 따라 사용자로부터 유사 영상을 선택받아 VR 컨텐츠를 편집할 수 있음을 언급한 바 있다. 도 14a 내지 도 14b는 이러한 본 발명의 실시 예에 따라, HMD(100)와 연결가능한 이동 단말기(200)에서, 유사 영상을 이용하여 VR 컨텐츠를 편집하는 예를 도시한 예시도이다.

먼저 도 14a의 첫 번째 도면을 참조하여 살펴보면, 이동 단말기(200)의 제어부(280)는 현재 선택된 편집 구간의 정보(1402) 및, 상기 편집 구간으로 설정된 구간의 재생 시간을 타임 라인 그래픽 객체(1404)로 표시할 수 있다. 그리고 상기 타임 라인 그래픽 객체(1312)에 대한 사용자의 입력에 따라, 특정 재생 시점에 대응되는 VR 컨텐츠의 영상(1400)을 터치 스크린(251) 상에 표시할 수 있다. 그리고 상하좌우 방향으로 화각을 변경할 수 있는 화각 제어 객체(1406)를 터치 스크린(251) 상에 표시하고, 상기 화각 제어 객체(1302)를 통해 인가되는 사용자의 입력에 따라 현재 선택된 재생 시점에서 다른 화각의 VR 컨텐츠 영상을 이동 단말기(200)의 터치 스크린(251) 상에 표시할 수 있다.

그리고 제어부(280)는 현재 터치 스크린(251) 상에 인가되는 드래그 입력(1410)에 따라, 상기 터치 스크린(251) 상에 표시되는 VR 컨텐츠의 영상(1400) 중 일 영역을 편집 영역(1414)으로 선택할 수 있다. 이러한 경우 제어부(280)는 현재 선택된 편집 영역(1414)의 크기가 기 설정된 크기를 초과하거나, 상기 편집 영역(1414) 주변의 영상이 가지는 색상 패턴이 기 설정된 수준 이상의 복잡도를 가지는 경우, 현재 선택된 편집 영역(1414)을 주변의 영상을 이용하여 편집할 수 없다고 판단할 수 있다.

이처럼 현재 선택된 편집 영역(1414)이 주변의 영상을 이용하여 편집할 수 없는 경우, 제어부(280)는 도 14a의 두 번째 도면에서 보이고 있는 바와 같이, 터치 스크린(251) 상에 상기 편집 영역(1414)의 편집이 불가능함을 표시하기 위한 알림 정보(1412)를 표시할 수 있다.

한편 제어부(280)는 상기 알림 정보(1412)에 대한 사용자의 입력에 따라 적어도 하나의 이미지를 유사 영상으로 터치 스크린(251) 상에 표시할 수 있다. 예를 들어 상기 적어도 하나의 이미지는, 현재 편집중인 VR 컨텐츠에 근거하여 검출된 이미지일 수 있다. 즉, 제어부(280)는 상기 VR 컨텐츠가 촬영된 시간을 중심으로 전후 기 설정된 시간 이내에 촬영된 이미지 및/또는 상기 VR 컨텐츠가 촬영된 위치와 같은 위치에서 촬영된 이미지를 상기 유사 영상으로 검출하여 터치 스크린(251) 상에 표시할 수 있다. 또는 제어부(280)는 사용자로부터 선택된 이미지들을 상기 유사 영상으로 표시할 수 있다. 도 14a의 세 번째 도면은 이처럼 유사 영상들(1420, 1422)이 터치 스크린(251) 상에 표시되는 예를 도시한 것이다.

한편 도 14a의 세 번째 도면에서 보이고 있는 유사 영상들(1420, 1422) 중 어느 하나(1422)에 대한 사용자의 선택이 있는 경우, 제어부(280)는 선택된 유사 영상(1422)을 이용하여 VR 컨텐츠의 편집을 수행할 수 있다. 이러한 경우 제어부(280)는 현재 터치 스크린(251) 상에 표시되는 VR 컨텐츠 영상(1400)으로부터 현재 선택된 편집 영역(1414)을 공백 영역으로 처리할 수 있다.

그리고 제어부(280)는 터치 스크린(251) 상에 표시되는 VR 컨텐츠의 영상(1400)과, 상기 선택된 유사 영상(1430)이 모두 식별 가능하도록 표시할 수 있다. 예를 들어 제어부(280)는 도 14b의 첫 번째 도면에서 보이고 있는 바와 같이, 상기 선택된 유사 영상(1430)을 반투명한 형태로 특정 시점에서 특정 화각의 VR 컨텐츠의 영상에 겹쳐지도록 표시할 수 있다.

이에 따라 상기 도 14b의 첫 번째 도면에서 보이고 있는 바와 같이, 현재 공백으로 처리된 상기 편집 영역(1414)에, 상기 선택된 유사 영상(1430)의 일부(1450)가 표시될 수 있다. 이러한 경우 제어부(280)는 상기 편집 영역(1414)을 통해 표시되는 상기 유사 영상의 일부(1450)와, 상기 편집 영역(1414)을 통해 표시되지 않는 상기 유사 영상(1430)의 다른 영역을 구분되도록 하기 위해, 상기 도 14b의 첫 번째 도면에서 보이고 있는 바와 같이, 상기 편집 영역(1414)을 통해 표시되는 상기 유사 영상의 일부(1450)를 다르게 표시할 수 있다.

한편 이러한 상태에서 제어부(280)는 사용자로부터 편집 여부를 확인받기 위한 메뉴 화면(1460)을 도 14b의 세 번째 도면에서 보이고 있는 바와 같이 터치 스크린(251) 상에 표시할 수 있다. 예를 들어 제어부(280)는 기 설정된 키 또는 기 설정된 방식의 터치 입력이 입력되는 경우 상기 메뉴 화면(1460)을 표시할 수 있다. 그리고 상기 메뉴 화면(1460)에 대한 사용자의 입력에 근거하여 현재 터치 스크린(251) 상에 표시되는 VR 컨텐츠 영상(1400)의 편집을 수행할 수 있다.

여기서 상기 편집 과정은, 상기 유사 영상의 일부(1450)와 현재 터치 스크린(251) 상에 표시되는 VR 컨텐츠 영상(1400)을 합성하는 과정이 될 수있다. 즉, 제어부(280)는 상기 VR 컨텐츠 영상(1400)에 형성된 편집 영역(1414)에 상기 유사 영상의 일부(1450)를 합성하여 편집된 컨텐츠를 생성할 수 있다. 이에 따라 도 14b의 세 번째 도면에서 보이고 있는 바와 같이, 상기 유사 영상의 일부(1450)를 포함하는 편집 컨텐츠가 생성될 수 있다.

한편 이처럼 특정 재생 시점의 VR 컨텐츠 영상(1400)의 편집이 수행되는 경우, 제어부(280)는 현재 선택된 편집 구간의 다른 재생 시점의 영상들로부터 현재 선택된 편집 영역(1414)에 대응되는 영역을 일괄 편집할 수도 있음은 물론이다. 이러한 경우 상기 편집 영역(1414)의 좌표 및 넓이에 대응되는 다른 재생 시점의 영상들의 영역들이, 상기 도 14b의 세 번째 도면에서 보이고 있는 바와 같이 유사 영상의 일부(1450)로 일괄 합성될 수도 있다.

한편 상술한 설명에서는, 동영상 형태의 VR 컨텐츠가 편집되는 예를 자세히 설명하였으나, 본 발명은 정지 화상, 즉 이미지 형태의 편집된 VR 컨텐츠를 생성할 수도 있음은 물론이다.

도 15는 이처럼 본 발명의 실시 예에 따른 HMD(100)에서, 이미지들을 편집하여 사용자로부터 선택된 이미지들만을 포함하는 가상 갤러리 공간을 생성하는 예를 도시한 예시도이다.

우선 도 15의 첫 번째 도면은, 발명의 실시 예에 따른 HMD(100)에서, 사용자에 의해 선택된 VR 컨텐츠 형태의 이미지(이하 VR 이미지라고 칭하기로 한다)를 표시 중에 사용자의 기 설정된 입력이 감지된 예를 보이고 있는 것이다. 이러한 경우 제어부(180)는 현재 HMD(100)의 디스플레이부(151) 상에 표시되는 화각의 VR 이미지를 사용자가 선택한 것으로 판단할 수 있으며, 선택된 화각의 VR 이미지를 저장할 수 있다. 그리고 도 15의 첫 번째 도면에서 보이고 있는 바와 같이, 현재까지 선택된 이미지들의 개수(1510)를 표시할 수 있다.

그리고 제어부(180)는 상기 VR 이미지가 표시되는 상태에서, 사용자로부터 기 설정된 입력이 인가될 때마다 같은 동작을 반복할 수 있다. 즉, 제어부(180)는 사용자의 입력이 인가되었을 때, 상기 HMD(100)의 디스플레이부(151) 상에 표시되는 화각의 VR 이미지를 사용자가 선택한 것으로 판단하고 선택된 화각의 이미지를 저장할 수 있다. 도 15의 두 번째 도면은, 이처럼 저장된 이미지가 4개인 경우, 즉 현재 선택된 VR 이미지로부터 선택된 서로 다른 화각의 4개 이미지가 저장된 예를 보이고 있는 것이다.

이러한 상태에서, 제어부(180)는 사용자가 VR 이미지의 재생을 종료하였는지 여부를 감지할 수 있다. 예를 들어 제어부(180)는 사용자로부터 VR 이미지의 재생 종료를 위한 입력이 인가되는 경우, 상기 VR 이미지의 재생 종료가 선택된 것으로 판단할 수 있다. 이러한 상태에서 제어부(180)는 현재까지 저장된 서로 다른 화각의 이미지들로 구성되는 갤러리 공간을 생성할 수 있다.

즉, 상기 도 15의 첫 번째 도면과 두 번째 도면에서 보이고 있는 바와 같이, 상기 재생된 VR 이미지로부터 사용자의 선택에 따라 저장된 서로 다른 화각의 이미지가 4개인 경우라면, 제어부(180)는 도 15의 세 번째 도면에서 보이고 있는 바와 같이, 4개의 옆면을 가지는 사각기둥 형태의 갤러리 공간(1550)을 생성할 수 있다. 이러한 경우 상기 갤러리 공간의 각 내부 면들(1500, 1502, 1504, 1506)에는, 상기 재생된 VR 이미지로부터 저장된 서로 다른 화각의 이미지들(1560, 1562, 1564, 1566)이 표시될 수 있다. 이에 따라 제어부(180)는 서로 다른 화각의 이미지들(1560, 1562, 1564, 1566) 중 사용자의 두부가 향하는 방향에 대응되는 특정 이미지가 상기 디스플레이부(151)를 통해 표시되도록 할 수 있다.

한편 상술한 설명에서는 VR 컨텐츠가 동영상 컨텐츠인 경우를 주로 예를 들어 설명하였으나, 본 발명이 이에 한정되지 않음은 물론이다. 즉, 본 발명은 HMD(100)를 통해 표시되는 VR 컨텐츠가 360도 전방향 또는 180도의 광각과 같이 일정 수준 이상의 화각을 가지는 정지 영상인 경우에도 얼마든지 적용될 수 있다.

도 16a, 도 16b 및 도 17은 이러한 경우의 예를 보이고 있는 것이다.

먼저 도 16a를 참조하여 살펴보면, 도 16a의 (a) 및 (b)는, 사용자가 HMD(100)를 착용한 상태에서, VR 컨텐츠(1600)를 감상하고 있는 예를 보이고 있는 것이다. 여기서 상기 VR 컨텐츠(1600)는 360도 전방향으로 촬영된 정지 영상일 수 있다. 이러한 경우 제어부(180)는 사용자의 두부가 향하는 방향에 따라, 상기 정지 영상 형태의 VR 컨텐츠(1600) 중 일 영역(1610)의 영상을 디스플레이부(151) 상에 표시할 수 있다. 즉, 도 16a의 (a) 및 (b)에서 보이고 있는 바와 같이, 사용자의 두부가 수평 방향 90도, 수직 방향 +30도를 향하는 경우, 제어부(180)는 상기 VR 컨텐츠로부터 수평 방향 90도, 수직 방향 +30도에 대응되는 일 영역의 영상을 HMD(100)의 디스플레이부(151) 상에 표시할 수 있다.

도 16b는 이처럼 사용자의 두부가 향하는 방향에 따라 디스플레이부(151) 상에 표시되는 VR 컨텐츠 일 영역(1610)을 도시한 예시도이다. 예를 들어 360도 전방향의 화각으로 촬영된 정지 영상(VR 컨텐츠 : 1600)을 수평 방향의 뷰 앵글에 따라 펼치는 경우, 상기 VR 컨텐츠는 도 16b의 (a)에서 보이고 있는 바와 같이 펼쳐질 수 있다. 그리고 도 16b의 (a)에서 VR 컨텐츠(1600)에 표시되고 있는 일 영역(1610)은 상기 사용자의 두부가 수평 방향 90도, 수직 방향 +30도(도 16a의 (a) 및 (b))에 대응되는 영역일 수 있다. 이에 따라 상기 HMD(100)의 디스플레이부(151) 상에는 도 16b의 (b)에서 보이고 있는 바와 같이, VR 컨텐츠(1600) 중 사용자의 두부가 향하는 방향에 대응되는 일 영역(1610)의 영상이 표시될 수 있다.

한편 이러한 상태에서, 제어부(180)는 현재 디스플레이부(151) 상에 표시되는 영역을 편집 영역으로 선택하기 위한 사용자의 입력을 감지할 수 있다. 예를 들어 이러한 사용자의 입력은, 기 설정된 시간 이내에 기 설정된 횟수 이상 감지되는 사용자의 눈 깜빡임 일 수 있다. 또는 기 설정된 사용자의 두부 제스처일 수 있다. 또는 상기 HMD(100)와 연결된 이동 단말기(200) 또는 상기 HMD(100)를 통해 인가되는 특정 키의 입력일 수 있다. 또는 상기 HMD(100)의 디스플레이부(151)를 통해 표시되는 복수의 화상 정보들 중 어느 하나를 일정 시간 이상 사용자가 응시하는 경우, 제어부(180)는 상기 사용자의 입력이 있는 것으로 감지할 수도 있다.

한편 상기 사용자의 입력이 감지되는 경우, 제어부(180)는 현재 디스플레이부(151) 상에 표시되는 VR 컨텐츠의 일 영역(1610)이, 편집 영역으로 선택된 것으로 판단할 수 있다. 그리고 현재 사용자의 두부가 향하는 방향에 따른 수평 방향 또는 수직 방향의 뷰 앵글 정보를 현재 선택된 편집 영역에 대한 정보로 저장할 수 있다. 여기서 상기 뷰 앵글 정보는, VR 컨텐츠(1600)에서 현재 편집 영역으로 선택된 상기 일 영역(1610)의 위치에 관련된 정보일 수 있다. 또는 제어부(180)는 현재 디스플레이부(151) 상에 표시되는 이미지를 캡쳐하여 별도의 이미지로 저장할 수도 있음은 물론이다.

상술한 과정을 통해 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 정지 영상 형태로 표시되는 VR 컨텐츠(1600)의 일 영역(1610)을 편집 영역으로 선택하고 관련된 정보를 저장할 수 있다. 그리고 이러한 과정은 사용자의 두부가 향하는 방향의 변경에 따라 상기 VR 컨텐츠(1600)의 다른 영역에서 얼마든지 동일하게 수행될 수 있다. 즉 사용자는 두부가 향하는 방향을 변경하여, 상기 정지 영상 형태의 VR 컨텐츠(1600) 중 다른 영역의 영상을 볼 수 있고, 현재 자신이 보고 있는 방향의 영상을 편집 영역으로 선택할 수 있다. 즉, 본 발명에서 사용자는 상기 VR 컨텐츠(1600)의 서로 다른 복수의 영역을 각각 편집 영역으로 선택하고 그에 따른 정보들을 저장할 수 있다.

한편 제어부(180)는 사용자의 입력에 따라 현재까지 저장된 편집 영역들의 정보를 HMD(100)의 디스플레이부(151) 또는 상기 HMD(100)와 연결된 이동 단말기(200)의 터치 스크린(251) 상에 표시할 수 있다. 도 17은 이러한 예를 보이고 있는 것으로, 상기 VR 컨텐츠(1600)로부터 선택된 편집 영역들이 HMD(100)의 디스플레이부(151)를 통해 표시되는 예를 보이고 있는 것이다.

먼저 도 17의 (a)를 참조하여 살펴보면, 도 17의 (a)는 디스플레이부(151) 상에 표시되는 그래픽 객체들(1700, 1702, 1704)이 표시되는 예를 보이고 있다. 여기서 상기 그래픽 객체들(1700, 1702, 1704)은 현재 저장된 편집 영역들 각각에 대응되는 것일 수 있다. 또한 상기 편집 영역들은 하나의 VR 컨텐츠, 즉 상기 360도 전방향 촬영된 정지 영상 형태의 VR 컨텐츠(1600)에서, 서로 다른 수평 방향 및/또는 수직 방향의 뷰 앵글에 대응되는 영상들 또는 상기 VR 컨텐츠로부터 추출된 서로 다른 영역의 영상들일 수 있다. 그리고 상기 그래픽 객체들(1700, 1602, 1704)는 상기 편집 영역들 각각에 대응되는 VR 컨텐츠(1600) 영역들의 일부이거나, 상기 편집 영역들 각각에 대응되는 VR 컨텐츠의 일부 영역들로부터 각각 추출된 썸네일(thumbnail) 이미지일 수 있다.

그러면 제어부(180)는 도 17의 (b)에서 보이고 있는 바와 같이, 현재 표시되고 있는 편집 영상들에 대한 정보를 저장할 수 있다. 이러한 경우 제어부(180)는 상기 편집 영역들 각각에 대응되는 이미지들을 저장할 수 있다. 그리고 별도의 폴더(folder)를 생성하여 상기 저장된 이미지들을 상기 생성된 폴더에 저장할 수 있다.

또는 제어부(180)는 상기 편집 영역들에 대한 정보를 상기 VR 컨텐츠(1600)에 대응되는 부가 정보의 형태로 저장할 수도 있음은 물론이다. 이러한 경우 상기 저장되는 정보들은 상기 편집 영역들 각각에 대응되는 수평 방향 및/또는 수직 방향의 뷰 앵글 정보일 수 있다. 이러한 경우 제어부(180)는 상기 VR 컨텐츠(1600)의 표시가 선택되는 경우, 사용자의 선택에 따라 상기 도 17의 (a)에서 보이고 있는 바와 같이, 현재 VR 컨텐츠(1600)에 대응되게 저장된 편집 영역들의 정보를 표시할 수 있다. 그리고 어느 하나의 편집 영역에 대응되는 그래픽 객체(1700 또는 1702 또는 1704)가 선택되면, 상기 VR 컨텐츠(1600)로부터 현재 선택된 그래픽 객체에 대응되는 수평 방향 및 수직 방향의 뷰 앵글에 따른 일 영역의 영상을 디스플레이부(151) 상에 표시할 수도 있다.

한편, 본 발명은 도 16a, 도 16b 및 도 17에서 설명한 바와 같이, 정지 영상의 형태로 표시되는 VR 컨텐츠에 대해, 서로 다른 일 영역을 편집 영역으로 선택하여 저장할 수 있을 뿐만 아니라, 상기 VR 컨텐츠의 특정 영역에 표시되는 객체를 편집할 수도 있음은 물론이다.

예를 들어 제어부(180)는 정지 영상의 형태로 표시되는 VR 컨텐츠가 표시되는 상태에서, 상기 VR 컨텐츠의 일 영역에 대해 인가되는 사용자의 입력을 감지할 수 있다. 예를 들어 제어부(180)는 상기 도 10b에서 설명한 바와 같이, HMD(100)와 연결된 이동 단말기(200)의 터치 스크린(251)으로부터 터치 입력을 감지하고, 상기 감지된 터치 입력 지점에 대응되는 일 지점을 상기 HMD(100)의 디스플레이부(151) 상에 표시할 수 있다. 그리고 상기 터치 스크린(251) 상에 인가되는 터치 입력에 근거하여 상기 VR 컨텐츠의 일 영역을 편집 영역으로 선택받을 수 있다. 또는 제어부(180)는 상기 디스플레이부(151) 상에 표시되는 VR 컨텐츠(1600)의 일 영역 중 일 지점을 사용자가 기 설정된 시간이상 응시하는 경우, 상기 일 지점을 중심으로 형성되는 상기 일 영역의 일부를 편집 영역으로 선택받을 수도 있다.

그러면 제어부(180)는, 현재 선택된 편집 영역 상에 표시되는 객체들을 인식할 수 있다. 예를 들어 제어부(180)는 현재 선택된 편집 영역 내의 각 화소들을 서로 비교하여, 표시되는 색상값(예를 들어 RGB 값)이 기 설정된 수준 이상 변경되는 화소들에 의해 구분되는 영역을 검출할 수 있다. 그리고 색상값이 기 설정된 수준 이상 변경되는 화소들에 의해 생성되는 폐곡선 영역이 검출되는 경우, 상기 폐곡선 내부의 영역을 특정 객체가 표시되는 영역으로 인식할 수 있다.

한편 이처럼 선택된 편집 영역에 포함되는 객체가 인식되면, 제어부(180)는 인식된 객체를 편집하기 위한 사용자의 입력을 감지할 수 있다. 예를 들어 제어부(180)는 상기 터치 스크린(251)을 통해 인가되는 터치 입력 지점이, 상기 인식된 객체가 표시되는 디스플레이부(151) 상의 영역에 대응되는 경우 상기 터치 입력을 상기 인식된 객체를 편집하기 위한 사용자의 입력으로 감지할 수 있다. 또는 제어부(180)는 상기 터치 스크린(251)을 통해 인가되는 터치 앤드 드래그 입력에 따라 상기 편집 영역에 포함되는 객체에 대해 인가되는 사용자의 입력이 있는지 여부를 판단할 수도 있다. 그리고 상기 인식된 객체에 대한 사용자의 입력이 있는 경우, 사용자의 입력에 근거하여 상기 인식된 객체를 편집할 수 있다.

여기서 상기 객체를 편집하는 과정은 상기 도 10b 내지 도 10c 에서 설명한 바와 유사한 과정으로 진행될 수 있다. 즉, 제어부(180)는 상기 인식된 객체가 표시되는 VR 컨텐츠(1600) 상의 일 영역을, 상기 인식된 객체 주변의 화소들로부터 분석되는 색상 정보에 따라 형성되는 특정 색상의 이미지로 채울 수 있다. 즉, 상기 인식된 객체가 하늘을 날고 있는 '새' 인 경우, 제어부(180)는 주변의 색상 정보, 즉 하늘색으로 상기 인식된 객체, '새' 가 표시되는 VR 컨텐츠(1600) 상의 영역을 채움으로써, 상기 인식된 객체가 편집되어 더 이상 식별가능하게 표시되지 않도록 할 수 있다.

뿐만 아니라, 상기 인식된 객체가 표시되는 영역이, 상기 객체 주변의 화소들로부터 분석되는 색상 정보에 따른 특정 색상의 이미지로 채우기가 어렵다고 판단되는 경우, 제어부(180)는 상기 도 14a 및 도 14b에서 설명한 바와 유사하게, 사용자로부터 선택된 유사 이미지와의 합성을 통해 상기 인식된 객체에 대한 편집을 수행할 수도 있음은 물론이다.

한편 상술한 설명에서는 사용자가 HMD(100)를 착용하고 있는 상태에서, 사용자의 선택에 따라 바로 편집이 이루어질 수 있도록 하는 예를 설명하였다. 그러나 본 발명이 이에 한정되는 것이 아님은 물론이다.

예를 들어 상술한 편집은, HMD(100)가 아니라 상기 HMD(100)에 연결된 이동 단말기(200)를 통해 이루어질 수도 있다. 즉, 적어도 하나의 편집 영역이 선택되는 경우, 상기 선택된 편집 영역에 대응되는 적어도 하나의 이미지들은, 상기 HMD(100)와 연결된 이동 단말기(200)에 저장될 수 있다. 그러면 상기 적어도 하나의 편집 영역에 대응되는 그래픽 객체들이 이동 단말기(200)의 터치 스크린(251) 상에 표시될 수 있다. 그리고 이동 단말기(200)의 제어부(280)는 터치 스크린(251) 상에 인가되는 사용자의 입력에 근거하여, 상기 그래픽 객체들 중 어느 하나에 대응되는 편집 영역, 즉 상기 VR 컨텐츠(1600)의 일 영역의 영상을 터치 스크린(251) 상에 표시할 수 있다.

또는 이동 단말기(200)의 제어부(280)는 터치 스크린(251) 상에 현재 편집이 선택된 특정 객체를 포함하는 VR 컨텐츠(1600) 상의 일 영역을 표시할 수도 있다. 그리고 상기 이동 단말기(200)의 제어부(280)는 상기 터치 스크린(251) 상에 인가되는 사용자의 입력에 따라 상기 터치 스크린(280) 상에 표시된 일 영역으로부터, 상기 특정 객체가 더 이상 식별가능하게 표시되지 않도록 상기 특정 객체를 편집할 수도 있다.

한편 상기 편집을 수행할 기기는, 사용자가 HMD(100)를 착용하고 있는 상태인지 아닌지에 따라 결정될 수 있다. 즉, 적어도 하나의 편집 영역이 선택되거나, 또는 편집을 수행할 적어도 하나의 객체가 선택된 상태에서 사용자가 HMD(100)의 착용 상태를 해제하는 경우, HMD(100)의 제어부(180)는 상기 도 11에서 보이고 있는 예시도와 같이 현재 선택된 편집 영역의 개수 또는 편집할 객체가 있음을 이동 단말기(200)의 터치 스크린(251) 상에 표시할 수 있다. 그러면 상기 터치 스크린(251) 상에 인가되는 사용자의 입력에 따라 어느 하나의 편집 영역이 선택될 수 있으며, 선택된 편집 영역에 대한 편집이 수행될 수 있다. 이러한 편집은 상기 이동 단말기(200)를 통해 이루어질 수 있으며, 상기 적어도 하나의 객체가 편집된 VR 컨텐츠가 상기 이동 단말기(200) 또는 HMD(100)에 저장될 수 있다.

한편 상술한 설명에서는, VR 컨텐츠의 특정 재생 시점의 영상에 포함된 객체를 삭제하는 것만을, 상기 편집의 예로 들어 설명하였으나, 얼마든지 다른 편집 과정이 수행될 수도 있음은 물론이다. 예를 들어 본 발명의 실시 예에 따른 HMD(100) 또는 이동 단말기(200)는, 상기 편집의 일환으로 사용자로부터 선택된 편집 영역으로부터 객체를 인식하고, 인식된 객체의 색상을 변경할 수도 있다. 그리고 이러한 색상 변경을 반영하여, 특정 편집 구간의 다른 재생 시점 영상들에 포함된 상기 객체의 색상을 일괄적으로 변경할 수도 있음은 물론이다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (22)

1. HMD(Head Mounted Display)에 있어서,
   사용자의 입력을 감지하는 감지부;
   적어도 하나의 VR(Virtual Reality) 컨텐츠를 저장하는 메모리;
   어느 하나의 VR 컨텐츠가 재생되면, 재생되는 VR 컨텐츠로부터 상기 HMD를 착용한 사용자의 두부가 향하는 방향에 대응되는 화각의 영상을 표시하는 디스플레이부; 및,
   상기 감지부를 통해 현재 재생되는 VR 컨텐츠의 편집을 위한 사용자의 입력이 감지되면, 상기 감지된 사용자의 입력에 근거하여 상기 VR 컨텐츠의 제1 재생 시점으로부터 제2 재생 시점까지의 구간을 편집 구간으로 설정하며,
   상기 어느 하나의 VR 컨텐츠가 재생되는 동안 설정된 적어도 하나의 편집 구간에 근거하여, 상기 어느 하나의 VR 컨텐츠와 재생 시간이 서로 다르거나, 또는 특정 재생 시점의 영상 중 특정 화각의 영상이 상기 어느 하나의 VR 컨텐츠의 영상과 서로 다른 편집 컨텐츠를 생성하는 제어부를 포함하는 것을 특징으로 하는 HMD.
2. 제1항에 있어서, 상기 제어부는,
   상기 어느 하나의 VR 컨텐츠가 재생되는 동안 설정된 편집 구간이 복수인 경우, 상기 복수의 편집 구간들을 시간 순서대로 연결하여 상기 편집 컨텐츠를 생성하는 것을 특징으로 하는 HMD.
3. 제2항에 있어서, 상기 제어부는,
   상기 편집 구간이 설정되면, 상기 편집 구간의 시작 시점 및 끝 시점의 정보 및, 상기 어느 하나의 VR 컨텐츠로부터 상기 설정된 편집 구간 동안 상기 디스플레이부를 통해 표시된 영상의 화각에 대한 정보를 더 저장하며,
   상기 편집 컨텐츠가 생성되면, 상기 저장된 각 화각 정보에 근거하여 상기 편집 구간들 각각마다 기준 화각을 다르게 설정하는 것을 특징으로 하는 HMD.
4. 제1항에 있어서, 상기 제어부는,
   상기 디스플레이부 상의 일 영역에 표시되는 기 설정된 그래픽 객체에 대한 사용자의 입력이 감지되면, 상기 사용자의 입력이 감지된 시점을 상기 편집 구간을 설정하기 위한 제1 재생 시점으로 인식하고,
   현재 디스플레이부 상에 표시되는 VR 컨텐츠의 영상 중 일 영역에 대한 사용자의 다른 입력에 근거하여, 상기 일 영역에 포함된 객체들 중 적어도 하나가 표시되지 않도록 상기 적어도 하나의 객체를 편집하는 것을 특징으로 하는 HMD.
5. 제4항에 있어서, 상기 제어부는,
   상기 일 영역에 포함된 객체들 중 적어도 하나의 편집이 선택되면, 상기 편집이 선택된 적어도 하나의 객체가 표시되는 영역의 주변과 같은 색상 패턴을 가지는 이미지를 생성하여, 상기 편집이 선택된 적어도 하나의 객체가 표시되는 영역에 덮어씌우는 것을 특징으로 하는 HMD.
6. 제1항에 있어서,
   상기 HMD는,
   기 설정된 이동 단말기와 연결되며,
   상기 제어부는,
   상기 이동 단말기에 구비된 적어도 하나의 센서로부터 감지되는 감지값 또는 상기 이동 단말기에 구비된 터치 스크린 상에 인가되는 사용자의 터치 입력을, 현재 재생되는 VR 컨텐츠에 대한 사용자의 입력으로 감지하는 것을 특징으로 하는 HMD.
7. 제6항에 있어서, 상기 제어부는,
   상기 어느 하나의 VR 컨텐츠의 재생이 종료되는 경우, 사용자가 상기 HMD를 착용하고 있는지 여부에 근거하여, 상기 디스플레이부 또는 연결된 이동 단말기에 구비된 터치 스크린을 통해, 상기 어느 하나의 VR 컨텐츠가 재생되는 동안 설정된 편집 구간들에 대한 정보를 표시하는 것을 특징으로 하는 HMD.
8. 제7항에 있어서,
   상기 편집 구간들에 대한 정보는,
   상기 어느 하나의 VR 컨텐츠의 총 재생 시간과, 상기 VR 컨텐츠의 총 재생 시간 중 상기 현재 설정된 편집 구간들 각각의 시간 영역들이 구분되게 표시되는 그래픽 객체와, 상기 편집 구간들 각각으로부터 생성된 대표 이미지들을 포함하며,
   상기 대표 이미지들은,
   상기 편집 구간들 각각에 대응되며, 상기 편집 구간들 각각에 기 설정된 기준 화각에 대응되는 상기 편집 구간들 각각의 일 재생 시점의 영상들임을 특징으로 하는 HMD.
9. 제1항에 있어서,
   상기 메모리는,
   기 설정된 각도 이상의 화각을 가지는 이미지를 상기 VR 컨텐츠로 더 저장하며,
   상기 제어부는,
   기 설정된 각도 이상의 화각을 가지는 이미지가 선택되면, 상기 HMD를 착용한 사용자의 두부가 향하는 방향에 대응되는 상기 이미지의 일부가 상기 디스플레이부 상에 표시되도록 제어하며,
   상기 사용자의 입력이 감지되는 경우, 상기 사용자의 두부가 향하는 방향에 대응되는 상기 이미지의 일부를 저장하고, 상기 저장된 이미지가 복수인 경우, 상기 저장된 이미지들의 개수에 따른 면들로 형성되는 다면체 형태의 갤러리 공간을 상기 편집 컨텐츠로 생성하는 것을 특징으로 하는 HMD.
10. 사용자로부터 선택된 VR(Virtual Reality) 컨텐츠를, 연결된 HMD(Head Mounted Display)를 통해 재생하는 이동 단말기에 있어서,
    화상 정보를 표시하고 사용자의 입력을 감지하는 터치 스크린; 및,
    상기 VR 컨텐츠가 재생되는 동안, 감지된 사용자의 입력에 근거하여 상기 VR 컨텐츠의 제1 재생 시점으로부터 제2 재생 시점까지의 구간을 편집 구간으로 설정하며,
    상기 VR 컨텐츠의 재생이 종료되면 상기 설정된 적어도 하나의 편집 구간에 대한 정보가 표시되도록 상기 터치 스크린을 제어 및, 상기 적어도 하나의 편집 구간에 근거하여, 상기 VR 컨텐츠와 재생 시간이 서로 다르거나, 또는 특정 재생 시점의 영상 중 특정 화각의 영상이 상기 VR 컨텐츠의 영상과 서로 다른 편집 컨텐츠를 생성하는 제어부를 포함하는 것을 특징으로 하는 이동 단말기.
11. 제10항에 있어서, 상기 제어부는,
    상기 적어도 하나의 편집 구간 중 어느 하나가 선택되면, 상기 선택된 편집 구간에 대응되는 상기 VR 컨텐츠의 일 시점의 영상 중, 사용자로부터 선택된 화각에 대응되는 부분을 상기 터치 스크린 상에 표시하고,
    상기 터치 스크린 상에 인가되는 터치 입력에 근거하여, 상기 터치 스크린 상에 표시되는 부분 영상의 일 영역 또는 상기 일 영역에 표시되는 적어도 하나의 객체를 편집하는 것을 특징으로 하는 이동 단말기.
12. HMD(Head Mounted Display)에 있어서,
    사용자의 입력을 감지하는 감지부;
    일정 수준 이상의 화각을 가지는 정지 영상 형태의 VR(Virtual Reality) 컨텐츠를 저장하는 메모리;
    상기 VR 컨텐츠 중, 상기 HMD를 착용한 사용자의 두부가 향하는 방향에 대응되는 일 영역의 영상을 표시하는 디스플레이부; 및,
    상기 감지부를 통해 상기 디스플레이부 상에 표시되는 일 영역에 대한 사용자의 입력이 감지되면, 상기 VR 컨텐츠의 일 영역을 사용자의 선택에 따른 편집 영역으로 설정 및, 상기 편집 영역으로 설정된 VR 컨텐츠의 일 영역에 대응되는 정보를 상기 VR 컨텐츠의 부가 정보로서 저장하며,
    상기 VR 컨텐츠의 부가 정보에 대한 사용자의 선택에 근거하여, 상기 편집 영역에 대응되는 상기 VR 컨텐츠의 일 영역에 대응되는 이미지를 상기 디스플레이부 상에 표시하는 제어부를 포함하는 것을 특징으로 하는 HMD.
13. 제12항에 있어서, 상기 제어부는,
    사용자의 두부가 향하는 방향이 변경되는 경우, 상기 두부가 향하는 방향에 따라 상기 VR 컨텐츠의 다른 영역이 상기 디스플레이부 상에 표시되도록 상기 디스플레이부를 제어 및, 사용자의 입력에 따라 상기 다른 영역을, 다른 편집 영역으로 설정하며,
    설정된 편집 영역이 복수인 경우, 상기 복수의 편집 영역 각각을 구분하기 위한 복수의 그래픽 객체를 상기 디스플레이부 상에 표시하는 것을 특징으로 하는 HMD.
14. 제13항에 있어서, 상기 복수의 그래픽 객체는,
    상기 편집 영역들 각각에 대응되는 상기 VR 컨텐츠 영역들의 일부 또는 상기 VR 컨텐츠 영역들 각각으로부터 추출된 썸네일(thumbnail) 이미지임을 특징으로 하는 HMD.
15. 제13항에 있어서, 상기 제어부는,
    상기 HMD의 탈착 여부에 따라, 상기 HMD의 탈착이 감지되기 전까지 설정된 편집 영역들 각각에 대응되는 상기 복수의 그래픽 객체를, 상기 디스플레이부 또는 상기 HMD와 연결된 이동 단말기의 터치 스크린 상에 표시하는 것을 특징으로 하는 HMD.
16. 제12항에 있어서, 상기 VR 컨텐츠의 일 영역에 대응되는 정보는,
    상기 편집 영역으로 설정된 VR 컨텐츠의 일 영역을 캡쳐(capture)한 이미지 또는 상기 VR 컨텐츠에서 상기 일 영역의 위치에 관련된 정보임을 특징으로 하는 HMD.
17. 일정 수준 이상의 화각을 가지는 정지 영상 형태의 VR(Virtual Reality) 컨텐츠를, 연결된 HMD(Head Mounted Display)를 통해 표시하는 이동 단말기에 있어서,
    화상 정보를 표시하고 사용자의 입력을 감지하는 터치 스크린; 및,
    상기 VR 컨텐츠가 상기 HMD를 통해 표시되는 동안, 감지된 사용자의 입력에 근거하여 상기 VR 컨텐츠의 서로 다른 일부의 영역들을, 각각 서로 다른 편집 영역으로 저장하며,
    상기 저장된 편집 영역들 중 어느 하나에 대한 사용자의 선택에 따라, 선택된 편집 영역에 대응되는 상기 VR 컨텐츠의 일 영역에 대응되는 이미지를 상기 터치 스크린 상에 표시하는 제어부를 포함하는 것을 특징으로 하는 이동 단말기.
18. HMD(Head Mounted Display)에 있어서,
    사용자의 입력을 감지하는 감지부;
    일정 수준 이상의 화각을 가지는 정지 영상 형태의 VR(Virtual Reality) 컨텐츠를 저장하는 메모리;
    상기 VR 컨텐츠 중, 상기 HMD를 착용한 사용자의 두부가 향하는 방향에 대응되는 일 영역의 영상을 표시하는 디스플레이부; 및,
    상기 감지부를 통해 상기 디스플레이부 상에 표시되는 VR 컨텐츠의 영역 중 일 지점에 대한 사용자의 제1 입력이 감지되면, 상기 일 지점을 중심으로 형성되는 상기 일 영역의 일부를 편집 영역으로 설정하고, 상기 설정된 편집 영역에 인가되는 사용자의 제2 입력에 근거하여, 상기 편집 영역에 포함된 객체들 중 적어도 하나의 객체가 표시되지 않도록 상기 적어도 하나의 객체를 편집하는 제어부를 포함하는 것을 특징으로 하는 HMD.
19. 제18항에 있어서, 상기 제어부는,
    상기 편집 영역에 포함된 객체들 중 적어도 하나의 편집이 선택되면, 상기 편집이 선택된 적어도 하나의 객체가 표시되는 영역의 주변과 같은 색상 패턴을 가지는 이미지를 생성하여, 상기 편집이 선택된 적어도 하나의 객체가 표시되는 영역에 덮어씌우는 것을 특징으로 하는 HMD.
20. 제18항에 있어서, 상기 제어부는,
    사용자가 상기 HMD의 착용을 해제하였는지를 감지하고, 사용자가 상기 HMD의 착용을 해제하는 경우, 상기 HMD의 착용이 해제되기 전까지 설정된 편집 영역들에 대한 정보를 상기 HMD와 연결된 이동 단말기를 통해 표시하며,
    상기 이동 단말기를 통해 어느 하나의 편집 영역이 선택되면, 상기 편집 영역에 대응되는 상기 VR 컨텐츠의 일부 영역이 상기 이동 단말기를 통해 표시되도록 상기 이동 단말기를 제어하는 것을 특징으로 하는 HMD.
21. 일정 수준 이상의 화각을 가지는 정지 영상 형태의 VR(Virtual Reality) 컨텐츠를, 연결된 HMD(Head Mounted Display)를 통해 표시하는 이동 단말기에 있어서,
    화상 정보를 표시하고 사용자의 입력을 감지하는 터치 스크린; 및,
    상기 VR 컨텐츠가 상기 HMD를 통해 표시되는 동안, 상기 VR 컨텐츠의 영역 중 일 지점에 대한 사용자의 제1 입력이 감지되면, 상기 일 지점을 중심으로 형성되는 상기 일 영역의 일부를 편집 영역으로 설정하고, 상기 설정된 편집 영역에 인가되는 사용자의 제2 입력에 근거하여, 상기 편집 영역에 포함된 객체들 중 적어도 하나의 객체를 편집하는 제어부를 포함하는 것을 특징으로 하는 이동 단말기.
22. 제21항에 있어서, 상기 제어부는,
    사용자의 선택에 따라 상기 VR 컨텐츠가 표시되는 동안 설정된 적어도 하나의 편집 영역의 개수 또는 편집할 객체가 있음을 알리기 위한 그래픽 객체를 상기 터치 스크린 상에 표시하며,
    상기 터치 스크린 상에 인가되는 사용자의 입력에 근거하여, 어느 하나의 편집 영역에 대응되는 상기 VR 컨텐츠의 일부 영역의 영상을 상기 터치 스크린 상에 표시 및, 상기 일부 영역에 포함된 적어도 하나의 객체가 표시되지 않도록 상기 적어도 하나의 객체를 편집하는 것을 특징으로 하는 이동 단말기.

Images