KR20150054129A

KR20150054129A - 헤드 마운트 디스플레이 및 제어 방법

Info

Publication number: KR20150054129A
Application number: KR1020130136148A
Authority: KR
Inventors: 조은형; 김종호; 이도영; 김지환; 천시내
Original assignee: 엘지전자 주식회사
Priority date: 2013-11-11
Filing date: 2013-11-11
Publication date: 2015-05-20
Also published as: EP3069190B1; CN105683813A; EP3069190A1; US9092064B2; US20150130699A1; CN105683813B; EP3069190A4; KR102138520B1

Abstract

본 명세서는 헤드 마운트 디스플레이 및 제어 방법에 관한 것으로서, 보다 상세하게는 헤드 마운트 디스플레이를 착용한 유저가 이미지를 캡쳐링하는 경우, 이미지 프리뷰 인터페이스를 통한 미리보기 유무에 따라, 캡쳐된 이미지를 저장하는 방법을 제공한다.

Description

헤드 마운트 디스플레이 및 제어 방법 {A HEAD MOUNTED DISPLAY AND THE METHOD OF CONTROLLING THE SAME}

헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.

예를 들어, HMD에 마이크와 스피커가 장착되는 경우, 유저는 HMD를 착용한 상태에서, 전화 통화를 편리하게 수행할 수 있다. 또한, 예를 들어, HMD에 카메라가 장착되는 경우, 유저는 HMD를 착용한 상태에서, 유저가 원하는 방향의 이미지를 용이하게 캡쳐할 수 있다.

일 실시예로서, 본 명세서는 HMD를 착용한 유저에게 미리보기를 제공한 상태에서 이미지를 캡쳐하는 경우, HMD의 수평 회전 각도에 관계없이 캡쳐된 이미지를 그대로 저장하는 방법을 제공하고자 한다.

다른 일 실시예로서, 본 명세서는 HMD를 착용한 유저에게 미리보기를 제공하지 않은 상태에서 이미지를 캡쳐하는 경우, HMD의 수평 회전 각도에 대하여 회전 보상된 이미지를 저장하는 방법을 제공하고자 한다.

다른 일 실시예로서, 본 명세서는 HMD가 수평 회전된 상태에서 캡쳐된 이미지를 회전 보상하지 않고 저장한 경우, 유저의 입력 신호에 의해 다시 회전 보상하여 재저장하는 방법을 제공하고자 한다.

다른 일 실시예로서, 본 명세서는 HMD가 수평 회전된 상태에서 캡쳐된 이미지를 회전 보상하여 저장한 경우, 유저의 입력 신호에 의해 회전 보상을 취소하여 재저장하는 방법을 제공하고자 한다.

일 실시예에 있어서, 헤드 마운트 디스플레이(HMD)에 있어서, 비주얼 정보를 디스플레이하는 디스플레이 유닛; 이미지를 센싱하는 카메라 유닛; 상기 카메라 유닛의 회전 각도를 센싱하는 각도 센싱 유닛; 입력 신호를 디텍트하고, 디텍트된 결과를 프로세서에 전달하는 입력 센싱 유닛; 및 상기 디스플레이 유닛, 상기 카메라 유닛, 상기 각도 센싱 유닛 및 상기 입력 센싱 유닛을 제어하는 프로세서를 포함하되, 상기 프로세서는 캡쳐링 신호를 디텍트하고, 제 1 캡쳐링 모드인 경우, 센싱된 이미지를 회전 보상없이 저장하되, 상기 제 1 캡쳐링 모드는 이미지 프리뷰 인터페이스를 제공하는 모드인, 제 2 캡쳐링 모드인 경우, 상기 센싱된 이미지를 상기 회전 보상하여 저장하되, 상기 제 2 캡쳐링 모드는 상기 이미지 프리뷰 인터페이스를 제공하지 않는 모드인, HMD를 포함한다.

다른 일 실시예에 있어서, 헤드 마운트 디스플레이(HMD)의 제어 방법에 있어서, 캡쳐링 신호를 디텍트하는 단계; 제 1 캡쳐링 모드인 경우, 센싱된 이미지를 회전 보상없이 저장하는 단계로서, 상기 제 1 캡쳐링 모드는 이미지 프리뷰 인터페이스를 제공하는 모드임; 및 제 2 캡쳐링 모드인 경우, 상기 센싱된 이미지를 상기 회전 보상하여 저장하는 단계로서, 상기 제 2 캡쳐링 모드는 상기 이미지 프리뷰 인터페이스를 제공하지 않는 모드인, 제어 방법을 포함한다.

일 실시예에 의하면, 유저가 HMD를 착용한 상태에서 이미지를 캡쳐링하는 때에, 미리보기를 통해 센싱된 이미지를 인식알 수 있는 경우에는, HMD가 기울어진 상태에서 센싱된 이미지를 그대로 저장하여 유저에게 제공할 수 있다.

다른 일 실시예에 의하면, 유저가 HMD를 착용한 상태에서 이미지를 캡쳐링하는 때에, 미리보기 없이 이미지를 캡쳐하는 경우에는, 유저에게 수평 이미지를 제공할 수 있다.

다른 일 실시예에 의하면, HMD가 수평으로 기울어진 상태에서 이미지를 캡쳐하는 경우, 캡쳐된 이미지를 회전 보상없이 저장하였더라도 유저의 선택에 의해 저장된 이미지에 회전 보상을 수행하여 다시 저장할 수 있다.

다른 일 실시예에 의하면, HMD가 수평으로 기울어진 상태에서 이미지를 캡쳐하는 경우, 캡쳐된 이미지를 회전 보상하여 저장하였더라도 유저의 선택에 의해 저장된 이미지에 회전 보상을 취소하여 다시 저장할 수 있다.

도 1은 본 명세서의 헤드 마운트 디스플레이(HMD)의 블록도를 나타내는 도면이다.
도 2는 본 명세서의 HMD의 실시예를 나타내는 도면이다.
도 3a 및 도 3b는 본 명세서의 HMD의 제어 방법의 제 1 실시예를 나타내는 도면이다.
도 4a 및 도 4b는 본 명세서의 HMD의 제어 방법의 제 2 실시예를 나타내는 도면이다.
도 5는 본 명세서의 HMD의 제어 방법의 제 3 실시예를 나타내는 도면이다
도 6은 본 명세서의 HMD의 제어 방법의 제 4 실시예를 나타내는 도면이다.
도 7은 본 명세서의 HMD의 제어 방법의 제 5 실시예를 나타내는 도면이다.
도 8은 본 명세서의 HMD의 제어 방법의 순서도를 나타내는 도면이다.

본 명세서에서 사용되는 용어는 일 실시예에 따른 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 본 명세서가 실시예들에 의해 제한되거나 한정되는 것은 아니다.

도 1은 본 명세서의 헤드 마운트 디스플레이(HMD)의 블록도를 나타내는 도면이다. 다만, 도 1은 일 실시예로서, 당업자의 필요에 따라 일부 구성 모듈을 삭제하거나, 새로운 구성 모듈을 추가할 수 있다.

도 1에 도시된 바와 같이, 일 실시예에 따른 HMD(1000는 디스플레이 유닛(110), 카메라 유닛(120), 센싱 유닛(130) 및 프로세서(140)를 포함할 수 있다.

디스플레이 유닛(110)은 비주얼 정보를 디스플레이할 수 있다. 여기에서, 비주얼 정보는 컨텐츠, 애플리케이션, 이미지, 동영상 등을 포함할 수 있다. 또한, 디스플레이 유닛(110)은 프로세서(140)의 제어 명령에 기초하여 비주얼 정보를 스크린에 출력할 수 있다.

한편, 본 명세서에서, HMD(100)는 다양한 방식으로 디스플레이 스크린에 이미지를 출력할 수 있다. 일 예로서, HMD(100)는 투시형(see-through) 방식으로 이미지를 출력할 수 있다. 여기에서, 투시형(see-through) 방식은 디스플레이 스크린이 투명한 것으로, HMD(100)를 착용한 상태에서 유저가 주위 환경을 인식하면서 컨텐츠를 이용할 수 있는 방식을 나타낸다. 다른 일 예로서, HMD(100)는 전방 주사(front-light) 방식으로 이미지를 출력할 수 있다. 여기에서, 전방 주사 방식은 빛이 눈에 직접 투사되지 않고 반사된 영상을 거울과 같은 반사체를 통해 디스플레이하는 방식을 나타낸다.

또한, 다른 일 예로서, HMD(100)는 암막형(see-closed) 방식으로 이미지를 출력할 수 있다. 여기에서, 암막형 방식은 디스플레이 스크린을 통해 외부 환경을 볼 수 없고, 디스플레이 스크린을 통해 컨텐츠를 이용하는 방식을 나타낸다. 본 명세서에서, HMD(100)는 투시형 또는 전방 주사 방식으로 이미지를 디스플레이하는 것으로 가정하도록 한다.

본 명세서에서, 디스플레이 유닛(110)은 이미지 프리뷰 인터페이스 또는 이미지 리뷰 인터페이스를 디스플레이할 수 있다. 또한, 본 명세서에서, 디스플레이 유닛(110)은 디스플레이 오브젝트를 디스플레이할 수 있다. 여기에서, 디스플레이 오브젝트는 시계, 메시지, 날씨 등을 포함할 수 있다.

카메라 유닛(120)은 이미지를 촬영할 수 있다. 보다 상세하게는, 카메라 유닛(120)은 앞 방향의 이미지를 촬영할 수 있다. 여기에서, 앞 방향은 카메라 유닛(120)이 향하고 있는 방향에 해당할 수 있다. 또한, 카메라 유닛(120)은 화각 영역 내의 이미지를 센싱하여 프로세서(140)에 전달할 수 있다. 여기에서, 화각 영역은 이미지를 센싱하는 때에 일정한 화면 내에 포함시킬 수 있는 수평 및 수직 시야각의 범위를 나타낸다. 또한, 카메라 유닛(120)은 도 2 내지 도 7에 도시된 카메라(20)와 동일한 유닛에 해당할 수 있다.

센싱 유닛(130)은 HMD(100)에 장착된 적어도 하나의 센서를 사용하여, HMD(100)의 주변 환경을 센싱하고, 이를 신호 형태로 프로세서(140)에 전달할 수 있다.

센싱 유닛(130)은 적어도 하나의 센싱 수단을 포함할 수 있다. 일 실시예로서, 적어도 하나의 센싱 수단은, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로스코프 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 및 그립 센서 등의 센싱 수단을 포함할 수 있다.

또한, 센싱 유닛(130)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 HMD(100)의 환경을 센싱하여, 프로세서(140)가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(100)에 포함되거나, 적어도 하나의 엘리먼트에 통합되어 포함될 수 있다.

본 명세서에서, 센싱 유닛(130)은 각도 센싱 유닛(131) 및 입력 센싱 유닛(132)를 포함할 수 있다. 예를 들어, 각도 센싱 유닛(131)은 HMD(100)의 회전 각도를 센싱할 수 있다. 여기에서, 회전 각도는 HMD(100)를 착용한 유저의 머리가 회전된 각도에 해당할 수 있다. 또한, 회전 각도는 수평 회전 각도를 포함할 수 있다. 또한, 예를 들어, 입력 센싱 유닛(132)은 HMD(100)에 대한 유저의 입력 신호를 디텍트할 수 있다. 예를 들어, 유저의 입력 신호는 직접 터치 입력 또는 근접 터치 입력을 포함할 수 있다. 또한, 예를 들어, 유저의 입력 신호는 제스처 입력을 포함할 수 있다.

프로세서(140)는 데이터를 프로세싱하고, 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송/수신을 제어할 수 있다. 본 명세서에서, 프로세서(140)는 캡쳐링 신호를 디텍트할 수 있다. 또한, 프로세서(140)는 제 1 캡쳐링 모드인 경우, 센싱된 이미지를 회전 보상없이 저장할 수 있다. 여기에서, 제 1 캡쳐링 모드는 이미지 프리뷰 인터페이스를 제공하는 모드에 해당할 수 있다. 또한, 프로세서(140)는 제 2 캡쳐링 모드인 경우, 센싱된 이미지를 회전 보상하여 저장할 수 있다. 여기에서, 제 2 캡쳐링 모드는 이미지 프리뷰 인터페이스를 제공하지 않는 모드에 해당할 수 있다. 프로세서(140)의 동작과 관련하여, 도 3 내지 도 7에서 상세하게 설명하도록 한다.

본 명세서의 일 실시예로서, HMD(100)가 수행하는 동작들은 프로세서(140)에 의해 제어될 수 있다. 편의를 위해, 도면 및 이하의 설명에서는 이러한 동작들을 통칭하여 HMD(100)가 수행/제어하는 것으로 설명하도록 한다.

한편, 도 1에는 도시되지 않았으나, HMD(100)는 커뮤니케이션 유닛, 파워 유닛, 스토리지 유닛, 오디오 유닛 등을 포함할 수 있다. 커뮤니케이션 유닛은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛은 유선 또는 무선으로 네트워크에 접속하여 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 예를 들어, 커뮤니케이션 유닛은 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용할 수 있다.

파워 유닛은 HMD(100) 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로서, HMD(100)에 파워를 공급할 수 있다. 또한, 스토리지 유닛은 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낼 수 있다. 또한, 오디오 유닛은 마이크 및 스피커를 통해 오디오 데이터를 수신하거나 출력할 수 있다.

도 1에 도시된 HMD(100)는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 HMD(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 HMD(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩 또는 복수의 칩으로 장착될 수 있다.

도 2는 본 명세서의 HMD의 실시예를 나타내는 도면이다. 보다 상세하게는, 도 2는 HMD(100)의 바디부(10) 및 카메라(20)를 나타낸다.

먼저, 도 2에 도시된 바와 같이, HMD(100)는 바디부(10)를 포함할 수 있다. 바디부(10)는 HMD(100)의 메인 바디로서, 도 1에서 상술한 디스플레이 유닛, 센싱 유닛, 프로세서, 오디오 유닛 등을 포함할 수 있다. 즉, HMD(100)는 디스플레이 유닛을 통해 유저에게 이미지, 애플리케이션 등을 제공할 수 있다. 예를 들어, HMD(100)의 바디부(10)의 디스플레이 유닛을 통해 유저는 디스플레이 오브젝트, 카메라를 통해 인식되는 이미지의 미리보기 등을 제공받을 수 있다. 또한, HMD(100)는 센싱 유닛을 통해 유저로부터의 입력 신호를 디텍트할 수 있다. 예를 들어, HMD(100)는 바디부(10)에 터치 패드가 장착되어 유저로부터의 터치 입력을 디텍트할 수 있다. 또한, HMD(100)는 오디오 유닛을 통해 유저로부터의 음성 신호를 디텍트할 수도 있다.

한편, 도 2에 도시된 바와 같이, HMD(100)는 카메라(20)를 포함할 수 있다. 도 1에서 상술한 바와 같이, HMD(100)에 장착된 카메라(20)는 앞 방향의 화각 ㅇ여영역 내의 이미지를 센싱할 수 있다. 또한, HMD(100)에 포함된 카메라(20)는 바디부(10)에 탈부착 가능할 수 있다. 본 명세서의 실시예에서, 카메라(20)는 바디부(10)에 장착되어 이미지를 센싱하는 것으로 가정하도록 한다.

이하 도 3 내지 도 7의 실시예에서는, HMD(100)에 포함된 카메라(20)를 통해 센싱된 이미지를 유저에게 제공하는 방법에 대하여 설명하도록 한다.

도 3은 본 명세서의 HMD의 제어 방법의 제 1 실시예를 나타내는 도면이다. 보다 상세하게는, 도 3a는 제 1 캡쳐링 모드에서의 이미지 캡쳐링을 나타내고, 도 3b는 저장된 이미지를 디스플레이하는 이미지 리뷰 인터페이스를 나타낸다.

도 3에서 HMD(100)는 유저(미도시)에게 착용된 상태인 것으로 가정하도록 한다. 또한, HMD(100)의 디스플레이 유닛은 투시형인 것으로 가정하도록 한다.

먼저, 도 3a를 참조하면, HMD(100)를 착용한 유저는 거실에서 티비를 시청하는 상태에 있을 수 있다. 또한, HMD(100)를 착용한 유저의 머리는 수평 상태를 기준으로 좌우로 회전된 상태에 있을 수 있다. 이로 인해, HMD(100)는 유저의 머리와 동일하게 수평을 기준으로 좌우로 회전된 상태에 있을 수 있다. 도 3a에서 HMD(100)의 회전 각도는 +25도에 해당할 수 있다. 본 명세서에서, +각도는 수평을 기준으로 우측으로 회전된 경우를 나타내고, -각도는 수평을 기준으로 좌측으로 회전된 경우를 나타내는 것으로 가정하도록 한다.

또한, 도 3a를 참조하면, HMD(100)의 디스플레이 유닛(110)에는 전방에 위치한 사물들이 그대로 디스플레이될 수 있다. 즉, 유저는 HMD(100)를 통해 안경을 쓴 상태로 전방을 바라보는 것과 같은 상태에 있을 수도 있다. 또한, HMD(100)는 디스플레이 유닛(110)에 이미지 프리뷰 인터페이스(30)를 디스플레이할 수 있다. 즉, HMD(100)는 디스플레이 유닛(110)에서 전방에 인식되는 사물에 오버레이하여 이미지 프리뷰 인터페이스(30)를 디스플레이할 수 있다. 또한, 이미지 프리뷰 인터페이스(30)는 유저의 입력 신호에 의해 액티베이트될 수 있다. 여기에서, 유저의 입력 신호는 카메라 애플리케이션을 실행하기 위한 신호에 해당할 수 있다. 또한, 유저의 입력 신호는 터치 입력, 음성 입력, 제스처 입력 등을 포함할 수 있다.

이미지 프리뷰 인터페이스(30)가 액티베이트되는 경우, HMD(100)는 카메라(미도시)의 화각 영역 내의 이미지를 센싱하여 이미지 프리뷰 인터페이스(30)에 디스플레이할 수 있다. 이 경우, HMD(100)를 착용한 유저는 디스플레이 유닛(110)을 통해 전방에 위치한 사물 뿐만 아니라, 카메라(미도시)를 통해 센싱되는 이미지도 인식할 수 있게 된다.

한편, HMD(100)의 수평 회전이 인식되는 경우, HMD(100)는 디스플레이 유닛(100)에 회전 각도를 나타내는 인디케이터(미도시)를 디스플레이할 수 있다. 여기에서, 인디케이터는 디스플레이 유닛 상에만 나타나면 되고, 이미지 프리뷰 인터페이스(30) 영역 내 또는 외에 위치할 수 있다.

다음으로, HMD(100)는 이미지 프리뷰 인터페이스(30)가 제공된 상태에서, 캡쳐링 신호를 디텍트할 수 있다. 여기에서, 캡쳐링 신호는 이미지 캡쳐를 위한 신호에 해당할 수 있다. 예를 들어, 캡쳐링 신호는 HMD(100)에 대한 음성 입력 신호, 터치 입력 신호, 제스처 입력 신호 등에 해당할 수 있다. 이외에도, 캡쳐링 신호는 HMD(100)의 센싱 유닛이 디텍트할 수 있는 다양한 신호에 해당할 수 있다. 도 3a에 도시된 바와 같이, 캡쳐링 신호는 "Take a photo"와 같은 유저의 음성 입력 신호에 해당할 수 있다.

이 때, HMD(100)는 디텍트된 캡쳐링 신호에 기초하여, 카메라(미도시)의 회전 각도를 획득할 수 있다. 여기에서, 카메라의 회전 각도는 HMD(100)의 회전 각도 또는 유저의 회전 각도와 동일할 수 있다. 또한, 회전 각도는 도 1에서 상술한 각도 센싱 유닛에 의해 획득될 수 있다. 도 3a에서 회전 각도는 +25도에 해당할 수 있다. 다만, HMD(100)는 캡쳐링 신호의 디텍트 유무와 관계없이, 카메라의 회전 각도를 획득할 수도 있다.

다음으로, HMD(100)는 캡쳐링 모드를 결정할 수 있다. 즉, HMD(100)는 캡쳐링 신호를 디텍트하는 때의 캡쳐링 모드를 결정할 수 있다. 본 명세서에서, 캡쳐링 모드는 이미지 프리뷰 인터페이스(30)를 제공하는 제 1 캡쳐링 모드 및 이미지 프리뷰 인터페이스(30)를 제공하지 않는 제 2 캡쳐링 모드를 포함할 수 있다. 예를 들어, 제 1 캡쳐링 모드는 카메라 애플리케이션이 실행 중인 모드에 해당할 수 있다. 도 3의 경우, 캡쳐링 신호가 디텍트되는 때에 이미지 프리뷰 인터페이스(30)가 제공되는바, HMD(100)는 제 1 캡쳐링 모드로 결정할 수 있다.

이 경우, HMD(100)는 디텍트된 캡쳐링 신호에 기초하여, 센싱된 이미지를 캡쳐할 수 있다. 또한, HMD(100)는 제 1 캡쳐링 모드에서, 캡쳐된 이미지를 회전 보상없이 저장할 수 있다. 예를 들어, HMD(100)가 수평 상태인 경우에는, 캡쳐된 이미지를 그대로 저장하는 경우, 캡쳐된 이미지를 회전 보상한 이미지와 동일할 수 있다. 다만, HMD(100)가 수평 회전된 상태에서 이미지를 캡쳐하는 경우, HMD(100)는 기울어진 상태로 캡쳐된 이미지를 그대로 저장할 수 있다. 즉, 도 3a에서, +25°수평 회전된 상태에서 이미지가 캡쳐되는바, HMD(100)는 -25°수평 회전된 이미지를 저장할 수 있다. 이는, 유저가 수평을 기준으로 회전된 상태에서 센싱된 이미지를 이미지 프리뷰 인터페이스(30)를 통해 보면서 이미지를 캡쳐하는 것은, 기울어진 이미지를 캡쳐하여 저장하길 원하는 의사가 있는 것으로 볼 수 있기 때문이다.

또한, 도 3b에 도시된 바와 같이, HMD(100)는 저장된 이미지를 이미지 리뷰 인터페이스(40)에 디스플레이할 수 있다. 이 경우, 제 1 캡쳐링 모드에서 이미지를 캡쳐하였기 때문에, HMD(100)는 이미지 리뷰 인터페이스(40)에 회전 보상이 수행되지 않은 이미지를 디스플레이할 수 있다. 즉, 도 3b에 도시된 바와 같이, HMD(100)는 수평 보상되지 않고 저장된 이미지를 디스플레이할 수 있다. 도 3b에는 도시되지 않았으나, 이미지 리뷰 인터페이스(40)는 디스플레이 유닛 상에 디스플레이될 수 있다.

한편, HMD(100)는 직전에 저장된 이미지를 이미지 리뷰 인터페이스(40)에 기 설정된 시간 동안 디스플레이한 후 다시 이미지 프리뷰 인터페이스(30)를 디스플레이할 수 있다. 여기에서, 기 설정된 시간은 다양하게 설정될 수 있으며, 1초 내지 3초에 해당할 수 있다. 이는, 제 1 캡쳐링 모드에서, 이미지 리뷰 인터페이스(40)는 카메라 애플리케이션을 실행하는 도중에 저장된 이미지를 잠시 확인하는 단계에 해당하기 때문이다.

본 실시예를 통하여, 제 1 캡쳐링 모드에서, HMD(100)를 착용한 유저의 머리가 수평 상태가 아닌 경우에 이미지를 캡쳐하는 경우, 유저는 캡쳐된 이미지가 그대로 저장되어 회전 보상되지 않은 이미지를 얻을 수 있다.

한편, 도 3에는 도시되지 않았으나, HMD(100)는 제 1 캡쳐링 모드에서 동영상을 캡쳐할 수 있다. 즉, HMD(100)는 이미지 프리뷰 인터페이스(30)가 제공된 상태에서 동영상을 캡쳐할 수 있다. 이 경우, HMD(100)는 수평 회전된 상태에서 동영상이 촬영되더라도 각각의 프레임에 대하여 회전 보상없이 수평 회전된 상태 그대로 동영상을 저장할 수 있다. 이는, 유저가 이미지 프리뷰 인터페이스(30)가 제공된 상태에서 동영상을 캡쳐하는 것은, 수평 회전된 상태 그대로 동영상을 캡쳐하기를 원하는 의사가 있는 것으로 볼 수 있기 때문이다.

이 경우, 도 3에는 도시되지 않았으나, HMD(100)는 동영상 캡쳐 중에 회전 보상 인터페이스를 디스플레이할 수 있다. HMD(100)는 회전 보상 인터페이스를 디스플레이하여 제 1 캡쳐링 모드에서 동영상을 계속 캡쳐할것인지에 대하여 선택하게 할 수 있다. 일 예로서, 회전 보상이 선택되지 않은 경우, HMD(100)는 제 1 캡쳐링 모드에서 계속 동영상을 캡쳐할 수 있다. 다른 일 예로서, 회전 보상이 선택된 경우, HMD(100)는 회전 보상 인터페이스가 디스플레이된 이후부터는 회전 보상된 상태로 동영상을 캡쳐할 수도 있다.

도 4는 본 명세서의 HMD의 제어 방법의 제 2 실시예를 나타내는 도면이다. 보다 상세하게는, 도 4a는 제 2 캡쳐링 모드에서의 이미지 캡쳐링을 나타내고, 도 4b는 캡쳐된 이미지의 회전 보상을 나타내고, 도 4c는 저장된 이미지를 디스플레이하는 이미지 리뷰 인터페이스를 나타낸다.

도 4에서, HMD(100)는 유저(미도시)에 의해 착용된 상태인 것으로 가정한다. 또한, 도 4에서, HMD(100)의 디스플레이 유닛(110)은 투시형인 것으로 가정한다.

먼저, 도 4a를 참조하면, HMD(100)를 착용한 유저는 거실에서 텔레비전을 바라보는 상태에 있을 수 있다. 또한, 유저의 머리는 +25°만큼 회전된 상태에 있을 수 있다. 이 경우, HMD(100)는 유저의 머리의 회전과 동일한 회전 각도를 가질 수 있다.

또한, HMD(100)는 디스플레이 유닛(110)을 통해 전방에 위치한 사물 또는 환경 등을 인식할 수 있다. 이 때, HMD(100)는 카메라 애플리케이션이 디액티베이트된 상태에 있을 수 있다. 따라서, 도 3과는 달리, HMD(100)는 카메라의 화각 영역 내의 이미지를 디스플레이 유닛(110) 상에 디스플레이하지 않는다. 이 경우, 도 4a에는 도시되지 않았으나, HMD(100)는 디스플레이 유닛(110)에 실행 중인 애플리케이션 및 다양한 오브젝트 중 적어도 하나를 디스플레이할 수 있다. 예를 들어, HMD(100)는 디스플레이 유닛(110)에 시간, 날씨, 메세지 등과 같은 디스플레이 오브젝트를 디스플레이할 수 있다. 이 경우, 유저는 디스플레이 유닛(110)을 통해 전방에 위치한 사물을 인식하면서 동시에 디스플레이 오브젝트를 인식할 수 있다. 또한, 예를 들어, HMD(100)는 유저가 애플리케이션을 이용 중인 경우, 디스플레이 유닛(110)에 실행 중인 애플리케이션을 디스플레이할 수 있다. 또한, 예를 들어, HMD(100)는 디스플레이 유닛(110)에 실행 중인 애플리케이션 및 디스플레이 오브젝트를 동시에 디스플레이할 수 있다.

한편, HMD(100)는 캡쳐링 신호를 디텍트할 수 있다. 보다 상세하게는, 도 3a와 상이하게, HMD(100)는 이미지 프리뷰 인터페이스가 제공되지 않은 상태에서, 캡쳐링 신호를 디텍트할 수 있다. 또한, 보다 상세하게는, HMD(100)는 카메라 애플리케이션과 관계없는 컨텐츠를 이용하는 도중에 이미지를 캡쳐하기 위한 신호를 디텍트할 수 있다. 여기에서, 입력 신호는 도 3에서 상술한 바와 같이, HMD(100)에 대한 터치 입력, 음성 입력, 제스처 입력 등을 포함할 수 있다. 도 4a에서, 캡쳐링 신호는 "Take a photo"와 같은 유저의 음성 입력 신호에 해당할 수 있다. 이 경우, HMD(100)는 유저(1)에게 카메라(20)를 통해 센싱된 이미지를 제공하지 않은 상태에서, 이미지를 캡쳐할 수 있다.

또한, HMD(100)는 디텍트된 캡쳐링 신호에 기초하여, 카메라(미도시)의 회전 각도를 획득할 수 있다. 여기에서, 카메라(미도시)의 회전 각도는 HMD(100)의 회전 각도 또는 유저의 회전 각도와 동일할 수 있다. 도 4a에서 회전 각도는 +25°에 해당할 수 있다. 도 3에서 상술한 바와 같이, HMD(100)는 캡쳐링 신호를 디텍트하기 전에 카메라(미도시)의 회전 각도를 획득할 수도 있다.

이때, HMD(100)는 캡쳐링 모드를 결정할 수 있다. 보다 상세하게는, HMD(100)는 캡쳐링 신호를 디텍트하는 때의 캡쳐링 모드를 결정할 수 있다. 상술한 바와 같이, 본 명세서에서 캡쳐링 모드는 이미지 프리뷰 인터페이스를 제공하는 제 1 캡쳐링 모드 및 이미지 프리뷰 인터페이스를 제공하지 않는 제 2 캡쳐링 모드를 포함할 수 있다. 도 4의 경우, 캡쳐링 신호가 디텍트되는 때에 이미지 프리뷰 인터페이스가 제공되지 않는 바, HMD(100)는 제 2 캡쳐링 모드로 결정할 수 있다.

이 경우, HMD(100)는 디텍트된 캡쳐링 신호에 기초하여, 센싱된 이미지를 캡쳐할 수 있다. 또한, HMD(100)는 제 2 캡쳐링 모드에서, 캡쳐된 이미지를 회전 보상하여 저장할 수 있다. 이는, 유저가 이미지 프리뷰 인터페이스가 디스플레이되지 않는 상태에서, 이미지를 캡쳐하는 것은 HMD(100)의 기울기에 관계없이 수평 이미지를 저장하고자 하는 의사가 있는 것으로 볼 수 있기 때문이다.

즉, HMD(100)는 캡쳐된 이미지를 회전 보상하기 위해 프레임의 종횡비에 맞게 캡쳐된 이미지를 크롭 및 수평 보상할 수 있다. 보다 상세하게는, HMD(100)는 캡쳐된 이미지를 회전 각도의 회전 방향으로 회전 각도의 크기만큼 보상하여 저장할 수 있다. 여기에서, 크롭 동작 및 수평 보상 동작의 선후관계는 다양하게 이루어질 수 있다. 예를 들어, 크롭이 수행된 후 수평 보상이 될 수 있다. 또한, 예를 들어, 수평 보상이 된 후에 크롭이 수행될 수도 있다. 여기에서, 프레임의 종횡비는 설정에 따라 다양할 수 있다. 예를 들어, 카메라 프레임의 종횡비는 가로:세로=5:3에 해당할 수 있다. 또한, HMD(100)는 크롭된 이미지를 수평 보상을 위해 +25°회전을 수행할 수 있다. 또한, HMD(100)는 크롭된 이미지에 +25°회전뿐만 아니라 리사이징(resize)을 수행할 수 있다. 여기에서, 리사이징은 크롭된 이미지를 원래 이미지 사이즈에 맞추어 조절하는 것을 나타낼 수 있다.

또한, 도 4b에 도시된 바와 같이, HMD(100)는 저장된 이미지를 이미지 리뷰 인터페이스(40)에 디스플레이할 수 있다. 보다 상세하게는, HMD(100)는 캡쳐된 이미지를 회전 보상하여 수평 상태로 저장된 이미지를 이미지 리뷰 인터페이스(40)에 디스플레이할 수 있다. 이 경우, 이미지 리뷰 인터페이스(40)에 디스플레이된 이미지는 센싱된 이미지에 비해 줌-인(zoom-in)된 이미지에 해당할 수 있다. 또한, 도 4b에는 도시되지 않았으나, HMD(100)는 이미지 리뷰 인터페이스(40)에 인디케이터를 디스플레이하여, 센싱된 이미지의 수평 회전 각도를 디스플레이할 수 있다. 예를 들어, 센싱된 이미지의 수평 회전 각도는 +25°에 해당할 수 있다. 또한, HMD(100)는 이미지 리뷰 인터페이스(40)에 다양한 인디케이터를 디스플레이하여, 센싱된 이미지가 회전 보상되어 저장되었음을 나타낼 수 있다. 이를 통해, 유저는 저장된 이미지인 수평 이미지를 보면서 원래 캡쳐된 이미지의 각도도 인식할 수 있다. 또한, HMD(100)는 도 4b에 도시된 이미지 리뷰 인터페이스(40)를 디스플레이 유닛(110)에 디스플레이하여 유저가 저장된 이미지를 확인가능하게 할 수 있다.

한편, HMD(100)는 저장된 이미지를 이미지 리뷰 인터페이스(40)에 기 설정된 시간동안 디스플레이한 후 실행 중인 애플리케이션 및 디스플레이 오브젝트 중 적어도 하나를 디스플레이할 수 있다. 즉, 다른 애플리케이션을 실행 중인 상태 또는 디스플레이 오브젝트가 디스플레이된 상태에서 이미지를 캡쳐하는 경우, HMD(100)는 잠시동안 저장된 이미지를 유저에게 보여준 이후에 다시 원래 상태로 복귀할 수 있다. 예를 들어, 기 설정된 시간은 다양하게 설정될 수 있으며, 1초 내지 3초에 해당할 수 있다.

본 실시예를 통하여, 유저는 이미지 프리뷰 인터페이스가 제공되지 않은 상태에서 이미지를 캡쳐하는 경우, 자동으로 회전 보상이 수행된 이미지를 획득할 수 있다.

한편, 도 4에는 도시되지 않았으나, HMD(100)는 제 2 캡쳐링 모드에서 동영상을 캡쳐할 수 있다. 즉, HMD(100)는 이미지 프리뷰 인터페이스(30)가 제공되지 않은 상태에서 동영상을 캡쳐할 수 있다. 이 경우, HMD(100)는 수평 회전된 상태에서 동영상이 촬영되는 경우, 각각의 프레임에 대하여 회전 보상을 수행하여 동영상을 저장할 수 있다. 이는, 유저가 이미지 프리뷰 인터페이스(30)가 제공되지 상태에서 동영상을 캡쳐하는 것은, 수평 회전된 상태의 이미지를 회전 보상하여 동영상을 캡쳐하기를 원하는 의사가 있는 것으로 볼 수 있기 때문이다.

또한, 도 4에는 도시되지 않았으나, HMD(100)는 제 2 캡쳐링 모드에서 캡쳐된 동영상을 재생하는 경우, 회전 각도를 나타내는 인디케이터를 함께 디스플레이할 수 있다. 이는, 수평 회전 상태에서 동영상을 캡쳐하였으나 회전 보상이 이루어져서 재생되므로, 유저는 동영상 캡쳐 당시의 회전 각도를 인식할 수 없기 때문이다.

한편, 도 3 및 도 4의 실시예를 비교하는 경우, 제 1 캡쳐링 모드에서 저장된 이미지 및 제 2 캡쳐링 모드에서 저장된 이미지의 화각은 상이할 수 있다. 이는, 제 1 캡쳐링 모드에서 저장된 이미지는 캡쳐된 이미지를 그대로 저장하는데 반해, 제 2 캡쳐링 모드에서 저장된 이미지는 캡쳐된 이미지에 회전 보상을 수행하여 저장하기 때문이다. 따라서, 제 1 캡쳐링 모드에서 저장된 이미지가 제 2 캡쳐링 모드에서 저장된 이미지에 비해 넓은 화각을 가질 수 있다.

한편, HMD(100)는 도 3 및 도 4의 실시예에 한정되지 않는다. 예를 들어, 도3의 실시예와 달리, HMD(100)는 이미지 프리뷰 인터페이스를 제공하는 제 1 캡쳐링 모드인 경우, 센싱된 이미지를 회전 보상하여 저장할 수 있다. 또한, 예를 들어, 도 4의 실시예와 달리, HMD(100)는 이미지 프리뷰 인터페이스를 제공하지 않는 제 2 캡쳐링 모드인 경우, 센싱된 이미지를 회전 보상없이 그대로 저장할 수 있다.

도 5는 본 명세서의 HMD의 제어 방법의 제 3 실시예를 나타내는 도면이다. 보다 상세하게는, 도 5(a)는 저장된 이미지를 나타내고, 도 5(b)는 저장된 이미지에 회전 보상을 수행하는 것을 나타낸다.

먼저, 도 5(a)에 도시된 바와 같이, 저장된 이미지(50)는 HMD(100)가 수평으로 회전된 상태에서 센싱된 이미지를 그대로 저장한 이미지에 해당할 수 있다. 이는, 도 3에서 상술한 바와 같이, 제 1 캡쳐링 모드에서, HMD(100)가 이미지를 캡쳐한 경우에 해당할 수 있다. 이 경우, 유저(1)는 이미지가 저장된 추후에 저장된 이미지를 회전 보상하기를 원하는 경우가 발생할 수 있다.

이 경우, HMD(100)는 제 1 추가 입력 신호를 디텍트할 수 있다. 일 예로서, HMD(100)는 저장된 이미지를 제공하는 갤러리 애플리케이션이 실행된 상태에서 제 1 추가 입력 신호를 디텍트할 수 있다. 다른 일 예로서, HMD(100)는 제 1 캡쳐링 모드에서 이미지를 캡쳐한 이후에 이미지 리뷰 인터페이스가 디스플레이되는 상태에서 제 1 추가 입력 신호를 디텍트할 수 있다. 여기에서, 제 1 추가 입력 신호는 회전 보상이 없이 저장된 이미지에 회전 보상을 수행하고자 하는 신호에 해당할 수 있다. 예를 들어, 제 1 추가 입력 신호는 HMD(100)의 바디부(10)에 대한 터치 입력 신호, 음성 입력 신호, 제스처 입력 신호 등에 해당할 수 있다. 도 5(a)를 참조하면, 제 1 추가 입력 신호는 HMD(100)의 바디부(10)에 대한 터치 입력 신호에 해당할 수 있다.

다음으로, 도 5(b)에 도시된 바와 같이, HMD(100)는 디텍트된 제 1 추가 입력 신호에 대응하여, 저장된 이미지(50)에 회전 보상을 수행할 수 있다. 보다 상세하게는, HMD(100)는 수평 회전된 상태로 저장된 이미지에 회전 보상을 수행할 수 있다. 이와 관련하여, 도 4b에 도시된 바와 같이, HMD(100)는 캡쳐된 이미지에 회전 보상을 수행할 수 있다.

또한, HMD(100)는 회전 보상된 이미지를 재저장할 수 있다. 또한, HMD(100)는 제 1 추가 입력 신호에 의해 회전 보상된 이미지(55)를 디스플레이 유닛(110)에 디스플레이할 수 있다. 이를 통해, 유저(1)는 회전 보상된 이미지를 확인할 수 있다.

본 실시예를 통하여, 유저(1)는 회전 보상이 수행되지 않은 이미지에 대하여 회전 보상을 수행하여 수평 이미지를 제공받을 수 있다.

또한, 도 5에는 도시되지 않았으나, HMD(100)는 제 1 캡쳐링 모드로 캡쳐된 동영상에 대하여, 유저(1)의 입력 신호를 디텍트하는 경우, 회전 보상을 수행하여 동영상을 재저장할 수도 있다.

도 6은 본 명세서의 HMD의 제어 방법의 제 4 실시예를 나타내는 도면이다. 보다 상세하게는, 도 6(a)는 저장된 이미지를 나타내고, 도 6(b)는 저장된 이미지에 재보상을 수행하는 것을 나타낸다.

먼저, 도 6(a)에 도시된 바와 같이, 저장된 이미지(50)는 HMD(100)가 수평으로 회전된 상태에서 센싱한 이미지를 회전 보상하여 저장한 이미지에 해당할 수 있다. 이는, 도 4에서 상술한 바와 같이, 제 2 캡쳐링 모드에서, HMD(100)가 이미지를 캡쳐링한 경우에 해당할 수 있다. 이 경우, 유저(1)는 이미지가 저장된 이후에 저장된 이미지를 회전 보상하지 않은 상태로 복귀하기를 원하는 경우가 발생할 수 있다.

이 경우, HMD(100)는 제 2 추가 입력 신호를 디텍트할 수 있다. 일 예로서, HMD(100)는 저장된 이미지를 제공하는 갤러리 애플리케이션이 실행된 상태에서 제 2 추가 입력 신호를 디텍트할 수 있다. 다른 일 예로서, HMD(100)는 제 2 캡쳐링 모드에서 이미지를 캡쳐한 이후에 이미지 리뷰 인터페이스가 디스플레이되는 상태에서 제 2 추가 입력 신호를 디텍트할 수 있다. 여기에서, 제 2 추가 입력 신호는 회전 보상이 수행되어 저장된 이미지에 회전 보상이 수행 이전 상태로 복귀하기 위한 신호에 해당할 수 있다. 예를 들어, 제 2 추가 입력 신호는 HMD(100)의 바디부(10)에 대한 터치 입력 신호 또는 음성 입력 신호에 해당할 수 있다. 도 6(a)를 참조하면, 제 2 추가 입력 신호는 HMD(100)의 바디부(10)에 대한 터치 입력 신호에 해당할 수 있다.

다음으로, 도 6(b)에 도시된 바와 같이, HMD(100)는 디텍트된 제 2 추가 입력 신호에 대응하여, 회전 보상을 수행하여 저장된 이미지에 회전 보상을 취소할 수 있다. 이와 관련하여, 도 3b에 도시된 바와 같이, HMD(100)는 회전 보상된 이미지를 회전 보상을 수행하기 전의 이미지로 복귀시킬 수 있다.

또한, HMD(100)는 회전 보상이 취소된 이미지(55)를 재저장할 수 있다. 또한, HMD(100)는 제 2 추가 입력 신호에 의해 회전 보상이 취소된 이미지(55)를 디스플레이 유닛(110)에 디스플레이할 수 있다.

본 실시예를 통하여, 유저(1)는 회전 보상이 수행되어 저장된 수평 이미지에 대하여 회전 보상이 수행되지 않은 상태로 복귀된 이미지를 제공받을 수 있다.

또한, 도 6에는 도시되지 않았으나, HMD(100)는 제 2 캡쳐링 모드로 캡쳐된 동영상에 대하여, 유저(1)의 입력 신호를 디텍트하는 경우, 회전 보상을 취소하여 동영상을 재저장할 수도 있다.

도 7은 본 명세서의 HMD의 제어 방법의 제 5 실시예를 나타내는 도면이다. 보다 상세하게는, 도 7(a)는 제 1 캡쳐링 모드에서의 이미지 캡쳐링을 나타내고, 도 7(b)는 회전 보상 인터페이스를 나타낸다.

먼저, 도 7(a)에 도시된 바와 같이, HMD(100)는 수평으로 회전된 상태에서 이미지를 캡쳐링할 수 있다. 보다 상세하게는, HMD(100)는 수평으로 회전된 상태에서, 디스플레이 유닛(110)에 이미지 프리뷰 인터페이스(30)를 제공하여 유저(1)가 센싱된 이미지를 인식한 상태에서 이미지 캡쳐링할 수 있다. 이 경우, 도 3에서 상술한 바와 같이, HMD(100)는 제 1 캡쳐링 모드로 인식할 수 있다.

다만, 도 3에서와 달리, 제 1 캡쳐링 모드에 있더라도, 센싱된 이미지를 회전 보상없이 그대로 저장하지 않고, HMD(100)는 회전 보상 인터페이스(70)를 제공할 수 있다. 즉, HMD(100)는 제 1 캡쳐링 모드에 있더라도, 유저(1)에게 캡쳐된 이미지를 회전 보상할지 여부를 선택가능하게 할 수 있다. 예를 들어, 도 7(b)에 도시된 바와 같이, HMD(100)는 캡쳐된 이미지 상에 회전 보상 인터페이스(70)를 디스플레이할 수 있다.

이 경우, 도 7(b)에서, 'Yes'에 대한 입력 신호를 디텍트하는 경우, HMD(100)는 도 4에서 상술한 제 2 캡쳐링 모드에서 이미지를 캡쳐한 경우와 동일하게 캡쳐된 이미지를 회전 보상하여 저장할 수 있다. 또한, 'No'에 대한 입력 신호를 디텍트하는 경우, HMD(100)는 도 3에서 상술한 제 1 캡쳐링 모드에서 이미지를 캡쳐한 경우와 동일하게 캡쳐된 이미지를 그대로 저장할 수 있다. 여기에서, 'Yes' 또는 'No'에 대한 입력 신호는 유저(1)에 의한 제스처 입력, 터치 입력, 음성 입력 등을 포함할 수 있다.

본 실시예를 통하여, 유저(1)는 제 1 캡쳐링 모드에서 이미지를 캡쳐하는 경우라도, 이미지의 회전 보상 여부를 기호에 맞게 선택할 수 있다.

한편, 도 7에서 도시되지 않았으나, 동영상 캡쳐 모드인 경우, HMD(100)는 수평 회전이 인식되는 경우, 도 7(b)에 도시된 회전 보상 인터페이스(70)를 제공할 수 있다. 이를 통해, 유저(1)는 동영상이 캡쳐되는 동안, 수평 회전된 것을 고려하여 회전보상하여 동영상을 저장할 것인지 또는 수평 회전된 상태 그대로 동영상을 저장할 것인지 결정할 수 있다.

도 8은 본 명세서의 HMD의 제어 방법의 순서도를 나타내는 도면이다. 도 8의 각 단계는 도 1에 도시된 디스플레이 디바이스(100)의 프로세서(140)에 의해 제어될 수 있다.

먼저, HMD는 캡쳐링 신호를 디텍트할 수 있다(S810). 도 3 및 도 4에서 상술한 바와 같이, 캡쳐링 신호는 유저에 의한 음성 입력, 터치 입력 등을 포함할 수 있다.

다음으로, HMD는 제 1 캡쳐링 모드 또는 제 2 캡쳐링 모드인지 결정할 수 있다(S820). 여기에서, 제 1 캡쳐링 모드는 이미지 프리뷰 인터페이스를 제공하는 모드이고, 제 2 캡쳐링 모드는 이미지 프리뷰 인터페이스를 제공하지 않는 모드에 해당할 수 있다. 또한, 이미지 프리뷰 인터페이스는 카메라 애플리케이션이 실행된 경우, 유저에게 센싱된 이미지를 보여주는 인터페이스를 나타낸다.

S820 단계에서, 제 1 캡쳐링 모드로 결정된 경우, HMD는 센싱된 이미지를 회전 보상없이 저장할 수 있다. 도 3에서 상술한 바와 같이, HMD는 캡쳐링 신호를 디텍트하는 때에 이미지 프리뷰 인터페이스가 제공되지 않는 경우에, 제 1 캡쳐링 모드로 결정할 수 있다. 이 경우, HMD는 센싱된 이미지가 수평 회전된 이미지이더라도 별도의 회전 보상없이 이미지를 그대로 저장할 수 있다.

한편, S820 단계에서, 제 2 캡쳐링 모드로 결정된 경우, HMD는 센싱된 이미지를 회전 보상하여 저장할 수 있다. 도 4에서 상술한 바와 같이, HMD는 캡쳐링 신호를 디텍트하는 때에 이미지 프리뷰 인터페이스가 제공되지 않은 경우에, 제 2 캡쳐링 모드로 결정할 수 있다. 이 경우, HMD는 센싱된 이미지가 수평 회전된 이미지인 경우, 회전 보상하여 이미지를 저장할 수 있다.

나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 명세서의 권리범위에 속한다.

일 실시예에 따른 헤드 마운트 디스플레이 및 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 헤드 마운트 디스플레이를 제어하는 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양발명의 설명은 보충적으로 적용될 수가 있다.

100: HMD
110: 디스플레이 유닛
120: 카메라 유닛
130: 센싱 유닛
140: 프로세서

Claims

헤드 마운트 디스플레이(HMD)에 있어서,
비주얼 정보를 디스플레이하는 디스플레이 유닛;
이미지를 센싱하는 카메라 유닛;
상기 카메라 유닛의 회전 각도를 센싱하는 각도 센싱 유닛;
입력 신호를 디텍트하고, 디텍트된 결과를 프로세서에 전달하는 입력 센싱 유닛; 및
상기 디스플레이 유닛, 상기 카메라 유닛, 상기 각도 센싱 유닛 및 상기 입력 센싱 유닛을 제어하는 프로세서를 포함하되,
상기 프로세서는
캡쳐링 신호를 디텍트하고,
제 1 캡쳐링 모드인 경우, 센싱된 이미지를 회전 보상없이 저장하되, 상기 제 1 캡쳐링 모드는 이미지 프리뷰 인터페이스를 제공하는 모드인,
제 2 캡쳐링 모드인 경우, 상기 센싱된 이미지를 상기 회전 보상하여 저장하되, 상기 제 2 캡쳐링 모드는 상기 이미지 프리뷰 인터페이스를 제공하지 않는 모드인, HMD.
제 1 항에 있어서,
상기 프로세서는
상기 캡쳐링 신호를 디텍트하는 때에 상기 제 1 캡쳐링 모드인 경우, 상기 센싱된 이미지를 회전 보상없이 저장하고,
상기 캡쳐링 신호를 디텍트하는 때에 상기 제 2 캡쳐링 모드인 경우, 상기 센싱된 이미지를 회전 보상하여 저장하는 것을 더 포함하는, HMD.
제 1 항에 있어서,
상기 프로세서는
상기 디텍트된 캡쳐링 신호에 대응하여, 상기 카메라 유닛의 회전 각도를 획득하고,
상기 제 2 캡쳐링 모드인 경우, 상기 센싱된 이미지를 상기 회전 각도의 회전 방향으로 상기 회전 각도의 크기만큼 보상하여 저장하는 것을 더 포함하는, HMD.
제 1 항에 있어서,
상기 프로세서는
상기 캡쳐링 신호가 디텍트되는 때에 이미지의 회전 보상 여부를 결정하는 회전 보상 인터페이스를 디스플레이하는 것을 더 포함하는, HMD.
제 1 항에 있어서,
상기 캡쳐링 신호는 이미지 캡쳐를 위한 신호인, HMD.
제 5 항에 있어서,
상기 프로세서는
제 1 추가 입력 신호를 디텍트하고,
상기 디텍트된 제 1 추가 입력 신호에 대응하여, 상기 회전 보상없이 저장된 이미지에 상기 회전 보상을 수행하는 것을 더 포함하는, HMD.
제 5 항에 있어서,
상기 프로세서는
제 2 추가 입력 신호를 디텍트하고,
상기 디텍트된 제 2 추가 입력 신호에 대응하여, 상기 회전 보상되어 저장된 이미지에 상기 회전 보상을 취소하는 것을 더 포함하는, HMD.
제 5 항에 있어서,
상기 프로세서는
상기 저장된 사진을 디스플레이하는 이미지 리뷰 인터페이스를 제공하는 것을 더 포함하는, HMD.
제 8 항에 있어서,
상기 프로세서는
상기 제 1 캡쳐링 모드인 경우, 상기 이미지 리뷰 인터페이스를 기 설정된 시간동안 제공한 이후에 상기 이미지 프리뷰 인터페이스를 제공하는 것을 더 포함하는, HMD.
제 8 항에 있어서,
상기 프로세서는
상기 제 2 캡쳐링 모드인 경우, 상기 이미지 리뷰 인터페이스를 기 설정된 시간동안 제공한 이후에 실행 중인 애플리케이션 및 디스플레이 오브젝트 중 적어도 하나를 디스플레이하는 것을 더 포함하는, HMD.
제 1 항에 있어서,
상기 캡쳐링 신호는 동영상 캡쳐를 위한 신호인, HMD.
제 11 항에 있어서,
상기 프로세서는
상기 제 2 캡쳐링 모드인 경우, 캡쳐된 동영상을 회전 보상하여 저장하고,
상기 저장된 동영상을 재생하는 경우, 회전 각도를 나타내는 인디케이터를 디스플레이하는 것을 더 포함하는, HMD.
제 11 항에 있어서,
상기 프로세서는
상기 제 1 캡쳐링 모드인 경우, 동영상 캡쳐 중에 회전 보상 인터페이스를 디스플레이하는 것을 더 포함하는, HMD.
제 1 항에 있어서,
상기 프로세서는
상기 제 2 캡쳐링 모드인 경우, 상기 이미지의 회전 보상을 나타내는 인디케이터를 디스플레이하는 것을 더 포함하는, HMD.
제 1 항에 있어서,
상기 프로세서는
상기 이미지 프리뷰 인터페이스에 상기 카메라 유닛의 회전 각도를 나타내는 인디케이터를 디스플레이하는 것을 더 포함하는, HMD.
제 1 항에 있어서,
상기 캡쳐링 신호는 음성 입력 신호, 터치 입력 신호, 제스쳐 입력 신호를 포함하는, HMD.
제 1 항에 있어서,
상기 제 1 캡쳐링 모드에서 저장된 이미지 및 상기 제 2 캡쳐링 모드에서 저장된 이미지의 화각이 상이한, HMD.
제 1 항에 있어서,
상기 제 1 캡쳐링 모드는 카메라 애플리케이션이 실행 중인 모드를 나타내는, HMD.
제 1 항에 있어서,
상기 제 2 캡쳐링 모드는 실행 중인 애플리케이션 및 디스플레이 오브젝트 중 적어도 하나가 상기 디스플레이 유닛에 디스플레이 중인 모드를 나타내는, HMD.
헤드 마운트 디스플레이(HMD)의 제어 방법에 있어서,
캡쳐링 신호를 디텍트하는 단계;
제 1 캡쳐링 모드인 경우, 센싱된 이미지를 회전 보상없이 저장하는 단계로서, 상기 제 1 캡쳐링 모드는 이미지 프리뷰 인터페이스를 제공하는 모드임; 및
제 2 캡쳐링 모드인 경우, 상기 센싱된 이미지를 상기 회전 보상하여 저장하는 단계로서, 상기 제 2 캡쳐링 모드는 상기 이미지 프리뷰 인터페이스를 제공하지 않는 모드인, 제어 방법.