KR20180113406A - 가상 공간을 이탈한 컨트롤러의 추적 방법 및 그 전자장치 - Google Patents

Abstract

가상 공간을 이탈한 컨트롤러의 추적 방법 및 그 전자장치가 개시된다. 본 발명에 따른 전자장치는, 본체에 구비된 카메라와, 복수의 라이트 하우징을 이용하여 형성된 가상 공간에 3D 영상을 디스플레이하는 디스플레이부와, 디스플레이된 3D 영상을 제어하기 위한 컨트롤러의 위치를 추적하는 위치 추적부와, 추적 결과 컨트롤러의 위치가 가상 공간을 벗어나면, 컨트롤러의 마지막 위치를 알려주는 인디케이터를 3D 영상에 출력하는 제어부를 포함한다. 또한, 제어부는, 인디케이터에 대한 피드백이 수신되면, 본체에 구비된 카메라를 구동하여 피드백에 대응되는 외부 영상을 획득하고, 획득된 외부영상을 3D 영상에 출력시킨다.

Description

가상 공간을 이탈한 컨트롤러의 추적 방법 및 그 전자장치{MOBILE TERMINAL AND METHOD FOR CONTROLLING THE SAME}

본 발명은 전자장치에서 가상 현실 체험 중에 컨트롤러가 가상 공간을 이탈한 경우 이를 추적하는 방법 및 그 전자장치에 관한 것이다.

HMD(Head Mounted Display) 형태의 전자장치는, 사용자의 두부에 착용되며, 사용자의 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치를 말한다. 이러한 전자장치는 TV나 또는 화면보다 더 거대한 영상으로 사용자가 영상 컨텐츠를 즐길 수 있도록 하고, 특히 가상 공간 화면을 표시하여 사용자가 가상 공간 체험을 즐길 수 있도록 할 수도 있다.

이러한 전자장치를 또 다른 장치, 예를 들어 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device) 등과 연동시켜서 사용하는 방안이 활발하게 연구되고 있다.

이때에, 전자장치를 이용하여 보다 현실감 있는 다양한 가상 체험을 수행하기 위해 하나 이상의 컨트롤러를 연동하여 사용할 수 있다. 이때에, 사용자가 전자장치를 착용한 동안, 컨트롤러의 위치는 가상 공간 내에서만 추적되므로 컨트롤러가 가상 공간을 벗어나게 되면, 전자장치를 탈착하여 현실 공간에서의 컨트롤러의 위치를 실제로 확인해야만 하는 불편이 있다.

이러한 불편을 해결하기 PIP 이미지를 이용하여 현실 공간의 일부를 인지하거나 또는 룸뷰(roomview) 기술을 적용하는 방안이 고려될 수 있으나, 이는 단계에 진입하기 위해 추가 입력을 수행해야하거나, 화각이 좁거나, 또는 그래픽처리가 실제 공간과 괴리감이 있어서, 실제로 컨트롤러를 용이하게 찾는데 모두 한계가 있었다.

이에, 본 발명은 상기와 같은 과제를 해결하기 위한 일 목적은, 전자장치를 착용한 상태로 가상 공간을 벗어난 컨트롤러를 쉽고 빠르게 찾을 수 있는 전자장치를 제공하는데 있다.

이에, 본 발명의 일 실시 예에 따른 전자장치는, 본체; 상기 본체에 구비된 카메라; 복수의 라이트 하우징을 이용하여 형성된 가상 공간에 3D 영상을 디스플레이하는 디스플레이부; 상기 3D 영상을 제어하기 위한 컨트롤러의 위치를 추적하는 위치 추적부; 상기 컨트롤러의 위치가 상기 가상 공간을 벗어나면, 상기 컨트롤러의 마지막 위치를 알려주는 인디케이터를 상기 3D 영상에 출력하는 제어부를 포함한다. 또한, 상기 제어부는, 상기 인디케이터에 대한 피드백이 수신되면, 상기 카메라를 구동하여 상기 피드백에 대응되는 외부 영상을 획득하고, 획득된 외부영상을 상기 3D 영상에 출력하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 인디케이터는 상기 3D 영상 상에서 소정의 투명도를 갖는 그래픽 객체로 표시되며, 상기 컨트롤러의 예상 위치를 가리키는 방향 정보를 포함하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 인디케이터에 대한 피드백으로, 상기 인디케이터에 포함된 방향 정보에 대응되는 방향의 사용자 움직임이 검출되면, 상기 획득된 외부영상의 출력이 트리거되는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 외부 영상이 출력되고 상기 인디케이터에 포함된 방향 정보와 다른 방향의 사용자 움직임이 검출되면 상기 외부 영상이 사라지고 상기 3D 영상이 계속 재생되는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 인디케이터가 출력되고 상기 인디케이터에 대한 피드백이 수신되는 동안 상기 3D 영상의 표시는 고정되거나 재생 중단되는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 피드백이 수신되면, 상기 획득된 외부영상이 상기 인디케이터의 위치에 대응되는 영역에 홀 형태로 디스플레이되는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 피드백이 수신되면, 상기 3D 영상이 출력되던 가상 공간이 제1영역과 제2영역으로 이분되고, 상기 제1영역에 가상 공간에 대응되는 3D 영상이 리사이징되어 표시되는 동안 상기 제2영역에는 현실 공간에 대응되는 외부영상이 표시되는 것을 특징으로 한다.

또한, 일 실시 예에서, 사용자의 움직임을 따라 상기 제2영역에 표시된 외부영상이 변경되는 동안 상기 제1영역에 표시된 3D 영상의 제어는 제한되는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 제어부는, 상기 외부 영상이 출력되는 동안, 상기 위치 추적부가 상기 외부 영상 내에서 컨트롤러의 위치를 추적하도록 모드 전환하고, 상기 외부 영상에서 상기 컨트롤러가 검출되면 검출된 컨트롤러의 위치를 알려주는 그래픽객체를 상기 외부 영상에 출력시키는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 제어부는, 현실 공간 전체에 대해 상기 외부 영상이 제공된 것으로 인식되면, 컨트롤러의 위치를 찾을 수 없음을 알려주는 알림 아이콘을 상기 디스플레이부에 출력하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 3D 영상에 외부영상이 출력되는 동안 상기 컨트롤러가 상기 가상 공간에 진입하면 상기 외부영상이 사라지는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 제어부는, 상기 컨트롤러가 상기 가상 공간에 진입하면, 상기 외부영상이 사라지기 전에 상기 컨트롤러의 진입을 알려주는 팝업창을 출력하고, 상기 팝업창이 사라지면 상기 3D 영상을 자동 재생하는 것을 특징으로 한다.

또한, 일 실시 예에서, 상기 컨트롤러가 이벤트 발생에 따라 상기 가상 공간을 벗어난 경우, 상기 이벤트가 종료된 시점에 상기 외부 영상이 출력되는 것을 특징으로 한다.

본 발명의 실시 예에 따른 전자장치는, 가상 체험 중에 컨트롤러가 가상 공간을 벗어난 경우에도 전자장치를 벗을 필요 없이 현실 공간에 있는 컨트롤러를 위치를 추적할 수 있다. 또한, 현실 공간의 영상에서 컨트롤러를 쉽게 찾을 수 있도록 카메라 화각범위와 동일한 뷰임 각을 제공하고, 현실 공간의 영상에 포함된 객체의 속성에 따라 영상의 변경 속도나 배율을 적응적으로 조절할 수 있다.

도 1은 본 발명과 관련된 전자장치의 사용 예시를 보여주는 개념도이다.
도 2는 본 발명과 관련된 전자장치 및 이와 연동하여 사용하는 주변 장치들의 구성을 보여주는 예시 개념도이다.
도 3a는 본 발명과 관련된 전자장치를 일 방향에서 바라본 개념도이고, 도 3b는 본 발명과 관련된 전자장치의 예시 구성을 설명하기 위한 블록도이다.
도 4a는 도 3a의 전자장치와 연동하여 사용하는 컨트롤러의 예시 개념도이고, 도 4b는 도 4a의 컨트롤러의 예시 구성을 설명하기 위한 블록도이다.
도 5는 본 발명과 관련된 전자장치에서 구현되는 동작을 설명하기 위한 대표 흐름도이다.
도 6a는 본 발명과 관련된 전자장치에서, 컨트롤러가 가상 공간 영역을 벗어난 모습이고, 도 6b는 도 6a의 상황에서 외부영상의 화각범위를 설명하기 위한 개념도이다.
도 7은 본 발명과 관련된 전자장치에서, 외부영상을 이용하여 컨트롤러를 찾는 구체적인 동작을 보여주는 개념도들이다.
도 8 a 내지 도 8c는 본 발명과 관련된 전자장치에서, 인디케이터에 대한 피드백에 따라 외부영상을 제공하는 서로 다른 예시들을 보여주는 도면들이다.
도 9, 도 10a, 도 10b는, 본 발명과 관련된 전자장치에서, 가상 공간을 이탈한 컨트롤러를 찾기 위해 외부영상을 제어하는 동작들의 예시 개념도들이다.
도 11a 및 도 11b는 본 발명과 관련된 전자장치에서, 컨트롤러가 다시 가상 공간에 진입한 경우와 관련된 동작을 보여준는 도면들이다.
도 12는 본 발명과 관련된 전자장치에서, 이벤트 발생 후에 컨트롤러가 가상 공간을 벗어난 경우, 디스플레이되는 화면의 변화 모습을 보인 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 설명되는 전자장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.

그러나, 본 명세서에 기재된 실시 예에 따른 구성은 전자장치에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.

또한, 이하에 설명되는 실시 예들에서 사용되는 '사용자'는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능을 가진 로봇)를 의미할 수 있다. 또한, 이하에 설명되는 실시 예들에서는 가상 체험 중에 이벤트가 발생한 경우 전자장치의 동작들과 관련된 기술을 설명한다.

도 1은 본 발명과 관련된 전자장치의 사용 예시를 보여주는 개념도이고, 도 2는 본 발명과 관련된 전자장치 및 이와 연동하여 사용하는 주변 장치들의 구성을 보여주는 예시 개념도(1000)이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 전자장치(100)는 라이트하우스(lighthouse) 시스템라는 위치 추적(positional tracking) 기술을 적용하여 전자장치(100)의 위치를 검출할 수 있다. 그리하여, 전자장치(100)가 사용자의 360도 모션을 추적하는데 도움을 준다. 여기서, 라이트하우스(lighthouse) 시스템은 도 1에 도시된 바와 같이, 닫힌 특정 공간내에 복수의 라이트하우스 장치들(300A, 300B)을 설치함으로써 구현될 수 있다. 또한, 상기 복수의 라이트하우스 장치들(300A, 300B)은 인식가능한 공간 범위가 극대화될 수 있는 위치, 예를 들어 대각선 방향으로 서로 마주보는 위치에 설치될 수 있다.

전자장치(100)는 복수의 라이트하우스 장치들(300A, 300B)에 포함된 LED 또는 레이저 방출기들로부터 방사되는 빛을 수신하고, 해당 빛이 수신된 위치와 시간간의 상관관계에 기초하여, 닫힌 특정 공간 내에서의 전자장치(100)의 위치를 정확하게 판단할 수 있다. 이를 위해, 라이트하우스 장치들(300A, 300B)에는 IR 램프와 2축의 모터가 각각 포함될 수 있으며, 이를 통해 전자장치(100)와 신호를 주고받는다.

또한, 전자장치(100)는 외부 장치(예, PC)(500)와 유/무선 통신을 수행할 수 있다. 이를 위해, 도 1에서는 전자장치(100)와 외부 장치(500)가 유선 케이블을 사용하여 연결된 것으로 도시되었으나, 이에 한정되는 것은 아니며, 예를 들어 무선 모듈 키트 등을 이용한 무선 연결도 가능하다. 전자장치(100)는 연결된 외부 장치(500)에 저장된 가상 공간 영상을 외부 장치(500)로부터 수신하여 사용자에게 디스플레이해줄 수 있다.

또한, 전자장치(100)를 통해 디스플레이되는 가상 공간 영상과 관련된 동작을 제어하기 위한 컨트롤러(200A, 200B)가 전자장치(100)의 또 다른 주변장치로 구비될 수 있다. 컨트롤러(200A, 200B)는 도 2에 도시된 바와 같이, 사용자가 양손에 쉽게 그립(grip)할 수 있는 형태로 이루어지며, 컨트롤러(200A, 200B)의 외측면에는 사용자 입력을 수신하기 위한 터치패드(또는 트랙패드), 버튼 등이 구비될 수 있다.

또한, 전자장치(100)는 컨트롤러(200A, 200B)에 구비된 다양한 센서들, 예를 들어, IR 센서나 모션 추적 센서 등을 통해, 사용자의 모션을 추적할 수 있으며 전자장치(100)와 상호 인터랙션을 수행할 수 있다. 또한, 컨트롤러(200A, 200B)는 전자장치(100)에 구비된 카메라를 통해 확인되는 실제 환경 이미지와 연동될 수 있다. 그에 따라, 사용자는 가상 공간 체험 중에도 전자장치(100)를 벗지 않고 컨트롤러(200A, 200B)의 조작을 통해 외부 환경을 즉시 확인할 수 있다.

도 3a는 본 발명과 관련된 전자장치를 일 방향에서 바라본 개념도이고, 도 3b는 본 발명과 관련된 전자장치의 예시 구성을 설명하기 위한 블록도이다.

도 3a에 도시된 바와 같이, 전자장치(100)의 착용부(101)는 착용시 사용자의 두부를 감쌀 수 있는 형태의 플랙서블 재질, 예를 들어 고무 등의 밴드로 이루어질 수 있다. 이때에, 밴드는 사용자의 두부에 착용시 두부의 둘레에 따라 길이를 조절할 수 있도록 이루어질 수 있다.

전자장치(100)의 전면, 즉 착용부(101)와 구별되는 또 다른 프레임에는 가상 공간 영상이 디스플레이되는 디스플레이부(151)와 사용자의 모션을 추적하기 위한 모션 센서들(142)이 구비될 수 있다. 또, 전자장치(100)를 착용한 상태에서도 외부 환경을 확인할 수 있도록 전면 카메라(121)가 더 구비될 수 있다.

본 발명과 관련된 전자장치(100)는, 이하 도 3b를 참조하여 설명될 구성요소들 중 적어도 하나를 포함하도록 구성될 수 있다.

도 3b를 참조하면, 전자장치(100)는 통신부(110), 카메라(121), 음향출력부(152), 센싱부(140), 디스플레이부(151), 인터페이스부(160), 및 제어부(180)를 포함하여 이루어질 수 있다.

인터페이스부(160)는 전자장치(100)와 외부 장치(500)를 유선으로 연결한다. 그에 따라, 전자장치(100)는 외부 장치(500)로부터 가상 현실 컨텐츠를 제공받을 수 있고, 다양한 입력 신호, 센싱 신호, 데이터를 주고받음으로써, 상호 인터랙션을 수행할 수 있다. 또한, 전자장치(100)는 인터페이스부(160)를 통해 외부 장치(500)로부터 전원을 공급받을 수도 있다. 다만, 위에서 이미 기술한 바와 같이 전자장치(100)와 외부 장치(500)는 무선 모듈 키트 등을 통해 무선 연결될 수도 있음은 물론이다.

예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(160)에 포함될 수 있다.

디스플레이부(151)는 사용자의 양 안에 대응되는 위치에 마련된다. 디스플레이부(151)에 출력되는 가상 현실 컨텐츠는 전자장치(100) 자체에 저장된 것이거나 또는 외부 장치(500)에 저장된 것일 수 있다.

예를 들어, 전자장치(100)에 저장된 가상 공간 영상인 경우, 전자장치(100)는 상기 가상 공간의 영상을 처리하기 위한 이미지 프로세싱 및 렌더링 처리를 수행하고, 이미지 프로세싱 및 렌더링 처리 결과 생성된 화상 정보를 디스플레이부(151)를 통해 출력할 수 있다. 반면, 외부 장치(500)에 저장된 가상 공간 영상인 경우, 외부 장치(500)가 이미지 프로세싱 및 렌더링 처리를 수행하고, 그 결과 생성된 화상 정보를 전자장치(100)에 전송해줄 수 있다. 그러면 전자장치(100)는 외부장치(500)로부터 수신된 3D 화상 정보를 디스플레이부(151)를 통해 출력할 수 있다.

또한, 전자장치(100)는 이외에도 입력부, 음향 출력부, 메모리, 및 전원공급부 중 적어도 하나를 더 포함할 수 있다. 상기 도 3b에 도시된 구성요소들은 전자장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 전자장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

카메라(121)는, 전자장치(100)의 프레임부의 일면, 예를 들어, 전면에 배치될 수 있다. 카메라(121)는 전방의 영상을 촬영(수신, 입력)하도록 형성되고, 특히 사용자가 바라보는 장면을 영상으로 획득할 수 있다. 여기서는 카메라(121)가 하나 구비된 것을 예시하고 있으나, 반드시 이에 한정되는 것은 아니다. 카메라(121)는 복수 개로 구비되어 입체 영상을 획득하도록 이루어질 수도 있다.

센싱부(140)는, 근접센서, 조도 센서, 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(221 참조)), 마이크로폰(microphone), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 등을 포함할 수 있다.

일 예로, 제어부(180)는 센싱부(140)에 포함된 자이로스코프 센서, 중력 센서, 모션 센서 등을 이용하여 전자장치(100)나 사용자의 움직임을 감지할 수 있다. 또한, 전자장치(100)와 연동하여 동작하는 컨트롤러(200A, 200B)에 구비된 센서들을 통해서도 사용자의 움직임을 감지할 수 있다.

다른 예로, 제어부(180)는 센싱부(140)에 포함된 근접센서, 조도센서, 자기센서, 적외선 센서, 초음파 센서, 광 센서 등을 이용하여 전자장치(100)나 사용자 주변으로 다가오는 대상체를 감지할 수도 있다.

또한, 센싱부(140)는 구비된 다양한 센서들, 예를 들어, IR 센서, 모션 센서, 적외선 수광기 등을 통해, 가상 공간에서의 컨트롤러(200A, 200B)의 위치를 추적하기 위한 위치 추적부(145)를 포함할 수 있다.

전자장치(100)는 제어명령을 입력 받기 위해 조작되는 사용자 입력부(미도시)를 구비할 수 있다. 사용자 입력부는 터치, 푸시 등 사용자가 촉각적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 본 도면에서는 도시되지 않았으나, 착용부(101) 또는 프레임부에 푸시 및 터치 입력 방식의 사용자 입력부가 구비될 수 있다.

또한, 전자장치(100)에는 사운드를 입력 받아 전기적인 음성 데이터로 처리하는 마이크로폰(미도시) 및 음향을 출력하는 음향 출력부(미도시)가 구비될 수 있다. 음향 출력부는 일반적인 음향 출력 방식 또는 골전도 방식으로 음향을 전달하도록 이루어질 수 있다. 음향 출력부가 골전도 방식으로 구현되는 경우, 사용자가 전자장치(100)를 착용시, 음향 출력부는 두부에 밀착되며, 두개골을 진동시켜 음향을 전달하게 된다.

디스플레이부(151)는 프레임부에 장착되어, 사용자의 눈 앞에서 화면정보(예를 들어, 영상, 이미지, 동영상 등)를 출력하는 역할을 한다. 사용자가 전자장치(100)를 착용하였을 때, 사용자의 눈 앞에 화면정보가 표시될 수 있도록, 디스플레이부(151)는 좌안 및 우안 중 적어도 하나에 대응되게 배치될 수 있다. 즉, 디스플레이부(151)는 사용자의 좌안 및 우안 중 적어도 하나를 덮도록 (또는, 사용자의 좌안 및 우안 중 적어도 하나를 마주보도록) 형성될 수 있다.

일 예로, 본 발명과 관련된 전자장치(100)의 디스플레이부(151)는 전자장치(100)의 프레임부의 내측면에 위치할 수 있다. 구체적으로, 디스플레이부(151)는 사용자가 전자장치(100)를 사용자의 두부에 착용하였을 때, 사용자의 눈에 마주보는 위치에 배치될 수 있다.

또한, 전자장치(100)는 전자장치(100) 본체의 내부에 형성된 디스플레이부(151)에서 출력되는 화면정보를 사용자가 모두 볼 수 있도록, 렌즈부를 포함할 수 있다. 즉, 본 발명과 관련된 전자장치(100)는, 렌즈부를 통해, 디스플레이부(151)에서 출력되는 화면정보(또는 빛)이 모두 사용자의 안구(또는, 시야)로 투과될 수 있도록 형성될 수 있다.

일 예로, 상기 렌즈부는, 사용자의 양 안(즉, 좌안 및 우안) 중 적어도 하나에 대응되게 배치될 수 있다. 또한, 렌즈부는, 사용자가 전자장치(100)를 두부에 착용하였을 때, 사용자의 안구와 디스플레이부(151)의 사이에 놓이도록 배치될 수 있다. 또한, 상기 렌즈부는, 사용자의 안구와 디스플레이부(151) 사이의 거리에 따라 시야각이 달라질 수 있으므로, 사용자 제어에 의해 위치가 가변되도록 형성될 수 있다. 또한, 상기 렌즈부는, 오목렌즈 또는 볼록렌즈, 또는 이들의 조합을 통해 형성될 수 있다.

또한, 디스플레이부(151)는 프리즘을 이용하여 사용자의 눈으로 이미지를 투사할 수 있다. 또한, 사용자가 투사된 이미지와 전방의 일반 시야(사용자가 눈을 통하여 바라보는 범위)를 함께 볼 수 있도록, 프리즘은 투광성으로 형성될 수 있다.

이처럼, 디스플레이부(151)를 통하여 출력되는 영상은, 일반 시야와 오버랩(overlap)되어 보여질 수 있다. 전자장치(100)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지나 배경에 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수도 있다.

즉, 상기 디스플레이부(151)는, 가상현실(Virtual Reality: VR)이 구현되도록 외부의 빛이 통과되지 못하게 형성되거나, 증강현실(Augmented Reality: AR)이 구현되도록 외부의 빛이 통과되게 형성될 수 있다.

또한, 도시되진 않았지만, 프레임부에는 좌안 및 우안 중 적어도 하나를 덮는 또 다른 디스플레이가 착탈 가능하게 장착될 수 있다.

통신부(110)는, 전자장치(100)와 통신 시스템 사이, 전자장치(100)와 외부장치(500)와의 사이, 전자장치(100)와 전자장치(100)의 제어장치 사이, 전자장치(100)와 외부에 설치되어 무선통신이 가능한 카메라 사이 또는 전자장치(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 무선 통신 모듈을 포함할 수 있다. 이러한 무선 통신 모듈은, 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.

도 4a는 도 3a의 전자장치와 연동하여 사용하는 컨트롤러의 예시 개념도이고, 도 4b는 도 4a의 컨트롤러의 예시 구성을 설명하기 위한 블록도이다.

도 4a에 도시된 컨트롤러(200)는 도 3a의 전자장치(100)와 연동하여 디스플레이부(151)에 출력되는 화면을 제어하는데 사용되며, 도시된 바와 같이 사용자가 컨트롤러(200)를 쥐는(grip) 그립부와, 그립부로부터 연장되며 다양한 센서들과 마이크로 프로세서가 내장된 헤드부를 포함하여 구성될 수 있다. 도시된 바와 같이, 그립부는 사용자가 쉽게 쥘 수 있도록 세로로 긴 바 형태로 이루어지고 헤드부는 링 형태로 이루어질 수 있다.

도 4b를 참조하면, 컨트롤러(200)는 IR 센서(241), 모션 추적 센서(242), 마이크로 프로세서(250), 및 입력부(260)를 포함할 수 있다.

다시 도 4a를 참조하면, 예를 들어 컨트롤러(200)의 헤드부의 외측면(201T)과 내측면(201B)에는 각각 11 개의 IR 센서(241)가 구비되고, 외측면(201T)과 내측면(201B) 사이 중앙에는 2개의 IR 센서(241)가 구비될 수 있다. 이때, 각각의 IR 센서(241)는 적외선 필터로 덮여 외부 환경으로부터 보호될 수 있다. 또한, IR 센서(241)는 라이트하우스 장치들(300A, 300B)로부터 방사되는 빛을 수신하여서, 사용자 동작을 추적하는데 사용된다.

모션 추적 센서(242)는 3축의 가속도 센서와, 3축의 자이로스코프, 디지털 모션 프로세서를 하나의 집합체로 포함하여 구성될 수 있다. 또한, 모션 추적 센서(242)는 도시된 바와 같이 컨트롤러(200)의 헤드부의 외측면을 따라 일정 간격을 두고 배치될 수 있고, 각 모션 추적 센서(242) 동그랗게 함몰된 개구부 형태를 띨 수 있다.

컨트롤러(200)의 그립부에는 복수의 사용자 입력부(260)가 마련될 수 있다. 사용자 입력부는 예를 들어, 그립부의 내측에 배치된 키들과, 그리부의 외측에 구비된 터치패드(트랙 패드), 트리거 버튼 등을 포함할 수 있다.

마이크로 프로세서(250)는 센서들을 통해 사용자의 모션 및 움직임을 추적하도록 제어할 수 있다. 또한, 마이크로 프로세서(250)는 전자장치(100)에 구비된 카메라(121)와 연동하여 가상 현실 체험 동안에도 외부 환경을 인식할 수 있게 해준다. 일 예로, 가상 공간 영상 내에서의 컨트롤러(200)의 위치에 PIP 형태의 외부 환경 이미지를 작은 사이즈로 표시해줄 수 있다.

이하, 도 5는 본 발명과 관련된 전자장치에서 구현되는 동작을 설명하기 위한 대표 흐름도이다.

도 5를 참조하면, 본 발명에 따른 전자장치(100)는 주변장치인 복수의 라이트하우스 장치들(300A, 300B)와 연동하여 가상 공간을 형성하고, 형성된 가상 공간 내에서 가상 현실 컨텐츠에 대응되는 3D 영상이 디스플레이되는 단계가 개시된다(S10).

여기서, 가상 공간 내에 표현되는 가상 현실 컨텐츠 전자장치(100)에 저장된 것 또는 전자장치(100)와 연결된 단말기(500, 도 1)로부터 수신된 것일 수 있다. 또, 제1가상 현실 컨텐츠의 종류에는 아무런 제한이 없으며, 예를 들어 이동 단말기(100)의 디스플레이부(151)에 출력되는 홈 스크린(home screen)이나 특정 애플리케이션, 즉 이동 단말기(100)에서 구동가능한 모든 종류의 프로그램, 예를 들어 웹 브라우저, 동영상 재생, 일정 관리, 콜(call), 게임, 음악, 문서작업, 메시지, 금융, 전자책(e-book), 교통정보 등의 다양한 프로그램들이 3D 영상으로 출력되는 경우를 모두 포함할 수 있다.

이와 같이 가상 공간 내에 3D 영상이 디스플레이되는 동안, 상기 전자장치(100)은 복수의 라이트하우스 장치들(300A, 300B)와 연동하여, 3D 영상을 제어하기 위한 컨트롤러(200A, 200B)의 위치를 지속적으로 추적한다(S20).

이를 위해, 컨트롤러(200A, 200B) 각각에 구비된 IR 센서들은 복수의 라이트하우스 장치들(300A, 300B)에 포함된 LED 또는 레이저 방출기들로부터 방사된 빛을 수신할 수 있다. 그리고, 컨트롤러(200A, 200B) 각각에 구비된 IR 센서의 센싱 결과가 전자장치(100)의 제어부(180) 또는 복수의 라이트하우스 장치들(300A, 300B) 중 어느 하나를 통해 제어부(180)에 제공된다. 그러면, 제어부(180)는 센싱 결과 분석하여, 컨트롤러(200A, 200B)의 위치가 가상 공간 내에 있는지를 지속적으로 추적할 수 있다. 라이트하우스 장치들(300A, 300B) 각각에 구비된 방출기로부터 방사되는 빛은 가상 공간 전영역에 산란되므로, 컨트롤러(200A, 200B)가 가상 공간 내에 있는 동안에는, 복수의 라이트하우스 장치들(300A, 300B) 중 적어도 하나로부터 산란되는 빛을 수신하게 된다. 따라서, 컨트롤러(200A, 200B) 중 적어도 하나가 가상 공간 내에 위치하지 않은 경우에는 라이트하우스 장치들(300A, 300B) 또는 전자장치(100)의 수광기에 입사되는 빛의 세기가 감소하게 된다. 또한, 제어부(180)는 컨트롤러(200A, 200B)의 움직임에 따라 라이트하우스 장치들(300A, 300B)에서 방출되는 빛의 산란 경로를 변경함으로써, 컨트롤러(200A, 200B)의 움직임 궤적을 지속적으로 추적할 수 있다.

추적 결과, 제어부(180)는 컨트롤러(200A, 200B) 중 적어도 하나가 가상 공간을 벗어난 것을 인식할 수 있다(S30).

구체적으로, 제어부(180)는 라이트하우스 장치들(300A, 300B)들의 방출기(미도시)로부터 빛이 방사된 후, 수광기(미도시)로 입사되는 빛의 세기가 소정 임계치 이상이면 컨트롤러(200A, 200B)가 가상 공간 내에 위치하는 것으로 판단할 수 있다. 반면, 라이트하우스 장치들(300A, 300B)들의 각 수광기(미도시)로 입사되는 빛의 세기가 소정 임계치 미만이면 컨트롤러(200A, 200B)가 가상 공간을 벗어난 것으로 판단할 수 있다.

또한, 제어부(180)는 컨트롤러(200A, 200B)가 모두 가상 공간을 벗어난 경우, 컨트롤러(200A, 200B) 중 어느 하나만 가상 공간을 벗어난 경우를 구별하여 인식할 수 있다.

이와 관련하여, 도 6a는 예를 들어 하나의 컨트롤러(200B)가 가상 공간 영역(400)을 벗어난 모습을 보여준다. 이때에는, 가상 공간 영역(400)에 다른 하나의 컨트롤러(200A)가 있으므로, 해당 컨트롤러(200A)로부터 방출된 적외선 빛만이 라이트하우스 장치들(300A, 300B)들 중 하나의 수광기에 입사될 것이다. 이러한 경우, 제어부(180)는 컨트롤러(200A, 200B) 각각의 제품에 부여된 ID에 기초하여, 라이트하우스 장치들(300A, 300B)에 빛이 입사되니 않은 컨트롤러(200B)를 인식할 수 있다. 또는 컨트롤러(200A, 200B) 본체에 구비된 센서를 이용하여 그립(grip)이 감지되지 않은 컨트롤러(200B)를 구별하는 방식으로, 가상 공간을 벗어난 하나의 컨트롤러(200B)를 특정할 수 있다.

다음, 제어부(180)는 가상 공간을 벗어난 것으로 인식된 컨트롤러의 가상 공간에서의 마지막 위치를 알려주는 인디케이터를 3D 영상에 출력한다(S40).

여기서, 가상 공간에서의 마지막 위치란, 가상 공간을 벗어난 컨트롤러가 가상 공간 내에서 가장 최근에 방출한 적외선 빛의 분석 결과에 따라 검출된 위치, 또는 해당 컨트롤러로부터 방출된 빛이 라이트하우스 장치들(300A, 300B)의 수광기에 가장 최근에 입사된 빛의 분석 결과에 따라 검출된 위치를 의미할 수 있다.

여기서, 인디케이터(indicator)는 3D 영상의 몰입을 지나치게 방해하지 않는 범위에서, 다양한 형태의 이미지로 출력될 수 있다. 예를 들어, 팝업창, 3D영상의 가장자리영역에 표현되는 큐 이미지, 가상 공간의 마지막 위치를 기초로 예측되는 현재 위치를 가리키는 화살표(arrow) 이미지, 이외에도 컨트롤러 이미지의 아이콘, 텍스트 등을 모두 포함할 수 있다. 또한, 인디케이터에는 가상 공간에서의 마지막 위치와 연관된 정보, 예를 들어 마지막 위치를 나타내는 방향, 마지막 위치를 기초로 추정되는 현재 위치를 나타내는 방향, 마지막 위치에서 발견 후 경과된 시간 등의 정보가 포함될 수 있다.

또한, 제어부(180)는 현재 출력된 3D 영상에 대응되도록 인디케이터를 출력될 수 있다. 여기서, 인디케이터가 3D 영상에 대응되게 출력된다는 것은, 3D 영상의 종류와 3D 영상에 디스플레이된 가상 객체의 위치 및 형상에 따라 인디케이터의 표시 방식이 다양하게 변형되는 것을 의미한다. 예를 들어, 3D 영상의 가상 광고판에 컨트롤러 미싱(missing) 정보가 텍스트로 표시되거나 또는 컨텐츠 종류에 따라서는 컨트롤러 이미지의 작은 아이콘이 일시적으로 나타났다가 사라짐으로써, 몰입감 방해를 최소화할 수 있다.

이후, 출력된 인디케이터에 대한 피드백이 수신되면(S50), 제어부(180)는 전자장치(100) 본체에 구비된 카메라(121)를 구동하여 피드백에 대응되는 외부 영상을 획득하는 동작을 수행할 수 있다(S60).

구체적으로, 가상 공간을 벗어난 컨트롤러를 찾으려는 의사가 있는 것으로 인식되는 피드백이 수신되면, 제어부(180)는 3D 영상의 재생을 일시 중단하고, 현실 공간에 대응되는 외부 영상을 획득하기 위해 카메라(121)에 구동명령을 전달한다. 이때에, 피드백의 종류나 형태에는 특별한 제한이 없다. 예를 들어, 인디케이터가 출력된 후, 정해진 사용자 모션이나, 전자장치(100)에 구비된 키에의 푸쉬입력, 정해진 음성명령 등의 사용자 입력뿐만 아니라, 기설정된 시간의 경과 등 특정 조건을 만족하는 경우도 모두 포함된다.

반면, 인디케이터가 3D 영상에 나타난 후 소정 시간이 경과하도록 피드백이 수신되지 않으면, 제어부(180)는 인디케이터의 이미지를 변경하거나 또는 3D 영상에서 제거할 수 있다. 즉, 사용자가 컨트롤러를 찾지 않으려는 의사인 것으로 인식하여, 3D 영상의 몰입감이 방해되지 않도록 인디케이터의 표시를 최소화하거나 제한할 수 있다.

다음으로, 제어부(180)는 획득된 외부영상을 3D 영상에 출력하도록 디스플레이부(151)를 제어한다(S70). 외부영상이 출력되는 동안, 3D 영상은 재생 중단 상태를 유지하거나 및/또는 리사이징 출력 상태를 유지할 수 있다. 또한, 상기 외부영상은 캡쳐된 정지 이미지가 아니라 프리뷰 이미지로, 전자장치(100)를 착용한 사용자의 움직임이나 피드백의 분석 결과에 따라 자연스럽게 변경될 수 있는 실시간 이미지를 의미한다.

또한, 제어부(180)는 외부영상에서 컨트롤러가 좀 더 쉽게 찾을 수 있도록, 추가 입력을 기초로 외부영상의 전체 크기를 조절할 수 있다. 이러한 경우, 3D 영상의 전체 크기도 대응되게 감소될 수 있다. 또는, 도 6b에 도시된 바와 같이, 처음에는 3D 영상(601)의 일부분과 중첩되는 출력 방식으로 외부영상(610)이 출력되다가 점차적으로 화각을 증가시켜서 카메라(121)와 동일한 화각범위로 출력될 수 있다. 그에 따라 외부영상(610)의 화각이 3D 영상(601)의 뷰임 각과 일치될 수 있다. 또한, 제어부(180)는 미싱(missing) 컨트롤러(200B)를 찾기 위해 외부영상(610)을 줌-인/아웃하거나 뷰 각을 조절할 수도 있다.

한편, 외부영상을 통해 찾은 컨트롤러가 다시 가상 공간 내로 진입하면, 제어부(180)는 외부영상의 출력을 즉시 중단하고 카메라(121)를 비활성화 상태로 전환할 수 있다. 그에 따라, 사용자는 추가 조작 없이도 시청중이던 3D 영상을 바로 이어보기할 수 있다.

이상에서 설명한 본 발명에 따른 실시 예에 따르면, 사용자는 전자장치(100)를 벗지 않고도 가상 공간을 벗어난 컨트롤러의 위치를 외부 영상을 통해 빠르고 정확하게 파악할 수 있게 된다.

도 7은 본 발명의 실시 예에 따른 전자장치(100)를 착용한 상태에서 외부영상을 이용하여 컨트롤러를 찾는 구체적인 동작을 보여주고 있다.

도 7을 참조하면, 전자장치(100)와 연동된 복수의 라이트하우스 장치들(300A, 300B)을 이용하여 형성된 가상 공간에 3D 게임 영상(701)이 디스플레이된다.

또, 3D 게임 영상(701)이 출력되는 동안, 영상(701)을 제어하는 컨트롤러들의 위치를 알려주는 컨트롤러 이미지들(711, 712)이 영상(701) 내에 출력될 수 있다. 이때에, 컨트롤러 이미지들(711, 712)의 영상(701) 내에서의 위치는, 컨트롤러(200A, 200B)의 위치 추적 결과에 대응된다. 또한, 비록 도시되지는 않았지만, 정해진 사용자 입력을 기초로, 컨트롤러 이미지들(711, 712)의 근처에 현실 공간을 보여주는 PIP 이미지가 컨트롤러(200A, 200B)의 움직임을 따라 출력될 수도 있다.

컨트롤러(200A, 200B) 중 하나가 가상 공간을 벗어나면, 3D 게임 영상(701)에 출력되었던 컨트롤러 이미지들(711, 712) 중 하나(712)의 표시가 사라진다. 그리고, 사라진 컨트롤러의 마지막 위치, 즉 특정 컨트롤러 이미지가 출력되었던 위치에는, 컨트롤러(예, 200B)의 이탈 상황을 알려주는 큐(cue) 이미지(720)가 생성된다.

이때에, 큐(cue) 이미지(720)는 3D 게임 영상(701) 상에서 소정의 투명도를 갖는 그래픽 객체(예, 점선 형태의 타원 이미지)로 표시될 수 있다. 또한, 큐(cue) 이미지(720)가 표시되는 동안에도 다른 하나의 컨트롤러의 이미지(711)와 3D 게임 영상(701)의 재생 상태는 계속 유지된다.

또한, 큐(cue) 이미지(720)는 가상 공간을 이탈한 컨트롤러의 예상 위치를 가리키는 방향 정보를 포함할 수 있다. 이를 위해, 도 7에 도시된 큐(cue) 이미지(720) 대신, 컨트롤러의 이탈 방향을 가리키는 화살표 이미지가 표시될 수도 있다.

큐(cue) 이미지(720)가 출력되는 동안, 이탈된 컨트롤러가 다시 가상 공간으로 재진입하면, 큐(cue) 이미지(720)가 사라지고, 해당 컨트롤러의 위치 추적에 따른 컨트롤러 이미지(712)가 다시 나타난다.

반면, 큐(cue) 이미지(720)가 출력되는 동안, 전자장치(100)에 피드백이 수신되면, 전자장치(100) 본체의 전방에 배치된 카메라(121)가 활성화되어, 현실 공간의 프리뷰 이미지(702)가 사용자의 시야에 디스플레이된다.

여기에서, 피드백은 전자장치(100)에 구비된 특정 하드키(미도시)를 푸쉬하거나 또는 특정 하드키를 푸쉬한 상태로 헤드를 움직이거나, 큐(cue) 이미지(720)를 소정 시간 응시하거나, 정해진 모션을 수행하는 등의 다양한 형태의 입력일 수 있다. 이는, 사용자가 의도적으로 컨트롤러가 내려놓거나 컨트롤러의 이탈 위치를 충분히 인지하고 있는 경우에는 외부영상의 제공할 필요가 없기 때문이다. 또한, 피드백은 특정 입력뿐만 아니라, 소정 시간의 경과 등 정해진 조건을 만족한 경우에 발생될 수도 있다.

또한, 비록 도시되지는 않았지만 일 예에서는, 이탈하지 않은 다른 컨트롤러의 움직임 정도에 따라 외부영상의 제공 여부를 결정하도록 구현될 수도 있다. 이를 위해, 컨트롤러(200A, 200B)에 구비된 3축의 가속도 센서와 3축의 자이로스코프로 이루어진 6축 모션 추적 장치(motion tracking devices)를 통해 움직임 정도가 감지될 수 있다. 감지 결과, 컨트롤러의 움직임이 기준값 이상인 경우, 즉 활발하게 움직이고 있으면, 제어부(180)는 이탈된 컨트롤러를 찾기 위한 외부영상의 제공을 제한할 수 있다.

정해진 피드백이 수신되면, 3D 게임 영상(701)은 프리뷰 이미지(702)의 출력에 따라 리사이징되거나 또는 좌우영역이 일부가 자동 편집된 형태 출력될 수 있다. 또한, 현실 공간의 프리뷰 이미지(702)는, 도 7에 도시된 바와 같이, 3D 게임 영상(701)과 하프-앤-하프 영역, 즉 1:1 영역의 크기로 출력될 수 있다. 그에 따라, 사용자는 카메라(121)의 실제 화각범위와 동일한 화각, 예를 들어 110도의 뷰로 현실 공간을 인지할 수 있다.

프리뷰 이미지(702)는 전자장치(100)를 착용한 사용자의 헤드 움직임에 따라 변경된다. 예를 들어, 전자장치(100)를 착용한 사용자가 왼쪽으로 헤드를 회전하면, 왼쪽으로 회전한 만큼 변경된 현실 공간의 프리뷰 이미지를 보여준다. 이는, 전자장치(100)를 착용한 사용자가 오른쪽, 위쪽, 아래쪽으로 헤드를 움직인 경우에도 유사하게 동작한다. 이와 같이 프리뷰 이미지(702)가 변경되는 동안, 예를 들어 리사이징된 3D 게임 영상(701")은 재생 중단 상태를 유지할 수 있다.

또한, 프리뷰 이미지(702)의 일 영역에는 사용자가 확인한 또는 카메라(121)를 통해 제공된 현실 공간의 뷰임 각을 알려주는 아이콘(730)이 표시될 수 있다. 아이콘(730)은 뷰임 정도가 누적됨에 따라, 점차적으로 흑색이 채워지는 백색의 원 또는 구 이미지일 수 있다.

디스플레이된 현실 공간의 프리뷰 이미지(702)에서 컨트롤러가 발견된 경우, 전자장치(100)는 프리뷰 이미지(702)를 분석하여 이탈된 컨트롤러의 존재 및 위치를 인식할 수 있다. 그러면, 제어부(180)는 프리뷰 이미지(702) 내에서 인식된 컨트롤러의 이미지에 하이라이팅 효과를 출력하거나(741) 그리고/또는 이탈된 컨트롤러를 찾았음을 알려주는 알림 정보(742), 예를 들어, 화살표 이미지, FIND! 텍스트, 를 컨트롤러 위치(741)의 가까이에 출력시킬 수 있다.

이와 같이, 본 발명에서는 전자장치(100)를 벗지 않고도 가상 공간을 이탈하여 위치 추적에 실패한 컨트롤러의 위치를 외부영상을 통해 정확하게 찾을 수 있다.

이하, 도 8 a 내지 도 8c는 인디케이터에 대한 피드백에 따라 외부영상을 제공하는 서로 다른 예시들이다.

먼저, 도 8a는 사용자의 움직임에 따라 외부영상을 출력하거나 출력 제한하는 예시를 보여준다. 예를 들어, 컨트롤러(200)가 가상 공간의 P3지점을 마지막 위치로 가상 공간을 이탈한 경우, 사용자가 (a)와 같이 가상 공간 내의 P1 지점을 바라보는 동안에는 3D 영상의 시야각에 P3 지점이 포함되지 않는다. 이러한 경우에는 컨트롤러(200)의 이탈을 알려주는 큐(cue) 이미지 정도만 출력한다. 이후, 사용자가 몸을 움직여서 P3 지점을 향하도록 회전하면, (b)와 같이 가상 공간 내에 현실 공간에 대응되는 외부영상이 나타나게 된다. 즉, 3D 영상의 시야각에 P3 지점이 포함된 시점에 외부영상이 나타난다.

이러한 경우에도, 사용자가 소정 시간 내에, 즉 외부영상에 대한 제어가 트리거되기 전에, P3 지점에서 다시 몸을 회전하여 P2 또는 P1지점으로 향하면, 외부영상이 자동으로 사라지고 컨트롤러의 이탈만을 알려주는 큐(cue) 이미지만 다시 표시될 수 있다.

도 8b는 도 8a에 대응되는 디스플레이부(151)상의 화면변화를 보여준다. 도 8b의 (a)는 사용자가 P1 지점을 향한 상태에서 3D 영상을 시청하는 경우이다. 이 경우, 3D 영상(801)는 컨트롤러가 이탈되었음을 알려주는 큐 이미지(예, 빗금 영역)(820)가 3D 영상(801)의 가장자리영역에 표시된다. 이때, 큐 이미지(820)의 표시방향은 현실 공간에 대응되는 외부영상을 보기 위한 사용자 회전방향에 대응된다. 즉, 도 8b의 (a)와 같이 큐 이미지(820)가 좌측 가장자리영역에 표시된 경우, 외부영상을 보려면 사용자가 왼쪽으로 몸/헤드를 움직이면 된다. 이때에, 사용자가 왼쪽으로 몸/헤드를 움직이더라도 3D 영상(801)의 시야각은 변경되지 않고, 스틸 이미지 상태를 유지한다.

이후, 사용자가 P3 지점에 도달하면, 제어부(180)는 큐 이미지(820)에 대한 피드백 신호가 입력된 것으로 인식하고, 큐 이미지(820) 대신에 현실 공간의 외부 영상을 제공한다. 구체적으로, 약 1:1 비율로 이분된, 제1영역에는 스틸 이미지 상태인 3D 영상(801)을 출력하고, 제2영역에는 카메라(121) 화각범위와 일치하는 현실 공간의 영상(802)을 보여준다. 또한, 3D 영상(801)은 도 8b와 같이 이전 배율을 유지할 수도 있고, 또는 감소된 영역만큼 리사이징되어 표시될 수 있다. 이때 현실 공간의 영상(802)은 사용자의 손 제스처 등을 통해 뷰임 각 등이 제어될 수 있다.

한편, 사용자가 다시 P1 또는 P2 지점으로 몸/헤드를 움직이면, 현실 공간의 영상(802)이 자동으로 사라지고, 3D 영상(801)이 다시 원래의 크기 및 동작 상태로 복원될 수 있다. 그에 따라, 사용자는 원래의 3D 영상(801)에 빠르게 몰입할 수 있다.

도 8c는 현실 공간의 영상이 3D 영상 내에서 씨스루 방식의 홀(see through hole) 형태로 나타난 경우이다. 비록 도 8c에서는 PIP와 유사한 사각 형태의 이미지로 도시되었으나, 이에 한정되지 않으며, 원 형태 등의 AR 영상이3D 영상 내에 나타날 수 있다. 도 7에서 설명한 PIP 형태의 외부영상이 컨트롤러 이미지 가까이에 출력되는 것과의 차이점은 1) 뷰임각 범위가 카메라(121)의 화각범위와 일치하고, 2) 홀(hole)의 위치가 이탈하지 않은 컨트롤러 이미지(811)를 기준으로 하는 것이 아니라, 사용자가 바라보는 시점, 즉 카메라(121)의 시점과 일치된다는 점이다.

구체적으로, 도 8c에서 현실 공간의 영상이 제공되는 동안, 사용자가 오른쪽 위를 바라보면 3D 영상(801)의 우측 위에 AR 형태의 홀이 나타나면서 해당 뷰임각의 외부영상(802b)이 나타난다(a). 이후, 사용자가 가상 공간 내에서 왼쪽 아래를 바라보면 3D 영상(801)의 좌측 아래쪽으로 AR 형태의 홀이 이동하면서 변경된 뷰임각의 외부영상(802c)이 나타난다.

이하, 도 9, 도 10a, 도 10b는, 이탈된 컨트롤러를 찾기 위해 가상 공간에서 외부영상을 제어하는 구체적인 동작들의 예시를 보여준다. 여기서는, 가상 공간에서 현실 공간의 영상이 출력된 동안, 제어부(180)가 3D 영상의 동작을 제한할 수 있다. 예를 들어, 이탈된 컨트롤러를 찾을 때까지 또는 외부영상이 출력되는 동안, 3D 영상은 재생 중단 상태 또는 스틸 이미지 상태를 계속 유지할 수 있다.

도 9는 사용자의 헤드 움직임을 따라 외부 영상이 변화하는 예시를 보여준다. 구체적으로, 전자장치(100)를 착용한 사용자가 헤드를 왼쪽(L)으로 움직이면, 전자장치(100)의 전방에 구비된 카메라(121)도 자연스럽게 왼쪽을 향하므로, 그에 대응되는 화각의 프리뷰 이미지(910a)로 변경된다. 또, 사용자가 헤드를 위쪽(U)으로 움직이면, 카메라(121)도 자연스럽게 위쪽을 향하므로, 그에 대응되는 화각의 프리뷰 이미지(910b)로 변경된다.

이와 같이, 제2영역에 디스플레이된 현실 공간의 영상이 변경되는 동안, 제1영역에 표시된 3D 영상의 제어는 제한될 수 있다.

또 다른 예에서는, 사용자의 헤드 움직임이 없더라도 현실 공간의 영상이 현재 화각을 기준으로 정해진 방향으로 회전하면서 현실 공간 전체를 제공해줄 수도 있다. 이러한 경우, 사용자는 손 제스처 등을 통해, 현재 뷰임각의 현실 공간 영상을 줌-인/아웃, 정지하거나 회전속도 및 회전방향을 변경할 수 있을 것이다.

또한, 제어부(180)는, 현실 공간의 영상, 즉 외부 영상이 출력되는 동안, 전자장치(100)의 위치 추적부(145)가 외부 영상 내에서 컨트롤러의 위치를 추적하도록 모드 전환할 수 있다. 이를 위해, 제어부(180)는 카메라(121)를 통해 획득된 영상을 분석하고, 이와 함께 전자장치(100)에 구비된 다양한 센서들을 활성화하여 현실 공간에 놓인 컨트롤러에서 방출되는 적외선 빛을 수신 및 분석할 수 있다. 그에 따라, 카메라(121)를 통해 획득된 현실 공간의 현재 뷰임각을 적외선 빛을 방출하는 지점으로 빠르게 변경 및 확인할 수 있어서, 이탈된 컨트롤러를 더욱 빨리 발견할 수 있다.

또한, 다른 예에서, 제어부(180)는 외부 영상에 포함된 객체의 개수 및 속성(형태, 크기 등)에 따라 카메라(121)의 배율/줌-인을 적응적으로 조절할 수 있다. 예를 들어, 외부 영상에 포함된 특정 객체가 물건을 놓거나, 담거나, 숨겨질 수 있는 형태(예, 소파, 침대 밑 등)의 속성을 갖는 경우, 카메라의 뷰임 각 변경 속도를 느리게 하거나 영상 배율을 확대할 수 있다.

또는, 제어부(180)는 컨트롤러를 찾는데 있어서 확인이 필요없는 뷰임각(예, 천장, 문쪽)으로 몸/헤드를 움직여서 카메라 화각을 조절하지 않도록, 이전 뷰임 각의 외부 영상에 대응되는 가이드 정보를 제공할 수 있다. 가이드라인 정보는 예를 들어, 외부 영상 내에 붉은색의 가로 라인 또는 해당 방향의 가장자리영역에 '엑스(x)' 표시 형태로 나타내질 수 있다. 반대로, 컨트롤러가 있음직한 뷰임 각으로의 움직임을 유도하는 가이드 정보가 외부 영상 내에 표시될 수도 있다.

외부 영상에서 이탈된 컨트롤러가 검출되면, 제어부(180)는 검출된 컨트롤러의 위치를 알려주는 그래픽객체를 외부 영상 내에 출력할 수 있다.

이와 관련하여 도 10a는 이탈된 컨트롤러가 검출된 경우에, 외부 영상의 처리 예시를 보여준다. 가상 공간 내에서, 제1영역(1001)에 3D 영상이 제2영역(1002)에 외부 영상이 디스플레이되는 동안, 외부 영상에서 컨트롤러가 발견된 경우, 이를 쉽게 그립하기 위한 구체적인 동작을 보여준다.

먼저, 제어부(180)는 외부 영상에서 컨트롤러의 위치가 감지되면, 해당 외부 영상에서의 실제 컨트롤러 위치에 노티(notification)를 제공한다. 이때, 노티(notification)는 도 10a에 도시된 바와 같이, 해당 위치에 표시된 컨트롤러에 음영 효과를 출력하고(1012) FIND 및 화살표 이미지(1013)를 표시해주는 방식으로 제공될 수 있으나, 이에 한정되지 않는다. 일 예로, 비록 도시되지는 않았지만, 컨트롤러가 발견된 시점에 해당 외부 영상을 컨트롤러 위치를 기준으로 단계적으로 줌인하는 카메라 기능이 실행될 수 있다.

한편, 사용자가 컨트롤러가 위치한 방향으로 몸을 움직이더라도, 사용자는 현실이 아닌 영상을 통해 그립을 시도하는 것이므로, 실제로는 손을 여러 번 더듬거리고 나서야 이탈된 컨트롤러를 그립할 수 있다. 이러한 경우, 사용자는 전자장치(100)를 벗어버리고 싶은 답답함을 느낄 수 있다.

이를 위해, 사용자가 이탈된 컨트롤러의 실제 위치로 소정 거리 범위 이내로 다가간 다음, 손을 쭉 뻗으면 도 10a에 도시된 바와 같이 그에 대응되는 AR 형태의 손 이미지(1011)가 외부 영상에 나타날 수 있다. 사용자의 실제 손이 컨트롤러의 위치(1012)에 다가갈수록 AR 형태의 손 이미지(1011)도 대응되게 이동한다. 이때, 손 이미지(1011)와 실제 사용자의 손 위치는 다소 이격거리가 있으나, 제어부(180)는 이러한 이격거리를 고려하여서 손 이미지(1011)가 컨트롤러의 위치(1012)에 중첩되도록 이미지 처리를 수행할 수 있다.

외부 영상(1002) 내에서, 손 이미지(1011)와 컨트롤러의 위치(1012)가 기준범위 이상 중첩된 상태에서, 사용자가 실제 손을 오므리는 동작을 수행하면 전자장치(100)를 착용한 상태에서 이탈된 컨트롤러를 한번에 그립할 수 있다. 이러한 경우, 제어부(180)는 사용자의 그립이 감지된 시점 또는 그립한 컨트롤러가 가상 공간으로 재진입한 시점에 외부 영상을 제거할 수 있다.

한편, 도 10b는 현실 공간 전체(360도)에서 컨트롤러를 찾지 못한 경우의 외부 영상의 처리 예시를 보여준다.

구체적으로, 제어부(180)는 현실 공간 전체에 대해 외부 영상이 제공된 것으로 인식되면, 컨트롤러의 위치를 찾을 수 없음을 알려주는 알림 아이콘(1050)(예, '컨트롤러를 찾을 수 없습니다')을 디스플레이부(151), 보다 상세하게는 외부 영상(1002) 내에 출력할 수 있다. 이와 같이, 알림 아이콘이 팝업되면, 이어서 외부 영상의 제공이 중단되고 3D 영상(1001)이 재생 중단된 시점부터 자동 재생될 수 있다.

도 11a 및 도 11b는 가상 공간을 벗어난 컨트롤러가 다시 가상 공간에 진입한 경우 전자장치(100)의 예시 동작을 보여준다.

먼저, 도 11a 에 도시된 바와 같이, 가상 공간을 벗어났던 특정 컨트롤러(200B)가 사용자에 의해 다시 가상 공간으로 진입하게 되면, 복수의 라이트하우스 장치들(300A, 300B)과 전자장치(100), 그리고 컨트롤러(200B)에 구비된 IR 센서의 동작을 통해, 가상 공간에의 진입을 인식할 수 있다.

그러면, 도 11b에 도시된 바와 같이, 제1영역(1101)과 제2영역(1102)으로 이분되었던 가상 공간 내의 영상에 컨트롤러의 진입을 알려주는 제1알림 아이콘(1120)이 팝업될 수 있다. 그리고, 일 예에서는, 제1알림 아이콘(1120)의 팝업 후 이어서 이분된 스크린이 Full screen 으로 전환됨을 알려주는 제2알림 아이콘(1130)이 더 팝업될 수 있다.

한편, 제1알림 아이콘(1120) 또는 제2알림 아이콘(1130)의 팝업 후 소정 시간이 경과되면, 제2영역(1102)이 사라지면서 제1영역(1101)에 출력되었던 3D 영상이 Full screen으로 자동 전환된다(1101F). 이와 같이, Full screen으로 전환된 3D 영상이 자동 제어되고, 외부 영상에 대하여 수행되었던 제어명령이 다시 3D 영상에 대한 제어명령의 입력으로 전환된다.

도 12는 이벤트 발생 후 컨트롤러가 가상 공간을 벗어난 경우, 전자장치(100)의 디스플렐이부(151)상에서의 화면 변화의 예시를 보여준다.

가상 공간에 3D 영상(1201)이 재생되는 동안, 전자장치(100) 또는 이와 연동된 단말기(500)에서 콜(call) 수신, 메시지 도착 등의 이벤트가 발생하면, 이벤트의 발생을 알려주는 알림 아이콘(1210)이 3D 영상(1201) 내에 표시될 수 있다.

이때에, 사용자가 이벤트에 응답하기 위해, 예를 들어 수신된 콜에 응답하기 위해 컨트롤러를 가상 공간 밖에 놓게 되면, 통화를 수행하는 동안 3D 영상(1201)은 재생 중단되고 이벤트 응답중(즉, 통화 중)임을 알리는 알림 아이콘(1210)과 함께, 컨트롤러가 가상 공간을 벗어났음을 알려주는 컨트롤러 아이콘(1220)이 재생 중단된 3D 영상(1201)의 상단에 표시될 수 있다.

이와 같이, 컨트롤러가 이벤트 발생/이벤트 응답에 따라 가상 공간을 벗어난 경우, 제어부(180)는 이벤트가 종료된 시점에 자동으로 외부 영상을 출력하도록 트리거신호를 발생한다. 즉, 이때에는 제어부(180)가 이벤트의 종료를 인디케이터에 대한 피드백 입력이 없더라도, 통화 종료 즉시 외부 영상(1202)을 제공할 수 있다.

이상에서 살펴본 바와 같이, 본 발명의 실시 예에 따른 전자장치는 가상 체험 중에 컨트롤러가 가상 공간을 벗어난 경우에도 전자장치를 벗을 필요 없이 현실 공간에 있는 컨트롤러를 위치를 추적할 수 있다. 또한, 현실 공간의 영상에서 컨트롤러를 쉽게 찾을 수 있도록 카메라 화각범위와 동일한 뷰임 각을 제공하고, 현실 공간의 영상에 포함된 객체의 속성에 따라 영상의 변경 속도나 배율을 적응적으로 조절할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (13)

1. 본체;
   상기 본체에 구비된 카메라;
   복수의 라이트 하우징을 이용하여 형성된 가상 공간에 3D 영상을 디스플레이하는 디스플레이부;
   상기 3D 영상을 제어하기 위한 컨트롤러의 위치를 추적하는 위치 추적부;
   상기 컨트롤러의 위치가 상기 가상 공간을 벗어나면, 상기 컨트롤러의 마지막 위치를 알려주는 인디케이터를 상기 3D 영상에 출력하는 제어부를 포함하고,
   상기 제어부는,
   상기 인디케이터에 대한 피드백이 수신되면, 상기 카메라를 구동하여 상기 피드백에 대응되는 외부 영상을 획득하고, 획득된 외부영상을 상기 3D 영상에 출력시키는 것을 특징으로 하는 전자장치.
2. 제1항에 있어서,
   상기 인디케이터는 상기 3D 영상 상에서 소정의 투명도를 갖는 그래픽 객체로 표시되며, 상기 컨트롤러의 예상 위치를 가리키는 방향 정보를 포함하는 것을 특징으로 하는 전자장치.
3. 제2항에 있어서,
   상기 인디케이터에 대한 피드백으로, 상기 인디케이터에 포함된 방향 정보에 대응되는 방향의 사용자 움직임이 검출되면, 상기 획득된 외부영상의 출력이 트리거되는 것을 특징으로 하는 전자장치.
4. 제3항에 있어서,
   상기 외부 영상이 출력되고 상기 인디케이터에 포함된 방향 정보와 다른 방향의 사용자 움직임이 검출되면 상기 외부 영상이 사라지고 상기 3D 영상이 계속 재생되는 것을 특징으로 하는 전자장치.
5. 제1항에 있어서,
   상기 인디케이터가 출력되고 상기 인디케이터에 대한 피드백이 수신되는 동안 상기 3D 영상의 표시는 고정되거나 재생 중단되는 것을 특징으로 하는 전자장치.
6. 제1항에 있어서,
   상기 피드백이 수신되면, 상기 획득된 외부영상이 상기 인디케이터의 위치에 대응되는 영역에 홀 형태로 디스플레이되는 것을 특징으로 하는 전자장치.
7. 제1항에 있어서,
   상기 피드백이 수신되면, 상기 3D 영상이 출력되던 가상 공간이 제1영역과 제2영역으로 이분되고,
   상기 제1영역에 가상 공간에 대응되는 3D 영상이 리사이징되어 표시되는 동안 상기 제2영역에는 현실 공간에 대응되는 외부영상이 표시되는 것을 특징으로 하는 전자장치.
8. 제6항에 있어서,
   사용자의 움직임을 따라 상기 제2영역에 표시된 외부영상이 변경되는 동안 상기 제1영역에 표시된 3D 영상의 제어는 제한되는 것을 특징으로 하는 전자장치.
9. 제1항에 있어서,
   상기 제어부는,
   상기 외부 영상이 출력되는 동안, 상기 위치 추적부가 상기 외부 영상 내에서 컨트롤러의 위치를 추적하도록 모드 전환하고,
   상기 외부 영상에서 상기 컨트롤러가 검출되면 검출된 컨트롤러의 위치를 알려주는 그래픽객체를 상기 외부 영상에 출력시키는 것을 특징으로 하는 전자장치.
10. 제1항에 있어서,
    상기 제어부는,
    현실 공간 전체에 대해 상기 외부 영상이 제공된 것으로 인식되면, 컨트롤러의 위치를 찾을 수 없음을 알려주는 알림 아이콘을 상기 디스플레이부에 출력하는 것을 특징으로 하는 전자장치.
11. 제1항에 있어서,
    상기 3D 영상에 외부영상이 출력되는 동안 상기 컨트롤러가 상기 가상 공간에 진입하면 상기 외부영상이 사라지는 것을 특징으로 하는 전자장치.
12. 제11항에 있어서,
    상기 제어부는,
    상기 컨트롤러가 상기 가상 공간에 진입하면, 상기 외부영상이 사라지기 전에 상기 컨트롤러의 진입을 알려주는 팝업창을 출력하고, 상기 팝업창이 사라지면 상기 3D 영상을 자동 재생하는 것을 특징으로 하는 전자장치.
13. 제1항에 있어서,
    상기 컨트롤러가 이벤트 발생에 따라 상기 가상 공간을 벗어난 경우, 상기 이벤트가 종료된 시점에 상기 외부 영상이 출력되는 것을 특징으로 하는 전자장치.

Images