KR102297514B1 - 디스플레이 장치 및 그 제어 방법 - Google Patents

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는 디스플레이, 디스플레이 장치의 움직임을 감지하기 위한 움직임 센서, 디스플레이 장치의 주변 영역을 촬영하기 위한 촬영부 및 컨텐츠를 디스플레이의 기 설정된 영역에 디스플레이하고, 움직임 센서에 의해 디스플레이 장치의 기 설정된 움직임이 감지되는 경우, 기 설정된 영역 외의 나머지 영역 중 적어도 일부 영역에 촬영부를 통해 촬영되는 영상을 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

디스플레이 장치 및 그 제어 방법 { DISPLAY APPARATUS AND CONTROL METHOD THEREOF }

본 발명은 디스플레이 장치 및 그 제어 방법에 대한 것으로 보다 상세하게는, VR 컨텐츠를 제공할 수 있는 디스플레이 장치 및 그 제어 방법에 대한 것이다.

최근, 웨어러블 디바이스에 대한 연구가 활발히 진행됨에 따라 다양한 웨어러블 디바이스들이 출시되고 있다. 현재 출시되거나 출시가 예고되고 있는 웨어러블 디바이스들은 스마트 워치, HMD(Head Mounted Display) 장치 및 스마트 벨트 등이 있다.

HMD 장치는 안경을 착용하듯 착용하고, 이미지를 디스플레이할 수 있는 웨어러블 디스플레이 장치로서, 착용자의 눈에 가까운 곳에 디스플레이를 배치하고 있어, FMD(Face Mounted Display)라고도 불리어진다. HMD 장치는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.

특히, HMD 장치는 보다 실감나고 현실적인 가상 공간을 사용자에게 제공하기 위해 서라운딩 이미지를 제공할 수 있다. 서라운딩 이미지란, HMD 장치를 중심으로 전방향으로 펼쳐진 시각적 정보를 나타낼 수 있다. 따라서, HMD 장치는 HMD 장치를 착용한 사용자의 얼굴이 향하는 방향을 디렉트하여, 서라운딩 이미지 중 해당 방향에 대응하는 이미지를 디스플레이할 수 있다. 이로써, 사용자는 자신이 가상 공간에 실제로 존재하는 듯한 느낌을 받을 수 있다.

한편, HMD 장치는 보다 실감나고 몰입감이 높은 컨텐츠 시청이 가능하도록 사용자의 머리에 착용되어 외부에 대한 시야를 차단하기 때문에, 사용자가 컨텐츠 시청 중에 외부의 상황을 확인하기 위해서는 HMD 장치를 벗어서 육안으로 외부 상황을 확인할 수 밖에 없는 문제가 있었다.

따라서, 이러한 불편을 해결하기 위하여, 컨텐츠 시청 중에 간편하고 빠르게 외부 상황을 인지하도록 하기 위한 솔루션이 요구되고 있다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 HMD 장치를 통한 컨텐츠 시청 중에 간편하고 빠르게 외부 상황을 인지하도록 할 수 있는 디스플레이 장치 및 그 제어 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는 디스플레이, 상기 디스플레이 장치의 움직임을 감지하기 위한 움직임 센서, 상기 디스플레이 장치의 주변 영역을 촬영하기 위한 촬영부 및 컨텐츠를 상기 디스플레이의 기 설정된 영역에 디스플레이하고, 상기 움직임 센서에 의해 상기 디스플레이 장치의 기 설정된 움직임이 감지되는 경우, 상기 기 설정된 영역 외의 나머지 영역 중 적어도 일부 영역에 상기 촬영부를 통해 촬영되는 영상을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.

또한, 상기 프로세서는, 상기 나머지 영역 중 상기 컨텐츠가 디스플레이되는 영역을 기준으로 상기 디스플레이 장치의 움직임 방향에 대응되는 영역에 상기 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상을 디스플레이할 수 있다.

또한, 상기 프로세서는, 상기 컨텐츠를 상기 디스플레이의 가운데 영역에 디스플레이하고, 상기 가운데 영역을 기준으로 상하좌우 방향에 각각 위치하는 제1 영역 내지 제4 영역 중 상기 움직임 방향에 대응되는 영역에 상기 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상을 디스플레이할 수 있다.

또한, 상기 프로세서는, 상기 컨텐츠를 축소시켜 디스플레이하고, 상기 컨텐츠의 축소에 따라 상기 디스플레이 장치의 움직임 방향에 대응되는 영역이 확장되면 상기 확장된 영역에 상기 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상을 디스플레이할 수 있다.

또한, 상기 프로세서는, 상기 컨텐츠가 디스플레이되는 영역의 위치를 이동시키고, 상기 컨텐츠가 디스플레이되는 영역이 이동되는 방향과 반대되는 방향에 대응되는 영역이 확장되면 상기 확장된 영역에 상기 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상을 디스플레이할 수 있다.

또한, 상기 프로세서는, 상기 움직임 센서에 의해 감지된 상기 디스플레이 장치가 이동한 거리 및 속도 중 적어도 하나가 기 설정된 임계 값을 초과하는 경우, 상기 적어도 일부 영역에 상기 촬영되는 영상을 디스플레이할 수 있다.

또한, 음향 센서를 더 포함하고, 상기 프로세서는, 상기 음향 센서에 의해 감지되는 음향 신호가 기 설정된 크기 이상이면, 상기 적어도 일부 영역에 상기 촬영되는 영상을 디스플레이할 수 있다.

또한, 상기 프로세서는, 상기 움직임 방향으로 이동된 디스플레이 장치가 이동되기 전의 상태로 되돌아오면, 상기 적어도 일부 영역을 상기 촬영부를 통해 촬영되는 영상이 디스플레이되기 전의 상태로 변경할 수 있다.

또한, 상기 프로세서는, 기 설정된 시간이 경과하면, 상기 적어도 일부 영역을 상기 촬영부를 통해 촬영되는 영상이 디스플레이되기 전의 상태로 변경할 수 있다.

또한, 상기 프로세서는, 상기 기 설정된 영역에 디스플레이되는 컨텐츠를 상기 촬영부를 통해 촬영되는 영상으로 대체하여 디스플레이하도록 상기 디스플레이를 제어할 수 있다.

또한, 상기 디스플레이 장치는, VR(Virtual Reality) 컨텐츠를 제공하기 위한 HMD(Head Mounted Display) 장치일 수 있다.

한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은, 컨텐츠를 디스플레이의 기 설정된 영역에 디스플레이하는 단계, 상기 디스플레이 장치의 기 설정된 움직임을 감지하는 단계, 상기 디스플레이 장치의 주변 영역을 촬영하는 단계 및 상기 기 설정된 영역 외의 나머지 영역 중 적어도 일부 영역에 상기 촬영되는 주변 영역의 영상을 디스플레이하는 단계를 포함한다.

또한, 상기 디스플레이하는 단계는, 상기 나머지 영역 중 상기 컨텐츠가 디스플레이되는 영역을 기준으로 상기 디스플레이 장치의 움직임 방향에 대응되는 영역에 상기 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상을 디스플레이할 수 있다.

또한, 상기 디스플레이하는 단계는, 상기 컨텐츠를 상기 디스플레이의 가운데 영역에 디스플레이하고, 상기 가운데 영역을 기준으로 상하좌우 방향에 각각 위치하는 제1 영역 내지 제4 영역 중 상기 움직임 방향에 대응되는 영역에 상기 움직임 방향으로 이동된 디스플레이 장치에서 촬영한 영상을 디스플레이할 수 있다.

또한, 상기 디스플레이하는 단계는, 상기 컨텐츠를 축소시켜 디스플레이하고, 상기 컨텐츠의 축소에 따라 상기 디스플레이 장치의 움직임 방향에 대응되는 영역이 확장되면 상기 확장된 영역에 상기 움직임 방향으로 이동된 디스플레이 장치에서 촬영한 영상을 디스플레이할 수 있다.

또한, 상기 디스플레이하는 단계는, 상기 컨텐츠가 디스플레이되는 영역의 위치를 이동시키고, 상기 컨텐츠가 디스플레이되는 영역이 이동되는 방향과 반대되는 방향에 대응되는 영역이 확장되면 상기 확장된 영역에 상기 움직임 방향으로 이동된 디스플레이 장치에서 촬영한 영상을 디스플레이할 수 있다.

또한, 상기 디스플레이하는 단계는, 상기 감지된 상기 디스플레이 장치가 이동한 거리 및 속도 중 적어도 하나가 기 설정된 임계 값을 초과하는 경우, 상기 적어도 일부 영역에 상기 촬영되는 영상을 디스플레이할 수 있다.

또한, 음향 신호를 감지하는 단계를 더 포함하고, 상기 디스플레이하는 단계는, 상기 감지되는 음향 신호가 기 설정된 크기 이상이면, 상기 적어도 일부 영역에 상기 촬영되는 영상을 디스플레이할 수 있다.

또한, 상기 움직임 방향으로 이동된 디스플레이 장치가 이동되기 전의 상태로 되돌아오면, 상기 적어도 일부 영역을 상기 촬영되는 영상이 디스플레이되기 전의 상태로 변경하는 단계를 더 포함할 수 있다.

또한, 기 설정된 시간이 경과하면, 상기 적어도 일부 영역을 상기 촬영되는 영상이 디스플레이되기 전의 상태로 변경하는 단계를 더 포함할 수 있다.

상술한 본 발명의 다양한 실시 예에 따르면, HMD 장치를 통한 컨텐츠 시청 중에 간편하고 빠르게 외부 상황을 인지할 수 있으므로, 사용자의 편의성이 향상된다.

도 1A 및 1B는 본 발명의 일 실시 예에 따른, 디스플레이 장치의 사용 형태 및 외관을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 일 실시 예에 따른, 디스플레이 장치에서 컨텐츠가 디스플레이되는 화면을 도시한 도면,
도 4 및 도 5는 본 발명의 일 실시 예에 따른, 컨텐츠가 디스플레이되는 기 설정된 영역 외의 나머지 영역을 설명하기 위한 도면,
도 6 내지 8은 본 발명의 일 실시 예에 따른, 디스플레이 장치의 움직임에 따라 촬영되는 영상을 디스플레이하는 다양한 방법을 설명하기 위한 도면,
도 9는 본 발명의 다른 실시 예에 따른, 디스플레이 장치의 구성을 간략히 도시한 블록도,
도 10은 본 발명의 일 실시 예에 따른, 음향이 감지됨에 따라 촬영되는 영상을 디스플레이하는 방법을 설명하기 위한 도면,
도 11은 본 발명의 다른 실시 예에 따른, 디스플레이 장치의 구성을 상세히 도시한 블록도,
도 12는 본 발명의 일 실시 예에 따른, 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 “제1”, “제2” 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.

본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “구성하다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시 예에서 “모듈”, “유닛”, “부(part)” 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성 요소를 지칭하기 위한 용어이며, 이러한 구성 요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수도 있다. 또한, 복수의 “모듈”, “유닛”, “부(part)” 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하기로 한다.

도 1A 및 1B는 본 발명의 일 실시 예에 따른, 디스플레이 장치의 사용 형태 및 외관을 도시한 도면이다.

본 발명의 디스플레이 장치는 VR 컨텐츠를 제공하기 위하여 사용자의 머리에 쓰거나 안경처럼 눈 주위에 착용할 수 있는 HMD 장치로 구현될 수 있다. 이때, 디스플레이 장치는, 사용자의 머리에 착용하기 위한 밴드 및 다양한 사용자 입력부 및 디스플레이가 일체형으로 구현된 일체형 HMD 장치로 구현되거나 디스플레이가 없는 분리형 HMD 장치에 탈착되어 디스플레이를 제공하는 형태로 사용되는 단말 장치로 구현될 수도 있다.

도 1A는 사용자가 머리에 일체형 HMD 장치로 구현된 디스플레이 장치(100A)를 착용한 모습을 도시한 것이다. 여기서, 디스플레이 장치(100A)는 벨크로 방식의 밴드로 사용자의 이마와 후두부를 고정시키는 형태로 착용되어, 디스플레이 장치(100A)에서 제공되는 컨텐츠 외에 사용자의 외부 환경에 대한 시야를 차단할 수 있다.

도 1B는 분리형 HMD 장치에 탈착되어 사용되도록 구현된 디스플레이 장치(100B)의 외관을 도시한 것이다. 도 1B에 도시된 바와 같이, 디스플레이 장치(100B)는 스마트 폰(smart phone)과 같은 단말 장치로 구현되어 HMD 장치의 본체(10)에 탈착되는 형태로 디스플레이를 제공할 수 있다.

다만, 도 1B에 나타난 실시 예에 있어서, 본 발명의 디스플레이 장치는 스마트 폰에 한정되는 것은 아니며, 태블릿 PC(tablet Personal Computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어, 네비게이션(navigation), 카메라(camera) 등을 포함할 수 있다.

이하의 디스플레이 장치는, 일체형 HMD 장치 또는 분리형 HMD 장치에 탈착되어 사용되는 디스플레이 장치를 통칭한다.

도 2는 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 간략히 도시한 블록도이다.

도 2에 따르면 본 발명의 일 실시 예에 따른 디스플레이 장치(100)는 디스플레이(110), 움직임 센서(120), 촬영부(130) 및 프로세서(140)를 포함한다.

디스플레이(110)는 디스플레이 장치(100)에서 재생 가능한 다양한 컨텐츠를 포함하는 화면을 제공하는 구성이다. 여기서, 컨텐츠는 텍스트, 이미지, 동영상, GUI(Graphic User Interface) 등과 같은 다양한 포맷의 컨텐츠를 포함할 수 있다. 특히, 컨텐츠는 3D 이미지를 제공하기 위한 VR 콘텐츠로 구현될 수 있다.

디스플레이(110)의 구현 방식은 한정되지 않으며, 예컨대, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이(110)가 액정 방식인 경우, 디스플레이(110)는 LCD 디스플레이 패널(미도시), 이에 광을 공급하는 백라이트 유닛(미도시), 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다.

움직임 센서(120)는 디스플레이 장치(100)의 움직임을 감지하기 위한 구성이다. 움직임 센서(120)는 가속도 센서(미도시), 지자기 센서(미도시) 및 자이로 센서(미도시) 중 적어도 하나의 센서를 포함할 수 있다. 움직임 센서(120)에 포함된 각종 센서는, 이들 중 하나 또는 둘 이상의 조합을 통하여 디스플레이 장치(100)의 3차원 움직임을 감지할 수 있다.

가속도 센서는 디스플레이 장치(100)의 공간상 움직임을 측정하는 센서이다. 즉, 가속도 센서는 사용자가 디스플레이 장치(100)가 이동할 때 발생하는 가속도의 변화 및/또는 각가속도의 변화를 감지하는 센서를 의미한다. 가속도 센서는 3축 방향의 가속도를 감지할 수 있다. 또한, 가속도 센서는 디스플레이 장치(100)의 기울어짐을 감지할 수 있다.

지자기 센서는 방위각(azimuth)을 측정하는 센서이다. 즉, 지자기 센서는 지구의 남북 방향으로 형성되어 있는 자기장(magnetic field)을 감지하여 방위각을 측정하는 센서를 의미한다. 지자기 센서는 3축 방향의 지자기를 감지할 수 있다. 지자기 센서로 측정되는 북쪽 방향은 자북(magnetic north)일 수 있다. 다만, 지자기 센서가 자북의 방향을 측정한다고 하더라도, 내부적인 연산을 거쳐 진북(true north)의 방향을 출력할 수도 있음은 물론이다.

자이로(gyro) 센서는 디스플레이 장치(100)의 회전 각속도를 측정하는 관성 센서이다. 즉, 회전하는 물체가 가진 관성력을 이용하여 현재의 방향을 알 수 있는 센서를 의미한다. 자이로 센서는 2축 방향의 회전 각속도를 측정할 수 있다.

움직임 센서(120)는 디스플레이 장치(100)의 움직임을 센싱하여 디스플레이 장치(100)가 움직이는 방향, 회전 각속도 등을 인식할 수 있다.

촬영부(130)는 디스플레이 장치(100)의 주변 영역을 촬영하여 영상을 획득하기 위한 구성이다. 촬영부(130)는 카메라, 비디오 카메라 등을 포함할 수 있다. 다만, 본 실시 예에서, 촬영부(130)가 디스플레이 장치(100) 내부에 포함되는 구성으로 설명하지만, 촬영부(130)가 디스플레이 장치(100)의 외부 단자에 연결되는 외부 장치로 구현될 수도 있으며, 분리형 HMD 장치 본체에 구비되는 구성일 수도 있다.

또한, 촬영부(130)는 디스플레이 장치(100)에 있어서, 구조적으로 사용자의 얼굴이 바라보는 방향의 주변 영역을 촬영할 수 있는 위치에 구비됨이 바람직하다.

프로세서(140)는 디스플레이 장치(100)의 전반적인 동작을 제어하는 기능을 수행하는 구성이다.

특히, 프로세서(140)는 컨텐츠를 디스플레이(110)의 기 설정된 영역에 디스플레이하고, 움직임 센서(120)에 의해 디스플레이 장치(100)의 기 설정된 움직임이 감지되는 경우, 기 설정된 영역 외의 나머지 영역 중 적어도 일부 영역에 촬영부(130)를 통해 촬영되는 영상을 디스플레이하도록 디스플레이(110)를 제어할 수 있다. 이에 대한 구체적인 설명은 이하 도면을 참조하여 설명하도록 한다.

도 3은 본 발명의 일 실시 예에 따른, 디스플레이 장치에서 컨텐츠가 디스플레이되는 화면을 도시한 도면이다.

사용자는 디스플레이(110)를 통해 다양한 컨텐츠를 시청할 수 있으며, 컨텐츠는 3D 영화, 가상 현실 게임 등과 같이 다양한 컨텐츠를 포함할 수 있다. 도 3은 사용자가 시청하는 디스플레이(100)의 디스플레이 화면을 도시한 것이며, 디스플레이 화면은 컨텐츠가 디스플레이되는 기 설정된 영역 및 컨텐츠가 디스플레이되는 기 설정된 영역 외의 나머지 영역으로 구성될 수 있다.

예를 들어, 도 3에 도시된 바와 같이, 사용자가 시청하고자 하는 주 컨텐츠는 디스플레이 화면의 가운데 영역(31)에 기 설정된 크기로 디스플레이될 수 있다. 여기서, 주 컨텐츠는 PIP(Picture In Picture) 형식으로 디스플레이되는 컨텐츠일 수 있다. 주 컨텐츠가 디스플레이되는 영역 외의 나머지 외곽 영역(32)에는 주 컨텐츠의 몰입도를 강화시키기 위한 별도의 보조 컨텐츠가 디스플레이될 수 있다. 도 3은 사용자가 실제 영화관에서 영화를 보는 것과 같은 가상 현실에 대한 체험 효과를 극대화하기 위하여, 주 컨텐츠가 디스플레이되는 가운데 영역(31)은 기 설정된 크기로 축소시키고, 나머지 영역(32)은 실제 영화관의 천장, 좌우 벽면 및 관객 의자 등의 보조 컨텐츠를 디스플레이한 것을 도시한 것이다.

주 컨텐츠가 디스플레이되는 가운데 영역(31)에는, 디스플레이 장치(100) 또는 디스플레이 장치(100)가 탈착되는 HMD 장치에 마련된 사용자 인터페이스부(195) 또는 사용자 제스처를 통해 입력되는 사용자 명령에 의해 디스플레이될 컨텐츠를 선택할 수 있는 메뉴가 디스플레이될 수 있다.

도 4 및 도 5는 본 발명의 일 실시 예에 따른, 컨텐츠가 디스플레이되는 기 설정된 영역 외의 나머지 영역을 설명하기 위한 도면이다.

프로세서(140)는 디스플레이 화면에서 보조 컨텐츠가 디스플레이되는 나머지 영역 중 주 컨텐츠가 디스플레이되는 영역을 기준으로 디스플레이 장치(100)의 움직임 방향에 대응되는 영역에 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상을 디스플레이하도록 제어할 수 있다.

일 실시 예로서, 도 4에 도시된 바와 같이, 사용자가 HMD 장치를 착용한 상태에서 컨텐츠를 재생하는 경우, 프로세서(140)는 주 컨텐츠가 디스플레이되는 디스플레이(110)의 가운데 영역(41)을 기 설정된 크기로 구성하고, 보조 컨텐츠가 디스플레이되는 나머지 영역을 가운데 영역(41)을 기준으로 상하좌우 방향에 각각 위치하는 제1 영역 내지 제4 영역(42 ~ 45)으로 분할하여 구성할 수 있다.

한편, 도 5에 도시된 바와 같이, 사용자가 좌측에서 들려오는 어떤 소리를 감지하고, 무슨 일이 일어났는지 확인하기 위해 좌측 방향으로 고개를 돌리는 경우를 상정할 수 있다. 이때, 움직임 센서(120)를 통해 디스플레이 장치(100)의 기 설정된 움직임이 감지되면, 프로세서(140)는 제1 영역 내지 제4 영역(42 ~ 45) 중 디스플레이 장치(100)의 움직임 방향에 대응되는 영역인 제1 영역(42)에 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상(51)을 디스플레이하도록 제어할 수 있다.

이때, 프로세서(140)는 움직임 센서(120)에 의해 감지된 디스플레이 장치(100)가 이동한 거리 및 속도 중 적어도 하나가 기 설정된 임계 값을 초과하는 경우에만 촬영되는 영상(51)을 디스플레이할 수 있다.

구체적으로, 디스플레이 장치(100)가 이동한 거리는 디스플레이 장치(100)를 착용한 사용자가 고개를 돌리는 각도와 비례하게 되며, 프로세서(140)는 디스플레이 장치(100)가 이동한 거리를 감지하여 기 설정된 임계 거리 값과 비교하게 된다. 프로세서(140)는 디스플레이 장치(100)가 이동한 거리가 기 설정된 임계 거리 값보다 같거나 큰 경우에만, 촬영부(130)를 제어하여 촬영되는 영상(51)을 디스플레이할 수 있다. 여기서, 임계 거리 값은 사용자의 시선 방향과 컨텐츠가 디스플레이되는 방향에 기반하여 설정될 수 있다.

또한, 프로세서(140)는 사용자가 고개를 돌리는 속도, 즉 디스플레이 장치(100)가 이동하는 속도를 감지하여 기 설정된 임계 속도 값과 비교할 수 있다. 프로세서(140)는 디스플레이 장치(100)의 이동 속도가 기 설정된 임계 속도 값보다 같거나 큰 경우에만, 촬영부(130)를 제어하여 촬영되는 영상(51)을 디스플레이할 수 있다.

이에 따라, 사용자는 시청하고 있는 주 컨텐츠(41)를 계속적으로 시청하면서, 디스플레이 장치(100)를 기준으로 사용자가 고개를 돌린 방향의 주변 영역을 확인할 수 있게 된다.

한편, 주 컨텐츠(41)는 디스플레이(110)의 전체 영역에 디스플레이될 수 있으며, 디스플레이 장치(100)의 기 설정된 움직임이 감지되면, 상술한 실시 예와 같이, 주 컨텐츠(41)가 축소되어 디스플레이(110)의 기 설정된 영역에 디스플레이되고, 나머지 영역 중 일부 영역에 촬영되는 영상이 디스플레이될 수도 있다.

한편, 프로세서(140)는 움직임 방향으로 이동된 디스플레이 장치(100)가 이동되기 전의 상태로 되돌아오면, 촬영되는 영상(51)이 디스플레이되기 전의 상태로 되돌아가도록 제어할 수 있다. 즉, 사용자가 다시 원래의 위치로 고개를 돌리는 경우, 움직임 센서(120)가 해당 움직임을 감지하여 촬영되는 영상(51)을 다시 보조 컨텐츠(42)로 변경하여 디스플레이할 수 있다.

도 6 내지 8은 본 발명의 다른 실시 예에 따른, 디스플레이 장치의 움직임에 따라 촬영되는 영상을 디스플레이하는 다양한 방법을 설명하기 위한 도면이다.

도 6에 도시된 바와 같이, 프로세서(140)는 움직임 센서(120)에 의해 디스플레이 장치(100)의 기 설정된 움직임이 감지되는 경우, 주 컨텐츠가 디스플레이되는 영역(41) 외의 나머지 영역(61) 전체에 촬영부(130)를 통해 촬영되는 영상을 디스플레이하도록 제어할 수도 있다. 이 경우에는, 움직임 센서(120)에 의해 감지되는 디스플레이 장치(100)의 움직임 방향에 상관없이 주 컨텐츠가 디스플레이되는 영역(41)의 상하좌우 방향의 모든 영역에 촬영되는 영상을 디스플레이되도록 함으로써, 디스플레이 장치(100)를 기준으로 전 방향의 주변 영역을 사용자가 확인하도록 할 수 있다.

한편, 도 7에 도시된 바와 같이, 프로세서(140)는 컨텐츠가 디스플레이되는 영역(41)의 위치를 이동시키고, 컨텐츠가 디스플레이되는 영역(41)이 이동되는 방향과 반대되는 방향에 대응되는 영역(71)이 확장되면 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상이 확장된 영역(71)에 디스플레이되도록 제어할 수 있다.

구체적으로, 디스플레이 장치(100)를 착용한 사용자가 왼쪽 방향으로 고개를 돌리는 경우, 움직임 센서(120)는 디스플레이 장치(100)의 움직임을 감지할 수 있다. 디스플레이 장치(100)의 움직임이 기 설정된 움직임에 해당하는 경우, 프로세서(140)는 주 컨텐츠가 디스플레이되는 영역(41)의 위치를 디스플레이 장치(100)의 움직임 방향인 왼쪽 방향과 반대되는 오른쪽 방향으로 이동시킬 수 있으며, 이에 따라 주 컨텐츠가 디스플레이되는 영역(41)이 이동되는 방향과 반대되는 방향에 대응되는 영역(71)의 크기는 확장되며 주 컨텐츠가 디스플레이되는 영역(41)이 이동되는 방향과 같은 방향에 대응되는 영역(44)의 크기는 축소될 수 있다.

한편, 도 8은 본 발명의 일 실시 예에 따라, 디스플레이 장치(100)를 착용한 사용자가 컨텐츠 시청 중 오른쪽 방향으로 고개를 돌리는 경우를 상정한 것이다. 디스플레이 장치(100)의 움직임이 기 설정된 움직임에 해당하는 경우, 프로세서(140)는 도 8에 도시된 바와 같이, 주 컨텐츠를 축소시켜 디스플레이할 수 있다. 이에 따라 주 컨텐츠가 디스플레이되는 영역(41)의 크기가 축소되고, 보조 컨텐츠가 디스플레이되는 나머지 영역(42 ~ 45)의 크기가 확장되면, 프로세서(140)는 디스플레이 장치의 움직임 방향에 대응되는 영역에 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상을 디스플레이하도록 제어할 수 있다.

상술한 다양한 실시 예에 따라, 디스플레이 장치(100)를 착용한 사용자는 확장된 영역(71, 81)을 통해 좀 더 넓은 주변 영역을 인지할 수 있다.

도 9는 본 발명의 다른 실시 예에 따른, 디스플레이 장치의 구성을 간략히 도시한 블록도이다.

도 9에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 디스플레이 장치(100')는 음향 센서(150)를 더 포함할 수 있다. 음향 센서(150)는 음향 신호를 감지하기 위한 구성이다. 디스플레이 장치(100')의 사용자가 디스플레이 장치(100')의 리시버 단자(미도시)와 연결된 이어폰, 헤드폰 등의 리시버를 이용하여 재생중인 컨텐츠의 음향을 청취하는 경우에는, 주변 영역의 소리를 인지하기가 쉽지 않다.

프로세서(140)는 음향 센서(150)에서 기 설정된 크기 이상의 음향 신호가 감지되면, 주 컨텐츠가 디스플레이되는 영역(41) 외의 나머지 영역(1001) 중 적어도 일부 영역에 촬영부(130)를 통해 촬영되는 영상을 디스플레이할 수 있다. 도 10에 도시된 바와 같이, 프로세서(140)는 나머지 영역(1001) 전체 영역에 촬영부(130)를 통해 촬영되는 영상을 디스플레이할 수도 있다.

한편, 음향 신호가 감지되면, 촬영되는 영상을 디스플레이하는 동작은 사용자가 디스플레이 장치(100')에 리시버를 연결하여 재생 중인 컨텐츠의 음향을 청취하는 경우에만 수행될 수 있다. 이는, 사용자가 리시버를 통해 컨텐츠의 음향을 청취하여 주변 환경에서 발생되는 소리를 인식하기 어려운 상황에만 촬영부(130)를 통해 촬영되는 영상을 디스플레이함으로써 컨텐츠의 시청 방해를 최소화하기 위한 것이다.

또한, 다른 실시 예로서, 프로세서(140)는 음향 센서(150)를 통해 기 설정된 크기 이상의 음향 신호가 감지되고, 기 설정된 크기 이상의 움직임이 감지되는 조건을 모두 만족하는 경우에 촬영부(130)를 동작시켜 촬영되는 영상을 디스플레이할 수도 있다.

한편, 본 발명의 디스플레이 장치(100')가 기 설정된 간격으로 이격된 복수의 음향 센서(150)를 구비하는 경우, 프로세서(140)는 각 음향 센서에서 음향 신호가 감지되는 시간 차에 기초하여 음향 신호가 발생된 방향을 판단할 수 있다. 이때, 프로세서(140)는 주 컨텐츠가 디스플레이되는 영역(41) 외의 나머지 영역(1001) 중 음향 신호가 발생된 방향에 대응되는 영역에만 촬영되는 영상을 디스플레이할 수도 있다.

한편, 프로세서(140)는 기 설정된 시간이 경과하면, 촬영되는 영상이 디스플레이되는 영역을 다시 촬영되는 영상이 디스플레이되기 전의 상태로 변경할 수 있다.

도 11은 본 발명의 다른 실시 예에 따른, 디스플레이 장치의 구성을 상세히 도시한 블록도이다.

도 11에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 디스플레이 장치(100'')는 디스플레이(110), 움직임 센서(120), 촬영부(130), 프로세서(140), 음향 센서(150), 저장부(160), 영상 처리부(170), 오디오 처리부(180), 오디오 출력부(190) 및 사용자 인터페이스부(195)를 포함한다. 이하에서는, 도 2 및 도 9에서의 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.

프로세서(140)는 ROM(141), RAM(142), CPU(143), 그래픽 처리부(144), 제1 인터페이스 내지 n 인터페이스(145-1 ~ 145-n)를 포함한다. 여기서, ROM(141), RAM(142), CPU(143), 그래픽 처리부(144), 제1 인터페이스 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.

제1 인터페이스 내지 n 인터페이스(145-1 ~ 145-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

CPU(143)는 저장부(160)에 액세스하여, 저장부(160)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU(143) 저장부(160)에 저장된 각종 프로그램, 컨텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.

RAM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(143)는 ROM(141)에 저장된 명령어에 따라 저장부(160)에 저장된 O/S를 RAM(142)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(143)는 저장부(160)에 저장된 각종 어플리케이션 프로그램을 RAM(142)에 복사하고, RAM(142)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

그래픽 처리부(144)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.

한편, 상술한 프로세서(140)의 동작은 저장부(160)에 저장된 프로그램이 실행되어 이루어질 수 있다.

저장부(160)는 디스플레이 장치(100'')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장할 수 있다.

구체적으로 저장부(160)는 디스플레이 장치(100'')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 레이아웃의 화면을 생성하기 위한 그래픽 처리 모듈 및 보안 모듈 등을 저장할 수 있다. 특히, 그래픽 처리 모듈은 디스플레이 화면 상의 기 설정된 영역에 주 컨텐츠를 디스플레이하고, 나머지 영역 중 적어도 일부 영역에 촬영부(130)를 통해 촬영되는 영상을 디스플레이할 수 있는 모듈이다. 또한, 저장부(160)는 본 발명의 일 실시 예에 따라, 디스플레이 장치(100'')가 이동한 거리 및 속도 중 적어도 하나에 대한 기 설정된 임계 값을 저장할 수 있다.

영상 처리부(170)는 컨텐츠에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행하는 구성요소이다.

오디오 처리부(180)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다.

오디오 출력부(190)는 오디오 처리부(180)에서 처리된 오디오 데이터를 출력하는 구성요소이다.

사용자 인터페이스부(195)는 디스플레이 장치(100'')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성요소이다.

도 12는 본 발명의 일 실시 예에 따른, 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

먼저, 컨텐츠를 디스플레이의 기 설정된 영역에 디스플레이한다(S1210). 여기서 기 설정된 영역은 전체 디스플레이 화면보다 작은 크기로 디스플레이의 가운데에 위치할 수 있다. 또한, 기 설정된 영역의 크기와 위치는 유동적일 수 있다.

이 후, 디스플레이 장치의 기 설정된 움직임을 감지한다(S1220). 이때, 기 설정된 움직임은 디스플레이 장치가 이동한 거리 및 속도 중 적어도 하나가 기 설정된 임계 값을 초과하는 움직임을 의미한다. 여기서, 디스플레이 장치가 이동한 거리는 디스플레이 장치를 착용한 사용자가 고개를 회전함에 따라 이동하는 거리를 포함한다.

이 후, 디스플레이 장치의 주변 영역을 촬영한다(S1230). 디스플레이 장치의 주변 영역은 디스플레이 장치에 포함된 촬영부가 향하는 방향으로 촬영되는 영역을 의미하며, 촬영부는 디스플레이 장치를 착용한 사용자의 시선 방향과 같은 방향으로 구비됨이 바람직하다.

이 후, 기 설정된 영역 외의 나머지 영역 중 적어도 일부 영역에 촬영되는 주변 영역의 영상을 디스플레이한다(S1240). 이때, 나머지 영역 중 컨텐츠가 디스플레이되는 영역을 기준으로 디스플레이 장치의 움직임 방향에 대응되는 영역에 움직임 방향으로 이동된 디스플레이 장치에서 촬영되는 영상을 디스플레이할 수 있다.

한편, 음향 신호를 감지하고, 감지되는 음향 신호가 기 설정된 크기 이상이면, 나머지 영역 중 적어도 일부 영역에 촬영되는 영상을 디스플레이할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, HMD 장치를 이용하여 컨텐츠를 시청중인 사용자가 HMD 장치를 벗지 않고도 카메라를 통해 외부 환경을 볼 수 있으므로, 빠르고 편리하게 외부 상황을 인지할 수 있다.

상술한 다양한 실시 예에 따른 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.

일 예로, 컨텐츠를 디스플레이의 기 설정된 영역에 디스플레이하는 단계, 디스플레이 장치의 기 설정된 움직임을 감지하는 단계, 디스플레이 장치의 주변 영역을 촬영하는 단계 및 기 설정된 영역 외의 나머지 영역 중 적어도 일부 영역에 촬영되는 주변 영역의 영상을 디스플레이하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100, 100', 100'': 디스플레이 장치 110: 디스플레이
120: 움직임 센서 130: 촬영부
140: 프로세서 150: 음향 센서

Claims (20)

1. 디스플레이 장치에 있어서,
   디스플레이;
   상기 디스플레이 장치의 움직임을 감지하기 위한 움직임 센서;
   상기 디스플레이 장치의 서로 다른 위치에 구비된 복수의 음향 센서;
   상기 디스플레이 장치의 주변 영역을 촬영하기 위한 촬영부; 및
   상기 디스플레이의 복수의 영역 중 기 설정된 영역에 컨텐츠를 디스플레이하고,
   상기 복수의 음향 센서 각각에서 감지되는 음향 신호의 시간 차에 기초해, 상기 음향 신호가 발생된 방향을 판단하고,
   상기 움직임 센서에 의해 상기 디스플레이 장치의 기 설정된 움직임이 감지되는 경우, 상기 컨텐츠가 디스플레이되는 영역 외의 나머지 영역 중 상기 방향에 대응되는 영역에 상기 촬영부를 통해 촬영되는 영상을 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 디스플레이 장치.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 프로세서는,
   상기 움직임 센서에 의해 감지된 상기 디스플레이 장치가 이동한 거리 및 속도 중 적어도 하나가 기 설정된 임계 값을 초과하는 경우, 상기 방향에 대응되는 영역에 상기 촬영되는 영상을 디스플레이하는, 디스플레이 장치.
7. 삭제
8. 삭제
9. 제1항에 있어서,
   상기 프로세서는,
   기 설정된 시간이 경과하면, 상기 방향에 대응되는 영역을 상기 촬영부를 통해 촬영되는 영상이 디스플레이되기 전의 상태로 변경하는, 디스플레이 장치.
10. 삭제
11. 제1항에 있어서,
    상기 디스플레이 장치는,
    VR(Virtual Reality) 컨텐츠를 제공하기 위한 HMD(Head Mounted Display) 장치인, 디스플레이 장치.
12. 디스플레이 장치의 제어 방법에 있어서,
    상기 디스플레이 장치의 복수의 영역 중 기 설정된 영역에 컨텐츠를 디스플레이하는 단계;
    상기 디스플레이 장치의 서로 다른 위치에 구비된 복수의 음향 센서 각각에서 감지되는 음향 신호의 시간 차에 기초해, 상기 음향 신호가 발생된 방향을 판단하는 단계; 및
    상기 디스플레이 장치의 기 설정된 움직임이 감지되는 경우, 상기 컨텐츠가 디스플레이되는 영역 외의 나머지 영역 중 상기 방향에 대응되는 영역에 상기 디스플레이 장치의 주변 영역을 촬영한 영상을 디스플레이하는 단계;를 포함하는 제어 방법.
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 제12항에 있어서,
    상기 디스플레이하는 단계는,
    상기 감지된 상기 디스플레이 장치가 이동한 거리 및 속도 중 적어도 하나가 기 설정된 임계 값을 초과하는 경우, 상기 방향에 대응되는 영역에 상기 영상을 디스플레이하는, 제어 방법.
18. 삭제
19. 삭제
20. 제12항에 있어서,
    기 설정된 시간이 경과하면, 상기 방향에 대응되는 영역을 상기 영상이 디스플레이되기 전의 상태로 변경하는 단계;를 더 포함하는, 제어 방법.

Images