KR20190018919A

KR20190018919A - 디스플레이장치, 서버 및 그 제어방법

Info

Publication number: KR20190018919A
Application number: KR1020170103678A
Authority: KR
Inventors: 김보은; 김성현; 김용덕
Original assignee: 삼성전자주식회사
Priority date: 2017-08-16
Filing date: 2017-08-16
Publication date: 2019-02-26
Also published as: WO2019035582A1; US20190058862A1; CN110999307A; EP3632119A4; KR102422929B1; EP3632119A1; US11317072B2

Abstract

본 발명에 따른 디스플레이장치에 있어서, 영상신호를 처리하는 영상처리부와; 디스플레이부와; 사용자입력에 따른 시점에 기초하여, 360도영상으로부터, 복수의 스크린에 대응하며 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 분할영상을 생성하고, 복수의 분할영상 중에서 디스플레이장치에 대응하는 스크린의 분할영상으로부터 시점에 기초하여 프로젝션 영상을 생성하여 디스플레이부에 표시하도록 영상처리부를 제어하는 제어부를 포함한다.

Description

디스플레이장치, 서버 및 그 제어방법 {DISPLAY APPARATUS, SERVER AND CONTROL METHOD THEREOF}

본 발명은 디스플레이장치, 서버 및 그 제어방법에 관한 것으로서, 보다 상세하게는 다중 스크린에서 360도영상을 컨트롤하기 위한 디스플레이장치, 서버 및 그 제어방법에 관한 것이다.

최근 VR(Virtual Reality)에 대한 관심이 증대되고 다양한 개인용 촬영기기가 출시되면서, 방송이나 영화 등에서 360도 컨텐츠의 제작이 기하급수적으로 증가하고 있다. 이러한 360도 컨텐츠는 HMD (Head Mounted Display)뿐만 아니라, PC, TV, 스마트폰 등 여러 디바이스에서 감상이 가능하다.

360도 컨텐츠는 시청자에게 전 방향의 뷰(view)를 감상할 수 있는 경험을 제공한다. 특히, 다중 스크린을 이용하여 360도 컨텐츠를 감상하는 경우 넓은 화각으로 몰입감 있는 시청 경험을 제공할 수 있다.

종래에는 파노라마 영상을 다중 스크린에 표시하기 위해, 소스 디바이스로부터 디스플레이의 정보에 따라 해당 영상을 수신하여 표시하였다. 그러나, 파노라마 영상을 시점의 이동 및 줌 명령에 따라 컨트롤하는 방법은 제안되어 있지 않다.

또한, 기존의 HMD, TV, 스마트폰, PC 등 단일 스크린에서 360도영상을 재생하는 경우, 시점의 이동시 시점의 위도와 경도에 따라 프로젝션한 영상을 표시한다. 그러나, 다중 스크린에서 이러한 방법으로 시점을 이동할 경우 각 스크린에 표시되는 영상의 영역이 겹치는 문제가 발생한다.

따라서, 본 발명의 목적은, 다중 스크린에서 360도 영상을 컨트롤하기 위한 디스플레이장치, 서버 및 그 제어방법을 제공하는 것이다.

본 발명의 또 다른 목적은, 다중 스크린에서 360도영상을 재생시, 사용자 컨트롤에 의한 시점 및 화각의 변경에 대해 각 스크린에 표시되는 영역 간 이음새 없는(seamless) 연결이 유지되도록 하기 위한 디스플레이장치, 서버 및 그 제어방법을 제공하는 것이다.

상기 목적은, 본 발명에 따라, 디스플레이장치에 있어서, 영상신호를 처리하는 영상처리부와; 디스플레이부와; 사용자입력에 따른 시점에 기초하여, 360도영상으로부터, 복수의 스크린에 대응하며 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 분할영상을 생성하고, 상기 복수의 분할영상 중에서 디스플레이장치에 대응하는 스크린의 분할영상으로부터 시점에 기초하여 프로젝션 영상을 생성하여 디스플레이부에 표시하도록 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치에 의해 달성될 수 있다.

이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 컨트롤 가능하도록 한다. 또한, 다중 스크린에서 360도영상을 재생 시, 사용자 컨트롤에 의한 시점 및 화각의 변경에 대해 각 스크린에 표시되는 영역 간 이음새 없는 연결이 유지되도록 할 수 있다.

상기 제어부는, 상기 복수의 스크린의 개수 및 상기 복수의 스크린 중 상기 디스플레이장치의 스크린이 배치되는 위치에 기초하여 상기 분할영상의 화각을 결정할 수 있다. 이에 따라, 각 스크린으로 제공되는 분할영상이 구의 대원을 따라 매핑되는 위치를 결정하도록 한다.

상기 디스플레이장치는 사용자입력을 수신하는 입력수신부를 더 포함하고, 상기 제어부는, 상기 수신된 사용자입력에 기초한 제어정보를 상기 복수의 스크린에 대응하는 복수의 디스플레이장치로 전송하고, 상기 제어정보는, 화각 변경정보 및 수직 또는 수평 회전각도에 관한 정보 중 적어도 하나를 포함할 수 있다. 이에 따라, 사용자가 리모컨 등을 이용하여 360도영상을 컨트롤 시, 메인 스크린에서 수신한 리모컨의 제어정보를 다른 스크린으로 전달하여 컨트롤 동작이 각 스크린에서 유기적으로 이루어지도록 한다.

상기 제어부는, 사용자입력에 따라 상기 복수의 스크린 중 상기 디스플레이장치의 스크린에 대해 컨트롤 기준점을 설정하고, 상기 설정된 컨트롤 기준점의 위치에 기초하여 각 스크린에 표시되는 프로젝션 영상의 중심점을 결정할 수 있다. 이에 따라, 다중 스크린에서 360도영상을 컨트롤하기 위해 메인 스크린에 대한 기준 위치를 사용자가 설정할 수 있다.

상기 제어부는, 사용자입력에 따라 상기 프로젝션 영상을 수직 또는 수평방향으로 회전시키는 경우, 상기 컨트롤 기준점의 시점의 변경 및 상기 컨트롤 기준점에 대한 상기 각 스크린의 중앙점의 각거리에 관한 정보에 기초하여 상기 프로젝션 영상이 표시되는 위치를 변경할 수 있다. 이에 따라, 수직 또는 수평방향 회전 시, 대원의 회전각도 및 회전방향을 고려하여 각 스크린에 표시되는 영상들이 중첩되거나 소실되는 영역 없이 연결되는 형태로 표시되도록 한다.

상기 제어부는, 사용자입력에 따라 상기 프로젝션 영상에 대해 줌 컨트롤을 수행하는 경우, 상기 복수의 스크린의 화각의 총 범위가 일정하도록 상기 각 스크린에 표시되는 상기 프로젝션 영상의 화각을 조정할 수 있다. 이에 따라, 줌 인 또는 줌 아웃 시, 총 화각을 유지하도록 하여 화면 내 주요 오브젝트의 소실 없이 영상을 표시하도록 한다.

상기 목적은, 본 발명에 따라, 디스플레이장치에 있어서, 영상신호를 처리하는 영상처리부와; 디스플레이부와; 사용자입력에 따라 네트워크 상에서 연결할 복수의 디스플레이장치를 선택하고, 360도영상으로부터, 선택된 복수의 디스플레이장치의 각 스크린의 시점에 대응하는 복수의 분할영상을 생성하고, 생성된 분할영상 각각을 구 형상에 매핑하도록 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치에 의해 달성될 수 있다. 이에 따라, 360도영상을 재생하기 위한 다중 스크린을 사용자가 주변의 장치들 중에서 직접 선택할 수 있다.

상기 제어부는, 상기 선택된 복수의 디스플레이장치의 스크린 각각에 대응하는 분할영상이 상기 구 형상에 매핑되는 위치를 설정하는 UI(User Interface)를 표시할 수 있다. 이에 따라, 360도영상을 재생하기 위한 다중 스크린을 사용자가 직접 선택함에 있어, 각 스크린의 배치 위치 또한 지정할 수 있다.

상기 제어부는, 사용자의 주변 공간에 배치된 장치들의 이미지를 보여주는 UI를 표시하고, 상기 UI에 대한 사용자입력에 기초하여 상기 복수의 디스플레이장치를 선택할 수 있다. 이에 따라, 사용자는 360도영상을 재생하기 위한 다중 스크린을 선택하기 위해, 화면에 표시되는 UI를 통해 장치들을 보다 용이하게 선택할 수 있다.

상기 목적은, 본 발명에 따라, 컴퓨터프로그램제품에 있어서, 인스트럭션이 저장된 메모리와; 프로세서를 포함하고, 인스트럭션은, 프로세서에 의해 실행되면, 사용자입력에 따른 시점에 기초하여, 360도영상으로부터, 복수의 스크린에 대응하며 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 분할영상을 생성하고, 상기 복수의 분할영상 중에서 디스플레이장치에 대응하는 스크린의 분할영상으로부터 시점에 기초하여 프로젝션 영상을 생성하여 표시하는 것을 포함하는 컴퓨터프로그램제품에 의해서도 달성될 수 있다.

상기 목적은, 본 발명에 따라, 서버에 있어서, 복수의 디스플레이장치와 통신하는 통신부와; 360도영상으로부터, 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 디스플레이장치 각각의 스크린에 대응하는 복수의 분할영상을 생성하고, 생성된 복수의 분할영상 각각을 상기 대응하는 디스플레이장치로 전송하도록 통신부를 제어하는 제어부를 포함하는 서버에 의해 달성될 수 있다.

이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 컨트롤 가능하도록 한다. 또한, 다중 스크린에서 360도영상을 재생시, 사용자 컨트롤에 의한 시점 및 화각의 변경에 대해 각 스크린에 표시되는 영역 간 이음새 없는 연결이 유지되도록 할 수 있다.

상기 제어부는, 상기 복수의 디스플레이장치의 스크린의 개수 및 상기 복수의 스크린 각각이 배치되는 위치에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 복수의 스크린에 대응하는 상기 복수의 분할영상을 생성할 수 있다. 이에 따라, 각 스크린으로 제공되는 분할영상이 구의 대원을 따라 매핑되는 위치를 결정하도록 한다.

상기 목적은, 본 발명에 따라, 컴퓨터프로그램제품에 있어서, 인스트럭션이 저장된 메모리와; 프로세서를 포함하고, 인스트럭션은, 프로세서에 의해 실행되면, 360도영상으로부터, 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 디스플레이장치 각각의 스크린에 대응하는 복수의 분할영상을 생성하고, 생성된 복수의 분할영상 각각을 상기 대응하는 디스플레이장치로 전송하는 것을 포함하는 컴퓨터프로그램제품에 의해서도 달성될 수 있다.

상기 목적은, 본 발명에 따라, 디스플레이장치의 제어방법에 있어서, 사용자입력에 따른 시점에 기초하여, 360도영상으로부터, 복수의 스크린에 대응하며 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 생성된 복수의 분할영상을 생성하는 단계와; 복수의 분할영상 중에서 디스플레이장치에 대응하는 스크린의 분할영상으로부터 시점에 기초하여 프로젝션 영상을 생성하여 표시하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다.

상기 복수의 스크린의 개수 및 상기 복수의 스크린 중 상기 디스플레이장치의 스크린이 배치되는 위치에 기초하여 상기 분할영상의 화각을 결정하는 단계를 포함할 수 있다. 이에 따라, 각 스크린으로 제공되는 분할영상이 구의 대원을 따라 매핑되는 위치를 결정하도록 한다.

상기 목적은, 본 발명에 따라, 디스플레이장치의 제어방법에 있어서, 사용자입력에 따라 네트워크 상에서 연결할 복수의 디스플레이장치를 선택하는 단계와; 360도영상으로부터, 선택된 복수의 디스플레이장치의 각 스크린의 시점에 대응하는 복수의 분할영상을 생성하는 단계와; 생성된 분할영상 각각을 구 형상에 매핑하는 단계를 포함하는 디스플레이장치의 제어방법에 의해 달성될 수 있다. 이에 따라, 360도영상을 재생하기 위한 다중 스크린을 사용자가 주변의 장치들 중에서 직접 선택할 수 있다.

상기 방법은, 사용자입력에 따라, 상기 선택된 복수의 디스플레이장치의 스크린 각각에 대응하는 분할영상이 상기 구 형상에 매핑되는 위치를 설정하는 UI를 표시하는 단계를 포함할 수 있다. 이에 따라, 360도영상을 재생하기 위한 다중 스크린을 사용자가 직접 선택함에 있어, 각 스크린의 배치 위치 또한 지정할 수 있다.

상기 방법은, 사용자의 주변 공간에 배치된 장치들의 이미지를 보여주는 UI를 표시하는 단계와; 상기 UI에 대한 사용자입력에 기초하여 상기 복수의 디스플레이장치를 선택하는 단계를 포함할 수 있다. 이에 따라, 사용자는 360도영상을 재생하기 위한 다중 스크린을 선택하기 위해, 화면에 표시되는 UI를 통해 장치들을 보다 용이하게 선택할 수 있다.

상기 목적은, 본 발명에 따라, 서버의 제어방법에 있어서, 360도영상으로부터, 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 디스플레이장치 각각의 스크린에 대응하는 복수의 분할영상을 생성하는 단계와; 생성된 복수의 분할영상 각각을 대응하는 디스플레이장치 각각으로 전송하는 단계를 포함하는 서버의 제어방법에 의해서도 달성될 수 있다.

상기 방법은, 상기 복수의 디스플레이장치의 스크린의 개수 및 상기 복수의 스크린 각각이 배치되는 위치에 관한 정보를 수신하는 단계와; 상기 수신된 정보에 기초하여 상기 복수의 스크린에 대응하는 상기 복수의 분할영상을 생성하는 단계를 포함할 수 있다. 이에 따라, 각 스크린으로 제공되는 분할영상이 구의 대원을 따라 매핑되는 위치를 결정하도록 한다.

상기한 바와 같이, 본 발명에 의하면, 다중 스크린에서 360도 영상을 컨트롤하는 것이 가능하다.

또한, 본 발명에 의하면, 다중 스크린에서 360도영상을 컨트롤 시, 시점 및 화각의 변경에 대해 각 스크린에 표시되는 영역 중 중첩되거나 소실되는 영역 없이 시청하도록 하는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간 구성을 도시한 예이다.
도 2는 본 발명의 일실시예에 따른 360도영상으로부터 생성한 분할영상을 구의 대원을 따라 매핑하는 예를 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 서버의 구성을 도시한 블록도이다.
도 5는 본 발명의 일실시예에 따른 서버 및 디스플레이장치 간 동작의 흐름도이다.
도 6은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간 구성을 도시한 예이다.
도 7은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 8은 본 발명의 관련기술에 있어 사용자 컨트롤에 따라 프로젝션 영상을 표시하는 예이다.
도 9는 본 발명의 일실시예에 따른 구의 대원상에 각 스크린의 프로젝션 영상을 배치하는 예를 도시한 것이다.
도 10은 본 발명의 일실시예에 따른 회전 컨트롤 시, 구의 대원상에 배치되는 각 스크린의 프로젝션 영상의 좌표를 산출하는 공식이다.
도 11은 본 발명의 일실시예에 따른 회전 컨트롤 시, 구 및 360도영상에 표시되는 대원의 형태를 도시한 예이다.
도 12는 본 발명의 일실시예에 따른 360도영상에 각 스크린의 프로젝션 영역을 도시한 예이다.
도 13은 본 발명의 일실시예에 따른 360도영상에 각 스크린의 프로젝션 영역을 도시한 예이다.
도 14는 본 발명의 일실시예에 따른 360도영상에 각 스크린의 프로젝션 영역을 도시한 예이다.
도 15는 본 발명의 일실시예에 따른 회전 컨트롤 시 각 스크린에 표시되는 프로젝션 영상의 예를 도시한 것이다.
도 16은 본 발명의 일실시예에 따른 회전 컨트롤 시 각 스크린에 표시되는 프로젝션 영상의 변화를 도시한 예이다.
도 17은 본 발명의 일실시예에 따른 줌 컨트롤 시 각 스크린의 시점에 따른 화각 설정값을 도시한 그래프이다.
도 18은 본 발명의 일실시예에 따른 화각 설정값에 대한 함수의 그래프이다.
도 19는 본 발명의 일실시예에 따른 줌 컨트롤 시 각 스크린에 대한 화각의 변화를 도시한 예이다.
도 20은 본 발명의 일실시예에 따른 다중 스크린에 대한 컨트롤 기준점을 설정하는 예를 도시한 것이다.
도 21은 본 발명의 일실시예에 따른 메인 스크린의 중앙점을 컨트롤 기준점으로 설정한 예를 도시한 것이다.
도 22는 본 발명의 일실시예에 따른 메인 스크린의 외부 영역에 컨트롤 기준점으로 설정한 예를 도시한 것이다.
도 23은 본 발명의 일실시예에 따른 회전 컨트롤 시 디스플레이장치의 동작의 흐름을 도시한 흐름도이다.
도 24는 본 발명의 일실시예에 따른 줌 컨트롤 시 디스플레이장치의 동작의 흐름을 도시한 흐름도이다.
도 25는 본 발명의 일실시예에 따른 공간 내에 배치된 다중 스크린을 선택하기 위한 예를 도시한 것이다.
도 26은 본 발명의 일실시예에 따른 360도영상을 재생할 다중 스크린을 선택하기 위한 UI를 도시한 예이다.
도 27은 본 발명의 일실시예에 따른 선택된 다중 스크린을 구에 매핑하기 위한 UI를 도시한 예이다.
도 28은 본 발명의 일실시예에 따른 각 스크린의 중앙점을 연결하여 가상의 구를 구성하는 예를 도시한 것이다.
도 29는 본 발명의 일실시예에 따른 가상의 구를 구성하여 각 스크린의 프로젝션 중심점을 결정하는 예를 도시한 것이다.

이하, 첨부도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.

도 1은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간의 구성을 도시한 예이다. 도 1에 도시된 바와 같이, 서버(10)는 스플리터(Splitter)(37)와 연결되고, 복수의 디스플레이장치(20, 30, 31, 32, 33, 34)는 스플리터(37)를 통해 병렬적으로 연결된다. 서버(10)는 LAN 또는 무선 통신방식을 이용하여 스플리터(37)와 통신하고, 상호간 360도영상(도 2의 부호 950 참조)의 컨텐츠 및 정보를 송수신한다. 여기서, 360도영상(950)는 둘 이상의 렌즈를 이용하여 각각 촬영된 둘 이상의 영상을 스티칭(Stitching) 방식으로 이어 붙여 제작한 것으로, 모든 방향에서 시청 가능하다.

스플리터(37)는 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 각각과 HDMI(High-Definition Multimedia Interface) 또는 DVI(Digital Visual Interface)를 통해 연결된다.

서버(10)는 외부로부터 입력되거나 내부에 저장되어 있는 360도영상(950)의 각 프레임으로부터 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 각각의 시점에 대응하는 분할영상(도 2의 부호 91, 92, 93, ...)을 생성한다.

스플리터(37)는 서버(10)로부터 생성된 360도영상(950)의 분할영상(91, 92, 93, ...)을 수신하고, 수신된 복수의 분할영상(91, 92, 93, ...)을 대응하는 디스플레이장치(20, 30, 31, 32, 33, 34) 각각으로 분배하여 전송한다.

다른 경우에 있어, 스플리터(37)는 360도영상(950)을 저장하고 있는 USB 장치(381)과 연결될 수도 있다. 이 때, 스플리터(37)는 USB 장치(381)에 저장되어 있는 360도영상(950)을 수신하고, 360도영상(950)의 각 프레임으로부터 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 각각에 대응하는 복수의 분할영상(91, 92, 93, ...)을 생성하는 프로세스를 수행하고, 생성된 분할영상(91, 92, 93, ...)을 대응하는 디스플레이장치(20, 30, 31, 32, 33, 34)로 분배하여 전송할 수 있다.

이 외에도 스플리터(37)는 블루레이 디스크(382), PS3(383) 및 랩탑 컴퓨터(384) 등의 장치와 연결되어, 각 장치에 저장된 360도영상(950) 혹은 기 처리된 복수의 분할영상(91, 92, 93, ...)을 제공받아 대응하는 디스플레이장치(20, 30, 31, 32, 33, 34)로 분배하여 전송할 수 있다.

도 2는 본 발명의 일실시예에 따른 360도영상으로부터 생성한 분할영상을 구의 대원을 따라 매핑하는 예를 도시한 것이다. 도 2에 도시된 바와 같이, 서버(10)에 의해 360도영상(950)으로부터 복수의 디스플레이장치(20, 30, 31, ...)의 각 스크린에 대응하는 분할영상(91, 92, 93, ...)이 생성된다.

서버(10)는 분할영상(91, 92, 93, ...)의 생성시, 복수의 디스플레이장치(20, 30, 31, ...)에서 매핑할 구(sphere)(120)의 대원(great circle)(100)을 따라서 배치될 수 있도록 분할영상(91, 92, 93, ...)을 생성한다. 여기서, 대원(100)은 구(120)를 중심을 지나는 단면으로 잘랐을 때 생기는 원의 원주를 의미한다.

일실시예로서, 서버(10)는 분할영상(91, 92, 93, ...)의 생성시, 복수의 디스플레이장치(20, 30, 31, ...)에서 매핑할 구(120)의 대원(100)을 포함하는 소정 영역 내에 있는 원주를 따라서 배치될 수 있도록 분할영상(91, 92, 93, ...)을 생성할 수도 있다. 즉, 분할영상(91, 92, 93, ...)을 구(120)에 매핑시 대원(100)을 따라서 배치하는 것이 각 스크린에 표시되는 영상의 연결성을 확보하는 가장 최선의 방법이나, 대원(100)으로부터 가까운 거리에 위치한 원주에 배치하는 방법도 차선책이 될 수 있다.

디스플레이장치(20, 30, 31, ...)는 CPU(Central Processing Unit) 또는 GPU(Graphic Processing Unit)를 이용하여 서버(10)로부터 전송된 분할영상(91, 92, 93, ...)을 구(120)의 대원을 따라 텍스처 매핑(texture mapping)한다. 이 때, 디스플레이장치(20, 30, 31, ...) 각각은 전체 스크린의 개수 및 전체 스크린 중 해당 디스플레이장치의 스크린이 배치되는 위치에 기초하여 분할영상(91, 92, 93, ...)의 화각을 결정한다.

예로서, 전체 스크린의 개수가 6개이고, 전체 스크린 중 해당 스크린의 배치 위치가 좌로부터 3번째인 경우, 해당 스크린에 대응하는 분할영상의 화각은 60도이고, 구의 대원 상에 배치되는 화각의 범위는 전체 360도 중 120 내지 180도 사이인 것으로 결정할 수 있다.

상기와 같이, 구의 대원을 따라서 매핑되도록 각 분할영상의 화각을 결정하는 동작은 복수의 디스플레이장치(20, 30, 31, ...)의 연결 구조에 따라 서버(10)가 수행하거나, 해당 디스플레이장치에서 수행될 수 있다.

즉, 복수의 디스플레이장치(20, 30, 31, ...)가 서버(10)에 대해 병렬적으로 연결된 경우, 서버(10)가 각 스크린에 대응하는 분할영상의 화각을 결정하여 해당 디스플레이장치로 제공할 수 있다.

그러나, 복수의 디스플레이장치(20, 30, 31, ...)가 서버(10)에 대해 직렬적으로 연결된 경우, 디스플레이장치(20, 30, 31, ...) 각각이 해당 스크린에 대응하는 분할영상의 화각을 결정할 수 있다.

일실시예로서, 디스플레이장치(20, 30, 31, ...)는 사용자의 입력에 따라 해당 스크린에 대응하는 분할영상의 화각을 직접 설정할 수도 있다. 이 경우, 전체 스크린의 수를 고려하여 분할영상의 화각을 균등하게 설정되는 경우과 달리, 사용자가 특정 스크린에 대한 분할영상의 화각을 나머지 스크린보다 크거나 작게 설정하는 것이 가능하다.

도 3은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다. 디스플레이장치(20)는 통신부(21), 제어부(22), 영상처리부(23), 디스플레이부(24), 저장부(25) 및 입력수신부(26)를 포함하고, 통신부(21)를 통해 서버(10) 및 복수의 디스플레이장치(30, 31,...)와 통신한다. 이 때, 디스플레이장치(20)와 복수의 디스플레이장치(30, 31,...)는 서버(10)에 대해 병렬적으로 연결된다. 디스플레이장치(20)는 예컨대, TV, 스마트폰, 프로젝터, 및 HMD 등으로 마련될 수 있다. 디스플레이장치(20)의 구성은 이에 한정되지 않고, 다른 구성을 더 포함하여 구현될 수 있다.

디스플레이장치(20)는 복수의 디스플레이장치(30, 31, ...)와 네크워크 상으로 연결되어 동기화되고, 360도영상(950)의 재생 및 컨트롤을 위해 사용자가 주로 제어하는 메인 장치로 동작할 수 있다.

통신부(21)는 서버(10)와 무선 혹은 유선 통신방식을 이용하여 통신한다. 통신부(21)는 이더넷(Ethernet) 등과 같은 유선 통신방식으로 서버(10)와 통신하거나, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등과 같은 무선 통신방식으로 무선공유기를 통해 서버(10)와 통신할 수 있다. 통신부(21)가 통신하는 방식은 이에 한정되지 않고, 다른 통신방식을 이용하여 통신할 수도 있다.

일실시예로서, 통신부(21)는 서버(10)와 직접 통신하지 않고, 도 1에 도시된 바와 같이 스플리터(37)와 연결될 수 있다. 이 경우, 통신부(21)는 서버(10)로부터 수신되는 데이터를 스플리터(37)를 통해 분배하여 제공받을 수 있다.

입력수신부(26)는 디스플레이장치(20)의 적어도 하나의 기능을 제어하기 위한 사용자입력을 수신한다. 예로서, 입력수신부(26)는 디스플레이부(24)에 표시되는 사용자 인터페이스(User Interface)의 일부를 선택하기 위한 사용자입력을 수신할 수 있다. 입력수신부(26)는 디스플레이장치(20)의 외측에 구비된 입력패널의 형태로 구현되거나 디스플레이장치(20)와 적외선 방식으로 통신하는 리모트 컨트롤러로 구현될 수 있다. 또한, 입력수신부(26)는 디스플레이장치(20)와 연결되는 키보드, 마우스 등으로 구현될 수 있고, 디스플레이장치(20)에 마련되는 터치스크린으로 구현될 수도 있다.

저장부(25)는 서버(10)로부터 수신되는 분할영상(91)을 저장한다. 분할영상(91)은 360도영상(950)의 전체영역 중 스크린(81)의 화각에 대응하는 영역을 잘라내는 방식으로 얻어진다. 저장부(25)는 저장된 분할영상(91)의 데이터 각각에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다. 저장부(25)는 디스플레이장치(20)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다.

영상처리부(23)는 저장부(25)에 저장된 분할영상(91)에 대해 영상처리 프로세스를 수행한다. 또한, 영상처리부(23)는 구(120)의 대원(100) 상에 매핑된 분할영상(91)으로부터 스크린(81)의 시점에 대응하여 생성되는 프로젝션 영상(도 21의 부호 812 참조)에 대해 영상처리 프로세스를 수행한다. 영상처리부(23)에서 수행하는 영상처리의 예로서, 디멀티플렉싱(demultiplexing), 디코딩(decoding), 디인터레이싱 (de-interlacing), 스케일링(scaling), 노이즈 감소(noise reduction), 디테일 인핸스먼트(detail enhancement) 등이 있으며, 그 종류는 한정되지 않는다. 영상처리부(23)는 이러한 여러 기능을 통합시킨 SOC(System-On-Chip) 또는 각 프로세스를 독자적으로 수행할 수 있는 개별 구성들이 장착된 영상처리보드로 구현될 수 있다.

디스플레이부(24)는 영상처리부(23)에서 처리된 영상신호에 기초하여 영상을 표시하는 스크린(81)을 포함한다. 디스플레이부(24)의 구현 방식은 한정되지 않는 바, PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display) 등 다양한 형태로 구현될 수 있다.

제어부(22)는 입력수신부(26)에서 수신된 사용자입력에 따른 시점에 기초하여 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 생성된 분할영상(91)을 서버(10)로부터 수신한다.

여기서, 제어부(22)는 서버(10)로부터 디스플레이장치(20)에서 매핑할 구(120)의 대원(100)을 따라서 배치될 수 있도록 생성된 분할영상(91)을 수신한다. 이 때, 분할영상(91)은, 전체 스크린 수와 전체 스크린 중 해당 스크린(81)의 배치 위치를 고려하여 화각이 결정될 수 있다.

제어부(22)는 서버(10)로부터 수신된 분할영상(91)을 구(120)의 대원(100) 상에 매핑하고, 매핑된 분할영상(91)로부터 시점에 기초하여 프로젝션 영상(812)을 생성하여 디스플레이부(24)에 표시하도록 영상처리부(23)를 제어한다.

일실시예로서, 상기와 같은 제어부(22)의 동작은 디스프레이장치(20)와 별도로 마련되는 컴퓨터프로그램제품(미도시)에 저장된 컴퓨터프로그램으로 구현될 수도 있다.

이 경우, 컴퓨터프로그램제품은 컴퓨터프로그램에 해당하는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 인스트럭션은, 프로세서에 의해 실행되면, 사용자입력에 따른 시점에 기초하여, 360도영상(950)으로부터, 복수의 스크린에 대응하며 매핑할 구(120)의 대원(100)을 따라서 배치되도록 생성된 복수의 분할영상(91, 92, 93, ...) 중에서 디스플레이장치(20)에 대응하는 스크린(81)의 분할영상(91)을 서버(10)로부터 수신하고, 수신된 분할영상(91)으로부터 시점에 기초하여 프로젝션 영상(812)을 생성하여 표시하는 것을 포함한다.

이에 따라, 디스플레이장치(20)는 별도의 컴퓨터프로그램제품에 저장된 컴퓨터프로그램을 다운로드 및 실행하여, 제어부(22)의 동작을 수행할 수 있다.

도 4는 본 발명의 일실시예에 따른 서버의 구성을 도시한 블록도이다. 도 4에 도시된 바와 같이, 서버(10)는 통신부(11), 제어부(12), 및 저장부(15)를 포함하고, 통신부(11)를 통해 복수의 디스플레이장치(20, 30, 31,...)와 통신한다. 이 때, 복수의 디스플레이장치(20, 30, 31,...)는 서버(10)에 대해 병렬적으로 연결된다. 서버(10)의 구성은 이에 한정되지 않고, 예컨대, 서버(10)가 디스플레이장치로 마련되는 경우 영상수신부(미도시), 영상처리부(미도시) 및 디스플레이부(미도시)의 구성을 더 포함할 수 있다.

통신부(11)는 복수의 디스플레이장치(20, 30, 31,...)와 무선 혹은 유선 통신방식을 이용하여 통신한다. 통신부(11)는 이더넷(Ethernet) 등과 같은 유선 통신방식으로 복수의 디스플레이장치(20, 30, 31,...)와 통신하거나, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등과 같은 무선 통신방식으로 무선공유기를 통해 복수의 디스플레이장치(20, 30, 31,...)와 통신할 수 있다. 통신부(11)가 통신하는 방식은 이에 한정되지 않고, 다른 통신방식을 이용하여 통신할 수도 있다.

일실시예로서, 통신부(11)는 복수의 디스플레이장치(20, 30, 31,...)와 직접 통신하지 않고, 도 1에 도시된 바와 같이 스플리터(37)와 연결될 수 있다. 이 경우, 통신부(11)는 스플리터(37)로 데이터를 송신하고, 스플리터(37)가 복수의 디스플레이장치(20, 30, 31,...)로 데이터를 분배하여 전송하도록 할 수 있다.

저장부(15)는 외부장치로부터 입력된 360도영상(950)을 저장한다. 저장부(15)는 저장된 360도영상(950)의 데이터 각각에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다. 저장부(15)는 서버(10)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다.

제어부(12)는 복수의 프레임으로 구성된 360도영상(950)의 각 프레임으로부터, 복수의 디스플레이장치(20, 30, 31, ...)에서 매핑할 구(120)의 대원(100)을 따라서 배치되도록 각 스크린(도 21의 부호 81, 82, 83, ...참조)에 대응하는 복수의 분할영상(91, 92, 93, ...)을 생성한다.

이 때, 360도영상(950)은 저장부(15)에 저장되어 있거나, 예컨대 서버(10)에 연결된 USB 장치(381), 블루레이 디스크(382), PS3(383) 및 랩탑 컴퓨터(384) 등으로부터 수신될 수도 있다.

일실시예로서, 제어부(12)는 복수의 디스플레이장치(20, 30, 31, ...)의 스크린의 개수 및 복수의 스크린 각각이 배치되는 위치에 관한 정보를 디스플레이장치(20, 30, 31, ...) 각각으로부터 수신하거나, 사용자가 컨트롤하는 메인 스크린을 포함하는 디스플레이장치(20)로부터 수신할 수 있다. 다른 예로서, 제어부(12)는 리모컨 등에 의한 사용자입력을 통해 전체 스크린의 개수 및 각 스크린의 배치위치에 관한 정보를 수신할 수도 있다.

제어부(12)는 프레임별로 생성된 복수의 분할영상(91, 92, 93, ...)을 대응하는 디스플레이장치(20, 30, 31, ...)로 전송한다.

일실시예로서, 상기와 같은 제어부(12)의 동작은 서버(10)와 별도로 마련되는 컴퓨터프로그램제품(미도시)에 저장된 컴퓨터프로그램으로 구현될 수도 있다.

이 경우, 컴퓨터프로그램제품은 컴퓨터프로그램에 해당하는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 인스트럭션은, 프로세서에 의해 실행되면, 360도영상(950)으로부터, 매핑할 구(120)의 대원(10)을 따라서 배치되도록 복수의 디스플레이장치(20, 30, 31, ...) 각각의 스크린에 대응하는 복수의 분할영상(91, 92, 93, ...)을 생성하고, 생성된 복수의 분할영상(91, 92, 93, ...) 각각을 대응하는 디스플레이장치(20, 30, 31, ...) 로 전송하는 것을 포함한다.

이에 따라, 서버(10)는 별도의 컴퓨터프로그램제품에 저장된 컴퓨터프로그램을 다운로드 및 실행하여, 제어부(12)의 동작을 수행할 수 있다.

도 5는 본 발명의 일실시예에 따른 서버 및 디스플레이장치 간 동작의 흐름도이다. 도 5에 도시된 바와 같이, 동작 S702에서, 서버(10)는 360도영상(950)으로부터, 매핑할 구(120)의 대원(100)을 따라서 배치되도록 복수의 스크린(81, 82, 83, ...) 각각에 대응하는 분할영상(91, 92, 93, ...)을 생성한다.

여기서, 동작 S702는, 복수의 스크린(81, 82, 83, ...)의 전체 개수 및 복수의 스크린(81, 82, 83, ...) 각각이 배치되는 위치에 관한 정보를 수신하는 동작과, 수신된 정보에 기초하여 각 스크린(81, 82, 83, ...)에 대응하는 화각을 결정하여, 복수의 분할영상(91, 92, 93, ...)을 생성하는 동작을 포함할 수 있다.

다음으로, 동작 S703에서, 디스플레이장치(20)는 서버(10)로부터 해당 스크린(81)에 대응하는 분할영상(91)을 수신한다.

마지막으로, 동작 S704에서, 디스플레이장치(20)는 수신된 분할영상(91)으로부터 시점에 기초하여 프로젝션 영상(812)을 생성하여 표시한다.

여기서 동작 S704는, 분할영상(91)을 구(120)의 대원(100) 상의 대응하는 영역에 매핑하고, 매핑된 분할영상(91)으로부터 시점에 대응하는 프로젝션 영상을 생성하는 동작을 더 포함한다.

도 6은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간 구성을 도시한 예이다. 도 6에 도시된 바와 같이, 서버(10)는 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 중 하나의 디스플레이장치(20)와 연결된다. 이 때, 복수의 디스플레이장치(20, 30, 31, 32, 33, 34)는 직렬적으로 연결되고, 예컨대 데이지 체인(daisy chain) 방식으로 서버(10)에 연결된 디스플레이장치(20)가 다른 디스플레이장치(30, 31, 32, 33, 34)로 신호를 바이패스(bypass)하도록 한다.

서버(10)는 LAN 또는 무선 통신방식을 이용하여 디스플레이장치(20)와 통신하고, 상호간 360도영상(950)의 컨텐츠 및 정보를 송수신한다.

일실시예로서, 서버(10)는 8K 해상도를 가지는 360도영상(950)의 단위 프레임의 데이터를 디스플레이장치(20)로 전송할 수 있다. 이 때, 서버(10)는 네트워크 상태에 따라 360도영상(950)의 전체 영역 또는 일부 영역에 해당되는 데이터를 전송할 수 있다.

디스플레이장치(20)는 연결된 전체 스크린(81, 82, 83,...)의 개수와 전체 스크린(81, 82, 83,...) 중 해당 스크린(81)의 배치 위치에 기초하여 해당 스크린(81)에 대응하는 화각을 결정할 수 있다. 이에 따라, 수신된 360도영상(950)의 프레임으로부터 결정된 해당 스크린(81)의 화각에 대응하는 영역을 잘라내는(crop) 방식으로 분할영상(91)을 생성할 수 있다.

다음으로, 디스플레이장치(20)는 서버(10)로부터 수신한 360도영상(950)의 프레임의 데이터를 연결되어 있는 제1디스플레이장치(30)로 전달한다.

제1디스플레이장치(30)는 디스플레이장치(20)로부터 전달받은 360도영상(950)의 프레임의 데이터로부터 전체 스크린(81, 82, 83,...)의 개수 및 전체 스크린(81, 82, 83,...) 중 해당 스크린(82)의 배치 위치에 기초하여 분할영상(92)을 생성할 수 있다.

마찬가지로, 제1디스플레이장치(30)는 제2디스플레이장치(31)로 360도영상(950)의 프레임의 데이터를 전달하여, 제2디스플레이장치(32)가 전체 스크린(81, 82, 83,...) 중 해당 스크린(83)의 배치 위치에 기초하여 분할영상(93)을 생성할 수 있도록 한다.

상기와 같이, 서버(10)에 대해 복수의 디스플레이장치(20, 30, 31, 32, 33, 34)가 직렬적으로 연결된 경우, 하나의 디스플레이장치(20)가 서버(10)로부터 제공된 360도영상(950)의 프레임의 데이터를 연결되어 있는 다른 제1디스플레이장치(30)로 바이패스하는 방식으로 각 디스플레이장치(20, 30, 31, 32, 33, 34)가 분할영상을 생성하도록 한다.

도 7은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다. 도 7에 도시된 바와 같이, 디스플레이장치(20)는 통신부(21), 제어부(22), 영상처리부(23), 디스플레이부(24), 저장부(25) 및 입력수신부(26)를 포함하고, 통신부(21)를 통해 서버(10) 및 제1디스플레이장치(30)와 통신한다. 디스플레이장치(20)는 예컨대, TV, 스마트폰, 프로젝터, 및 HMD 등으로 마련될 수 있다. 디스플레이장치(20)의 구성은 이에 한정되지 않고, 다른 구성을 더 포함하여 구현될 수 있다. 여기서, 디스플레이장치(20)의 구성 각각은 도 3의 구성과 동일하므로, 반복되는 설명은 생략하고, 차이가 있는 특징에 대해서만 설명하기로 한다.

도시된 구성에서, 디스플레이장치(20)와 복수의 디스플레이장치(30, 31,...)는 서버(10)에 대해 직렬적으로 연결되고, 예컨대, 데이지 체인 방식으로 연결된다.

즉, 디스플레이장치(20)는 서버(10)로부터 전달받은 신호 및 데이터를 제1디스플레이장치(30)로 전달하고, 제1디스플레이장치(30)는 다시 제2디스플레이장치(31)로 전달한다.

일실시예로서, 제어부(22)는 서버(10)로부터 360도영상(950)의 전체 혹은 일부 영역의 데이터를 수신하고, 수신된 360도영상(950)의 데이터로부터 해당 스크린(81)에 대응하는 분할영상(91)을 생성할 수 있다.

이 때, 제어부(22)는 복수의 디스플레이장치(20, 30, 31, ...)의 스크린의 개수 및 전체 스크린 중 해당 스크린(81)의 배치 위치에 기초하여 분할영상(91)의 화각을 결정할 수 있다.

또한, 제어부(22)는 상기와 같이 서버(10)로부터 수신한 360도영상(950)의 데이터를 연결되어 있는 제1디스플레이장치(30)로 전달한다. 이에 따라, 제1디스플레이장치(30)가 디스플레이장치(20)로부터 전달된 360도영상(950)의 데이터로부터 전체 스크린의 개수 및 해당 스크린(82)의 배치 위치에 기초하여 분할영상(92)을 생성하도록 한다.

일실시예로서, 제어부(22)는 제1디스플레이장치(30)로 입력수신부(26)에 의해 수신된 사용자입력에 관한 정보, 화각 변경 정보, 회전 컨트롤 및 줌 컨트롤 정보 등을 전송할 수 있다. 예컨대, 제어부(22)는 사용자가 주로 컨트롤하는 메인 스크린(81)에서 수신된 리모컨 제어정보를 연결된 제1디스플레이장치(30)로 전송하여, 리모컨 제어정보에 의한 동작이 다른 스크린(82)에서도 동일하게 수행되도록 한다.

또한, 제어부(22)는 사용자입력에 의한 화각 변경 정보, 수직 또는 수평 방향으로의 회전 컨트롤 정보, 줌인 또는 줌아웃 컨트롤 정보를 제1디스플레이장치(30)로 전송하여, 사용자입력에 따른 동작이 다른 스크린(82)과 유기적으로 연결되도록 한다.

도 8은 본 발명의 관련기술에 있어 사용자 컨트롤에 따라 프로젝션 영상을 표시하는 예이다. 도 8에 도시된 바와 같이, 구(120)의 적도 부근에 다중 스크린(81, 82, 83) 각각에 대응하는 프로젝션 영상(812, 822, 832)이 표시된 경우(851), 사용자입력에 따라 프로젝션 영상(812, 822, 832)을 상하 방향으로 이동시키거나 줌 컨트롤을 수행할 수 있다.

도시된 예에서, 사용자입력에 따라 프로젝션 영상(812, 822, 832)을 상하 방향으로 이동시키는 경우(852), 위도 및 경도에 따라 시점이 이동되어, 각 스크린에 표시되는 프로젝션 영상(812, 822, 832) 중 겹치는 영역이 발생하게 된다.

또한, 사용자입력에 따라 프로젝션 영상(812, 822, 832)에 대해 줌(zoom) 컨트롤을 수행하는 경우(853), 모든 스크린(81, 82, 83)에 대해 동일하게 화각이 조정되면, 총 화각이 축소되거나 증가되어 동일한 화각 범위를 유지할 수 없다. 이로 인해, 줌 컨트롤 시, 프로젝션 영상(812, 822, 832)들 간에 끊기거나 겹치는 영역이 발생할 수 있다.

도 9는 본 발명의 일실시예에 따른 구의 대원상에 각 스크린의 프로젝션 영상을 배치하는 예를 도시한 것이다. 도 9에 도시된 바와 같이, 본 발명의 디스플레이장치(20)는 서버(10)로부터 수신한 각 스크린(81, 82, 83, ...)에 대응하는 360도영상(950)의 분할영상(91, 92, 93, ...)을 구(120)의 대원(100) 상에 매핑하여, 각 스크린(81, 82, 83, ...)에 대한 프로젝션 영상(812, 822, 832, ...)을 생성한다.

도시된 예에서, 다중 스크린(81, 82, 83, ...) 각각이 평면 스크린인 경우(131), 대원(100) 상에 프로젝션 영상(812, 822, 832, ...)이 투영되는 면을 평면으로 구성한다.

또한, 다중 스크린(81, 82, 83, ...) 각각이 곡률이 있는 스크린인 경우(132), 대원(100) 상에 프로젝션 영상(812, 822, 832, ...)이 투영되는 면을 곡면으로 구성한다.

이 때, 각 스크린에 대해 사용되는 프로젝션 방법은, 직선 투영법(rectilinear projection), 입체 투영법(stereographic projection), 및 피시아이 투영법(fisheye projection) 등이 있고, 각 스크린의 종횡비 및 곡률 등을 고려하여 적합한 방법으로 결정할 수 있다.

도 10은 본 발명의 일실시예에 따른 회전 컨트롤 시, 구의 대원상에 배치되는 각 스크린의 프로젝션 영상의 좌표를 산출하는 공식이다. 도 10에 도시된 바와 같이, 다중 스크린(81, 82, 83, ...)에서 재생되는 360도영상(950)에 대한 수직 또는 수평 방향의 회전 컨트롤 시, 각 스크린(81, 82, 83, ...)에 대한 프로젝션 영상(812, 822, 832, ...)의 좌표는, 구(120)의 좌표에 대해 프로젝션 매트릭스(P), 회전 매트릭스(R')(141) 및 각거리 매트릭스(M)(142)를 곱하여 산출한다.

이 때, 프로젝션 매트릭스(P)는 일반적인 프로젝션에 의한 변환 함수이고, 회전 매트릭스(R')(141)는 컨트롤 기준점(850)의 시점의 변경에 관한 함수를 정의한 것이다.

또한, 각거리 매트릭스(M)(142)는 컨트롤 기준점(850)에 대한 각 스크린(81, 82, 83, ...)의 중앙점(811, 821, 831, ...)의 각거리(△θ, △Ф)를 이용하여 정의된다.

도 11은 본 발명의 일실시예에 따른 회전 컨트롤 시, 구 및 360도영상에 표시되는 대원의 형태를 도시한 예이다. 도 11에 도시된 바와 같이, 다중 스크린(81, 82, 83, ...)에서 재생되는 360도영상(950)에 대한 회전 컨트롤 시, 구(120) 및 360도영상(950)에 표시되는 대원(100, 101, 102)의 형상은 수직 방향으로의 회전각(θ) 및 수평 방향으로의 회전각(Ф)에 따라 변화하게 된다.

도시된 예에서, 수직 방향으로의 회전 컨트롤 시, 회전각(θ)만큼 기울어진 대원(102) 상에 프로젝션 영상(8122)이 표시된다. 또한, 수평 방향으로의 회전 컨트롤 시, 회전각(Ф)만큼 이동된 대원(103) 상에 프로젝션 영상(8123)이 표시된다.

도 12는 본 발명의 일실시예에 따른 360도영상에 각 스크린의 프로젝션 영역을 도시한 예이다. 도 12에 도시된 바와 같이, 대원(100)이 적도와 일치하는 경우, 다중 스크린(81, 82, 83, ...)의 프로젝션 영상(812, 822, 832, ...)이 표시되는 프로젝션 영역(80)은 360도영상(950)의 적도 라인에 가로 방향의 일직선 형태로 표시된다.

도 13은 본 발명의 일실시예에 따른 360도영상에 각 스크린의 프로젝션 영역을 도시한 예이다. 도 13에 도시된 바와 같이, 수직 방향으로의 회전 컨트롤 시, 프로젝션 영역(80)은 360도영상(950)의 적도라인에서 가운데 영역이 회전각(θ)만큼 상향 이동된 형태로 표시된다.

이 때, 회전각(θ)의 크기(30도, 60도, 90도)에 따라, 프로젝션 영역(80)은 다른 형태를 가지게 된다.

이에 따라, 수직 방향으로의 회전 시, 대원(100)의 회전각을 고려하여 각 스크린에 표시되는 영상들이 중첩되거나 소실되는 영역 없이 연결되는 형태로 표시되도록 한다.

도 14는 본 발명의 일실시예에 따른 360도영상에 각 스크린의 프로젝션 영역을 도시한 예이다. 도 14에 도시된 바와 같이, 수평 방향으로의 회전 컨트롤 시, 프로젝션 영역(80)은 360도영상(950)의 중심에서 회전각(Ф)만큼 우측 방향으로 이동된 형태로 표시된다.

이 때, 회전각(Ф)의 크기(0도, 30도)에 따라, 프로젝션 영역(80)은 다른 형태를 가지게 된다.

이에 따라, 수평 방향으로의 회전 시, 대원(100)의 회전각 및 회전방향을 고려하여 각 스크린에 표시되는 영상들이 중첩되거나 소실되는 영역 없이 연결되는 형태로 표시되도록 한다.

도 15는 본 발명의 일실시예에 따른 회전 컨트롤 시 각 스크린에 표시되는 프로젝션 영상의 예를 도시한 것이다. 도 15에 도시된 바와 같이, 수직 방향으로의 회전 컨트롤에 의해, 360도영상(950)에 도시된 대원(100) 상에 각 스크린(81, 82, 83, 84, 85, 86)에 대응하는 프로젝션 영상(812, 822, 832, 842, 852, 862)이 표시된다.

상기와 같은 방법으로, 각 스크린(81, 82, 83, 84, 85, 86)에 표시되는 프로젝션 영상(812, 822, 832, 842, 852, 862)들이 서로 중첩되거나 소실되는 영역 없이 이음새 없는(seamless) 형태로 표시될 수 있다.

도 16은 본 발명의 일실시예에 따른 회전 컨트롤 시 각 스크린에 표시되는 프로젝션 영상의 변화를 도시한 예이다. 도 16에 도시된 바와 같이, 360도영상(950)을 상하 방향으로 회전 컨트롤 시, 컨트롤 기준점(850)을 포함하는 메인 스크린(81)을 기준으로 좌우 양끝의 스크린(82, 83)에 표시된 프로젝션 영상(822, 832)이 롤(roll) 방향으로 회전하는 형상을 보여준다.

도시된 예에서, 사용자가 메인 스크린(81)을 정면으로 바라보며 360도영상(950)을 시청하는 상태(200)에서, 상하 방향으로 약 30도 정도의 회전각만큼 회전시킨 경우(201), 프로젝션 영상(822, 832)은 약 30도만큼 롤 방향으로 회전된 형상을 보여준다.

이 때, 사용자가 상하 방향으로 약 45도 정도의 회전각만큼 좀더 회전시킨 경우(202), 프로젝션 영상(822, 832)은 약 45도만큼 롤 방향으로 회전된 형상을 보여준다.

상기와 같이, 본 발명의 일실시예에 의하면, 360도영상(950)을 회전 컨트롤하는 경우에도, 각 스크린에 표시되는 프로젝션 영상이 겹쳐지거나 소실되는 영역 없이 이음새 없는 형태로 표시될 수 있다.

도 17은 본 발명의 일실시예에 따른 줌 컨트롤 시 각 스크린의 시점에 따른 화각 설정값을 도시한 그래프이다. 도 17에 도시된 바와 같이, 360도영상(950)에 대한 줌 인(zoom in) 또는 줌 아웃(zoom out) 컨트롤 시, 컨트롤 기준점(850)으로부터의 각거리(도 29의 △θ, △Ф 참조)에 따라 화각 설정값을 도출할 수 있다.

화각 설정값은 수직 및 수평 방향의 회전각(도 11의 θ, Ф 참조)에 따라 연속적인 값을 가지도록 한다. 이에 따라, 각 스크린에 표시되는 프로젝션 영상들이 이음새 없이 연결이 유지되도록 할 수 있다.

또한, 화각 설정값은 적분값이 총 화각 범위 내에 존재하도록 한다. 즉, 하나의 스크린에 대한 줌 인 컨트롤에 의해 화각이 감소되는 경우, 나머지 스크린에 대해서는 총 화각의 범위 내에서 화각이 증가되도록 한다.

도시된 예에서, 수평 방향의 다중 스크린의 총 화각이 160도이고, 컨트롤 기준점(850)의 각도가 100도인 경우, 줌 인 컨트롤(211) 및 줌 아웃 컨트롤(212)에 의해 화각 설정값에 대한 그래프의 형태가 변화된 것을 보여준다.

먼저, 줌 컨트롤 이전(210)의 화각 설정값의 경우, 총 화각에 대한 각 스크린의 화각이 균등한 값을 가진다. 줌 인 컨트롤(211) 시 화각 설정값은, 컨트롤 기준점(850)의 각도 100도에 대응하는 스크린의 화각은 감소하고, 나머지 스크린의 화각은 총 화각의 범위 내에서 증가된 값을 가진다.

또한, 줌 아웃 컨트롤(212) 시 화각 설정값은 컨트롤 기준점(850)의 각도 100도에 대응하는 스크린의 화각은 증가하고, 나머지 스크린의 화각은 총 화각의 범위 내에서 감소된 값을 가진다.

일실시예로서, 다중 스크린에 표시되는 총 화각은 아래의 방법 중 하나로 결정될 수 있다.

첫 번째, 다중 스크린이 원형으로 배치된 경우 총 화각을 360도로 유지할 수 있다.

두 번째, 사용자 설정에 의해 총 화각을 a도 이상 b도 이하로 유지할 수 있다.

세 번째, 360도영상(950) 내 주요 객체가 스크린 내에 항상 표시될 수 있도록 화각을 c도 이상으로 유지할 수 있다. 이 때, 주요 객체는 사용자입력에 의해 선택되거나, 360도영상(950)의 분석을 통해 결정될 수 있다.

일실시예로서, 줌 컨트롤 컨트롤 기준점(950)을 변경하여 동작할 수 있다. 예로서, 컨트롤 기준점(950)으로부터 줌 인 또는 줌 아웃 동작 후 원 화각으로 복귀하지 않고, 컨트롤 기준점(950)과 다른 위치에 기준점을 생성하여 동작할 수 있다.

다른 예로서, 줌 인 또는 줌 아웃 동작 후 원 화각으로 복귀한 후, 컨트롤 기준점(950)과 다른 위치의 기준점에 대해 동작할 수 있다.

또 다른 예로서, 줌 인 또는 줌 아웃 동작 후 변경된 화각을 유지한 채, 새로운 기준점을 생성하여 동작할 수도 있다.

도 18은 본 발명의 일실시예에 따른 화각 설정값에 대한 함수의 그래프이다. 도 18에 도시된 바와 같이, 컨트롤 기준점(950)을 기준으로 하는 화각 설정값의 함수는 가우시안(Gaussian)(220), 피라미드(Pyramid)(221) 등 다양한 형태의 그래프로 나타낼 수 있다.

예로서, 가우시안(220) 그래프의 경우, 분산값(variance)의 크기에 따라 컨트롤 기준점(950) 근방에서 화각설정값이 연속적으로 변하는 영역의 넓이, 컨트롤 기준점(950)의 시점으로부터 가장 멀리 떨어진 시점 간의 화각 설정값의 차이 등이 결정될 수 있다.

이 때, 화각 설정값의 함수의 형태는 미리 결정되어 있거나, 사용자의 사용 로그에 따라 최적화될 수 있다.

도 19는 본 발명의 일실시예에 따른 줌 컨트롤 시 각 스크린에 대한 화각의 변화를 도시한 예이다. 도 19에 도시된 바와 같이, 360도영상(950)을 재생함에 있어, 각 스크린(81, 82, 83)에 프로젝션 영상(812, 822, 832)이 동일 화각으로 표시되고 있는 상태에서, 가운데 스크린(81)에 컨트롤 기준점(850)을 설정하고, 줌 인 컨트롤을 수행할 수 있다.

도시된 예에서, 줌 인 컨트롤에 따라, 가운데 스크린(81)에는 줌 인 컨트롤 이전보다 작은 화각을 가지는 프로젝션 영상(8125)을 표시하게 된다. 이 때, 나머지 스크린(82, 83)에는 전체 스크린(81, 82, 88)의 총 화각의 범위가 일정하도록 줌 인 컨트롤 이전보다 큰 화각을 가지는 프로젝션 영상(8225, 8325)을 표시하게 된다.

또한, 줌 인 컨트롤에 의해, 가운데 스크린(81)에 표시되는 객체는 확대되어 표시되고, 나머지 스크린(82, 83)에 표시되는 객체는 축소되어 표시된다.

상기와 같이, 줌 컨트롤 시 전체 스크린(81, 82, 83)의 총 화각을 유지하도록 함에 의해, 각 스크린 내의 주요 객체의 소실 없이 360도영상(950)을 감상할 수 있다.

도 23은 본 발명의 일실시예에 따른 회전 컨트롤 시 디스플레이장치의 동작의 흐름을 도시한 흐름도이다. 도 23에 도시된 바와 같이, 동작 S2711에서, 사용자 입력, 센서의 센싱(sensing) 및 사용자 인식 등을 수행하여, 동작 S2712에서, 360도영상(950)을 컨트롤하기 위한 컨트롤 기준점(850)을 설정한다. 또한, 동작 2721에서, 사용자 입력, 메타데이터 참조, 및 연결 자동 센싱 등을 수행하여, 동작 S2722에서, 화면의 배치 상태를 설정한다.

이에 따라, 컨트롤 기준점의 설정과 화면 배치 상태의 설정이 완료되면, 동작 S273에서, 각 스크린의 화각 및 시점의 초기값을 결정하고, 동작 S274 에서, 각 스크린의 시점에 대응하는 프로젝션 중심점을 설정한다.

다음으로, 동작 S275에서, 각 스크린에 표시되는 프로젝션 영상의 좌표를 산출하기 위한 회전 매트릭스(R')(141) 및 각거리 매트릭스(M)(142)를 도출한다. 여기서, 회전 매트릭스(R')(141)는 컨트롤 기준점(850)의 시점의 변경에 관한 함수를 정의한 것이다. 또한, 각거리 매트릭스(M)(142)는 컨트롤 기준점(850)에 대한 각 스크린의 중앙점의 각거리(△θ, △Ф)를 이용하여 정의된다.

동작 S276에서, 회전 매트릭스(R')(141) 및 각거리 매트릭스(M)(142)를 이용하여 각 스크린에 투영되는 프로젝션 영상의 좌표를 산출하여, 각 스크린에 프로젝션 영상을 표시한다.

다음으로, 동작 S277에서, 리모컨, 터치 패드 및 모션 센서 등의 입력장치에 의해 프로젝션 영상에 대한 수직 또는 수평 방향의 회전 컨트롤이 수행되면, 동작 S278에서, 컨트롤 기준점(850)의 시점을 변경한다.

이후, 다시 동작S275 및 동작 S276을 수행하여, 회전 컨트롤에 따라 변경된 프로젝션 영상을 표시하고, 다음 과정을 반복하게 된다.

상기와 같은 본 발명의 실시예에 따라, 수직 또는 수평 방향의 회전 컨트롤 시, 대원의 회전각도 및 회전방향을 고려하여 각 스크린에 표시되는 영상들이 중첩되거나 소실되는 영역 없이 연결되는 형태로 표시할 수 있다.

도 24는 본 발명의 일실시예에 따른 줌 컨트롤 시 디스플레이장치의 동작의 흐름을 도시한 흐름도이다. 도 24에 도시된 바와 같이, 동작 S2811에서, 사용자 입력, 센서의 센싱 및 사용자 인식 등을 수행하여, 동작 S2812에서, 360도영상(950)을 컨트롤하기 위한 컨트롤 기준점(850)을 설정한다. 또한, 동작 2821에서, 사용자 입력, 메타데이터 참조, 및 연결 자동 센싱 등을 수행하여, 동작 S2222에서, 화면의 배치 상태를 설정한다.

이에 따라, 컨트롤 기준점의 설정과 화면 배치 상태의 설정이 완료되면, 동작 S283에서, 각 스크린의 화각 및 시점의 초기값을 결정하고, 동작 S284 에서, 각 스크린별 화각 설정값을 계산한다. 이 때, 화각 설정값은 컨트롤 기준점(850)으로부터의 각거리(△θ, △Ф)에 따라 도출 가능하고, 수직 및 수평 방향의 회전각(θ, Ф)에 따라 연속적인 값을 가진다.

이 때, 각 스크린별 화각 설정값은, 총 화각의 범위가 유지되도록 설정하여, 각 스크린에 표시되는 프로젝션 영상 중 주요 개체가 소실되는 부분이 없도록 한다.

다음으로, 동작 S285에서, 각 스크린의 시점에 대응하는 프로젝션 중심점을 설정하고, 동작 S286에서, 각 스크린에 프로젝션 영상을 표시한다.

다음으로, 동작 S287에서, 리모컨, 터치 패드 및 모션 센서 등의 입력장치에 의해 프로젝션 영상에 대한 줌 컨트롤이 수행되면, 동작 S284에서, 각 스크린별 화각 설정값을 다시 계산한다.

이후, 다시 동작S285 및 동작 S286을 수행하여, 줌 컨트롤에 따라 변경된 화각으로 프로젝션 영상을 표시하고, 다음 과정을 반복하게 된다.

상기와 같은 본 발명의 실시예에 따라, 줌 인 또는 줌 아웃 시, 총 화각을 유지하도록 하여 화면 내 주요 오브젝트의 소실 없이 영상을 표시할 수 있다.

도 25는 본 발명의 일실시예에 따른 공간 내에 배치된 다중 스크린을 선택하기 위한 예를 도시한 것이다. 도 25에 도시된 바와 같이, 본 발명의 일실시예에 의하면, 사용자는 주변 공간 내에 배치된 장치들의 이미지를 포함하는 UI를 통해 선택된 다중 스크린을 이용하여 360도영상을 재생 및 컨트롤할 수 있다.

일실시예로서, 사용자는 UI를 통해 가정 내 여러 위치에 존재하는 스크린들 중 복수 개를 선택하여 다중 스크린(81, 82, 83)을 구성할 수 있다. 이 때, 다중 스크린(81, 82, 83) 각각은, 물리적 및 독립적으로 존재하는 스크린과, HMD 등 기기를 통하여 가상으로 존재하는 가상의 면을 포함할 수 있다. 또한, 프로젝터를 이용하여 특정 물체에 투사하는 경우, 투사되는 물체를 포함할 수 있다. 다중 스크린(81, 82, 83) 각각은 평면 또는 곡률이 있는 스크린 모두 가능하다.

다중 스크린(81, 82, 83) 각각은 상하좌우로 연결 가능하며, 각 스크린이 맞닿아 있지 않는 경우 또한 포함할 수 있다. 또한, 다중 스크린(81, 82, 83)의 배치 형태는 제한되지 않으며, 예컨대 사용자를 둘러싸는 형태인 원통형 또는 돔형으로 구성할 수 있다.

상기와 같은 본 발명의 실시예에 따라, 360도영상을 재생하기 위한 다중 스크린을 사용자가 주변의 장치들 중에서 직접 선택하여, 원하는 장치에서 360도영상을 감상하도록 할 수 있다.

도 26은 본 발명의 일실시예에 따른 360도영상을 재생할 다중 스크린을 선택하기 위한 UI를 도시한 예이다. 도 26에 도시된 바와 같이, 본 발명의 디스플레이장치(20)는 360도영상(950)을 재생하기 위해, 공간 내에 배치된 스크린들 중 복수의 스크린을 선택하기 위한 스크린 설정 UI(user interface)(105)를 표시할 수 있다.

일실시예로서, 사용자는 디스플레이장치(20)가 제공하는 복수의 메뉴 중 복수의 스크린을 설정하기 위한 메뉴를 선택할 수 있다. 이 때, 사용자의 메뉴 선택에 따라 화면에 스크린 설정 UI(105)가 표시되고, 스크린 설정 UI(105)는 360도모드 설정 메뉴(106) 및 장치선택 메뉴(107)를 표시한다.

사용자는 360도모드 설정 메뉴(106)를 선택하고, 장치선택 메뉴(107)에서 네트워크 상에서 연결한 복수의 장치를 선택할 수 있다.

도시된 예에서, 사용자가 장치선택 메뉴(107)를 통해, 연결 가능한 장치들 중 '거실 TV', '안방 TV', '안방 빔프로젝터'및 '방1 PC'를 선택한 상태를 보여준다.

이에 따라, 사용자는 화면에 표시되는 UI를 통해 360도영상을 재생하기 위한 다중 스크린을 보다 용이하게 선택할 수 있다.

도 27은 본 발명의 일실시예에 따른 선택된 다중 스크린을 구에 매핑하기 위한 UI를 도시한 예이다. 도 27에 도시된 바와 같이, 디스플레이장치(20)는 스크린 설정 UI(도 26의 부호 105 참조)를 통해 선택된 다중 스크린에 대해, 각 스크린에 대응하는 분할영상이 구(121)에 매핑되는 위치를 설정하는 구 매핑 UI(109)를 표시할 수 있다. 이 경우, 사용자가 UI를 통해 각 스크린에 대응하는 분할영상이 구(120)에 매핑되는 위치를 시각적인 방법으로 용이하게 설정할 수 있다.

도시된 예에서, 구 매핑 UI(109)는 구 매핑을 위한 위치 선택 메뉴(108)를 보여주고, 앞서 스크린 설정 UI(105)을 통해 선택된 '거실 TV', '안방 TV', '안방 빔프로젝터'및 '방1 PC' 장치들 각각을 구(120)의 원하는 영역에 매핑할 수 있다. 예로서, '거실 TV', '안방 TV', '안방 빔프로젝터'및 '방1 PC' 각각을 구(120)의 2번 영역, 3번 영역, 1번 영역 및 4번 영역으로 매핑할 수 있다.

이 때, 사용자는 매핑하고나 하는 구(120)의 영역 번호를 직접 입력하거나, 해당 장치 아이콘을 구(120)의 원하는 위치로 드래그하여 매핑할 수도 있다.

다른 경우에 있어, 디스플레이장치(20)는 스크린 설정 UI(105)를 통해 선택된 다중 스크린의 위치를 카메라의 이미지 센서 등을 통해 자동으로 인식하고, 인식된 위치에 따라 각 스크린을 대응하는 구(120)의 영역에 매핑할 수도 있다.

도 28은 본 발명의 일실시예에 따른 각 스크린의 중앙점을 연결하여 가상의 구를 구성하는 예를 도시한 것이다. 도 28에 도시된 바와 같이, 본 발명에 의한 디스플레이장치(20)는 다중 스크린(81, 82, 83, 84)에서 360도영상을 재생 및 컨트롤하기 위해, 각 스크린의 중앙점(811, 821, 831, 841)을 이용하여 가상의 구(121)를 구성할 수 있다.

도시된 예에서, 각 스크린의 중앙점(811, 821, 831, 841)을 연결하는 방법으로 가상의 구(121)를 구성할 수 있다. 다른 예로서, 각 스크린의 중앙점(811, 821, 831, 841)이 배치된 위치가 하나의 구를 구성하기에 적합하지 않은 경우, 가상의 구(121)의 중심과 각 중앙점 사이의 거리의 합이 최소화되는 구(121)를 구성할 수 있다.

도 29는 본 발명의 일실시예에 따른 가상의 구를 구성하여 각 스크린의 프로젝션 중심점을 결정하는 예를 도시한 것이다. 도 29에 도시된 바와 같이, 본 발명에 의한 디스플레이장치(20)는 사용자입력에 의해 선택된 다중 스크린(81, 82, 83, 84)의 각각의 중앙점(811, 821, 831, 841)을 연결하여 구성된 가상의 구(도 28의 부호 121 참조)로부터, 다중 스크린(81, 82, 83, 84) 각각에 표시되는 프로젝션 영상의 중심점, 즉 각 스크린의 시점을 계산할 수 있다.

이를 위해, 도 20 내지 22을 통해 다중 스크린(81, 82, 83, 84)에 대한 컨트롤 기준점(850)의 설정 및 프로젝션 중심점의 결정 방법을 설명하기로 한다.

도 20에 도시된 바와 같이, 디스플레이장치(20)는 먼저 다중 스크린(81, 82, 83, ...)에 대한 컨트롤 기준점(850)을 설정할 수 있다. 컨트롤 기준점(850)은 다중 스크린(81, 82, 83, ...)에 대해 360도영상(950)을 컨트롤하기 위한 기준이 되는 위치로, 다중 스크린(81, 82, 83, ...)의 내부 또는 외부의 다양한 위치로 설정될 수 있다.

예로서, 컨트롤 기준점(850)은 다중 스크린(81, 82, 83, ...)의 중심에 위치하거나, 사용자가 시청 또는 컨트롤하기 편한 위치에 있는 스크린(81)의 중앙점(1)으로 설정될 수 있다.

또한, 컨트롤 기준점(850)은 다중 스크린(81, 82, 83, ...) 중 한 개 스크린(81)의 내부 영역 중 중앙이 아닌 영역에 위치한 점(2)으로 설정될 수 있다.

다른 예로서, 컨트롤 기준점(850)은 다중 스크린(81, 82, 83, ...) 간 연결 부위, 예컨대 베젤(bezel)에 위치한 점(3) 또는 스크린이 맞닿아 있지 않을 경우 스크린 외부의 가상의 점(4)으로 설정될 수 있다.

이 외에도, 컨트롤 기준점(850)은 사용자가 직접 각도를 입력하여 설정되거나, 사용자의 동작 또는 시선을 인식하여 대응하는 위치의 각도로 설정될 수 있다. 또한, 각 스크린에 센서를 부착하여 사용자가 리모컨을 통해 원하는 스크린에 신호를 입력하면 해당 스크린의 중앙점을 컨트롤 기준점(850)으로 설정할 수 있다.

또한, 다중 스크린(81, 82, 83, ...)에 대해 일정한 각도 간격으로 센서를 부착하고, 사용자입력을 통해 원하는 각도로 컨트롤 기준점(850)을 설정할 수 있다. 이 때, 각 센서로부터 받은 신호의 크기를 이용하여 각 센서 사이의 각도로 컨트롤 기준점(850)을 설정할 수도 있다.

도 21에 도시된 예에서, 디스플레이장치(20)는 메인 스크린(81)의 중앙점(811)을 컨트롤 기준점(850)으로 설정하고, 각 스크린(81, 82, 83, ...)별로 프로젝션 중심점(813, 823, 833, ...)을 결정할 수 있다.

이 때, 메인 스크린(81)에 대한 프로젝션 중심점(813)은 컨트롤 기준점(850)과 일치시키고, 다른 스크린(82, 83, ...)은 컨트롤 기준점(850)을 기준으로 각각의 프로젝션 중심점(823, 833,...)을 계산한 뒤 각 스크린(82, 83, ...)의 중앙점(821, 831)과 일치시킨다.

도 22에 도시된 예에서는, 디스플레이장치(20)는 컨트롤 기준점(850)을 스크린(81)의 외부 영역 또는 스크린(81)의 내부 영역 중 중앙이 아닌 영역에 설정하고, 각 스크린(81, 82, 83, ...)별로 프로젝션 중심점(813, 823, 833, ...)을 결정할 수 있다. 이 때, 컨트롤 기준점(850)을 기준으로 하여 모든 스크린(81, 82, 83, ...)의 프로젝션 중심점(813, 823, 833, ...)을 구한 뒤, 각 스크린(81, 82, 83, ...)의 중앙점(811, 821, 831)과 일치시키도록 한다.

도 29에 도시된 예에서, 가상의 구(121)로부터 다중 스크린(81, 82, 83, 84) 각각에 표시되는 프로젝션 중심점(813, 823, 833, 844)은 컨트롤 기준점(850)에 대한 각 스크린(81, 82, 83, 84)의 중앙점(811, 821, 831, 841)의 각거리(△θ, △Ф)를 이용하여 계산할 수 있다.

예로서, 컨트롤 기준점(850)에 대응하는 시점이 (θ₀, Ф₀)이라고 하면, 스크린(2)의 중앙점(821)에 대응하는 시점, 즉 프로젝션 중심점(823)은 (θ₀ +△θ, Ф₀+△Ф)로 계산된다.

상기와 같은 방법으로, 다중 스크린(81, 82, 83, 84)에 대한 컨트롤 기준점(850)을 설정하여, 사용자가 선택한 스크린들의 중앙점을 연결한 가상의 구(121)로부터 각 스크린에 대한 시점을 구할 수 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.

10: 서버
11: 통신부
12: 제어부
15: 저장부
20: 디스플레이장치
21: 통신부
22: 제어부
23: 영상처리부
24: 디스플레이부
25: 저장부
26: 입력수신부
30: 제1디스플레이장치
31: 제2디스플레이장치
81, 82, 83, ...: 스크린
91, 92, 93, ...: 분할영상
100, 101, 102: 대원
120: 구
812, 822, 832, ...: 프로젝션 영상
850: 컨트롤 기준점
950: 360도영상

Claims

디스플레이장치에 있어서,
영상신호를 처리하는 영상처리부와;
디스플레이부와;
사용자입력에 따른 시점에 기초하여, 360도영상으로부터, 복수의 스크린에 대응하며 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 분할영상을 생성하고, 상기 복수의 분할영상 중에서 상기 디스플레이장치에 대응하는 스크린의 분할영상으로부터 상기 시점에 기초하여 프로젝션 영상을 생성하여 상기 디스플레이부에 표시하도록 상기 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치.
제 1항에 있어서,
상기 제어부는, 상기 복수의 스크린의 개수 및 상기 복수의 스크린 중 상기 디스플레이장치의 스크린이 배치되는 위치에 기초하여 상기 분할영상의 화각을 결정하는 디스플레이장치.
제 1항에 있어서,
사용자입력을 수신하는 입력수신부를 더 포함하고,
상기 제어부는, 상기 수신된 사용자입력에 기초한 제어정보를 상기 복수의 스크린에 대응하는 복수의 디스플레이장치로 전송하고,
상기 제어정보는, 화각 변경정보 및 수직 또는 수평 회전각도에 관한 정보 중 적어도 하나를 포함하는 디스플레이장치.
제 1항에 있어서,
상기 제어부는, 사용자입력에 따라 상기 복수의 스크린 중 상기 디스플레이장치의 스크린에 대해 컨트롤 기준점을 설정하고, 상기 설정된 컨트롤 기준점의 위치에 기초하여 각 스크린에 표시되는 프로젝션 영상의 중심점을 결정하는 디스플레이장치.
제 1항에 있어서,
상기 제어부는, 사용자입력에 따라 상기 프로젝션 영상을 수직 또는 수평방향으로 회전시키는 경우, 상기 컨트롤 기준점의 시점의 변경 및 상기 컨트롤 기준점에 대한 상기 각 스크린의 중앙점의 각거리에 관한 정보에 기초하여 상기 프로젝션 영상이 표시되는 위치를 변경하는 디스플레이장치.
제 1항에 있어서,
상기 제어부는, 사용자입력에 따라 상기 프로젝션 영상에 대해 줌 컨트롤을 수행하는 경우, 상기 복수의 스크린의 화각의 총 범위가 일정하도록 상기 각 스크린에 표시되는 상기 프로젝션 영상의 화각을 조정하는 디스플레이장치.
디스플레이장치에 있어서,
영상신호를 처리하는 영상처리부와;
디스플레이부와;
사용자입력에 따라 네트워크 상에서 연결할 복수의 디스플레이장치를 선택하고, 360도영상으로부터, 상기 선택된 복수의 디스플레이장치의 각 스크린의 시점에 대응하는 복수의 분할영상을 생성하고, 상기 생성된 분할영상 각각을 구 형상에 매핑하도록 상기 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치.
제 7항에 있어서,
상기 제어부는, 상기 선택된 복수의 디스플레이장치의 스크린 각각에 대응하는 분할영상이 상기 구 형상에 매핑되는 위치를 설정하는 UI(User Interface)를 표시하는 디스플레이장치.
제 7항에 있어서,
상기 제어부는, 사용자의 주변 공간에 배치된 장치들의 이미지를 보여주는 UI를 표시하고, 상기 UI에 대한 사용자입력에 기초하여 상기 복수의 디스플레이장치를 선택하는 디스플레이장치.
컴퓨터프로그램제품에 있어서,
인스트럭션이 저장된 메모리와;
프로세서를 포함하고,
상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 사용자입력에 따른 시점에 기초하여, 360도영상으로부터, 복수의 스크린에 대응하며 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 분할영상을 생성하고, 상기 복수의 분할영상 중에서 디스플레이장치에 대응하는 스크린의 분할영상으로부터 상기 시점에 기초하여 프로젝션 영상을 생성하여 표시하는 것을 포함하는 컴퓨터프로그램제품.
서버에 있어서,
복수의 디스플레이장치와 통신하는 통신부와;
360도영상으로부터, 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 상기 복수의 디스플레이장치 각각의 스크린에 대응하는 복수의 분할영상을 생성하고, 상기 생성된 복수의 분할영상 각각을 상기 대응하는 디스플레이장치로 전송하도록 상기 통신부를 제어하는 제어부를 포함하는 서버.
제 11항에 있어서,
상기 제어부는, 상기 복수의 디스플레이장치의 스크린의 개수 및 상기 복수의 스크린 각각이 배치되는 위치에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 복수의 스크린에 대응하는 상기 복수의 분할영상을 생성하는 서버.
컴퓨터프로그램제품에 있어서,
인스트럭션이 저장된 메모리와;
프로세서를 포함하고,
상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 360도영상으로부터, 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 디스플레이장치 각각의 스크린에 대응하는 복수의 분할영상을 생성하고, 상기 생성된 복수의 분할영상 각각을 상기 대응하는 디스플레이장치로 전송하는 것을 포함하는 컴퓨터프로그램제품.
디스플레이장치의 제어방법에 있어서,
사용자입력에 따른 시점에 기초하여, 360도영상으로부터, 복수의 스크린에 대응하며 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 분할영상을 생성하는 단계와;
상기 복수의 분할영상 중에서 상기 디스플레이장치에 대응하는 스크린의 분할영상으로부터 상기 시점에 기초하여 프로젝션 영상을 생성하여 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
제 14항에 있어서,
상기 복수의 스크린의 개수 및 상기 복수의 스크린 중 상기 디스플레이장치의 스크린이 배치되는 위치에 기초하여 상기 분할영상의 화각을 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
디스플레이장치의 제어방법에 있어서,
사용자입력에 따라 네트워크 상에서 연결할 복수의 디스플레이장치를 선택하는 단계와;
360도영상으로부터, 상기 선택된 복수의 디스플레이장치의 각 스크린의 시점에 대응하는 복수의 분할영상을 생성하는 단계와;
상기 생성된 분할영상 각각을 구 형상에 매핑하는 단계를 포함하는 디스플레이장치의 제어방법.
제 16항에 있어서,
사용자입력에 따라, 상기 선택된 복수의 디스플레이장치의 스크린 각각에 대응하는 분할영상이 상기 구 형상에 매핑되는 위치를 설정하는 UI를 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
제 16항에 있어서,
사용자의 주변 공간에 배치된 장치들의 이미지를 보여주는 UI를 표시하는 단계와;
상기 UI에 대한 사용자입력에 기초하여 상기 복수의 디스플레이장치를 선택하는 단계를 포함하는 디스플레이장치의 제어방법.
서버의 제어방법에 있어서,
360도영상으로부터, 매핑할 구 형상의 대원을 포함하는 소정 영역 내에 있는 원주를 따라서 배치되도록 복수의 디스플레이장치 각각의 스크린에 대응하는 복수의 분할영상을 생성하는 단계와;
상기 생성된 복수의 분할영상 각각을 상기 대응하는 디스플레이장치 각각으로 전송하는 단계를 포함하는 서버의 제어방법.
제 19항에 있어서,
상기 복수의 디스플레이장치의 스크린의 개수 및 상기 복수의 스크린 각각이 배치되는 위치에 관한 정보를 수신하는 단계와;
상기 수신된 정보에 기초하여 상기 복수의 스크린에 대응하는 상기 복수의 분할영상을 생성하는 단계를 포함하는 서버의 제어방법.