KR102084970B1 - 가상현실 관람 방법 및 가상현실 관람 시스템 - Google Patents

Abstract

본 발명은, VR 제공 서버가 복수의 관람 위치 중 하나의 관람 위치에 대한 선택을 수신하는 단계, VR 제공 서버가 복수의 관람 위치 각각에서 캡쳐링되는 하나 이상의 VR 영상을 실시간으로 수신하는 단계 및 VR 제공 서버가 복수의 관람 위치 중 선택된 관람 위치에 대응하는 하나 이상의 실시간 VR 영상을 VR 단말로 전송하는 단계를 포함하는, 가상현실 관람 방법 및 가상현실 관람 시스템에 관한 것이다.

Description

가상현실 관람 방법 및 가상현실 관람 시스템{VIRTUAL REALITY VIEWING METHOD AND VIRTUAL REALITY VIEWING SYSTEM}

본 발명은 가상현실 관람 방법 및 가상현실 관람 시스템에 관한 것으로서, 구체적으로는 실시간으로 이루어지는 공연, 스포츠 등에 대한 동적인 관람을 원격의 관람자의 설정과 동작에 따라 가상현실 기술을 통해 이루어질 수 있도록 하는 가상현실 관람 방법 및 가상현실 관람 시스템에 관한 것이다.

가상현실(Virtual Reality : VR)은 컴퓨터 등에 가상의 공간을 만들어 체험자로 하여금 실제 존재하지 않거나 특정 장소에 있지 않은 공간을 체험하게 해주는 시스템을 의미한다.

대표적인 가상현실 기술 적용 제품으로서 가상현실 헤드셋 기기들이 있다. VR 헤드셋 기기는 가상현실의 공간상의 각종 이미지를 사용자에게 출력한다. 예를 들어, VR 헤드셋 기기는 입체적인 3차원의 이미지를 출력할 수 있다.

최근래의 VR 헤드셋 기기들은 스마트폰과 결합하여 입체적 3차원 영상을 출력할 수 있다. 예를 들어, VR 헤드셋 기기들은 스마트폰을 탑재할 수 있는 홀더와 홀더 상의 렌즈 등을 포함하여 스마트폰에서 출력되는 3차원 영상을 착용자의 좌안과 우안으로 출력하고 그에 따라 착용자는 좌안과 우안의 이미지 차에 따라 3차원의 입체 영상을 인식할 수 있다.

또한, 3차원 입체 영상을 획득하기 위한 카메라가 알려져 있다. 3D 스테레오 카메라는 2대의 카메라 렌즈를 이용하여 입체 영상을 획득할 수 있다. 획득된 2개의 영상은 3D 영상 생성에 이용 가능하다. 예를 들어, 2개의 일련의 영상은 VR 헤드셋 기기에 출력되어 착용자가 3차원의 입체 영상을 인식하거나 자연스러운 입체 영상의 획득 작업(예를 들어, 스테레오스코픽 작업)을 통해 VR 헤드셋 기기나 3차원 출력 장치에서 3D 입체 영상으로 출력된다.

VR 기술의 적용이 확산 됨에 따라 다양한 분야에서 활용 가능하다. 예를 들어, VR 기술은 3D 게임이나 자동차, 배, 비행기 등의 운전 교육, 체험 교육 등에 이용 가능하다. 심지어, 통신 기술이 발전함에 따라 VR 기술은 실시간 공연 중계를 위해서 이용 가능하다.

일 예로, VR 중계 시스템은 실시간 공연 중인 스포츠 중계 영상 및 음향을 3D 카메라나 마이크 등을 통해 수신하고 수신된 실시간 3D 영상 및 음향을 네트워크를 통해 연결된 VR 헤드셋 착용자에게 전달할 수 있다. 그에 따라, 착용자는 원격에서 스포츠 중계 등의 3D 영상을 인식할 수 있고 현장에 있는 것과 유사한 분위기를 느낄 수 있다.

기존 알려진 VR 중계 시스템은 실시간 관람 환경을 반영하지 못하는 한계가 존재하여 실제 공연장, 스포츠 구장 등에서 관람하는 것과 동일하거나 유사한 분위기를 느끼기에는 그 한계가 존재한다.

예를 들어, 공연장이나 관람석 위치에 따른 다양한 위치에서의 VR 중계가 가능해야 하나 특정 위치에서 캡쳐링된 VR 영상이 일방적으로 관람자에게 전달되고 있는 실정이다.

또한, 특정 위치에서도 다양한 VR 영상(3D 영상)의 획득이 필요하다. 예를 들어 스포츠를 관람하는 한 위치에서도 정면의 모습과 정면의 우측의 모습, 정면의 좌측의 VR 영상을 획득 가능하다면 착용자의 움직임과 연동한 VR 서비스를 제공할 수 있다.

또한, 관람석 등에 있는 분위기를 느끼기 위해서는 착용자의 움직임과 연동한 VR 영상을 제공할 필요가 존재한다.

이와 같이 기존 가상현실 관람 기법에서 야기되거나 인식되는 각종 문제점을 해소할 수 있는 가상현실 관람 방법 및 가상현실 관람 시스템이 필요하다.

10-2015-0105058(A), 2015년09월16일

본 발명은, 상술한 문제점을 해결하기 위해서 안출한 것으로서, 진행중인 실시간 이벤트에 대해 VR 영상을 이용하여 현장감 있는 원격 관람이 가능한 가상현실 관람 방법 및 가상현실 관람 시스템을 제공하는 데 그 목적이 있다.

또한, 본 발명은 진행중인 실시간 이벤트에 대하여 관람 가능한 여러 위치에서 각각 여러 VR 영상을 캡쳐링하고 관람자의 선택에 대응하는 위치에서 관람자의 움직임에 따라 대응하는 VR 영상을 제공할 수 있는 가상현실 관람 방법 및 가상현실 관람 시스템을 제공하는 데 그 목적이 있다.

또한, 본 발명은 진행중인 실시간 이벤트에 대한 VR 영상 관람과 함께 관람자의 움직임에 따라 친구 영상이나 중계 영상을 동적으로 제공하여 실시간 이벤트 관람 환경을 제공할 수 있는 가상현실 관람 방법 및 가상현실 관람 시스템을 제공하는 데 그 목적이 있다.

또한, 본 발명은 제공되는 VR 영상과 연계된 링크 제공과 관람 가능한 위치의 선택을 통해 관람자는 희망하는 위치에서 VR 영상을 통한 관람이 가능하고 VR 서비스 제공자는 VR 서비스 제공으로부터 각종 부가가치를 창출할 수 있는 가상현실 관람 방법 및 가상현실 관람 시스템을 제공하는 데 그 목적이 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 양상에 따른 가상현실 관람 방법은 (a) VR 제공 서버가 복수의 관람 위치 중 하나의 관람 위치에 대한 선택을 수신하는 단계, (b) VR 제공 서버가 복수의 관람 위치 각각에서 캡쳐링되는 하나 이상의 VR 영상을 실시간으로 수신하는 단계 및 (c) VR 제공 서버가 복수의 관람 위치 중 선택된 관람 위치에 대응하는 하나 이상의 실시간 VR 영상을 VR 단말로 전송하는 단계를 포함한다.

상기한 가상현실 관람 방법에 있어서, 단계 (b)는 각각의 관람 위치의 서로 상이한 화각에서 캡쳐링되는 복수의 VR 영상을 수신하고, 단계 (c)는 실시간으로 캡쳐링되는 복수의 VR 영상 중 VR 단말과 연동하여 결정되는 현재 VR 영상과 인접 VR 영상을 VR 단말로 전송한다.

상기한 가상현실 관람 방법에 있어서, 단계 (c) 이후에, (d) VR 제공 서버가 VR 단말로부터 제어 정보를 수신하는 단계, (e) VR 제공 서버가 제어 정보에 따라 VR 단말로 출력될 영상을 구성하는 단계 및 (f) VR 제공 서버가 제어 정보에 대응하여 구성되는 영상을 VR 단말로 전송하는 단계를 더 포함한다.

상기한 가상현실 관람 방법에 있어서, 제어 정보는 VR 단말의 움직임 데이터를 포함하고, 단계 (b)는 각각의 관람 위치의 서로 상이한 화각에서 캡쳐링되는 복수의 VR 영상을 수신하고, 단계 (e)는 움직임 데이터가 좌우 방향의 움직임을 나타내는 경우 복수의 VR 영상 중 좌우 방향의 움직임에 대응하는 화각의 VR 영상을 출력될 영상으로 구성한다.

상기한 가상현실 관람 방법에 있어서, 단계 (e)는 복수의 VR 영상 중 움직임 데이터에 대응하는 두 개의 VR 영상을 선택하고 선택된 두 개의 VR 영상의 합성으로 출력될 VR 영상을 구성한다.

상기한 가상현실 관람 방법에 있어서, 단계 (e)는, 움직임 데이터가 좌우 방향의 움직임을 나타내고 지정된 제1 각도 이상의 움직임인 경우에 설정된 다른 사용자를 나타내는 영상을 출력될 영상으로 구성하고, 움직임 데이터가 상하 방향의 움직임을 나타내고 지정된 제2 각도 이상의 움직임인 경우에 방송사에 의해서 생성된 중계 영상을 출력될 영상으로 구성한다.

상기한 가상현실 관람 방법에 있어서, 제어 정보는 VR 단말로 전송되는 VR 영상에 포함되는 링크에 대한 선택을 나타내는 선택 데이터를 포함하고, 단계 (e)는 선택 데이터의 수신에 따라 링크에 대응하는 영상을 출력될 영상으로 구성한다.

본 발명의 일 양상에 따른 가상현실 관리 시스템은 연결된 복수의 카메라로부터 관람자에게 전송될 VR 영상을 구성하는 VR 제공 서버를 포함하고, VR 제공 서버는, 복수의 카메라로부터 복수의 VR 영상을 수신하고 복수의 관람 위치 중 하나의 관람 위치에 대한 선택을 수신하는 통신 유닛, 각각의 관람 위치에서의 VR 영상을 대응하는 카메라의 화각에 따라 분류하여 임시 저장하고 관람자에 의해서 설정되고 상기 관람 위치에 대한 선택을 나타내는 설정 정보를 저장하는 저장 유닛 및 설정 정보의 선택 데이터에 따라 복수의 관람 위치 중 선택된 관람 위치에 대응하고 임시 저장된 VR 영상을 상기 통신 유닛을 통해 VR 단말로 전송하는 제어 유닛을 포함한다.

상기한 가상현실 관리 시스템에 있어서, 제어 유닛은 VR 단말로부터 움직임 데이터를 포함하는 제어 정보를 통신 유닛을 통해 수신하고 움직임 데이터가 좌우 방향의 움직임을 나타내는 경우 설정된 관람 위치에서의 복수의 VR 영상 중 좌우 방향의 움직임에 대응하는 화각의 두 개의 임시 저장된 VR 영상을 선택하고 선택된 두 개의 VR 영상을 합성하여 합성된 VR 영상을 통신 유닛을 통해 VR 단말로 전송한다.

상기한 가상현실 관리 시스템에 있어서, VR 제공 서버로부터 실시간 VR 영상을 수신하고 사용자에 의해 발생되는 이벤트에 따라 제어 정보를 생성하여 VR 제공 서버로 전송하는 VR 단말을 더 포함하고, VR 단말은 움직임 센서 또는 무선 네트워크로 연결된 입력 기기를 포함하여 움직임 센서를 통해 센싱된 움직임 데이터를 포함하는 제어 정보를 VR 제공 서버로 전송하거나 입력 기기를 통한 입력 데이터를 포함하는 제어 정보를 VR 제공 서버로 전송하고, VR 제공 서버는 제어 정보의 데이터에 따라 설정된 관람 위치의 복수의 VR 영상 중 VR 영상을 선택하고 선택된 VR 영상에 기초하여 구성되는 VR 영상을 VR 단말로 전송한다.

상기와 같은 본 발명에 따른 가상현실 관람 방법 및 가상현실 관람 시스템은 진행중인 실시간 이벤트에 대해 VR 영상을 이용하여 현장감 있는 원격 관람이 가능한 효과가 있다.

또한, 상기와 같은 본 발명에 따른 가상현실 관람 방법 및 가상현실 관람 시스템은 진행중인 실시간 이벤트에 대하여 관람 가능한 여러 위치에서 각각 여러 VR 영상을 캡쳐링하고 관람자의 선택에 대응하는 위치에서 관람자의 움직임에 따라 대응하는 VR 영상을 제공할 수 있는 효과가 있다.

또한, 상기와 같은 본 발명에 따른 가상현실 관람 방법 및 가상현실 관람 시스템은 진행중인 실시간 이벤트에 대한 VR 영상 관람과 함께 관람자의 움직임에 따라 친구 영상이나 중계 영상을 동적으로 제공하여 실시간 이벤트 관람 환경을 제공할 수 있는 효과가 있다.

또한, 상기와 같은 본 발명에 따른 가상현실 관람 방법 및 가상현실 관람 시스템은 제공되는 VR 영상과 연계된 링크 제공과 관람 가능한 위치의 선택을 통해 관람자는 희망하는 위치에서 VR 영상을 통한 관람이 가능하고 VR 서비스 제공자는 VR 서비스 제공으로부터 각종 부가가치를 창출할 수 있는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 예시적인 가상현실 관람 시스템을 도시한 도면이다.
도 2는 임의의 공연장이나 스포츠 구장 등에 설치되는 카메라의 배치 예를 도시한 도면이다.
도 3은 VR 제공 서버의 예시적인 블록도를 도시한 도면이다.
도 4는 예시적인 관람 예약 제어 흐름을 도시한 도면이다.
도 5는 관람 예약에 따라 실시간 VR 영상을 사용자에게 제공하는 예시적인 흐름을 도시한 도면이다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명에 따른 예시적인 가상현실 관람 시스템을 도시한 도면이다.

도 1에 따르면, 가상현실 관람 시스템은 VR 제공 서버(100), 하나 이상의 VR 단말(200), 하나 이상의 예약 단말(300) 및 복수의 카메라(400)를 포함한다.

가상현실 관람 시스템은 예약 단말(300)을 통해 관람할 공연이나 스포츠를 지정 예약하며 예약된 공연이나 스포츠를 구비된 카메라(400)들을 통해 실시간으로 캡쳐링하고 캡쳐링된 카메라(400)의 VR 영상(과 음향)을 VR 단말(200)로 제공할 수 있도록 구성된다.

도 1을 통해 가상현실 관람 시스템을 간단히 살펴보면, VR 제공 서버(100)는 연결되어 있는 공연장이나 스포츠 구장 각각의 복수의 카메라(400)로부터 VR 영상을 수신하고 관람자에게 전송될 VR 영상을 구성하여 관람자에 대응하거나 관람자가 착용하고 있는 VR 단말(200)로 전송한다. 전달되는 VR 영상은 마이크 등을 통해 캡쳐링되는 음향(Audio)을 더 포함할 수 있다. 이하에서 설명을 간략히 하기 위해 음향과 관련된 내용을 생략하도록 한다.

VR 제공 서버(100)는 복수의 공연장이나 스포츠 구장 등에 연결되어 실시간으로 진행중인 각각의 관람 위치에서의 복수의 카메라(400)로부터 캡쳐링된 VR 영상들을 수신하고 관람자의 선택에 따른 관람 위치에서의 VR 영상들 중 관람자의 움직임이나 입력에 따라 대응하거나 구성된 VR 영상을 해당 관람자의 VR 단말(200)로 전송 가능하다.

VR 제공 서버(100)는 VR 단말(200)에 연결되어 VR 단말(200)로부터 제어 정보를 수신할 수 있다. VR 제공 서버(100)는 수신된 제어 정보에 따라 관람자(사용자)에 의해 설정된 관람 위치의 여러 VR 영상들 중에서 제어 정보의 데이터에 대응하는 VR 영상(하나, 둘, 또는 3개)을 선택하고 선택된 VR 영상에 기초하여 전송될 VR 영상을 구성하고 구성된 VR 영상을 VR 단말(200)로 전송한다.

VR 제공 서버(100)에 대해서는 도 3 이하에서 상세히 살펴보도록 한다.

VR 단말(200)은 VR 영상과 나아가 수신된 음향을 시청하고 들을 수 있는 기기이다. VR 단말(200)은 예를 들어 VR 영상을 시각적으로 인식할 수 있는 VR 헤드셋을 포함할 수 있다.

VR 헤드셋은 관람자의 머리에 착용 될 수 있도록 구성되고 좌안용 렌즈, 우안용 렌즈 및 하나 이상의 디스플레이를 포함하여 디스플레이를 통해 표시된 이미지를 관람자가 시각적으로 인식할 수 있도록 구성된다.

디스플레이는 단일 디스플레이거나 분리된 두 개의 디스플레이일 수 있다. 단일 디스플레이로 구성된 경우에 디스플레이는 두 개의 영역으로 구분되어 좌측 디스플레이 영역에 VR 영상 중 좌안용 영상이 디스플레이되고 우측 디스플레이 영역에 VR 영상 중 우안용 영상이 디스플레이될 수 있다.

VR 단말(200)은 VR 제공 서버(100)로부터 실시간 VR 영상을 수신하고 이를 디스플레이를 통해 표시하고 관람자는 입체적인 VR 영상(3D 영상)을 인식할 수 있다. VR 단말(200)은 VR 영상을 출력하기 위한 전용 기기이거나 다른 단말기와 결합하는 기기일 수 있다. 예를 들어, VR 단말(200)은 스마트폰을 수용하는 공간을 구비하고 이 공간에 스마트폰을 탑재하고 스마트폰이 디스플레이를 통해 VR 제공 서버(100)로부터 수신된 VR 영상을 출력할 수 있다.

VR 단말(200)(의 스마트폰)은 움직임 센서를 구비하고 나아가 무선 네트워크(예를 들어 블루투스)에 연결된 입력 기기를 더 포함할 수 있다. 움직임 센서는 VR 단말(200)의 움직임을 인식할 수 있는 센서로서 예를 들어 자이로 센서 또는 지자기 센서 또는 VR 단말(200)의 임의 방향(예를 들어, 3축의 X, Y, Z 축 등)으로의 이동(회전)을 알 수 있는 센서 등일 수 있다. 움직임 센서는 VR 단말(200)( 관람자)의 움직임을 센싱할 수 있고 적어도 VR 단말(200)( 관람자)의 움직임의 방향성(VR 단말(200)의 회전 방향)을 센싱할 수 있도록 구성된다.

VR 단말(200)의 입력 기기는 스마트폰이나 VR 단말(200)의 내부 제어 유닛에 입력 신호를 무선 네트워크를 통해 전송할 수 있다. 입력 신호는 예를 들어 입력 기기에 구비된 복수의 버튼 중 선택된 버튼을 나타내거나 특정 버튼의 눌림을 나타내는 데이터일 수 있다.

VR 단말(200)은 입력 기기의 입력 신호 이벤트나 움직임 이벤트와 같은 사용자(관람자)에 의해 발생되는 이벤트에 따라 제어 정보를 생성하고 이를 VR 제공 서버(100)로 전송한다.

예를 들어, VR 단말(200)은 움직임 센서를 통해 센싱된 움직임 데이터를 포함하는 제어 정보를 VR 제공 서버(100)로 전송한다. 움직임 데이터는 예를 들어 3축( 이상의) 자이로 센서 등에 의해서 센싱되고 필요시 필터링된 피치(Pitch), 요(Yaw), 롤(Roll) 값 등일 수 있다. 피치, 요, 롤 값은 VR 단말(200)(의 움직임 센서)를 중심점으로 하여 X축과 Y축 및 Z축에 대한 방향성을 나타낼 수 있다. VR 단말(200)은 움직임 센서를 통해 결정된 움직임 데이터(X축,Y축 및/또는 Z축의 방향 데이터나 피치, 요 및 롤 데이터)를 포함하는 제어 정보를 지정된 주기(예를 들어, 1초 등)에 따라 전송하거나 이전 움직임 데이터와 임계치 이상의 차이를 인식한 경우에 센싱된 움직임 데이터를 포함하는 제어 정보를 VR 제공 서버(100)로 전송한다.

또한(또는), VR 단말(200)은 입력 기기로부터 입력 신호를 수신하고 수신된 입력 신호에 대응하는 입력 데이터를 구성하고 구성된 입력 데이터를 포함하는 제어 정보를 광대역 네트워크를 통해 VR 제공 서버(100)로 전송한다. 입력 데이터는 인접하는(좌측이나 우측의) VR 영상의 선택을 나타내거나 중계 영상의 선택을 나타내거나 VR 영상 내의 링크 영상을 선택을 나타낼 수있다.

예약 단말(300)은 VR 제공 서버(100)에서 이용 가능한 실시간 VR 관람을 예약하는 단말이다. 예약 단말(300)은 예를 들어 스마트폰, 태블릿 PC, 노트북, 개인용 컴퓨터 등일 수 있다. 예약 단말(300)은 VR 단말(200)에 포함되는 스마트폰과 동일한 기기일 수 있다.

예약 단말(300)은 구비된 웹 브라우저 등을 통해 VR 제공 서버(100)에 로그인하고 VR 제공 서버(100)에서 제공하는 각종 실시간 관람(중계) 중 하나 이상의 VR 관람을 예약할 수 있다.

예약 단말(300)은 웹 브라우저를 통해 VR 제공 서버(100)에 로그인하고 예약 가능한 복수의 공연 관람, 스포츠 관람들 중 하나 이상의 관람을 선택하고 선택된 관람에서 관람가능한 여러 위치 중 하나의 위치를 선택할 수 있다. 예약 단말(300)은 VR 영상을 수신할 VR 단말(200)을 지정할 수 있다. 예를 들어, 예약 단말(300)은 VR 단말(200)의 식별자(예를 들어 IP 주소나 휴대전화번호 등)를 설정할 수 있다.

그 외, 예약 단말(300)은 동일한 관람 위치에서 예약된 다른 관람자(예를 들어, 예약 단말(300)의 사용자에 의해 액세스가 허용된 사용자)를 선택할 수 있고 VR 단말(200)은 VR 단말(200)의 움직임에 따라 해당 관람자로부터의 영상을 수신할 수 있다.

카메라(400)는 공연장이나 스포츠 구장 등에 설치되어 VR 영상(3D 영상)을 캡쳐링하고 캡쳐링된 VR 영상을 실시간으로 VR 제공 서버(100)로 전송한다.

각각의 공연장에는 여러 관람 위치 각각에 복수의 3D 카메라(400)를 구비하고 각 관람 위치의 복수의 카메라(400) 각각은 공연이나 스포츠가 이루어지는 스테이지( 무대, 스포츠 구장, 운동장 등)를 중심으로 서로 상이한 화각의 3D 이미지 영상을 캡쳐링한다.

도 2는 임의의 공연장이나 스포츠 구장 등에 설치되는 카메라(400)의 배치 예를 도시한 도면이다.

도 2의 공연장이나 구장 등은 연극, 오페라, 뮤지컬 등의 공연장이거나 축구, 야구, 농구, 배구, 테니스 등의 스포츠 구장일 수 있다.

3D 영상(VR 영상)을 캡쳐링하는 카메라(400)들은 공연장이나 구장 내의 지정된 위치에 고정 설치된다. 카메라(400)들은 공연이나 스포츠가 이루어지는 무대나 운동장을 중심으로 임의의 특정 위치에 고정 설치된다.

카메라(400)들은 복수의 관람 위치에 설치되고 각각의 관람 위치에는 복수의 카메라(400)가 설치된다. 각각의 카메라(400)는 3D 영상을 캡쳐링하는 화각(Angle of View)을 가진다. 각 관람 위치에서 설치되어 있는 각각의 카메라(400)는 서로 다른 화각(의 범위)을 가진다. 각 관람 위치의 복수의 카메라(400)들은 렌즈에 따른 임의 크기의 화각을 가지고 하나 이상의 카메라(400)는 광각 카메라일 수 있다.

각 관람 위치의 복수의 카메라(400)들은 스테이지를 중심으로 서로 다른 화각을 가진다. 예를 들어, 복수의 카메라(400) 중 중앙(기준)의 카메라(400)는 스테이지의 중앙을 향하는 화각을 가지고 그 우측의 카메라(400)는 중앙 카메라(400)보다 스테이지 우측을 향하는 화각을 가지며 좌측의 카메라(400)는 중앙 카메라(400)보다 스테이지 좌측을 향하는 화각을 가진다.

이와 같이, 중앙 카메라(400)로부터 우측에 설치되어 있는 카메라(400)들은 인접 좌측 방향의 카메라(400)보다 더 우측 방향을 향하는 화각을 가진다. 또한, 중앙 카메라(400)로부터 좌측에 설치되어 있는 카메라(400)들은 인접 우측 방향의 카메라(400)보다 더 좌측 방향을 향하는 화각을 가진다.

인접하는 카메라(400)는 서로 다른 각도(예를 들어, 설정된 10도 만큼의)로 향하는 화각을 가지고 두 카메라(400)는 중복되는 VR 영상 이미지를 캡쳐링하고 화각의 차이에 따라 VR 영상의 끝단에 서로 다른 영상 이미지를 캡쳐링하도록 구성된다. 예를 들어, 중앙 카메라(400)는 스테이지 중앙을 향하는 카메라 지향각(0도)을 가지고, 인접 우측 카메라(400)는 중앙 카메라(400)보다 10도 우측 방향의 지향각을 가지고 인접 좌측 카메라(400)는 중앙 카메라(400)보다 10도 좌측 방향의 지향 각을 가진다. 이와 같이 인접하는 카메라(400)들은 서로 다른 카메라 지향각도를 가진다.

특정 관람 위치는 스테이지(무대)에서 더 가깝거나 특정 팀(홈팀)을 응원하는 관람석에 위치할 수 있다. 다른 관람 위치는 스테이지에서 멀거나 다른 팀을 응원하는 관람석에 위치할 수 있다. 각 관람 위치별로 서로 다른 메리트를 관람자에게 제공할 수 있다.

각각의 공연장이나 구장 등에는 관람 가능한 복수의 관람 위치가 존재하고 각각의 관람 위치에는 하나 이상의(바람직하게는 복수의) 카메라(400)가 설치된다. 복수의 카메라(400)는 인접하는 카메라(400)와 중첩하는 서로 다른 지향 화각을 가지는 VR 영상을 캡쳐링하고 이를 VR 제공 서버(100)로 전송할 수 있다. 전송되는 VR 영상은 지정된 압축 포맷에 따른 압축 영상으로 전송될 수 있고 압축 영상은 타임 스탬프를 포함한다.

예를 들어, 동일 위치의 복수의 카메라(400)는 동일한 타임 스탬프를 포함하는 압축 영상을 VR 제공 서버(100)로 전송할 수 있다. 이 경우, 복수의 카메라(400)는 영상 전송 장치(도면 미도시)로 캡쳐링된 영상 신호를 전송하고 영상 전송 장치가 각각의 영상 신호를 압축 영상으로 압축하고 복수 카메라(400)로부터 동일 시점에 인식되거나 압축된 영상 프레임에 동일한 타임 스탬프를 기록하여 VR 제공 서버(100)로 전송할 수 있다.

서로 다른 화각에서 캡쳐링된 VR 영상은 영상 프레임별로 타임 스탬프를 포함하고 타임 스탬프는 이후 VR 영상 변경(앵글 뷰 변경)에 이용될 수 있다.

광대역 네트워크(도면부호 미도시)는 VR 단말(200), 예약 단말(300), 카메라(400) 및/또는 VR 제공 서버(100)와 각종 데이터를 송수신하는 네트워크이다. 광대역 네트워크는 유선과 무선 네트워크의 조합으로 구성되고 예를 들어 인터넷망을 구성할 수 있다.

광대역 네트워크를 통해 각종 제어 데이터와 VR 영상 등이 송수신될 수 있다.

도 3은 VR 제공 서버(100)의 예시적인 블록도를 도시한 도면이다.

도 3에 따르면 VR 제공 서버(100)는 통신 유닛(101), 저장 유닛(103), 연결 유닛(105) 및 제어 유닛(107)을 포함한다. 도 3은 바람직하게는 기능 블록도를 나타내며 대응하는 하드웨어 블록을 각 기능 블록들은 구비한다. 도 3의 VR 제공 서버(100)는 다양한 하드웨어를 이용하여 구성될 수 있다. 예를 들어 VR 제공 서버(100)는 하나 이상의 PC, 워크스테이션 및/또는 서버 프레임 등을 이용하여 구성될 수 있다.

VR 제공 서버(100)는 관람자 등에 제공하는 그 기능에 따라 복수 개의 물리적 또는 논리적 서버로 분리 구성될 수 있다. 예를 들어, VR 제공 서버(100)는 관람 예약을 수행하는 서버와 예약 후 실시간 VR 영상 중계를 담당하는 서버로 분리되어 구성될 수도 있다.

도 3을 통해 VR 제공 서버(100)를 살펴보면, 통신 유닛(101)은 광대역 네트워크와 데이터를 송수신하기 위한 인터페이스이다. 통신 유닛(101)은 복수의 카메라(400), 예약 단말(300) 및/또는 VR 단말(200) 등과 데이터를 송수신할 수 있도록 구성된다. 통신 유닛(101)은 예를 들어 유선랜 등에 연결되기 위한 통신 칩셋을 구비하여 유선랜을 통해 광대역 네트워크에 연결 가능하다.

예를 들어, 통신 유닛(101)은 예약 단말(300)로부터 예약 관람의 선택, 관람 위치의 선택, 다른 관람자의 선택 등과 같은 각종 관람 예약 설정에 관련된 정보나 데이터를 수신하고 이를 제어 유닛(107)으로 전달하거나 저장 유닛(103)에 저장할 수 있다. 또한, 통신 유닛(101)은 복수의 카메라(400)로부터의 복수의 VR 영상을 수신하고 수신된 복수의 VR 영상을 (제어 유닛(107)을 통해 )저장 유닛(103)에 저장할 수 있다.

저장 유닛(103)은 휘발성 메모리, 비휘발성 메모리 및/또는 하드디스크 등과 같은 대용량 저장매체를 포함하여 각종 데이터와 프로그램을 저장한다. 저장 유닛(103)은 관람 예약 등록을 위한 예약 프로그램, 실시간 VR 영상을 예약한 관람자의 대응하는 VR 단말(200)에 제공하기 위한 VR 제공 프로그램 등을 포함하여 각종 서비스를 관람자 등에 제공할 수 있다.

또한, 저장 유닛(103)은 각종 데이터를 저장한다. 예를 들어, 저장 유닛(103)은 현재 실시간으로 진행되고 있는 공연장이나 스포츠 구장에서 캡쳐링되는 VR 영상을 임시 저장한다. 예를 들어, 저장 유닛(103)은 현재 실시간 진행되고 있는 공연장이나 구장에 대응하는 디렉토리와 디렉토리 내에 관람 위치별 구분되는 서브 디렉토리를 포함하여 각 관람 위치별 VR 영상을 대응하는 서브 디렉토리에 임시 저장할 수 있다. 서브 디렉토리에 저장되는 카메라(400)에 대응하는 VR 영상은 카메라(400)의 화각에 따라 제어 유닛(107)에 의해 인식 가능하도록 분류되어 저장된다. 예를 들어, 관람 위치별 서브 디렉토리는 카메라(400)별로 VR 영상을 분리하여(다른 파일 이름이나 다른 디렉토리 이름으로) 카메라(400)별 VR 영상을 저장한다.

또한, 저장 유닛(103)은 관람자에 의해서 설정되고 특정 스테이지 내에서의 특정 관람 위치의 선택을 적어도 나타내며 다른 정보를 더 포함하는 설정 정보를 저장한다. 이를 위해, 저장 유닛(103)은 다수의 DB를 저장 구조로 포함한다.

예를 들어, 저장 유닛(103)은 사용자 DB, 관람 DB 및 예약 DB를 포함한다.

사용자 DB는 VR 제공 서버(100)를 통해 특정 공연이나 스포츠를 실시간 VR 관람이 가능한 사용자를 특정하기 위한 DB이다. 사용자 DB는 하나 이상의 엔트리로 구성되고 각각의 엔트리는 사용자 식별자와 패스워드를 포함하고 VR 단말(200)의 식별자 및 다른 관람자의 식별자 리스트를 포함한다.

사용자 식별자는 예를 들어 사용자 ID(숫자, 문자 및/또는 특수문자의 조합으로 구성)를 나타내고 패스워드는 사용자에 의해 설정되고 VR 제공 서버(100)에 로그인시 이용되는 숫자, 문자 및/또는 특수문자의 조합으로 구성된다. VR 단말(200)의 식별자는 사용자(관람자)가 이용하는 VR 단말(200)을 식별할 수 있는 정보로서 예를 들어 VR 단말(200)의 IP주소, MAC 주소 및/또는 휴대전화번호 등일 수 있다. 식별자 리스트는 다른 사용자의 식별자를 포함할 수 있다. 식별자 리스트는 예를 들어 본 사용자에 의해 등록되고 다른 사용자에 의해 허락받은 다른 사용자의 식별자를 하나 이상 포함할 수 있다. 식별자 리스트를 통해 사용자는 (동일한 공연이나 스포츠를 VR 관람중인) 친구의 영상이나 이미지를 획득 가능하다.

관람 DB는 VR 제공 서버(100)를 통해 VR 영상을 실시간으로 제공 가능한 관람 이벤트를 특정하기 위한 DB이다. 관람 DB는 하나 이상의 엔트리로 구성된다. 각각의 엔트리는 관람 이벤트 식별자, 관람 일시, 시작 시각, 종료 시각, 관람 이벤트 설명 정보, 관람 이벤트의 스테이지 상에서의 선택가능한 관람 위치 정보를 포함한다.

관람 이벤트 식별자는 다른 관람 이벤트와 구별하기 위한 숫자, 문자 및/또는 특수문자의 조합으로 구성된다. 관람 이벤트 식별자는 VR 제공 서버(100) 등에 의해 설정될 수 있다. 관람 일시, 시작 시각 및 종료 시각은 관람 이벤트가 발생하는 시각을 특정한다. 관람 이벤트 설명 정보는 사용자에게 관람 이벤트를 설명하기 위해서 제공되는 정보로서 예를 들어 관람 이벤트의 제목, 관람 이벤트의 특징점, 유의 사항 등의 정보를 텍스트나 이미지로 포함한다.

관람 위치 정보는 관람 이벤트 내에서 관람 가능한 하나 이상의 위치에 대한 정보를 포함하고 스테이지를 중심으로 상대적인 각 관람 위치에 대한 정보, 각 관람 위치의 VR 관람 신청시 소요되는 비용, 각 관람 위치의 특징점 등에 대한 데이터를 저장한다.

관람 위치 정보는 각 관람 위치에 설치되어 있는 복수 카메라(400)의 식별자, (지향) 화각 정보 및 대응하는 복수의 움직임 정보를 저장한다. 카메라(400) 각각의 식별자는 다른 카메라(400)와 구별하기 위한 데이터로서 예를 들어 카메라(400)의 IP 주소, MAC 주소나 숫자로 구성된 인덱스 등을 포함한다. 각각의 화각 정보는 예를 들어 복수 카메라(400) 중 기준(중앙) 카메라(400)에서 스테이지 중심까지의 선에서의 각 카메라(400)가 지향하는 화각의 상대적인 좌우 방향의 각도로 표현될 수 있다.

예를 들어, 중앙의 카메라(400)는 화각이 0도로 설정되고 인접 좌측의 카메라(400)는 +10도로 설정되고 인접 우측의 카메라(400)는 -10도 등으로 설정될 수 있다. 각각의 카메라(400)는 서로 다른 지향 화각을 통해 VR 영상을 캡쳐링한다.

움직임 정보는 각 화각에 대응하여 매칭되는 VR 단말(200)의 움직임 데이터를 나타내거나 추출할 수 있다. VR 단말(200)의 움직임 데이터는 해당 카메라(400)의 화각에 매칭되는 관람자의 움직임을 나타낼 수 있다. 움직임 정보는 그 외 움직임 데이터의 범위를 더 포함할 수도 있다.

예약 DB는 등록된 사용자에 의해 관람 예약된 정보를 저장한다. 예약 DB는 하나 이상의 엔트리로 구성되고 각각의 엔트리는 사용자 식별자, 관람 이벤트 식별자 및 예약 설정 정보를 포함한다. 예약 설정 정보는 사용자(관람자)에 의해 설정된 관람 위치의 선택 데이터, 사용자에 의해 설정된 다른 사용자(친구)의 식별자(이하 '친구 식별자'로 지칭함)를 포함한다. 친구 식별자는 두 개가 존재할 수 있고 각각의 친구 식별자는 맵핑된 방향 정보(예를 들어 좌측이나 우측 등)와 함께 예약 설정 정보에 저장된다.

연결 유닛(105)은 VR 제공 서버(100) 내의 블록 간 데이터를 송수신한다. 연결 유닛(105)은 근거리 네트워크, 병렬 버스, 시리얼 버스 등을 이용하여 구성된다.

제어 유닛(107)은 하나 이상의 실행 유닛(Execution Unit)을 구비하여 저장 유닛(103)에 저장되어 있는 프로그램을 로딩하고 실행 유닛을 통해 프로그램 명령어 코드를 실행하여 VR 제공 서버(100)를 제어하고 실시간 VR 영상 제공 서비스를 사용자(관람자)에게 제공한다.

예를 들어, 제어 유닛(107)은 저장 유닛(103)의 예약 프로그램을 로딩하여 각종 사용자로부터의 예약 요청을 수신하고 예약 DB에 신규의 엔트리를 추가하여 예약 관련된 각종 처리를 수행할 수 있다.

또한(또는), 제어 유닛(107)은 저장 유닛(103)의 VR 제공 프로그램을 로딩하여 현재 실시간으로 진행중인 관람 이벤트의 복수의 관람 위치 각각의 복수의 VR 영상을 수신하고 저장 유닛(103)에 임시 저장하고 해당 관람 이벤트를 예약한 사용자의 VR 단말(200)로 예약 설정 정보의 선택 데이터에 따라 복수의 관람 위치 중 선택된 관람 위치에 대응하고 저장 유닛(103)에 임시 저장된 VR 영상을 통신 유닛(101)을 통해 전송한다.

또한, 제어 유닛(107)은 VR 영상을 관람중인 VR 단말(200)로부터 제어 정보를 통신 유닛(101)을 통해 수신한다. 제어 정보는 움직임 데이터나 입력 데이터 등을 포함한다. 제어 유닛(107)은 제어 정보의 움직임 데이터나 입력 데이터에 대응하는 하나 이상의 VR 영상을 선택하고 선택된 VR 영상을 VR 단말(200)로 통신 유닛(101)을 통해 전송할 수 있다.

예를 들어, 제어 유닛(107)은 움직임 데이터가 좌우 방향의 움직임을 나타내는 경우에 이 좌우 방향의 움직임에 대응하는 VR 영상을 선택한다. 제어 유닛(107)은 설정된 관람 위치의 복수의 카메라(400) 중에서 이 움직임 데이터에 가장 가까운 카메라(400)를 선택하고 선택된 카메라(400)의 임시 저장된 VR 영상을 통신 유닛(101)을 통해 VR 단말(200)로 전송한다. 또는 제어 유닛(107)은 설정된 관람 위치의 복수의 카메라(400) 중에서 이 움직임 데이터에 가장 인접하는 두 개의 카메라(400)를 선택한다. 제어 유닛(107)은 선택된 두 개의 카메라(400)의 임시 저장된 VR 영상을 수신된 움직임 데이터와 인접한 각각의 카메라(400)와의 거리를 반영하여 하나의 영상으로 합성하고 합성된 VR 영상을 통신 유닛(101)을 통해 VR 단말(200)로 전송한다.

제어 유닛(107)에서 이루어지는 주요한 제어 흐름은 도 4 및 도 5에서 상세히 살펴보도록 한다.

도 4는 예시적인 관람 예약 제어 흐름을 도시한 도면이다.

먼저, 예약 단말(300)은 VR 제공 서버(100)에 액세스(S101)한다. 예를 들어, 예약 단말(300)은 구비된 웹 브라우저를 통해 VR 제공 서버(100)에 액세스하고 사용자 ID와 패스워드 등의 입력을 통해 VR 제공 서버(100)에 로그인할 수 있다.

이후, 예약 단말(300)은 웹 브라우저를 통해 관람 예약 가능한 예약 리스트를 브라우징(S103)한다. VR 제공 서버(100)(의 제어 유닛(107))는 웹 브라우저를 통한 예약 페이지 전송 요청에 따라 관람 DB를 이용하여 예약 리스트를 포함하는 예약 페이지를 구성하여 예약 단말(300)로 통신 유닛(101)을 통해 전송한다. 예약 리스트는 하나 이상의 예약 아이템으로 구성되고 각각의 예약 아이템은 관람 이벤트 식별자를 포함하고 관람 이벤트의 제목, 관람 일시, 시작 시각, 종료 시각 등의 정보를 포함하여 웹 브라우저 등에 디스플레이된다.

예약 단말(300)의 사용자는 예약 리스트를 브라우징하여 특정 예약 아이템을 선택하여 추가적인 정보를 확인 가능하다. 예를 들어, 예약 단말(300)에서의 사용자 입력의 수신에 따라, 예약 단말(300)은 VR 제공 서버(100)와 연동하여 선택된 예약 아이템의 관람 이벤트 설명 정보를 디스플레이로 출력할 수 있다.

예약 단말(300)은 예약 리스트의 브라우징을 통해 관람 예약을 위해 여러 예약 가능한 아이템 중에서 특정 예약 아이템을 선택(S105)한다. 예를 들어, 예약 단말(300)은 사용자 입력에 따라 특정 예약 아이템을 선택할 수 있다.

특정 예약 아이템이 선택됨에 따라, VR 제공 서버(100)(의 제어 유닛(107))는 예약 단말(300)로부터의 선택된 예약 아이템의 대응 관람 이벤트 식별자로부터 관람 DB에서 관람 이벤트 식별자로 검색되는 엔트리의 관람 위치 정보를 추출하고 추출된 관람 위치 정보를 예약 단말(300)로 통신 유닛(101)을 통해 전송한다.

예약 단말(300)은 수신된 관람 위치 정보를 디스플레이하고 예약 단말(300)은 사용자의 입력에 따라 특정 관람 위치를 선택(S107)한다. 선택된 관람 위치에 대한 선택 데이터를 VR 제공 서버(100)가 이후 수신한다.

또한, 예약 단말(300)은 로그인한 사용자가 해당 관람 위치에서 실시간 VR 영상을 관람하는 경우에 인접하게 위치할 다른 관람자나 사용자를 선택(S109)할 수 있다. 예를 들어, 예약 단말(300)은 로그인한 사용자의 엔트리(사용자 DB의 엔트리)에 포함된 다른 관람자 식별자 리스트를 VR 제공 서버(100)로부터 수신하고 이를 디스플레이하고 특정 하나의(두 개의) 관람자 식별자에 대한 선택을 사용자 입력을 통해 수신할 수 있다. 선택되는 관람자 식별자(친구 식별자)는 방향 선택(예를 들어 좌측 방향, 우측 방향 등)과 함께 사용자로부터 수신될 수 있다.

이후, 예약 단말(300)은 확인 과정이나 결제 과정을 통해 예약을 완료(S111)할 수 있다. 예약이 완료됨에 따라, 예약 단말(300)은 예약 완료 신호(요청)를 VR 제공 서버(100)로 전송하고 VR 제공 서버(100)(의 제어 유닛(107))는 예약 DB에 신규 엔트리를 생성하고 엔트리에 로그인한 사용자의 식별자, 예약한 관람의 관람 이벤트 식별자 및 예약 설정 정보를 저장한다. 예약 설정 정보는 선택된 관람 위치 데이터, 하나 이상의 친구 식별자를 포함한다. 친구 식별자는 방향 정보와 함께 맵핑되어 저장될 수 있다.

VR 제공 서버(100)(의 제어 유닛(107))는 사용자 식별자를 로그인 과정을 통해 획득할 수 있고 관람 이벤트 식별자와 예약 설정 정보는 예약 단말(300)과 연동한 사용자 선택에 따라 그 정보가 예약 단말(300)로부터 수신되어 설정될 수 있다.

예약이 완료됨에 따라, 이후 VR 제공 서버(100)(의 제어 유닛(107))는 예약을 요청한 각각의 사용자에게 실시간으로 지정된 관람 위치에서의 VR 영상을 제공할 수 있다.

도 5는 관람 예약에 따라 실시간 VR 영상을 사용자에게 제공하는 예시적인 흐름을 도시한 도면이다.

관람 DB의 특정 엔트리의 관람 이벤트가 시작(관람 DB의 엔트리의 관람 일시 및 시작 시각의 인식을 통해)됨에 따라, VR 제공 서버(100)(의 제어 유닛(107))는 관람 이벤트의 복수의 관람 위치 각각의 복수의 카메라(400) 각각으로부터 실시간으로 캡쳐링되는 VR 영상을 통신 유닛(101)을 통해 수신(S201)한다.

VR 제공 서버(100)(의 제어 유닛(107))는 수신된 관람 위치별 카메라(400)의 VR 영상을 저장 유닛(103)에 임시 저장(S203)한다. 예를 들어, VR 제공 서버(100)(의 제어 유닛(107))는 저장 유닛(103)에 관람 이벤트의 각 관람 위치 디렉토리의 각 카메라(400)에 대응하는 서브 디렉토리(예를 들어, 카메라(400)의 식별자 이름의 디렉토리)에 각 카메라(400)로부터 VR 영상을 수신하여 임시 저장한다. 복수의 관람 위치 각각으로부터 수신되는 복수의 카메라(400)는 관람 위치에서 서로 상이한 화각을 가지고 설치되고 VR 제공 서버(100)(의 제어 유닛(107))는 관람 위치별로 서로 상이한 화각에서 캡쳐링되는 VR 영상들을 카메라(400)들로부터 수신한다.

S201 과정과 S203 과정은 관람 이벤트의 시작에서부터 관람 이벤트의 종료시 까지 반복적으로 수행된다. 수신된 VR 영상은 압축된 포맷으로 수신될 수 있고 VR 영상의 각각의 프레임은 타임 스탬프를 가질 수 있다. 동일한 타임 스탬프를 가지는 각 VR 영상의 프레임은 동일한 시각 또는 적어도 프레임 시각차 이내에서 캡쳐링된 이미지이다.

또한, VR 제공 서버(100)(의 제어 유닛(107))는 저장 유닛(103)의 예약 DB에서 현재 VR 영상을 수신하고 있는 관람 이벤트를 관람하는 예약 엔트리를 검색한다. 예를 들어, VR 제공 서버(100)(의 제어 유닛(107))는 관람 이벤트의 식별자를 가지는 모든 예약 엔트리를 추출할 수 있다. 이후, 예약 엔트리의 모든 VR 단말(200)로 여러 관람 위치 중 관람자별로 선택된 관람 위치의 실시간 VR 영상을 VR 제공 서버(100)(의 제어 유닛(107))가 전송할 수 있다.

그 과정을 구체적으로 살펴보면, VR 제공 서버(100)(의 제어 유닛(107))는 실시간 VR 영상이 생성중인 관람 이벤트를 관람 예약한 관람자별 초기 VR 영상 설정을 셋팅(S205)한다.

예를 들어, VR 제공 서버(100)(의 제어 유닛(107))는 검색된 관람자별 예약 엔트리의 각 VR 단말(200)과 광대역 네트워크를 통해 VR 영상과 제어 정보를 송수신하기 위한 하나 이상의 통신 채널을 설정하고 각 VR 단말(200)로부터 설정 초기의 움직임 데이터를 포함하는 설정 정보를 설정된 통신 채널로부터 통신 유닛(101)을 통해 수신한다.

VR 단말(200)은 VR 제공 서버(100)와 통신 채널을 설정하고 사용자의 입력(예를 들어 입력 기기의 버튼 입력) 등에 따라 구비된 움직임 센서를 통해 센싱된 데이터로부터 3축(X,Y,Z축)(이나 피치,요,롤)의 움직임 데이터를 생성하고 생성된 움직임 데이터를 포함하는 설정 정보를 VR 제공 서버(100)로 전송한다.

VR 제공 서버(100)(의 제어 유닛(107))는 관람자별로 VR 단말(200)로부터 수신된 초기 움직임 데이터를 관람자가 선택한 관람 위치의 기준(중앙) 카메라(400)의 움직임 정보(움직임 데이터, 관람 엔트리의 관람 위치 정보)에 매칭시킨다. 매칭에 따라, 초기 움직임 데이터와 기준 카메라(400)의 움직임 데이터의 상대적 차가 결정될 수 있다.

이에 따라, 초기의 움직임 데이터가 관람자가 선택한 관람 위치의 스테이지 중앙을 향한 화각을 가지는 중앙 카메라(400)의 움직임 정보에 매칭되고 이후 수신된 움직임 데이터의 상대적인 차에 따라 다른 화각의 카메라(400)가 선택 가능하다.

VR 제공 서버(100)(의 제어 유닛(107))는 각 관람자별 초기 VR 영상 설정을 데이터로 저장 유닛(103)에 저장할 수 있다. 예를 들어, VR 제공 서버(100)(의 제어 유닛(107))는 관람자의 선택된 관람 위치 식별자, VR 단말(200)로부터의 현재 움직임 데이터, 현재 선택된 영상(현재 선택된 카메라(400))의 식별자, 현재 선택된 카메라(400)의 인접 카메라(400)의 식별자, 초기 수신된 움직임 데이터 및 기준 카메라(400)의 움직임 데이터의 차이 등과 같은 VR 영상 제어를 위한 각종 설정 정보를 저장한다.

초기에 수신되는 설정 정보에 따라, 현재 움직임 데이터는 초기의 움직임 데이터로 설정되고 초기 움직임 데이터의 수신에 따라 현재 선택된 영상의 식별자는 예를 들어 기준(중앙) 카메라(400)의 식별자일 수 있다. 인접 카메라(400)의 식별자는 기준(중앙) 카메라(400)의 한 방향(좌측이나 우측)에 바로 인접한 카메라(400)일 수 있다.

VR 단말(200)로부터 움직임 등에 따른 제어 정보의 수신 이전에, VR 제공 서버(100)(의 제어 유닛(107))는 각 관람자별 선택된 관람 위치에서의 VR 영상 설정에 따라 VR 영상을 구성(S207)한다.

예를 들어, VR 제공 서버(100)(의 제어 유닛(107))는 VR 영상 설정( 데이터)의 현재 영상(현재 선택된 카메라(400))의 식별자를 이용하여 선택된 관람 위치의 서브 디렉토리(현재 선택된 카메라(400)에 대응하는 서브 디렉토리)에 임시 저장되어 있는 타임 스탬프에 따른 일련의 압축 VR 영상을 추출하여 전송될 VR 영상 스트림을 구성할 수 있다. 또한, VR 제공 서버(100)(의 제어 유닛(107))는 VR 영상 스트림에 링크를 더 포함시킬 수 있다. 이 링크는 특정 사이트에 연결되기 위한 URL이거나 특정 광고에 연결되기 위한 URL일 수 있다.

VR 제공 서버(100)(의 제어 유닛(107))는 관람자별 구성된 VR 영상을 관람자의 대응하는 VR 단말(200)로 통신 유닛(101)을 통해 전송(S209)한다.

이에 따라, VR 단말(200)은 구비된 한 개 또는 두 개의 디스플레이에 실시간으로 수신되고 관람자의 의해 선택된 위치에서의 VR 영상을 표시할 수 있다.

VR 단말(200)은 수신된 VR 영상에 대응하여 발생하는 각종 이벤트에 따른 제어 정보를 생성할 수 있다.

예를 들어, VR 단말(200)은 움직임 센서를 구비하고 VR 단말(200)(VR 헤드셋의 머리)의 좌우 회전이나 상하 회전에 따른 움직임 센서로부터의 데이터에 따라 움직임 데이터를 구성하고 구성된 움직임 데이터를 포함하는 제어 정보를 생성할 수 있다.

또는, VR 단말(200)은 무선 네트워크(예를 들어, 블루투스)를 통한 입력 기기로부터 인접하는 VR 영상을 선택하기 위한 사용자 입력을 수신하고 이 사용자 입력을 나타내는 입력 데이터를 포함하는 제어 정보를 생성할 수 있다.

또는, VR 단말(200)은 무선 네트워크를 통한 입력 기기로부터 VR 영상에 포함되어 디스플레이되는 링크를 선택하기 위한 사용자 입력을 수신하고 사용자 선택을 나타내는 선택 데이터를 포함하는 제어 정보를 생성할 수 있다.

VR 단말(200)은 생성된 제어 정보를 광대역 네트워크를 통해 VR 제공 서버(100)로 전송하고 VR 제공 서버(100)(의 제어 유닛(107))는 통신 유닛(101)을 통해 제어 정보를 수신(S211)한다. 각 관람자별로 대응하는 VR 단말(200)로부터 제어 정보가 수신되지 않는 경우 기존의 VR 영상 설정에 따라 VR 영상이 구성되어 계속 전송(S207, S209)된다.

각 관람자별로 제어 정보가 수신된 경우에, VR 제공 서버(100)(의 제어 유닛(107))는 수신된 관람자별 제어 정보에 따라 VR 영상 설정을 변경(S213)한다.

예를 들어, 제어 정보가 입력 데이터를 포함하는 경우, VR 제공 서버(100)(의 제어 유닛(107))는 VR 영상 설정에 입력 데이터에 따라 선택되는 인접 VR 영상(예를 들어, 좌측 카메라(400) 또는 우측 카메라(400))에 대응하는 카메라(400)를 현재 선택된 영상의 식별자로 설정하고 인접 카메라(400)의 식별자를 이 현재 영상의 식별자에 인접하는 하나의 카메라(400)의 식별자로 설정한다. 또는, VR 제공 서버(100)(의 제어 유닛(107))는 입력 데이터에 따라 선택되는 중계 영상의 식별자를 현재 선택된 영상의 식별자로 VR 영상 설정에 설정한다.

예를 들어, 제어 정보가 VR 영상에 포함된 링크에 대한 선택을 나타내는 선택 데이터를 포함하는 경우, VR 제공 서버(100)(의 제어 유닛(107))는 VR 영상 설정에 VR 영상에 포함된 링크의 식별자를 현재 선택된 영상의 식별자로 설정한다.

예를 들어, 제어 정보가 움직임 데이터를 포함하는 경우에, VR 제공 서버(100)(의 제어 유닛(107))는 수신된 움직임 데이터를 현재 움직임 데이터로 VR 영상 설정에 저장하고 움직임 데이터의 다양한 유형에 따라 출력될 영상을 선택한다.

구체적으로 살펴보면, VR 제공 서버(100)(의 제어 유닛(107))는 수신된 제어 정보의 움직임 데이터가 VR 단말(200)의 좌우 방향(예를 들어, 수평면의 X축과 Y축의 벡터방향 또는 피치,요,롤로부터의 인식되는 좌우 방향 등)을 나타내는 경우에 VR 제공 서버(100)(의 제어 유닛(107))는 관람 위치에서의 수신된 움직임 데이터에 대응하는 하나 이상의 카메라(400)를 결정한다.

예를 들어, VR 제공 서버(100)(의 제어 유닛(107))는 수신된 움직임 데이터와 거리(예를 들어 벡터 거리 등)가 가장 가까운 카메라(400)와 두 번째로 가까운 카메라(400)를 관람 엔트리의 관람 위치 정보를 이용하여 결정한다. VR 제공 서버(100)(의 제어 유닛(107))는 VR 영상 설정에 가장 가까운 카메라(400)의 식별자를 현재 선택된 영상의 식별자로 설정하고 두 번째로 가까운 카메라(400)의 식별자를 인접 카메라(400)의 식별자로 설정한다.

수신된 움직임 데이터가 좌우 방향으로 설정된 각도(예를 들어, +30도, -30도 등) 이상의 움직임인 경우에, 예약시 미리 설정된 다른 사용자의 식별자를 현재 선택된 영상의 식별자로 설정한다.

움직임 데이터가 VR 단말(200)의 상하 방향의 움직임이고 이 상하 방향의 움직임이 지정된 각도 이상(예를 들어 -20 도 등)의 움직임을 나타내는 경우에, VR 제공 서버(100)(의 제어 유닛(107))는 관람자가 관람하고 있는 관람 이벤트에 대하여 방송사에 의해서 생성된 중계 영상(중계 VR 방송)의 식별자를 VR 영상 설정에 현재 선택된 영상의 식별자로 설정한다.

VR 영상 설정이 변경됨에 따라, 변경된 VR 영상 설정에 따라, 후속하는 VR 영상이 구성(S207)되어 VR 단말(200)로 전송(S209)된다.

예를 들어, 선택 데이터의 수신에 따라, 링크의 식별자를 현재 선택된 영상의 식별자로 설정된 경우 VR 제공 서버(100)(의 제어 유닛(107))는 저장 유닛(103)에 저장되어 있는 링크 식별자에 대응하는 컨텐츠 VR 영상을 출력될 영상으로 구성하여 VR 단말(200)로 전송한다.

예를 들어, 제어 정보의 움직임 데이터가 좌우 방향의 움직임을 나타내고 지정된 각도 이내의 움직임을 나타내는 경우에 변경된 VR 영상 설정에 따라, 관람 위치의 복수의 VR 영상 중 움직임에 대응하여 현재 선택된 영상(카메라(400))의 식별자에 대응하는 VR 영상을 임시 저장된 저장 유닛(103)에서 추출하여 출력될 영상으로 구성하고 전송할 수 있다. 이와 같이, VR 제공 서버(100)(의 제어 유닛(107))는 좌우 방향의 움직임에 대응하는 화각의 VR 영상을 출력될 영상으로 구성할 수 있다.

VR 단말(200)로 전송되는 영상은 하나이거나 복수 개일 수 있다. 단일 영상이 전송되는 경우, VR 제공 서버(100)(의 제어 유닛(107))는 현재 선택된 VR 영상을 VR 단말(200)로 전송할 수 있다. 또는, VR 제공 서버(100)(의 제어 유닛(107))는 현재 선택된 카메라(400)에 대응하는 VR 영상과 인접 카메라(400)에 대응하는 VR 영상의 합성으로 출력될 영상을 구성하고 합성된 VR 영상을 VR 단말(200)로 전송할 수 있다. 영상의 합성 과정에서 VR 제공 서버(100)(의 제어 유닛(107))는 동일한 타임 스탬프를 가지는 두 VR 영상을 대상으로 하나의 VR 영상을 바람직하게 합성한다.

예를 들어, VR 제공 서버(100)(의 제어 유닛(107))는 VR 영상 설정의 현재 움직임 데이터와 현재 선택된 카메라(400)의 움직임 정보 및 인접 카메라(400)의 움직임 정보를 이용하여 현재 선택된 카메라(400)에서 이용될 VR 영상의 영역을 결정하고 인접 카메라(400)의 VR 영상의 영역을 결정하여 결정된 두 영역을 합성할 수 있다. 인접 카메라(400)의 VR 영상은 인접 카메라(400)의 인접 방향과 현재 움직임 데이터와의 상대적인 유사도(예를 들어, 현재 선택된 카메라(400)와 현재 움직임 데이터 사이의 유사도와 인접 카메라(400)와 현재 움직임 데이터 사이의 유사도 간의 상대적인 유사도)에 따라 인접 방향 끝단의 VR 영상 영역에 합성될 영역의 크기가 결정된다. 합성되는 두 VR 영상의 프레임은 동일한 타임 스탬프를 가진다.

이와 같이, VR 제공 서버(100)(의 제어 유닛(107))는 VR 단말(200)로부터 수신되는 좌우 방향의 움직임 데이터에 대응하는 화각의 단일의 VR 영상을 선택하여 전송하거나 두 개의 VR 영상을 선택하고 선택된 두 개의 VR 영상의 합성으로 출력될 VR 영상을 구성하여 VR 단말(200)로 전송할 수 있다.

전송되는 영상은 복수 개일 수 있는 데, 예를 들어 VR 제공 서버(100)(의 제어 유닛(107))는 VR 영상 설정의 현재 선택된 영상(카메라(400))의 VR 영상과 인접 카메라(400)의 VR 영상을 전송될 VR 영상으로 구성하여 VR 단말(200)로 전송할 수 있다. 이 경우, VR 단말(200)이 두 VR 영상을 앞서 살펴본 합성 과정과 유사한 합성을 통해 단일 VR 영상으로 합성하여 디스플레이에 출력 가능하다.

제어 정보의 움직임 데이터가 좌우 방향의 움직임을 나타내고 지정된 각도 이상의 움직임을 나타내는 경우에 변경된 VR 영상 설정에 따라, VR 제공 서버(100)(의 제어 유닛(107))는 다른 사용자의 영상을 출력될 영상으로 구성하고 이를 VR 단말(200)로 전송한다.

VR 제공 서버(100)(의 제어 유닛(107))는 다른 사용자(친구)의 영상을 저장 유닛(103)에 미리 저장하거나 다른 사용자의 VR 단말(200) 등으로부터 실시간 수신할 수 있다. 다른 사용자의 영상은 VR 단말(200)의 카메라나 미리 설치된 카메라 등에 의해서 실시간으로 촬영되는 영상일 수 있다. 또는, 다른 사용자의 영상은 영상 촬영에 따라 구성되는 AR(Augmented Reality) 이모지 등일 수 있다. AR 이모지는 실시간 영상으로부터 바로 추출되거나 미리 구성될 수 있다.

이를 통해, VR 단말(200)의 사용자는 자신의 움직임에 따라 같이 (관람중인) 친구 영상을 볼 수 있다.

제어 정보의 움직임 데이터가 상하 방향의 움직임을 나타내고 지정된 각도 이상의 움직임을 나타내는 경우에 변경된 VR 영상 설정에 따라, VR 제공 서버(100)(의 제어 유닛(107))는 방송사 등으로부터의 영상을 출력될 영상으로 구성하고 이를 VR 단말(200)로 전송한다.

구체적으로, 현재 선택된 영상의 식별자가 중계 방송국 등에 의해 송출되는 중계 영상의 식별자인 경우에 변경된 VR 영상 설정에 따라, VR 제공 서버(100)(의 제어 유닛(107))는 중계 방송사에서 생성된 중계 VR 영상을 출력될 영상으로 구성하고 이를 VR 단말(200)로 전송한다. 중계 VR 영상도 저장 유닛(103)에 임시 저장되어 VR 단말(200) 등으로 출력될 수 있다.

이와 같이, 도 5의 제어 흐름은 관람자의 VR 단말(200)로부터 수신되는 제어 정보에 반응하여 대응하는 VR 영상을 동적으로 구성하여 이를 VR 단말(200)로 전송한다. 그에 따라 본 발명에 따른 가상현실 관람 시스템은 관람자의 다양한 유형의 움직임에 부합하는 다양한 실시간 VR 영상 컨텐츠를 제공하여 실제 관람을 하는 것과 같은 환경을 관람자에게 제공할 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

100 : VR 제공 서버
101 : 통신 유닛
103 : 저장 유닛
105 : 연결 유닛
107 : 제어 유닛
200 : VR 단말
300 : 예약 단말
400 : 카메라

Claims (10)

1. (a) VR 제공 서버가 스포츠 구장의 복수의 관람 위치 중 하나의 관람 위치에 대한 선택과 좌측 방향 관람자 및 우측 방향 관람자 선택을 수신하는 단계;
   (b) 상기 VR 제공 서버가 복수의 관람 위치 각각에서 서로 상이한 화각에서 캡쳐링되는 복수의 VR 영상을 실시간으로 수신하는 단계;
   상기 VR 제공 서버가 사용자의 VR 단말로부터 움직임 데이터를 포함하는 설정 정보를 수신하고 상기 움직임 데이터를 선택된 관람 위치의 복수의 VR 영상을 출력하는 복수의 카메라 중 중앙의 기준 카메라에 매칭시키는 단계;
   (c) 상기 VR 제공 서버가 상기 선택된 관람 위치의 상기 기준 카메라로부터의 실시간 VR 영상을 상기 VR 단말로 전송하는 단계;
   (d) 상기 VR 제공 서버가 상기 VR 단말로부터 움직임 데이터를 포함하는 제어 정보를 수신하는 단계;
   (e) 상기 VR 제공 서버가 상기 제어 정보의 움직임 데이터에 따라 출력될 영상을 구성하는 단계로서, 상기 움직임 데이터가 좌우 방향의 움직임을 나타내고 지정된 제1 각도 미만인 경우 상기 선택된 관람 위치의 상기 복수의 VR 영상 중 상기 움직임 데이터에 대응하는 화각의 VR 영상을 출력될 영상으로 구성하고, 상기 움직임 데이터가 좌측 방향의 움직임을 나타내고 상기 지정된 제1 각도 이상인 경우 상기 좌측 방향 관람자의 영상을 출력될 영상으로 구성하고, 상기 움직임 데이터가 우측 방향의 움직임을 나타내고 상기 지정된 제1 각도 이상인 경우 상기 우측 방향 관람자의 영상을 출력될 영상으로 구성하며, 상기 움직임 데이터가 상하 방향의 움직임을 나타내고 지정된 제2 각도 이상인 경우 방송사에 의해서 생성되는 스포츠 중계 영상을 출력될 영상으로 구성하는, 출력될 영상을 구성하는 단계; 및
   (f) 상기 VR 제공 서버가 상기 제어 정보에 대응하여 구성되는 영상을 상기 VR 단말로 전송하는 단계;를 포함하는,
   가상현실 관람 방법.
2. 제1항에 있어서,
   상기 좌측 방향 관람자 및 우측 방향 관람자의 선택은 상기 VR 제공 서버에 저장되어 있는 사용자의 식별자 리스트를 이용하여 이루어지고,
   상기 지정된 제1 각도 및 상기 지정된 제2 각도는 서로 상이한 각도이고,
   상기 좌측 방향 관람자의 영상은 상기 좌측 방향 관람자를 대상으로 구성되는 AR(Augmented Reality) 이모지를 포함하고,
   상기 우측 방향 관람자의 영상은 상기 우측 방향 관람자를 대상으로 구성되는 AR 이모지를 포함하는,
   가상현실 관람 방법.
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 제어 정보는 상기 VR 단말로 전송되는 VR 영상에 포함되는 링크에 대한 선택을 나타내는 선택 데이터를 포함하고,
   상기 단계 (e)는 상기 선택 데이터의 수신에 따라 상기 링크에 대응하는 영상을 출력될 영상으로 구성하는,
   가상현실 관람 방법.
8. 가상현실 관람 시스템으로서,
   연결된 복수의 카메라로부터 관람자에게 전송될 VR 영상을 구성하는 VR 제공 서버;를 포함하고,
   상기 VR 제공 서버는,
   복수의 카메라로부터 복수의 VR 영상을 수신하고 스포츠 구장의 복수의 관람 위치 중 하나의 관람 위치에 대한 선택과 좌측 방향 관람자 및 우측 방향 관람자 선택을 수신하는 통신 유닛;
   각각의 관람 위치에서의 VR 영상을 대응하는 카메라의 화각에 따라 분류하여 임시 저장하고 상기 관람 위치에 대한 선택과 좌측 방향 관람자 및 우측 방향 관람자 선택을 포함하는 예약 정보를 저장하는 저장 유닛; 및
   상기 예약 정보에 따라 복수의 관람 위치 중 선택된 관람 위치에 대응하고 임시 저장된 VR 영상을 상기 통신 유닛을 통해 상기 예약 정보에 대응하는 사용자의 VR 단말로 전송하는 제어 유닛;을 포함하고,
   상기 제어 유닛은, 상기 사용자의 VR 단말로부터 움직임 데이터를 포함하는 설정 정보를 상기 통신 유닛을 통해 수신하고 상기 설정 정보의 상기 움직임 데이터를 선택된 관람 위치의 복수의 VR 영상을 출력하는 복수의 카메라 중 중앙의 기준 카메라에 매칭시켜 상기 선택된 관람 위치의 상기 기준 카메라로부터의 실시간 VR 영상을 상기 VR 단말로 상기 통신 유닛을 통해 전송하고,
   상기 제어 유닛은, 상기 기준 카메라로부터의 실시간 VR 영상의 전송 이후에 상기 VR 단말로부터 움직임 데이터를 포함하는 제어 정보를 상기 통신 유닛을 통해 수신하고, 상기 움직임 데이터가 좌우 방향의 움직임을 나타내고 지정된 제1 각도 미만인 경우 상기 선택된 관람 위치의 상기 복수의 VR 영상 중 상기 움직임 데이터에 대응하는 화각의 VR 영상을 출력될 영상으로 구성하고, 상기 움직임 데이터가 좌측 방향의 움직임을 나타내고 상기 지정된 제1 각도 이상인 경우 상기 좌측 방향 관람자의 영상을 출력될 영상으로 구성하고, 상기 움직임 데이터가 우측 방향의 움직임을 나타내고 상기 지정된 제1 각도 이상인 경우 상기 우측 방향 관람자의 영상을 출력될 영상으로 구성하며, 상기 움직임 데이터가 상하 방향의 움직임을 나타내고 지정된 제2 각도 이상인 경우 방송사에 의해서 생성되는 스포츠 중계 영상을 출력될 영상으로 구성하여, 구성되는 영상을 상기 VR 단말로 상기 통신 유닛을 통해 전송하는,
   가상현실 관람 시스템.
9. 제8항에 있어서,
   상기 좌측 방향 관람자 및 우측 방향 관람자의 선택은 상기 VR 제공 서버의 저장 유닛에 저장되어 있는 사용자의 식별자 리스트를 이용하여 이루어지고,
   상기 지정된 제1 각도 및 상기 지정된 제2 각도는 서로 상이한 각도이고,
   상기 좌측 방향 관람자의 영상은 상기 좌측 방향 관람자를 대상으로 구성되는 AR(Augmented Reality) 이모지를 포함하고,
   상기 우측 방향 관람자의 영상은 상기 우측 방향 관람자를 대상으로 구성되는 AR 이모지를 포함하는,
   가상현실 관람 시스템.
10. 제8항에 있어서,
    상기 VR 제공 서버로부터 실시간 VR 영상을 수신하고 사용자에 의해 발생되는 이벤트에 따라 제어 정보를 생성하여 상기 VR 제공 서버로 전송하는 VR 단말;을 더 포함하고,
    상기 VR 단말은 움직임 센서 또는 무선 네트워크로 연결된 입력 기기를 포함하여 상기 움직임 센서를 통해 센싱된 움직임 데이터를 포함하는 제어 정보를 상기 VR 제공 서버로 전송하거나 상기 입력 기기를 통한 입력 데이터를 포함하는 제어 정보를 상기 VR 제공 서버로 전송하는,
    가상현실 관람 시스템.

Images