KR102192153B1 - 가상현실 영상 제공 방법 및 이를 이용한 프로그램 - Google Patents

Abstract

본 발명의 일 실시 예에 따른 가상현실 영상 제공 방법 및 이를 이용한 프로그램에 있어서, 서버로부터 가상현실 영상데이터를 수신하여 제1 레이어에 할당하는 단계, 적어도 하나의 컨트롤러의 제어정보를 표시하는 제 2 레이어를 생성하는 단계, 상기 적어도 하나의 컨트롤러의 동작 정보를 수신하고, 상기 동작 정보에 기초하여 상기 가상현실 영상데이터 내 소정 오브젝트와 상기 제어정보의 충돌 지점을 결정하는 단계; 및 상기 충돌지점의 법선데이터에 기초하여 변형된 상기 제어정보를 포함하는 결합 데이터를 상기 제2 레이어에 할당하는 단계 및 상기 제1 레이어 및 상기 제2 레이어를 합성하여 최종영상프레임을 생성하는 단계를 포함할 수 있다.

Description

가상현실 영상 제공 방법 및 이를 이용한 프로그램{METHOD AND PROGRAM FOR PROVIDING VIRTUAL REALITY IMAGE}

가상현실 영상 제공 방법 및 이를 이용한 프로그램에 관한 것으로, 보다 상세하게는 가상현실 컨텐츠 내의 오브젝트에 형상 및 표면에 부합하게 이미지를 합성하여 제공하는 방법 또는 프로그램에 관한 것이다.

가상현실(VR; Virtual Reality)이란 컴퓨터를 통해 생성된 가상의 공간으로, 3차원 시각효과를 통해 현실성을 부여하는 공간이다. 가상현실 구현을 위한 기술은 사용자의 입력을 실시간으로 처리하여 현실 세계에 있는 것 같은 느낌 을 받을 수 있는 기술로, 멀티미디어를 뛰어 넘는 차세대 기술이다

가상현실 환경은 사용자에게 실감나는 몰입감을 제공함으로써 실재하는 물체를 시뮬레이션 할 수 있을 뿐만 아니라 실제로 존재하지 않는 물체나 상황을 체험할 수 있게 해준다. 이러한 가상현실 환경은 여러 다양한 분야에 적용될 수 있다. 예를 들어, 자동차 설계나 시뮬레이션 실험 등의 공학 분야에서부터 의료분야, 문화 컨텐츠 분야에 이르기까지 실로 다양한 분야에서 사용되고 있다.

이러한 가상현실(VR)은 보는 관점에 따라 가상환경(Virtual Environment), 가상존재(Virtual Presence), 인공세계(Artificial World), 가상세계(Virtual World), 사이버 스페이스(Cyber space)와 같은 용어로 혼용하고 있으나, 일반적으로 컴퓨터가 만들어낸 실세계와 유사한 3차원 가상세계를 사용자에게 제공 하고, 그 가상세계와 실시간으로 자유롭게 조작할 수 있는 입력수단과 사용자의 조작에 대응하여 실제적인 감각을 제공하는 감각궤환(Sensory feedback) 수단을 제공 함으로써 인공적인 체험과 경험을 할 수 있도록 해주는 기술이라 할 수 있다.

한편, 최근에는 이동단말기를 VR장치에 결합하고, 이동단말기가 VR 영상을 생성하기 위한 정보처리를 수행한 후 VR장치로 전달하는 방식이 등장하고 있다. 이는 정보처리를 수행하는 컴퓨터인 이동단말기와 재생하는 VR장치가 유선으로 연결되지만, 이동단말기 VR장치에 결합될 수 있어서 케이블에 의해 발생하는 문제점은 해결될 수 있다. 그러나 이동단말기는 PC에 비해 고사양의 프로그램을 구동하기 어려워서, 고사양의 VR게임을 구동하거나 높은 해상도의 VR영상을 재생하기 어려운 문제가 있다.

본 발명은 일 실시예에 따라, 가상현실영상을 생성하는 컴퓨팅장치와 가상현실영상에 표현되어야 하는 컨텐츠를 생성하는 장치를 분리하여, 무선으로 고사양의 가상현실 영상을 제공할 수 있다.

또한, 발명은 일 실시예에 따라 가상현실 영상에 내에 존재하는 대상체의 표면에 표시되어야 하는 컨텐츠를 최적의 형태로 변형하여 사용자에게 제공 할 수 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시 예에 따른 가상현실 영상 제공 방법은, 서버로부터 가상현실 영상데이터를 수신하여 제1 레이어에 할당하는 단계; 적어도 하나의 컨트롤러의 제어정보를 표시하는 제 2 레이어를 생성하는 단계; 상기 적어도 하나의 컨트롤러의 동작 정보를 수신하고, 상기 동작 정보에 기초하여 상기 가상현실 영상데이터 내 소정 오브젝트와 상기 제어정보의 충돌 지점을 결정하는 단계; 및 상기 충돌지점의 법선벡터를 고려하여 변형된 상기 제어정보를 포함하는 결합 데이터를 상기 제2 레이어에 할당하는 단계; 및 상기 제1 레이어 및 상기 제2 레이어를 합성하여 최종영상프레임을 생성하는 단계;를 포함할 수 있다.

다른 실시예에 따라 상기 가상현실 데이터를 수신하여 제1 레이어에 할당하는 단계는, 상기 가상현실 영상데이터를 복수의 오버레이 항목으로 분할하여 각각 별도의 채널 단위로 수신하는 단계; 및 상기 별도의 채널을 통해 수신된 복수의 오버레이 항목을 결합하여 복수의 제1 레이어에 할당하는 단계;를 포함할 수 있다.

또 다른 실시예에 따라 상기 충돌 지점을 결정하는 단계는, 제1 채널을 통해, 상기 충돌 지점을 결정하기 위한 오브젝트를 포함하는 오버레이 항목을 수신하는 단계; 상기 수신된 오버레이 항목 이용하여, 상기 클라이언트에서 충돌 지점을 결정하는 단계; 및 상기 충돌지점의 법선 벡터를 결정하는 단계;를 포함할 수 있다.

또 다른 실시예에 따라, 가상현실 영상 제공 방법의, 상기 충돌지점을 결정하는 단계는 상기 컨트롤러의 동작정보를 서버로 전송하고, 상기 충돌지점 및 법선벡터를 요청하는 단계; 및 상기 서버에서 결정된 상기 가상현실 영상데이터 내 소정 오브젝트와 상기 제어정보의 충돌 지점 및 법선벡터를 수신 하는 단계를 포함할 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과를 가질 수 있다.

일 실시예에 따라, 가상현실 영상프레임을 무선으로 전송함에 따른 특정시점의 영상프레임 누락을 보완할 수 있어서, 사용자는 특정한 영상프레임이 수신되지 않는 경우에도 가상현실 공간의 전체적인 시점이 흔들리지 않고 자연스럽게 영상이 재생될 수 있다.

또한, 일 실시예에 따라 전체영상 중 하나의 프레임만 추출하여 전송하거나 재생방향데이터에 부합하는 프레임만을 생성하여 전송함으로써, 무선 방식으로 가상현실 영상 콘텐츠를 제공할 때에도, 고해 상도의 영상을 제공하거나 통신 트래픽을 줄일 수 있다.

또한, 일 실시 예에 따라 사용자의 움직임에 즉각적으로 반응되고 가상현실영상의 오브젝트 표면에 최적화된 실시간 영상을 제공할 수 있다. 따라서, 가상현실 영상의 현실감과 몰입감을 높일 수 있다.

또한, 일 실시예에 따라 네트워크상의 지연에 의해 프레임 누락이 발생하는 경우나 가상현실영상 보정 수행 시에도 영상프레임의 누락을 보완할 수 있어, 십자선(crosshair)과 같은 이미지가 사용자에 의해 실제로 지시되는 지점이 아닌 다른 지점에 표시되는 것을 방지할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급 되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따르는 가상현실영상 제공 시스템의 구성도이다.
도 2는 일 실시예에 따르는 가상현실영상 제공 방법의 순서도이다.
도 3은 일 실시예에 따른 가상현실영상에 제어 정보를 표시하는 일 예를 나타내는 도이다.
도 4 및 도5 는 일 실시예에 따른 법선벡터를 활용하는 일 예를 나타내는 도이다.
도 6은 일 실시 예에 따라 제1 레이어 및 제2 레이어를 포함하는 가상현실 영상 재생방법을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 가상현실영상 전송방법에 대한 순서도이
도 8은 본 발명의 일실시예에 따른 최초전체영상을 기초로 생성된 가상현실 영상프레임의 전송방법에 대한 순서도이다.
도 9는 본 발명의 일실시예에 따른 클라이언트의 가상현실영상 재생방법에 대한 순서도이다.
도 10은 제2최종영상프레임이 누락되고 제2대체영상프레임이 제공되지 않을 경우, 클라이언트를 통해 사용자에게 제공되는 영상의 변화를 나타낸 예시도면이다.
도 11은 본 발명의 일실시예에 따라 클라이언트에서 제1시점의 영상방향 데이 터와 제2시점의 재생방향데이터의 차이값을 바탕으로 생성한 제2대체영상프레임의 예시도면이다.
도 12는 클라이언트가 이동하는 경우 최종영상프레임이 누락된 프레임이 없이 차례대로 제공됨에 따른 물체 위치 변화를 나타낸 예시도면이다.
도 13은 본 발명의 일실시예에 따라 클라이언트의 이동정도를 반영하여 제1최 종영상프레임에서 각각의 물체 위치를 보정한 제2대체영상프레임을 제공하는 예시 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도 면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과 학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되 는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요 소의 존재 또는 추가를 배제하지 않는다.

이하, 도면을 참조하여 본 발명의 실시예들에 따른 가상현실영상 송 수신 시스템에 대해 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 가상현실영상 송수신 시스템의 구성도이다.

본 발명의 일실시예에 따른 가상현실영상 송수신 시스템은, 서버 (100); 및 클라이언트(200); 를 포함한다.

서버(100)는 가상현실(Virtual Reality; VR) 영상을 생성하는 컴퓨터이다. 서버(100)는 내부에서 정보처리를 수행하여 클라이언트(200)에 제공할 VR 영상을 생성하는 기능을 수행한다. 예를 들어, VR영상이 특정한 게임 구동에 따른 영상인 경우, 서버(100)는 게임프로그램을 구동하여 적절한 영상데이터를 생성하여 유선통신 또는 무선통신을 통해 클라이언트(200)로 전송할 수 있다.

또한, 서버(100)에서 영상데이터를 수신하면, 가상현실 영상에 표시되어야 할 정보 표시를 클라이언트(200)에서 수행하여 화면에 표시 할 수 있다. 이때, 정표표시에는 컨트롤러 및 컨트롤러의 중심 포인터를 포함하는 사용자 그래픽 인터페이스를 포함할 수 있다.

또한, 사용자의 시선이나 컨트롤러 또는 HMD 중심 포인터가 향하는 위치에 제어 정보(예컨대, 십자선)가 정확히 표현되도록 가상현실 영상에 포함된 오브젝트와 위 포인터가 향하는 방향에 따른 충돌지점을 결정할 수 있다. 충돌지점 의 결정은 서버(100) 또는 클라이언트(200)에서 수행될 수 있다. 클라이언트(200)는 결정된 충돌지점 및 충돌지점의 법선벡터에 기초하여 변현된 제어정보가 결합된 최종 영상 프레임을 생성할 수 있다. 구체적으로 "사용자 시선", "컨트롤러의 중심 포인터"등을 나타내기 위한 결합데이터와 가상 현실 영상의 충돌지점을 계산하고, 충돌지점의 법선벡터를 기반으로 결합데이터를 최적의 형태로 변형하여 최종 렌더링 되는 최종 가상현실 영상 프레임을 사용자에게 제공 할 수 있으며, 도 2에 대한 설명에서 상술한다.

또한, 서버(100)는 생성되는 VR영상에 영상방향데이터를 메타정보로 결합하는 기능을 수행할 수 있다. 상기 영상방향데이터는 서버(100)에 의해 생성된 영상프레임의 3차원 공간상의 방향에 관한 데이터일 수 있다.

또한, 서버(100)는 클라이언트(200)로부터 재생방향데이터를 수신할 수 있다. 서버(100)는 영상프레임에 결합할 영상방향데이터를 수신한 재생방향데이터로 결정하고, 재생방향데이터(또는 영상방향데이터)에 상응하는 VR영상프레임을 생성할 수 있다.

클라이언트(200)는 가상현실영상에 해당하는 영상데이터를 수신하여 재생하는 장치이다. 즉, 클라이언트(200)는 서버 (100)로부터 수신한 VR영상데이터를 재생하여 착용자에게 제공하는 기능을 수행한다. 클라이언트(200)는 VR장치 자체가 해당될 수 있으며, VR장치에 이동단말기가 결합된 형태가 해당될 수도 있다. 예를 들어, VR장치와 이동단말기가 결합되어 클라이언트(200)를 이루는 경우, 이동단말기가 서버(100)로부터 생성된 영상데이터를 수신하고, 이를 연결된 유선케이블 또는 근거리 무선통신을 통해 VR장치로 영상프레임을 전달하여 화면에 표시할 수 있다.

VR장치는 다양한 형태로 구성될 수 있다. 예를 들어, VR장치는 양안 에 적합한 각각의 영상을 포함한 영상프레임을 하나의 디스플레이부에 표시하고, 각 안구방향의 어안렌즈에 의해 3차원 영상으로 생성할 수 있다. 또한, 다른 일실 시예에서, VR장치는 각각의 안구에 부합하는 영상을 제공하는 2개의 디스플레이부를 구비할 수 있다.

또한, 클라이언트(200)는 재생방향데이터를 측정하는 역할을 수행할 수 있다. 상기 재생방향데이터는 특정시점에 상기 클라이언트(200)의 화면상에 재생되어야 하는 영상프레임의 방향에 관한 데이터일 수 있다. 즉, 착용자가 클라이언트(200)를 안구에 착용하고 바라보는 방향을 측정하고, 이를 재생방향데이터로 결정할 수 있다. 예를 들어, 재생방향데이터는 고저각데이터, 방위각데이터 또는 기울임 데이터를 포함할 수 있다. 클라이언트(200)는 하나 이상의 센서(예를 들어, 자이로센서, 가속도센서, 지자기센서 등)을 구비하여, 클라이언트(200)를 착용한 사용자의 머리(또는 고개)의 움직임을 측정하여 고저각데이터, 방위각데이터, 기울 임데이터 등을 포함할 수 있다. 또한, 클라이언트(200)는 측정한 재생방향데이터를 서버(100)로 무선통신을 통해 전송하는 기능을 수행할 수 있다.

상기 고저각데이터는 수평면(예를 들어, 지평선)과 클라이언트(20 0)의 시선방향이 이루는 각을 의미할 수 있다. 즉, 상기 고저각데이터는 사용자 고 개의 상하 움직임에 따라 수평면과 이루는 각일 수 있다.

상기 방위각데이터는 방위를 나타내는 각도로, 수평면 상에서 특정 한 기준방향을 기준으로 하여 회전한 각도를 의미할 수 있다. 즉, 상기 방위각데이 터는 사용자의 몸체(또는 목)을 축으로 하여 회전하는 고개움직임에 의해 변경될 수 있다.

상기 기울임데이터는 사용자의 정면방향을 축으로 하여 고개가 회전 하는 각을 의미할 수 있다. 즉, 상기 기울임데이터는 사용자의 좌우로의 고개 움직임 또는 사용자 신체의 전체적인 회전 등에 의해 변경될 수 있다.

또한, 클라이언트(200)는 착용자의 이동을 측정할 수도 있다. 예를 들어, 가상 시뮬레이션 훈련 또는 게임을 수행하는 경우, 사용자는 클라이언트(20 0)를 착용하고 이동하게 되므로, 클라이언트(200)는 측정된 사용자의 이동 정도를 바탕으로 이동한 위치에 부합하는 영상프레임을 서버(100)로 요청할 수 있다. 또한, 클라이언트(200)는, 후술하는 바와 같이, 사용자가 이동한 특정시점의 영상 프레임이 미 수신되는 경우, 영상프레임 전송주기 사이의 사용자의 이동 정도를 반 영하여 영상프레임의 보정을 수행할 수 있다.

또한, 클라이언트(200)는 무선통신으로 영상프레임을 수신하는 경우 에 특정한 영상프레임이 수신되지 않으면, 이전에 수신된 영상프레임을 사용자의 움직임에 적합하도록 보정하여 화면 상에 표시할 수 있다. 즉, 클라이언트(200)는 제2시점의 최종영상프레임이 수신되지 않는 경우, 제1시점의 영상방향데이터와 상 기 제2시점의 재생방향데이터의 차이값을 산출하여, 상기 차이값을 바탕으로 제1시 점의 최종영상프레임을 보정할 수 있다. 상기 제2시점은 상기 제1시점으로부터 상 기 최종영상프레임의 전송주기가 경과된 시점일 수 있다.

서버(100)와 클라이언트(200)는 무선통신을 통해 연결될 수 있다. 무선통신방식으로는, Wi-Fi방식, 셀룰러통신 등이 활용될 수 있다. 예를 들어, 서 버(100)가 사용자가 위치한 특정한 공간 내(예를 들어, 집 내부, 가상현실 체험공간 내 등)에 배치된 컴퓨터인 경우, 무선 AP(예를 들어, Wi-Fi AP)를 통해 클라이언트(200)와 서버(100) 사이의 통신이 수행될 수 있다. 또한, 예를 들어, 서버 (100)가 외부의 원거리에 배치된 컴퓨터인 경우, 원거리의 서버(100)가 셀룰러통신 또는 LAN통신 등을 통해 클라이언트(200)로 생성된 영상프레임을 전송할 수 있 다. 클라이언트(200)는 셀룰러통신을 통해 기지국으로부터 영상프레임을 수신하거나 무선 AP로부터 WLAN을 통해 영상프레임을 수신할 수 있다. 이를 통해, 사용자는, 무선통신이 가능한 클라이언트(200)를 소지하고 있으면, 서버(100) 컴퓨터에 가까운 위치에 있지 않아도 서버(100)로부터 제공되는 VR영상을 수신하여 이 용할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예들에 따른 가상현실영상 제공 방법 및 프로그램에 대해 설명하기로 한다.

도 2는 본 발명의 일실시예에 따른 가상현실영상 전송방법에 대한 순서도이다.

단계 S10에서, 클라이언트(200)는 서버(100)로부터 가상현실 영상 데이터를 수신하여 제1 레이어에 할당한다.

또한, 클라이언트(200)는 가상현실 영상데이터를 복수의 오버레이 항목으로 분할하여 각각 별도의 채널 단위로 수신할 수 있다. 또한, 이후 별도의 채널을 통해 수신된 복수의 오버레이 항목을 결합하여 복수의 제1 레이어에 할당 할 수 있다.

따라서, 서버(100)는 각 오버레이 항목을 전체의 하나의 이미지로 전송할 필요 없이, 여러 개의 이미지로 전송 가능 하다. (예를 들어, 우측 상단에 에너지바, 하단에 아이템 목록 등을 별도로 전송 가능하다.)

각 오버레이 항목의 별도의 압축 방식을 지원 가능하다. 또한 각 오버레이 항목은 클라이언트(200)의 화면에 제공되기 위해 (x,y)좌표를 가지고 있어야 하며, 각 오버레이 항목이 z-order(깊이에 대한 정보)도 가지고 있으면, 오버레이 항목끼리 다른 레이어로 할당 할 수 있다. 따라서, 서버(100)는 오버레이 항목이 갱신될 필요가 있을 때마다 클라이언트(200)에 해당부분만 전송할 수 있다. 이러한 방식을 이용하면 후술하듯이 충돌지점의 결정을, 클라이언트(200)에서도 특정 범위 내 데이터만을 수신 받아 실시간으로 수행 가능할 수 있다.

단계 S20에서, 클라이언트(200)는 적어도 하나의 컨트롤러의 제어 정보를 표시하는 제 2 레이어를 생성한다. 제2 레이어는 적어도 하나의 그래픽 사용자 인터페이스(GUI: Graphic User Interface)를 포함한다. 컨트롤러의 제어 정보는 컨트롤로의 가상 현실 영상에서의 이미지 데이터, 컨트롤러가 지시하는 방향을 나타내는 이미지, 컨트롤러와 가상현실 영상 내 오브젝트가 충돌하는 지점을 나타내는 이미지(예컨대, 십자선) 등을 포함할 수 있다.

일 실시예에 따른 가상현실 영상 제공 방법에서 컨트롤러의 제어에 따르는 움직임을 표시하기 위해 마우스 커서와 또는 십자선과 같은 제어정보가 표시될 수 있는데, 컨텐츠가 사용자의 움직임에 즉각적으로 반응하도록 네트워크의 지연을 최소화 하기 위해 제어정보는 별도 레이어에 할당된다.

한편, 이러한 제어정보를 가상현실 영상에 함께 표시하기 위해서는 가상현실 영상 내 오브젝트와 상호작용하는 결과가 반영될 필요가 있다.

예를 들어, 도 3을 참조하면, 가상현실영상(300)내 컨트롤러가 현재 무엇을 가리키고 있는지 정확하게 표시하기 위해 컨트롤러의 이미지(301) 및 컨트롤러가 가리키는 지점 바로 위에 제어정보(302, 포인터)를 표시할 수 있다. 물론, 이러한 구성에 한정되는 것은 아니며 시선 중앙에 포인터 이미지를 표시할 경우 사용자에게 더 편안한 몰입감을 줄 수도 있다. 한편, 일 실시예에 따른 포인터가 표시될 컨텐츠 오브젝트들은 서버(100)상에 존재하므로, 이를 네트워크를 통해 구현하기 위해 컨트롤러 및 포인터는 직접 클라이언트(200)에서 별도의 레이어에 할당하되, 서버에서 전송한 영상데이터와 포인터가 충돌하는 지점을 서버(100)또는 클라이언트(200)가 결정하여 반영되도록 할 수 있다.

다시 도2를 참조하면, 단계 S30에서, 적어도 하나의 컨트롤러의 동작 정보가 클라이언트(200)에 수신되고, 동작 정보에 기초하여 가상현실 영상데이터 내 소정 오브젝트와 제어정보의 충돌 지점이 결정된다. 여기서 컨트롤러는 마우스, 조이스틱, HMD(Head Mounted Device) 등의 제어장치를 포함 할 수 있다. 컨트롤러의 동작정보에는 컨트롤러의 위치 정보 및 컨트롤러가 가리키는 방향에 대한 정보가 포함 될 수 있다.

일 실시예에 따른 충돌지점 및 법선 벡터는 클라이언트(200)에서 결정될 수 있다.

서버(100)는 제1 채널을 통해, 충돌지점을 결정하기 위한 오브젝트를 포함하는 오버레이 항목을 클라이언트(200)로 전송한다. 클라이언트(200)는 수신된 오버레이 항목을 이용하여, 충돌지점을 산출 할 수 있다. 또한 클라이언트는(200) 충돌지점에서의 법선 벡터를 결정 할 수 있다. 여기서, 서버(100)는 충돌지점 계산에 필요한 오버레이 항목만을 별도의 채널로 클라이언트(200)에 전송함으로써 클라이언트(200)에서도 비교적 낮은 리소스를 활용하여 충돌지점 계산이 가능할 수 있다.

다른 실시 예에 따른 충돌지점 및 법선 벡터는 서버(100)에서 결정되어 클라이언트(200)로 전송 될 수 있다.

클라이언트(200)는 컨트롤러의 동작정보를 서버(100)로 전송하고, 서버(100)는 수신한 컨트롤러의 동작정보에 기초하여, 가상현실 영상 내 오브젝트와 충돌하는 지점 및 법선벡터를 결정할 수 있다. 서버(100)는 충돌 계산에 사용된 컨트롤러의 동작정보, 컨트롤러가 가리키는 방향선 상 오브젝트와 충돌하는 위치 및 충돌 위치 상 충돌 오브젝트에 대한 법선벡터 정보를 클라이언트(200)로 전송한다.

또 다른 실시예에 따른 서버(100)는 충돌 계산에 사용된 컨트롤러의 위치정보, 컨트롤러가 가리키는 방향선 상 오브젝트와 충돌하는 위치 정보 및 충돌 위치 상 충돌 오브젝트에 대한 법선벡터를 클라이언트(200)로 전송할 수 있다. 사용자 움직임이 직접적으로 반영되는 요소인 컨트롤러 및 포인터의 움직임에 대한 지연은 몰입감을 크게 해치지만 사용자 움직임에 대한 간접적인 반응을 표현하는 요소인 컨트롤러와 포인터간의 거리 및 포인터 방향에 대한 지연은 몰입감에 큰 방해 요소가 되지 않기 때문에, 서버에서 충돌 계산이 이루어 짐에도 사용자에게 몰입감을 유지할 수 있다.

단계 S40에서, 클라이언트(200)는 충돌지점의 법선벡터에 기초하여 변형된 제어정보를 포함하는 적어도 하나의 결합데이터를 제2 레이어에 할당할 수 있다.

단계 S50 에서, 클라이언트(200)는 제1 레이어 및 제2 레이어를 합성하여 최종영상프레임을 생성할 수 있다.

도 4 및 도5는 제어 정보를 표시하기 위해 법선벡터가 필요한 이유를 설명한다.

도 4를 참조하면, 가상현실 영상(401)은 법선벡터를 고려하지 않고, 오브젝트(410) 위에 포인터 이미지(420)가 표시된 경우를 도시한다. 또한 도5를 참조하면, 가상현실 영상(402)에 법선벡터를 고려하여 오브젝트 위에 포인터 이미지(430)가 표시된 일 예를 도시된다. 즉, 법선벡터를 활용하면 가상현실 영상 내에서 이미지를 결합할 오브젝트의 배치상태(기울어지거나 누워져 있는 상태)를 파악할 수 있다. 한편, 도 5에서는 직사각형 형태의 오브젝트를 예로 들었지만, 오브젝트가 곡면을 가지는 경우 곡면의 형태를 파악하기 위한 정보를 추가로 고려할 수 있다. (예컨대, 하나의 영역 내에서 여러 개의 위치데이터와 각 지점에서의 법선데이터를 서버로부터 수신할 수 있다.)

도 6은 일 실시 예에 따라 제1 레이어 및 제2 레이어를 포함하는 가상현실 영상 재생방법을 도시한 도면이다.

도6을 참조하면, 서버로부터 수신된 영상프레임이 표시되는 제1 레이어(300) 및 적어도 하나의 그래픽 사용자 인터페이스 및 제어정보(410 및 420)가 표시되는 제2 레이어(400)가 도시되어 있다.

제1레이어(300)에 표시된 영상프레임은 서버(100)로부터 영상프레임이 전송되는 전송주기마다 변경된다.

제2 레이어(400)에 표시된 적어도 하나의 그래픽 사용자 인터페이스(410 및 420)는 클라이언트(200) 또는 클라이언트(200)에서 표시되는 영상에 대응 하는 애플리케이션을 제어하거나, 클라이언트(200)에서 표시되는 영상에 대응하는 정보를 표시하는 데 이용된다.

예를 들어, 적어도 하나의 그래픽 사용자 인터페이스 및 제어정보(410 및 420)는 클라이언트(200)에 표시되는 영상의 재생을 제어하거나, 영상에 대응하는 정보를 표시하기 위한 적어도 하나의 사용자 인터페이스를 포함할 수 있다.

다른 예로, 적어도 하나의 그래픽 사용자 인터페이스 및 제어정보 (410 및 420)는 클라이언트(200)에 표시되는 게임의 조작 또는 게임에 대응하는 정보를 표시하기 위한 적어도 하나의 사용자 인터페이스를 포함할 수 있다.

사용자의 움직임에 따라 클라이언트(200)가 이동하는 경우, 제1 레 이어(400)에 표시되는 영상프레임은 클라이언트(200)의 위치 또는 방향에 따라 결정되는 재생방향데이터 및 영상방향데이터에 대응하는 영상프레임으로 변경된다. 하지만, 제2레이어(400)에 표시되는 그래픽 사용자 인터페이스의 위치는 변경되지 않고 사용자의 시선과 함께 이동할 수 있다.

마찬가지로, 개시된 실시 예에 따라 제 1레이어(300)에 제1 시점의 영상프레임이 표시되고, 제1 시점으로부터 영상프레임의 전송주기가 경과된 시점인 제2 시점의 영상프레임이 수신되지 않는 경우, 클라이언트(200)는 제1 시점의 영상 방향데이터와 제2 시점의 재생방향데이터의 차이점을 산출하여, 차이값을 바탕으로 제1 영상프레임을 보정하여 제2 대체영상프레임을 생성한다.

만약 하나의 레이어에 영상프레임과 그래픽 사용자 인터페이스가 함께 표시되는 경우, 상기 실시 예에 따라 제1 영상프레임을 보정하는 경우 제1 영상 프레임에 표시된 그래픽 사용자 인터페이스 또한 함께 이동 또는 회전하게 되어, 사용자로 하여금 불편함을 느끼게 할 수 있다.

따라서, 도 6에 도시된 실시 예에 따르면 영상프레임을 제1 레이어 (400)에 할당하고, 그래픽 사용자 인터페이스(410) 및 제어정보(420)를 제2레이어(400)에 할 당함으로써 영상프레임 보정에 따른 불편을 해소하도록 한다.

구체적으로, 클라이언트(200)는 생성된 제2 대체영상프레임을 제 1레이어(300)에 할당하여 표시하도록 한다.

반면, 제2레이어(400)는 클라이언트(200)에서 생성되는 바, 딜레이 또는 누락이 발생하지 않는다. 또한, 제2레이어(400)에 표시되는 그래픽 사용자 인터페이스(410) 및 제어정보(420)의 위치는 프레임 내에서 변경되지 않으므로, 제2 레이어 (500)에 표시되는 프레임에 대해서는 보정이 이루어질 필요가 없다.

따라서, 클라이언트(200)는 보정이 완료된 제2 대체영상프레임을 포함하는 제 1레이어(300)와 보정이 이루어지지 않은 제2레이어(400)를 합성하여 최종영상프레임을 생성하고, 생성된 최종영상프레임을 표시한다.

클라이언트(200)는 제2레이어(400)에 표시되는 그래픽 사용자 인터페이스(510 및 520)를 생성하기 위한 정보를 서버(100)로부터 수신할 수도 있고, 직접 획득할 수도 있다.

서버(100)로부터 정보를 수신하여 그래픽 사용자 인터페이스(410) 및 제어정보(420)를 생성하는 경우에도, 그래픽 사용자 인터페이스(410) 및 제어정보(420)를 생성하기 위 하여 필요한 정보의 양은 제 1레이어(300)에 표시되는 영상프레임에 포함된 정보의 양에 비하여 매우 적다. 또한, 그래픽 사용자 인터페이스(410) 및 제어정보(420)는 제1 레이어(300)에 표시되는 영상프레임과 달리 클라이언트(200)의 움직임이나 시간의 흐름 에 따라 즉각적으로 변화하여야 하는 것이 아닌 경우가 많으므로, 제1 레이어(300)와 제2레이어(400)를 분리하여 처리함으로써 용이하게 영상을 보정할 수 있고, 개시된 실시 예에 따른 영상프레임의 보정과정에서 그래픽 사용자 인터페이스가 함께 보정되어 사용자에게 불편을 주는 현상도 방지할 수 있는 효과가 있다.

도 7은 일실시예에 따른 가상현실영상 전송방법에 대한 순서도이다.

도 7을 참조하면, 본 발명의 일실시예에 따른 가상현실영상 전송방법은, 서버(100)가 최초영상프레임을 생성하는 단계(S120); 상기 최초영상프레임에 상응하는 영상방향데이터를 판단하는 단계(S140); 상기 최초영상프레임에 상기 영 상방향데이터를 메타정보로 결합하여 최종영상프레임을 생성하는 단계(S160); 및 상기 최종영상프레임을 무선통신을 통해 클라이언트(200)로 전송하는 단계(S180);를 포함한다.

서버(100)가 최초영상프레임을 생성한다(S120). 서버(100)는 내부에 설치된 프로그램을 구동하여 최초영상프레임을 생성할 수 있다. 상기 최초영상프레임은 클라이언트(200)로 송신된 후 특정 영상프레임의 미 수신시 보완을 위한 정보 처리가 수행되지 않은 영상프레임을 의미한다. 예를 들어, 서버(100)가 게임 프로 그램을 구동하여 게임 영상프레임을 생성할 수 있다.

서버(100)는 상기 최초영상프레임에 상응하는 영상방향데이터를 판 단한다(S140). 상기 영상방향데이터는 상기 서버(100)에 의해 생성된 영상프레임의 3차원 공간상의 방향에 관한 데이터이다. 서버(100)에 의해 영상이 생성되기 전에 영상방향데이터를 결정(예를 들어, 특정방향의 영상 제공이 요청됨에 따라 생성할 영상방향이 정해진 후 대응되는 최초영상프레임을 생성)될 수 있고, 영상프레임을 생성한 후 대응되는 영상방향데이터를 결정할 수도 있다.

서버(100)는 최초영상프레임에 영상방향데이터를 메타정보로 결합하 여 최종영상프레임을 생성한다(S160). 그 후, 서버(100)는 최종영상프레임을 무선 통신을 통해 클라이언트(200)로 전송한다(S180). 즉, 서버(100)는, 클라이언트 (200)가 영상프레임에 대응되는 방향을 판단하거나 다음 전송시점(즉, 제2시점)의 영상프레임이 미 수신되는 경우에 이전 시점(즉, 제1시점)의 영상프레임 보정을 통 해 보완할 수 있도록, 최초영상프레임에 영상방향데이터를 결합한 최종 영상프레임을 클라이언트(200)로 전송할 수 있다.

클라이언트(200)는 서버(100)로부터 제2시점의 최종영상프레임이 통 신 상태 불량 등에 의해 수신되지 않는 경우, 제1시점의 영상방향데이터와 상기 제 2시점의 재생방향데이터의 차이값을 산출하여, 상기 차이값을 바탕으로 상기 제1시 점의 최종영상프레임을 보정할 수 있다. 상기 제2시점은 상기 제1시점으로부터 상 기 최종영상프레임의 전송주기가 경과된 시점일 수 있다.

또한, 상기 클라이언트(200)로부터 재생방향데이터를 수신하는 단계 (S110);를 더 포함할 수 있다. 예를 들어, 착용자가 클라이언트(200)를 착용하고 움직이면, 클라이언트(200)는 특정시점에 화면을 통해 사용자에게 제공되어야 할 영상프레임 방향에 관한 데이터(예를 들어, 사용자의 고개움직임에 관한 데이터)를 획득하여 서버(100)로 전송할 수 있다. 클라이언트(200)에 의해 측정되는 데이터를 재생방향 데이터라고 하며, 서버(100)는 영상방향데이터 판단단계(S120)에서 클라이언트(200)로부터 수신한 재생방향데이터를 바탕으로 영상방향데이터를 결정할 수 있다. 즉, 서버(100)는 클라이언트(200)로부터 수신된 재생방향데이터와 일치하는 방향을 영상을 생성할 방향으로 결정할 수 있다. 따라서, 서버(100)는 클라이언트 (200)로부터 수신된 재생방향데이터를 영상방향데이터로 설정하고(S120), 설정된 영상방향데이터에 부합하는 최초영상프레임(S100)을 생성할 수 있다.

또한, 상기 최종영상프레임 생성단계(S140)는, 상기 최종영상프레임을 각각의 안구용 영상프레임으로 변환하는 단계; 를 더 포함할 수 있다. 3차원 영 상이 제공되기 위해서는 좌안용 영상과 우안용 영상에 차이가 필요할 수 있다. 따 라서, 서버(100)는 클라이언트(200)로 전송할 최종영상프레임을 좌안용 최종영상프레임 및 우안용 최종영상프레임으로 각각 생성할 수 있다.

또한, 상기 최종영상프레임 생성단계(S140)는, 상기 클라이언트 (200)의 화면에 부합하는 크기로 상기 최종영상프레임을 변환하는 단계;를 더 포함 할 수 있다. 즉, 서버(100)는 클라이언트(200)가 최종영상프레임을 수신하여 바로 재생할 수 있도록, 클라이언트(200) 화면 크기에 부합하도록 영상프레임의 크기를 변환할 수 있다. 이를 통해, 서버(100)에 비해 정보처리를 위한 사양이 낮은 클라이언트(200)에서 화면 크기에 부합하도록 변환하는 과정에서 발생할 수 있는 시간 지연(delay)을 최소화할 수 있다.

도 8은 본 발명의 일실시예에 따른 최초전체영상을 기초로 생성된 가상현실영상프레임의 전송방법에 대한 순서도이다.

본 발명의 다른 일실시예에 따른 가상현실영상 전송방법은, 서버 (100)가 특정시점의 최초전체영상을 생성하는 단계(S100); 상기 클라이언트(200)로 부터 재생방향데이터를 수신하는 단계(S110); 상기 최초전체영상에서 상기 재생방향데이터에 상응하는 최초영상프레임을 추출하는 단계(S121); 상기 재생방향데이터 를 영상방향데이터로 결정하는 단계(S141); 상기 최초영상프레임에 상기 영상방향 데이터를 메타정보로 결합하여 최종영상프레임을 생성하는 단계(S160); 및 상기 최 종영상프레임을 무선통신을 통해 클라이언트(200)로 전송하는 단계(S180); 를 포함 한다. 이하, 기 설명된 단계에 대한 구체적인 설명은 생략한다.

서버(100)가 특정시점의 최초전체영상을 획득한다(S100). 상기 최초 전체영상은 사용자의 시선이 향하는 모든 방향의 영상프레임을 포함하는 영상을 의 미할 수 있다. 즉, 서버(100)는 내부의 특정한 프로그램을 구동하여 특정시점의 전 체영상을 생성할 수 있고, 미리 생성된 일정시간의 전체영상(예를 들어, 360도 카메라에 의해 일정시간동안 촬영된 영상) 중에서 특정시점의 전체영상을 추출할 수 있다.

서버(100)가 클라이언트(200)로부터 재생방향데이터를 수신한다(S110).

서버(100)가 상기 최초전체영상에서 상기 재생방향데이터에 상응하 는 최초영상프레임을 추출한다(S121). 즉, 서버(100)는 클라이언트(200)로부터 수신된 재생방향데이터를 통해 영상프레임이 요청되는 방향을 판단하고, 최초전체영 상에서 상기 재생방향데이터에 상응하는 최초영상프레임을 추출할 수 있다.

서버(100)는 상기 재생방향데이터를 영상방향데이터로 결정한다 (S141). 즉, 서버(100)는, 추출된 최초영상프레임이 상기 재생방향데이터에 대응되 는 방향의 영상프레임이므로, 클라이언트(200)로부터 수신된 재생방향데이터를 상 기 추출된 최초영상프레임의 영상방향데이터로 설정될 수 있다.

서버(100)가 상기 최초영상프레임에 상기 영상방향데이터를 메타정보로 결합하여 최종영상프레임을 생성한다(S160). 서버(100)가 상기 최종영상프레임을 무선통신을 통해 클라이언트(200)로 전송한다(S180).

도 9는 본 발명의 일실시예에 따른 클라이언트(200)의 가상현실영상 재생방법에 대한 순서도이다.

본 발명의 또 다른 일실시예에 따른 가상현실영상 재생방법은, 클라이언트(200)가 서버(100)로부터 제1시점에 상응하는 제1최종영상프레임을 수신하는 단계(S200); 제2시점에 상응하는 제2최종영상프레임이 수신되지 않으면, 상기 제1 시점에 상응하는 영상방향데이터와 상기 제2시점에 상응하는 재생방향데이터를 비 교하여 차이값을 산출하는 단계(S220); 상기 산출된 차이 값만큼 상기 제1최종영상 프레임을 보정하여 미수신된 상기 제2최종영상프레임을 대체하는 제2대체영상프레 임을 생성하는 단계(S240); 및 상기 제2대체영상프레임을 화면에 표시하는 단계(S260);를 포함한다.

클라이언트(200)가 서버(100)로부터 제1시점에 상응하는 제1최종영 상프레임을 수신한다(S200). 즉, 클라이언트(200)는 서버(100)로부터 영상방향데이터가 메타정보로 결합된 제1최종영상프레임을 무선통신을 통해 수신할 수 있다. 상 기 영상방향데이터는 상기 서버(100)에 의해 획득된 영상프레임의 3차원 공간상의 방향에 관한 데이터이며, 상기 최종영상프레임은 상기 서버(100)에 의해 상기 영상 방향데이터를 메타정보로 포함하는 영상프레임일 수 있다.

클라이언트(200)는, 제2시점에 상응하는 제2최종영상프레임이 수신 되지 않으면, 상기 제1시점에 상응하는 영상방향데이터와 상기 제2시점에 상응하는 재생방향데이터를 비교하여 차이값을 산출한다(S220). 상기 제2시점은, 상기 제1시 점으로부터 상기 최종영상프레임의 전송주기가 경과된 시점일 수 있다. 클라이언트 (200)는 제1시점에 대응하는 제1최종영상프레임을 수신하여 표시한 후에 최종영상 프레임의 전송주기가 경과된 후 제2시점에 통신상태의 불량 등의 이유로 제2최종영 상프레임을 수신하지 못할 수 있다. 이러한 경우, 사용자는 제2시점에서 기대되는 제2최종영상프레임 대신에 제1최종영상프레임을 계속 표시됨에 따라 제2시점의 재 생방향데이터와 제1최종영상프레임의 영상방향데이터 사이의 차이만큼 물체가 흔들 리는 현상이 발생할 수 있다. 즉, 제2시점에 제1시점에 상응하는 제1최종영상프레 임을 계속 표시한 후에 제3시점(즉, 제2시점으로부터 최종영상프레임의 전송주기가 경과된 시점)에 새로운 최종영상프레임(즉, 제3최종영상프레임)이 수신되면, 도 10 에서와 같이, 사용자는 제1최종영상프레임에서 제3최종영상프레임으로 바로 변경됨 에 따라 제2시점에 상응하는 물체의 위치를 건너뛰고 제1시점의 물체 위치에서 제3 시점의 물체 위치로 이동함에 따라 부자연스럽게 물체가 움직이거나 흔들리는 것과 같은 현상을 느낄 수 있다. 이러한 현상이 계속적으로 발생하게 되면, 사용자는 멀 미 현상을 느낄 수 있다. 이를 해결하기 위해, 클라이언트(200)는 누락된 제2최종 영상프레임을 대체할 영상프레임을 생성할 필요가 있다. 따라서 클라이언트(200)는 제1시점에 수신된 제1최종영상프레임을 수정하여 제2시점의 영상프레임(즉, 제2대 체영상프레임)으로 생성할 수 있다.

클라이언트(200)는 제1최종영상프레임을 제2시점에 부합하는 영상프레임으로 변환하기 위해 보정 수준을 결정할 필요가 있다. 이를 위해, 클라이언트 (200)는 상기 제1시점에 상응하는 영상방향데이터와 상기 제2시점에 상응하는 재생 방향데이터를 비교하여 차이값을 산출할 수 있다. 재생방향데이터는 특정시점에 상 기 클라이언트(200)의 화면상에 재생되어야 하는 영상프레임의 방향에 관한 데이터 일 수 있다. 재생방향데이터는 VR장치 내에 구비된 센서(예를 들어, 자이로센서, 지자기센서, 가속도센서 등)를 통해 측정될 수 있다. 예를 들어, 클라이언트(200) 는 서버(100)로부터 재생방향데이터에 대응하는 영상방향데이터를 포함하는 영상프레임을 수신하여 사용자에게 제공하는 경우, 클라이언트(200)는 영상프레임이 제공 되어야 하는 방향에 해당하는 제2재생방향데이터와 제1최종영상프레임의 방향에 해 당하는 제1영상방향데이터의 차이를 계산하여, 제1최종영상프레임을 보정하여야 하 는 값으로 산출할 수 있다.

상기 재생방향데이터 및 상기 영상방향데이터는 고저각데이터 및 방위각데이터를 포함할 수 있다. 클라이언트(200)는 제2시점의 재생방향데이터와 제1 시점의 영상방향데이터 사이의 고저각 및 방위각 차이를 산출할 수 있다.

또한, 상기 재생방향데이터 및 상기 영상방향데이터는 착용자의 정 면방향을 축으로 하는 회전각도인 기울임데이터를 포함할 수 있다. 클라이언트 (200)는 제2시점의 재생방향데이터와 제1시점의 영상방향데이터 사이의 기울임데이터 차이를 산출할 수 있다.

클라이언트(200)는 상기 산출된 차이 값만큼 상기 제1최종영상프레임을 보정하여 미수신된 상기 제2최종영상프레임을 대체하는 제2대체영상프레임을 생 성한다(S240). 일실시예로, 클라이언트(200)는 상기 차이값을 바탕으로 상기 제1최 종영상프레임을 이동할 수 있다. 즉, 클라이언트(200)는 고저각의 차이 값만큼 제1 최종영상프레임을 수직방향으로 이동시킬 수 있고, 방위각의 차이 값만큼 제1최종영 상프레임을 수평방향으로 이동시킬 수 있다. 또한, 클라이언트(200)는 기울임데이터의 차이 값만큼 제1최종영상프레임을 회전할 수 있다. 사용자의 정면방향을 축으로 특정한 방향으로 고개를 기울이면 사용자에게 보이는 물체는 회전하므로, 제1시 점의 영상방향데이터와 제2시점의 재생방향데이터간의 기울임데이터의 차이 값만큼 제1최종영상프레임을 회전할 수 있다.

클라이언트(200)가 제1최종영상프레임을 상기 차이 값에 따라 보정하 는 경우, 사용자에게 제공될 제2대체영상프레임 상에는, 도 11에서와 같이, 공백영역이 발생하게 된다. 상기 공백영역은 흑백으로 처리되거나, 착용자가 시각적으로 최소로 인지하도록 유사한 색상의 조합으로 처리될 수도 있다.

클라이언트(200)는 상기 제2대체영상프레임을 화면에 표시한다 (S260). 즉, 클라이언트(200)는 제2시점에 누락된 제2최종영상프레임을 대신하여 제1최종영상프레임을 보정한 제2대체영상프레임을 화면에 표시할 수 있다.

또한, 사용자가 클라이언트(200)를 착용하고 이동하는 경우, 클라이언트(200)는 사용자의 이동정도(예를 들어, 이동거리 및 이동방향, 이동한 걸음 수 등)를 파악하여, 제2시점의 최종영상프레임이 수신되지 않는 경우, 사용자의 이동 정도에 부합하도록 제1최종영상프레임을 보정할 수 있다. 일실시예로, 사용자가 이 동하는 경우에 물체들은 사용자로부터 떨어진 거리에 따라서 위치변화 정도에 차이 가 있다. 도 12에서와 같이, 가까이 위치하는 물체는 사용자의 이동에 따라 큰 폭으로 이동하고, 멀리 위치하는 물체는 사용자의 이동에 따라 가까이 위치한 물체에 비해 작은 폭으로 이동하게 된다. 따라서, 가상현실 영상에서도 이러한 원근에 따 른 물체 이동 폭의 차이를 반영하여야 사용자에게 높은 현실감을 제공할 수 있다. 이를 위해, 서버가 복수의 물체(즉, 영상프레임 내에서 각 픽셀의 집합으로 표현된 물체)가 클라이언트로부터 각각 떨어진 거리정보(이하, 깊이정보)를 메타정보로 포함하여 최종영상프레임을 생성하여 전송할 수 있다. 제2시점의 제2최총영상프레임 이 누락되는 경우, 클라이언트는 포함된 하나 이상의 센서(예를 들어, 자이로센서, 가속도센서, 지자기센서 등)를 이용하여 사용자의 이동정도를 산출하고, 제1최종영 상프레임 내의 각각의 물체에 각 물체의 깊이정보를 반영하여 제2대체영상프레임을 생성할 수 있다. 즉, 도 13에서와 같이, 클라이언트는 제1시점과 제2시점의 클라이언트 위치(즉, 클라이언트를 착용한 사용자의 위치) 차이에 따라 제1최종영상프레 임 내 복수의 물체에 상응하는 픽셀 별로 보정을 수행하여 제2대체영상프레임을 생 성할 수 있다. 또한, 추가적으로, 클라이언트는 물체가 배치된 거리에 따른 물체 이동 폭의 차이를 반영하여 픽셀 단위의 물체 보정을 수행한 후, 기존에 제1최종영 상프레임에서 물체가 배치되어 있던 영역을 보상하는 작업을 수행할 수 있다. 클라이언트는 주변의 색상을 반영하여 특정한 색상 조합으로 기존의 물체 배치 공간을 채울 수 있다.

또한, 다른 일실시예로, 물체의 이동 폭이 상이한 경우, 클라이언트 는 가장 큰 크기의 물체의 배치 위치에 맞게 영상프레임을 이동시킨 후, 나머지 물 체들을 픽셀 단위로 조절할 수 있다. 이를 통해, 최대 크기의 물체에 대해서는 픽 셀 단위 작업을 수행하지 않으므로, 제2대체영상프레임 내에 픽셀단위 이동에 따라 생성되는 빈 공간이 최소화될 수 있다. 또한, 다른 일실시예로, 클라이언트를 착용 한 사용자가 전방 또는 후방으로만 이동하는 경우, 클라이언트는 제1최종영상프레 임을 확대 또는 축소하여 누락된 제2최종영상프레임을 대체하는 제2대체영상프레임을 생성할 수 있다.

또한, 제n시점(n은 1보다 큰 자연수)에 상응하는 최종영상프레임이 수신되지 않으면, 상기 제n-1시점에 상응하는 영상방향데이터와 상기 제n시점에 상 응하는 재생방향데이터를 비교하여 차이값을 산출하는 단계; 및 상기 산출된 차이 값만큼 상기 제n-1대체영상프레임을 보정하여 제n대체영상프레임을 생성하는 단계; 를 더 포함할 수 있다. 즉, 제2시점에 제2최종영상프레임이 수신되지 않아 제2대체 영상프레임이 제공된 후에 제3시점에 제3최종영상프레임이 수신되면, 사용자는 영 상 내의 물체가 원활하게 이동하는 것으로 지각할 수 있다. 그러나 제2시점 이후에 도 영상프레임이 연속적으로 수신되지 않는 경우, 클라이언트(200)는 이전에 생성 된 대체영상프레임(예를 들어, 제2대체영상프레임 또는 제n-1대체영상프레임)을 바 탕으로 다음 대체영상프레임(예를 들어, 제3대체영상프레임 또는 제n대체영상프레 임)을 생성할 필요가 있다. 클라이언트(200)는 제n-1시점의 제n-1대체영상프레임 내의 영상방향데이터(또는 제n-1시점에 측정된 재생방향데이터)와 제n시점에 측정 된 재생방향데이터를 비교하여 차이값을 산출하고, 산출된 차이값만큼 제n-1대체영상프레임을 보정(예를 들어, 이동 또는 변환)하여 제n대체영상프레임을 생성할 수 있다. 이를 통해, 클라이언트(200)는 통신상태 불량에 의해 연속적으로 서버(100) 로부터 최종영상프레임이 수신되지 않는 경우에도 자연스러운 가상현실 영상을 사 용자에게 제공할 수 있다.

상술한 바에 따라, 일 실시예에 따른 가상현실 영상 제공 방법은, 가상현실 영상프레임을 무선으로 전송함에 따른 특정시점의 영상프레임 누락을 보완할 수 있어서, 사용자는 특정한 영상프레임이 수신되지 않는 경우에도 가상현실 공간의 전체적인 시점이 흔들리지 않고 자연스럽게 영상이 재생될 수 있다.

또한, 일 실시예에 따라 전체영상 중 하나의 프레임만 추출하여 전송하거나 재생방향데이터에 부합하는 프레임만을 생성하여 전송함으로써, 무선 방식으로 가상현실 영상 콘텐츠를 제공할 때에도, 고해 상도의 영상을 제공하거나 통신 트레픽을 줄일 수 있다.

또한, 일 실시 예에 따라 사용자의 움직임에 즉각적으로 반응되고 가상현실영상의 대상체 표면에 최적화된 실시간 영상을 제공할 수 있다. 따라서, 가상현실 영상의 현실감과 몰입감을 높일 수 있다.

또한, 일 실시예에 따라 네트워크상의 지연에 의해 프레임 누락이 발생하는 경우나 가상현실영상 보정 수행 시에도 영상프레임의 누락을 보완할 수 있어, 십자선(crosshair)과 같은 이미지가 사용자에 의해 실제로 지시되는 지점이 아닌 다른 지점에 표시되는 것을 방지할 수 있다.

한편, 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

1. 가상현실 영상 제공 방법에 있어서,
   클라이언트가 서버로부터 가상현실 영상데이터를 수신하여 제1 레이어에 할당하는 단계;
   적어도 하나의 컨트롤러의 제어정보를 표시하는 것인, 제2 레이어 생성 단계;
   상기 적어도 하나의 컨트롤러의 동작 정보를 수신하고, 상기 동작 정보에 기초하여 상기 가상현실 영상데이터 내 소정 오브젝트와 상기 제어정보의 충돌지점을 결정하는 단계;
   상기 충돌지점의 법선데이터에 기초하여 변형된 상기 제어정보를 포함하는 결합 데이터를 상기 제2 레이어에 할당하는 단계; 및
   상기 제1 레이어 및 상기 제2 레이어를 합성하여 최종영상프레임을 생성하는 단계를 포함하고,
   상기 법선데이터는, 가상현실 영상 내 상기 충돌지점에서의 상기 소정 오브젝트의 배치상태를 파악하기 위한 것이고,
   상기 제2 레이어에 할당하는 단계는, 상기 법선데이터를 기반으로 하여 충돌지점에 해당되는 상기 소정 오브젝트의 배치상태를 파악하고, 상기 제어정보를 상기 법선데이터의 수직 방향에 맞도록 변형시킨 결합 데이터를 상기 제2 레이어에 할당하는 것이고,
   상기 동작 정보는, 상기 적어도 하나의 컨트롤러의 위치 정보 및 컨트롤러가 가리키는 방향에 대한 정보를 포함하는 것인,
   가상현실영상 제공방법.
2. 제1항에 있어서,
   상기 충돌지점을 결정하는 단계는,
   서버로부터 충돌 계산에 사용된 컨트롤러의 동작정보, 컨트롤러가 가리키는 방향선 상 오브젝트와 충돌하는 위치 및 충돌 위치 상 충돌 오브젝트에 대한 법선벡터 정보를 수신하는 것을 포함하는,
   가상현실영상 제공방법.
3. 제1항에 있어서,
   상기 제2 레이어는 적어도 하나의 그래픽 사용자 인터페이스를 포함하는 것인,
   가상현실영상 제공방법.
4. 제1항에 있어서,
   상기 가상현실 영상데이터를 수신하여 제1 레이어에 할당하는 단계는,
   상기 가상현실 영상데이터를 복수의 오버레이 항목으로 분할하여 각각 별도의 채널 단위로 수신하는 단계; 및
   상기 별도의 채널을 통해 수신된 복수의 오버레이 항목을 결합하여 복수의 제1 레이어에 할당하는 단계를 포함하는 것인,
   가상현실영상 제공방법.
5. 제4항에 있어서,
   상기 충돌 지점을 결정하는 단계는,
   제1 채널을 통해, 상기 충돌 지점을 결정하기 위한 오브젝트를 포함하는 오버레이 항목을 수신하는 단계;
   상기 수신된 오버레이 항목을 이용하여, 상기 클라이언트에서 충돌 지점을 결정하는 단계; 및
   상기 충돌지점의 법선 벡터를 결정하는 단계를 포함하는 것인,
   가상현실영상 제공방법.
6. 제4항에 있어서,
   상기 오버레이 항목은 (x, y) 좌표를 가지고 있으며,
   상기 서버는 상기 오버레이 항목이 갱신될 필요가 있을 때마다 해당 부분을 클라이언트에 전송하는 것인, 가상현실영상 제공방법.
7. 제1항에 있어서,
   상기 충돌지점을 결정하는 단계는,
   상기 컨트롤러의 동작정보를 서버로 전송하고, 상기 충돌지점 및 법선데이터를 요청하는 단계; 및
   상기 서버에서 결정된 상기 가상현실 영상데이터 내 소정 오브젝트와 상기 제어정보의 충돌 지점 및 법선데이터를 수신하는 단계를 포함하는 것인,
   가상현실영상 제공방법.
8. 제1항에 있어서,
   상기 제어정보는 사용자시선 및 컨트롤러의 중심 포인트 중 적어도 하나를 나타내는 이미지를 포함하는 것인,
   가상현실영상 제공방법.
9. 제1항에 있어서,
   상기 가상현실 영상데이터를 수신하는 단계는,
   상기 서버로부터 제1 시점에 상응하는 제1 영상프레임을 수신하는 단계를 포함하고,
   상기 가상현실 영상 제공 방법은,
   상기 제1 시점에 상응하는 재생방향데이터 및 영상방향데이터를 획득하는 단계를 더 포함하고,
   상기 재생방향데이터는,
   특정시점에 상기 클라이언트의 화면상에 재생되어야 하는 영상프레임의 방향에 관한 데이터이고,
   상기 영상방향데이터는,
   상기 서버에 의해 생성된 영상프레임의 3차원 공간상의 방향에 관한 데이터인,
   가상현실영상 제공방법.
10. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 가상현실영상 재생프로그램.
    

Images