KR20180013391A

KR20180013391A - 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법

Info

Publication number: KR20180013391A
Application number: KR1020160097051A
Authority: KR
Inventors: 정연배; 고표현
Original assignee: 주식회사 미디어로그
Priority date: 2016-07-29
Filing date: 2016-07-29
Publication date: 2018-02-07
Also published as: KR101830786B1

Abstract

본 발명의 일 실시예에 따른 360도 동영상에 대한 화면 제어 방법은, 360도 카메라로 촬영된 영상 데이터에 매칭되는 스크립트가 존재하는지 판단하는 단계, 상기 영상 데이터에 매칭되는 스크립트가 존재할 경우, 상기 스크립트와 상기 영상 데이터를 동기화하는 단계, 및 상기 영상 데이터의 재생 도중 프레임에 해당하는 상기 스크립트의 제어 정보가 존재할 경우, 상기 제어 정보에 따라 카메라 뷰를 제어하는 단계를 포함할 수 있다.

Description

스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법{APPARATUS FOR GENERATING SCRIPT, APPARATUS FOR PLAYING VIDEO, AND METHOD FOR CONTROLLING SCREEN RELATING TO VIDEO BASED ON 360 DEGREE}

본 발명은 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법에 관한 것으로, 보다 상세하게는 사용자의 편의성을 제고할 수 있는 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법에 관한 것이다.

최근 모바일 기기 특히, 스마트폰(smartphone)의 광범위한 보급에 따라 늘어난 사용자들의 다양한 요구에 따라 모바일 기기에 탑재될 다양한 기능이 개발되고 있다. 그리고, 기존의 카메라는 약 180도 이하의 시야각으로 촬영되는 것이 일반적인데, 최근 360도의 시야각으로 촬영할 수 있는 카메라가 개발되어 이러한 카메라로 촬영된 컨텐츠가 유통되고 있다.

특히, 360도의 시야각으로 촬영된 영상은 최신 모바일 기기 중 VR(Virtual Reality) 기기를 통해 재생될 수 있는데, 사람의 시야각은 약 160 이하로 제한되기 때문에 사용자가 VR 영상을 시청하는 도중 현재 시야가 아닌 다른 시야의 영상을 시청하려면 특수한 동작이 필요하게 된다.

현재 상용화되어 있는 VR 기기는 사용자의 머리에 장착되는 형태로서, 사용자의 머리가 향하는 방향을 센싱하여(헤드 트랙킹) 상기 방향에 대응하는 영상을 사용자의 시야에 재생하여 주는 방식을 채택하고 있다. 따라서, 사용자가 원하는 시야의 영상을 시청하려면 사용자가 직접 머리를 회전하여야 하므로, 과도한 머리 움직임으로 인한 화면 전환시 어지러움증 및 구토가 유발될 수 있다.

또한, 3차원적으로 제공되는 영상으로 인해 정작 필요하거나 중요한 장면을 보지 못함으로써, 영상의 스토리나 흐름을 따라가기가 어려운 경우가 발생할 수 있다.

본 발명은 360도 동영상의 시청시 사용자의 불편을 초래하지 않고도 영상의 스토리나 흐름에 따른 시청을 제공하는 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법을 제공하기 위한 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 360도 동영상에 대한 화면 제어 방법은, 360도 카메라로 촬영된 영상 데이터에 매칭되는 스크립트가 존재하는지 판단하는 단계; 상기 영상 데이터에 매칭되는 스크립트가 존재할 경우, 상기 스크립트와 상기 영상 데이터를 동기화하는 단계; 및 상기 영상 데이터의 재생 도중 프레임에 해당하는 상기 스크립트의 제어 정보가 존재할 경우, 상기 제어 정보에 따라 카메라 뷰를 제어하는 단계를 포함할 수 있다.

실시예에 따라, 상기 스크립트가 존재하는지 판단하는 단계는, 상기 영상 데이터에 포함된 메타 정보와 상기 스크립트에 포함된 메타 정보가 서로 일치하는지 판단하는 단계를 포함할 수 있다.

실시예에 따라, 상기 제어 정보는 화면 제어를 하려고 하는 대상 프레임의 번호인 동기 프레임, 시야의 중심점 좌표인 뷰 포인트, 상기 시야의 좌우폭인 시야각, 화면 제어의 종류인 뷰 액션 중 적어도 하나를 포함할 수 있다.

실시예에 따라, 상기 뷰 액션은 화면 이동 시작, 화면 이동 종료, 화면 전환, 줌 인, 줌 아웃, 페이드 인, 페이드 아웃 중 적어도 하나일 수 있다.

실시예에 따라, 상기 제어 정보에 따라 카메라 뷰를 제어하는 단계는, 상기 뷰 액션이 상기 화면 이동 시작일 경우, 상기 제어 정보 이후로 최초로 뷰 액션이 상기 화면 이동 종료인 제어 정보를 검색하는 단계; 및 검색된 제어 정보 및 상기 제어 정보를 기초로 상기 검색된 제어 정보에 대응하는 프레임과 상기 제어 정보에 대응하는 프레임 사이의 프레임에 대한 뷰 포인트를 산출하는 단계를 포함할 수 있다.

실시예에 따라, 상기 뷰 포인트를 산출하는 단계는, 상기 검색된 제어 정보의 뷰 포인트로부터 상기 제어 정보의 뷰포인트를 감산한 값을 상기 검색된 제어 정보의 동기 프레임으로부터 상기 제어 정보의 동기 프레임을 감산한 값으로 나누어 화면 이동 속도를 산출하는 단계; 및 상기 화면 이동 속도에 기반하여 상기 검색된 제어 정보에 대응하는 프레임과 상기 제어 정보에 대응하는 프레임 사이의 프레임에 대한 뷰 포인트를 산출하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 동영상 재생 장치는, 360도 카메라로 촬영된 영상 데이터에 매칭되는 스크립트가 존재하는지 판단하는 스크립트 매칭 판단부; 및 상기 영상 데이터에 매칭되는 스크립트가 존재할 경우, 상기 스크립트와 상기 영상 데이터를 동기화하고, 상기 영상 데이터의 재생 도중 프레임에 해당하는 상기 스크립트의 제어 정보가 존재할 경우, 상기 제어 정보에 따라 카메라 뷰를 제어하는 동영상 재생부를 포함할 수 있다.

본 발명의 일 실시예에 따른 스크립트 생성 장치는, 360도 카메라로 촬영된 영상 데이터의 카메라 뷰를 제어하는 제어 정보 및 상기 영상 데이터에 매칭시키는 메타 정보를 포함하는 스크립트를 생성하기 위한 유저 인터페이스를 제공하고, 상기 유저 인터페이스를 통해 사용자에 의해 임의로 설정되는 스크립트를 생성할 수 있다.

상기와 같이 구성되는 본 발명의 일 실시예에 따른 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법에 의하면, 사용자가 직접 머리를 회전할 필요가 없이도 360도 영상의 스토리나 중요한 장면을 놓치지 않고 극적인 화면 구성을 경험할 수 있도록 화면제어가 이루어질 수 있다. 아울러, 사용자는 콘텐츠 감상에 피로감을 덜 느낄 수 있다.

또한, 동일한 360도 동영상에 대해 스크립트 제작자마다 다양한 스크립트가 제작될 수 있는데, 각 스크립트마다 전혀 다른 스토리텔링이 구현될 수 있다.

그리고, 영상 제작자의 입장에서는 한대의 360도 카메라로 촬영된 영상에 대해 스크립트를 활용하여 각각의 카메라 앵글의 위치를 지시하는 주/부조종실의 역할을 구현할 수 있어, 비용 절감의 효과도 나타날 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 360도 동영상 제공 시스템을 나타낸 블록도이다.
도 2는 도 1에 도시된 동영상 재생 장치를 보다 상세히 나타낸 블록도이다.
도 3은 360도 영상의 하나의 프레임을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 스크립트를 나타낸 도면이다.
도 5는 도 4에 도시된 메타 정보를 보다 상세히 나타낸 도면이다.
도 6은 도 4에 도시된 제어 정보를 보다 상세히 나타낸 도면이다.
도 7 내지 도 10 각각은 본 발명의 일 실시예에 따른 360도 동영상의 화면 제어 방법을 설명하기 위한 예시도면이다.
도 11은 본 발명의 일 실시예에 따른 360도 영상의 화면 제어 방법을 나타내는 흐름도이다.

이하, 본 발명과 관련된 적어도 하나의 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

도 1은 본 발명의 일 실시예에 따른 360도 동영상 제공 시스템을 나타낸 블록도이다. 도 2는 도 1에 도시된 동영상 재생 장치를 보다 상세히 나타낸 블록도이다.

도 1과 도 2를 참조하면, 360도 동영상 제공 시스템(10)은 동영상 촬영 장치(50), 스크립트 생성 장치(70) 및 동영상 재생 장치(100)를 포함할 수 있다.

동영상 촬영 장치(50)는 360도 동영상을 촬영할 수 있는 장치로서, 동영상 촬영 장치(50)를 중심으로 360도의 화각으로 동영상을 촬영할 수 있다. 예컨대, 동영상 촬영 장치(50)는 120도의 화각을 갖는 카메라 3대를 이용하여 동시에 촬영함으로써 360도의 화각으로 동영상을 촬영할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

동영상 촬영 장치(50)는 동영상을 촬영하여 영상 데이터를 생성할 수 있는데, 영상 데이터는 메타 정보, 영상 정보 및 음성 정보를 포함할 수 있다. 동영상 촬영 장치(50)는 영상 데이터를 동영상 재생 장치(100)로 전송할 수 있다.

여기서, 메타 정보는 영상 데이터를 식별하기 위한 정보이고, 영상 정보는 프레임(frame) 단위로 영상을 구성하는 픽셀 값들을 포함하는 정보이고, 음성 정보는 영상과 동기화된 오디오 정보이다. 여기서, 영상 정보는 특정 포맷(format)으로 인코딩(encoding)될 수 있다.

스크립트 생성 장치(70)는 동영상 촬영 장치(50)가 촬영한 영상 데이터의 재생시, 영상 데이터와 동기화되어 영상 데이터의 화면을 제어하는 스크립트를 생성할 수 있다. 스크립트에 의한 화면 제어는 화면 이동, 화면 전환, 줌 아웃(zoom out) 및 줌 인(zoom in), 페이드 아웃(fade out) 및 페이드 인(fade in) 등을 포함할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

스크립트는 동기화되는 영상 데이터를 식별하기 위한 메타 정보 및 프레임 단위의 화면 제어를 위한 제어 정보를 포함할 수 있다.

스크립트 생성 장치(70)는 스크립트를 생성하기 위한 유저 인터페이스(user interface)를 제공할 수 있으며, 스크립트 제작자는 유저 인터페이스를 통해 스스로의 의도를 반영하여 임의로 화면 제어를 할 수 있는 스크립트를 생성할 수 있다.

즉, 하나의 영상 데이터에 대해 복수의 스크립트가 생성될 수 있으며, 영상 데이터에 어떤 스크립트가 동기화됨에 따라 전혀 다른 화면 제어가 이루어질 수 있다.

스크립트 생성 장치(70)는 스크립트를 동영상 재생 장치(100)로 전송할 수 있다.

동영상 재생 장치(100)는 영상 데이터 및 스크립트를 수신하여, 360도 영상을 재생하는 장치이며, VR 기기인 웨어러블 디바이스(wearable device)로 구현될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다. 동영상 재생 장치(100)의 상세한 구성은 도 2를 참조하여 후술하기로 한다.

동영상 재생 장치(100)는 동영상 저장부(110), 스크립트 저장부(120), 스크립트 매칭 판단부(130), 동영상 재생부(140) 및 출력부(150)를 포함할 수 있다.

동영상 저장부(110)는 동영상 촬영 장치(50)로부터 수신된 영상 데이터를 저장하고, 동영상 재생부(140)의 요청에 따라 영상 데이터를 동영상 재생부(140)로 전송할 수 있다.

스크립트 저장부(120)는 스크립트 생성 장치(70)로부터 수신된 스크립트를 저장하고, 스크립트 매칭 판단부(130)의 요청에 따라 스크립트를 스크립트 매칭 판단부(130)로 전송할 수 있다.

동영상 저장부(110)와 스크립트 저장부(120)는 각각 독립적인 비휘발성 메모리(non-volatile memory)로 구현될 수 있으나, 하나의 메모리에 블록이 나뉘어 구현될 수도 있다.

스크립트 매칭 판단부(130)는 동영상 재생부(140)로 전송되는 영상 데이터를 수신하면, 스크립트 저장부(120)에 저장된 스크립트들 중 영상 데이터와 매칭되는 스크립트가 존재하는지 판단할 수 있다.

이때, 스크립트 매칭 판단부(130)는 영상 데이터의 메타 정보 및 스크립트의 메타 정보를 서로 비교하여, 일치하는지에 따라 매칭 여부를 결정할 수 있다.

일 실시예에 따라, 영상 데이터와 스크립트의 메타 정보의 전부가 일치할 때, 스크립트 매칭 판단부(130)가 영상 데이터와 스크립트가 매칭된다고 판단할 수 있다.

다른 실시예에 따라, 영상 데이터와 스크립트의 메타 정보의 적어도 일부가 일치할 때, 스크립트 매칭 판단부(130)가 영상 데이터와 스크립트가 매칭된다고 판단할 수 있다.

만일, 영상 데이터와 매칭되는 스크립트가 하나 존재하면, 스크립트 매칭 판단부(130)는 상기 스크립트를 동영상 재생부(140)로 전송할 수 있다.

만일, 영상 데이터와 매칭되는 스크립트가 복수 개 존재하면, 스크립트 매칭 판단부(130)는 메타 정보에 포함되는 정보들 중 우선 순위가 높은 정보가 일치하는 스크립트를 동영상 재생부(140)로 전송할 수 있다. 여기서, 우선 순위가 높은 정보가 일치하는 스크립트가 복수개 존재할 경우, 차순위의 정보가 일치하는 스크립트를 검색하는 방식으로 스크립트가 결정될 수 있다. 우선 순위는 동영상 재생 장치(100)의 시스템 관리자에 의해 임의로 설정될 수 있다.

다른 실시예에 따라, 스크립트 매칭 판단부(130)는 복수의 스크립트들 중 어느 스크립트가 적절한지 여부를 사용자가 선택할 수 있도록 하는 메뉴를 출력부(150)를 통해 표시하고, 별도의 입력 인터페이스를 통해 사용자 입력을 수신하여 영상 데이터와 매칭되는 스크립트를 결정할 수 있다.

스크립트 매칭 판단부(130)는 영상 데이터와 매칭되는(또는 가장 적절한) 스크립트를 동영상 재생부(140)로 전송할 수 있다.

동영상 재생부(140)는 수신된 영상 데이터를 출력부(150)를 통해 재생될 수 있는 포맷(format)으로 변환하여 출력 데이터를 생성할 수 있다. 동영상 재생부(140)는 포맷 변환을 위한 디코더(decoder)를 포함할 수 있다.

동영상 재생부(140)가 수신하는 영상 데이터는 360도 영상에 해당하고, 출력부(150)의 디스플레이는 사용자가 볼 수 있는 범위의 일정한 해상도(resolution)의 재생 화면을 표시할 수 있다. 따라서, 출력부(150)로 전송되는 출력 데이터는 재생 화면으로 표시될 수 있는 데이터이며, 360도 영상의 한 프레임 중 일부 화면에 해당하게 된다.

만일, 동영상 재생부(140)가 수신된 영상 데이터와 매칭되는 스크립트를 스크립트 매칭 판단부(130)로부터 수신한 경우, 동영상 재생부(140)는 영상 데이터와 스크립트를 동기화하고, 동기화된 스크립트에 따라 결정되는 화면을 출력 데이터로 결정할 수 있다.

또한, 동영상 재생부(140)가 사용자로부터 화면 제어를 위한 신호를 수신하는 경우, 스크립트에 우선하여 상기 화면 제어를 위한 신호에 따라 결정되는 화면을 출력 데이터로 결정할 수 있다. 다른 실시예에 따라, 동영상 재생부(140)가 사용자로부터 화면 제어를 위한 신호를 수신하더라도, 상기 화면 제어를 위한 신호에 우선하여 스크립트에 따라 결정되는 화면을 출력 데이터로 결정할 수도 있다.

동영상 재생 장치(100)가 웨어러블 디바이스로 구현될 경우, 상기 화면 제어를 위한 신호는 사용자의 머리 움직임을 감지한 헤드 트랙킹(head tracking) 신호일 수 있다.

출력부(150)는 사용자에게 화면을 제공하기 위한 디스플레이와 사용자에게 소리를 제공하기 위한 스피커를 포함할 수 있다. 본 발명의 실시예는 360도 영상의 화면 제어를 위한 것이므로, 본 명세서에서는 음성과 관련된 부분에 대한 설명은 생략하기로 한다.

동영상 촬영 장치(50), 스크립트 생성 장치(70) 및 동영상 재생 장치(100)는 도 1과 같이 별도의 독립적인 구성들로 구현될 수 있으나, 본 발명의 범위는 이에 한정되지 않고 이들 중 적어도 2개의 장치는 하나의 장치로 통합되어 구현될 수 있다.

도 3은 360도 영상의 하나의 프레임을 나타낸 도면이다.

도 3을 참조하면, 프레임(Frame)은 360도 영상에서 동일한 시점에서 촬영된 화면을 나타내는 프레임을 의미한다.

프레임의 가로축은 0°에서 360°의 좌표를 가지며, 프레임의 세로축은 0°에서 180°의 좌표를 가질 수 있다. 이는 360도 영상은 좌우로 360도의 화각을 가지고 상하로 180도의 화각을 가지는 카메라로 촬영된 영상이기 때문이다.

구의 개념으로 설명하자면, 가로축의 좌표는 경도에 해당하며, 세로축의 좌표는 위도에 해당하게 된다. 즉, 반지름의 길이가 1인 단위 구(unit sphere) 표면 상의 점은 경도에 해당하는 θ(0~360도 사이의 값을 가짐)와, 위도에 해당하는 φ(-90도에서 90도 사이의 값을 가짐)로 표현 가능하다. UV 맵핑은 이러한 3차원 구의 표면 상의 좌표를 2차원으로 변환하는 과정으로서, u는 가로축의 좌표, v는 세로축의 좌표를 나타내며 각각 0~1 사이의 값을 가지며, 다음 수학식 1에 의해 표현될 수 있다.

[수학식 1]

(u, v) = (θ/360, (sinφ+1)/2)

프레임에서 가로축의 좌표와 세로축의 좌표는 UV 맵핑을 통해 산출된 좌표일 수 있으나, 본 명세서에서는 설명의 편의상 도 3에 표시된 바와 같이 프레임의 가로축은 0°에서 360°의 좌표를 가지며, 프레임의 세로축은 0°에서 180°의 좌표를 가지는 것으로 설명하기로 한다.

앞서 설명한 바와 같이, 출력부(150)로 전송되는 출력 데이터는 재생 화면으로 표시될 수 있는 데이터로서, 360도 영상의 한 프레임 중 일부에 해당한다.

360도 영상이 프레임(Frame)이라 하면, 출력 데이터는 도 3에 표시된 시야(FOV; Field of View)에 해당한다. 시야(FOV)의 가로와 세로 간의 비율이 고정되어 있다고 가정하면(예컨대, 4:3), 시야(FOV)는 뷰포인트(VP; View Point)와 시야각(AG; view Angle)로 정의될 수 있다.

뷰포인트(VP)는 시야(FOV)의 중심점 좌표를 의미하며, 시야각(AG)은 시야(FOV)의 좌우폭을 의미한다. 즉, 뷰포인트(VP)가 상하 및/또는 좌우로 이동함에 따라 시야(FOV)도 이동하게 된다. 또한, 시야각(AG)이 커질수록 시야(FOV)가 커지게 되는데, 재생 화면의 크기는 일정하므로 화면이 축소되는 효과(또는 카메라가 줌 아웃되는 효과)가 나타난다. 반대로, 시야각(AG)이 작아질수록 시야(FOV)가 작아지게 되는데, 재생 화면의 크기는 일정하므로 화면이 확대되는 효과(또는 카메라가 줌 인되는 효과)가 나타난다.

예컨대, 도 3에 도시된 시야(FOV)는 (180, 90)의 뷰포인트와 90의 시야각으로 정의된 시야일 수 있다.

도 4는 본 발명의 일 실시예에 따른 스크립트를 나타낸 도면이다. 도 5는 도 4에 도시된 메타 정보를 보다 상세히 나타낸 도면이다. 도 6은 도 4에 도시된 제어 정보를 보다 상세히 나타낸 도면이다.

도 4 내지 도 6을 참조하면, 스크립트(400)는 메타 정보(410) 및 적어도 하나의 제어 정보(420-1~420-n; n은 1이상의 정수)를 포함할 수 있다. 여기서, n은 스크립트의 제작자가 임의적으로 결정할 수 있는 수로서 n은 총 프레임 수 이하의 값을 가질 수 있다. 각 제어 정보는 하나의 프레임에 대응하고 각 제어 정보에 대응하는 프레임의 번호는 1에서 n으로 갈수록 크게 배치될 수 있다.

메타 정보(410)는 총 프레임(TF; Total Frame), 비트레이트(BR; Bit Rate), 뷰 거리(VD; View Distance), 영상 제목(VN; Video Name) 및 인코딩 규격(EN; Encoding)을 포함할 수 있다.

총 프레임(TF)은 영상 데이터에 포함된 총 프레임의 개수 또는 총 재생 시간을 의미하고, 비트레이트(BR)는 영상 데이터의 품질을 나타내는 수치인 초당 처리 비트 수(단위: Mbps)를 의미한다.

뷰거리(VD)는 프레임(Frame) 전체의 대각선 길이를 의미하는 것으로, 픽셀 단위로 표현될 수 있다.

영상 제목(VN)은 영상 데이터의 제목(예컨대, '우리집 식구들의 일상')을 의미하고, 인코딩 규격(EN)은 영상 데이터가 인코딩되어 있는 규격(예컨대, H.264)을 의미한다.

적어도 하나의 제어 정보(420-1~420-n)는 모두 동일한 포맷을 가지며, 이러한 포맷을 가지는 대표적인 제어 정보(420)가 도 6에 도시되어 있다.

제어 정보(420)는 동기 프레임(SF; Sync Frame), 뷰 포인트(VP; View Point), 시야각(AG; view Angle) 및 뷰 액션(VA; View Action)을 포함할 수 있다. 제어 정보(420)에 포함되는 각 항목의 종류, 데이터 크기 및 순서는 미리 정의된 규약에 의해 정의될 수 있으며, 도 6에 도시된 제어 정보(420)에 한하지 않고 얼마든지 변형될 수 있다.

동기 프레임(SF)은 제어 정보(420)가 화면 제어를 하려고 하는 대상 프레임의 번호를 의미하며, 예컨대 총 프레임수가 10000개라 할 때 1~10000 중 어느 하나의 수일 수 있다. 영상 데이터에 포함된 프레임들은 순차적으로 1씩 증가하는 프레임 번호를 가질 수 있다.

뷰포인트(VP)와 시야각(AG)은 도 3에서 설명된 바 중복된 설명은 생략하기로 한다.

뷰 액션(VA)은 화면 제어의 종류를 나타내는 정보이며, 예컨대, Start(화면 이동 시작), End(화면 이동 종료), Change(화면 전환), Zoom-in(줌 인), Zoom-out(줌 아웃), Fade-in(페이드 인), Fade-out(페이드 아웃) 중 적어도 하나의 값을 포함할 수 있다. 상기 나열된 값은 예시적인 것에 불과하며, 다른 종류의 화면 제어에 대한 값이 뷰 액션(VA)에 포함될 수 있음은 물론이다. 또한, 각 정보(예컨대, Start)는 하나의 대응되는 스칼라값(예컨대, 0, 1 등)으로 식별될 수 있다.

Start(화면 이동 시작)은 해당 동기 프레임부터 화면 이동이 시작됨을 의미하고, End(화면 이동 종료)는 해당 동기 프레임에서 화면 이동이 종료됨을 의미한다.

Change(화면 전환)은 해당 동기 프레임에서 화면 전환(이전 프레임의 시야와 전혀 다른 시야로 현재 프레임이 전환)이 이루어짐을 의미한다.

Zoom-in(줌 인)과 Zoom-out(줌 아웃)은 각각 시야각(AG)이 작아지거나 커지는 것을 의미한다.

Fade-in(페이드 인)과 Fade-out(페이드 아웃)은 각각 시야(FOV)가 점차 밝아지며 화면이 전환되거나 점차 어두워지며 화면이 전환됨을 의미하며, 동영상 재생부(140)는 시야(FOV) 내의 복수의 픽셀들의 명암을 조절함으로써 화면 제어를 수행할 수 있다. Fade-in(페이드 인)과 Fade-out(페이드 아웃)은 각각 화면 이동과 마찬가지로 Fade-in(페이드 인)과 Fade-out(페이드 아웃) 각각의 시작 또는 종료를 나타내는 정보를 더 포함할 수 있다. 또는 Fade-in(페이드 인)과 Fade-out(페이드 아웃)은 명암을 조절하기 위한 값(예컨대, +2% 또는 -2%)을 더 포함할 수 있다.

도 7 내지 도 10 각각은 본 발명의 일 실시예에 따른 360도 동영상의 화면 제어 방법을 설명하기 위한 예시도면이다.

도 7 내지 도 10을 참조하여, 스크립트에 의해 360도 동영상의 화면 제어가 수행되는 과정을 설명하기로 한다.

도 7의 제1 프레임(F1)에는 방안의 모습과 고양이(C)와 강아지1(D1)이 포함되어 있다. 제1 프레임(F1)의 프레임 번호를 600이라 하면, 제1 프레임(F1)을 제어하기 위한 제1 제어 정보(CI1)는 도 7에 도시된 바와 같다.

즉, 제1 제어 정보(CI1)는 600의 동기 프레임(SF), (50,100)의 뷰 포인트(VP), 85의 시야각(AG), 및 Start의 뷰 액션(VA)을 각각 포함한다.

따라서, 동영상 재생부(140)는 프레임 번호가 600인 제1 프레임(F1)의 뷰 포인트는 (50,100)의 좌표를 가지고, 시야각(AG)은 85의 각도를 가지고, 화면 이동이 시작되도록 출력 데이터를 생성할 수 있다.

도 8의 제2 프레임(F2)에는 방안의 모습과 고양이(C)와 도 7과 비교하여 위치를 이동한 강아지1(D1)이 포함되어 있다. 제2 프레임(F2)의 프레임 번호를 700이라 하면, 제2 프레임(F2)을 제어하기 위한 제2 제어 정보(CI2)는 도 8에 도시된 바와 같다.

즉, 제2 제어 정보(CI2)는 700의 동기 프레임(SF), (150,100)의 뷰 포인트(VP), 85의 시야각(AG), 및 End의 뷰 액션(VA)을 각각 포함한다.

따라서, 동영상 재생부(140)는 프레임 번호가 700인 제2 프레임(F2)의 뷰 포인트는 (150,100)의 좌표를 가지고, 시야각(AG)은 85의 각도를 가지고, 화면 이동이 종료되도록 출력 데이터를 생성할 수 있다.

즉, 스크립트는 제1 프레임(F1)에서 화면 이동이 시작되어 제2 프레임(F2)에서 화면 이동이 종료되도록 화면 제어를 지시할 수 있다.

이때, 프레임 번호가 601에서 699인 프레임들 각각에 대해 점진적으로 뷰 포인트의 가로 좌표가 증가되도록 하는 제어 정보가 스크립트에 포함될 수도 있다.

그러나, 이 경우 스크립트 자체의 파일 용량이 대폭 증가되고, 스크립트 제작자의 불편을 초래할 수 있으므로, 스크립트에는 제1 프레임(F1)에 대한 제1 제어 정보(CI1)와 제2 프레임(F2)에 대한 제2 제어 정보(CI2) 만이 포함될 수 있다. 동영상 재생부(140)는 제1 제어 정보(CI1)와 제2 제어 정보(CI2)에 기초하여 프레임의 흐름에 따른 뷰 포인트(VP)의 화면 이동 속도를 계산할 수 있고, 상기 화면 이동 속도에 기반하여 제1 프레임(F1)과 제2 프레임(F2) 사이에 존재하는 프레임들 각각의 뷰 포인트(VP)를 산출할 수 있다.

예를 들어, 도 7과 도 8의 예에서는 동영상 재생부(140)는 제1 제어 정보(CI)의 뷰 액션(VA)이 Start라는 것으로부터, 제1 프레임(F1)에서 화면 이동이 시작됨을 알 수 있다. 동영상 재생부(140)는 제1 제어 정보(CI1) 이후로 최초로 뷰 액션(VA)이 End인 제어 정보를 검색하며, 검색된 제2 제어 정보(CI2)의 뷰 포인트(가로 좌표)로부터 제1 제어 정보(CI1)의 뷰포인트(가로 좌표)를 감산한 값을 제2 제어 정보(CI2)의 동기 프레임으로부터 제1 제어 정보(CI1)의 동기 프레임을 감산한 값으로 나눔으로써 화면 이동 속도(프레임 당 이동 좌표)를 산출할 수 있다. 동영상 재생부(140)는 이러한 화면 이동 속도에 기반하여 제1 프레임(F1)과 제2 프레임(F2) 사이에 존재하는 프레임들 각각의 뷰 포인트(VP)를 산출할 수 있다. 즉, 화면 이동 속도는 등속이므로 제1 프레임(F1)의 뷰포인트로부터 제2 프레임(F2)의 뷰포인트까지 프레임의 진행에 따라 화면이 등속으로 이동될 수 있다.

다른 실시예에 따라, 제1 제어 정보(CI1)가 화면 이동 속도를 포함하여 동영상 재생부(140)가 이를 기초로 각 프레임의 뷰포인트를 산출할 수 있다.

또 다른 실시예에 따라, 제1 제어 정보(CI1)가 프레임의 진행에 따라 가변되는 화면 이동 속도를 포함하여 동영상 재생부(140)가 이를 기초로 각 프레임의 뷰포인트를 산출할 수 있다. 예를 들어, 600~700프레임에서의 화면 이동 속도와 700~800프레임에서의 화면 이동 속도를 달리 설정하여, 다양한 효과가 연출될 수 있다.

도 7과 도8의 예에서는 가로 방향의 화면 이동에 대해서만 설명하였으나, 대각선 방향의 화면 이동일 때도 가로축 방향의 연산과 세로축 방향의 연산이 각각 수행되어 대각선 방향의 화면 이동이 구현될 수 있음은 물론이다.

도 9의 제3 프레임(F3)에는 방안의 모습과 고양이(C)와 강아지1(D1) 외에 강아지2(D2)가 포함되어 있다. 제3 프레임(F3)의 프레임 번호를 800이라 하면, 제3 프레임(F3)을 제어하기 위한 제3 제어 정보(CI3)는 도 9에 도시된 바와 같다.

즉, 제3 제어 정보(CI3)는 800의 동기 프레임(SF), (270,100)의 뷰 포인트(VP), 85의 시야각(AG), 및 Change의 뷰 액션(VA)을 각각 포함한다.

따라서, 동영상 재생부(140)는 프레임 번호가 800인 제3 프레임(F3)의 뷰 포인트는 (270,100)의 좌표를 가지고, 시야각(AG)은 85의 각도를 가지고, 화면이 전환되도록 출력 데이터를 생성할 수 있다.

즉, 제3 프레임(F3)에서 갑자기 강아지2(D2)가 화면에 나타나도록 화면 제어가 이루어지게 된다.

도 10의 제4 프레임(F4)에는 도 9와 마찬가지로 방안의 모습과 고양이(C)와 강아지1(D1) 외에 강아지2(D2)가 포함되어 있다. 제4 프레임(F4)의 프레임 번호를 900이라 하면, 제4 프레임(F4)을 제어하기 위한 제4 제어 정보(CI4)는 도 10에 도시된 바와 같다.

즉, 제4 제어 정보(CI4)는 900의 동기 프레임(SF), (270,100)의 뷰 포인트(VP), 65의 시야각(AG), 및 Zoom-in의 뷰 액션(VA)을 각각 포함한다.

따라서, 동영상 재생부(140)는 프레임 번호가 900인 제4 프레임(F4)의 뷰 포인트는 (270,100)의 좌표를 가지고, 시야각(AG)은 65의 각도를 가지고, 화면이 확대되도록 출력 데이터를 생성할 수 있다.

즉, 제4 프레임(F4)에서 강아지2(D2)의 모습이 확대되도록 화면 제어가 이루어지게 된다.

따라서, 제1 내지 제4 제어 정보(CI1~CI4)를 포함하는 스크립트에 의해, 화면 제어는 강아지1(D1)의 모습을 비추다가 강아지1(D1)이 우측으로 이동함에 따라서 우측으로 이동하고, 강아지2(D2)의 등장에 맞춰 강아지2(D2)를 비추도록 전환되고 강아지2(D2)를 확대해서 비추도록 이루어질 수 있다.

만일, 도 7 내지 10에 도시된 스크립트가 아닌 다른 스크립트(예컨대 고양이(C)를 주인공으로 하여 제작된 스크립트)에 의하면 전혀 다른 스토리의 화면이 사용자에게 제공될 수 있다.

도 11은 본 발명의 일 실시예에 따른 360도 영상의 화면 제어 방법을 나타내는 흐름도이다.

도 11을 참조하면, 사용자의 요청에 따라 동영상 재생부(140)는 360도 동영상의 재생을 시작하며, 동영상 저장부(110)로부터 해당 영상 데이터를 읽어 들일 수 있다(S10).

영상 데이터가 동영상 저장부(110)로부터 스크립트 매칭 판단부(130)로 전송되면, 스크립트 매칭 판단부(130)는 스크립트 저장부(120)에 저장된 스크립트들 중 영상 데이터와 매칭되는 스크립트가 존재하는지 확인할 수 있다(S20).

스크립트 매칭 판단부(130)는 영상 데이터의 메타 정보 및 스크립트의 메타 정보를 서로 비교하여, 일치하는지에 따라 매칭 여부를 결정할 수 있다(S30).

만일, 스크립트들 중 영상 데이터와 매칭되는 스크립트가 존재하지 않을 경우(S30의 NO), 동영상 재생부(140)는 스크립트와 무관하게 출력 데이터를 생성하여 출력 장치(150)를 통해 재생할 수 있다(S40).

만일, 스크립트들 중 영상 데이터와 매칭되는 스크립트가 존재할 경우(S30의 NO), 동영상 재생부(140)는 스크립트 매칭 판단부(130)로부터 스크립트를 수신하며, 영상 데이터와 스크립트를 동기화할 수 있다(S50).

여기서, 동기화란 영상 데이터와 스크립트 간의 프레임 번호를 매칭하고, 스크립트에 포함된 뷰 포인트(VP)의 위치와 시야각(AG)에 따른 시야(FOV)를 영상 데이터와 정합시키는 동작을 의미한다.

동기화가 완료되면, 동영상 재생부(140)는 영상 데이터의 재생을 시작하며, 재생중인 영상 데이터의 프레임과 동기화된 스크립트에 해당 프레임의 제어 정보가 존재하는지 판단할 수 있다(S60).

만일, 해당 프레임의 제어 정보가 존재할 경우, 제어 정보에 따라 카메라 뷰 즉, 시야(FOV)의 제어를 수행할 수 있다(S70).

만일, 해당 프레임의 제어 정보가 존재하지 않거나, 제어 정보에 따른 카메라 뷰 제어가 완료되면, 동영상 재생부(140)는 스크립트에 기초한 출력 데이터를 생성하여 출력 장치(150)를 통해 재생할 수 있다(S80).

S80 단계의 동영상 재생은 프레임 단위로 수행되고, 다음 프레임에 대해 다시 S60 단계가 수행될 수 있다.

본 발명의 일 실시예에 따른 화면 제어 방법에 의하면, 사용자가 직접 머리를 회전할 필요가 없이도 360도 영상의 스토리나 중요한 장면을 놓치지 않고 극적인 화면 구성을 경험할 수 있도록 화면제어가 이루어질 수 있다. 아울러, 사용자는 콘텐츠 감상에 피로감을 덜 느낄 수 있다.

상기와 같이 설명된 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

360도 카메라로 촬영된 영상 데이터에 매칭되는 스크립트가 존재하는지 판단하는 단계;
상기 영상 데이터에 매칭되는 스크립트가 존재할 경우, 상기 스크립트와 상기 영상 데이터를 동기화하는 단계; 및
상기 영상 데이터의 재생 도중 프레임에 해당하는 상기 스크립트의 제어 정보가 존재할 경우, 상기 제어 정보에 따라 카메라 뷰를 제어하는 단계를 포함하는 360도 동영상에 대한 화면 제어 방법.
제1항에 있어서,
상기 스크립트가 존재하는지 판단하는 단계는,
상기 영상 데이터에 포함된 메타 정보와 상기 스크립트에 포함된 메타 정보가 서로 일치하는지 판단하는 단계를 포함하는 360도 동영상에 대한 화면 제어 방법.
제1항에 있어서,
상기 제어 정보는 화면 제어를 하려고 하는 대상 프레임의 번호인 동기 프레임, 시야의 중심점 좌표인 뷰 포인트, 상기 시야의 좌우폭인 시야각, 화면 제어의 종류인 뷰 액션 중 적어도 하나를 포함하는 360도 동영상에 대한 화면 제어 방법.
제3항에 있어서,
상기 뷰 액션은 화면 이동 시작, 화면 이동 종료, 화면 전환, 줌 인, 줌 아웃, 페이드 인, 페이드 아웃 중 적어도 하나인 360도 동영상에 대한 화면 제어 방법.
제4항에 있어서,
상기 제어 정보에 따라 카메라 뷰를 제어하는 단계는,
상기 뷰 액션이 상기 화면 이동 시작일 경우, 상기 제어 정보 이후로 최초로 뷰 액션이 상기 화면 이동 종료인 제어 정보를 검색하는 단계; 및
검색된 제어 정보 및 상기 제어 정보를 기초로 상기 검색된 제어 정보에 대응하는 프레임과 상기 제어 정보에 대응하는 프레임 사이의 프레임에 대한 뷰 포인트를 산출하는 단계를 포함하는 360도 동영상에 대한 화면 제어 방법.
제5항에 있어서,
상기 뷰 포인트를 산출하는 단계는,
상기 검색된 제어 정보의 뷰 포인트로부터 상기 제어 정보의 뷰포인트를 감산한 값을 상기 검색된 제어 정보의 동기 프레임으로부터 상기 제어 정보의 동기 프레임을 감산한 값으로 나누어 화면 이동 속도를 산출하는 단계; 및
상기 화면 이동 속도에 기반하여 상기 검색된 제어 정보에 대응하는 프레임과 상기 제어 정보에 대응하는 프레임 사이의 프레임에 대한 뷰 포인트를 산출하는 단계를 포함하는 360도 동영상에 대한 화면 제어 방법.
360도 카메라로 촬영된 영상 데이터에 매칭되는 스크립트가 존재하는지 판단하는 스크립트 매칭 판단부; 및
상기 영상 데이터에 매칭되는 스크립트가 존재할 경우, 상기 스크립트와 상기 영상 데이터를 동기화하고, 상기 영상 데이터의 재생 도중 프레임에 해당하는 상기 스크립트의 제어 정보가 존재할 경우, 상기 제어 정보에 따라 카메라 뷰를 제어하는 동영상 재생부를 포함하는 동영상 재생 장치.
제7항에 있어서,
상기 스크립트 매칭 판단부는,
상기 영상 데이터에 포함된 메타 정보와 상기 스크립트에 포함된 메타 정보가 서로 일치하는지 판단하는 동영상 재생 장치.
제7항에 있어서,
상기 제어 정보는 화면 제어를 하려고 하는 대상 프레임의 번호인 동기 프레임, 시야의 중심점 좌표인 뷰 포인트, 상기 시야의 좌우폭인 시야각, 화면 제어의 종류인 뷰 액션 중 적어도 하나를 포함하는 동영상 재생 장치.
제9항에 있어서,
상기 뷰 액션은 화면 이동 시작, 화면 이동 종료, 화면 전환, 줌 인, 줌 아웃, 페이드 인, 페이드 아웃 중 적어도 하나인 동영상 재생 장치.
제10항에 있어서,
상기 동영상 재생부는,
상기 뷰 액션이 상기 화면 이동 시작일 경우, 상기 제어 정보 이후로 최초로 뷰 액션이 상기 화면 이동 종료인 제어 정보를 검색하고,
검색된 제어 정보 및 상기 제어 정보를 기초로 상기 검색된 제어 정보에 대응하는 프레임과 상기 제어 정보에 대응하는 프레임 사이의 프레임에 대한 뷰 포인트를 산출하는 동영상 재생 장치.
제11항에 있어서,
상기 동영상 재생부는,
상기 검색된 제어 정보의 뷰 포인트로부터 상기 제어 정보의 뷰포인트를 감산한 값을 상기 검색된 제어 정보의 동기 프레임으로부터 상기 제어 정보의 동기 프레임을 감산한 값으로 나누어 화면 이동 속도를 산출하고,
상기 화면 이동 속도에 기반하여 상기 검색된 제어 정보에 대응하는 프레임과 상기 제어 정보에 대응하는 프레임 사이의 프레임에 대한 뷰 포인트를 산출하는 동영상 재생 장치.
360도 카메라로 촬영된 영상 데이터의 카메라 뷰를 제어하는 제어 정보 및 상기 영상 데이터에 매칭시키는 메타 정보를 포함하는 스크립트를 생성하기 위한 유저 인터페이스를 제공하고, 상기 유저 인터페이스를 통해 사용자에 의해 임의로 설정되는 스크립트를 생성하는 스크립트 생성 장치.
제13항에 있어서,
상기 제어 정보는 화면 제어를 하려고 하는 대상 프레임의 번호인 동기 프레임, 시야의 중심점 좌표인 뷰 포인트, 상기 시야의 좌우폭인 시야각, 화면 제어의 종류인 뷰 액션 중 적어도 하나를 포함하는 스크립트 생성 장치.
제13항에 있어서,
상기 뷰 액션은 화면 이동 시작, 화면 이동 종료, 화면 전환, 줌 인, 줌 아웃, 페이드 인, 페이드 아웃 중 적어도 하나인 스크립트 생성 장치.