KR101528863B1 - 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법 - Google Patents

Abstract

본 발명은 파노라마 영상의 스트리밍 서비스 제공 시스템에서 수행되는 타일링 영상 동기화 방법에 관한 것으로, a) 카메라의 의해 촬영된 파노라마 영상이 서버에 입력되는 단계, b) 상기 서버에 입력된 상기 파노라마 영상이 촬영된 시간대별로 분류되는 단계, c) 상기 촬영된 시간대별로 분류된 각각의 파노라마 영상을 타일링하여 블록 단위로 분리하는 단계, d) 상기 각각의 타일 영상이 압축되어 상기 서버에 저장되는 단계, 및 e) 상기 타일 영상 및 기준 영상이 적어도 하나 이상의 클라이언트 단말기에 제공되는 단계를 포함하되, 상기 e) 단계에서, e1) 특정 프레임에 대해 상기 타일 영상 및 기준 영상을 디코딩하는 단계, e2) 디코딩한 데이터를 데이터 버퍼에 저장하고 대기하는 단계, e3) 특정 프레임에서 모든 기준 영상과 타일 영상에 해당하는 데이터 버퍼가 채워졌는가 판단하는 단계, e4) 모든 데이터 버퍼가 채워졌으면, 동기화된 상기 타일 영상 및 기준 영상을 화면 출력하는 단계, e5) 데이터 버퍼를 초기화하는 단계를 포함한다.

Description

파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법{Method of synchronizing tiled image in a streaming service providing system of panoramic image}

본 발명은 파노라마 영상의 스트리밍 서비스 제공 시스템에 관한 것으로, 특히 효율적인 스트리밍을 위해 타일링 영상을 전송할 때 타일링 영상들간의 동기화 방법에 관한 것이다.

HDTV 이후의 차세대 방송으로 손꼽히는 것이 UHD TV이다. 이는 가정에서 70 mm 영화보다 뛰어난 화질(비디오 해상도 7680×4320, HD 화면 16배 크기에 해당)과 다채널(~22.2ch) 음질로 극장급의 초고품질 서비스를 제공하여 소비자의 품질 욕구를 만족시킬 수 있는 TV를 목표로 한다.

일반적으로 카메라로 촬영된 파노라마 영상을 제공하는 서비스는 정적 방식인 스틸(Stil) 사진과 동적 방법인 동영상으로 구분되어 서비스된다. 그러나 고해상도로 영상을 표현하기 위해서는 제공되는 파일의 용량이 고용량화 되어야하는데, 이렇게 고용량의 파일을 전송하게 되면 네트워크의 대역폭이 커지게 되고, 동시에 전송 서버에 부담을 가중시키는 문제점이 있다.

따라서, 동영상의 용량은 감소시키면서 네트워크의 대역폭을 원활하게 하며, 스틸만큼의 고해상도 화질과 비슷한 영상을 제공하는 타일링 기법을 이용한 스트리밍 서비스가 제안되었다. 이는 UHD급 파노라마 영상을 영상 타일링 기술을 이용하여 스마트폰과 스마트패드등의 HD급 영상을 제공하는 스마트 기기에서 시청자가 원하는 장면을 인터랙티브로 제공이 가능하도록 함으로써, 실감형의 영상 서비스를 구현하는 것이다.

구체적으로, 다시점 파노라마 동영상 기반의 스마트 기기용 인터렉티브 동영상 서비스는 공연, 스포츠 중계, 교육 등의 동영상 콘텐츠를 360도 파노라마 동영상으로 촬영하여, 이를 서버에 저장한 후, 스마트기기를 이용하여 사용자가 원하는 뷰에 따라 줌인-아웃, 패닝이 이루어 질 수 있도록 하는 인터렉티브한 동영상 서비스이다.

그런데 이러한 타일링 기술을 이용한 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상간의 동기화 방법이 문제가 되었다.

한국공개특허공보 2005-0091278 한국공개특허공보 2006-0050348

본 발명은 상기한 점을 감안하여 발명된 것으로, 타일링 기술을 이용한 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법을 제공함에 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 파노라마 영상의 스트리밍 서비스 제공 시스템에서 수행되는 타일링 영상 동기화 방법에 있어서, a) 카메라의 의해 촬영된 파노라마 영상이 서버에 입력되는 단계, b) 상기 서버에 입력된 상기 파노라마 영상이 촬영된 시간대별로 분류되는 단계, c) 상기 촬영된 시간대별로 분류된 각각의 파노라마 영상을 타일링하여 블록 단위로 분리하는 단계, d) 상기 각각의 타일 영상이 압축되어 상기 서버에 저장되는 단계, 및 e) 상기 타일 영상 및 기준 영상이 적어도 하나 이상의 클라이언트 단말기에 제공되는 단계를 포함하되, 상기 e) 단계에서, e1) 특정 프레임에 대해 상기 타일 영상 및 기준 영상을 디코딩하는 단계, e2) 디코딩한 데이터를 데이터 버퍼에 저장하고 대기하는 단계, e3) 특정 프레임에서 모든 기준 영상과 타일 영상에 해당하는 데이터 버퍼가 채워졌는가 판단하는 단계, e4) 모든 데이터 버퍼가 채워졌으면, 동기화된 상기 타일 영상 및 기준 영상을 화면 출력하는 단계, e5) 데이터 버퍼를 초기화하는 단계를 포함한다.

이때, 각 기준 영상 및 타일 영상은 별도의 디코딩 스트림을 가지고, 각 디코딩 스트림은 고유의 ID를 보유하는 것이 바람직하다.

아울러, 상기 각 디코딩 스트림은 다중으로 사용이 가능하며, 개별적인 제어가 가능한 것이 바람직하다.

동기화시 해상도가 낮은 기준 영상의 프레임을 기준으로 동기화하되, 타일 영상은 매 프레임마다 기준 영상과 동기화가 이루어지는 것이 바람직하다.

상기 e) 단계는, 상기 클라이언트 단말기에 의해 특정 시간대와, 상기 특정 시간대 내의 특정 화면 영역 촬영된 파노라마 영상의 제공이 요청되면, 상기 서버에 저장된 상기 각각의 타일 영상 중 상기 클라이언트 단말기에 의해 요청된 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역의 영상이 상기 클라이언트 단말기에 제공되는 것일 수 있다.

이때, 상기 서버에서 상기 클라이언트 단말기로 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역 영상의 제공은, 상기 특정 시간대의 저 해상도 전체화면 기준 영상과, 상기 특정 화면 영역의 타일 영상이 각각 분리되는 단계, 상기 기준 영상이 상기 클라이언트 단말기에 배경화면으로 배치되어 디스플레이되는 단계, 상기 클라이언트 단말기에 배경화면으로 디스플레이된 상기 기준 영상에 상기 타일 영상이 합성되는 단계 및, 상기 합성 영상이 파노라마 영상으로 상기 클라이언트 단말기에 디스플레이되는 것을 가능하게 상기 합성 영상이 구(sphere)에 텍스처 매핑(texture mapping) 되는 단계를 포함할 수 있다.

상기한 바와 같이 본 발명에 의하면, 클라이언트에게 넓은 시각영역을 제공하기 위한 파노라마 영상을 타일이라는 영상 단위로 잘라 타일 영상단위로 전송하는 효율적인 스트리밍 시스템을 구성함으로써, 서버는 파노라마 영상 전체를 압축하여 클라이언트에게 전송하는 것이 아니라 카메라를 통해 입력으로 들어오는 파노라마 영상에서 일정 크기의 시각영역만큼을 클라이언트에게 전송함은 물론, 제공되는 영역에서 다중 클라이언트에게 자신이 보고자 하는 타일 영역을 자유롭게 접근이 가능한 효과가 있다.

특히, 타일링 기술을 이용한 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상들간에 동기화 방법을 제공함으로써, 클라이언트에게 정확한 화면을 원활하게 제공할 수 있는 효과가 있다.

도 1은 파노라마 영상의 스트리밍 서비스 제공 시스템의 일예,
도 2는 도 1에서 수행되는 파노라마 영상의 스트리밍 서비스 제공 방법을 나타낸 순서도,
도 3은 타일링 동영상의 일예를 설명하기 위한 개념도,
도 4는 서버에서 클라이언트 단말기에 타일 영상을 제공하는 방법을 설명하는 순서도,
도 5는 본 발명의 바람직한 실시예에 의한 타일링 영상 동기화 방법을 설명하기 위한 순서도,
도 6은 파노라마 영상의 스트리밍 서비스 제공 시스템에서 데이터 버퍼와 동영상의 매칭을 설명하기 위한 개념도,
도 7a~7d 및 도 8은 타일링 영상 동기화를 연속적인 프레임에 따라 설명한 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세하게 설명하기로 한다. 그러나, 이하의 실시예는 이 기술분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다.

도 1은 파노라마 영상의 스트리밍 서비스 제공 시스템의 일예이고, 도 2는 도 1에서 수행되는 파노라마 영상의 스트리밍 서비스 제공 방법을 나타낸 순서도이다.

도 1을 참조하면, 파노라마 영상의 스트리밍 서비스 제공 시스템은, 파노라마 형태로 영상이 촬영되는 카메라(100), 서버(200) 및, 서버(200)에서 제공하는 타일 영상을 제공받는 클라이언트 단말기(300)를 포함한다. 서버(200)는, 카메라(100)에 의해 촬영된 파노라마 영상이 파일형태로 입력되는 영상 입력부(210)와, 영상 입력부(210)를 통해 입력된 파노라마 영상이 촬영된 시간대별로 각각 분류되는 제1영상 변환부(220)와, 제1영상 변환부(220)에서 촬영된 시간대별로 분류된 각각의 파노라마 영상이 타일링하여 블록 단위로 분리하는 타일 영상을 생성하는 제2영상 변환부(230)와, 제2영상 변환부(230)에서 생성된 타일 영상이 압축 저장되는 저장부(240)와, 저장부(240)에 압축 저장된 타일 영상을 적어도 하나 이상의 클라이언트 단말기(300)에 제공하는 영상 제공부(250)를 구비한다.

이러한 파노라마 영상의 스트리밍 서비스 제공 시스템에서 수행되는 파노라마 영상의 스트리밍 서비스 제공방법은, 카메라의 의해 촬영된 파노라마 영상이 파일 형태로 서버에 입력되는 파노라마 영상 입력 단계(S100), 서버에 입력된 파일형태의 파노라마 영상이 촬영된 시간대별로 분류되는 파노라마 영상 시간대별 분류 단계(S200), 촬영된 시간대별로 분류된 각각의 파노라마 영상을 타일링하여 블록 단위로 분리하는 타일 영상 생성 단계(S300), 각각의 타일 영상이 압축되어 서버에 저장되는 타일 영상 저장 단계(S400), 및 서버에 압축 저장된 타일 영상이 적어도 하나 이상의 클라이언트 단말기에 제공되는 타일 영상 제공 단계(S500)를 포함한다.

여기서 S500 단계에 의한 타일 영상 제공단계는, 클라이언트 단말기(300)에 의해 특정 시간대와, 특정 시간대 내의 특정 화면영역(Viewing point of view)이 촬영된 파노라마 영상의 제공이 요청되면, 서버(200)에 저장된 각각의 타일 영상 중 클라이언트 단말기에 의해 요청된 특정 시간대와 특정 시간대 내의 특정 화면 영역(Viewing point of view)의 영상이 클라이언트 단말기(300)에 제공되는 것이다.

구체적으로, 서버(200)에서 클라이언트 단말기(300)로 특정 시간대와 특정 시간대 내의 특정 화면 영역(Viewing point of view) 영상이 제공되는 것은, 특정 시간대의 저 해상도 전체화면 영상과, 특정 화면 영역(Viewing point of view)의 타일 영상이 각각 분리되는 단계와, 저 해상도의 전체화면 영상이 클라이언트 단말기에 배경화면으로 배치되어 디스플레이되는 단계와, 클라이언트 단말기에 배경화면으로 디스플레이된 저 해상도의 전체화면 영상에 타일 영상이 합성되는 단계, 및 합성 영상이 파노라마 영상으로 클라이언트 단말기에 디스플레이되는 것을 가능하게 합성 영상이 구(sphere)에 텍스처 매핑(texture mapping) 되는 단계를 포함할 수 있다.

이와 같은 시스템은 클라이언트 단말기(300)로부터 전체 파노라마 영상 중 일정 영역의 영상만을 요청하는 신호가 서버(200)에 입력된다면, 서버(200)에서는 일정 영역의 영상을 클라이언트 단말기(300)로 전송한다. 또한, 클라이언트 단말기(300)에는 시점 이동 기능을 제공하게 되는데, 각 클라이언트 단말기(300)는 자신이 원하는 부분의 타일 영상을 서버로부터 전송받다가 새로운 영역의 영상 보기를 원한다면, 시각 영역이 바뀌었다는 정보를 서버(200)에 전송한다. 그러면, 서버(200) 내의 타일링 된 시각 영역중에서 클라이언트 단말기(300)가 요청하는 영역의 영상을 전송하게 되는 것이다. 즉, 본 발명은 다중 클라이언트에게 제한된 시각영역을 제공하고, 영역 안에서 시점 이동이 가능한 시스템으로, 이는 클라이언트에게 영상을 전송할 때 재생되는 시각 영역만큼 그 영상을 전송함으로써 미세한 시점이동까지 컨트롤이 가능한 장점이 있다.

타일 영상이란, 도 3에서와 같이, 영상을 작은 단위로 분리한 영상을 의미한다. 이렇게, 영상에 대해 타일링을 하는 목적은 네트워크 속도에 따라 영상 재생시 지연되는 시간을 최소화하기 위한 것이다. 그래서 타일링의 장점은 클라이언트에서 영상 재생시 속도를 빠르게 할 수 있다. 즉, 서버의 압축 부담을 줄이기 위해 파노라마 영상 전체를 압축하여 클라이언트에게 전송하는 것이 아니라, 파노라마 영상 중에서 제한된 일정 크기의 영역만큼을 타일링하여 클라이언트에게 제공하는 것이다.

그런데, 도 4를 참조하면, 클라이언트가 스트리밍 데이터를 수신할 경우, 전체 파노라마 이미지와 타일링된 파노라마 이미지를 수신한 후, 시간축으로 정합하는 것이 필요하다.

이하, 도 5~도8을 참조하여, 파노라마 영상의 스트리밍 서비스 제공 시스템에서 수행되는 타일링 동영상 동기화 방법에 대해 설명한다.

도 5는 본 발명의 바람직한 실시예에 의한 타일링 동영상 동기화 방법을 설명하기 위한 순서도이고, 도 6은 파노라마 영상의 스트리밍 서비스 제공 시스템에서 데이터 버퍼와 동영상의 매칭을 설명하기 위한 개념도이다.

도 6을 참조하면, 기준 동영상 바탕 위에 관심영역(ROI)에 대한 타일링 동영상이 배치되는데, 각 기준 동영상과 타일링 동영상은 화면 출력을 위한 데이터 버퍼를 갖는다. 왜냐하면, 사용자 단말기에 화면 출력시 기준 동영상과 타일링 동영상 재생화면이 동기화되어야 하기 때문이다.

여기서, 동영상 동기화를 위해 각 기준 동영상 및 타일링 동영상은 별도의 디코딩 스트림(Decoding Stream)을 가진다. 각 디코딩 스트림은 고유의 ID를 보유하고, 식별이 가능한 한도에서 다중으로 사용이 가능하며, 개별적인 제어가 가능하다.

동영상 동기화는 해상도가 낮은 기준 동영상의 프레임을 기준으로 하고, 타일링 동영상들은 매 프레임마다 기준 동영상과 동기화가 이루어지도록 한다. 즉, 기준 동영상의 디코딩 스트림이 특정 프레임에 도달하였을 때 버퍼에 데이터 저장후 대기상태로 되는데, 각 타일링 동영상의 디코딩 스트림은 기준 동영상의 해당 프레임에 도달할 경우 다른 타일링 동영상의 디코딩을 대기하게 된다.

도 5를 참조하면, 동기화 방법은 특정 프레임에 대해 동영상 데이터를 디코딩하는 단계(S510), 디코딩한 데이터를 데이터 버퍼에 저장하고 대기하는 단계(S520), 특정 프레임에서 모든 기준 동영상과 타일 동영상에 해당하는 데이터 버퍼가 채워졌는가 판단하는 단계(S530), 동기화된 영상의 화면 출력 단계(S540), 데이터 버퍼 초기화 단계(S550)로 이루어진다. 이러한 동기화 방법에 대해, 도 7a~7d를 참조하여 더욱 상세하게 설명한다.

먼저, 특정 프레임에 대해 동영상 데이터를 디코딩한다(S510). 예를 들어, 도 7a에 도시된 바와 같이, 93 프레임 이후 94 프레임에 대해, 각 기준 동영상 및 타일 동영상 1~4가 별도의 디코딩 스트림을 가지고 디코딩된다. 이때, 동영상 데이터를 디코딩하기 전의 데이터 버퍼는 초기화 상태로서 모두 비어있는 상태이다.

다음으로, 디코딩한 데이터를 데이터 버퍼에 저장하고 대기한다(S520). 예를 들어, 도 7b에 도시한 것처럼, 기준 동영상과 타일 동영상 1의 디코딩 스트림이 해당 94 프레임에 도달하면, 데이터 버퍼 0과 1에 동영상을 저장하고, 나머지 타일 동영상 2, 3, 4의 디코딩 스트림이 94 프레임에 도달할 때 까지 대기한다. 이때, 데이터 버퍼의 상태를 확인하여 데이터 버퍼가 모두 채워지지 않으면, 화면 출력을 하지 않고 대기하게 된다.

다음으로, 특정 프레임에서 모든 기준 동영상과 타일 동영상에 해당하는 데이터 버퍼가 채워졌는가를 판단한다(S530). 모든 데이터 버퍼가 채워졌다면, 동기화된 영상의 화면을 출력한다(S540). 하지만, 아직 모든 데이터 버퍼가 채워지지 않았다면, 계속하여 데이터 버퍼에 동영상을 저장한다. 예를 들어, 도 7c에 도시된 것처럼, 기준 동영상과 타일 동영상 1,2,3,4가 94 프레임에 도달하여 데이터 버퍼 0~4가 모두 채워졌다면, 전체 동영상을 화면에 출력하는 것이다. 따라서, 기준 동영상의 속도에 의존적으로 전체 화면이 출력되게 된다.

다음으로, 다음 프레임에 대해 화면 출력하기 위해, 데이터 버퍼를 초기화한다(S550). 즉, 도 7d에 도시된 것처럼, 95 프레임에 대해 화면 출력하기 위해, 데이터 버퍼 0~5를 모두 초기화하므로, 데이터 버퍼는 모두 비워지게 된다.

이렇게 연속적인 영상의 각 프레임을 기준으로 기준 동영상과 타일 동영상의 동기화가 맞춰지게 된다. 도 8은 이러한 타일링 동영상 동기화를 연속적인 프레임에 따라 나타낸 것인데, 도면 상단의 데이터 버퍼는 각 데이터 버퍼가 프레임에 따라 채워지는 모습을 나타내고, 도면 중간은 프레임에 따른 동기화 단계를 나타내며, 도면 하단의 화면은 프레임에 따른 화면 출력을 보여준다.

도 8을 참조하면, 93 프레임에 대한 화면 출력이 완료되면 데이터 버퍼가 초기화된다. 이어서, 94 프레임에 대해 타일링 영상이 데이터 버퍼에 하나씩 채워지게 되고, 모든 데이터 버퍼가 채워지면 94 프레임에 대한 영상이 화면에 출력된다. 이어서 데이터 버퍼가 초기화되고, 동일한 과정이 95 프레임에 대해 수행된다.

100: 카메라 200: 서버
210: 영상 입력부 220: 제1영상 변환부
230: 제2영상 변환부 240: 저장부
250: 영상 제공부 300: 클라이언트 단말기

Claims (6)

1. 파노라마 영상의 스트리밍 서비스 제공 시스템에서 수행되는 타일링 영상 동기화 방법에 있어서,
   a) 카메라의 의해 촬영된 파노라마 영상이 서버에 입력되는 단계, b) 상기 서버에 입력된 상기 파노라마 영상이 촬영된 시간대별로 분류되는 단계, c) 상기 촬영된 시간대별로 분류된 각각의 파노라마 영상을 타일링하여 블록 단위로 분리하는 단계, d) 상기 각각의 타일 영상이 압축되어 상기 서버에 저장되는 단계, 및 e) 상기 타일 영상 및 기준 영상이 적어도 하나 이상의 클라이언트 단말기에 제공되는 단계를 포함하되,
   상기 e) 단계에서,
   e1) 특정 프레임에 대해 상기 타일 영상 및 기준 영상을 디코딩하는 단계;
   e2) 디코딩한 데이터를 데이터 버퍼에 저장하고 대기하는 단계;
   e3) 특정 프레임에서 모든 기준 영상과 타일 영상에 해당하는 데이터 버퍼가 채워졌는가 판단하는 단계;
   e4) 모든 데이터 버퍼가 채워졌으면, 동기화된 상기 타일 영상 및 기준 영상을 화면 출력하는 단계;
   e5) 데이터 버퍼를 초기화하는 단계를 포함하고,
   각 기준 영상 및 타일 영상은 별도의 디코딩 스트림을 가지고, 각 디코딩 스트림은 고유의 ID를 보유하는 것을 특징으로 하는 타일링 영상 동기화 방법.
2. 삭제
3. 제1항에 있어서, 상기 각 디코딩 스트림은 다중으로 사용이 가능하며, 개별적인 제어가 가능한 것을 특징으로 하는 타일링 영상 동기화 방법.
4. 제1항에 있어서, 해상도가 낮은 기준 영상의 프레임을 기준으로 동기화하되, 타일 영상은 매 프레임마다 기준 영상과 동기화가 이루어지는 것을 특징으로 하는 타일링 영상 동기화 방법.
5. 제1항에 있어서, 상기 e) 단계는,
   상기 클라이언트 단말기에 의해 특정 시간대와, 상기 특정 시간대 내의 특정 화면 영역 촬영된 파노라마 영상의 제공이 요청되면,
   상기 서버에 저장된 상기 각각의 타일 영상 중 상기 클라이언트 단말기에 의해 요청된 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역의 영상이 상기 클라이언트 단말기에 제공되는 것을 특징으로 하는 타일링 영상 동기화 방법.
6. 제5항에 있어서,
   상기 서버에서 상기 클라이언트 단말기로 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역 영상의 제공은,
   상기 특정 시간대의 저 해상도 전체화면 기준 영상과, 상기 특정 화면 영역의 타일 영상이 각각 분리되는 단계;
   상기 기준 영상이 상기 클라이언트 단말기에 배경화면으로 배치되어 디스플레이되는 단계;
   상기 클라이언트 단말기에 배경화면으로 디스플레이된 상기 기준 영상에 상기 타일 영상이 합성되는 단계; 및
   상기 합성 영상이 파노라마 영상으로 상기 클라이언트 단말기에 디스플레이되는 것을 가능하게 상기 합성 영상이 구(sphere)에 텍스처 매핑(texture mapping) 되는 단계를 포함하는 것을 특징으로 하는 타일링 영상 동기화 방법.
   

Images