KR100606722B1

KR100606722B1 - 고배속 비디오 스트리밍 서비스 제공 방법

Info

Publication number: KR100606722B1
Application number: KR1020040052618A
Authority: KR
Inventors: 서광덕
Original assignee: 엘지전자 주식회사
Priority date: 2004-07-07
Filing date: 2004-07-07
Publication date: 2006-08-01
Also published as: KR20060003650A

Abstract

본 발명은 VOD와 같은 실시간 비디오 스트리밍 서비스 제공 방법에 있어서, 수신측의 고배속 화면 전송 요구에 따라 화면이 끊기는 등의 품질 저하를 최소화하기 위한 고배속 비디오 스트리밍 서비스 제공 방법에 관한 것이다. 본 발명에 따른 고배속 비디오 스트리밍 서비스 제공 방법은, 비디오 스트리밍 서비스 제공 방법에 있어서, 수신측으로부터 현재(1배속) 전송 속도의 n 배속 비디오 전송 요구를 수신하는 단계; 및 기준 시간 내에 현재 전송되고 있는 수의 n 배에 해당되는 I 프레임(frame)을 전송하되, 각 I 프레임 사이에 적어도 하나 이상의 P 프레임을 포함시켜 전송하는 단계를 포함하여 구성됨을 특징으로 한다.

VOD, 비디오, 고배속, MPEG, I 프레임, P 프레임

Description

고배속 비디오 스트리밍 서비스 제공 방법 {Method of providing video streamin service having higher times of rate}

도 1은 1배속 전송시 초당 30 프레임을 전송하는 경우 고배속 비디오 전송을 하기 위한 종래기술의 원리를 설명하기 위한 도면임.

도 2는 1배속 전송시 초당 15 프레임을 전송하는 경우 고배속 비디오 전송을 하기 위한 종래기술의 원리를 설명하기 위한 도면임.

도 3은 본 발명의 바람직한 일 실시예를 설명하기 위한 도면임.

도 4는 본 발명의 바람직한 다른 일 실시예를 설명하기 위한 도면임.

본 발명은 고배속 비디오 스트리밍 서비스 제공 방법에 관한 것으로서, 보다 구체적으로는, VOD와 같은 실시간 비디오 스트리밍 서비스 제공 방법에 있어서, 수신측의 고배속 화면 전송 요구에 따라 화면이 끊기는 등의 품질 저하를 최소화하기 위한 고배속 비디오 스트리밍 서비스 제공 방법에 관한 것이다.

VOD(Video On Demand)란 서비스 이용자의 요구에 따라 영화나 뉴스 등의 영상 기반 서비스를 전화선이나 케이블을 통해 제공하는 새로운 개념의 영상 서비스 를 의미한다. VOD 서비스는 비디오 프로그램을 디지탈로 압축하여 비디오 서버에 저장하고, 가입자가 원하는 프로그램을 고속 통신망을 이용하여 제공하는 서비스로서 이용자는 프로그램의 선택, 재생, 제어, 색인검색, 질의 등을 할 수가 있을 뿐만 아니라 비디오 재생 속도를 자유롭게 조절하는 것도 가능하다.

MPEG(Moving Picture Experts Group)의 데이터 압축 원리는 다음과 같다. 1초에 30 프레임으로 구성되는 영상은 프레임 별로 분해해 보면, 특정 프레임 전후의 프레임은 특정 프레임과 많은 중첩요소를 가지고 있다. 보통 M-JPEG 기반의 압축은 전후 프레임의 중첩을 전혀 고려하지 않고 대상이 되는 현재의 프레임 만을 압축의 대상으로 한다. 그러나, MPEG은 프레임이 순차적으로 재생될 때 대부분의 경우 전후의 프레임은 중첩되는 요소를 많이 가지고 있기 때문에 그 중첩된 부분은 압축의 대상에서 제외하고 압축을 진행하므로 전체적으로 보면 데이터의 사이즈가 많이 축소된다. 중첩된 부분의 데이터는 그 데이터가 이동하는 흔적을 추적하여 움직임의 좌표만을 기록하므로 원본의 영상데이터보다 상대적으로 적은 이동에 관한 데이터 만을 저장하게 된다.

MPEG은 GOP(Group of pictures)라는 형태를 가지고 있으며, 이 GOP는 I 프레임(Index frames)과, B 프레임(Bi-Directional frames)과, P 프레임(Predicted frames)으로 구성된다. I 프레임은 뒤따르는 B 프레임과 P 프레임의 지표(index)가 되는 프레임으로서 한 프레임의 완전한 데이터를 가지고 있다. 뒤따르는 B 프레임은 전후 프레임의 데이터를 분석하여 전후에 중첩되지 않은 데이타와 중첩된 데이터의 이동흔적에 관한 데이터를 가지고 있다. P 프레임은 현재의 프레임과 바로 직 전의 프레임에 관한 중첩되지 않은 데이타와 중첩된 데이터의 이동 흔적에 관한 데이터를 가지고 있다. B 프레임과 P 프레임은 별개로는 하나의 완전한 형태의 프레임을 복원하지 못한다.

종래의 VOD 등과 같은 비디오 스트리밍 서비스에서는 사용자가 고배속 비디오 전송(FF: fast forward)을 요청할 경우 적당한 개수의 I 프레임 만을 전송함으로써 고배속 비디오 재생을 가능하게 했다. I 프레임의 경우 예측 부호화(predictive coding)와 관계 없이 독립적으로 부호화되기 때문에 임의 접근(random access)이 가능하고, 주변의 P 또는 B 화면에 관한 정보 없이도 복호기 단에서 독립적으로 재생이 가능하다. 따라서, 종래기술에서는 고배속 전송의 요청이 들어올 경우 서버는 I 프레임만을 전송하게 된다.

도1 및 도2는 사용자가 VOD(Video on Demand) 서비스 도중 FF(fast forward) 명령을 통해 2배속, 3배속 등의 고배속 비디오 전송 및 재생을 요청하였을 경우 서버가 I 프레임만을 이용하는 기존의 원리를 설명하기 위한 도면이다. 도1은 1배속 전송의 경우 초당 30 프레임의 비디오 전송의 예이고, 도2는 초당 15 프레임의 비디오 전송의 예를 도시한 것이다. 영상의 구조는 가장 일반적으로 많이 사용되는 구조인 M=3, N=15인 구조를 보인다. 즉, I 프레임 간의 간격은 15 프레임이며 P 프레임 간의 간격은 3 프레임이다. 이 경우 1초에 해당하는 비디오 프레임의 수는 총 30 프레임이며 이중 2 프레임이 I 프레임이 된다.

도1에 도시된 바와 같이 같이, 종래기술에서는 2배속 전송 요청이 들어올 경우 2초에 해당하는 영상정보를 1초 동안에 전송을 해야 하므로 I1, I2, I3, I4의 네개의 I 프레임만을 1초 동안 전송을 하게 된다. 이 경우 초당 화면율은 4 fps(frame per second)가 된다. 그리고, 3배속 요청이 들어올 경우 3초 간의 정보에 해당하는 I1, I2, I3, I4, I5, I6등 6개의 I 프레임 만을 1초 동안 전송을 하게 되므로 초당 화면률은 6 fps가 된다. 마찬가지로 5배속의 경우 I1 ~ I10까지 10 프레임을 전송하게 된다.

상기한 바와 같이, 종래기술에서는 I 프레임만을 이용하여 고배속 전송을 하게 되므로 동영상의 프레임 구조에 의존하여 각 배속마다 전송되는 화면율이 달라지게 된다. 도1의 예에서는 2배속의 경우 4 fps(frame per second), 3배속의 경우 6 fps 등으로 일반적으로 최대 지원 가능한 화면율인 30 fps에 크게 못미친다. 화면율이 매우 낮을 경우 사용자가 서비스 받게 되는 동영상은 움직임이 끊기는 부자연스러운 동영상을 서비스 받게 되는 문제점이 있다.

본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, VOD와 같은 실시간 비디오 스트리밍 서비스 제공 방법에 있어서, 수신측의 고배속 화면 전송 요구에 따라 화면이 끊기는 등의 품질 저하를 최소화하기 위한 고배속 비디오 스트리밍 서비스 제공 방법을 제공하는 것이다.

발명의 개요

본 발명에 따른 고배속 비디오 스트리밍 서비스 제공 방법은, 비디오 스트리밍 서비스 제공 방법에 있어서, 수신측으로부터 현재(1배속) 전송 속도의 n 배속 비디오 전송 요구를 수신하는 단계; 및 기준 시간 내에 현재 전송되고 있는 수의 n 배에 해당되는 I 프레임(frame)을 전송하되, 각 I 프레임 사이에 적어도 하나 이상의 P 프레임을 포함시켜 전송하는 단계를 포함하여 구성됨을 특징으로 한다.

바람직하게는, 상기 두 개의 I 프레임 사이에 포함되어 전송되는 적어도 하나 이상의 P 프레임은, 상기 비디오 스트리밍이 현재 속도로 전송되는 경우 상기 두 개의 I 프레임 중 앞서 전송되는 I 프레임에서 가장 가까운 순서부터 선택된다. 또한, 비디오 스티리밍의 n 배속 전송시에 상기 수신측에 변경된 화면율에 관한 정보를 전송하는 것이 바람직하다.

실시예

이하에서는 본 발명에 따른 고배속 비디오 스트리밍 서비스 제공 방법의 바람직한 실시예를 첨부된 도면을 참조하여 설명하도록 한다.

도1 및 도2에서 설명한 I 프레임만을 이용한 고배속 전송에서는 n 배속 명령에 대한 최종 전송 화면율은 2×n fps(frame/sec)로 나타난다. 30 fps로 VOD 서비스를 받다가 사용자가 2 배속 서비스를 요청할 경우 화면율은 4 fps로 급격히 떨어지기 때문에 사용자가 주관적으로 느끼게 되는 동영상의 품질 저하는 심각하게 된다. 이러한 문제점을 해결하기 위하여 본 발명에서는 I 프레임 외에 P 프레임을 이용하여 사용자가 느끼는 주관적 화질의 저하를 줄이는 고배속 전송 서비스를 실시하는 방법을 제안하고자 한다.

도3은 본 발명의 바람직한 일 실시예를 설명하기 위한 도면이다. 도3에서, 1 배속 전송시에는 단위 시간(1초) 내에 I 프레임 2 개(I1, I2)와 B 프레임 및 P 프레임 28 개를 합하여 30 개의 프레임을 전송한다. 2 배속의 경우에는, 도3에 도시된 바와 같이, 단위 시간 내에 I 프레임 4 개가 포함되고 임의의 두 개의 I 프레임 사이에 4 개의 P 프레임을 포함시켜서 전체적인 화면율을 20 fps로 유지하도록 한다. 3 배속의 경우에는 단위 시간 내에 6 개의 I 프레임이 포함되고 임의의 두 개의 I 프레임 사이에 4 개의 P 프레임 포함시켜 전체적인 화면율을 30 fps를 유지하도록 한다.

4 배속의 경우에는 단위 시간 내에 8 개의 I 프레임이 포함되고 임의의 두 개의 I 프레임 사이에는 2 개의 P 프레임을 포함시켜 24 fps의 화면율을 유지하였고, 5 배속의 경우에는 단위 시간에 10 개의 I 프레임, 두 개의 I 프레임 사이에 1 개의 P 프레임을 포함시켜 20 fps를 유지하였다.

한편, 고배속 전송시에 상기 임의의 두 개의 I 프레임 사이에 포함되는 P 프레임들은 상기 비디오 스트리밍이 현재 속도(1 배속)로 전송되는 경우 상기 두 개의 I 프레임 중 앞서 전송되는 I 프레임에서 가장 가까운 순서에 위치하는 프레임들이다. P 프레임은 전방위 예측 부호화 기법을 이용하여 부호화가 되기 때문에 복호시에 시간적으로 바로 앞에 위치한 I 또는 P 프레임에만 의존하게 된다. 따라서, 시간적으로 뒤에 위치한 P 프레임과는 독립적으로 부호화 및 복호화가 가능하므로 시간적인 순서대로 P 프레임을 고배속 전송 서비스에 포함할 경우 아무런 문제점도 발생하지 않는다.

도4는 1 배속 전송이 15 fps이며 M=3, N=15인 경우에 본 발명에 따른 고배속 전송 방법을 도시한 것이다. 도5에서, 1배속 전송시에는 단위 시간(1초) 내에 I 프레임 1 개(I1)와 B 프레임 및 P 프레임 14 개를 합하여 15 개의 프레임을 전송한다. 2 배속의 경우에는, 도4에 도시된 바와 같이, 단위 시간 내에 I 프레임 2 개가 포함되고 임의의 두 개의 I 프레임 사이에 4 개의 P 프레임을 포함시켜서 전체적인 화면율을 10 fps로 유지하도록 한다. 3 배속의 경우에는 단위 시간 내에 3 개의 I 프레임이 포함되고 임의의 두 개의 I 프레임 사이에 4 개의 P 프레임 포함시켜 전체적인 화면율을 15 fps를 유지하도록 한다.

4 배속의 경우에는 단위 시간 내에 4 개의 I 프레임이 포함되고 임의의 두 개의 I 프레임 사이에는 2 개의 P 프레임을 포함시켜 12 fps의 화면율을 유지하였고, 5 배속의 경우에는 단위 시간에 5 개의 I 프레임, 두 개의 I 프레임 사이에 1 개의 P 프레임을 포함시켜 10 fps를 유지하였다.

고배속 전송시 사용자측에 변경된 화면율에 관한 정보를 전달하는 것이 바람직하다. 20, 24, 30 fps 등의 고배속 전송에 필요한 화면율 값은 MPEG-4의 경우 비디오 객체 레이어 헤더(Video Object Layer Header)에 존재하는 vop_time_increment_resolution과 fixed_vop_time_increment를 이용하여 임의로 그 값에 대한 조정이 가능하다. 즉, 10, 12, 15, 20, 24, 30 fps 에 관한 정보는 다음과 같은 값을 할당함으로써 사용자측에 전달하는 것이 가능하다.

10 fps: vop_time_increment_resolution=10, fixed_vop_time_increment=1

12 fps: vop_time_increment_resolution=12, fixed_vop_time_increment=1

15 fps: vop_time_increment_resolution=15, fixed_vop_time_increment=1

20 fps: vop_time_increment_resolution=20, fixed_vop_time_increment=1

24 fps: vop_time_increment_resolution=24, fixed_vop_time_increment=1

30 fps: vop_time_increment_resolution=30, fixed_vop_time_increment=1

한편, 고배속 전송을 하게 되면 화면율이 변화되기 때문에 각 화면의 VOP (video object plane) 헤더 정보의 vop_time_increment 정보도 새롭게 설정해 주어야 한다. 본 발명의 경우 모든 vop_time_increment는 VOP마다 1씩 증가하는 값이기 때문에 각 화면율에 따라 다음과 같이 그 값이 증가하게 된다.

10 fps: 0, 1, 2, 3, 4, ..., 10

12 fps: 0, 1, 2, 3, 4, ..., 12

15 fps: 0, 1, 2, 3, 4, ..., 15

20 fps: 0, 1, 2, 3, 4, ..., 20

24 fps: 0, 1, 2, 3, 4, ..., 24

30 fps: 0, 1, 2, 3, 4, ..., 30

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

비디오 스트리밍 서비스의 고배속 비디오 전송 기능에 P 프레임을 포함시킬 경우 1배속 영상 전송률인 15 fps 또는 30 fps에 근접한 화면율을 유지하여 고품질의 고배속 전송 서비스를 실시할 수 있기 때문에 사용자가 주관적으로 느끼게 되는 동영상의 품질이 증가되는 효과가 있다.

Claims

비디오 스트리밍 서비스 제공 방법에 있어서,

수신측으로부터 현재(1배속) 전송 속도의 n 배속 비디오 전송 요구를 수신하는 단계; 및

상기 현재 전송속도에서 전송되는 I 프레임 개수의 n 배를 전송하고, I 프레임들 사이에 적어도 하나 이상의 P 프레임을 포함시켜 전송하되,

상기 n 배 전송속도에 따른 비디오 화면율이 상기 현재 전송속도에 따른 비디오 화면율에 근접하도록, 상기 I 프레임들 사이에 포함되는 상기 P 프레임의 개수를 조절하는 단계를 포함하는 고배속 비디오 스트리밍 서비스 제공 방법.
제1항에 있어서,

상기 두 개의 I 프레임 사이에 포함되어 전송되는 적어도 하나 이상의 P 프레임은, 상기 비디오 스트리밍이 현재 속도로 전송되는 경우 상기 두 개의 I 프레임 중 앞서 전송되는 I 프레임에서 가장 가까운 순서부터 선택되는 것을 특징으로 하는 고배속 비디오 스트리밍 서비스 제공 방법.
제1항 또는 제2항에 있어서,

n 배속 전송시에 상기 수신측에 변경된 화면율에 관한 정보를 전송하는 단계를 더 포함하는 것을 특징으로 하는 고배속 비디오 스트리밍 서비스 제공 방법.