KR20030017917A - 화상그룹 기반의 고속재생 지원을 갖는 동적 전송스케줄작성 방법 - Google Patents

화상그룹 기반의 고속재생 지원을 갖는 동적 전송스케줄작성 방법 Download PDF

Info

Publication number
KR20030017917A
KR20030017917A KR1020010051549A KR20010051549A KR20030017917A KR 20030017917 A KR20030017917 A KR 20030017917A KR 1020010051549 A KR1020010051549 A KR 1020010051549A KR 20010051549 A KR20010051549 A KR 20010051549A KR 20030017917 A KR20030017917 A KR 20030017917A
Authority
KR
South Korea
Prior art keywords
client
picture
playback
server
fast
Prior art date
Application number
KR1020010051549A
Other languages
English (en)
Inventor
김승환
Original Assignee
김승환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김승환 filed Critical 김승환
Priority to KR1020010051549A priority Critical patent/KR20030017917A/ko
Publication of KR20030017917A publication Critical patent/KR20030017917A/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 저장된 비디오 스트림에 대하여 m 배속 고속 전진 및 후진 재생 기능을 지원하기 위한 동적 전송 스케줄 작성 방안에 관한 것이다.
제안된 본 발명의 방안은 사용자가 고속 재생을 요청할 때마다 즉시 클라이언트로의 데이터 전송을 중지하고 매 m 번째 화상그룹(GoP:Group of Picture)들로 평활화 대상 화상그룹의 집합을 구성하여 대역폭 평활화를 적용함으로써 온라인으로 대역폭 할당 스케줄을 구한 후 새로운 전송 스케줄에 따라 클라이언트로의 데이터 전송을 재개하는 것이다.
본 발명에서 제안한 동적 전송 스케줄 작성 방안은 "화상그룹 건너뛰기"를 이용하여 정상 재생과 동일한 방법으로 데이터를 복원할 수 있게 함으로써 클라이언트의 구조를 단순화시킴과 고속 재생 효과를 얻을 수 있다. 또한, 화상그룹 단위로 전송 스케줄을 작성함으로써 스케줄 작성에 따른 계산상의 오버헤드를 크게 줄일 수 있기 때문에 허용할 수 있는 재생시작 지연범위 내에서 온라인으로 주문형 비디오 데이터를 전송할 수 있다.

Description

화상그룹 기반의 고속재생 지원을 갖는 동적 전송스케줄 작성 방법{Dynamic transmission scheduling method for supporting fast scan functions based group of picture}
최근 멀티미디어 서비스 응용의 발달에 따라 주문형 비디오 서버는 대용량 저장 장치에 압축된 비디오와 오디오 데이터를 저장하여 클라이언트의 요청에 따라 광대역 통신망이나 유선TV 망을 통해 클라이언트에게 이를 전송한다. 이러한 비디오 데이터는 오디오 데이터에 비하여 그 양이 매우 많기 때문에 이를 망으로 직접 전송하는 것은 지나친 시스템 자원을 요구함으로 적절하지 못하다. 따라서 저장 및 전송의 효율성과 복원할 경우 일정한 품질을 유지하기 위해서 비디오 데이터 전송에 대한 효율적인 전송 스케줄 작성이 필요하다.
종래의 비디오 데이터 전송 기술은 고속 검색이나 중지/다시 시작과 같은 임의 이동만 지원하는 경우가 대부분이었다. 그 외 일부 기술은 재생은 되나 클라이언트의 버퍼 내에 남아 있는 데이터를 대상으로 고속 후진 재생을 제공하였다.또한, 정상 재생이 가능한 비디오 스트림으로부터 "프레임 건너뛰기"를 이용하여 얻은 프레임들을 새롭게 부호화함으로써 고속 재생용 복수 스트림을 준비한 후에 사용자의 요청에 따라 정상 스트림과 고속 재생용 스트림 사이의 스트림 전환을 이용하여 고속 전진 재생을 제공하는 방안이 있었다.
본 발명에서 제안한 동적 전송 스케줄 작성 방안은 "화상그룹 건너뛰기"를 이용하여 정상 재생과 동일한 방법으로 데이터를 복원할 수 있게 함으로써 클라이언트의 구조를 단순화시킴과 고속 재생 효과를 얻을 수 있다.
또한, 화상그룹 단위로 전송 스케줄을 작성함으로써 스케줄 작성에 따른 계산상의 오버헤드를 크게 줄일 수 있기 때문에 허용할 수 있는 재생시작 지연범위 내에서 온라인으로 주문형 비디오 데이터를 전송할 수 있다.
본 발명에 의한 동적 전송 스케줄링 알고리즘
m 배속 고속 전진 및 후진 재생을 지원하기 위한 화상그룹 기반의 동적 전송 스케줄 작성 방안을 기술한다. 사용자가 고속 재생을 요청할 때마다 서버는 동적으로 고속 재생을 지원하기 위한 전송 스케줄을 작성하고 이 스케줄에 따라 비디오 데이터를 클라이언트로 전송한다.
그림1은 여러 가지 비디오카세트 기록기의 기능을 지원하기 위해 선택된 화상그룹들을 보여준다. 이 그림에서 빗금친 블록은 선택된 화상그룹을 나타낸다.
그림1 (a)는 정상 재생에서 서버가 클라이언트로 전송하여야 할 화상그룹들을 보여 준다. 클라이언트가 그림1 (b)에서와 같이 3 배속 고속 전진재생을 요청하는 경우에 서버는 클라이언트에 대한 비디오 데이터의 전송을 즉시 중단하고 새로운 전송 스케줄을 작성한다. 서버는 그림1 (b)에서와 같이 클라이언트가 고속 전진재생을 요청한 프레임 위치가 속한 화상그룹으로부터 비디오 스트림의 마지막 화상그룹까지 매 3 번째 화상그룹를 선택하여 평활화 대상의 데이터 집합을 구성하고 대역폭 평활화를 적용하여 대역폭 할당 계획, 즉 전송 스케줄을 작성한다. 그리고 서버는 이 스케줄에 따라 비디오 데이터의 전송을 다시 시작한다. 서버가 전송 스케줄을 작성하는 동안, 클라이언트는 사용자가 고속 재생을 요청한 시점에 재생되었던 프레임을 계속 보여 주고 있다가 서버로부터 재생을 다시 시작하라는 제어 신호를 받으면 버퍼 내 데이터를 지우고 새로운 전송 스케줄에 따라 전송된 비디오 데이터의 재생을 시작한다. 이와 같이 본 발명에서는 "화상그룹 건너 뛰기"를 이용함으로써 클라이언트는 재생 속도를 변경할 필요없이 정상 재생과 동일한 방법으로 고속 재생을 지원할 수 있다.
비디오카세트 기록기의 기능들 중 또 다른 예를 들면, 사용자는 그림1 (c)와 같이 고속 검색을 요청할 수 있다. 고속 검색 기능은 임의 이동으로서 영상을 보여 주지 않는다. 또한, 사용자가 그림1 (d)와 같이 3 배속 고속 후진재생을 요청할 때, 서버는 즉시 클라이언트로의 데이터 전송을 중지하고 새로운 전송 스케줄을 온라인으로 작성한다. 즉 서버는 재생 중인 화상그룹으로부터 역 방향으로 건너 뛰면서 매 3번째 화상그룹들로 평활화 대상의 데이터 집합을 구성하여 대역폭 평활화를 적용하여 동적으로 전송 스케줄을 작성한다. 고속 후진 재생시 클라이언트는 전송된 화상그룹내의 프레임들을 역 방향이 아니라 순 방향으로 재생을 한다. 이렇게함으로써 시각적인 효과를 크게 손상하지 않고 역 방향 재생을 순 방향의 정상 재생과 동일한 방법으로 재생하게 함으로써 클라이언트의 구조를 간단하게 할 수 있다는 장점이 있다
그림1 비디오 카세트 기록기의 기능을 지원하기 위해 선택된 화상그룹들
한편 화상그룹이 독립적으로 복원이 가능한 임의 접근 단위이지만 그림2와 같이 화상그룹내 마지막 두 B 프레임, 즉 B11과 B12는 두 화상그룹에 걸쳐 있으므로 화상그룹 단위로 고속 재생을 지원하는 경우에는 이들 B 프레임의 복원에 다음 화상그룹의 I13프레임 정보가 필요하다. 따라서, 고속 재생시 화상그룹 단위로 복원할 때 약간의 화질 저하가 발생한다. 이를 막기 위해 화상그룹 내의 프레임들이 다른 화상그룹으로부터 독립적인 복원이 가능하도록 부호화해야 하며, 이를 위해 MPEG(Moving Picture Expert Group) 표준에서는 폐쇄 화상그룹 플래그가 준비되어있다
그림2 부호화 및 복원 순서
I 1 B2B3P4B5B6P7B8B9P10 B 11 B 12 I 13 ... (부호화 및 전송 순서)
I 1 P4B2B3P7B5B6P10B8B9 I 13 B 11 B 12 ... (복원 순서)
본 발명의 전송 스케줄과 대역폭 평활화를 살펴보면 다음과 같다. 전송 스케줄TS는 식(1)과 같이 세그먼트들에 대한 정보로 이루어 진다. 세그먼트는 동일한 대역폭이 할당되는 화상그룹들로 구성된다.i번째 세그먼트S i 에 대한 정보는 시작 화상그룹 번호F i , 끝 화상그룹 번호L i 와 이 세그먼트에 할당될 대역폭R i 로 이루어진다
(1)
TS를 이용하여 서버는 대역폭R i 를 확보한 후에 세그먼트를 이루는 화상그룹들에 속한 프레임들을 클라이언트로 전송한다. 세그먼트S i+1 의 프레임들을 전송하기 전에 서버는S i+1 에 필요한 대역폭R i+1 을 확보하기 위하여 망과 대역폭 협상을 시도한다.
서버는 망에 대한 대역폭 요구를 줄이기 위하여 클라이언트에서 재생을 시작하기 전에 비디오 데이터를 선인출하는 대역폭 평활화를 활용한다. 대역폭 평활화는 최대 비트율, 대역폭 변화 변위와 대역폭 변경 회수 등의 평활화 조건들을 만족하면서 클라이언트에서 버퍼 넘침과 버퍼 언더플로우 없이 비디오 스트림을 전송하기 위한 최적의 대역폭 할당 계획을 구하기 위하여 사용된다
본 발명의 스케줄링 알고리즘은 다음과 같다. m 배속 고속 전진 및 후진 재생을 나타내기 위하여mxFFmxFB로 표기한다. 표1에서는 스케줄링 알고리즘에 사용되는 사용되는 기호들을 나타낸다.
표1 스케줄링 알고리즘에 사용되는 기호 요약
기호 의미
L 화상그룹 내 프레임 수
N 비디오 스트림의 총 프레임 수
m 고속 재생 속도 인자
g(i) i 번째 화상그룹 내 프레임들의 누적된 데이터 양(단위:비트)
G 고속 재생을 지원하기 위한 평활화 대상 화상그룹 집합
nFF 고속 전진 재생을 위한 평활화 대상 화상그룹 수
nFG 고속 후진 재생을 위한 평활화 대상 화상그룹 수
PG(n) G에 대해 시작 화상그룹으로부터 i번째 화상그룹까지클라이언트가 재생한 누적 데이터 양
AG(n) G에 대해 시작 화상그룹으로부터 i번째 화상그룹까지클라이언트가 수신할 수 있는 최대 데이터 양
UG(n) i번째 화상그룹의 재생 시각에서 이용할 수 있는 누적 데이터 양
선택된 프레임 위치f가 속한 화상그룹의 번호s로부터mxFFmxFB를 위해 스케줄되어야 할 화상그룹 집합G는 식(2)와 같다.
(2)
s±m은s번째 화상그룹으로부터 시작하여 순 방향(+) 또는 역 방향(-)으로 m 개씩 건너 뛰면서 얻어진 화상그룹을 나타낸다. 식(2)에서 n은 평활화 대상 화상그룹의 수를 나타낸다.
식(3)의g(i)i번째 화상그룹내 프레임들의 누적된 데이터 양을 나타내며,Lx j 는 화상그룹내 프레임 수와 비트 단위의j번째 프레임의 크기를 나타낸다. 클라이언트는 하나의 화상그룹내 프레임들을 저장할 고정된 크기의 버퍼 크기B c 를 가지며 식(4)를 만족하여야 한다.
(3)
(4)
고속 재생을 지원하기 위한 전송 스케줄을 구하기 위한 절차는 다음과 같다. 우선 첫번째 화상그룹의 번호s를 구하는 것부터 시작한다.s를 구하기 위하여 비디오 스트림내 화상그룹의 수N GoP 를 필요로 하며 식(5)에 의해 구해진다. 여기에서 N은 비디오 스트림의 총 프레임 수이다.
(5)
다음에 식 (6) 에 의해s를 구할 수 있다.
(6)
재생 방향과 재생 속도 증가 인자 m에 따라 평활화 대상 화상그룹 수n을 구한다.n은 고속 전진 재생의 경우에n FF , 고속 후진 재생의 경우에n FB 로 표기하며, 각각 식(7)과 식(8)에 의해 구할 수 있다.
(7)
(8)
다음에n을 이용하여 식(2)와 같이 평활화 대상 화상그룹 집합G를 구성하고 이 집합에 대역폭 평활화를 적용한다.
종래의 기존 대역폭 평활화 알고리즘들은 프레임을 평활화 단위로 하고 있으나 제안된 고속 재생을 위한 스케줄링 방안은 화상그룹을 평활화 단위로 하고 있다.
식(9)에서P G (i)는 평활화 대상 화상그룹 집합에 대하여 시작 화상그룹s로부터i번째 화상그룹까지 클라이언트가 재생한 누적 데이터를 나타낸다.i번째 화상그룹의 재생 시각에 클라이언트의 버퍼에P G (i)이상의 데이터를 이용할 수 없는 경우에 버퍼 언더플로우가 발생하며 더 이상의 재생이 불가능하게 된다. 따라서 서버는 비디오 스트림의 연속적인 재생을 보장하기 위해서i번째 화상그룹의 재생 시작 전에P G (i)이상의 데이터를 전송하여야 한다.
(9)
식(10)에서U G (i)는 평활화 대상 화상그룹 집합에 대하여 첫번째 화상그룹s로부터i번째 화상그룹까지 클라이언트가 수신할 수 있는 최대 데이터 양을 나타내며,i번째 화상그룹 내 프레임들을 재생할 시각에 클라이언트가U G (i)이상의 데이터를 수신하게 되면 버퍼가 넘치게 되며 버퍼 용량B c 이상의 데이터는 폐기된다.
(10)
따라서i번째 화상그룹의 재생 시각에서 이용할 수 있는 누적 데이터를 나타내는A G (i)는 식(11)에서와 같이P G (i)U G (i)사이에 위치하여야 한다.
(11)
서버는 두 곡선P G (i)U G (i)에 의해 둘러 싸인 영역에서 평활화 조건들을 만족하는 곡선A G (i)의 기울기를 이용하여 각 세그먼트에 할당될 대역폭을 구할 수 있다. 세그먼트들은 대역폭 평활화 알고리즘에 의해 구해지며, 각 세그먼트는A G (i)의 동일한 기울기를 가진다. 또한 세그먼트는 재생 속도 인자 m에 의해 선택된 화상그룹들로 구성된다. 서버는i번째 세그먼트S i 의 시작과 끝 화상그룹 번호만으로S i 에 소속된 화상그룹들을 구할 수 있으며, 이를 이용하여 화상그룹 내 프레임들을 디스크로부터 검색하여 전송을 하게 된다.S i 에 소속된 일련의 화상그룹들I i 는 재생 방향과 재생 속도 인자 m에 따라 식(12)와 같이 표현된다. 식(12)에서k는 재생 방향에 따라 (F i ±j ×m)의 값이 세그먼트 내 마지막 프레임 번호L i 보다 크지 않은 최대값 또는L i 보다 작지 않은 최대값을 의미한다.
(12)
서버는 식(13)을 이용하여i번째 세그먼트에 대하여R i (단위는 초당 비트수)의 대역폭을 할당하고, 이 정보를 전송 스케줄 정보TS에 유지한다. 식(13)에서R play 는 클라이언트에서의 재생 속도를 나타내며 보통 초당 24~30 프레임이다.
(13)
그림3은 정상 재생과 3배속 재생(3xFF)을 지원하기 위하여 동적으로 전송 스케줄을 작성하는 예를 보여 준다. 정상 재생시 서버는 정상 스케줄TS Normal 에 따라 비디오 데이터를 전송한다. 사용자가T시각에3xFF을 요청하는 경우에 서버는 클라이언트로의 데이터 전송을 즉시 중단하고 평활화 대상 화상그룹 집합G 1 를 재구성하고 이를 기반으로 와 를 구하여 대역폭 평활화를 적용함으로써 새로운 스케줄TS 3xFF 를 작성한다.
그림 3 정상 재생과3xFF를 위한 동적 스케줄링
본 발명은 주문형 비디오 등의 멀티미디어 서비스 응용에 대해 동적 전송 스케줄 작성 방법을 "화상그룹 건너뛰기"를 이용하여 정상 재생과 동일한 방법으로 데이터를 복원할 수 있게 함으로써 클라이언트의 구조를 단순화시킴과 고속 재생 효과를 얻을 수 있다. 또한, 화상그룹 단위로 전송 스케줄을 작성함으로써 스케줄 작성에 따른 계산상의 오버헤드를 크게 줄일 수 있어 허용할 수 있는 재생시작 지연범위 내에서 온라인으로 주문형 비디오 데이터를 전송할 수 있다.

Claims (2)

  1. "화상그룹 건너뛰기"를 이용한 저장된 비디오 스트림에 대하여 m 배속 고속 전진 및 후진 재생 기능을 지원하기 위한 동적 전송 스케줄 작성 방안
  2. 화상그룹단위로 대역폭 평활화를 적용하여 알고리즘의 복잡도를 줄이는 전송 스케줄 알고리즘 체계
KR1020010051549A 2001-08-25 2001-08-25 화상그룹 기반의 고속재생 지원을 갖는 동적 전송스케줄작성 방법 KR20030017917A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010051549A KR20030017917A (ko) 2001-08-25 2001-08-25 화상그룹 기반의 고속재생 지원을 갖는 동적 전송스케줄작성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010051549A KR20030017917A (ko) 2001-08-25 2001-08-25 화상그룹 기반의 고속재생 지원을 갖는 동적 전송스케줄작성 방법

Publications (1)

Publication Number Publication Date
KR20030017917A true KR20030017917A (ko) 2003-03-04

Family

ID=27720866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010051549A KR20030017917A (ko) 2001-08-25 2001-08-25 화상그룹 기반의 고속재생 지원을 갖는 동적 전송스케줄작성 방법

Country Status (1)

Country Link
KR (1) KR20030017917A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100991845B1 (ko) * 2008-12-16 2010-11-04 주식회사 아이디씨텍 Vod 시스템에서 컨텐츠의 정보파일과 gop 단위의 전송을 이용한 vcr 유사 동작 처리방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100991845B1 (ko) * 2008-12-16 2010-11-04 주식회사 아이디씨텍 Vod 시스템에서 컨텐츠의 정보파일과 gop 단위의 전송을 이용한 vcr 유사 동작 처리방법

Similar Documents

Publication Publication Date Title
US6327421B1 (en) Multiple speed fast forward/rewind compressed video delivery system
US7023924B1 (en) Method of pausing an MPEG coded video stream
US6871006B1 (en) Processing of MPEG encoded video for trick mode operation
US6937770B1 (en) Adaptive bit rate control for rate reduction of MPEG coded video
US5442390A (en) Video on demand with memory accessing and or like functions
EP0812112B1 (en) System and method for indexing between trick play and normal play video streams in a video delivery system
US6771703B1 (en) Efficient scaling of nonscalable MPEG-2 Video
EP0633694B1 (en) Segmented video on-demand system
US7058721B1 (en) Dynamic quality adjustment based on changing streaming constraints
EP0676898B1 (en) Frame sampling scheme for video scanning in a video-on-demand system
EP1239674A2 (en) Method and apparatus for recording broadcast data
EP1845690B1 (en) Information-transmission apparatus and information-transmission method
CN1185258A (zh) 预编码图像的特技播放控制
US20020073172A1 (en) Method and apparatus for storing content within a video on demand environment
US6608966B1 (en) VCR-type controls for video server system
IL154410A (en) Dynamic quality adjustment is based on changing constraint parameters
Mori et al. Video-on-demand system using optical mass storage system
KR20030017917A (ko) 화상그룹 기반의 고속재생 지원을 갖는 동적 전송스케줄작성 방법
JP3916707B2 (ja) フィルム再生装置の高速サーチ動作用画像シーケンスの生成方法及びその装置
JP3560556B2 (ja) マルチキャスト・ビデオ・オンデマンドによる動画コンテンツの配送方法
KR100388492B1 (ko) 주문형 비디오에서의 동적 프레임 선택 방법
Krishnan et al. Service aggregation through rate adaptation using a single storage format
JP3036579B2 (ja) Vodシステムにおける特殊再生方式
JP3719530B2 (ja) 映像信号伝送方法及び映像信号伝送装置
JP3656438B2 (ja) 高速画像入力変換装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application