KR100834748B1

KR100834748B1 - 스케일러블 비디오 스트림 재생 방법 및 장치

Info

Publication number: KR100834748B1
Application number: KR1020040003985A
Authority: KR
Inventors: 신성철; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2004-01-19
Filing date: 2004-01-19
Publication date: 2008-06-05
Also published as: US20050158026A1; EP1707008A1; CN1922881A; KR20050076160A; WO2005069628A1

Abstract

본 발명은 스케일러블 비디오 스트림 재생 방법 및 장치에 관한 것으로서, 시간적 스케일러빌리티를 갖는 비디오 스트림이 시간적 레벨에 유연한 특성을 이용하여 비디오 스트리밍 서비스를 통해 제공되는 멀티미디어 데이터의 빠른 검색이 가능하도록 하는 것을 주 목적으로 한다.

이를 위해 본 발명의 일 실시 예에 따른 스케일러블 비디오 스트림 재생 장치는 소정의 비트 스트림에 대해 소정의 재생 속도가 선택되면 선택된 재생 속도를 설정하는 재생 속도 설정부, 재생 속도 설정부에 의해 설정된 재생 속도에 대응되는 시간적 레벨을 결정하고, 결정된 시간적 레벨에 따라 디코딩되어야할 프레임을 결정하는 제어부, 및 디코딩되는 프레임을 타이밍 신호를 이용해 원 비디오 신호의 프레임 레이트에 동기화 시키는 타이밍 동기화부를 포함하는 것을 특징으로 한다.

스케일러빌리티, 비디오 스트림, 재생, 시간적 레벨

Description

스케일러블 비디오 스트림 재생 방법 및 장치{Apparatus and method for playing of scalable video coding}

도 1a는 MCTF 방식의 스케일러블 비디오 코딩 및 디코딩 과정에서의 시간적 분해 과정을 개략적으로 나타낸 것이다.

도 1b는 UMCTF 방식의 스케일러블 비디오 코딩 및 디코딩 과정에서의 시간적 분해 과정을 개략적으로 나타낸 것이다.

도 2는 본 발명의 일 실시 예에 따른 엔코더의 구성을 개략적으로 나타낸 것이다.

도 3은 도 2의 공간적 변환부에서 입력 이미지 또는 프레임을 웨이블릿 변환에 의하여 서브밴드로 분해하는 과정을 나타낸 것이다.

도 4는 본 발명의 일 실시 예에 따른 디코더의 구성을 개략적으로 나타낸 것이다.

도 5는 본 발명의 일 실시 예에 따른 디코더를 이용하는 비디오 스트림 재생 장치의 구성을 개략적으로 나타낸 것이다.

도 6은 본 발명의 일 실시 예에 따른 비디오스트림 재생을 위한 동작 과정을 개략적으로 나타낸 것이다.

도 7은 본 발명의 다른 실시 예에 따른 비디오스트림 재생 과정을 설명하기 위한 엔코딩 및 디코딩 과정을 개략적으로 나타낸 것이다.

도 8의 a 내지 c는 본 발명의 일 실시 예에 따른 MCTF 방식의 비디오 스트림 재생 과정을 개략적으로 나타낸 것이다.

<도면의 주요 부분에 관한 부호의 설명>

100 : 엔코더 300 : 디코더

500 : 비디오 스트림 재생 장치

501 : 재생 속도 설정부 502 : 제어부

503 : 타이밍 동기화부 504 : 저장부

본 발명은 스케일러블 비디오스트림 재생 방법 및 장치에 관한 것으로서, 보다 상세하게는 스케일러블 비디오 코딩에 의해 시간적 스케일러빌러티를 갖는 비디오 스트림을 빠르게 검색할 수 있도록 하는 비디오 재생에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다.

기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다.

멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로하며 전 송시에 넓은 대역폭을 필요로 한다. 예를 들면 640*480의 해상도를 갖는 24 bit 트루컬러의 이미지는 한 프레임당 640*480*24 bit의 용량(즉, 약 7.37Mbit)의 데이터가 필요하다.

이를 초당 30 프레임으로 전송하는 경우에는 221Mbit/sec의 대역폭을 필요로 하며, 90분 동안 상영되는 영화를 저장하려면 약 1200G bit의 저장공간을 필요로 한다.

따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

이러한 압축코딩기법에 있어서, 데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy)을 없애는 과정이다.

데이터의 중복은 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접한 프레임간에 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복이 대표적으로 정의되어 있다.

이 같은 데이터의 중복을 없앰으로서 데이터를 압축할 수 있는데, 데이터 압축의 방법은 크게 소스 데이터의 손실 여부에 따른 손실/무손실 압축, 각각의 프레임에 대해 독립적으로 압축하는 지 여부에 따른 프레임내/프레임간 압축, 압축과 복원에 필요한 시간이 동일한 지 여부에 따른 대칭/비대칭 압축으로 나누어진다.

이 밖에도 압축 복원 지연 시간이 50ms를 넘지 않는 경우에는 실시간 압축으 로 분류하고, 프레임들의 해상도가 다양한 경우는 스케일러블 압축으로 분류한다.

이 같은 압축의 방법 가운데 무손실 압축은 문자 데이터나 의학용 데이터 등의 데이터를 압축하는데 이용되며, 손실 압축은 멀티미디어 데이터를 압축하는데 주로 이용된다.

한편, 프레임 내 압축은 공간적 중복을 제거하기 위해서 이용되며, 프레임간 압축은 시간적 중복을 제거하기 위해서 이용된다.

멀티미디어 데이터를 전송하는데 있어서, 전송 속도는 전송매체 등의 전송 환경에 따라 그 성능이 다르게 나타난다.

현재 사용되는 전송매체는 초당 수십 메가비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 키로비트의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다.

MPEG-1, MPEG-2, H.263 또는 H.264와 같은 기존의 비디오 코딩 방법은 모션 보상 예측 코딩법에 기초하여 시간적 중복은 모션 보상으로 제거하고 공간적 중복은 변환 코딩으로 제거한다.

이러한 기존의 비디오 코딩 방법들은 좋은 압축률을 갖고 있지만 주 알고리즘에서 재귀적 접근법을 사용하고 있어 트루 스케일러블 비트스트림(true scalable bitstream)을 위한 유연성을 갖지 못한다.

이에 따라 최근에는 웨이브렛 기반의 스케일러블 비디오 코딩에 대한 연구가 활발하다. 스케일러블 비디오 코딩은 스케일러빌리티를 갖는 비디오 코딩을 의미한다. 스케일러빌리티란, 압축된 하나의 비트스트림으로부터 부분 디코딩, 즉, 다양 한 비디오 재생이 가능하도록 하는 특성을 의미한다.

스케일러빌리티는 비디오의 해상도를 조절할 수 있는 성질을 의미하는 공간적 스케일러빌리티와 비디오의 화질을 조절할 수 있는 성질을 의미하는 SNR(Signal t Noise Ratio) 스케일러빌리티와, 프레임 레이트를 조절할 수 있는 시간적 스케일러빌리티와, 이들 각각을 조합한 것을 포함하는 개념이다.

웨이브렛 기반의 스케일러블 비디오 코딩에 사용되고 있는 많은 기술들 중에서, Ohm에 의해 제안되고 Choi 및 Wood에 의해 개선된 움직임 보상 시간적 필터링(Motion Compensated Temporal Filtering; 이하, MCTF라 함)은 시간적 중복성을 제거하고 시간적으로 유연한 스케일러블 비디오 코딩을 위한 핵심 기술이다.

MCTF에서는 GOP(Group Of Picture) 단위로 코딩작업을 수행하는데 현재 프레임과 기준 프레임의 쌍은 움직임 방향으로 시간적 필터링된다. 이에 대해서는 도 1a를 참조하여 설명한다.

도 1a에서 L 프레임은 저주파 혹은 평균 프레임을 의미하고, H 프레임은 고주파 혹은 차이 프레임을 의미한다.

도시된 바와같이, 코딩 과정은 먼저 낮은 시간적 레벨에 있는 프레임쌍들을 시간적으로 필터링하여 높은 시간적 레벨의 L 프레임들과 H 프레임들로 전환시키고, 전환된 L 프레임 쌍들을 다시 시간적으로 필터링하여 더 높은 시간적 레벨의 프레임들로 전환시킨다. 인코더는 가장 높은 시간적 레벨의 L 프레임 하나와 H 프 레임들을 웨이브렛 변환시켜 비트스트림을 생성한다. 도면에서 진한색이 표시된 프레임들이 웨이브렛 변환의 대상이 되는 프레임이다.

정리하면 코딩하는 시간적 레벨 순서는 낮은 레벨의 프레임들부터 높은 레벨의 프레임들을 연산한다.

디코더는 웨이브렛 역변환을 거친 후에 얻어진 진한색의 프레임들을 높은 레벨부터 낮은 레벨의 순으로 연산하여 복원시킨다.

즉, 시간적 레벨 3의 L 프레임과 H 프레임을 이용하여 시간적 레벨 2의 L프레임 2개를 복원하고, 시간적 레벨의 L 프레임 2개와 H 프레임 2개를 이용하여 시간적 레벨 1의 L 프레임 4개를 복원한다.

최종적으로 시간적 레벨 1의 L 프레임 4개와 H 프레임 4개를 이용하여 프레임 8개를 복원한다.

이와 같이 이루어지는 MCTF 방식의 비디오 코딩은 유연한 시간적 스케일러빌리티를 갖는 장점이 있으나, 단방향 움직임 추정과 낮은 시간적 레이트에서의 나쁜 성능 등의 몇몇 단점들을 가지고 있었다.

이에 대한 개선방법에 대한 많은 연구가 있었는데, 그 중 하나가 Turaga와 Mihaela에 의해 제안된 비구속 MCTF(Unconstrained MCTF; 이하, UMCTF라 함)이다.

이에 대해서는 도 1b를 참조하여 설명한다.

UMCTF는 복수의 참조 프레임들과 양방향 필터링을 사용할 수 있게 하여 보다 일반적인 프레임작업을 할 수 있도록 한다.

또한 UMCTF 구조에서는 필터링되지 않은 프레임(A 프레임)을 적절히 삽입하여 비이분적 시간적 필터링을 할 수도 있다.

이와 같이 UMCTF에서는 필터링된 L 프레임 대신에 A 프레임을 사용함으로써 낮은 시간적 레벨에서 시각적인 화질이 상당히 개선된다.

상술한 바와 같이, MCTF와 UMCTF 방식의 비디오 코딩은 모두 유연한 시간적 스케일러빌리티를 갖기 때문에, 디코더 측에서는 시간적 레벨에 따라 전체를 디코딩하지 않아도 일부의 프레임에 대해서는 완벽하게 디코딩이 가능하다.

즉, 비디오 스트리밍 어플리케이션의 성능에 따라 시간적 레벨을 조절하여 디코딩함으로써 화질이 낮더라도 비디오 스트리밍 서비스를 안정적으로 제공받을 수 있게 되는 것이다.

스트리밍 서비스를 이용하는 사용자의 경우 다양한 멀티미디어를 자유롭게 이용하기를 원하게 되는데, 기존의 비디오 스트리밍 서비스는 인코딩된 멀티미디어 데이터를 사용자 환경에 맞도록 화질을 조절하여 제공하는 단편적인 서비스에 지나지 않아 사용자가 멀티미디어 데이터의 재생 속도를 자유롭게 조절할 수 있도록 하는 재생 속도에 대한 변화를 요구하게 되었다.

그러나, 종래 시간적 레벨에 유연한 시간적 스케일러빌리티의 특성을 이용한 MCTF 및 UMCTF 방식에서도 재생 속도를 변화시키는 방법에 관한 연구가 없거나, 충분하지 못하였다.

따라서, 시간적 스케일러빌리티를 지원하는 비디오 디코딩 방식에 있어서 재생 속도를 변화시키는 방법을 창안할 필요가 있다.

본 발명은 상기한 필요성을 고려하여 창안된 것으로, 본 발명의 주 목적은 시간적 스케일러빌리티를 갖는 비디오 스트림이 시간적 레벨에 유연한 특성을 이용하여 비디오 스트리밍 서비스를 통해 제공되는 멀티미디어 데이터의 빠른 검색이 가능하도록 하는 것이다.

상기 목적을 달성하기 위하여, 본 발명은 엔코더로부터 수신한 비트스트림에 대해 소정의 재생 속도가 요구되면 재생 속도 설정부를 통해 재생 속도를 설정하고, 제어부를 통해 설정된 재생 속도에 대응되는 시간적 레벨을 결정하여 결정된 시간적 레벨에 따라 수신한 비트스트림의 프레임들 가운데 소정의 프레임만을 디코딩 하는 것이다.

또한, 제어부에서는 디코딩된 소정의 프레임을 통해 빠른 동영상 검색이 가능하도록 원 비디오 신호의 프레임 레이트와 동기화되는 타이밍 신호를 생성하여 타이밍 동기화부를 통해 디코딩된 각 프레임들에 설정한다.

본 발명에 있어서, 비트스트림은 스케일러블 비디오 코딩에 의해 시간적 스케일러빌리티를 갖는것이고, 재생 속도는 동영상의 빠른 탐색을 위해 이미지를 소정의 속도로 보여지는 것으로 정의된다.

또한, 재생 속도는 방향성을 갖는데, 본 발명의 일 실시 예에서는 방향에 따라 순방향 고속 재생 및 역방향 고속 재생으로 이루어진다.

이하, 본 발명에 따른 스케일러블 비디오스트림 재생 방법 및 장치를 첨부된 도면을 참조하여 상세히 설명한다.

본 발명의 일 실시 예에 따른 스케일러블 비디오 스트림 재생 방법은 소정의 비트 스트림에 대해 소정의 재생 속도가 요구되면 상기 재생 속도에 대응되는 시간적 레벨을 결정하는 (a) 단계; 결정된 시간적 레벨에 따라 상기 비트 스트림의 프레임들에서 디코딩 되어야 할 프레임을 결정하는 (b) 단계; 및 결정된 프레임만을 디코딩하는 (c) 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 스케일러블 비디오 스트림 재생 장치는 소정의 비트 스트림에 대해 소정의 재생 속도가 선택되면 선택된 재생 속도를 설정하는 재생 속도 설정부, 재생 속도 설정부에 의해 설정된 재생 속도에 대응되는 시간적 레벨을 결정하고, 결정된 시간적 레벨에 따라 디코딩되어야할 프레임을 결정하는 제어부, 및 디코딩되는 프레임을 타이밍 신호를 이용해 원 비디오 신호의 프레임 레이트에 동기화 시키는 타이밍 동기화부를 포함하는 것을 특징으로 한다.

이하, 본 발명에 따른 스케일러블 비디오 스트림 재생 장치의 구성과 동작에 대하여 설명함에 있어서, 시간적 스케일러빌리티가 지원되는 비디오 코딩 방식에 따른 비디오 코딩을 수행하는 스케일러블 비디오 엔코더를 먼저 설명하고, 엔코더로부터 수신한 비트 스트림을 디코딩하는 디코더, 엔코더로부터 수신한 비트 스트림을 시간적 레벨에 따라 일부분만 디코더를 통해 디코딩하도록 제어하는 본 발명에 따른 스케일러블 비디오 재생 장치 순으로 설명한다.

이하, 본 발명에 따른 스케일러블 비디오 스트림 재생 방법의 구성과 동작에 대하여 설명함에 있어서, 시간적 스케일러빌리티를 갖는 MCTF 및 UMCTF 비디오 코딩 방식을 통해 구현되는 것으로 설명하고 있으나, 이 또한 예시적인 것에 불과하며, MCTF 및 UMCTF뿐만 아니라 시간적 스케일러빌리티를 지원하는 비디오 코딩 방식에 따른 스케일러블 비디오 스트림을 사용자에 의해 요구되는 재생 속도에 따라 시간적 레벨을 조절하여 일부분만을 디코딩하도록 하여 재생 속도를 변화시키는 모듈로의 다양한 변형 및 균등한 타 실시예가 가능하다는 점은 본 기술분야의 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

또한, 이하, 본 발명에 따른 스케일러블 비디오 스트림 재생 방법의 구성과 동작에 대하여 설명함에 있어서, 디코딩된 각 프레임들이 원 비디오 신호의 프레임 레이트에 동기화되도록 타이밍 신호를 생성하여 설정하는 타이밍 조절 방법을 통해 재생 속도를 변화시키는 것으로 설명하고 있으나, 이 또한 예시적인 것에 불과하며, 타이밍 조절뿐만 아니라 디코딩된 각 프레임들의 클럭 타임 조절하는 등의 방법을 통해 디코딩된 프레임들을 사용자에 의해 요구되는 재생 속도로 복원시키는 모듈로의 다양한 변형 및 균등한 타 실시 예가 가능하다는 점은 본 기술분야의 통상의 지식을 가진 자라면 이해할 수 있을 것이다.

본의 일 실시 예에 따른 엔코더(100)는 조각화부(101)와, 모션 추정부(102)와, 시간적 변환부(103)와, 공간적 변환부(104)와, 임베디드 양자화부(105)와, 비트스트림 결합부(105)를 포함하여 구성될 수 있다.

먼저, 조각화부(101)는 입력 비디오를 엔코딩의 기본 단위인 GOP(group of pictures)로 나눈다.

모션 추정부(102)는 각각의 GOP에 존재하는 프레임들에 관한 모션 추정을 수행하여 모션 벡터(motion vector)를 추정한다.

상기 모션 추정 방법으로, 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 계층적인 방법을 사용할 수 있다.

시간적 변환부(103)는 모션 추정부(102)에 의하여 구해진 모션 벡터를 이용해 시간축 방향으로 프레임들을 저주파와 고주파 프레임으로 분해함으로써 시간적 중복성을 감소시킨다.

예를 들어, 프레임의 평균을 저주파 성분으로 하고 두 프레임의 차이의 반을 고주파 성분으로 할 수 있다. 프레임들을 분해할 때는 GOP 별로 분해한다. 모션 벡터를 이용하지 않고 단순히 프레임 간의 같은 위치에 존재하는 픽셀들을 비교함으로써 고주파 성분의 프레임과 저주파 성분의 프레임으로 분해할 수 있으나, 이는 모션 벡터를 이용하는 경우에 비하여 상기 시간적 중복성을 감소시키는 데 있어 덜 효율적이다.

즉, 제1 프레임과 제2 프레임을 비교할 때 제1 프레임의 일정 영역이 제2 프레임에서 이동한 경우에 이동의 정도는 모션 벡터로 대표될 수 있고, 양자를 비교할 때 제1 프레임의 일정 영역과 제2 프레임의 동일 위치가 모션 벡터에 해당하는 크기만큼 이동한 영역을 비교하여 즉, 시간적 이동 부분만큼을 보상한 후에 제1 및 제2 프레임을 저주파와 고주파 프레임으로 분해한다.

시간적 필터링 방법으로는, 예컨대 MCTF(Motion Compensated Temporal Filtering), UMCTF 등을 사용할 수 있다.

공간적 변환부(104)는 공간적 변환을 이용하여 시간적 필터링된 프레임들의 공간적 중복을 제거하는데, 본 실시예에서는 공간적 변환 방법으로 웨이브렛 변환(wavelet transform)을 사용한다.

현재 알려진 웨이블렛 변환은 하나의 프레임을 분해하여 저주파수 서브밴드(sub-band)와 고주파수 서브밴드로 구분하고, 각각에 대한 웨이블릿 계수(wavelet coefficient)를 구한다.

즉, 하나의 프레임을 4등분하고, 전체 이미지와 거의 유사한 1/4 면적을 갖는 축소된 이미지(L 이미지)를 상기 프레임의 한쪽 사분면에 대체하고 나머지 3개의 사분면에는 L 이미지를 통해 전체 이미지를 복원할 수 있도록 하는 정보(H 이미지)로 대체한다.

마찬가지 방식으로 L 프레임은 또 1/4 면적을 갖는 LL 이미지와 L 이미지를 복원하기 위한 정보들로 대체될 수 있다.

이러한 웨이브렛 방식을 사용하는 이미지 압축법은 JPEG2000이라는 압축방식에 적용되고 있다.

웨이브렛 변환은 프레임들의 공간적 중복을 제거할 수 있으며, DCT 변환과는 달리 원래의 이미지 정보가 변환된 이미지에 축소된 형태로 저정되어 있으므로 축소된 이미지를 이용하여 공간적 스케일러빌리티를 갖는 비디오 코딩을 가능하게 한다.

그러나 웨이브렛 변환방식은 예시적인 것으로서 공간적 스케일러빌리티를 달성하지 않아도 되는 경우라면 기존에 MPEG-2와 같은 동영상 압축방식에 널리 사용되는 DCT 방법을 사용할 수도 있다.

임베디드 양자화부(105)는 공간적 변환부(104)를 통해 얻어지는 웨이블릿 계수를 각각의 웨이블릿 블록별로 임베디드 양자화한다.

이와 같이, 웨이블릿 블록별로 웨이블릿 계수를 임베디드 양자화하는 방법으로는 EZW(Embedded Zerotrees Wavelet Algorithm), SPIHT(Set Partitioning in Hierarchical Trees), EZBC(Embedded ZeroBlock Coding) 등을 사용할 수 있다.

이 방법들은 본 발명에서 이용한 웨이블릿 도메인에서의 픽셀간 공간적 관계를 잘 활용할 수 있어서, 본 발명에서의 임베디드 양자화 과정에 사용하기에 적합하다.

상기 픽셀간 공간적 관계는 트리(tree) 형태로 나타나는데, 트리의 루트(root)가 0인 경우 그 자식(children)도 0의 값을 가질 확률이 높다는 것을 이용함으로써 효과적으로 부호화를 수행할 수 있다. 이러한 알고리즘들은 내부적으로 L밴드의 픽셀 1개에 대해 서로 관련된 픽셀들을 스캔하면서 처리를 수행하게 된다.

한편, SNR(Signal to Noise Ratio) 스케일러빌리티(scalability)를 구현하기 위해서는, 소정의 문턱값(threshold)을 정해놓고 상기 문턱값보다 큰 값을 갖는 픽셀들만 엔코딩을 하고, 모든 픽셀에 대한 처리가 끝나면 문턱값을 낮추고 다시 반복하는 과정을 통하여 엠베디드 양자화를 수행한다.

마지막으로, 엔트로피 엔코더(106)는 임베디드 양자화부(105)에 의하여 양자 화된 웨이블릿 계수 및 모션 추정부(102)에서 생성된 모션 벡터 정보 및 헤더 정보를 전송 또는 저장에 적합하도록 압축된 비트스트림으로 변환한다. 이러한 엔트로피 엔코딩 방법으로는 예측 코딩(predictive coding) 방법, 가변 길이 코딩(variable-length coding) 방법(Huffman 코딩이 대표적임), 산술 코딩(arithmetic coding) 방법 등을 이용할 수 있다.

본 발명은 이와 같은 동영상(비디오) 뿐만이 아니라, 정지 영상(이미지)에 대해서도 적용될 수 있다. 입력 이미지는 공간적 변환부(104), 임베디드 양자화부(105), 및 엔트로피 엔코딩부(106)에서 동영상의 경우와 마찬가지의 과정을 거쳐서 비트 스트림으로 생성될 수 있다.

일 예로, 입력 이미지 또는 프레임을 2단계로 웨이블릿 변환하는 경우, 여기에는 세가지의 고주파수 서브밴드, 즉 수평, 수직, 및 대각 위치의 서브밴드가 있다.

저주파수 서브밴드, 즉 수평 및 수직 방향 모두에 대하여 저주파수인 서브밴드는 ＇LL＇이라고 표기한다.

상기 고주파수 서브밴드는 ＇LH＇, ＇HL＇, ＇HH＇로 표기하는데, 이는 각각 수평방향 고주파수, 수직방향 고주파수, 그리고 수평 및 수직방향 고주파수 서브밴드를 의미한다.

그리고, 저주파수 서브밴드는 반복적으로 더 분해될 수 있다. 괄호 안의 숫 자는 웨이블릿 변환 레벨을 나타낸 것이다.

디코더(300)는 엔트로피 디코딩부(301)와, 역 임베디드 양자화부(302)와, 역 공간적 변환부(303)와, 역 시간적 변환부(304)를 포함하여 구성될 수 있다.

디코더(300)에서의 동작은 대체적으로 엔코더(100)에서의 동작의 역순으로 수행된다.

다만, 모션 벡터를 구하는 모션 추정 과정은 엔코더(100)의 모션 추정부(102)에서만 이루어지고 디코더(300)에서는 상기 모션 벡터를 전달받아 이를 이용하면 되므로, 모션 추정 과정의 역순에 해당하는 과정은 존재하지 않는다.

먼저, 엔트로피 디코딩부(301)는 수신되는 비트 스트림을 각각의 웨이블릿 블록별로 분해한다.

역 임베디드 양자화부(302)는 엔코더(300)에서의 엠베디드 양자화부(306)에서의 동작을 역순으로 수행한다.

즉, 상기 분해된 각각 비트 스트림으로부터, 웨이블릿 블록별로 재배열된 웨이블릿 계수를 구한다.

역 공간적 변환부(303)는 상기 재배열된 웨이블릿 계수를 변환하여 공간적 도메인에서의 이미지를 복원한다.

이 과정에서 각각의 GOP에 상응하는 웨이블릿 계수는 역 웨이블릿 변환에 따라서 변환되어, 시간적 필터링이 되어 있는 프레임이 생성된다.

마지막으로, 역 시간적 변환부(304)는 상기 생성된 프레임과 엔코더(100)에서 생성된 모션 벡터를 이용하여 상기 시간적 필터링 과정을 역으로 수행함으로써 최종 출력 비디오를 생성한다.

엔코더(100)에서 살펴본 바와 마찬가지로, 본 발명은 이와 같은 비디오 뿐만이 아니라, 이미지에 대해서도 적용될 수 있다. 엔코더(100)로부터 수신되는 비트 스트림은 엔트로피 디코딩(301), 역 임베디드 양자화부(302), 역 공간적 변환부(303), 및 역 시간적 변환부(304)에서 비디오의 경우와 마찬가지의 과정을 거쳐서 출력 이미지로 생성될 수 있다.

도 5에 도시한 바와 같이, 비디오 스트림 재생 장치(500)는 재생 속도 설정부(501)와, 제어부(502)와, 타이밍 동기화부(503)와, 저장부(504)를 포함하여 구성될 수 있다.

재생 속도 설정부(501)는 소정의 사용자 인터페이스를 통해 빠른 동영상 검색이 요구되면 엔코더(100)로부터 수신되는 소정의 비트 스트림에 대한 재생 속도를 설정한다.

제어부(502)는 재생 속도 결정부(501)에서 설정된 재생 속도에 대응되는 시간적 레벨을 결정하고, 결정된 시간적 레벨을 추출조건으로 하여 디코더(300)에서의 부분적 디코딩을 위한 소정의 프레임들을 수신한 비트스트림으로부터 추출한다.

또한, 제어부(502)에서는 설정된 재생 속도에 따라 빠른 동영상 검색이 가능 하도록 하기 위해 추출된 소정의 프레임들 원(original) 비디오 신호의 프레임 레이트에 동기화 시키는 타이밍 신호를 생성한다.

재생 속도는 소정의 비트 스트림을 구성하는 각 프레임들의 이미지가 보여지는 속도를 나타내는 것으로, 본 발명의 일 실시 예에서 2배속, 4배속, 8배속 등으로 속도를 변화시켜 빠른 동영상 검색을 수행할 수 있다.

또한, 재생 속도는 방향성에 따라 역방향 재생 및 순방향 재생으로 이루어진다.

이하, 본 발명의 일 실시 예에 있어서, 비디오 코딩 방식에서의 시간적 시케일러빌리티에 따른 시간적 레벨이 3단계로 이루어지는 경우, 8배속 재생은 시간적 레벨 3, 4배속 재생은 시간적 레벨 2, 및 2배속 재생은 시간적 레벨 1로 설정된다.

타이밍 동기화부(503)는 제어부(502)에 의해 생성되는 타이밍 신호를 입력받아 디코더(300)를 통해 출력되는 출력 비디오의 각 프레임들에 설정한다.

이에 따라, 각 프레임들은 엔코더(100)로부터 수신한 원 비디오 신호의 프레임 레이트와 동기화되면서 원 비디오 신호의 프레임 레이트를 유지하여 빠른 동영상을 제공하게 되는 것이다.

저장부(504)는 제어부(502)의 동작 제어에 따라 엔코더(100)로부터 수신한 비트 스트림을 저장한다.

일 예로, 앞서 설명된 도 1의 a 및 b를 참조하여 설명하면, 재생되는 동영상에 대해 2배속 순방향 재생이 요구되면, 제어부(502)에서는 2배속에 대응되는 시간적 레벨 1를 선택한다.

그 다음, 선택된 시간적 레벨에 따라 디코더(300)에서의 부분적 디코딩을 위한 4개의 프레임들(L 프레임 하나와 세 개의 H 프레임)을 추출하여 디코딩될 프레임으로 결정한다.

그 다음, 디코딩될 프레임이 결정되면 제어부(502)에서는 결정된 프레임을 디코더(300)로 입력하여 디코딩한다.

이와 같이 디코딩될 프레임만을 디코딩하면 4개의 L 프레임들이 만들어지고, 디코딩된 프레임이 엔코더(100)로부터 수신한 비트 스트림의 프레임 레이트에 동기화될 수 있도록 타이밍 정보를 생성한다.

동기화부(503)에서는 제어부(502)에 의해 생성되는 타이밍 정보에 따라 디코딩된 4개의 L 프레임들을 원 신호에 동기화시켜 4개의 프레임들로 구성되는 동영상으로 복원시킨다.

이러한 과정을 통해 엔코더(100)로부터 수신한 비트 스트림의 프레임들 가운데 요구된 재생 속도에 해당되는 시간적 레벨에 따라 추출된 4개의 L 프레임들을 디코딩하여 원 비디오 신호의 프레임 레이트에 따라 복원시켜 재생함에 따라 2배속의 빠른 동영상 검색이 수행된다.

이와 같이 구성되는 본 발명의 일 실시 예에 따른 비디오 스트림 재생 장치는 상기한 동작 과정을 GOP 단위로 반복적으로 수행하게 된다.

또 다른 실시 예로, 도 2의 실시 예에 따른 엔코더(100)에서 인코딩 순서를 공간적 변환부(104)를 통한 공간적 변환 후 시간적 변환부(103)를 통해 시간적 변환을 수행하도록 구성할 수 있다.

이 경우, 변경되는 인코딩 순서에 따라 도 4의 실시 예에 따른 디코더(300)에서도 역 시간적 변환을 수행하고 역 공간적 변환을 수행하도록 디코딩 순서를 변경시킨다.

참고로, 전술한 본 발명의 일 실시 예에 따른 엔코더(100), 디코더(300), 비디오 스트림 재생 장치(500)는 각 모듈이 모두 하드웨어로 구성되거나, 일부 모듈이 소프트웨어로 구성되거나, 또는 전체 모듈이 소프트웨어로 구성될 수 있다.

따라서, 본 발명의 일 실시 예에 따른 엔코더(100), 디코더(300), 비디오 스트림 재생 장치(500)가 하드웨어 또는 소프트웨어로 구성되는 것은 본 발명의 사상을 벗어나지 않으며, 본 발명의 사상에서 벗어나지 않으면서 소프트웨어 및/또는 하드웨어로 구성됨에 따른 수정과 변경이 부가될 수 있음은 자명하다.

또한, 도 5의 실시예에서는 비디오 스트림 재생 장치(500)가 디코더(300)에 부가되는 기기인 것으로 하여 설명하였지만, 이에 한하지 않고, 엔코더(100)에 비디오 스트림 재생 장치(500)가 포함된 것으로 구성할 수도 있고, 네트워크 상에 연결되어 원격지에서 비디오 스트리밍 서비스를 제공하는 별도의 서버에 비디오 스트림 재생 장치(500)가 포함된 것으로 구성할 수도 있음은 당업자에게는 자명하다고 할 것이다.

이와 같이 구성되는 엔코더(100), 디코더(300) 및 비디오 스트림 재생 장치(500)를 이용하는 본 발명에 따른 비디오 스트림 재생 방법을 첨부된 도면을 참조하여 상세히 설명한다.

도 6에 도시한 바와 같이, 먼저, 재생 속도 설정부(501)에서는 빠른 검색이 사용자에 의해 요구되면 엔코더(100)로부터 수신되는 소정의 비트 스트림에 대한 재생 속도를 설정한다(S1).

재생 속도 설정부(501)에 의해 재생 속도가 설정되면, 제어부(502)에서는 설정된 재생 속도에 대응되는 시간적 레벨을 결정한다(S2).

그 다음, 결정된 시간적 레벨을 추출조건으로 하여 엔코더(100)로부터 수신한 비트 스트림에서 디코딩될 프레임을 결정한다(S3).

그 다음, 제어부(502)에서는 디코더(300)에서의 부분적 디코딩을 위해 결정된 프레임만을 디코더(300)로 입력하여 디코딩한다(S4).

그리고, 타이밍 동기화부(503)에서는 제어부(502)에의해 생성되는 타이밍 신호에 따라 디코딩된 프레임들을 원 비디오 신호의 프레임 레이트에 동기화시킨다(S5).

이와 같이 타이밍 동기화가 수행되면, 동기화된 타이밍 정보에 따라 프레임들이 복원되어 사용자에 의해 요구된 재생 속도로 재생된다(S6).

이상에는 UCTF 및 UMCTF 비디오 코딩 방식을 기반으로 하여 이루어지는 본 발명에 따른 스케일러블 비디오 스트림 재생 장치 및 방법을 설명하였는데, MCTF 및 UMCTF 뿐만 아니라 시간적 스케일러빌리티를 갖는 다양한 비디오 코딩 방식의 비디오 스트림에서도 적용될 수 있다.

일 예로, 시간적 스케일러빌리티를 갖는 비디오 코딩 방식으로 시간적 스케 일러빌리티를 최대한 유지하면서 지연시간을 제어할 수 있도록 하기 위하여 한정된 시간적 레벨 순서로 시간적 변환을 하는 계승적 시간적 근사 및 참조(Successive Temporal Approximation and Referencing; 이하, STAR라 함) 알고리즘을 이용하는 인코딩 및 디코딩 과정을 설명한다.

STAR 알고리즘의 기본적인 개념은 다음과 같다. 각 시간적 레벨의 모든 프레임들은 노드로서 표현된다. 그리고 참조 관계는 화살표로 표시된다. 각 시간적 레벨에는 필요한 프레임들만 위치할 수 있다. 예를 들면 가장 높은 시간적 레벨에서 GOP의 프레임들 중에서 단 하나의 프레임만 올 수 있다. 본 실시예에서는 F(0) 프레임이 가장 높은 시간적 레벨을 갖도록 한다. 다음 시간적 레벨에서, 시간적 분석이 계승적으로 수행되고 이미 코딩된 프레임 인덱스를 갖는 원래 프레임들에 의해 고주파 성분을 갖는 에러 프레임들이 예측된다. GOP 사이즈가 8인 경우에 0번 프레임을 가장 높은 시간적 레벨에서 I 프레임으로 코딩하고, 4번 프레임은 다음 시간적 레벨에서 0번 프레임의 원래 프레임을 사용하여 인터프레임(H 프레임)으로 코딩한다. 그리고 나서, 2번과 6번 프레임들을 0번과 4번의 원래 프레임들을 사용하여 인터프레임으로 코딩한다. 마지막으로 1, 3, 5, 7 프레임들을 0, 2, 4, 6번 프레임들을 이용하여 인터프레임으로 코딩한다.

디코딩 과정은 0번 프레임을 먼저 디코딩한다. 그리고 나서 0번을 참조하여 4번 프레임을 디코딩한다. 마찬가지 방식으로 0번과 4번 프레임들을 참조하여 2번과 6번 프레임들을 디코딩한다. 마지막으로 1, 3, 5, 7 프레임들을 0, 2, 4, 6번 프레임들을 이용하여 디코딩한다.

이러한 STAR 알고리즘을 이용한 인코딩과 디코딩 과정을 첨부된 도면을 참조하여 상세히 설명하면, 도 7에 도시한 바와 같이, STAR 알고리즘에 따른 프레임 F(k)가 참조할 수 있는 참조 프레임들의 집합 R_k에 대한 수학식을 참조하면, 프레임 F(k)는 많은 프레임들을 참조할 수 있는 것을 알 수 있다.

이러한 특성은 STAR 알고리즘이 많은 참조 프레임들을 사용 가능하도록 한다.

본 실시예에서 GOP의 사이즈는 8인 경우에 가능한 프레임들간의 연결들을 보여주고 있다.

어떤 프레임에서 자신에서 출발해서 자신으로 연결한 화살표는 인트라 모드에 의해 예측된 것을 나타낸다.

동일한 시간적 레벨에서 H 프레임 위치에 있는 것을 포함하여 이전에 코딩된 프레임 인덱스를 갖는 모든 원래의 프레임들은 참조 프레임으로 사용될 수 있다.

그러나 종전의 방법들에서 H 프레임의 위치에 있는 원래 프레임들은 같은 레벨에 있는 프레임들 중에서는 A 프레임 또는 L 프레임만을 참조할 수 있으므로, 이 또한 본 실시예와 종전 방법과의 차별점이라고 할 수 있다.

예를 들면, F(5)는 F(3)과 F(1)을 참조할 수 있다.

비록 다중 참조 프레임들을 사용할 때는 시간적 필터링을 위한 메모리 사용량을 증가시키고 프로세싱 지연시간을 증가시키지만, 다중 참조 프레임들을 사용하는 것은 의미가 있다.

이와 같이 시간적 스케일러빌리리티를 갖는 스케일러블 비디오 스트림에 대해 재생 속도를 변화시켜 빠른 동영상 검색이 가능하도록 하는 본 발명에 따른 비디오 스트림 재생 방법을 첨부된 도면을 참조하여 일 실시 예를 통해 상세히 설명한다.

일 예로, 도 8의 a와 같이 8개의 프레임(F(0)~F(7))으로 이루어지는 GOP 단위의 비디오 스트림을 MCTF 방식의 인코더에서 인코딩시키는 경우, 인코더에서는 도 7의 b와 같이 낮은 시간적 레벨에 있는 프레임쌍들을 먼저 시간적 필터링하여 낮은 레벨의 프레임들을 높은 레벨의 L 프레임들과 H 프레임들로 전환시키고 전환된 L 프레임 쌍들을 다시 시간적 필터링하여 더 높은 시간적 레벨의 프레임들로 전환된다.

이와 같은 과정을 통해 도 8의 b에서 진하게 표시된 H프레임들과 가장 높은 레벨의 L 프레임 하나을 이용하여 공간적 변환을 거쳐 비트 스트림을 생성하여 출력한다.

사용자는 엔코더로부터 출력되는 비트 스트림을 수신하여 동일한 디코딩 과정을 통해 디코딩하여 재생시킴으로써 비디오 스트리밍 서비스를 이용하게 된다.

만일, 이러한 비디오 스트리밍 서비스를 제공받는 사용자가 동영상을 빠르게 검색하기 위해 4배속 순방향 재생을 선택한 경우, 사용자에 의해 요구되는 빠른 동영상 검색 요청에 따라 재생 속도 설정부(501)에서는 엔코더로부터 수신되는 비트 스트림에 대한 재생 속도를 4배속 순방향으로 설정한다.

이와 같이 재생 속도 설정부(501)에 의해 재생 속도가 설정되면, 제어부(502)에서는 설정된 4배속 순방향 재생에 대응되는 시간적 레벨 2를 결정한다.

그 다음, 제어부(502)에서는 결정된 시간적 레벨 2를 추출조건으로 하여 디코딩될 프레임을 결정한다(도 8의 c 참조).

그 다음, 제어부(502)에서는 디코딩될 프레임으로 결정된 프레임 H5, H6, H7, L을 디코더를 통해 디코딩한다.

디코딩 결과 F(0), F(4)가 만들어지면, 타이밍 동기화부(503)에서는 제어부(501)에 의해 생성되는 타이밍 신호에 따라 디코딩된 프레임 F(0) 및 F(4)를 원 비디오 신호의 프레임 레이트에 동기화 시켜 동기화된 타이밍 정보에 따라 프레임을 복원한다.

즉, 디코딩된 프레임 F(0) 및 F(4)은 타이밍 동기화부(503)에 의해 시간축상에서 타이밍 정보가 변경되어 F(0), F(1)로 복원되기 때문에, 8개의 프레임들로 이루어지는 원 비디오 신호는 F(0), F(1)의 프레임들을 통해 재생되어 사용자에게는 4배속 순방향 재생으로 제공된다.

또 다른 실시 예로, 사용자가 동영상을 빠르게 검색하기 위해 2배속 역방향 재생을 선택한 경우, 사용자에 의해 요구되는 빠른 동영상 검색 요청에 따라 재생 속도 설정부(501)에서는 엔코더로부터 수신되어 저장부(504)에 저장된 비트 스트림에 대한 재생 속도를 2배속 역방향으로 설정한다.

이와 같이 재생 속도 설정부(501)에 의해 재생 속도가 설정되면, 제어부(502)에서는 설정된 2배속 역방향 재생에 대응되는 시간적 레벨 1을 결정한 다.

그 다음, 제어부(502)에서는 저장부(504)에 저장된 엔코더로부터 수신한 비트 스트림을 독출하고, 결정된 시간적 레벨 1을 추출조건으로 하여 디코딩될 프레임을 결정한다(도 8의 c 참조).

그 다음, 제어부(502)에서는 디코딩될 프레임으로 결정된 프레임 H1,H2,H3,H4,H5,H6,H7 및 L를 디코더를 통해 디코딩한다.

디코딩 결과 F(0), F(2), F(4), F(6)가 만들어지면, 제어부(502)에서는 설정된 재생 속도의 방향성에 따라 역방향 재생을 수행하기 위해 각 프레임이 역순으로 복원될 수 있도록 타이밍 신호를 생성한다.

이에 따라, 타이밍 동기화부(503)에서는 제어부(501)에 의해 생성되는 타이밍 신호에 따라 디코딩된 프레임 F(0), F(2), F(4), F(6) 를 역순으로(F(6),F(4),F(2),F(0)) 원 비디오 신호의 프레임 레이트에 동기화 시킨다.

즉, 디코딩된 프레임들은 F(0),F(1),F(2),F(3)순으로 타이밍 정보가 변경되어 시간축에서 앞쪽으로 이동하여 복원되기 때문에 사용자에 의해 요구된 2배속 역방향 재생을 통해 빠른 동영상 검색을 사용자에게 제공한다.

본 발명의 상세한 설명에서는 사용상의 편리와 설명의 편리함을 위하여 2배속, 4배속 등에 한정하여 설명하였지만, 임의의 속도에도 적용할 수 있음은 자명하다.

일반적으로 Scalable Video Decoding에서는 임의의 프레임까지만 디코딩하는 것이 가능하므로, 원하는 속도에 따라서 원하는 프레임 개수만큼만 디코딩하는 것 이 가능하다. 이러한 경우는 시간적 레벨 대신에 디코딩되어야 하는 프레임의 개수를 제어함으로써 원하는 목적을 달성할 수 있을 것이다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명에 따르면, 동일한 수의 이미지를 디코딩 하여 빠른 탐색 모드를 구현함으로써 디코더의 전력 소모를 방지할 수 있는 효과가 있다.

또한, 화질에 큰 변화를 주지 않고도 빠른 탐색모드 제공이 가능한 사용자 친화적인 스트리밍 서비스를 제공할 수 있는 효과가 있다.

Claims

소정의 비트 스트림에 대해 소정의 재생 속도가 요구되면 상기 재생 속도에 대응되는 시간적 레벨을 결정하는 (a) 단계;

상기 결정된 시간적 레벨에 따라 상기 비트 스트림의 프레임들에서 디코딩 되어야 할 프레임을 결정하는 (b) 단계; 및

상기 결정된 프레임만을 디코딩하여 상기 비트 스트림의 재생 속도를 변경하는 (c) 단계를 포함하는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 방법.
제 1항에 있어서,

상기 디코딩되는 각 프레임의 타이밍을 원 비디오 신호의 프레임 레이트에 동기화시켜 복원하는 (d) 단계를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 방법.
제 1항에 있어서,

상기 (c) 단계는

상기 비트 스트림을 해석하여 추출되는 코딩된 프레임들에 대한 정보를 역양자화하여 변환계수들을 얻는 단계; 및

상기 변환계수들을 역공간적 변환한 후 역시간적 변환하는 단계를 포함하는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 방법.
제 1항에 있어서,

상기 (c) 단계는

상기 비트스트림을 해석하여 추출되는 코딩된 프레임들에 대한 정보를 역양자화하여 변환계수들을 얻는 단계;

상기 변환계수들을 역시간적 변환한 후 역공간적 변환하는 단계를 포함하는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 방법.
제 1항에 있어서,

상기 비트 스트림은 스케일러블 비디오 코딩에 의해 시간적 스케일러빌리티를 갖는 것을 특징으로 하는 스테일러블 비디오 스트림 재생 방법.
제 1항에 있어서,

상기 재생 속도는 재생 방향에 따라 역방향 재생속도이거나 순방향 재생속도인 것을 특징으로 하는 스케일러블 비디오 스트림 재생 방법.
제 1 항에 있어서,

상기 재생 속도는 소정의 사용자 인터페이스 수단을 통해 요구되는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 방법.
소정의 비트 스트림에 대해 소정의 재생 속도가 선택되면 선택된 재생 속도를 설정하는 재생 속도 설정부,

상기 재생 속도 설정부에 의해 설정된 재생 속도에 대응되는 시간적 레벨을 결정하고, 결정된 시간적 레벨에 따라 디코딩되어야할 프레임을 결정하는 제어부,

상기 디코딩되는 프레임을 타이밍 신호를 이용해 원 비디오 신호의 프레임 레이트에 동기화 시키는 타이밍 동기화부, 및

상기 제어부에 의해 결정되는 소정의 프레임을 디코딩하여 상기 비트 스트림의 재생 속도를 변경하는 디코더를 포함하는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 장치.
제 8항에 있어서,

상기 제어부의 동작 제어에 따라 상기 비트 스트림을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 장치.
제 8항에 있어서,

상기 제어부는

상기 디코딩되는 프레임들을 원 비디오 신호의 프레임 레이트에 동기화 시키는 상기 타이밍 신호를 생성하는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 장치.
제 8항에 있어서,

상기 비트 스트림은 스케일러블 비디오 코딩에 의해 시간적 스케일러빌리티를 갖는 것을 특징으로 하는 스테일러블 비디오 스트림 재생 장치.
제 8항에 있어서,

상기 재생 속도는 재생 방향에 따라 역방향 재생속도이거나 순방향 재생속도인 것을 특징으로 하는 스케일러블 비디오 스트림 재생 장치.
제 8 항에 있어서,

상기 재생 속도는 소정의 사용자 인터페이스 수단을 통해 요구되는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 장치.
제 1항 내지 제 7항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 매체.
소정의 비트 스트림에 대해 소정의 재생 속도가 요구되면 상기 재생 속도에 대응되는 디코딩 되어야 할 프레임을 결정하는 (a) 단계;

상기 결정된 프레임만을 디코딩하는 (b) 단계; 및

상기 디코딩되는 각 프레임의 타이밍을 원 비디오 신호의 프레임 레이트에 동기화시켜 복원하는 (c) 단계를 포함하는 것을 특징으로 하는 스케일러블 비디오 스트림 재생 방법.
원하는 재생속도를 입력하는 사용자 입력부;

소정의 비트스트림에 대하여 상기 재생속도에 따라 디코딩되어야할 프레임을 추출하는 제어부;

상기 추출된 프레임을 디코딩하는 디코더;

상기 디코딩된 프레임을 원 비디오 신호의 프레임 레이트에 동기화시키는 동기화부; 및

동기화가 된 상기 프레임을 재생하는 디스플레이부를 포함하여 구성되는 것을 특징으로 하는 스케이러블 비디오 스트림 재생 장치.