KR20070096726A

KR20070096726A - 비트스트림의 비트율 조절을 위한 우선권 할당 방법,비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그방법을 이용한 장치

Info

Publication number: KR20070096726A
Application number: KR1020060048979A
Authority: KR
Inventors: 마누 매튜; 이교혁; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2006-03-27
Filing date: 2006-05-30
Publication date: 2007-10-02
Also published as: WO2007111460A1; US20070280350A1; EP1999961A1; KR100772878B1; EP1999961A4; US8406294B2

Abstract

본 발명은 복수의 품질 계층으로 이루어지는 비트스트림을 비트율을 조절하는 방법에 관한 것이다.

비트스트림의 비트율 조절을 위한 우선권 할당 방법은, 참조 픽쳐에 관한 제1 품질 계층들을 구성하는 단계와, 상기 참조 픽쳐를 참조하여 부호화되는 현재 픽쳐에 관한 제2 품질 계층들을 구성하는 단계와, 상기 제1 품질 계층들 및 상기 제2 품질 계층들 각각에 우선권을 할당하는 단계를 포함하며, 제거되더라도 상기 현재 픽쳐의 화질 감소에 미치는 영향이 작은 품질 계층에 낮은 우선권이 할당되는 것을 특징으로 한다.

스케일러블 비디오 코딩, FGS, NAL 유닛, 품질 레벨

Description

비트스트림의 비트율 조절을 위한 우선권 할당 방법, 비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그 방법을 이용한 장치{Method for assigning Priority for controlling bit-rate of bitstream, method for controlling bit-rate of bitstream, video decoding method, and apparatus thereof }

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코딩 방식의 일 예를 보여주는 도면.

도 2는 스케일러블 비디오 코딩의 인터 예측 및 인트라 베이스 예측 기법의 개념을 보여주는 도면.

도 3은 도 2의 예측을 통하여 잔차 픽쳐에 FGS 기법을 적용한 예를 보여주는 도면.

도 4는 하나의 픽쳐 또는 슬라이스를 하나의 이산 계층과 2개의 FGS 계층으로 표현하는 과정을 보여주는 도면.

도 5a 및 5b는 현재의 SVC 표준에서 사용되는 품질 계층을 잘라내는 방식을 보여주는 도면.

도 6a는 종래의 SVC 시스템의 구성을 도시한 도면.

도 6b는 본 발명의 일 실시예에 따른 SVC 시스템이 구성을 도시한 도면.

도 7은 본 발명의 일 실시예에 따른 품질 계층을 잘라내는 예를 도시하는 도 면.

도 8은 본 발명의 일 실시예에 따라 우선권 ID가 할당된 비트스트림을 도시하는 도면.

도 9는 의존 ID가 지시하는 품질 계층이 참조 픽쳐에 존재하지 않는 경우를 보여주는 도면.

도 10은 본 발명의 일 실시예에 따른 우선권 할당 장치의 구성을 도시하는 블록도.

도 11은 본 발명의 일 실시예에 따른 비트스트림 추출기의 구성을 도시하는 블록도.

도 12는 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 도시하는 블록도.

(도면의 주요부분에 대한 부호 설명)

100 : 우선권 할당 장치 110 : 현재 픽쳐 인코딩부

111, 121 : 예측부 112, 122 : 변환부

113, 123 : 양자화부 114, 124 : 품질 계층 생성부

120 : 참조 픽쳐 인코딩부 140 : 품질 레벨 할당기

150 : 엔트로피 부호화부 200 : 비트스트림 추출기

210 : 비트스트림 입력부 220, 320 : 비트스트림 파서

230 : 비트스트림 절단부 240 : 목표 비트율 설정부

250 : 비트스트림 전송부 300 : 비디오 디코더

310 : 엔트로피 복호화부 330 : 현재 픽쳐 디코딩부

331, 341 : 역 양자화부 332, 342 : 역 변환부

333, 343 : 역 예측부 340 : 참조 픽쳐 디코딩부

350 : 의존 ID 설정부

본 발명은 비디오 코딩 기술에 관한 것으로, 보다 상세하게는 복수의 품질 계층으로 이루어지는 비트스트림을 비트율을 조절하는 방법에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높 은 주파수에 둔감한 것을 고려하여 지각적 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가 비트의 데이터를 전송할 수 있는 초고속 통신망부터 초당 384kbit의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러블 비디오 코딩(scalable video coding) 방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.

스케일러블 비디오 코딩이란, 이미 압축된 비트스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 상기 비트스트림의 일부를 잘라내어 비디오의 해상도, 프레임율, 및 SNR(Signal-to-Noise Ratio) 등을 조절할 수 있게 해주는 부호화 방식, 즉 다양한 스케일러빌리티(scalability)를 지원하는 부호화 방식을 의미한다.

현재, MPEG (Moving Picture Experts Group)과 ITU (International Telecommunication Union)의 공동 작업 그룹(working group)인 JVT (Joint Video Team)에서는 H.264를 기본으로 하여 스케일러블 비디오 코딩(이하, SVC라 함)에 관한 표준화 작업을 진행 중에 있다. 상기 SVC 표준에서는, SNR 스케일러빌리티를 지 원하기 위하여 FGS (Fine Granularity Scalability) 기술을 채택하고 있다.

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코딩 방식의 일 예를 보여준다. 상기 방식에서, 제1 계층은 QCIF(Quarter Common Intermediate Format), 15Hz(프레임율)로 설정되고, 제2 계층은 CIF(Common Intermediate Format), 30hz로, 제3 계층은 SD(Standard Definition), 60hz로 설정된다.

이와 같은 다양한 해상도 및/또는 프레임율을 갖는 다 계층 비디오 프레임을 인코딩하는 데에는 계층 간의 관련성을 이용할 수 있는데, 예를 들어, 제1 향상 계층의 비디오 프레임 중 어떤 영역(12)은, 기초 계층의 비디오 프레임 중에서 대응되는 영역(13)으로부터의 예측을 통하여 효율적으로 인코딩된다. 마찬가지로 제2 향상 계층 비디오 프레임 중의 영역(11)은 상기 제1 향상 계층의 영역(12)로부터의 예측을 통하여 효율적으로 인코딩될 수 있다.

도 2는 스케일러블 비디오 코딩의 인터 예측 및 인트라 베이스 예측 기법의 개념을 보여주는 도면이다. 현재 계층의 어떤 프레임(21)에 속하는 블록(24)은 동일한 계층에 존재하는 다른 프레임(22)에 속하는 블록(25)을 참조하여 예측될 수 있다. 이를 인터 예측이라고 한다. 인터 예측은 대응하는 블록을 나타내기 위한 모션 벡터를 찾기 위한 모션 추정 과정을 포함한다.

한편, 상기 블록(24)은 상기 프레임(21)과 동일한 시간적 위치 내지 픽쳐 순서 카운트(Picture Order Count; POC)에 존재하는 하위 계층(기초 계층)의 프레임(23)에 속하는 블록(26)을 참조하여 예측될 수도 있다. 이를 인트라 베이스(inta base) 예측이라고 한다. 인트라 베이스 예측에서는 상기 모션 추정 과정은 불필요 하다.

도 3은 도 2의 예측을 통하여 잔차 픽쳐(residual picture)에 FGS 기법을 적용한 예를 보여주는 도면이다. 잔차 픽쳐(30)는 SNR 스케일러빌리티를 지원하기 위하여 복수의 품질 계층(Quality Layer)으로 표현될 수 있다. 이러한 품질 계층은 비디오의 품질을 다양하게 표현하기 위하여 필요한 것으로, 도 1의 해상도 및/또는 프레임율에 관한 계층과는 구별된다.

복수의 품질 계층은 하나의 이산 계층(discrete layer; 34)와 적어도 하나 이상의 FGS 계층(31, 32, 33)으로 이루어질 수 있다. 비디오 디코더에서 측정되는 비디오 품질은 이산 계층(34)만이 수신된 경우, 이산 계층(34)과 제1 FGS 계층(33)이 수신된 경우, 이산 계층(34), 제1 FGS 계층(33) 및 제2 FGS 계층(32)이 수신된 경우, 그리고, 모든 계층(31, 32, 33, 34)이 수신된 경우 순으로 증가된다.

도 4는 하나의 픽쳐 또는 슬라이스를 하나의 이산 계층과 2개의 FGS 계층으로 표현하는 과정을 보여주는 도면이다.

최초에 오리지널 픽쳐(또는 슬라이스)는 제1 양자화 파라미터(QP₁)에 의하여 양자화된다(S1). 상기 양자화된 픽쳐(42)는 이산 계층을 형성한다. 상기 양자화된 픽쳐(42)는 역 양자화된 후(S2) 차감기(subtractor; 44)로 제공된다. 차감기(43)는 오리지널 픽쳐로부터 상기 제공된 픽쳐(43)를 차감한다(S3). 상기 차감된 결과는 다시 제2 양자화 파라미터(QP₂)에 의하여 양자화된다(S4). 상기 양자화된 결과(45)는 제1 FGS 계층을 형성한다.

상기 양자화된 결과(45)는 및 역 양자화된 픽쳐(43)는 가산기(adder; 47)에 의하여 가산된 후 차감기(48)에 제공된다. 차감기(48)는 오리지널 픽쳐로부터 상기 가산된 결과를 차감한다(S6). 상기 차감된 결과는 다시 제3 양자화 파라미터(QP₃)에 의하여 양자화된다(S7). 상기 양자화된 결과(49)는 제2 FGS 계층을 형성한다.

이와 같은 과정을 통하여 도 3과 같은 복수의 품질 계층이 이루어질 수 있다.

도 5a 및 5b는 현재의 SVC 표준에서 사용되는 품질 계층을 잘라내는(truncation) 방식을 보여주는 도면이다. 도 5a와 같이, 현재 픽쳐(30)는 인터 예측 또는 인트라 베이스 예측 등을 통하여 다른 참조 픽쳐(35)로부터 예측되어 잔차 픽쳐로 표시된다. 그런데, 잔차 픽쳐로 표시되는 현재 픽쳐(30)가 복수의 품질 계층(31, 32, 33, 34)으로 이루어질 뿐 아니라, 상기 참조 픽쳐(35)도 마찬가지로 복수의 품질 계층(36, 37, 38, 39)으로 이루어진다.

이 경우 현재 SVC 표준에 따르면, 비디오 인코딩 이후 단계에서 비트스트림 추출기는 비트스트림의 SNR을 조절하기 위하여 다음의 도 5b와 같이 품질 계층들 중 일부를 잘라낸다. 즉, 비트스트림 추출기는 높은 해상도 및/또는 프레임율 계층(이하 이를 "품질 계층"과 구별하여 단순히 "계층"이라고 함)에 존재하는 현재 픽쳐(30)의 최상위 품질 계층(34)부터 순차적으로 잘라버린다. 그리고, 높은 계층의 픽쳐(30)의 품질 계층이 완전히 잘라 내어진 이후에야 낮은 계층의 참조 픽쳐(35)의 품질 계층을 위에서부터 잘라내기 시작한다.

이러한 방식의 잘라냄은 낮은 계층(예: QCIF)의 픽쳐(참조 픽쳐)를 복원을 위하여는 최적이라고 볼 수 있지만, 높은 계층(예: CIF)의 픽쳐(현재 픽쳐)를 복원하기 위하여는 최적이라고 볼 수 없다. 몇몇 낮은 계층 픽쳐의 품질 계층들은 높은 계층 픽쳐의 품질을 위하여, 높은 계층 픽쳐의 품질 계층들에 비하여 덜 중요할 수도 있다. 따라서, 비디오 인코더 측에서 높은 계층 픽쳐를 주목적으로 하는지 낮은 계층 픽쳐를 주목적으로 하는지에 따라서 다른 방식으로 품질 계층을 잘라냄으로써 효율적인 SNR 스케일러빌리티를 구현할 필요가 있다.

본 발명이 이루고자 하는 기술적 과제는, 높은 계층에 주안점을 둔 비트스트림의 SNR 조절 방법 및 장치를 제공하고자 하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 높은 계층 픽쳐가 주안점인지 낮은 계층 픽쳐가 주안점인지에 따라 적응적으로 SNR을 조절하는 방법 및 장치를 제공하고자 하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 6a는 종래의 SVC 시스템의 구성을 도시한 도면이고, 도 6b는 본 발명의 일 실시예에 따른 SVC 시스템이 구성을 도시한 도면이다.

도 6a를 참조하면, 비디오 인코더(61)는 다계층 기반의 스케일러블 비트스트림, 예를 들어 CIF 비트스트림을 생성한다. 그러면, 비트스트림 추출기(62)는 생성된 CIF 비트스트림을 비디오 디코더 1(63)에 그대로 전송할 수도 있고, 이 중에서 일부의 높은 계층을 잘라내어 낮은 해상도를 갖는 QCIF 비트스트림을 추출하고 이를 비디오 디코더 2(64)에 전송할 수도 있다. 이 때, 두 가지 경우 공히, 일부 품질 계층을 잘라내어 해상도는 동일하게 하되 SNR만을 변경할 수도 있다.

반면에, 도 6b를 참조하면, 비디오 인코더(100)에서 생성되는 CIF 비트스트림은 품질 레벨 할당기(200)에 의하여 품질 레벨(우선권)이 할당된다. 즉, CIF 비트스트림을 구성하는 NAL 유닛별로 우선권 ID를 할당하는 것이다. 이때 우선권 ID 할당에 있어서는 본 발명에서 제안하는 복수 계층을 고려한 우선권 ID 할당 방식을 따르게 된다.

비트스트림 추출기(300)는 비디오 디코더 2(400b)에 비트스트림을 전송하는 경우에는, 상위 계층을 잘라내고 하위 계층인 QCIF에 최적화된 비트스트림을 전송한다. 이 때, 만약 SNR 조절이 필요하여 품질 계층을 잘라내는 경우 그 방식은 종래와 같다.

그러나, 비트스트림 추출기(300)는 비디오 디코더 1(400a)에 비트스트림을 전송하는 경우에는, 모든 계층을 그대로 포함한 CIF 비트스트림을 전송한다. 이 때, 만약 SNR 조절이 필요하여 품질 계층을 잘라내는 경우, 품질 레벨 할당기(200)에서 할당된 우선권 ID에 따라서 낮은 우선권 ID를 갖는 품질 계층부터 잘라내게 된다.

도 7은 본 발명의 일 실시예에 따른 품질 계층을 잘라내는 예를 도시하는 도면이다. 이에 따르면, 품질 레벨 할당기(200)는 다음과 같은 순서에 따라서 우선권 ID를 할당하고, 비트스트림 추출기(300)는 상기 우선권 ID가 낮은 품질 계층부터 잘라냄으로써 SNR 스케일러빌리티를 구현한다.

품질 레벨 할당기(200)는 입력된 비트스트림에서의 참조 관계를 먼저 파악한다. 이러한 참조 관계는 예측을 위하여 사용되며, 예측 기법으로는 인터 예측, 인트라 베이스 예측 등이 있다. 이 때, 예측 기법에 있어서 참조하는 픽쳐를 현재 픽쳐(30)라고 하고, 참조되는 픽쳐를 참조 픽쳐(35)라고 한다. 도 7에서는 현재 픽쳐(30)의 품질 계층의 수와 참조 픽쳐(35)의 품질 계층의 수가 동일한 예를 설명하지만, 현재 픽쳐(30)와 참조 픽쳐(35) 간에 품질 계층의 수는 서로 다를 수 있음은 물론이다.

구체적으로 우선권 ID를 할당하는 과정은 다음과 같다. 현재 픽쳐(30)의 최 상위 품질 계층(34)을 제거한 제1 후보와, 참조 픽쳐(35)의 최상위 품질 계층(39)을 제거한 제2 후보를 비교하여 화질 측면에서 유리한 것을 선택한다. 상기 제1 후보는 현재 픽쳐(30)의 3개의 품질 계층(31, 32, 33)과 참조 픽쳐(35)의 4개의 품질 계층(36, 37, 38, 39)으로부터 현재 픽쳐가 속하는 계층의 이미지를 복원하는 경우이며, 상기 제2 후보는 현재 픽쳐(30)의 4개의 품질 계층(31, 32, 33, 34)과 참조 픽쳐(35)의 3개의 품질 계층(36, 37, 38)으로부터 현재 픽쳐가 속하는 계층의 이미지를 복원하는 경우를 의미한다.

픽쳐를 복원하는 구체적 과정은, 참조 픽쳐(35)를 이루는 품질 계층들로부터 참조 픽쳐(35)를 먼저 복원한 후, 현재 픽쳐(30)를 이루는 품질 계층들로부터 현재 픽쳐(30)의 잔차 신호를 복원한 후, 상기 복원된 참조 픽쳐(35)와 상기 복원된 잔차 신호를 가산하는 과정으로 이루어진다.

이와 같이 하여, 제1 후보와 제2 후보를 구하였다면, 이 두 가지 후보의 비용(cost)을 비교한다. 비용을 구하는 방법으로는 통상 레이트-왜곡 함수(Rate-Distortion function)가 많이 사용된다. 다음의 수학식 1은 레이트-왜곡 함수에 의하여 비용을 구하는 과정을 나타낸다.

C = E + λ×B

여기서, C는 비용을, E는 오리지널 신호에서 왜곡된 정도(예를 들어, MSE(Mean Square Error)로 계산될 수 있다), B는 해당 데이터의 압축시 소요되는 비트량을, λ는 라그랑지 계수(Lagrangian multiplier)를 각각 나타낸다. 상기 라 그랑지 계수는 상기 E와 상기 B의 반영 비율을 조절할 수 있는 계수이다. 따라서, 상기 비용(C)는 오리지널 신호와의 차이(E) 및 소요되는 비트량(B)이 작아질수록 줄어들기 때문에, 비용(C)이 낮다는 것은 보다 효율적인 부호화가 이루어졌음을 나타낼 수 있는 것이다.

이와 같이, 제1 후보와 제2 후보 중 비용(C)이 낮은 경우를 선택하면, 그에 따라서 우선권 ID가 할당된다. 예를 들어, 제1 후보가 선택되었다면 현재 픽쳐(30)의 품질 계층(34)는 제거되어도 비디오 전체 품질에 가장 작은 영향을 끼친다는 것을 의미하므로, 품질 계층(34)에는 가장 낮은 우선권 ID인 0이 설정된다.

그 다음에는, 현재 픽쳐(30) 중 나머지 품질 계층(31, 32, 33) 및 참조 픽쳐(35) 중 나머지 품질 계층(36, 37, 38, 39)에 대하여 우선권 ID를 설정하여야 한다. 하지만 그 다음 과정은 상기 제1 후보 및 제2 후보를 비교하는 과정과 마찬가지로 수행된다. 즉, 현재 픽쳐(30)의 잔여 품질 계층 중 최상위 품질 계층(33)을 제거한 제1 후보와, 참조 픽쳐(35)의 최상위 품질 계층(39)을 제거한 제2 후보를 비교하여 비용(C)이 낮은 것을 선택하는 것이다.

이와 같이, 현재 픽쳐(30)에서 우선권 ID가 할당되지 않은 잔여 품질 계층 중에서 최상위 품질 계층을 제거한 후보와, 참조 픽쳐(35)에서 우선권 ID가 할당되지 않은 잔여 품질 계층 중에서 최상위 품질 계층을 제거한 후보 중 하나를 선택하는 과정을 반복하면, 현재 픽쳐(30) 및 참조 픽쳐(35)의 모든 품질 계층에 대하여 우선권 ID를 할당할 수 있게 된다.

품질 레벨 할당기(200)는 각각의 품질 계층에 해당하는 NAL 유닛의 헤더(NAL 헤더)에 상기 우선권 ID를 기록한다.

도 8은 본 발명의 일 실시예에 따라 우선권 ID가 할당된 비트스트림(80)을 도시하는 도면이다. 현재 픽쳐에 관한 품질 계층들이 복수의 NAL 유닛(81, 82, 83, 84)으로 기록되고, 참조 픽쳐에 관한 품질 계층들이 복수의 NAL 유닛(86, 87, 88, 89)으로 기록되어 있다. 하나의 NAL 유닛은 NAL 헤더와 NAL 데이터 필드로 이루어진다. 이 중 NAL 헤더는 NAL 데이터에 대한 부가 정보를 표시하는 부분으로서 우선권 ID를 포함하고, NAL 데이터 필드는 각 품질 계층에 상응하는 부호화된 데이터가 기록된다.

도 8에서 NAL 헤더에는 품질 레벨 할당기(200)에 의하여 설정된 우선권 ID가 표시되어 있다. 비트스트림 추출기는 상기 우선권 ID를 참조하여 비트스트림의 SNR을 조절한다. 비트스트림 추출기는 낮은 우선권 ID로부터 높은 우선권 ID의 순으로(81, 82, 86, 83, 87, 84, 88, 89 순으로) NAL 유닛을 잘라내어 버림으로써, NAL 유닛의 제거에 따른 화질의 감소를 최소화한다.

물론, 이것은 상위 계층의 비디오 품질에 최적화된 것(도 6b의 비디오 디코더 1(400a)에 전송하는 경우)이므로, 하위 계층의 비디오 품질에 최적화(도 6b의 비디오 디코더 2(400b)에 전송하는 경우)를 위해서는 이와 같은 우선권 ID와 무관하게 종래와 같이, 상위 계층의 최상위 품질 계층부터 순차적으로 잘라내는 기법을 사용할 수 있다.

그런데, 본 발명에서 제안하는 바와 같이, 현재 계층(현재 픽쳐가 속하는 계층)의 품질 계층들보다 기초 계층(참조 픽쳐가 속하는 계층)의 품질 계층들이 먼저 잘라 내어질 수가 있다. 이렇게 되면, 현재 계층의 어떤 품질 계층의 의존 ID(dependency ID)가 나타내는 기초 계층의 품질 계층이 존재하지 않을 수도 있다. 상기 의존 ID는 어떤 데이터를 디코딩하기 위하여 먼저 디코딩 되어 참조되어야 할 데이터 간의 의존 관계를 나타낸다. 따라서, 비디오 디코딩 과정에 있어서, 의존 ID에 의하여 참조되는 기초 계층의 품질 계층이 존재하지 않는다면, 상기 의존 ID는 잔여 품질 계층 중에서 최상위 품질 계층을 참조하는 것으로 간주하는 방법을 사용할 수 있다.

도 9를 참조하면, 현재 픽쳐(30)가 품질 계층들 중에서 최상위 품질 계층(34)과 참조 픽쳐의 품질 계층들 중에서 최상위 품질 계층(39)이 비트스트림 추출기에 의하여 잘라내어 졌다고 한다. 그런데, 본 발명에 따르면 상위 계층의 품질 계층이 모두 잘라내어 지기 전에, 하위 계층의 품질 계층이 먼저 잘라내어 질 수도 있기 때문에, 현재 계층의 품질 계층(33)의 의존 ID는 없어진 품질 계층(39)을 지시할 수도 있다. 이 경우에는 비디오 디코더 단에서 품질 계층(33)의 의존 ID가 잔여 품질 계층들(36, 37, 38) 중에서 최상위 품질 계층(38)을 지시하는 것으로 수정하여야 할 것이다.

도 10 내지 도 12는 본 발명의 일 실시예에 따른 장치 구성 블록도이다. 이 중에서 도 10은 본 발명의 일 실시예에 따른 우선권 할당 장치(100)의 구성을 도시하는 블록도이다. 우선권 할당 장치(100)는 비트스트림의 비트율을 조절하기 위하여 품질 레벨 별로 우선권을 할당하는 장치이다.

우선권 할당 장치(100)는 현재 픽쳐 인코딩부(110)와 참조 픽쳐 인코딩 부(120), 디코딩부(130), 품질 레벨 할당기(140), 및 엔트로피 부호화부(150)를 포함하여 구성될 수 있다.

참조 픽쳐 인코딩부(120)는 참조 픽쳐에 관한 품질 계층들(제1 품질 계층들이라고 함)을 구성한다. 이를 위하여, 참조 픽쳐 인코딩부(120)는 예측부(121), 변환부(122), 양자화부(123), 및 품질 계층 생성부(124)를 포함하여 구성될 수 있다.

예측부(121)는 현재 매크로블록에서 소정의 예측 방법에 따라 예측된 이미지를 차분함으로써 잔차 신호를 구한다. 상기 예측 방법으로는 도 2에서 도시한 바와 같이 인터 예측, 인트라 베이스 예측 등이 있다. 인터 예측은 현재 픽쳐와 동일한 해상도 및 다른 시간적 위치를 갖는 픽쳐와 현재 픽쳐 간의 상대적 움직임을 표현하기 위한 모션 벡터를 구하는 모션 추정 과정을 포함한다.

한편, 현재 픽쳐는 현재 픽쳐와 동일한 시간적 위치에 존재하며 현재 픽쳐와 해상도가 상이한 하위 계층(기초 계층)의 픽쳐를 참조하여 예측될 수도 있다. 이를 인트라 베이스(inta base) 예측이라고 한다. 물론, 인트라 베이스 예측에서는 상기 모션 추정 과정은 불필요하다.

변환부(122)는 상기 구한 잔차 신호를 DCT, 웨이브렛 변환 등 공간적 변환 기법을 이용하여 변환하여 변환 계수를 생성한다. 이러한 공간적 변환 방법으로는 DCT(Discrete Cosine Transform), 웨이브렛 변환(wavelet transform) 등이 사용될 수 있다. 공간적 변환 결과 변환 계수가 구해지는데, 공간적 변환 방법으로 DCT를 사용하는 경우 DCT 계수가, 웨이브렛 변환을 사용하는 경우 웨이브렛 계수가 구해진다.

양자화부(123)는 공간적 변환부(122)에서 구한 변환 계수를 양자화하여 양자화 계수를 생성한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내는 작업을 의미한다. 이러한 양자화 방법으로는 스칼라 양자화, 벡터 양자화 등의 방법이 있는데, 이 중 간단한 스칼라 양자화 방법은 변환 계수를 양자화 파라미터로 나눈 후 정수 자리로 반올림하는 과정으로 수행된다.

품질 계층 생성부(124)는 도 4에서 설명한 것과 같은 과정을 통하여 복수의 품질 계층을 생성한다. 상기 복수의 품질 계층은 하나의 이산 계층과 적어도 하나 이상의 FGS 계층으로 이루어질 수 있다.

한편, 현재 픽쳐 인코딩부(110)도 참조 픽쳐 인코딩부(120)와 같이, 예측부(111), 변환부(112), 양자화부(113), 및 품질 계층 생성부(114)를 포함하여 구성되며, 각각의 구성 요소의 동작은 참조 픽쳐 인코딩(120)에 있어서와 마찬가지이다. 다만, 예측부(111)에서 현재 픽쳐의 예측을 위하여 사용되는 픽쳐는 상기 참조 픽쳐 인코딩부(120)로 입력되는 참조 픽쳐를 이용한다. 예측부(111)는 상기 입력된 참조 픽쳐를 이용하여 인터 예측 또는 인트라 베이스 예측을 수행하여 잔차 신호를 생성한다.

결국, 현재 픽쳐 인코딩부(110)는 현재 픽쳐에 관한(보다 정확히는 현재 픽쳐의 잔차 신호에 관한) 품질 계층들(제2 품질 계층들이라고 함)을 구성한다. 상기 입력되는 참조 픽쳐는 현재 픽쳐와 해상도가 상이하거나(인트라 베이스 예측의 경우), 시간적 레벨이 상이할 수 있다(인터 예측의 경우).

품질 레벨 할당기(140)는 상기 제1 품질 계층들 및 상기 제2 품질 계층들 각각에 우선권 ID를 할당한다. 상기 우선권 할당은, 상기 현재 픽쳐의 화질 감소에 미치는 영향이 작은 품질 계층에 낮은 우선권이 할당되고, 영향이 큰 품질 계층에 높은 우선권이 할당되는 방식으로 이루어진다(도 7 참조).

상기 화질의 감소를 판단하는 기준으로는, 수학식 1과 같은 비용 함수를 이용할 수가 있다. 상기 비용 함수는 오리지널 이미지와의 차이와, 부호화에 소요되는 비트량을 가중합으로 표현될 수 있다.

엔트로피 부호화부(150)는 품질 레벨 할당기(140)에서 결정된 우선권 ID, 참조 픽쳐에 관한 제1 품질 계층들, 및 현재 픽쳐에 관한 제2 품질 계층들을 엔트로피 부호화하여 비트스트림을 생성한다. 엔트로피 부호화는 데이터의 통계적 특성을 이용한 무손실 부호화 기법으로서, 산술 부호화, 가변 길이 부호화 등을 포함한다.

도 11은 본 발명의 일 실시예에 따른 비트스트림의 비트율을 조절하는 장치, 즉 비트스트림 추출기(200)의 구성을 도시하는 블록도이다.

비트스트림 추출기(200)는 비트스트림 입력부(210), 비트스트림 파서(220), 비트스트림 절단부(230), 목표 비트율 설정부(240), 및 비트스트림 전송부(250)를 포함하여 구성될 수 있다.

비트스트림 입력부(210)는 비디오 비트스트림을 입력받고, 비트스트림 전송부(250)는 비트율이 변경된 비디오 비트스트림을 전송한다. 비트스트림 입력부(210)는 네트워크 인터페이스 중 수신부에 해당하고, 비트스트림 전송부(250)는 네트워크 인터페이스 중 송신부에 해당한다.

목표 비트율 설정부(240)는 상기 비디오 비트스트림에 관한 목표 비트율을 설정한다. 이러한 목표 비트율은 현재 전송되는 비트스트림의 비트율, 네트워크 상황, 또는 수신 단(비디오 디코더)의 기기 성능 등을 종합적으로 고려하여 결정될 수 있다.

비트스트림 파서(220)는 상기 비디오 비트스트림 중 참조 픽쳐에 관한 제1 품질 계층들과 상기 현재 픽쳐에 관한 제2 품질 계층들의 우선권 ID을 읽어 들인다. 이러한 우선권 ID는 품질 레벨 할당기(140)에 의하여 할당된 것이다.

비트스트림 절단부(230)는 상기 목표 비트율에 따라 제1 품질 계층들 및 상기 제2 품질 계층들 중 상기 우선권이 낮은 품질 계층들부터 잘라낸다(truncation). 이와 같이 잘라내는 과정은 목표 비트율에 도달할 때까지 반복하여 수행된다.

도 12는 본 발명의 일 실시예에 따른 비디오 디코더(300)의 구성을 도시하는 블록도이다.

엔트로피 복호화부(310)는 비디오 비트스트림을 입력 받아, 이를 무손실 복호화한다. 상기 무손실 복호화는 도 10의 엔트로피 부호화부(150)의 무손실 부호화의 역으로 수행된다.

비트스트림 파서(320)는 상기 비디오 비트스트림으로부터 참조 픽쳐의 부호화 데이터(제1 품질 계층들), 현재 픽쳐의 부호화 데이터(제2 품질 계층들), 참조 픽쳐에 관한 제1 품질 계층들의 의존 ID, 및 상기 현재 픽쳐에 관한 제2 품질 계층들의 의존 ID를 읽어 들인다. 상기 의존 ID(dependency ID)는 현재 픽쳐의 어떤 품 질 계층을 복원하기 위해서는 참조 픽쳐의 어떤 품질 계층이 필요한지에 관한 정보, 즉, 의존 관계를 나타낸다.

그런데, 도 9에서도 설명한 바와 같이, 본 발명에 따르면 상위 계층의 품질 계층이 모두 잘라내어 지기 전에, 하위 계층의 품질 계층이 먼저 잘라내어 질 수도 있기 때문에, 현재 계층의 어떤 품질 계층은 의존 ID가 없어진 품질 계층을 지시할 수도 있다.

의존 ID 설정부(350)는 이 경우에는 상기 의존 ID가 잔여 품질 계층들 중에서 최상위 품질 계층을 지시하는 것으로 설정한다.

참조 픽쳐 디코딩부(340)는 상기 참조 픽쳐의 부호화 데이터를 디코딩한다. 이를 위하여 참조 픽쳐 디코딩부(340)는 역 양자화부(341), 역 변환부(342), 및 역 예측부(343)를 포함하여 구성될 수 있다.

역 양자화부(341)는 상기 참조 픽쳐의 부호화 데이터를 역 양자화한다.

역 변환부(342)는 상기 역 양자화 결과에 대하여 역 변환을 수행한다. 이러한 역 변환은 도 10의 변환부(122)에서 수행되는 변환 과정의 역으로 수행된다.

역 예측부(343)는 역 변환부(342)로부터 제공되는 복원된 잔차 신호를 예측 신호와 가산하여 참조 픽쳐를 복원한다. 이 때, 상기 예측 신호는 비디오 인코더 단에서와 마찬가지로 인터 예측 또는 인트라 베이스 예측에 의하여 구해진다.

현재 픽쳐 디코딩부(330)는 상기 현재 픽쳐의 부호화 데이터를 상기 의존 ID에 따라서 디코딩한다. 이를 위하여 현재 픽쳐 디코딩부(330)는 역 양자화부(331), 역 변환부(332), 및 역 예측부(333)를 포함하여 구성될 수 있다. 현재 픽쳐 디코딩 부(330)의 각 구성 요소의 동작은 참조 픽쳐 디코딩부(340)에서와 마찬가지이다. 다만, 역 예측부(333)는 상기 복원된 참조 픽쳐를 예측 신호로 하여, 역 변환부(332)로부터 제공되는 현재 픽쳐의 복원된 잔차 신호로부터 현재 픽쳐를 복원한다(잔차 신호와 예측 신호를 가산함). 이 때, 비트스트림 파서(320)에 의하여 판독된 의존 ID 또는 수정된 의존 ID가 사용된다. 상기 의존 ID는 현재 픽쳐의 품질 계층들(제2 품질 계층들)을 복원하기 위하여 필요한 참조 픽쳐에 관한 품질 계층들(제1 품질 계층들)을 지시하고 있다.

이상 본 발명에서 사용된 픽쳐는 하나의 프레임을 의미하는 것으로 사용되었다. 하지만, 본 명세서에 있어서 픽쳐는 H.264 이후로 도입된 개념이 슬라이스로 대체되어도 무방하다는 것을 당업자라면 충분히 이해할 수 있을 것이다.

지금까지 도 10 내지 도 12의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드(execution thread), 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

본 발명에 따르면, 비트스트림 중 높은 계층 픽쳐의 화질을 주목적으로 하여 적응적으로 비트율을 조절할 수 있는 효과가 있다.

Claims

참조 픽쳐에 관한 제1 품질 계층들을 구성하는 단계;

상기 참조 픽쳐를 참조하여 부호화되는 현재 픽쳐에 관한 제2 품질 계층들을 구성하는 단계; 및

상기 제1 품질 계층들 및 상기 제2 품질 계층들 각각에 우선권을 할당하는 단계를 포함하며,

제거되더라도 상기 현재 픽쳐의 화질 감소에 미치는 영향이 작은 품질 계층에 낮은 우선권이 할당되는, 비트스트림의 비트율 조절을 위한 우선권 할당 방법.
제1항에 있어서, 상기 참조 픽쳐 및 현재 픽쳐는

프레임 또는 슬라이스인, 비트스트림의 비트율 조절을 위한 우선권 할당 방법.
제1항에 있어서,

상기 참조 픽쳐와 현재 픽쳐는 서로 해상도가 상이하거나 시간적 레벨이 상이한, 비트스트림의 비트율 조절을 위한 우선권 할당 방법.
제1항에 있어서, 상기 제1 품질 계층들과 상기 제2 품질 계층들은

하나의 이산 계층과 적어도 하나 이상의 FGS 계층으로 이루어지는, 비트스트 림의 비트율 조절을 위한 우선권 할당 방법.
제4항에 있어서,

상기 제1 품질 계층들을 구성하는 단계 및 상기 제2 품질 계층들을 구성하는 단계는

상기 참조 픽쳐 또는 상기 현재 픽쳐를 예측하여 잔차 신호를 구하는 단계;

상기 잔차 신호를 변환하여 변환 계수를 생성하는 단계;

상기 변환 계수를 제1 양자화 파라미터에 의하여 양자화하여 이산 계층을 구성하는 단계;

상기 잔차 신호에서 상기 이산 계층을 역양자화한 결과를 차감하는 단계; 및

상기 차감된 결과를 제2 양자화 파라미터에 의하여 양자화하여 상기 하나 이상의 FGS 계층을 구성하는 단계를 포함하는, 비트스트림의 비트율 조절을 위한 우선권 할당 방법.
제1항에 있어서, 상기 화질 감소에 미치는 영향이 작은 품질 계층은

부호화에 소요되는 비용이 다른 품질 계층에 비하여 작은 품질 계층인, 비트스트림의 비트율 조절을 위한 우선권 할당 방법.
제6항에 있어서, 상기 비용은

오리지널 이미지와의 차이와, 부호화에 소요되는 비트량을 가중합으로 이루 어지는, 비트스트림의 비트율 조절을 위한 우선권 할당 방법.
비디오 비트스트림을 입력 받는 단계;

상기 비디오 비트스트림에 관한 목표 비트율을 설정하는 단계;

상기 비디오 비트스트림 중 현재 픽쳐의 참조 픽쳐에 관한 제1 품질 계층들과, 상기 현재 픽쳐에 관한 제2 품질 계층들을 읽어 들이는 단계; 및

상기 목표 비트율에 따라 상기 제1 품질 계층들 및 상기 제2 품질 계층들 중 상기 우선권이 낮은 품질 계층들부터 잘라내는 단계를 포함하는, 비트스트림의 비트율을 조절하는 방법.
제8항에 있어서, 상기 참조 픽쳐 및 현재 픽쳐는

프레임 또는 슬라이스인, 비트스트림의 비트율을 조절하는 방법.
제8항에 있어서,

상기 참조 픽쳐와 현재 픽쳐는 서로 해상도가 상이하거나 시간적 레벨이 상이한, 비트스트림의 비트율을 조절하는 방법.
제8항에 있어서, 상기 제1 품질 계층들과 상기 제2 품질 계층들은

하나의 이산 계층과 적어도 하나 이상의 FGS 계층으로 이루어지는, 비트스트림의 비트율을 조절하는 방법.
비디오 비트스트림을 입력 받는 단계;

상기 비디오 비트스트림 중, 현재 픽쳐의 참조 픽쳐에 관한 제1 품질 계층들과 상기 현재 픽쳐에 관한 제2 품질 계층들과 상기 의 의존 ID를 읽어 들이는 단계;

상기 제1 품질 계층들 중 상기 의존 ID가 지시하는 품질 계층이 존재하지 않는 경우 상기 의존 ID는 상기 제1 품질 계층들 중에서 최상위 품질 계층을 지시하는 것으로 설정하는 단계; 및

상기 의존 ID가 지시하는 관계에 따라서 현재 픽쳐를 복원하는 단계를 포함하는, 비디오 디코딩 방법.
제12항에 있어서, 상기 참조 픽쳐 및 현재 픽쳐는

프레임 또는 슬라이스인, 비디오 디코딩 방법.
제12항에 있어서, 상기 참조 픽쳐와 현재 픽쳐는

서로 해상도가 상이하거나 시간적 레벨이 상이한, 비디오 디코딩 방법.
제12항에 있어서, 상기 제1 품질 계층들과 상기 제2 품질 계층들은

하나의 이산 계층과 적어도 하나 이상의 FGS 계층으로 이루어지는, 비디오 디코딩 방법.
제12항에 있어서, 상기 현재 픽쳐를 복원하는 단계는

상기 의존 ID가 지시하는 바에 따라 상기 참조 픽쳐를 복원하는 단계;

상기 현재 픽쳐의 잔차 신호를 복원하는 단계; 및

상기 복원된 참조 픽쳐와 상기 복원된 잔차 신호를 가산하는 단계를 포함하는, 비디오 디코딩 방법.
참조 픽쳐에 관한 제1 품질 계층들을 구성하는 참조 픽쳐 인코딩부;

상기 참조 픽쳐를 참조하여 부호화되는 현재 픽쳐에 관한 제2 품질 계층들을 구성하는 현재 픽쳐 인코딩부; 및

상기 제1 품질 계층들 및 상기 제2 품질 계층들 각각에 우선권을 할당하는 품질 레벨 할당기를 포함하며,

제거되더라도 상기 현재 픽쳐의 화질 감소에 미치는 영향이 작은 품질 계층에 낮은 우선권이 할당되는, 비트스트림의 비트율 조절을 위한 우선권 할당 장치.
비디오 비트스트림을 입력 받는 비트스트림 입력부;

상기 비디오 비트스트림에 관한 목표 비트율을 설정하는 목표 비트율 설정부;

상기 비디오 비트스트림 중 현재 픽쳐의 참조 픽쳐에 관한 제1 품질 계층들과, 상기 현재 픽쳐에 관한 제2 품질 계층들을 읽어 들이는 비트스트림 파서; 및

상기 목표 비트율에 따라 상기 제1 품질 계층들 및 상기 제2 품질 계층들 중 상기 우선권이 낮은 품질 계층들부터 잘라내는 비트스트림 절단부를 포함하는, 비트스트림의 비트율을 조절하는 장치.
비디오 비트스트림을 입력 받는 엔트로피 복호화부;

상기 비디오 비트스트림 중, 현재 픽쳐의 참조 픽쳐에 관한 제1 품질 계층들과, 상기 현재 픽쳐의 제2 품질 계층들과, 상기 제2 품질 계층들의 의존 ID를 읽어 들이는 비트스트림 파서;

상기 제1 품질 계층들 중 상기 의존 ID가 지시하는 품질 계층이 존재하지 않는 경우 상기 의존 ID는 상기 제1 품질 계층들 중에서 최상위 품질 계층을 지시하는 것으로 설정하는 의존 ID 설정부; 및

상기 의존 ID가 지시하는 관계에 따라서 현재 픽쳐를 복원하는 현재 픽쳐 디코딩부를 포함하는, 비디오 디코더.