KR20070034918A

KR20070034918A - Ｆｇｓ 계층의 비디오 데이터를 엔트로피 부호화 및복호화하는 방법 및 장치

Info

Publication number: KR20070034918A
Application number: KR1020060003605A
Authority: KR
Inventors: 이배근; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2005-09-26
Filing date: 2006-01-12
Publication date: 2007-03-29
Also published as: KR100763192B1

Abstract

본 발명은 FGS 계층의 비디오 데이터를 엔트로피 부호화 및 복호화하는 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 FGS 계층의 비디오 데이터를 엔트로피 부호화하는 방법은 다계층 구조의 비디오 신호에서 FGS 계층의 제 1 블록에 포함되는 계수를 무손실 가변길이 부호화하는 방법에 있어서, 상기 제 1 블록에 대응하는 상기 FGS 계층의 하위 계층의 제 2 블록과의 잔차 데이터를 추출하여 변환 계수를 산출하는 단계, 상기 제 1 블록을 구성하는 변환 계수들을 둘 이상의 서브 블록으로 분리하는 단계, 상기 서브 블록에 포함되는 제 1 계수의 프리픽스의 길이를 계산하는 단계, 및 상기 프리픽스와 상기 제 1 계수를 구별하기 위한 서픽스를 결합하여 상기 제 1 계수를 가변길이 부호화하는 단계를 포함한다.

비디오 신호, CAVLC, H.264, FGS 계층, 블록

Description

ＦＧＳ 계층의 비디오 데이터를 엔트로피 부호화 및 복호화하는 방법 및 장치{Method and apparatus for entropy encoding and entropy decoding FGS layer's video data}

도 1은 FGS 코딩 패스에 대해 보여주는 도면이다.

도 2는 4×4 변환에서의 VLC 인코딩의 과정을 보여주는 도면이다.

도 3은 본 발명의 일 실시예에 따른 FGS 계층의 8×8 블록을 VLC로 인코딩하는 과정을 보여주는 예시도이다.

도 4는 본 발명의 일 실시예에 따른 서브 블록을 결정하는 기준이 되는 스캔 오더를 보여주는 도면이다.

도 5는 본 발명의 일 실시예에 따른 8×8 FGS 블록을 구성하는 서브 블록을 CAVLC로 인코딩하는 과정을 보여주는 도면이다.

도 6은 본 발명의 일 실시예에 따른 8×8 블록에 CAVLC를 적용할 수 있도록 서브 블록을 생성하는 과정을 보여주는 도면이다.

도 7은 본 발명의 일 실시예에 따른 CAVLC 인코딩 과정을 보여주는 순서도이다.

도 8은 본 발명의 일 실시예에 따른 CAVC 디코딩 과정을 보여주는 순서도이다.

도 9는 본 발명의 일 실시예에 따른 인코더의 엔트로피 인코딩부의 구성을 보여주는 도면이다.

도 10은 본 발명의 일 실시예에 따른 디코더의 엔트로피 디코딩부의 구성을 보여주는 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

600: FGS 계층 인코더 640: 엔트로피 인코더

642: 서브블록 분리부 644: 프리픽스 생성부

646: 중요 계수 인코딩부 800: FGS 계층 디코더

810: 엔트로피 디코더 812: 변환 계수 산출부

814: 변환 계수 디코딩부 816: 블록 생성부

본 발명은 비디오 신호의 부호화 및 복호화에 관한 것으로, 보다 상세하게는 비디오 신호의 FGS 계층의 블록에 대한 엔트로피 인코딩 및 디코딩에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 특성을 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 결과는 다시 양자화 과정을 통하여 소정의 양자화 스텝에 따라서 손실 부호화된다. 상기 양자화된 결과는 최종적으로 엔트로피 부호화(entropy coding)를 통하여 최종적으로 무손실 부호화된다.

현재, ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)와 ITU(International Telecommunication Union)의 비디오 전문가들 모임인 JVT(Joint Video Team)에서 진행중인 스케일러블 비디오 코딩(이하, SVC 라 함) 초안(draft)에서는, 기존의 H.264를 기반으로 하여 도 1의 예와 같은 다 계층 기반의 코딩 기술에 관한 연구가 활발히 진행되고 있다.

현재 H.264 표준에서 사용되는 엔트로피 부호화 기술로는, CAVLC(Context- Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding), Exp_Golomb(exponential Golomb) 등이 있다.

다음의 표 1은 H.264 표준에서 코딩될 파라미터별로 사용되는 엔트로피 부호화 기법을 나타낸다.

상기 표 1에 의하면 entropy_coding_mode 플래그가 0인 경우에는, 해당 매크로블록이 인터 예측 모드인지 인트라 예측 모드인지를 나타내는 매크로블록 유형(macroblock type), 매크로블록을 구성하는 서브블록의 형태를 나타내는 매크로블록 패턴(macroblock pattern), 양자화 스텝(quantization step)을 결정하는 인덱스인 양자화 파라미터(quantization parameter), 인터 예측 모드에서 참조되는 프레임의 번호를 나타내는 참조 프레임 인덱스, 및 모션 벡터는 Exp_Golomb에 의하여 부호화된다. 그리고, 원 이미지와 예측 이미지 간의 차이를 나타내는 잔차 데이터(residual data)는 CAVLC에 의하여 부호화된다.

반면에, 상기 entropy_coding_mode 플래그가 1인 경우에는, 상기 모든 파라미터들은 CABAC로 코딩된다.

CABAC는 높은 복잡성(high complexity)을 갖는 파라미터에서 좋은 성능을 나타낸다. 따라서, CAVLC 등의 VLC(Variable Length Coding) 기반의 엔트로피 코딩은 기초적인 프로파일로서 세팅된다.

도 1은 FGS 코딩 패스에 대해 보여주는 도면이다. JSVM 3.0에서 FGS는 두 방식의 코딩 패스를 가지는데, 하나는 중요 패스(significant pass)이며, 다른 하나는 정제 패스(refinement pass)이다. 중요 패스는 0의 값을 가지는 기초 계층의 블록에서 FGS 계층의 블록을 산출하는 것이며, 정제 패스는 0의 값을 가지지 않는 기초 계층의 블록에서 FGS 계층의 블록을 산출하는 것이다. 각 스캔에서 변환 인자가 전송된다. 통상 FGS 계층에 대부분은 중요 패스이며, VLC 코딩의 특성상 중요 패스를 코딩할 경우, 인코딩 효율을 높일 수 있다.

따라서, 인코딩 효율을 높이기 위해 FGS 계층에 대해 VLC를 적용하는 방법 및 장치가 필요하다.

본 발명은 상기한 문제점을 개선하기 위해 안출된 것으로, 본 발명은 FGS 계층의 8×8 블록을 인코딩시 중요 패스의 CAVLC 인코딩을 제공하는데 목적이 있다.

본 발명의 또다른 목적은 8×8 블록의 인코딩에 있어서 4×4 블록을 인코딩하는 방식을 적용하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 FGS 계층의 비디오 데이터를 엔트로피 부호화하는 방법은 다계층 구조의 비디오 신호에서 FGS 계층의 제 1 블록에 포함되는 계수를 무손실 가변길이 부호화하는 방법에 있어서, 상기 제 1 블록에 대응하는 상기 FGS 계층의 하위 계층의 제 2 블록과의 잔차 데이터를 추출하여 변환 계수를 산출하는 단계, 상기 제 1 블록을 구성하는 변환 계수들을 둘 이상의 서브 블록으로 분리하는 단계, 상기 서브 블록에 포함되는 제 1 계수의 프리픽스의 길이를 계산하는 단계, 및 상기 프리픽스와 상기 제 1 계수를 구별하기 위한 서픽스를 결합하여 상기 제 1 계수를 가변길이 부호화하는 단계를 포함한다.

본 발명의 일 실시예에 따른 FGS 계층의 비디오 데이터를 엔트로피 복호화하는 방법은 다계층 구조의 비디오 신호에서 FGS 계층의 제 1 블록에 포함되는 변환 계수를 무손실 복호화하는 방법에 있어서, 가변길이 부호화된 변환 계수들의 비트 스트림에서 상기 계수들의 프리픽스 길이로 변환 계수의 범위를 산출하는 단계, 상기 부호화된 계수의 서픽스를 사용하여 상기 산출한 변환 계수의 범위에서 상기 변환 계수의 값을 추출하여 가변길이 복호화하는 단계, 및 상기 복호화된 계수가 포함된 제 1서브 블록과 제 2 서브 블록을 취합하여 상기 제 1 블록을 생성하는 단계를 포함한다.

본 발명의 일 실시예에 따른 엔트로피 인코더는 다계층 구조의 비디오 신호에서 FGS 계층의 제 1 블록에 포함되는 계수를 무손실 가변길이 부호화하는 인코더에 있어서, 상기 제 1 블록에 대응하는 상기 FGS 계층의 하위 계층의 제 2 블록과 의 잔차 데이터를 추출한 상기 제 1 블록을 구성하는 변환 계수들을 둘 이상의 서브 블록으로 분리하는 서브 블록 분리부, 상기 서브 블록에 포함되는 제 1 계수의 프리픽스의 길이를 계산하여 프리픽스를 생성하는 프리픽스 생성부, 및 상기 프리픽스와 상기 제 1 계수를 구별하기 위한 서픽스를 결합하여 상기 제 1 계수를 가변길이 부호화하는 중요 계수 인코딩부를 포함한다.

본 발명의 일 실시예에 따른 엔트로피 디코더는 다계층 구조의 비디오 신호에서 FGS 계층의 제 1 블록에 포함되는 변환 계수를 무손실 복호화하는 디코더에 있어서, 가변길이 부호화된 변환 계수들의 비트 스트림에서 상기 계수들의 프리픽스 길이로 변환 계수의 범위를 산출하는 변환 계수 산출부, 상기 부호화된 계수의 서픽스를 사용하여 상기 산출한 변환 계수의 범위에서 상기 변환 계수의 값을 추출하여 가변길이 복호화를 하는 디코더부, 및 상기 복호화된 계수가 포함된 제 1 서브 블록과 제 2 서브 블록을 취합하여 상기 제 1 블록을 생성하는 블록 생성부를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다

이하, 본 발명의 실시예들에 의하여 CAVLC 방식으로 FGS 계층의 비디오 데이터를 부호화 및 복호화하는 방법 및 장치를 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

컨텍스트 기반 적응적 가변 길이 코딩(Context-based Adaptive Variable Length Coding; 이하 CAVLC라 함)은 최근 코딩된 주변 블록들에 관한 정보를 이용하는 가변 길이 코딩이다. 현재 코딩되는 블록의 이웃 블록의 정보에 따라 복수 개의 코딩 참조 테이블 중 하나를 선택하여 가변 길이 코딩을 수행한다. 이는 비디오 코딩에 있어서 잔차, 즉 지그재그 순서의 변환 계수 블록들을 인코딩하기 위해 사용되는 방법이다. CAVLC는 양자화된 블록들의 몇 가지 특징을 이용하도록 디자인 되었다.

예측, 변환, 및 양자화 이후 블록들은 대부분 '0'으로 이루어진다. CAVLC는 일련의 '0'을 압축적으로 나타내기 위해 런-레벨(run-level) 코딩을 사용한다. 지그재그 스캔 후에 가장 높은 0 아닌 변환 계수들은 대개 일련의 ±1의 값을 갖는다. CAVLC는 고주파 ±1 변환 계수들의 개수를 압축적인 방법으로 신호화한다. 인접한 블록들의 0이 아닌 변환 계수의 개수는 상호연관 되어있다. 변환 계수의 개수는 룩업 테이블(Look-up table)을 사용하여 인코딩되고, 룩업 테이블의 선택은 이웃한 블록들의 0이 아닌 변환 계수의 개수에 의존한다. 0이 아닌 변환 계수의 레벨(크기)은 재정렬된 배열의 처음에 더 크고 고주파로 갈수록 작아지는 경향이 있다. CAVLC는 최근에 코딩된 레벨 크기에 따라 레벨 파라미터를 위한 VLC룩업 테이블의 선택을 적응적으로 함으로써 이를 이용한다.

한 블록의 변환 계수의 CAVLC 인코딩은 다음과 같이 진행된다.

한 블록내의 0이 아닌 변환 계수의 개수와 고주파 ±1 변환 계수들의 개수를 인코딩하고, 각 블록의 고주파 ±1 변환 계수들의 부호를 인코딩한다. 그 후, 나머지 0이 아닌 변환 계수들의 레벨을 인코딩한다. 마지막 변환 계수 전에 있는 0의 전체 개수를 인코딩하고, 각 0의 런(run)을 인코딩한다.

도 2는 4×4 변환에서의 VLC 인코딩의 과정을 보여주는 도면이다. CAVLC 과정에서 초기에 EOB(End-of-Block) 심볼 매핑과 start-step-stop 매핑을 수행하여 두개의 초기화 벡터가 생성된다. 이를 토대로 중요 패스(significant pass)와 정제 패스(refinement pass)가 수행된다. 중요 패스에서는 각 중요 계수(significant coefficient)에 대한 런(run)을 코딩하며, 정제 패스(refinement pass)에서는 하나의 VLC 테이블을 사용한다. 이 때, VLC 테이블은 정제 비트가 통계적으로 0이 많은 것을 효율적으로 이용한다.

각각의 단계를 살펴보면, EOB 심볼 매핑 단계에서는 매 스캔 인덱스(scan index)에 대한 EOB를 표현하는 심볼을 명시한다. Start-step-stop 파라메터 매핑에서는 m이라는 파라메터에 의해 코딩이 특정된다. 중요 데이터(significance data)를 코딩하는 경우, m의 값은 스캔 인덱스와 기초 계층 계수의 최근 비제로(non-zero)의 인덱스 값에 의해 결정된다. 이 파라메터는 런-레벨 코딩으로도 코딩된다.

중요 패스는 도 1에서 살펴본 바와 같이 블록 내의 중요 계수(significant coefficient)의 존재 여부를 체크하고, 존재하지 않는다면 EOB 마커(EOB marker)가 전송되며, 중요 계수가 존재하는 경우, 블록의 코딩이 진행된다.

정제 패스는 도 1에서 살펴본 바와 같이 전체 블록이 한번에 인코딩된다. 정제 비트(refinement bits)들은 그룹으로 누적되어 코드워드(codeword)가 표 2에 따라 전송된다.

심볼	코드워드
0000	00
0001	010
0010	011
0011	11000
0100	100
0101	11001
0110	11010
0111	111100
1000	101
1001	11011
1010	11100
1011	111101
1100	11101
1101	111110
1110	1111110
1111	1111111

8×8 변환에서는 싱글 플래그 코딩(single flag coding)을 수행하지 않고, 8×8 블록을 서브 블록으로 나누어 도 2의 4×4 변환에서 CAVLC를 적용하는 것과 같이 각 그룹에 대해 CAVLC 방식에 따라 인코딩을 수행한다. 서브 블록으로 나누어지면 인코딩할 계수들의 개수가 줄어든다. 8×8 블록을 구성하는 계수들은 총 64개이지만, 서브 블록으로 나누면 32개 또는 16개 등 줄어들 수 있다. 따라서 나뉘어진 서브 블록에 대해 CAVLC를 적용할 경우, 인코딩할 계수들의 개수가 줄어들고, 런(run)의 길이도 줄어들면서, 심볼의 크기가 클 가능성도 줄어든다.

도 3에서는 Scan8×8Index의 값에 따라 두개의 서브 블록으로 나누고 있다. Scan8×8Index는 8×8 블록에서의 스캔 순서(scan order)를 의미한다. Scan8×8Index의 값이 32보다 작은 경우는 첫번째 서브 블록을 구성하게 되며, Scan8×8Index의 값이 32 이상인 경우는 두번째 서브 블록을 구성하게 된다. 구성된 각각의 서브블록에 대해, EOB 심볼 매핑을 수행하고(S13, S14), 서브 블록에 대한 start-step-stop 파라메터 매핑을 수행하며(S15, S16), 중요 패스(S17, S18)와 정제 패스(S19, S20)를 진행하게 된다.

두 개의 서브 블록으로 나누어 진행한 결과, 두 블록을 구성하는 변환 계수들이 CAVLC로 인코딩된다. 상기 방식에서 네 개의 서브 블록으로 나누기 위해 Scan8×8Index가 16, 32, 48을 기준으로 할 수 있다.

도 4는 본 발명의 일 실시예에 따른 서브 블록을 결정하는 기준이 되는 스캔 오더를 보여주는 도면이다. 8×8 FGS 블록(20)에서 스캔 오더는 도 4의 화살표 방향을 따라 증가한다. 전술한 Scan8×8Index가 32인 지점은 A이다. 따라서 A 이전까지 스캔한 블록들은 첫번째 블록이 되며, A 이후에 스캔하는 블록들은 두번째 블록이 된다. 스캔 오더에 따라 2개의 서브 블록으로 나눈 경우(24)와 4개의 서브 블록으로 나눈 경우(29)가 제시되었다.

4×4에 적용한 CAVLC 변환 방법으로 도 4의 각각의 서브 블록을 인코딩할 경우, 8×8 블록 자체를 인코딩하는 경우보다 런의 길이가 줄어들어서 전체 인코딩 효율을 높일 수 있다.

도 5는 본 발명의 일 실시예에 따른 8×8 FGS 블록을 구성하는 서브 블록을 CAVLC로 인코딩하는 과정을 보여주는 도면이다. CAVLC에 따라 FGS 블록의 중요 계수(significant coefficient)를 인코딩하기 위한 일 실시예로 p만큼의 길이를 가지는 연속된 '1'의 프리픽스(prefix)와 각 심볼(symbol)을 구별짓는데 필요한 서픽스(suffix)를 산출하는 과정은 도 5와 같다.

인코딩할 심볼의 값(c)이 m보다 작거나 같은 경우에는 지수적 골룸(exponential Golomb) 코딩을 통해 코딩하며, m보다 크다면 프리픽스의 길이를 산출하고 서픽스를 선택하여 인코딩한다. 표 3은 도 5의 실시예에 따라 m이 1인 경우 심볼을 인코딩한 코드워드를 보여준다.

심볼	m = 1인 경우 코드워드
0	0
1	01
2	1100
3	1101
4	1110
5	111100
6	111101
7	111110

표 3에서 프리픽스는 연속된 1로 나타내며, 연속된 1의 길이는 심볼의 크기와 m에 의해 결정된다. m의 값은 스캔 인덱스와 기초 계층 계수의 최근 비제로(non-zero)의 인덱스 값에 의해 결정된다. m의 값은 16×16 테이블에 의해 결정되는데, 16×16 테이블은 전술한 스캔 인덱스와 기초 계층 계수의 최근 비제로 인덱스의 값으로 구성된다. 프리픽스의 길이를 구하는 식은 수학식 1과 같다.

도 5에 따른 중요 패스가 완료하면 정제 패스에 대해 VLC 코딩을 수행한다. 이때 참조하는 테이블은 표 4와 같다.

도 6은 본 발명의 일 실시예에 따른 8×8 블록에 CAVLC를 적용할 수 있도록 서브 블록을 생성하는 과정을 보여주는 도면이다. 도 4에서는 스캔 순서에 따라 2개 또는 4개의 서브 블록을 생성하였다. 도 6에서는 블록을 세로로, 또는 가로로 나누어 서브 블록을 생성하고 있다. 30은 8×8 블록을 세로로 8x1 블록을 그룹지어 4개의 서브 블록을 생성하고 있다. 4개의 서브 블록은 각각 8x2로 16개의 변환 계수를 가지며, 4×4에 포함된 16개의 변환 계수들을 cavlc 방식으로 인코딩하는 것과 같다. 마찬가지로, 32는 8×8 블록을 가로로 1x8 블록을 그룹지어 4개의 서브 블록을 생성하고 있다. 4개의 서브 블록은 각각 8x2로 16개의 변환 계수를 가지며, 4×4에 포함된 16개의 변환 계수들을 cavlc 방식으로 인코딩하는 것과 같다.

먼저 하위 계층과 FGS 계층의 잔차 데이터를 추출한다(S102). 하위 계층은 기초 계층 또는, FGS 계층일 수 있다. 추출한 잔차 데이터에서 8×8 블록을 구성하는 변환 계수를 산출한다(S104). 변환 계수에서 0이 아닌 비제로(non-zero)는 중요 계수이며, 도 7의 과정은 중요 계수를 가변길이로 인코딩하는 과정을 보여준다. 이러한 변환 계수는 잔차 데이터를 양자화하여 얻은 결과이다. 8×8 블록에서 64개의 변환 계수가 있는데, 전술한 스캔 순서에 따라, 또는 블록을 가로 또는 세로로 나누어 변환 계수를 32개씩 두개의 서브 블록으로, 또는 16개씩 4개의 서브 블록으로 분리한다(S106). 분리한 서브 블록에 대해 CAVLC 과정을 S108과 S110 단계를 거쳐 진행된다.

서브 블록에 포함되는 계수의 프리픽스 길이를 계산한다(S108). 일 실시예로 수학식 1과 도 5에서 설명한 방식을 따른다. 프리픽스는 연속된 1 또는 연속된 0으로 구성될 수 있다. 그리고 프리픽스의 길이를 구하기 위해 m을 사용하는 것은 전술하였다.

그리고 변환 계수를 다른 변환 계수와 구별하도록 서픽스를 구하여, S108 단계에서 산출한 프리픽스와 결합하여 인코딩한다(S110). 하나의 서브 블록에 대해 인코딩(부호화)가 완료하면, 다른 서브 블록에 대해서도 4×4 CAVLC 방식에 따라 인코딩을 한다(S110).

도 8은 본 발명의 일 실시예에 따른 CAVC 디코딩 과정을 보여주는 순서도이다. 인코딩된 비트스트림에서 가변길이 부호화된 변환 계수를 추출한다(S152). 그리고 부호화된 변환 계수의 프리픽스 길이를 계산한다(S154). 길이는 연속된 1 또는 연속된 0과 같이 미리 약속된 비트 패턴에 의해 계산된다. 프리픽스의 길이가 계산되며, 전송된 m값에 대한 16×16 테이블에서 해당 m을 추출하면, 수학식 1의 심볼 C의 값을 알 수 있다. 수학식 1에서 심볼 C는 3가지 값을 가질 수 있으며, 3 가지 값 중에서 어떤 값을 가지는지는 서픽스에 의해 산출된다. 예를 들어 표 3과 같이, 부호화된 계수의 값이 1100인 경우, 연속된 1의 길이인 '2'와 m의 값 1을 통해, 수학식 1에서 심볼 C의 값이 2, 3, 4 중 하나임을 알 수 있다. 또한 서픽스 '00'에 의해 심볼 C의 값이 2라는 것을 산출할 수 있으며, 따라서 변환 계수 범위 내의 하나의 값으로 복호화한다(S156).

복호화한 변환 계수가 포함된 서브 블록을 생성한다(S158). S152 내지 S158 과정을 통해 서브 블록을 구성하는 변환 계수들을 복호화하고, 상기의 과정을 통해 소정의 8×8 FGS 계층의 블록을 구성하는 모든 서브 블록들의 변환 계수들을 복호화하면 이들을 취합하여 8×8 FGS 계층의 블록을 생성한다. 서브 블록을 8×8 FGS 계층 내에 위치시키는 방법은 도 4와 도 6에서 살펴보았다.

본 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

원래의 비디오 시퀀스는 FGS 계층 인코더(600)로 입력되고, 아울러 다운샘플링부(550)에 의하여 다운샘플링(계층간에 해상도의 변화가 있는 경우에 한함)된 후 기초 계층 인코더(500)로 입력된다.

예측부(610)는 현재 매크로블록에서 소정의 방법으로 예측된 이미지를 차분함으로써 잔차 신호를 구한다. 상기 예측 방법으로는 방향적 인트라 예측, 인터 예측, 인트라 베이스 예측, 및 잔차 예측 등이 있다.

변환부(620)는 상기 구한 잔차 신호를 DCT, 웨이브렛 변환 등 공간적 변환 기법을 이용하여 변환하여 변환 계수를 생성한다.

양자화부(630)는 상기 변환 계수를 소정의 양자화 스텝으로 양자화하여(양자화 스텝이 클수록 데이터의 손실 내지 압축률이 높다) 양자화 계수를 생성한다.

FGS 계층 인코더(600)에서와 마찬가지로, 기초 계층 인코더(500)도 동일한 기능의 예측부(510), 변환부(520), 및 양자화부(530)를 포함한다. 다만, 예측부(510)는 인트라 베이스 예측이나 잔차 예측은 사용할 수 없을 것이다.

엔트로피 인코더(640)는 상기 양자화 계수를 무손실 부호화하여 FGS 계층 비트스트림을 출력하고, 마찬가지로 엔트로피 인코더(540)는 기초 계층 비트스트림을 출력한다. Mux(650)는 FGS 계층 비트스트림과 기초 계층 비트스트림을 결합하여 비디오 디코더 단으로 전송할 비트스트림을 생성한다.

FGS 계층 엔트로피 인코더(640)을 자세히 살펴보면, 서브 블록 관리부(642), 프리픽스 생성부(644), 중요 계수 인코딩부(646)을 포함한다.

서브 블록 분리부(642)는 8×8 FGS 블록의 변환 계수들을 둘 이상의 서브 블록으로 분리한다. 서브 블록을 분리하는 방법으로는 전술한 바와 같이, 8×8 블록에서 스캔하는 순서에 따라 스캔하는 계수들을 일정 개수로 나누거나, 8×8 블록을 둘 이상의 그룹으로 나누어, 그룹의 동일 위치에 속하는 계수들을 결합하여 하나의 서브 블록으로 생성할 수 있다.

프리픽스 생성부(644)는 서브 블록에 포함되는 변환 계수를 CAVLC 방식으로 부호화하기 위해 프리픽스의 길이를 계산하여 프리픽스를 생성한다. 전술한 수학식 1에 의해 프리픽스의 길이를 구할 수 있다. 프리픽스의 길이를 구하면, 연속된 1 또는 0과 같이 약속된 패턴에 따른 프리픽스를 생성할 수 있다. 프리픽스의 길이를 구하기 위해 수학식 1의 m을 산출하기 위한 16×16 테이블을 포함할 수 있다. 이 테이블은 4×4 크기의 서브 블록에서의 스캔 인덱스와 하위 계층 계수의 최근 비제로 인덱스 값을 가진다.

그리고 중요 계수 인코딩부(646)은 프리픽스와 변환 계수를 구별할 수 있는 서픽스를 결합하여 변환 계수를 인코딩(부호화)한다.

입력되는 비트스트림은 Demux(860)를 통하여 FGS 계층 비트스트림 및 기초 계층 비트스트림으로 분리되어 FGS 계층 인코더(800) 및 기초 계층 디코더(700)에 각각 제공된다.

엔트로피 디코더(810)는 엔트로피 인코더(640)과 대응되는 방식으로 무손실 복호화를 수행하여 양자화 계수를 복원한다. 엔트로피 디코더(810)는 변환 계수 산출부(812), 변환 계수 디코딩부(814), 블록 생성부(816)를 포함한다. 변환 계수 산출부(812)는 비트 스트림에서 가변길이 부호화된 변환 계수들을 추출하고, 변환 계수들의 프리픽스 길이를 사용하여 변환 계수의 범위를 산출한다.

변환 계수 디코딩부(814)는 부호화된 변환 계수의 서픽스를 사용하여 상기 산출한 변환 계수의 범위에서 변환 계수의 값을 추출하여 CAVLC 방식으로 디코딩한다. 그리고 블록 생성부(816)는 디코딩된 변환 계수들을 취합한 서브 블록을 이용하여 하나의 8×8 블록을 생성한다.

역양자화부(820)는 상기 복원된 양자화 계수를 양자화부(630)에서 사용된 양자화 스텝으로 역 양자화한다.

역변환부(830)는 상기 역 양자화된 결과를 역 DCT 변환, 역 웨이브렛 변환 등의 역공간적 변환 기법을 사용하여 역변환한다.

역예측부(840)는 예측부(610)에서 구한 예측 이미지를 동일한 방식으로 구하고, 상기 구한 예측 이미지를 상기 역변환된 결과와 가산함으로써 비디오 시퀀스를 복원한다.

FGS 계층 디코더(800)에서와 마찬가지로, 기초 계층 디코더(700)도 동일한 기능의 엔트로피 디코더(710), 역양자화부(720), 역변환부(730), 및 역예측부(740)를 포함한다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명을 구현함으로써 FGS 계층의 8×8 블록을 인코딩시 중요 패스에서 CAVLC 인코딩을 수행할 수 있다.

본 발명을 구현함으로써 8×8 블록의 인코딩에 있어서 4×4 블록을 인코딩하는 방식을 적용할 수 있다.

Claims

다계층 구조의 비디오 신호에서 FGS 계층의 제 1 블록에 포함되는 계수를 무손실 가변길이 부호화하는 방법에 있어서,

(a) 상기 제 1 블록에 대응하는 상기 FGS 계층의 하위 계층의 제 2 블록과의 잔차 데이터를 추출하여 변환 계수를 산출하는 단계;

(b) 상기 제 1 블록을 구성하는 변환 계수들을 둘 이상의 서브 블록으로 분리하는 단계;

(c) 상기 서브 블록에 포함되는 제 1 계수의 프리픽스의 길이를 계산하는 단계; 및

(d) 상기 프리픽스와 상기 제 1 계수를 구별하기 위한 서픽스를 결합하여 상기 제 1 계수를 가변길이 부호화하는 단계를 포함하는, FGS 계층의 비디오 데이터를 엔트로피 부호화하는 방법.
제 1항에 있어서,

상기 프리픽스의 길이는 연속된 1 또는 연속된 0으로 구성되며, 상기 연속된 1 또는 연속된 0의 길이는
에 따라 계산되며, 상기 m은 0 이상의 정수인, FGS 계층의 비디오 데이터를 엔트로피 부호화하는 방법.
제 2항에 있어서,

상기 m은 16×16 테이블에서 추출한 값이며, 상기 16×16 테이블은 4×4 크기의 서브 블록에서의 스캔 인덱스와 하위 계층 계수의 최근 비제로 인덱스 값을 포함하는 테이블인, FGS 계층의 비디오 데이터를 엔트로피 부호화하는 방법.
제 1항에 있어서,

상기 서브 블록의 개수가 2이고, 상기 각각의 서브 블록은 32개의 계수를 포함하는, FGS 계층의 비디오 데이터를 엔트로피 부호화하는 방법.
제 1항에 있어서,

상기 서브 블록의 개수가 4이고, 상기 각각의 서브 블록은 16개의 계수를 포함하는, FGS 계층의 비디오 데이터를 엔트로피 부호화하는 방법.
제 1항에 있어서,

상기 (b) 단계는 상기 제 1 블록을 스캔하는 순서에 따라 스캔하는 계수들을 일정 개수로 나누는 단계를 포함하는, FGS 계층의 비디오 데이터를 엔트로피 부호화하는 방법.
제 1항에 있어서,

상기 (b) 단계는 상기 제 1 블록을 둘 이상의 그룹으로 나누어, 상기 그룹의 동일 위치에 속하는 계수들을 결합하여 하나의 서브 블록으로 생성하는 단계를 포함하는, FGS 계층의 비디오 데이터를 엔트로피 부호화하는 방법.
다계층 구조의 비디오 신호에서 FGS 계층의 제 1 블록에 포함되는 변환 계수를 무손실 복호화하는 방법에 있어서,

(a) 가변길이 부호화된 변환 계수들의 비트 스트림에서 상기 계수들의 프리픽스 길이로 변환 계수의 범위를 산출하는 단계;

(b) 상기 부호화된 계수의 서픽스를 사용하여 상기 산출한 변환 계수의 범위에서 상기 변환 계수의 값을 추출하여 가변길이 복호화하는 단계; 및

(c) 상기 복호화된 계수가 포함된 제 1서브 블록과 제 2 서브 블록을 취합하여 상기 제 1 블록을 생성하는 단계를 포함하는, FGS 계층의 비디오 데이터를 엔트로피 복호화하는 방법.
제 8항에 있어서,

상기 프리픽스의 길이는 연속된 1 또는 연속된 0으로 구성되며, 상기 연속된 1 또는 연속된 0의 길이는
에 따라 계산되며, 상기 m은 0 이상의 정수인, FGS 계층의 비디오 데이터를 엔트로피 복호화하는 방법.
제 9항에 있어서,

상기 m은 16×16 테이블에서 추출한 값이며, 상기 16×16 테이블은 4×4 크기의 서브 블록에서의 스캔 인덱스와 하위 계층 계수의 최근 비제로 인덱스 값을 포함하는 테이블인, FGS 계층의 비디오 데이터를 엔트로피 복호화하는 방법.
제 8항에 있어서,

상기 서브 블록의 개수가 2이고, 상기 각각의 서브 블록은 32개의 계수를 포함하는, FGS 계층의 비디오 데이터를 엔트로피 복호화하는 방법.
제 8항에 있어서,

상기 서브 블록의 개수가 4이고, 상기 각각의 서브 블록은 16개의 계수를 포함하는, FGS 계층의 비디오 데이터를 엔트로피 복호화하는 방법.
제 8항에 있어서,

상기 제 1 서브 블록의 계수들과 상기 제 2 서브 블록의 계수들은 상기 제 1 블록을 스캔하는 순서에 따라 스캔하는 계수들이 일정 개수로 나뉘어져 상기 제 1 서브 블록과 상기 제 2 서브 블록을 구성하는, FGS 계층의 비디오 데이터를 엔트로피 복호화하는 방법.
제 8항에 있어서,

상기 제 1 블록을 둘 이상의 그룹으로 나누어, 상기 그룹의 동일 위치에 속 하는 계수들을 결합하여 상기 서브 블록을 구성하는, FGS 계층의 비디오 데이터를 엔트로피 복호화하는 방법.
다계층 구조의 비디오 신호에서 FGS 계층의 제 1 블록에 포함되는 계수를 무손실 가변길이 부호화하는 인코더에 있어서,

상기 제 1 블록에 대응하는 상기 FGS 계층의 하위 계층의 제 2 블록과의 잔차 데이터를 추출한 상기 제 1 블록을 구성하는 변환 계수들을 둘 이상의 서브 블록으로 분리하는 서브 블록 분리부;

상기 서브 블록에 포함되는 제 1 계수의 프리픽스의 길이를 계산하여 프리픽스를 생성하는 프리픽스 생성부; 및

상기 프리픽스와 상기 제 1 계수를 구별하기 위한 서픽스를 결합하여 상기 제 1 계수를 가변길이 부호화하는 중요 계수 인코딩부를 포함하는 엔트로피 인코더.
제 15항에 있어서,

상기 프리픽스의 길이는 연속된 1 또는 연속된 0으로 구성되며, 상기 연속된 1 또는 연속된 0의 길이는
에 따라 계산되며, 상기 m은 0 이상의 정수인, 엔트로피 인코더.
제 16항에 있어서,

상기 m은 16×16 테이블에서 추출한 값이며, 상기 16×16 테이블은 4×4 크기의 서브 블록에서의 스캔 인덱스와 하위 계층 계수의 최근 비제로 인덱스 값을 포함하는 테이블인, 엔트로피 인코더.
제 15항에 있어서,

상기 서브 블록의 개수가 2이고, 상기 각각의 서브 블록은 32개의 계수를 포함하는, 엔트로피 인코더.
제 15항에 있어서,

상기 서브 블록의 개수가 4이고, 상기 각각의 서브 블록은 16개의 계수를 포함하는, 엔트로피 인코더.
제 15항에 있어서,

상기 서브 블록 분리부는 상기 제 1 블록을 스캔하는 순서에 따라 스캔하는 계수들을 일정 개수로 나누는, 엔트로피 인코더.
제 15항에 있어서,

상기 서브 블록 분리부는 상기 제 1 블록을 둘 이상의 그룹으로 나누어, 상기 그룹의 동일 위치에 속하는 계수들을 결합하여 하나의 서브 블록으로 생성하는, 엔트로피 인코더.
다계층 구조의 비디오 신호에서 FGS 계층의 제 1 블록에 포함되는 변환 계수를 무손실 복호화하는 디코더에 있어서,

가변길이 부호화된 변환 계수들의 비트 스트림에서 상기 계수들의 프리픽스 길이로 변환 계수의 범위를 산출하는 변환 계수 산출부;

상기 부호화된 계수의 서픽스를 사용하여 상기 산출한 변환 계수의 범위에서 상기 변환 계수의 값을 추출하여 가변길이 복호화를 하는 디코더부; 및

상기 복호화된 계수가 포함된 제 1 서브 블록과 제 2 서브 블록을 취합하여 상기 제 1 블록을 생성하는 블록 생성부를 포함하는, 엔트로피 디코더.
제 22항에 있어서,

상기 프리픽스의 길이는 연속된 1 또는 연속된 0으로 구성되며, 상기 연속된 1 또는 연속된 0의 길이는
에 따라 계산되며, 상기 m은 0 이상의 정수인, 엔트로피 디코더.
제 23항에 있어서,

상기 m은 16×16 테이블에서 추출한 값이며, 상기 16×16 테이블은 4×4 크기의 서브 블록에서의 스캔 인덱스와 하위 계층 계수의 최근 비제로 인덱스 값을 포함하는 테이블인, 엔트로피 디코더.
제 22항에 있어서,

상기 서브 블록의 개수가 2이고, 상기 각각의 서브 블록은 32개의 계수를 포함하는, 엔트로피 디코더.
제 22항에 있어서,

상기 서브 블록의 개수가 4이고, 상기 각각의 서브 블록은 16개의 계수를 포함하는, 엔트로피 디코더.
제 22항에 있어서,

상기 제 1 서브 블록의 계수들과 상기 제 2 서브 블록의 계수들은 상기 제 1 블록을 스캔하는 순서에 따라 스캔하는 계수들이 일정 개수로 나뉘어져 상기 제 1 서브 블록과 상기 제 2 서브 블록을 구성하는, 엔트로피 디코더.
제 22항에 있어서,

상기 제 1 블록을 둘 이상의 그룹으로 나누어, 상기 그룹의 동일 위치에 속하는 계수들을 결합한 것이 상기 서브 블록을 구성하는, 엔트로피 디코더.