KR100781530B1

KR100781530B1 - 변환 계수의 재배열을 이용하여 ｆｇｓ 계층의 비디오신호를 부호화하고 복호화하는 방법 및 장치

Info

Publication number: KR100781530B1
Application number: KR1020060102067A
Authority: KR
Inventors: 한우진
Original assignee: 삼성전자주식회사
Priority date: 2006-07-14
Filing date: 2006-10-19
Publication date: 2007-12-03
Also published as: TWI397319B; TW200818924A

Abstract

본 발명은 비디오 압축 기술에 관한 것으로서, 본 발명의 일 실시예에 따른 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 방법은, 현재 부호화하고자 하는 현재 계층에 속한 블럭의 변환 계수들을 중요 계수들과 정제 계수들로 분류하는 단계; 상기 분류에 따라 상기 중요 계수들 및 상기 정제 계수들을 각기 재배열하는 단계; 및 상기 재배열된 중요 계수들 및 상기 정제 계수들을 코딩하는 단계를 포함한다.

스케일러블 비디오 코딩(Scalable Video Coding; SVC), FGS 계층, 중요 계수(Significant Coefficient), 정제 계수(Refinement Coefficient)

Description

변환 계수의 재배열을 이용하여 ＦＧＳ 계층의 비디오 신호를 부호화하고 복호화하는 방법 및 장치{Method and apparatus for encoding and decoding FGS layer's video data using reorder of transform coefficients}

도 1은 다계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이다.

도 2는 스케일러블 비디오 코덱에서의 3가지 예측 방법을 설명하는 도면이다.

도 3은 기초 계층과 복수개의 FGS 계층으로 구성된 구조를 나타내는 도면이다.

도 4a는 FGS 코딩 패스에서 현재 계층의 변환 계수들을 분류하는 과정을 나타내는 도면이다.

도 4b는 상기 도 4a의 결과에 따라 현재 계층의 변환 계수에 대한 스캐닝 순서를 결정하는 과정을 나타내는 도면이다.

도 5는 본 발명의 일 실시예에 따라 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복부호화하는 과정을 나타내는 도면이다.

도 6은 본 발명의 일 실시예에 따라 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 순서도이다.

도 7은 본 발명의 일 실시예에 따라 변환 계수의 재배열을 이용하여 FGS 계 층의 비디오 신호를 복호화하는 순서도이다.

도 8은 본 발명의 일 실시예에 따라 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 장치의 구성도이다.

도 9는 본 발명의 일 실시예에 따라 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 장치의 구성도이다.

*도면의 주요 부분에 대한 설명*

500: 기초 계층 인코더 510: 예측부

520: 변환부 530: 양자화부

540: 인코딩부 550: 다운샘플링부

600: FGS 계층 인코더 610: 예측부

620: 변환부 630: 양자화부

640: 인코딩부 642: 변환 계수 분류부

644: 재배열부 646: 계수 코딩부

650: MUX 700: 기초 계층 디코더

710: 디코딩부 720: 역양자화부

730: 역변환부 740: 역예측부

760: DEMUX 800: FGS 계층 디코더

810: 디코딩부 812: 변환 계수 추출부

814: 역배열부 816: 계수 디코딩부

820: 역양자화부 830: 역변환부

840: 역예측부 1000: 인코더

2000: 디코더

본 발명은 비디오 압축 기술에 관한 것으로서, 더욱 상세하게는, H.264 스케일러블 비디오 코딩(Scalable Video Coding; SVC)에서 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하고 복호화하는 방법 및 장치에 관한 발명이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서, 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩 기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy)을 없애는 것이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 시간적으로 인접한 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 데이터 압축의 종류는 소스 데이터의 손실 여부와, 각각의 프레임에 대해 독립적으로 압축하는지 여부와, 압축과 복원에 필요한 시간이 동일한지 여부에 따라 각각 손실/무손실 압축, 프레임 내/프레임간 압축, 대칭/비대칭 압축으로 나눌 수 있다. 한편, 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 후 생성되는 멀티미디어 데이터를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 Mbit의 데이터를 전송할 수 있는 초고속 통신망에서부터 초당 384 kbit의 전송속도를 갖는 이동 통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 소위 스케일러블 비디오 코딩(Scalable Video Coding; SVC) 방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.

상기와 같은 스케일러블 비디오 코딩이란 넓은 의미로, 비디오의 해상도를 조절할 수 있는 성질을 의미하는 공간적 스케일러빌러티와 비디오의 화질을 조절할 수 있는 성질을 의미하는 SNR(Signal-to-Noise Ratio) 스케일러빌러티와, 프레임율을 조절할 수 있는 시간적 스케일러빌러티, 그리고 이들 각각을 조합한 것을 포함하는 의미이다.

이러한 스케일러블 비디오 코딩에 관하여, 이미 MPEG-4(moving picture experts group-21) Part 10에서 그 표준화 작업을 진행 중에 있다. 이 중에서도 다 계층(multi-layered) 기반의 스케일러빌리티를 구현하고자 하는 많은 노력들이 있다. 예를 들면, 기초 계층(base layer), 제 1 향상 계층(enhanced layer 1), 제 2 향상 계층(enhanced layer 2) 등의 다계층을 두고서, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF 등), 또는 서로 다른 프레임율(frame-rate)을 갖도록 구성할 수 있다.

하나의 계층으로 코딩하는 경우와 마찬가지로, 다계층으로 코딩하는 경우에 있어서도 각 계층별로 시간적 중복성(temporal redundancy)를 제거하기 위한 모션 벡터(Motion Vector; MV)를 구할 필요가 있다. 이러한 모션 벡터는 각 계층마다 별도로 검색하여 사용하는 경우(전자)가 있고, 하나의 계층에서 모션 벡터의 검색을 한 후 이를 다른 계층에서도 사용(그대로 또는 업/다운 샘플링하여)하는 경우(후자)도 있다.

도 1은 다계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이다. 먼저 기초 계층을 QCIF(Quarter Common Intermediate Format)_15Hz(프레임 레이트)로 정의하고, 제 1 향상 계층을 CIF(Common Intermediate Format)_30Hz로, 제 2 향상 계층을 SD(Standard Definition)_60Hz로 정의한다. 만약 CIF 0.5Mbps 스트림(stream)을 원한다면, 제 1 향상 계층의 CIF_30Hz_0.7Mbps에서 비트율(bit-rate)이 0.5Mbps가 되도록 비트스트림을 잘라서 보내면 된다. 이러한 방식으로 공간적, 시간적, SNR 스케일러빌리티를 구현할 수 있다.

상기 도 1에서 보는 바와 같이, 동일한 시간적 위치를 갖는 각 계층에서의 프레임(예: 10, 20, 및 30)은 그 이미지가 유사할 것으로 추정할 수 있다. 따라서, 하위 계층의 텍스쳐로부터 직접 또는 업샘플링을 거친 후 현재 계층의 텍스쳐를 예측하고, 상기 예측된 값과 상기 현재 계층의 텍스쳐와의 차분을 인코딩하는 방법이 알려져 있다. "Scalable Video Model 3.0 of ISO/IEC 21000-13 Scalable Video Coding"(이하 "SVM 3.0"이라 함)에서는 이러한 방법을 인트라 BL 예측(Intra_BL prediction)이라고 정의하고 있다.

이와 같이, 상기 SVM 3.0에서는, 기존의 H.264에서 현재 프레임을 구성하는 블록 내지 매크로블록에 대한 예측을 위하여 사용된 "인터 예측(inter prediction)" 및 "방향적 인트라 예측(directional intra prediction)" 이외에도, 현재 블록과 이에 대응되는 하위 계층 블록 간의 연관성(correlation)을 이용하여 현재 블록을 예측하는 방법을 추가적으로 채택하고 있다. 이러한 예측 방법을 "인트라 BL(Intra_BL) 예측"이라고 하고, 이러한 예측을 사용하여 부호화하는 모드를 "인트라 BL 모드"라고 한다.

도 2는 상기와 같은 3 가지 예측 방법을 설명하는 개략도로서, 현재 프레임(11)의 어떤 매크로블록(14)에 대하여 인트라 예측을 하는 경우(①)와, 현재 프레임(11)과 다른 시간적 위치에 있는 프레임(12)의 매크로블록(15)을 이용하여 인터 예측을 하는 경우(②)와, 상기 매크로블록(14)과 대응되는 기초 계층 프레임(13)의 영역(16)에 대한 텍스쳐 데이터를 이용하여 인트라 BL 예측을 하는 경우(③)를 각각 나타내고 있다. 이와 같이, 상기 스케일러블 비디오 코딩 표준에서는 매크로블록 단위로 상기 세가지 예측 방법 중 유리한 하나의 방법을 선택하여 이용하게 된다.

한편, 현재의 FGS 계층의 부호화 방법에서는 압축하고자 하는 현재 계층의 블럭의 변환 계수들(Transform Coefficients)을 중요 계수들(Significant Coefficients)과 정제 계수들(Refinement Coefficients)로 구분한 후 압축을 하게 된다. 이 때, 중요 계수들과 정제 계수들에 대해서는 서로 다른 부호화 방법이 적용되기 때문에, 현재 계층의 블럭의 비트스트림에 대한 파싱(parsing)이 상기 현재 계층에 대응되는 하위 계층에 의존하게 되어, 반드시 하위 계층에서 상위 계층의 방향으로 파싱이 수행되게 된다. 이는 압축 성능을 저하시키고 연산량을 증가시킨다는 문제가 있다.

따라서, FGS 계층의 구조에서 참조되지 않은 하위 계층을 파싱하지 않고 상위 계층을 먼저 독립적으로 파싱을 수행하기 위한 방법 및 장치가 요구된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 고안된 것으로서, 본 발명이 이루고자 하는 기술적 과제는, 복수의 FGS 계층을 가진 구조에서 독립적 파싱이 가능하도록 하여 연산량을 감소시킬 수 있는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하고 복호화하는 방법 및 장치를 제공하고자 하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 방법은, 현재 부호화하고자 하는 현재 계층에 속한 블럭의 변환 계수들을 중요 계수들과 정제 계수들로 분류하는 단계; 상기 분류에 따라 상기 중요 계수들 및 상기 정제 계수들을 각기 재배열하는 단계; 및 상기 재배열된 중요 계수들 및 상기 정제 계수들을 코딩하는 단계를 포함한다.

상술한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 방법은, 현재 복호화하고자 하는 현재 계층에 속한 비트 스트림을 파싱하여 변환 계수들을 추출하는 단계; 상기 하위 계층에 속한 블럭의 변환 계수들을 참조하여 상기 추출된 변환 계수들을 원래의 순서대로 역배열하는 단계; 및 상기 역배열된 변환 계수들을 디코딩하는 단계를 포함한다.

상술한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 장치는, 현재 부호화하고자 하는 현재 계층에 속한 블럭의 변환 계수들을 중요 계수들과 정제 계수들로 분류하는 변환 계수 분류부; 상기 분류에 따라 상기 중요 계수들 및 상기 정제 계수들을 각기 재배열하는 재배열부; 및 상기 재배열된 중요 계수들 및 상기 정제 계수들을 코딩하는 계수 코딩부를 포함한다.

상술한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 장치는, 현재 복호화하고자 하는 현재 계층에 속한 비트 스트림을 파싱하여 변환 계수들을 추출하는 변환 계수 추출부; 상기 하위 계층에 속한 블럭의 변환 계수들을 참조하여 상기 추출된 변환 계수들을 원래의 순서대로 역배열하는 역배열부; 및 상기 역배열된 변환 계수들을 디코딩하는 계수 디코딩부를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 바람직한 실시예들에 의하여 미리 정의된, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하고 복호화하는 방법 및 장치를 설명하기 위한 블럭도 또는 흐름도들을 참조하여 보다 상세히 설명한다.

본 발명의 명세서에서, 하위 계층(lower-layer)이라 함은 스케일러블 비디오 인코더에서 실제로 생성되는 비트스트림(bitstream)이 갖는 최고 프레임율보다 낮은 프레임율을 가지며, 상기 비트스트림이 갖는 최고 해상도보다 낮은 해상도를 가지는 비디오 시퀀스를 의미한다. 이와 같이, 하위 계층은 상기 최고 프레임율 및 상기 최고 해상도보다 낮은 소정의 프레임율 및 소정의 해상도를 가지면 되고, 반 드시 상기 비트스트림이 갖는 최저 프레임율 및 최저 해상도를 가질 필요는 없다. 이하 매크로블록을 중심으로 설명하지만, 본 발명의 범위가 매크로블록에 한정되는 것은 아니며, 상기 매크로블록 외에도 슬라이스, 프레임 등에도 적용될 수 있다.

도 3은 기초 계층과 복수개의 FGS 계층으로 구성된 구조를 나타내는 도면이다. 상기 도 3을 살펴보면, 기초 계층(100)의 FGS 계층(200)으로 구분되며, 상기 FGS 계층(200)은 다시 복수개의 계층으로 나뉘어 질 수 있는데, 상기 도 3에서는 편의상 3 개의 계층(210, 220, 및 230)으로 나누어 도시하고 있다. 이와 같은 구조는 SNR 스케일러빌러티를 지원하는 구조인데, SNR 스케일러빌러티는 영상의 화질을 별도의 복잡한 디코딩 과정없이도 점진적으로 화질을 조절할 수 있는 기술로서, MPEG-4는 물론 현재 국제 표준화가 진행 중인 H.264 SVC 에서도 FGS(fine grain scalability)라는 이름으로 지원되고 있는 특징이다.

H.264 SVC의 경우 복수 개의 계층을 지원할 수 있는 특징에 맞춰 FGS 계층도 복수 개의 계층을 연속적으로 쌓아서 부호화하고 있음을 알 수 있다. 상기 부호화가 수행되는 순서는 기초 계층(100)부터 시작하여 FGS 계층(200) 속의 제 1 FGS 계층(210), 제 2 FGS 계층(220), 및 제 3 FGS 계층(230)의 순서임을 알 수 있다. 먼저 부호화가 이루어진 하위 계층을 참조하여 상기 하위 계층의 차상위 계층의 부호화가 이루어진다. 반면에, 비트열의 일부를 제거하는 절삭(Truncation) 과정은 상기 부호화의 순서와 정반대 방향으로서, 최상위 계층(상기 도 3에서는 제3 FGS 계층)에서부터 아래 방향으로 이루어진다.

도 4a는 FGS 코딩 패스에서 현재 계층의 변환 계수들을 분류하는 과정을 나 타내는 도면이다.

현재 H.264 SVC working draft에서 기술하고 있는 FGS 계층의 부호화 방법에서는, 현재 계층의 변환 계수들을 부호화함에 있어서, 상기 현재 계층에 대응되는 하위 계층의 변환 계수의 값이 0인지 그렇지 않은지에 따라 각각 중요 계수(significant coefficient)와 정제 계수(refinement coefficient)로 크게 구분한다. 즉, 상기 하위 계층의 변환 계수의 값이 0의 값을 가지는 경우에는 상기 하위 계층에 대응되는 현재 계층의 블럭의 변환 계수를 중요 계수로 분류하며, 상기 하위 계층의 변환 계수의 값이 0의 값을 가지지 않는 경우에는 상기 현재 계층의 블럭의 변환 계수를 정제 계수로 분류하게 된다. 상기 분류된 변환 계수들은 이후의 스캔 과정을 거쳐 전송되게 되는데, 이는 도 4b를 참조하여 설명하기로 한다.

도 4b는 상기 도 4a의 결과에 따라 현재 계층의 변환 계수에 대한 스캐닝 순서를 결정하는 과정을 나타내는 도면이다. 실제 현재의 스캐닝 방식을 살펴보면, 대각선의 지그재그(Zig-zag) 방향으로 중요 계수들을 스캔하는 중요 패스를 지나고 난 후, 이어서 상기 정제 계수들을 스캔하는 정제 패스를 지나가게 된다. 상기 도 4b에서는 일직선 상으로 배열하였으나, 실제로는 대각선의 지그재그 방향으로 스캔 과정이 수행된다. 그리고, 상기 두 종류의 계수들은 비트스트림에서도 상기 중요 계수들이 상기 정제 계수들보다 먼저 위치하도록 함으로써, 상기 비트스트림의 크기를 줄이기 위한 절삭(Truncation) 과정에서 상기 정제 계수들이 먼저 절삭된다.

상기와 같은 현재의 FGS 계층에 대하여 변환 과정 이후의 부호화 방식을 살펴보면, 먼저 현재 압축하고자 하는 FGS 계층의 블럭의 변환 계수들을 상기 중요 계수들과 정제 계수들로 분류한 후, 상기 중요 계수들을 부호화하고, 이어서 상기 정제 계수들을 부호화하게 된다.

그런데, 상기 중요 계수들과 정제 계수들에 대해서는 서로 다른 부호화 방법이 적용되기 때문에, 현재 계층의 블럭의 비트스트림에 대한 파싱(parsing)이 상기 현재 계층에 대응되는 하위 계층에 의존하게 된다. 따라서, 디코더 측에서는 하위 계층의 블럭의 비트스트림에 대한 파싱이 모두 완료되어 변환 계수들을 획득한 후에야 상기 현재 계층의 비트스트림을 파싱할 수 있게 된다. 이러한 제약 조건은 복수 계층으로 구성된 FGS 계층 구조에서 파싱이 반드시 하위 계층에서 상위 계층의 방향으로 순차적으로 수행되어야 한다는 것을 의미한다. 따라서, 이는 연산량을 증가시켜 압축 성능을 저하시킬 수 있으므로, 복수 개의 계층들에 대한 블럭을 독립적으로 파싱할 수 있는 방안이 요구되는 바, 이는 도 5에서 후술하기로 한다.

상기 도 5의 과정은 일반적인 FGS 계층의 부호화 과정에 있어서, 예측 과정, 변환 과정, 및 양자화 과정을 거친 후의 변환 계수를 코딩하는 과정을 나타낸 것으로서, 상기 예측 과정, 변환 과정, 및 양자화 과정 등에 대해서는 후술할 도 8과 도 9에서 간략하게 설명하기로 하고, 여기서는 변환 계수를 코딩하는 과정에 대해서만 설명하기로 한다.

먼저, FGS 계층의 블럭을 부호화하고자 하는 현재 계층에 속한 블럭의 변환 계수들(311, 312)을 중요 계수들(311)과 정제 계수들(312)로 분류해야 한다. 계수 들의 분류 과정은 상기 도 4a의 설명 부분에서 언급한 바와 마찬가지로, 상기 현재 계층에 대응하는 하위 계층에 속한 블럭의 변환 계수들의 값이 0의 값을 가지는 블럭(301)인 경우에는, 상기 블럭(301)에 대응하는 현재 계층의 블럭의 변환 계수를 중요 계수(311)로 분류하며, 상기 하위 계층에 속한 블럭의 변환 계수들의 값이 0이 아닌 값을 가지는 블럭(302)인 경우에는, 상기 블럭(302)에 대응하는 현재 계층의 블럭의 변환 계수를 정제 계수(312)로 분류하게 된다.

그리고, 상기 분류 과정을 마친 후에는 상기 분류에 따라 상기 중요 계수들 및 상기 정제 계수들을 각각 다시 배열하는 재배열 과정(320)을 수행한다. 상기 재배열 과정(320)의 일 실시예로서, 상기 중요 계수들(311)을 모두 배열하고 난 다음에 나머지 정제 계수들(312)을 연결하여 배열하는 방식이 존재할 수 있다. 일반적으로 정제 계수들보다 중요 계수들이 화질에 영향을 더 많이 미치므로 중요 계수들을 먼저 스캔하는 것이 바람직하다. 물론, 상기 재배열 과정(320)의 또 다른 실시예로서, 상기 정제 계수들(312)을 모두 배열하고 난 다음에 나머지 중요 계수들(311)을 연결하여 배열할 수도 있다.

상기 도 5의 재배열 방식은 기존의 도 4b에 표현된 지그재그 방향의 스캔 방식에 비해서, 같은 종류의 계수에 대해서 일괄적으로 스캔을 하기 때문에 스캔의 효율이 향상되는 측면이 있다. 즉, 상기 변환 계수들을 중요 계수(311)와 정제 계수(312)로 분류하여 재배열함으로써, 비트열의 일부를 제거하는 절삭(Truncation) 과정의 성능을 향상시킬 수 있게 된다.

상기의 재배열 과정을 거친 후에는, 상기 중요 계수들 및 상기 정제 계수들 을 코딩하는 부호화 과정(330)을 수행한다. 기존의 중요 계수들에 대한 부호화 방식과 동일한 부호화 방식을 이용하여 상기 중요 계수들 및 상기 정제 계수들을 코딩하게 된다. 동일한 부호화 방식을 모든 계수들에 대해서 적용함으로 인해, 디코딩단에서의 독립적 파싱이 가능해질 수 있다.

한편, 상기 부호화 과정(330)에 사용될 수 있는 기술로는, 현재 H.264 표준에서 사용되는 CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding), Exp_Golomb(exponential Golomb) 등이 있다. 특히, 컨텍스트 기반 적응적 가변 길이 코딩(Context-based Adaptive Variable Length Coding; CAVLC)은 최근 코딩된 주변 블록들에 관한 정보를 이용하는 가변 길이 코딩이다. 현재 코딩되는 블록의 이웃 블록의 정보에 따라 복수 개의 코딩 참조 테이블 중 하나를 선택하여 가변 길이 코딩을 수행한다.

상술한 바와 같이, 인코딩단에서의 과정을 수행한 후에는, 디코딩단에서 비트스트림을 수신하여 디코딩을 수행하게 된다. 먼저, 현재 계층에 속한 비트스트림을 파싱하여 변환 계수들을 추출하여야 한다. 이 경우 상기 현재 계층에 대응하는 하위 계층을 참조하지 않고 독립적으로 파싱하는 독립적 파싱(340)을 수행한다. 이는 인코딩단에서 모든 변환 계수들에 대해서 동일한 부호화 방식이 적용되었기 때문이다. 복수 개의 계층들에 대해서 하위 계층에 의존하지 않고 독립적으로 파싱하게 되면, 멀티 프로세서(multi-processor) 환경에서 연산량을 크게 낮출 수 있을 뿐만 아니라, 참조되지 않은 하위 계층을 파싱하거나 디코딩하지 않고 상위 계층을 먼저 파싱할 수 있기 때문에, 추가적인 연산량을 감소시킬 수 있다.

상기 독립적 파싱 과정(340)에 의해, 변환 계수들을 추출한 후에는, 상기 인코딩단에서의 하위 계층의 블럭을 참조하여 상기 추출된 변환 계수들을 원래의 순서대로 배열하는 역배열 과정(350)을 수행하게 된다. 인코딩단에서 중요 계수들을 먼저 배열한 후에 정제 계수들을 배열하는 실시예의 경우라면, 디코딩단에서는 마찬가지로 상기 중요 계수들을 먼저 채우고 난 후에, 상기 정제 계수들을 채우게 된다. 만약, 인코딩단에서 정제 계수들을 먼저 배열하였다면, 디코딩단에서도 마찬가지로 정제 계수들을 먼저 채우고 난 후에, 상기 중요 계수들을 채우게 될 것이다.

상기 역배열 과정(350)에 의해, 변환 계수들을 원래의 위치로 복귀시킨 후에는, 종래의 방식대로 움직임 보상(360) 과정 등을 거쳐 디코딩을 수행하게 된다. 이 경우, 하위 계층에서부터 현재 계층의 방향으로 디코딩이 수행될 것이다.

도 6은 본 발명의 일 실시예에 따라 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 순서도이다. 먼저, 현재 계층에 대응되는 하위 계층의 블럭의 변환 계수들이 0의 값을 가지는지 여부를 판단한다(S210). 만약, 0 의 값을 가지는 경우에는 상기 현재 계층의 블럭의 변환 계수들을 중요 계수들로 분류하고(S212), 0의 값을 가지지 않는 경우에는 정제 계수들로 분류한다(S214). 상기 분류 결과에 따라, 상기 중요 계수들 및 상기 정제 계수들을 각기 재배열하고(S220), 상기 재배열된 중요 계수들 및 상기 정제 계수들에 대해서 동일한 부호화 방식을 이용하여 코딩하게 된다(S230).

도 7은 본 발명의 일 실시예에 따라 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 순서도이다. 먼저, 현재 복호화하고자 하는 현재 계층에 속한 비트 스트림을 파싱하여 변환 계수들을 추출하고(S310), 상기 하위 계층에 속한 블럭의 변환 계수들을 참조하여 상기 추출된 변환 계수들을 원래의 순서대로 역배열하게 된다(S320). 마지막으로, 상기 역배열된 변환 계수들을 종래의 방식으로 디코딩하게 된다(S330).

원래의 비디오 시퀀스는 FGS 계층 인코더(600)로 입력되고, 아울러 다운샘플링부(550)에 의하여 다운샘플링(계층간에 해상도의 변화가 있는 경우에 한함)된 후 기초 계층 인코더(500)로 입력된다.

예측부(610)는 현재 매크로블록에서 소정의 방법으로 예측된 이미지를 차분함으로써 잔차(Residual) 신호를 구한다. 상기 예측 방법으로는 방향적 인트라 예측, 인터 예측, 인트라 베이스 예측, 및 잔차 예측 등이 있다.

변환부(620)는 상기 구한 잔차 신호를 DCT, 웨이브렛 변환 등 공간적 변환 기법을 이용하여 변환하여 변환 계수를 생성한다.

양자화부(630)는 상기 변환 계수를 소정의 양자화 스텝으로 양자화하여(양자화 스텝이 클수록 데이터의 손실 내지 압축률이 높다) 양자화 계수를 생성한다. 상기 양자화(quantization)란 임의의 실수 값으로 표현되는 DCT 계수를 양자화 테이블에 따라 소정의 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 대응되는 인덱스로 매칭(matching)시키는 작업을 의미한다. 이와 같이 양자화된 결과 값을 양자화 계수(quantized coefficient)라고 한다.

한편, FGS 계층 인코더(600)에서와 마찬가지로, 기초 계층 인코더(500)도 동일한 기능의 예측부(510), 변환부(520), 및 양자화부(530)를 포함한다. 다만, 예측부(510)는 인트라 베이스 예측이나 잔차 예측은 사용할 수 없을 것이다.

인코딩부(640)는 상기 양자화 계수를 무손실 부호화하여 FGS 계층 비트스트림을 출력하고, 마찬가지로 기초 계층의 인코딩부(540)는 기초 계층 비트스트림을 출력한다. 상기와 같은 무손실 부호화 방법으로는, 허프만 부호화(Huffman coding), 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등의 다양한 무손실 부호화 방법을 사용할 수 있다.

Mux(650)는 FGS 계층 비트스트림과 기초 계층 비트스트림을 결합하여 비디오 디코더 단으로 전송할 비트스트림을 생성한다.

상기 인코딩부(640)는 변환 계수 분류부(642), 재배열부(644), 및 계수 코딩부(646)를 포함한다.

변환 계수 분류부(642)는 현재 부호화하고자 하는 현재 계층에 속한 블럭의 변환 계수들을 중요 계수들과 정제 계수들로 분류한다. 상기 하위 계층에 속한 블럭의 변환 계수들의 값이 0 인 경우에는 상기 현재 계층의 블럭의 변환 계수들을 중요 계수들로 분류하고, 0이 아닌 경우에는 정제 계수들로 분류함은 전술한 바와 같다.

재배열부(644)는 상기 분류에 따라 상기 중요 계수들 및 상기 정제 계수들을 각기 재배열하는데, 상기 중요 계수들을 모두 배열하고 난 후에, 상기 배열된 중요 계수들에 이어서 상기 정제 계수들을 모두 배열할 수도 있으며, 그 반대 방향의 배 열도 가능하다.

계수 코딩부(646)는 상기 재배열된 중요 계수들 및 상기 정제 계수들에 대해서, 동일한 부호화 방법을 이용하여 코딩하게 된다.

입력되는 비트스트림은 Demux(760)를 통하여 FGS 계층 비트스트림 및 기초 계층 비트스트림으로 분리되어 FGS 계층 디코더(800) 및 기초 계층 디코더(700)에 각각 제공된다.

디코딩부(810)는 인코딩부(640)와 대응되는 방식으로 무손실 복호화를 수행하여 양자화 계수를 복원한다. 상기 디코딩부(810)는 변환 계수 추출부(812), 역배열부(814), 및 계수 디코딩부(816)를 포함한다.

변환 계수 추출부(812)는 현재 복호화하고자 하는 현재 계층에 속한 비트 스트림을 파싱하여 변환 계수들을 추출하는 역할을 한다. 이때, 전술한 바와 같이, 상기 현재 계층에 대응하는 하위 계층을 참조하지 않고 독립적으로 파싱하게 된다. 역배열부(814)는 인코딩단에서의 하위 계층의 블럭을 참조하여 상기 추출된 변환 계수들을 원래의 순서대로 다시 배열하는 역할을 한다. 계수 디코딩부(816)는 상기 역배열된 변환 계수들을 하위 계층에서부터 현재 계층의 방향으로 디코딩하게 된다.

역양자화부(820)는 복원된 양자화 계수를 양자화부(630)에서 사용된 양자화 스텝으로 역 양자화한다. 역변환부(830)는 상기 역 양자화된 결과를 역 DCT 변환, 역 웨이브렛 변환 등의 역공간적 변환 기법을 사용하여 역변환한다.

역예측부(840)는 예측부(610)에서 구한 예측 이미지를 동일한 방식으로 구하고, 상기 구한 예측 이미지를 상기 역변환된 결과와 가산함으로써 비디오 시퀀스를 복원한다.

FGS 계층 디코더(800)에서와 마찬가지로, 기초 계층 디코더(700)도 동일한 기능의 디코딩부(710), 역양자화부(720), 역변환부(730), 및 역예측부(740)를 포함한다.

그런데, 상기와 같은 본 발명의 도 8 및 도 9에 도시되는 구성 요소로서, '~부'라는 용어는 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성 요소를 의미하며, 어떤 기능들을 수행한다. 그렇지만, 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 상기 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 상기 구성 요소는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 상기 구성 요소가 제공하는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다. 뿐만 아니라, 상기 구성 요소들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

한편, 본 발명의 실시예에 따른 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하고 복호화하는 장치의 권리 범위는 상기와 같은 방법을 컴퓨터에서 실행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체에도 미침은 당업자에게 자명하다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명의 실시예에 따르면, 다음과 같은 효과가 하나 또는 그 이상 존재한다.

복수의 FGS 계층을 가진 구조에서 독립적 파싱이 가능해지므로 영상 압축 방식에서 연산량을 감소시킬 수 있다.

또한, FGS 계층의 구조의 디코딩 과정에서 독립적 파싱을 가능하게 할 수 있 다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

Claims

다계층 구조의 비디오 신호를 구성하는 FGS 계층의 블럭에 포함되는 변환 계수들을 부호화하는 방법에 있어서,

부호화하고자 하는 현재 계층에 속한 블럭의 변환 계수들을 중요 계수들과 정제 계수들로 분류하는 단계;

상기 분류에 따라 상기 중요 계수들 및 상기 정제 계수들을 각기 재배열하는 단계; 및

상기 재배열된 중요 계수들 및 상기 정제 계수들을 코딩하는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 방법.
제 1 항에 있어서,

상기 분류하는 단계는,

상기 현재 계층에 대한 하위 계층에 속한 블럭의 변환 계수들의 값이 0 인 경우에는 상기 중요 계수들로 분류하고, 0이 아닌 경우에는 상기 정제 계수들로 분류하는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 방법.
제 1 항에 있어서,

상기 재배열하는 단계는,

상기 중요 계수들을 모두 배열하고 난 후에, 상기 배열된 중요 계수들에 이어서 상기 정제 계수들을 모두 배열하는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 방법.
제 1 항에 있어서,

상기 재배열하는 단계는,

상기 정제 계수들을 모두 배열하고 난 후에, 상기 배열된 정제 계수들에 이어서 상기 중요 계수들을 모두 배열하는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 방법.
제 1 항에 있어서,

상기 코딩하는 단계는,

상기 중요 계수들 및 상기 정제 계수들에 대해서 동일한 부호화 방법을 이용하여 코딩하는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 방법.
제 1 항의 방법을 컴퓨터에서 실행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
다계층 구조의 부호화된 비디오 신호를 구성하는 FGS 계층의 블럭에 포함되 는 변환 계수들을 복호화하는 방법에 있어서,

복호화하고자 하는 현재 계층에 속한 비트 스트림을 파싱하여 변환 계수들을 추출하는 단계;

상기 하위 계층에 속한 블럭의 변환 계수들을 참조하여 상기 추출된 변환 계수들을 원래의 순서대로 역배열하는 단계; 및

상기 역배열된 변환 계수들을 디코딩하는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 방법.
제 7 항에 있어서,

상기 변환 계수들을 추출하는 단계는,

상기 현재 계층에 대응하는 하위 계층을 참조하지 않고 독립적으로 파싱함으로써 변환 계수들을 추출하는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 방법.
제 7 항에 있어서,

상기 역배열하는 단계는,

상기 하위 계층에 속한 블럭의 변환 계수들의 값이 0 인 경우에 해당하는 중요 계수들을 먼저 배열하고 난 후에, 상기 변환 계수들의 값이 0이 아닌 경우에 해당하는 정제 계수들을 배열하는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 방법.
제 7 항에 있어서,

상기 역배열하는 단계는,

상기 하위 계층에 속한 블럭의 변환 계수들의 값이 0이 아닌 경우에 해당하는 정제 계수들을 먼저 배열하고 난 후에, 상기 변환 계수들의 값이 0인 경우에 해당하는 중요 계수들을 배열하는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 방법.
제 7 항에 있어서,

상기 디코딩하는 단계는,

상기 하위 계층에서부터 상기 현재 계층의 방향으로 수행되는 단계를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 방법.
제 7 항의 방법을 컴퓨터에서 실행하기 위한 프로그램 코드를 기록한 컴퓨터로 읽을 수 있는 기록 매체.
다계층 구조의 비디오 신호를 구성하는 FGS 계층의 블럭에 포함되는 변환 계수들을 부호화하는 장치에 있어서,

부호화하고자 하는 현재 계층에 속한 블럭의 변환 계수들을 중요 계수들과 정제 계수들로 분류하는 변환 계수 분류부;

상기 분류에 따라 상기 중요 계수들 및 상기 정제 계수들을 각기 재배열하는 재배열부; 및

상기 재배열된 중요 계수들 및 상기 정제 계수들을 코딩하는 계수 코딩부를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 장치.
제 13 항에 있어서,

상기 변환 계수 분류부는,

상기 현재 계층에 대한 하위 계층에 속한 블럭의 변환 계수들의 값이 0 인 경우에는 상기 중요 계수들로 분류하고, 0이 아닌 경우에는 상기 정제 계수들로 분류하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 장치.
제 13 항에 있어서,

상기 재배열부는,

상기 중요 계수들을 모두 배열하고 난 후에, 상기 배열된 중요 계수들에 이어서 상기 정제 계수들을 모두 배열하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 장치.
제 13 항에 있어서,

상기 재배열부는,

상기 정제 계수들을 모두 배열하고 난 후에, 상기 배열된 정제 계수들에 이어서 상기 중요 계수들을 모두 배열하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 장치.
제 13 항에 있어서,

상기 계수 코딩부는,

상기 중요 계수들 및 상기 정제 계수들에 대해서 동일한 부호화 방법을 이용하여 코딩하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 부호화하는 장치.
다계층 구조의 부호화된 비디오 신호를 구성하는 FGS 계층의 블럭에 포함되는 변환 계수들을 복호화하는 장치에 있어서,

복호화하고자 하는 현재 계층에 속한 비트 스트림을 파싱하여 변환 계수들을 추출하는 변환 계수 추출부;

상기 하위 계층에 속한 블럭의 변환 계수들을 참조하여 상기 추출된 변환 계수들을 원래의 순서대로 역배열하는 역배열부; 및

상기 역배열된 변환 계수들을 디코딩하는 계수 디코딩부를 포함하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 장치.
제 18 항에 있어서,

상기 변환 계수 추출부는,

상기 현재 계층에 대응하는 하위 계층을 참조하지 않고 독립적으로 파싱함으로써 변환 계수들을 추출하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 장치.
제 18 항에 있어서,

상기 역배열부는,

상기 하위 계층에 속한 블럭의 변환 계수들의 값이 0 인 경우에 해당하는 중요 계수들을 먼저 배열하고 난 후에, 상기 변환 계수들의 값이 0이 아닌 경우에 해당하는 정제 계수들을 배열하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 장치.
제 18 항에 있어서,

상기 역배열부는,

상기 하위 계층에 속한 블럭의 변환 계수들의 값이 0이 아닌 경우에 해당하는 정제 계수들을 먼저 배열하고 난 후에, 상기 변환 계수들의 값이 0인 경우에 해당하는 중요 계수들을 배열하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 장치.
제 18 항에 있어서,

상기 계수 디코딩부는,

상기 하위 계층에서부터 상기 현재 계층의 방향으로 수행하는, 변환 계수의 재배열을 이용하여 FGS 계층의 비디오 신호를 복호화하는 장치.