KR100679031B1

KR100679031B1 - 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치

Info

Publication number: KR100679031B1
Application number: KR1020050006804A
Authority: KR
Inventors: 한우진; 차상창; 하호진
Original assignee: 삼성전자주식회사
Priority date: 2004-12-03
Filing date: 2005-01-25
Publication date: 2007-02-05
Also published as: KR20060063532A; JP5270166B2; US20060120450A1; CN101069429A; CN101069429B; JP2008522537A

Abstract

본 발명은 비디오 압축 방법에 관한 것으로, 보다 상세하게는 비디오 프레임의 중복을 효율적으로 제거하기 위한 예측 방법, 및 이를 이용한 비디오 압축 방법 및 장치에 관한 것이다.

본 발명에 따른 다 계층 기반의 비디오 인코딩 방법은, 현재 인트라 블록의 주변 인트라 블록의 이미지로부터 상기 현재 인트라 블록에 대한 인트라 예측을 수행하여 예측 차분을 구하는 제1 단계와, 현재 인트라 블록과 대응되는 하위 계층의 이미지로부터 상기 현재 인트라 블록에 대한 예측을 수행하여 예측 차분을 구하는 제2 단계와, 상기 제1 단계의 예측 차분 및 상기 제2 단계의 예측 차분 중 부호화 효율이 더 높은 쪽을 선택하는 제3 단계와, 상기 선택된 예측 차분을 부호화하는 제4 단계를 포함한다.

다 계층, 스케일러빌리티, 인트라 예측, 시간적 예측, BL 예측 모드

Description

다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기 방법을 이용한 장치{Method for encoding/decoding video based on multi-layer, and apparatus using the method}

도 1은 기존의 H.264의 인트라 예측 모드를 도식적으로 나타내는 도면.

도 2는 도 1의 모드를 설명하기 위한 라벨링(labelling)을 나타낸 도면.

도 3은 도 1의 인트라 예측 모드 각각을 보다 자세히 설명하는 도면.

도 4는 입력 영상의 예를 도시하는 도면.

도 5는 기존의 방법에 따라서 양 모드 중 하나를 선택한 결과를 보여주는 도면.

도 6은 본 발명에 따라서 블록 별로 양 모드 중 하나를 선택한 결과를 예시한 도면.

도 7은 본 발명에 따른 수정 인트라 예측 모드는 도식적으로 표시한 도면.

도 8은 본 발명의 제1 실시예에 따른 비디오 인코더의 구성을 도시한 블록도.

도 9는 수정 인트라 예측 모드에서 참조하는 영역을 나타낸 도면.

도 10은 블록 별로 최적의 예측 모드를 결정하여 매크로블록을 형성한 예를 나타낸 도면.

도 11은 본 발명의 제1 실시예에 따른 비디오 디코더의 구성을 도시한 블록도.

도 12는 계층적 가변 블록 크기 정합의 예를 도식적으로 보여주는 도면.

도 13은 모션 블록 별로 모드를 결정하여 구성한 매크로블록을 도시하는 도면.

도 14는 본 발명의 제2 실시예에 따른 비디오 인코더의 구성을 도시한 블록도.

도 15는 본 발명의 제2 실시예에 따른 비디오 디코더의 구성을 도시한 블록도.

(도면의 주요부분에 대한 부호 설명)

100 : 기초 계층 인코더 200, 500 : 향상 계층 인코더

300 : 기초 계층 디코더 400, 600 : 향상 계층 디코더

1000, 3000 : 비디오 인코더 2000, 4000 : 비디오 디코더

205 : 차분기 210 : 블록 분할부

215 : 가산기 220 : 예측 블록 생성부

231 : 공간적 변환부 232 : 양자화부

233 : 엔트로피 부호화부 240, 270 : 모드 선택부

280 : 모션 보상부 290 : 모션 추정부

295 : 스위칭부 411 : 엔트로피 복호화부

412 : 역 양자화부 413 : 역 공간적 변환부

420 : 예측 블록 생성부 430 : 블록 조립부

440 : 모션 보상부 450 : 스위칭부

본 발명은 비디오 압축 방법에 관한 것으로, 보다 상세하게는 비디오 프레임의 중 복을 효율적으로 제거하기 위한 예측 방법, 및 이를 이용한 비디오 압축 방법 및 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다.

이러한 동영상 압축 방법으로서, 최근에 MPEG-4(Moving Picture Experts Group-4)에 비해 압축 효율을 한층 향상시킨 H.264 내지 AVC(Advanced Video Coding)에 대한 관심이 높아지고 있다. 압축 효율을 향상시키기 위한 스킴(scheme)의 하나로서, H.264는 한 프레임 내의 공간적인 유사성을 제거하기 위해 방향적 인트라 예측(directional intra-prediction)을 사용한다.

방향적 인트라 예측은 하나의 인트라 블록(intra-block)에 대해 상방향, 좌방향의 인접 픽셀들을 이용하여 정해진 방향으로 복사함으로써 현재 인트라 블록의 값들을 예측하고, 그 차분만을 부호화하는 방법이다.

H.264에서, 현재 인트라 블록에 대한 예측 블록은 앞선 코딩 순서를 갖는 다른 블록을 기반으로 생성된다. 그리고, 상기 현재 인트라 블록과 상기 예측 블록을 뺀 값이 코딩된다. 휘도 성분에 대하여, 예측 블록은 각각의 4×4 블록 또는 16×16 매크로블록 단위로 생성된다. 각각의 4×4 블록에 대한 선택 가능한 예측 모드는 9가지가 존재하며, 각각의 16×16 블록에 대해서는 4가지가 존재한다. H.264에 따른 비디오 인코더는 각각의 블록에 대하여, 상기 예측 모드들 중에서 현재 인트라 블록과 예측 블록과의 차이가 최소가 되는 예측 모드를 선택한다.

상기 4×4 블록에 대한 예측 모드로서, H.264에서는 도 1에서 도시하는 바와 같이 총 8개의 방향성을 갖는 모드(0, 1, 3 내지 8)와, 인접 8개의 픽셀의 평균 값을 사용하는 DC 모드(2)를 포함한 9가지 예측 모드를 사용한다.

도 2는 상기 9가지 예측 모드를 설명하기 위한 라벨링(labelling)의 예를 나타낸 것이다. 이 경우, 미리 디코딩 되는 샘플들(A 내지 M)을 이용하여 현재 인트라 블록에 대한 예측 블록(a 내지 p를 포함하는 영역)을 생성한다. 만약, 여기서 E, F, G, H가 미리 디코딩 될 수 없는 경우라면 그들의 위치에 D를 복사함으로써 E, F, G, H를 가상으로 생성할 수 있다.

도 3을 참조하여 9가지 예측 모드에 관하여 자세히 살펴 보면, 모드 0인 경우에는 예측 블록의 픽셀들은 상위 샘플들(A, B, C, D)을 이용하여 수직방향으로 외삽추정 (extrapolation)되고, 모드 1인 경우에는 좌측 샘플들(I, J, K, L)을 이용하여 수평 방향으로 외삽추정된다. 또한, 모드 2인 경우에는 예측 블록의 픽셀들은 상위 샘플들(A, B, C, D) 및 좌측 샘플들(I, J, K, L)의 평균으로 동일하게 대치된다.

한편, 모드 3인 경우에는 예측 블록의 픽셀들은 좌하(lower-left) 및 우상(upper-right) 사이에서 45°각도로 내삽추정(interpolation)되고, 모드 4인 경우에는 우하 방향으로 45°각도로 외삽추정된다. 또한, 모드 5인 경우에는 예측 블록의 픽셀들은 수직에서 오른쪽으로 약 26.6°각도(너비/높이 = 1/2)로 외삽추정된다.

한편, 모드 6인 경우에는 예측 블록의 픽셀들은 수평에서 약 26.6°아래쪽 방향으로 외삽추정되고, 모드 7인 경우에는 수직에서 좌측으로 약 26.6°방향으로 외삽추정된다. 마지막으로 모드 8인 경우에는 예측 블록의 픽셀들은 수평에서 약 26.6°위쪽 방향으로 내삽추정된다.

도 3의 화살표들은 각 모드에서 예측 방향을 나타낸다. 모드 3 내지 모드 8에서 예측 블록의 샘플들은 미리 디코딩 되는 참조 샘플들 A 내지 M의 가중 평균으로부터 생성될 수 있다. 예를 들어, 모드 4의 경우, 예측 블록의 우상단에 위치한 샘플(d)은 다음의 수학식 1과 같이 추정될 수 있다. 여기서, round() 함수는 정수 자리로 반올림하는 함수이다.

d = round (B/4+C/2+D/4)

한편, 휘도 성분에 대한 16×16 예측 모델에는 0, 1, 2, 3의 네 가지 모드가 있다. 모드 0의 경우, 예측 블록의 픽셀들은 상위 샘플들(H)로부터 외삽추정되고, 모드 1 의 경우에는 좌측 샘플들(V)로부터 외삽추정된다. 그리고, 모드 2의 경우에는, 예측 블록의 픽셀들은 상위 샘플들(H) 및 좌측 샘플들(V)의 평균으로 계산된다. 마지막으로, 모드 3의 경우에는, 상위 샘플들(H) 및 좌측 샘플들(V)에 맞는 선형 "plane" 함수를 이용한다. 이 모드는 휘도가 부드럽게 변하는 영역에 보다 적합하다.

한편, 이와 같이 비디오 코딩의 효율을 향상시키려는 노력과 함께, 다양한 네트워크 환경에 따라 전송 비디오 데이터의 해상도, 프레임율, 및 SNR(Signal-to-Noise Ratio)을 가변적으로 조절할 수 있게 해 주는, 즉 스케일러빌리티(scalability)를 지원하는 비디오 코딩 방법에 관한 연구도 활발하게 진행되고 있다.

이러한 스케일러블 비디오 코딩 기술에 관하여, 이미 MPEG-21(moving picture experts group-21) PART-13에서 그 표준화 작업을 진행 중에 있다. 이러한 스케일러빌리티를 지원하는 방법 중에서, 다 계층(multi-layered) 기반의 비디오 코딩 방법이 유력한 방식으로 인식되고 있다. 예를 들면, 기초 계층(base layer), 제1 향상 계층(enhanced layer 1), 제2 향상 계층(enhanced layer 2)을 포함하는 다 계층을 두어, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF), 또는 서로 다른 프레임율(frame-rate)을 갖도록 구성할 수 있다.

이러한 다 계층 비디오 코딩의 특성으로 인하여, 상기 인트라 예측 외에도 현재 프레임(10)과 동일한 시간적 위치에 존재하는 하위 계층의 텍스쳐 정보를 이용한 예측 방법(이하, 'BL 예측'이라고 함)을 사용할 수 있게 되었다. BL 예측 모드는 대부분 적절한(moderate) 예측 성능을 나타내지만, 인트라 예측 모드는 좋은 성능을 보이거나 나쁜 성능을 나타내기도 한다. 이에 따라 기존의 H.264 표준에서는 매크로블록 별로 인트라 예측 모드와 BL 예측 모드 중에서 유리한 방식을 선택하고 선택된 방식에 따라서 각 매크로블록을 부호화하는 방식을 제시하고 있다.

도 4와 같이 프레임 내에 어떠한 영상이 존재한다고 하고, 상기 영상은 BL 예측 모드가 보다 적합한 영역(음영으로 도시된 영역)과 인트라 예측 모드가 보다 적합한 영역(백색으로 된 영역)으로 나뉘어질 수 있다고 가정하자. 도 4에서 점선은 4×4 블록의 경계를 나타내고 실선은 매크로블록의 경계를 나타낸다.

이러한 경우에 기존의 H.264 방식을 적용하면, 도 5와 같이 매크로블록 별로 인트라 예측 모드로 부호화될 것으로 선택된 매크로블록(10b)과 BL 예측 모드로 부호화될 것으로 선택된 매크로블록(10a)로 나뉘어질 수 있다. 그러나, 이 결과는 도 4와 같이 매크로블록 내에서도 섬세한 에지를 갖는 영상에서는 적절하지 못한 결과이다. 왜냐하면, 하나의 매크로블록 내에서도 인트라 예측 모드가 적합한 영역과, BL 예측 모드가 적합한 영역이 공존하기 때문이다. 그럼에도 불구하고 매크로블록 단위로 양자의 모드 중 하나를 임의로 선택한다면 좋은 부호화 성능을 기대하기는 어려울 것이다.

본 발명은 상기한 문제점을 고려하여 창안된 것으로, 매크로블록 단위 보다 작은 영역 단위로 인트라 예측 모드 및 BL 예측 모드 중에서 유리한 방법을 선택하는 방법하는 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 기존의 인트라 예측 모드에 상기 BL 예측 모드를 추가하여 통일화 한 "수정 인트라 예측 모드"를 제시하는 것을 목적으로 한다.

아울러, 본 발명은 시간적 예측 모드에서도 이와 같은 스킴을 이용하여 모션 블록 별로, 시간적 차분을 구하는 모드와 BL 예측 모드 중에서 유리한 방법을 선택하는 방법을 제공하는 것을 또다른 목적으로 한다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 인코딩 방법은, 현재 인트라 블록의 주변 인트라 블록의 이미지로부터 상기 현재 인트라 블록에 대한 인트라 예측을 수행하여 예측 차분을 구하는 제1 단계; 현재 인트라 블록과 대응되는 하위 계층의 이미지로부터 상기 현재 인트라 블록에 대한 예측을 수행하여 예측 차분을 구하는 제2 단계; 상기 제1 단계의 예측 차분 및 상기 제2 단계의 예측 차분 중 부호화 효율이 더 높은 쪽을 선택하는 제3 단계; 및 상기 선택된 예측 차분을 부호화하는 제4 단계를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 디코딩 방법은, 인트라 블록 별로 수정 인트라 예측 모드, 및 텍스쳐 데이터를 추출하는 단계; 상기 텍스쳐 데이터로부터 상기 인트라 블록의 차분 이미지를 생성하는 단계; 상기 수정 인트라 예측 모드에 따라서, 미리 복원된 주변 인트라 블록, 또는 미리 복원된 대응되는 하위 계층의 이미지로부터 현재 인트라 블록의 예측 블록을 생성하는 단계; 및 상기 생성된 차분 이미지 및 상기 예측 블록을 가산하여 상기 현재 인트라 블록의 이미지를 복원하는 단계를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 인코딩 방 법은, 참조 프레임 중 현재 모션 블록과 대응되는 영역의 이미지로부터 상기 현재 모션 블록에 대한 시간적 예측을 수행하여 예측 차분을 구하는 제1 단계; 상기 현재 모션 블록과 대응되는 하위 계층 영역의 이미지로부터 상기 현재 모션 블록에 대한 예측을 수행하여 예측 차분을 구하는 제2 단계; 상기 제1 단계의 예측 차분 및 상기 제2 단계의 예측 차분 중 부호화 효율이 더 높은 쪽을 선택하는 제3 단계; 및 상기 선택된 예측 차분을 부호화하는 단계를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 디코딩 방법은, 모션 블록 별로 선택 모드, 모션 데이터, 및 텍스쳐 데이터를 추출하는 단계; 상기 텍스쳐 데이터로부터 상기 모션 블록의 차분 이미지를 생성하는 단계; 상기 선택 모드에 따라서, 미리 복원된 참조 프레임 중 대응되는 영역의 이미지, 또는 미리 복원된 대응되는 하위 계층의 이미지 중 하나를 선택하는 단계; 및 상기 생성된 차분 이미지 및 상기 선택된 이미지를 가산하여 상기 모션 블록의 이미지를 복원하는 단계를 포함한다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 인코더는, 현재 인트라 블록의 주변 인트라 블록의 이미지로부터 상기 현재 인트라 블록에 대한 인트라 예측을 수행하여 예측 차분을 구하는 제1 수단; 현재 인트라 블록과 대응되는 하위 계층 영역의 이미지로부터 상기 현재 인트라 블록에 대한 예측을 수행하여 예측 차분을 구하는 제2 수단; 상기 제1 수단에서 구한 예측 차분 및 상기 제2 수단에서 구한 예측 차분 중 부호화 효율이 더 높은 쪽을 선택하는 제3 수단; 및 상기 선택된 예측 차분을 부호화하는 제4 수단을 포함한다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 다 계층 기반의 비디오 디코더는, 인트라 블록 별로 수정 인트라 예측 모드, 및 텍스쳐 데이터를 추출하는 수단; 상기 텍스쳐 데이터로부터 상기 인트라 블록의 차분 이미지를 생성하는 수단; 상기 수정 인트라 예측 모드에 따라서, 미리 복원된 주변 인트라 블록, 또는 미리 복원된 대응되는 하위 계층의 이미지로부터 현재 인트라 블록의 예측 블록을 생성하는 수단; 및 상기 생성된 차분 및 상기 예측 블록을 가산하여 상기 인트라 블록의 이미지를 복원하는 수단을 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 6은 본 발명에 따른 인트라 블록(예: 4×4 블록) 별로 인트라 예측 모드와 BL 예측 모드 중에서 유리한 방식을 선택한 결과를 예시한 도면이다. 도 6을 참조하면, 도 5와 같이 기존의 H.264에서 제시하는 방법과는 비교할 때, 양자의 모드 중에서의 선택을 보다 섬세한 단위로 수행할 수 있다. 이와 같은 선택 단위는 매크로블록 보다 작은 크기의 단위를 임의로 선택할 수도 있겠지만, 인트라 예측 모드를 수행하는 크기에 맞추는 것이 보다 바람직할 것이다.

기존의 인트라 예측 모드는 휘도 성분(luminance component)에 대하여 4×4 모드 및 16×16 모드가 존재하고, 색차 성분(chrominance component)에 대하여 8×8 모드가 존재한다. 이 중에서 16×16 모드를 사용하는 경우에는 이미 그 크기가 매크로블록과 동일하므로 제외되고, 4×4 모드와 8×8 모드에 대하여 본 발명을 적용할 수 있을 것이다. 이하에서는 예컨대, 4×4 모드를 기준으로 하여 본 발명을 설명하도록 하겠다.

4×4 블록 단위로 인트라 예측 모드와 BL 예측 모드 중에서 선택을 한다고 상정하면, 상기 선택은 어차피 4×4 블록 단위로 수행되므로, 기존의 인트라 예측 모드와 BL 예측 모드를 별도로 구분할 필요 없이 BL 예측 모드를 기존의 인트라 예측 모드 중 하나의 세부 모드로 추가하는 것을 생각할 수 있다. 이와 같이, BL 예측 모드를 인트라 예측 모드의 하나의 세부 모드로 추가한 것을 본 발명에 따른 "수정 인트라 예측 모드"라고 명명하기로 한다.

수정 인트라 예측 모드에 따른 각각의 세부 모드는 다음의 표 1과 같이 나타낼 수 있다.

모드 번호	모드 명칭
0	Vertical (prediction mode)
1	Horizontal (prediction mode)
2	Base Layer (prediction mode)
3	Diagonal_Down_Left (prediction mode)
4	Diagonal_Down_Right (prediction mode)
5	Vertical_Right (prediction mode)
6	Horizontal_Down (prediction mode)
7	Vertical_Left (prediction mode)
8	Horizontal_Up (prediction mode)

기존의 인트라 예측 모드에서 모드 2는 DC 모드인데, 표 1에서 보면 수정 인트라 예측 모드에서는 상기 모드 2를 BL 예측 모드(Base Layer prediction mode)로 대체하는 것으로 나타나 있다. 이는 다른 방향성을 갖는 모드들에 비하여 DC 모드는 방향성이 없으므로 DC 모드에 의하여 잘 표현될 수 있는 인트라 블록은 BL 예측 모드에 의하여 충분히 잘 표현될 수 있을 것으로 추측되기 때문이다. 또한, 이것은 새로운 모드를 추가함으로써 생기는 오버헤드를 방지하기 위해서 이기도 하다.

표 1과 같이 정의된 수정 인트라 예측 모드는 도 7과 같이 도식적으로 표시될 수 있다. 수정 인트라 예측 모드는 기존의 방향성을 갖는 8개의 예측 모드와 하나의 BL 예측 모드를 포함한다. 이 경우, BL 예측 모드도 아래쪽(기초 계층 방향)으로의 방향성을 갖는 것으로 볼 수 있으므로, 수정 인트라 예측 모드는 전체적으로 총 9개의 방향적 예측 모드를 갖는 것이 된다.

그러나, 반드시 DC 모드를 BL 예측 모드로 대체 가능하다고는 볼 수 없기 때문에, 다음의 표 2와 같이 기존의 예측 모드를 그대로 유지하면서 BL 예측 모드를 '모드 9'로 추가할 수도 있다. 다만, 본 발명의 이하 설명에서는 표 1의 경우를 기준으로 하여 설명하는 것으로 한다.

모드 번호	모드 명칭
0	Vertical (prediction mode)
1	Horizontal (prediction mode)
2	DC (prediction mode)
3	Diagonal_Down_Left (prediction mode)
4	Diagonal_Down_Right (prediction mode)
5	Vertical_Right (prediction mode)
6	Horizontal_Down (prediction mode)
7	Vertical_Left (prediction mode)
8	Horizontal_Up (prediction mode)
9	Base Layer (prediction mode)

도 8은 본 발명의 일 실시예에 따른 비디오 인코더(1000)의 구성을 도시한 블록도이다. 비디오 인코더(1000)는 크게 기초 계층 인코더(100)와 향상 계층 인코더(200)를 포함하여 구성되는데, 먼저 항상 계층 인코더(200)의 구성을 살펴 본다.

블록 분할부(210)는 입력 프레임을 단위 인트라 블록으로 분할한다. 상기 단위 인트라 블록은 매크로블록보다 작은 임의 크기를 가질 수 있으나, 본 발명의 실시예에서는 상기 단위 인트라 블록은 4×4 픽셀 크기를 갖는 것으로 하여 설명한다. 상기 분할된 단위 인트라 블록은 차분기(205)로 입력된다.

예측 블록 생성부(220)는 역 공간적 변환부(251)로부터 제공되는 복원된 향상 계층 블록 및 기초 계층 인코더(100)로부터 제공되는 복원된 기초 계층의 이미지를 이용하여 수정 인트라 예측 모드 각각에 대하여 현재 인트라 블록의 예측 블록을 생성한다. 상기 복원된 향상 계층 블록을 이용하여 예측 블록을 생성하는 경우에는 도 3에서 전술한 바와 같은 계산 과정을 이용한다. 다만, DC 모드를 BL 예측 모드로 대체한다고 하면 도 3에서 DC 모드는 제외된다. 그리고, 상기 복원된 기초 계층의 이미지를 이용하여 예측 블록을 생성하는 경우에는, 상기 복원된 기초 계층의 이미지(31)을 직접 이용하거나 또는 향상 계층의 해상도에 맞게 업샘플링한 후 예측 블록으로 이용한다.

도 9를 참조하면, 예측 블록 생성부(220)는 현재 인트라 블록의 예측 블록(32)를 생성함에 있어서, 기 복원된 주변의 향상 계층 블록(33, 34, 35, 36), 특히 현재 인트라 블록과 인접된 픽셀 정보를 이용하여 예측 모드 0, 1, 3 내지 8 각각에 대하여 예측 블록을 생성한다. 그리고, 예측 모드 2에 대해서는 기 복원된 기초 계층의 이미지(31)을 직접 이용하거나(기초 계층 및 향상 계층의 해상도가 동일한 경우) 또는 향상 계층의 업샘플링한 후 예측 블록으로 이용한다(기초 계층 및 향상 계층의 해상도가 상이한 경우). 물론, 복원된 기초 계층의 이미지를 예측 블록으로 이용하기 전에 블록 인위성(block artifact)을 다소 감소시키기 위하여 디블럭(deblock) 과정을 더 거칠 수도 있음은 당업자에게는 자명한 사항이다.

차분기(205)는 블록 분할부(210)로부터 입력된 현재의 블록에서 예측 블록 생성부(220)에서 생성된 예측 블록을 차분함으로써 상기 현재 인트라 블록이 갖는 중복성(redundancy)을 제거한다.

이 후, 상기 차분된 결과는 공간적 변환부(231) 및 양자화부(232)를 거치면서 손실 부호화되고, 다시 엔트로피 부호화부(233)에 의하여 무손실 부호화된다.

공간적 변환부(231)는 차분기(205)에 의하여 시간적 중복성이 제거된 프레임에 대하여 공간적 변환(spatial transform)을 수행한다. 이러한 공간적 변환 방법으로는 DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등이 사용될 수 있다. 공간적 변환 결과 변환 계수가 구해지는데, 공간적 변환 방법으로 DCT를 사용하는 경우 DCT 계수가, 웨이블릿 변환을 사용하는 경우 웨이블릿 계수가 구해진다.

양자화부(232)는 공간적 변환부(231)에서 구한 변환 계수를 양자화하여 양자화 계수를 생성한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내는 작업을 의미한다. 이러한 양자화 방법으로는 스칼라 양자화, 벡터 양자화 등의 방법이 있는데, 이 중 간단한 스칼라 양자화 방법은 변환 계수를 양자화 테이블의 해당 값으로 나눈 후 정수 자리로 반올림하는 과정으로 수행된다.

한편, 공간적 변환 방법으로 웨이블릿 변환을 이용하는 경우에는 양자화 방법으로서 주로 엠베디드 양자화(embedded quantization) 방법을 이용한다. 이러한 엠베디드 양자화 방법은 상기 변환 계수를 문턱 값을 변경시켜 가면서(1/2로 변경) 그 문턱 값을 넘는 성분을 우선적으로 부호화하는 방식으로서, 공간적 연관성(spatial redundancy)를 이용하여 효율적인 양자화를 수행한다. 이러한 엠베디드 양자화 방법으로는 EZW(Embedded Zerotrees Wavelet Algorithm), SPIHT(Set Partitioning in Hierarchical Trees), EZBC(Embedded ZeroBlock Coding) 등이 있다.

엔트로피 부호화부(233)는 양자화부(232)에 의하여 생성된 양자화된 계수와, 모드 선택부(240)에 의하여 선택된 예측 모드를 무손실 부호화하여 향상 계층의 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등이 사용될 수 있다.

모드 선택부(240)는 수정 인트라 예측 모드 각각에 대하여 엔트로피 부호화부(233)에 의한 무손실 부호화를 수행한 결과를 비교하여 부호화 효율이 더 높은 모드를 선택한다. 여기서 부호화 효율은 주어진 비트율에 대하여 보다 우수한 화질을 나타내는 것을 기준으로 삼을 수 있는데, 이러한 기준으로서 레이트-왜곡(rate-distortion)에 기반한 비용함수가 주로 이용된다. 상기 비용함수의 계산 결과가 더 작으면 더 낮은 비용으로 부호화되는 것으로 볼 수 있으므로, 수정 인트라 예측 모드 중에서 최소의 비용을 나타내는 예측 모드를 선택하면 될 것이다.

상기 비용함수에서의 비용(C)는 수학식 2에 의하여 계산될 수 있다. 여기서, E는 부호화된 비트를 디코딩하여 복원된 신호와 원 신호와의 차이를 의미하고, B는 각 예측 모드를 수행하는데 소요되는 비트량을 의미한다. 또한, λ는 라그랑지안 계수로서 E와 B의 반영 비율을 조절할 수 있는 계수를 의미한다.

C = E + λB

상기 소요되는 비트량은 단순히 텍스쳐 데이터에 소요되는 비트만을 의미하는 것으로 정의할 수 있지만 각 예측 모드와 그에 대응되는 텍스쳐 데이터에 소요되는 비트량으로 정의하는 것이 보다 정확한 방법이 될 것이다. 왜냐하면, 각각의 예측 모드 별로 할당된 예측 모드의 숫자도 엔트로피 부호화부(233)에 의하여 부호화된 결과는 동일하지 않을 수 있으며, 특히 기존의 H.264에서도 상기 예측 모드를 주변 인트라 블록의 예측 모드로 부터의 추정을 통해 절약된 결과만을 부호화하므로 추정의 효율성에 따라서 부호화 결과는 다를 수 있기 때문이다.

모드 선택부(240)는 이와 같이 블록 단위로 모드 선택을 수행한 결과, 도 10에서 예시하는 바와 같이 매크로블록(10)을 이루는 각 블록 별로 최적의 예측 모드를 모두 결정하게 된다. 여기서, 음영으로 표시된 블록은 BL 예측 모드를 의미하고, 백색으로 표시된 블록은 기존의 방향성을 갖는 인트라 예측 모드를 의미한다.

다만, 본 발명에 따른 수정 인트라 예측 모드가 적용되는 블록의 배수는 매크로블록의 크기가 되는 것이 바람직하지만, 반드시 이에 구애될 필요는 없으며 상기 배수와 매크로블록의 크기가 일치하지 않는 경우, 즉 하나의 프레임을 임의로 분할한 영역을 단위로 본 발명을 적용할 수도 있을 것이다.

모드 선택부(240)는 이러한 비교, 선택 과정을 통하여 선택된 예측 모드를 엔트로피 부호화부(233)에 전달하면, 엔트로피 부호화부(233)는 상기 수정 인트라 예측 모드 각각에 대하여 구한 비트스트림 중에서 상기 선택된 예측 모드에 해당하는 비트스트림을 출력하게 된다.

만약, 비디오 인코더(1000)가 인코더 단과 디코더 단 간의 드리프팅 에러(drifting error)를 감소하기 위하여 폐루프 인코딩(closed-loop encoding)을 지원하는 경우에는, 비디오 인코더(1000)는 역 양자화부(252), 역 공간적 변환부(251)를 더 포함할 수 있다.

역 양자화부(252)는 양자화부(232)에서 양자화된 계수를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정의 역에 해당되는 과정이다.

역 공간적 변환부(251)는 상기 역양자화 결과를 역 공간적 변환하여 현재 인트라 블록을 복원하고 이를 예측 블록 생성부(220)에 제공한다.

한편, 다운 샘플러(110)는 입력 프레임을 기초 계층의 해상도가 되도록 다운 샘플링한다. 이러한 다운 샘플러로는 MPEG 다운샘플러, 웨이블릿 다운샘플러, 기타 다양한 다운샘플러를 이용할 수 있다.

기초 계층 인코더(100)는 상기 다운 샘플링된 기초 계층 프레임을 부호화하여 기초 계층 비트스트림이 생성하는 한편, 상기 부호화된 결과를 다시 복호화한다. 상기 복호화 과정을 통하여 복원된 기초 계층 프레임 중에서, 향상 계층의 현재 인트라 블록에 대응되는 영역의 텍스쳐 정보는 예측 블록 생성부(220)에 제공된다. 물론, 기초 계층과 향상 계층의 해상도가 상이하다면 예측 블록 생성부(220)에 제공되기 이전에 업샘플러(120)에 의한 업샘플링 과정을 더 거쳐야 할 것이다. 이러한 업샘플링 과정은 상기 다운 샘플링 방식에 대응되는 방식으로 수행되는 것이 바람직하지만 반드시 이에 한정되지는 않는다.

이러한 기초 계층 인코더(100)도 향상 계층 인코더(200)와 마찬가지 과정으로 동작될 수 있지만, 이에 한정되지 않으며 기초 계층 인코더(100)는 종래의 인트라 예측 과정, 시간적 예측 과정, 기타 다른 예측 과정을 포함하여 기초 계층 프레임을 부호화/복호화 하더라도 무방하다.

도 11은 본 발명의 일 실시예에 따른 비디오 디코더(2000)의 구성을 도시한 블록도이다. 비디오 디코더(2000)는 크게 기초 계층 디코더(300)와 향상 계층 디코더(400)를 포함하여 구성될 수 있다. 먼저 향상 계층 디코더(400)의 구성을 살펴 보면 다음과 같다.

엔트로피 복호화부(411)는 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하 여, 각 단위 인트라 블록 별로 수정 인트라 예측 모드, 및 텍스쳐 데이터를 추출한다. 그리고, 상기 예측 모드는 예측 블록 생성부(420)에 제공하고 텍스쳐 데이터는 역 양자화부(412)에 제공한다.

역 양자화부(412)는 엔트로피 복호화부(411)로부터 전달된 텍스쳐 데이터를 역 양자화한다. 역 양자화 과정은 인코더(1000)의 양자화부(232)에서 수행된 과정의 역으로 수행된다. 예를 들어, 스칼라 양자화의 경우, 상기 텍스쳐 데이터와 대응되는 양자화 테이블(인코더(1000)에서 이용한 양자화 테이블과 동일함)의 값을 곱하는 방식으로 수행될 수 있다.

역 공간적 변환부(413)는 공간적 변환을 역으로 수행하여, 상기 역 양자화 결과 생성된 계수들로부터 현재 인트라 블록의 차분 이미지를 생성한다. 예를 들어, 비디오 인코더(1000) 단에서 웨이블릿 방식으로 공간적 변환된 경우에는 역 공간적 변환부(413)는 역 웨이블릿 변환을 수행할 것이고, 비디오 인코더 단에서 DCT 방식으로 공간적 변환된 경우에는 역 DCT 변환을 수행할 것이다.

예측 블록 생성부(420)는 엔트로피 부호화부(411)에서 제공된 예측 모드에 따라서, 가산기(215)에서 출력되는 기 복원된 현재 인트라 블록의 주변 인트라 블록 또는 기초 계층 디코더(300)에서 복원된 현재 인트라 블록에 대응되는 기초 계층의 이미지를 이용하여 예측 블록을 생성한다. 예를 들어, 모드 0, 1, 3 내지 8인 경우에는 주변 인트라 블록으로부터 예측 블록을 생성하고, 모드 2인 경우에는 기초 계층의 이미지로부터 예측 블록을 생성할 수 있다.

가산기(215)는 역 공간적 변환부(413)에서 제공되는 복원된 차분 블록과 상기 예측 블록을 가산함으로써, 현재 인트라 블록의 이미지를 복원한다. 가산기(215)의 출력은 예측 블록 생성부(420) 및 블록 조립부(430)로 입력된다.

마지막으로, 블록 조립부(430)는 상기 복원된 차분 블록들을 조립하여 하나의 프레임을 복원한다.

한편, 기초 계층 디코더(300)는 기초계층 비트스트림으로부터 기초 계층 프레임을 복원한다. 상기 복원된 기초 계층 프레임 중에서, 향상 계층의 현재 인트라 블록에 대응되는 영역의 텍스쳐 정보는 예측 블록 생성부(420)에 제공된다. 물론, 기초 계층과 향상 계층의 해상도가 상이하다면 예측 블록 생성부(420)에 제공되기 이전에 업샘플러(310)에 의한 업샘플링 과정을 더 거쳐야 할 것이다.

이러한 기초 계층 디코더(300)도 향상 계층 디코더(400)와 마찬가지 과정으로 동작될 수 있지만, 이에 한정되지 않으며 기초 계층 디코더(300)는 종래의 인트라 예측 과정, 시간적 예측 과정, 기타 다른 예측 과정을 포함하여 기초 계층 프레임을 복호화 하더라도 무방하다.

지금까지는 BL 예측 모드를 인트라 예측 모드의 하나의 모드로 포함시키는 실시예(제1 실시예)에 대하여 설명하였다. 본 발명의 다른 실시예(제2 실시예)로서, BL 예측 모드를 시간적 예측 과정에 포함시켜 사용하는 방식에 대하여 설명하도록 한다. 도 12를 보면, 기존의 H.264는 각 매크로블록의 시간적 중복성을 제거하기 위하여 계층적 가변 크기 블록 정합(Hierarchical Variable Size Block Matching; HVSBM)을 이용한다. 먼저, 하나의 매크로블록(10)은 4개의 모드를 갖는 서브 블록들로 분할될 수 있다. 즉, 매크로블록(10)은 16×16 모드, 8×16 모드, 16×8 모드, 및 8 ×8 모드로 일단 분할될 수 있다. 그리고 8×8 크기의 서브 블록들은 다시 4×8 모드, 8×4 모드, 및 4×4 모드로 더 분할될 수 있다(분할되지 않으면 8×8 모드를 그래도 사용한다). 따라서, 하나의 매크로블록(10)은 최대 7가지의 서브 블록들의 조합으로 구성될 수 있다.

하나의 매크로 블록(10)을 이루는 최적 서브 블록들의 조합의 선택은, 여러가지 조합 가능한 경우 중에서 가장 비용이 작은 경우를 선택함으로써 이루어질 수 있다. 매크로블록(10)을 세분화할 수록 보다 정확한 블록 정합이 이루어지는 반면에 그 만큼 모션 데이터(모션 벡터, 서브 블록 모드 등)의 수는 증가하므로 양자 사이에서 최적의 접합점을 찾을 수 있는 것이다. 예를 들어, 복잡한 변화가 없는 단순한 배경 이미지는 보다 큰 크기를 갖는 서브 블록 모드가 선택될 가능성이 클 것이고, 복잡하고 섬세한 에지가 존재하는 이미지는 보다 작은 크기를 갖는 서브 블록 모드가 선택될 가능성이 클 것이다.

본 발명의 제2 실시예는 도 13과 같이 상기 최적의 서브 블록의 조합으로 구성된 매크로블록(10)에 대하여, 각 서브 블록별로 종래와 같이 그대로 시간적 차분을 구할 것인지, 시간적 차분을 구하는 대신에 BL 예측 모드를 적용할 것인지를 판단하는 것을 특징으로 한다. 도 13에서 I(11)는 시간적 차분을 적용할 서브 블록을, BL(12)는 BL 예측 모드를 적용할 서브 블록의 일 예를 나타낸다.

하나의 서브 블록에 대하여 양자 중에서 어떤 것을 선택하기 위하여, 다음의 수학식 3와 같은 레이트-왜곡 기반의 비용함수 식을 이용할 수 있다. 여기서, C_i는 시간 적 차분을 적용하는 경우의 비용을, C_b는 BL 예측 모드를 적용하는 경우의 비용을 각각 나타낸다. 그리고, E_i는 시간적 차분을 적용할 때 원 신호와 복원된 신호의 차이를, B_i는 시간적 예측에 따른 모션 데이터 및 상기 시간적 차분으로 구해지는 텍스쳐 정보를 부호화하는데 소요되는 비트량을 의미한다. 또한, E_b는 BL 예측 모드를 사용할 때 원 신호와 복원된 신호의 차이를, B_b는 BL 예측 모드를 나타내는 정보 및 상기 BL 예측 모드에 따른 텍스쳐 정보를 부호화하는데 소요되는 비트량을 의미한다.

C_i = E_i + λB_i

C_b = E_b + λB_b

수학식 3에서 상기 C_i 및 C_b 중에서 작은 값에 해당되는 방법을 각각의 서브 블록 별로 선택하면 도 13과 같이 표현될 수 있을 것이다.

한편, H.264 표준에서는 시간적 예측(모션 추정 및 모션 보상을 포함함) 과정을 수행함에 있어서, 상기와 같은 계층적 가변 크기 블록 정합 방법을 이용하지만, MPEG 등 다른 표준에서는 고정 크기 블록 정합을 이용하는 경우도 있다. 본 발명의 제2 실시예는 매크로블록을 가변 블록으로 분할하거나, 고정 블록으로 분할함에 상관 없이, 일단 분할된 블록 각각에 대하여 BL 예측 모드를 사용할 것인가, 다른 참조 프레임과의 차분을 구할 것인가를 선택하는 것이 주안점이다. 이하에서는 상기 가 변 크기 블록, 또는 고정 크기 블록 등 모션 벡터를 구하는 기본 단위가 되는 블록들을 "모션 블록"이라고 명명하기로 한다.

도 14는 본 발명의 제2 실시예에 따른 비디오 인코더(3000)의 구성을 도시한 블록도이다. 비디오 인코더(3000)는 크게 기초 계층 인코더(100)와 향상 계층 인코더(500)를 포함하여 구성되는데, 먼저 항상 계층 인코더(500)의 구성을 살펴 본다.

모션 추정부(290)는 참조 프레임을 기준으로 현재 프레임의 모션 추정을 수행하고 모션 벡터를 구한다. 이러한 모션 추정은 매크로블록 단위로 수행되는데, 계층적 가변 블록 정합 알고리즘, 또는 고정 블록 정합 알고리즘 등에 의하여 수행될 수 있다. 여기서 블록 정합이란, 주어진 모션 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정하는 것을 의미한다 모션 추정부(290)는 모션 추정 결과 구해지는 모션 벡터, 모션 블록의 종류, 참조 프레임 번호 등의 모션 정보는 엔트로피 부호화부(233)에 제공한다.

모션 보상부(280)는 상기 구한 모션 벡터를 이용하여 상기 참조 프레임에 대하여 모션 보상(motion compensation)을 수행하여 모션 보상 프레임을 생성한다. 이와 같은 모션 보상 프레임은 참조 프레임 중 현재 프레임의 각 블록에 대응되는 블록으로 생성된 가상의 프레임을 의미한다. 상기 모션 보상 프레임은 스위칭부(295)에 제공된다.

스위칭부(295)는 모션 보상부(280)로부터 제공되는 모션 보상 프레임과, 기초 계층 인코더(100)로부터 제공되는 기초 계층 프레임을 수신하여 모션 블록 단위로 상기 프레임들의 텍스쳐를 각각 차분기(205)에 제공한다. 물론, 향상 계층과 기초 계층이 동일하지 않으면 기초 계층 인코더(100)에서 생성되는 기초 계층 프레임은 업샘플러(120)를 통하여 업샘플링된 후 스위칭부(295)에 제공되어야 할 것이다.

차분기(205)는 입력 프레임의 소정의 모션 블록(현재 모션 블록)에서 스위칭부(295)에서 제공되는 텍스쳐를 차분함으로써 상기 현재 모션 블록이 갖는 중복성(redundancy)을 제거한다. 즉, 차분기(205)는 스위칭부(295)에서 입력되는 신호에 따라, 현재 모션 블록과 이와 대응되는 모션 보상 프레임의 모션 블록과의 차분(이하, 제1 예측 차분이라고 함)을 구하거나, 현재 모션 블록과 이와 대응되는 기초 계층 프레임의 영역과의 차분(이하, 제2 예측 차분이라고 함)을 구한다.

이 후, 상기 제1 예측 차분 및 제2 예측 차분은 공간적 변환부(231) 및 양자화부(232)를 거치면서 손실 부호화되고, 다시 엔트로피 부호화부(233)에 의하여 무손실 부호화된다.

모드 선택부(270)는 엔트로피 부호화부(233)에 의하여 부호화된 제1 예측 차분 및 제2 예측 차분 중에서 부호화 효율이 더 높은 쪽을 선택한다. 이러한 선택 기준의 일 예로서, 상기 수학식 3의 설명에서의 판단 방법을 이용할 수 있다. 제1 예측 차분 및 제2 예측 차분은 모두 모션 블록 단위로 계산된 것이므로 모드 선택부(270)는 전체 모션 블록에 대하여 상기 선택을 반복하여 수행한다.

모드 선택부(270)는 이러한 비교, 선택 과정을 통하여 선택된 결과(예를 들어, 인덱스 0 또는 1로 표시할 수 있음)를 엔트로피 부호화부(233)에 전달하면, 엔트로피 부호화부(233)는 상기 선택된 결과에 해당하는 비트스트림을 출력하게 된다.

만약, 비디오 인코더(3000)가 인코더 단과 디코더 단 간의 드리프팅 에러(drifting error)를 감소하기 위하여 폐루프 인코딩(closed-loop encoding)을 지원하는 경우에는, 비디오 인코더(3000)는 역 양자화부(252), 역 공간적 변환부(251), 및 가산기(215)를 더 포함할 수 있다. 가산기(215)는 모션 보상부(280)에서 출력되는 모션 보상 프레임과 역 공간적 변환부(251)에 의하여 복원되는 차분 프레임을 가산하여 참조 프레임을 복원하고 이를 모션 추정부(290)에 제공한다.

한편, 다운 샘플러(110), 업샘플러(120), 및 기초 계층 인코더(100)의 동작은 제1 실시예와 마찬가지이므로 중복된 설명은 생략하기로 한다.

도 15는 본 발명의 일 실시예에 따른 비디오 디코더(4000)의 구성을 도시한 블록도이다. 비디오 디코더(4000)는 크게 기초 계층 디코더(300)와 향상 계층 디코더(600)를 포함하여 구성될 수 있다.

엔트로피 복호화부(411)는 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하여, 각 모션 블록 단위로 선택 모드, 모션 데이터, 및 텍스쳐 데이터를 추출한다. 여기서 선택 모드란 비디오 인코더(3000)에서 모션 블록 단위로 계산되는, 시간적 차분(제1 예측 차분) 및 기초 계층과의 차분(제4 예측 차분) 중에서 선택된 결과를 나타내는 인덱스(예를 들어, 0, 또는 1로 표시될 수 있음)를 의미할 수 있다. 그리고, 엔트로피 복호화부(411)는 상기 선택 모드를 스위칭부(450)에, 상기 모션 데이터를 모션 보상부(440)에, 상기 텍스쳐 데이터를 역 양자화부(412)에 각각 제공한다.

역 양자화부(412)는 엔트로피 복호화부(411)로부터 전달된 텍스쳐 데이터를 역 양 자화한다. 역 양자화 과정은 인코더(1000)의 양자화부(232)에서 수행된 과정의 역으로 수행된다.

역 공간적 변환부(413)는 공간적 변환을 역으로 수행하여, 상기 역 양자화 결과 생성된 계수들로부터 상기 모션 블록 별로 차분 이미지를 생성한다.

한편, 모션 보상부(440)는 엔트로피 복호화부(411)로부터 제공되는 모션 데이터를 이용하여, 기 복원된 비디오 프레임을 모션 보상하여 모션 보상 프레임을 생성하고, 이 중에서 현재 모션 블록에 해당되는 이미지(제1 이미지)를 스위칭부(450)에 제공한다.

그리고, 기초 계층 디코더(300)는 기초 계층 비트스트림으로부터 기초 계층 프레임을 복원하고, 이 중에서 현재 모션 블록에 해당되는 이미지(제2 이미지)를 스위칭부(450)에 제공한다. 물론, 이 경우 필요시 업샘플러(310)에 의한 업샘플링 과정을 더 거칠 수도 있다.

스위칭부(450)는 엔트로피 부호화부(411)에서 제공되는 선택 모드에 따라서, 상기 제1 이미지와 상기 제2 이미지 중 하나를 선택하고 이를 예측 블록으로서 가산기(215)에 제공한다.

가산기(215)는 역 공간적 변환부(413)에서 제공되는 생성된 차분 이미지와 스위칭부(450)에 의해 선택되어 상기 예측 블록을 가산함으로써 현재 모션 블록에 대한 이미지를 복원한다. 이와 같은 과정으로 모션 블록별 이미지를 반복하여 복원해 나가면 결국 하나의 프레임을 복원할 수 있는 것이다.

지금까지 도 8, 도 11, 도 14, 및 도 15의 각 구성요소는 소프트웨어(software) 또 는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

본 발명에 따르면, 입력되는 비디오 특성에 보다 적합한 방식으로 다 계층 비디오 코딩을 수행할 수 있다. 또한, 본 발명에 따르면 다 계층 비디오 코덱의 성능을 향상시킬 수 있다.

Claims

(a) 현재 인트라 블록의 주변 인트라 블록의 이미지로부터 상기 현재 인트라 블록에 대한 인트라 예측을 수행하여 예측 차분을 구하는 단계;

(b) 현재 인트라 블록과 대응되는 하위 계층의 이미지로부터 상기 현재 인트라 블록에 대한 예측을 수행하여 예측 차분을 구하는 단계;

(c) 상기 (a) 단계의 예측 차분 및 상기 (b) 단계의 예측 차분 중 부호화 효율이 더 높은 쪽을 선택하는 단계; 및

(d) 상기 선택된 예측 차분을 부호화하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
제1항에 있어서, 상기 인트라 예측은

8개의 방향성을 갖는 인트라 예측 모드에 따라서 수행되는, 다 계층 기반의 비디오 인코딩 방법.
제1항에 있어서, 상기 인트라 블록은

4×4 픽셀 크기를 갖는, 다 계층 기반의 비디오 인코딩 방법.
제2항에 있어서, 상기 인트라 예측은 상기 8개의 인트라 예측 모드에 (b) 단계의 예측을 추가하여 전체적으로 9개의 인트라 예측 모드를 갖는, 다 계층 기반의 비디 오 인코딩 방법.
제1항에 있어서, 상기 하위 계층 영역의 이미지는

부호화된 하위 계층 프레임을 복호화하여 복원되는 프레임 중에서 상기 현재 인트라 블록에 대응되는 영역의 이미지를 의미하는, 다 계층 기반의 비디오 인코딩 방법.
제1항에 있어서, 상기 주변 인트라 블록의 이미지는

부호화된 주변 인트라 블록을 복호화하여 복원되는 이미지를 의미하는, 다 계층 기반의 비디오 인코딩 방법.
제1항에 있어서, 상기 부호화 효율은 레이트-왜곡(rate-distortion)에 기반한 비용함수에 의하여 판단되는, 다 계층 기반의 비디오 인코딩 방법.
제1항에 있어서, 상기 (d) 단계는

상기 선택된 차분을 공간적 변환하여 변환 계수를 생성하는 단계;

상기 생성된 변환 계수를 양자화하여 양자화 계수를 생성하는 단계; 및

상기 양자화 계수를 무손실 부호화하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
(a) 인트라 블록 별로 수정 인트라 예측 모드, 및 코딩된 데이터를 추출하는 단계;

(b) 상기 코딩된 데이터로부터 상기 인트라 블록의 차분 이미지를 생성하는 단계;

(c) 상기 수정 인트라 예측 모드에 따라서, 미리 복원된 주변 인트라 블록 또는 미리 복원된 하위 계층의 이미지로부터 현재 인트라 블록의 예측 블록을 생성하는 단계; 및

(d) 상기 생성된 차분 이미지 및 상기 예측 블록을 가산하여 상기 현재 인트라 블록의 이미지를 복원하는 단계를 포함하는, 다 계층 기반의 비디오 디코딩 방법.
제9항에 있어서, 상기 (b) 단계는

상기 코딩된 데이터를 역 양자화하는 단계; 및

상기 역 양자화 결과를 역 공간적 변환하는 단계를 포함하는, 다 계층 기반의 비디오 디코딩 방법.
제9항에 있어서, 상기 수정 인트라 예측 모드는 8개의 방향성을 갖는 인트라 예측 모드와, 상기 인트라 블록과 동일한 시간적 위치에 존재하는 하위 계층의 영역으로부터 예측하는 모드를 포함하는, 다 계층 기반의 비디오 디코딩 방법.
(a) 참조 프레임 중 현재 모션 블록과 대응되는 영역의 이미지로부터 상기 현재 모션 블록에 대한 시간적 예측을 수행하여 예측 차분을 구하는 단계;

(b) 상기 현재 모션 블록과 대응되는 하위 계층 영역의 이미지로부터 상기 현재 모 션 블록에 대한 예측을 수행하여 예측 차분을 구하는 단계;

(c) 상기 (a) 단계의 예측 차분 및 상기 (b) 단계의 예측 차분 중 부호화 효율이 더 높은 쪽을 선택하는 단계; 및

(d) 상기 선택된 예측 차분을 부호화하는 단계를 포함하는, 다 계층 기반의 비디오 인코딩 방법.
제12항에 있어서, 상기 모션 블록은

계층적 가변 크기 블록 정합을 통하여 생성되는, 다 계층 기반의 비디오 인코딩 방법.
제12항에 있어서, 상기 모션 블록은

고정 크기 블록 정합을 통하여 생성되는, 다 계층 기반의 비디오 인코딩 방법.
제12항에 있어서, 상기 부호화 효율은 레이트-왜곡(rate-distortion)에 기반한 비용함수에 의하여 판단되는, 다 계층 기반의 비디오 인코딩 방법.
제12항에 있어서, 상기 하위 계층 영역의 이미지는

부호화된 하위 계층 프레임을 복호화하여 복원되는 프레임 중에서 상기 현재 모션 블록에 대응되는 영역의 이미지를 의미하는, 다 계층 기반의 비디오 인코딩 방법.
제12항에 있어서, 상기 참조 프레임은

상기 현재 모션 블록과 다른 시간적 위치에 존재하는 프레임을 프레임을 부호화한 후, 복호화하여 복원되는 프레임을 의미하는, 다 계층 기반의 비디오 인코딩 방법.
(a) 모션 블록 별로 선택 모드, 모션 데이터, 및 코딩된 데이터를 추출하는 단계;

(b) 상기 코딩된 데이터로부터 상기 모션 블록의 차분 이미지를 생성하는 단계;

(c) 상기 선택 모드에 따라서, 미리 복원된 참조 프레임 중 대응되는 영역의 이미지, 또는 미리 복원된 대응되는 하위 계층의 이미지 중 하나를 선택하는 단계; 및

(d) 상기 생성된 차분 이미지 및 상기 선택된 이미지를 가산하여 상기 모션 블록의 이미지를 복원하는 단계를 포함하는, 다 계층 기반의 비디오 디코딩 방법.
제18항에 있어서, 상기 (b) 단계는

상기 코딩된 데이터를 역 양자화하는 단계; 및

상기 역 양자화 결과를 역 공간적 변환하는 단계를 포함하는, 다 계층 기반의 비디오 디코딩 방법.
현재 인트라 블록의 주변 인트라 블록의 이미지로부터 상기 현재 인트라 블록에 대한 인트라 예측을 수행하여 예측 차분을 구하는 제1 수단;

현재 인트라 블록과 대응되는 하위 계층 영역의 이미지로부터 상기 현재 인트라 블록에 대한 예측을 수행하여 예측 차분을 구하는 제2 수단;

상기 제1 수단에서 구한 예측 차분 및 상기 제2 수단에서 구한 예측 차분 중 부호화 효율이 더 높은 쪽을 선택하는 제3 수단; 및

상기 선택된 예측 차분을 부호화하는 제4 수단을 포함하는, 다 계층 기반의 비디오 인코더.
인트라 블록 별로 수정 인트라 예측 모드, 및 코딩된 데이터를 추출하는 수단;

상기 코딩된 데이터로부터 상기 인트라 블록의 차분 이미지를 생성하는 수단;

상기 수정 인트라 예측 모드에 따라서, 미리 복원된 주변 인트라 블록, 또는 미리 복원된 대응되는 하위 계층의 이미지로부터 현재 인트라 블록의 예측 블록을 생성하는 수단; 및

상기 생성된 차분 및 상기 예측 블록을 가산하여 상기 인트라 블록의 이미지를 복원하는 수단을 포함하는, 다 계층 기반의 비디오 디코더.