KR20070015097A - 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 - Google Patents

Abstract

본 발명은 다 계층 비디오 인코더 또는 디코더에서 사용되는 디블록 필터(deblocking filter)에 관한 것이다.

인트라 BL 모드로 코딩된 현재 블록과 및 그 인접 블록과의 경계에 대한 디블록 필터링시 필터 강도를 결정하는 방법에 있어서, 상기 현재 블록 또는 상기 인접 블록이 계수(coefficients)를 갖는가를 판단하는 단계와, 상기 판단 결과 그러한 경우에는 상기 필터 강도를 제1 필터 강도로 설정하는 단계와, 상기 판단 결과 그러하지 아니한 경우에는 상기 필터 강도를 제2 필터 강도로 설정하는 단계를 포함하는데, 상기 제1 필터 강도는 상기 제2 필터 강도보다 큰 것을 특징으로 한다.

스케일러블 비디오 코딩, 다 계층 비디오, 인트라 BL 모드, 디블록 필터, 필터 강도, H.264

Description

인트라 ＢＬ 모드를 고려한 디블록 필터링 방법, 및 상기 방법을 이용하는 다 계층 비디오 인코더/디코더{Deblocking filtering method considering intra BL mode, and video encoder/decoder based on multi-layer using the method}

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱의 한 예를 보여주는 도면.

도 2는 종래의 H.264 표준에 따른 디블록 필터 강도를 결정하는 방법을 설명하는 흐름도.

도 3은 스케일러블 비디오 코딩에서의 3가지 코딩 방식을 설명하는 개략도.

도 4는 동일 기초 픽쳐를 기반으로 한 인트라 BL 모드의 일 예를 도시하는 도면.

도 5는 본 발명의 일 실시예에 따른 다 계층 비디오 코더의 필터 강도 결정 방법을 나타낸 흐름도.

도 6은 블록의 수직 경계 및 대상 샘플들을 나타낸 도면.

도 7은 블록의 수평 경계 및 대상 샘플들을 나타낸 도면.

도 8은 현재 블록 q와 인접 블록 p_a, p_b의 위치 관계를 나타낸 도면.

도 9는 본 발명의 일 실시예에 따른 폐루프 방식의 비디오 인코더의 구성을 나타낸 블록도.

도 10은 본 발명의 일 실시예에 따라 생성되는 비트스트림의 구조를 나타낸 도면.

도 11은 휘도 성분에 대하여 매크로블록 및 블록의 경계를 나타낸 도면.

도 12는 색차 성분에 대하여 매크로블록 및 블록의 경계를 나타낸 도면.

도 13은 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 나타낸 블록도.

(도면의 주요부분에 대한 부호 설명)

50 : 비트스트림 100 : 기초 계층 인코더

200 : 향상 계층 인코더 500 : 기초 계층 디코더

600 : 향상 계층 디코더 1000 : 비디오 인코더

3000 : 비디오 디코더 290, 690 : 디블록 필터

291, 691 : 필터 강도 결정부

본 발명은 비디오 압축 기술에 관한 것으로, 보다 상세하게는 다 계층 비디오 인코더 또는 디코더에서 사용되는 디블록 필터(deblocking filter)에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화 상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가 비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 키로 비트의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러빌리 티(scalability)를 갖는 데이터 코딩방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.

이러한 스케일러빌리티란, 하나의 압축된 비트스트림에 대하여 비트율, 에러율, 시스템 자원 등의 조건에 따라 디코더(decoder) 단 또는 프리디코더(pre-decoder) 단에서 부분적 디코딩을 할 수 있게 해주는 부호화 방식이다. 디코더 또는 프리디코더는 이러한 스케일러빌리티를 갖는 코딩 방식으로 부호화된 비트스트림의 일부만을 취하여 다른 화질, 해상도, 또는 프레임율을 갖는 멀티미디어 시퀀스를 복원할 수 있다.

이러한 스케일러블 비디오 코딩에 관하여, 이미 MPEG-21(moving picture experts group-21) PART-13에서는 그 표준화 작업을 진행 중에 있다. 이 중에서도, 다 계층(multi-layered) 기반의 비디오 코딩 방법에 의하여 스케일러빌리티를 구현하고자 하는 많은 연구들이 있었다. 이러한 다 계층 비디오 코딩의 예로, 기초 계층(base layer), 제1 향상 계층(enhanced layer 1), 제2 향상 계층(enhanced layer 2)의 다 계층을 두어, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF), 또는 서로 다른 프레임율(frame-rate)을 갖도록 구성할 수 있다.

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코딩 방식의 일 예를 보여준다. 상기 방식에서, 기초 계층은 QCIF(Quarter Common Intermediate Format), 15Hz(프레임율)로 설정되고, 제1 향상 계층은 CIF(Common Intermediate Format), 30hz로, 제2 향상 계층을 SD(Standard Definition), 60hz로 설정된다.

이와 같은 다 계층 비디오 프레임을 인코딩하는 데에는 계층 간의 관련성을 이용할 수 있는데, 예를 들어, 제1 향상 계층의 비디오 프레임 중 어떤 영역(12)은, 기초 계층의 비디오 프레임 중에서 대응되는 영역(13)으로부터의 예측을 통하여 효율적으로 인코딩된다. 마찬가지로 제2 향상 계층 비디오 프레임 중의 영역(11)은 상기 제1 향상 계층의 영역(12)으로부터의 예측을 통하여 효율적으로 인코딩될 수 있다. 만약, 다 계층 비디오에 있어서 각 계층 별로 해상도가 상이한 경우에는 상기 예측을 수행하기 이전에 기초 계층의 이미지는 업샘플링 되어야 할 것이다.

현재, ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)와 ITU(International Telecommunication Union)의 비디오 전문가들 모임인 JVT(Joint Video Team)에서 진행중인 스케일러블 비디오 코딩(이하, SVC 라 함) 표준에서는, 기존의 H.264를 기반으로 하여 도 1의 예와 같은 다 계층 기반의 코딩 기술에 관한 연구가 활발히 진행되고 있다.

그런데, H.264에서는 공간적 변환 방법으로서 DCT 변환을 이용하는데, 이러한 DCT 기반의 코덱에서는 압축률이 높아짐에 따라 바람직하지 못한 블록 인위성(blocking artifacts)이 발생한다. 이러한 블록 인위성을 발생시키는 원인으로는 크게 두 가지를 들 수 있다.

그 원인은 먼저, 블록 기반의 정수 DCT 변환에 기인한다. 상기 DCT 변환 결과인 DCT 계수를 양자화함으로써 블록 경계에서의 불연속성이 발생되기 때문이다. H.264에서는 상대적으로 작은 크기인 4x4 크기의 DCT 변환 단위를 이용하므로 이러 한 문제는 다소 줄어들겠지만 충분히 해결되었다고는 볼 수 없다.

그리고, 블록 인위성을 발생시키는 두 번째 원인은 모션 보상 예측이다. 모션 보상 블록은 다른 참조 프레임의 다른 위치로부터 보간된 픽셀 데이터를 복사하여 생성된다. 이 데이터가 정확히 일치하지는 않기 때문에, 복사된 블록의 에지(edge)에는 불연속성이 발생한다. 또한, 상기 복사 과정에 있어서 참조 프레임에 존재하는 블록의 불연속성은 모션 보상되는 블록의 내부에 그대로 전달된다.

근래에, 이러한 블록 인위성을 감소시키기 위한 몇 가지 방향의 기술이 개발되었다. H.263 및 MPEG-4에서는 블로킹 효과를 감소시키기 위하여 중복 블록 모션 보상(overlapped block motion compensation; OBMC) 기법을 제시한다. OBMC가 블록 인위성을 감소시키는 데 효과적이라고 하더라도, 인코더 단에서의 모션 추정시 요구되는 연산량이 매우 크다는 문제가 있다. 그래서, H.264에서는 디블록 필터(deblocking filter)를 이용하여 상기 블록 인위성을 감소시키고 주관적/객관적 화질을 향상시키고자 한다. 상기 필터에 의한 필터링 과정은, 인코더 또는 디코더 단에서, 역 변환 이후 매크로 블록을 복원하기 전에 적용된다. 이 경우, 여러 가지 상황에 적합하도록 디블록 필터를 적용하는 강도를 조절할 수 있도록 되어 있다.

도 2는 종래의 H.264 표준에 따른 디블록 필터 강도를 결정하는 방법을 설명하는 흐름도이다. 여기서, 블록 q 및 블록 p는 디블록 필터를 적용할 블록 경계를 이루는 두 개의 블록으로서, 각각 현재 블록(current block) 및 인접 블록(neighboring block)을 나타낸다. p 또는 q가 인트라 코딩된 블록인가, 대상 샘플이 매크로블록 경계에 위치하는가, p 또는 q가 코딩된 블록인가 등에 따라서 0 내지 4까지 5가지의 필터 강도(Bs라 표시됨)가 부여된다. 여기서 Bs=0인 경우 해당 대상 픽셀은 디블록 필터를 적용하지 않는다는 의미이다.

다시 말해서, 이와 같은 종래의 디블록 필터 강도 결정에서는, 대상 샘플이 존재하는 현재 블록 및 인접 블록이 인트라 코딩된 것인가, 인터 코딩된 것인가, 또는 코딩되지 않은 것인가를 필터 강도 적용을 위한 기준으로 삼고 있다. 그리고, 대상 샘플이 4x4 블록의 경계에 존재하는가 16x16 매크로블록의 경계에 존재하는가도 또 다른 적용 기준으로 삼고 있다.

그런데, 현재까지 진행된 SVC 표준 초안(draft)에서는 도 3과 같이 기존의 인터 코딩 방식(인터 모드), 인트라 코딩 방식(인트라 모드) 뿐만 아니라, 하위 계층에서 생성된 프레임을 이용하여 현재 계층에서의 프레임을 예측하는 기술, 즉 인트라 BL 코딩 방식(인트라 BL 모드)를 채택하고 있다.

도 3은 상기 3가지 모드를 설명하는 개략도로서, 현재 프레임(1)의 어떤 매크로블록(4)에 대하여 인트라 코딩을 하는 경우(①)와, 현재 프레임(1)과 다른 시간적 위치에 있는 프레임(2)을 이용하여 인터 코딩을 하는 경우(②)와, 상기 매크로블록(4)과 대응되는 기초 계층 프레임(3)의 영역(6)의 이미지를 이용하여 인트라 BL 코딩을 하는 경우(③)를 각각 나타내고 있다.

이와 같이, 상기 스케일러블 비디오 코딩 표준에서는 매크로블록 단위로 상기 세가지 예측 방법 중 유리한 하나의 방법을 선택하고, 그에 따라서 해당 매크로블록을 부호화하는 방법을 이용한다. 즉, 하나의 매크로블록에서는 인터 예측, 인트라 예측 및 인트라 BL 예측 중 하나의 예측 방법이 선택적으로 사용된다.

그런데, 현재 SVC 표준에서는 디블록 필터 강도를 결정함에 있어서 도 2의 흐름도에서도 나타낸 바와 같이 종래 H.264 표준을 그대로 따르고 있다.

그러나, 다 계층 비디오 인코더/디코더에서는 각 계층 별로 디블록 필터가 적용되므로, 현재 계층 프레임을 효율적으로 예측하기 위하여 하위 계층에서 제공되는 프레임에 다시 디블록 필터를 강하게 적용시키는 것은 비합리적이다. 그럼에도 현재의 SVC 표준에서는 인트라 BL 모드를 인트라 코딩의 일종으로 간주하기 때문에, 도 2와 같은 H.264의 필터 강도 결정 방식을 그대로 적용함으로써, 상기 필터 강도 결정을 함에 있어서 현재 블록이 인트라 BL 모드로 코딩되었는지 여부는 전혀 고려되지 못하고 있는 실정이다.

각각의 상황에 적합한 필터 강도를 결정하여 디블록 필터를 적용하는 것이 복원된 비디오의 객관적, 주관적 화질의 상승에 상당한 도움을 준다는 것은 이미 알려져 있다. 따라서, 다 계층 비디오 인코딩/디코딩시에 인트라 BL 모드에 해당하는지 여부를 고려하여 적절하게 필터 강도를 결정하는 기법을 고안할 필요가 있다.

본 발명은 상기한 필요성을 고려하여 창안된 것으로, 다 계층 비디오 인코더/디코더에서 디블록 필터가 적용될 블록이 인트라 BL 모드를 사용하는가 여부에 따라서 적절한 디블록 필터 강도를 부여하는 것을 목적으로 한다.

본 발명의 목적은 상기 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 목적을 달성하기 위하여, 인트라 BL 모드로 코딩된 현재 블록과 및 그 인접 블록과의 경계에 대한 디블록 필터링시 필터 강도를 결정하는 방법에 있어서, (a) 상기 현재 블록 또는 상기 인접 블록이 계수(coefficients)를 갖는가를 판단하는 단계; (b) 상기 판단 결과 그러한 경우에는 상기 필터 강도를 제1 필터 강도로 설정하는 단계; 및 (c) 상기 판단 결과 그러하지 아니한 경우에는 상기 필터 강도를 제2 필터 강도로 설정하는 단계를 포함하는데, 상기 제1 필터 강도는 상기 제2 필터 강도보다 크다.

상기한 목적을 달성하기 위하여, 인트라 BL 모드로 코딩된 현재 블록과 및 그 인접 블록과의 경계에 대한 디블록 필터링시 필터 강도를 결정하는 방법에 있어서, (a) 상기 현재 블록 및 상기 인접 블록이 동일한 기초 픽쳐를 갖는 인트라 BL 모드에 속하는가를 판단하는 단계; (b) 상기 판단 결과 그러하지 아니한 경우에는 상기 필터 강도를 제1 필터 강도로 설정하는 단계; 및 (c) 상기 판단 결과 그러한 경우에는 상기 필터 강도를 제2 필터 강도로 설정하는 단계를 포함하는데, 상기 제1 필터 강도는 상기 제2 필터 강도보다 크다.

상기한 목적을 달성하기 위하여, 인트라 BL 모드로 코딩된 현재 블록과 및 그 인접 블록과의 경계에 대한 디블록 필터링시 필터 강도를 결정하는 방법에 있어서, (a) 상기 현재 블록과 상기 인접 블록이 계수(coefficients)를 갖는가를 판단하는 단계; (b) 상기 현재 블록과 상기 인접 블록이 동일한 기초 픽쳐를 갖는 인트라 BL 모드에 속하는가를 판단하는 단계; 및 (c) 상기 현재 블록과 상기 인접 블록이 계수를 갖는 것을 제1 조건으로 하고, 상기 현재 블록과 상기 인접 블록이 동일 한 기초 픽쳐를 갖는 인트라 BL 모드에 속하지 않는 것을 제2 조건으로 할 때, 상기 두 개의 조건을 모두 만족하면 상기 필터 강도를 제1 필터 강도로 설정하고, 상기 두 개의 조건 중 어느 하나만 만족하면 상기 필터 강도를 제2 필터 강도로 설정하며, 상기 두 개의 조건 모두 만족하지 않으면 상기 필터 강도를 제3 필터 강도로 설정하는 단계를 포함하는데, 상기 제1 필터 강도, 상기 제2 필터 강도, 및 상기 제3 필터 강도 순으로 갈수록 크기가 작아진다.

상기한 목적을 달성하기 위하여, 디블록 필터링을 이용하는 다계층 기반의 비디오 인코딩 방법에 있어서, (a) 입력 비디오 프레임을 부호화하는 단계; (b) 상기 부호화된 프레임을 복호화하는 단계; (c) 상기 복호화된 프레임에 포함되는 현재 블록과 인접 블록이 이루는 경계에 대하여 적용할 필터 강도를 결정하는 단계; 및 (d) 상기 결정된 디블록 필터 강도에 따라서 상기 경계에 대하여 디블록 필터링을 수행하는 단계를 포함하는데, 상기 (c) 단계는 상기 현재 블록이 인트라 BL 모드에 속하는가와, 상기 현재 블록 또는 상기 인접 블록이 계수를 갖는가를 고려하여 수행된다.

상기한 목적을 달성하기 위하여, 디블록 필터링을 이용하는 다계층 기반의 비디오 디코딩 방법에 있어서, (a) 입력된 비트스트림으로부터 비디오 프레임을 복원하는 단계; (b) 상기 복원된 프레임에 포함되는 현재 블록과 인접 블록이 이루는 경계에 대하여 적용할 필터 강도를 결정하는 단계; 및 (c) 상기 결정된 디블록 필터 강도에 따라서 상기 경계에 대하여 디블록 필터링을 수행하는 단계를 포함하는데, 상기 (b) 단계는 상기 현재 블록이 인트라 BL 모드에 속하는가와, 상기 현재 블록 또는 상기 인접 블록이 계수를 갖는가를 고려하여 수행된다.

상기한 목적을 달성하기 위하여, 디블록 필터링을 이용하는 다계층 기반의 비디오 인코더에 있어서, 입력 비디오 프레임을 부호화하는 제1 유닛; 상기 부호화된 프레임을 복호화하는 제2 유닛; 상기 복호화된 프레임에 포함되는 현재 블록과 인접 블록이 이루는 경계에 대하여 적용할 필터 강도를 결정하는 제3 유닛; 및 상기 결정된 디블록 필터 강도에 따라서 상기 경계에 대하여 디블록 필터링을 수행하는 제4 유닛을 포함하는데, 상기 제3 유닛은 상기 현재 블록이 인트라 BL 모드에 속하는가와, 상기 현재 블록 또는 상기 인접 블록이 계수를 갖는가를 고려하여 상기 필터 강도를 결정한다.

상기한 목적을 달성하기 위하여, 디블록 필터링을 이용하는 다계층 기반의 비디오 디코더에 있어서, 입력된 비트스트림으로부터 비디오 프레임을 복원하는 제1 유닛; 상기 복원된 프레임에 포함되는 현재 블록과 인접 블록이 이루는 경계에 대하여 적용할 필터 강도를 결정하는 제2 유닛; 및 상기 결정된 디블록 필터 강도에 따라서 상기 경계에 대하여 디블록 필터링을 수행하는 제3 유닛을 포함하는데, 상기 제2 유닛은 상기 현재 블록이 인트라 BL 모드에 속하는가와, 상기 현재 블록 또는 상기 인접 블록이 계수를 갖는가를 고려하여 상기 필터 강도를 결정한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태 로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명에 있어서, 종래의 H.264에 따른 방향적 인트라 예측 모드(directional intra prediction mode; 이하 방향적 인트라 모드라고 함)와 다른 계층의 픽쳐를 참조하는 인트라 BL 모드(intra BL mode)는 엄격히 구분될 뿐만 아니라, 상기 인트라 BL 모드는 오히려 인터 예측 모드(inter prediction mode: 이하 인터 모드라고 함)의 일종으로 판단한다. 왜냐하면, 인터 모드는 현재 픽쳐를 예측함에 있어 동일한 계층에서의 주변 픽쳐를 참조하는 것으로, 현재 픽쳐를 예측함에 있어 다른 계층의 픽쳐, 즉 기초 픽쳐를 참조하는 인터 BL 모드와 유사하기 때문이다. 즉, 인터 모드와 인트라 BL 모드는 어떤 픽쳐를 참조하여 예측하느냐의 차이만 있을 뿐이다.

한편, 본 발명에서는 H.264에서의 인트라 모드와 인트라 BL 모드를 명확하게 구분하기 위하여, 상기 인트라 모드는 방향적 인트라 모드라고 명기할 것이다.

본 발명에서는 현재 블록 q가 인트라 BL 모드가 아니면 종래의 H.264에서의 필터 강도를 적용하고, 인트라 BL 모드이면 필터 강도 선택을 위한 새로운 알고리즘을 적용한다. 상기 알고리즘에 따르면, 먼저 현재 블록 q와 인접한 주변 블록 p가 인트라 모드인 경우에는 최대 필터 강도(Bs=4)를 적용한다. 그렇지 않다면, q는 인트라 BL 모드 이거나 인터 모드일 것인데, 이 때에는 p 또는 q가 계 수(coefficients)를 갖는 것을 제1 조건으로, p 및 q가 동일 기초 픽쳐를 갖는 인트라 BL 모드에 속하지 않는 것을 제2 조건으로 설정한다.

상기 제1 조건은 p 및 q 중 적어도 하나가 계수를 갖는 경우에는 그렇지 않은 경우에 비하여 상대적으로 높은 필터 강도를 적용할 필요가 있다는 것으로 고려한 조건이다. 일반적으로, 비디오 코딩시 어떤 값을 코딩할 때, 그 값이 어떤 임계치보다 작은 경우에는 그 값을 단순히 0으로 바꾸고 코딩을 하지 않는다. 따라서, 이 경우에는 어떤 블록에 포함되는 계수(coefficient)는 0이 되며, 상기 블록은 계수를 갖지 않을 수 있다. 계수를 갖지 않는 블록에 대하여는 높은 강도의 필터를 적용할 필요가 없다.

상기 제2 조건은 p 및 q가 동일 기초 픽쳐를 갖는 인트라 BL 모드에 속하지 않을 것을 조건으로 한다. 따라서, p 또는 q가 인터 모드에 속하거나 p 및 q가 서로 다른 기초 픽쳐를 갖는 인트라 BL 모드에 속하는 경우 상기 제2 조건이 만족되지 않는다.

도 4와 같이, 인트라 BL 모드에 속하는 두 블록(p, q)가 동일한 기초 픽쳐(15)를 갖는다고 한다. 상기 두 블록(p, q)은 현재 픽쳐(20)에 속하며, 기초 픽쳐(5)에서 각각 대응되는 영역(11, 12)를 참조하여 코딩된다. 이와 같이, 동일한 기초 픽쳐로부터 참조 이미지를 가져오는 경우에는 두 블록 사이의 경계 부분에 블록 인위성이 발생할 가능성이 낮다. 하지만, 상기 참조 이미지를 각각 다른 기초 픽쳐로부터 가져온다면 당연히 블록 인위성이 발생할 가능성이 높을 것이다. 한편, 인터 모드의 경우에는 상기 두 블록(p, q)이 동일한 픽쳐를 참조하기는 하지만 참 조 이미지들은 상기 두 블록(p, q)와는 달리 인접하지 않을 가능성이 크므로 블록 인위성이 발생할 가능성이 높다. 결론적으로, 상기 제2 조건이 만족되는 경우는 그렇지 않은 경우에 비하여 상대적으로 높은 필터 강도를 적용하여야 함을 알 수 있다.

본 발명의 바람직한 실시예에 있어서, 상기 제1 조건 및 제2 조건이 모두 만족되면 필터 강도는 2로 설정되고, 이 중 하나의 조건만 만족되면 1로 설정되며, 둘 다 만족되지 않으면 0으로 설정된다. 상기 필터 강도에 대한 구체적인 수치(0, 1, 2, 또는 4)는 일 실시예에 불과하지만, 그 강도의 순서 만큼은 상기 순서로 유지되어야 할 것이다.

그런데, 상기 제1 조건 및 상기 제2 조건이 반드시 함께 판단되어야 하는 것은 아니다. 단순히 제1 조건만을 판단하여 필터 강도를 결정할 수도 있다. 이 때, 제1 조건이 만족되는 경우의 필터 강도는 최소한 그렇지 않은 경우의 필터 강도보다는 높아야 할 것이다. 또한, 단순히 제2 조건만을 판단하여 필터 강도를 결정할 수도 있다. 이 때, 제2 조건이 만족되는 경우의 필터 강도는 최소한 그렇지 않은 경우의 필터 강도보다는 높아야 할 것이다.

도 5는 본 발명의 일 실시예에 따른 다 계층 비디오 코더(coder)의 필터 강도 결정 방법을 나타낸 흐름도이다. 본 명세서에서 비디오 코더란 비디오 인코더 및 비디오 디코더를 통칭하는 개념으로 사용된다. 도 4의 실시예는 도 2의 종래 기술과 비교할 때 S110, S115, S125, S130, 및 S145 단계가 더 추가되어 있다.

먼저, 디블록 필터를 적용할 인접한 블록들(예를 들어, 4x4 블록)의 경계를 선택한다(S10). 디블록 필터가 적용되는 것은 블록 경계 부분으로서, 보다 상세히 말하면 상기 블록 경계에 인접해 있는 대상 샘플들이다. 상기 대상 샘플이란, 현재 블록 q와 인접 블록 p간의 경계를 중심으로 도 6 또는 도 7과 같이 배열된 샘플들의 집합을 의미한다. 도 8에 나타낸 바와 같이, 블록의 생성 순서를 고려할 때 현재 블록 q의 상측 블록 및 좌측 블록이 인접 블록 p(p_a 및 P_b)에 해당되며, 따라서 디블록 필터가 적용될 대상은 현재 블록 q의 상측 경계와 좌측 경계가 된다. 물론, 현재 블록 q의 하측 경계 및 우측 경계는 다음에 하측 블록 및 우측 블록에 대한 디블록 수행시에 필터링된다.

본 발명에서 바람직한 실시예에 있어서, 상기 블록들은 4x4 크기를 갖는데, 이는 H.264 표준에서 모션 추정시의 가변 블록의 최소 단위가 4x4임을 고려한 것이다. 그러나, 상기 블록들이 8x8 크기 또는 기타 다른 크기를 갖더라도 무방하다는 것은 당업자라면 충분히 알 수 있을 것이다.

도 6을 보면, 블록 경계가 수직인 경우, 즉 현재 블록 q의 좌측 경계를 중심으로 한 대상 샘플들이 나타나 있다. 대상 샘플은 수직 경계를 중심으로 인접 블록 p에 존재하는 경계선 좌측 4개의 샘플(p0, p1, p2, p3) 및 현재 블록 q에 존재하는 경계선 우측 4개의 샘플(q0, q1 q2, q3)이다. 일단 대상 자체는 4개 모두가 대상이 되지만 실제 결정되는 필터 강도에 따라서 참조되는 샘플의 개수 및 실제 필터링 되는 샘플의 개수는 달라질 수 있다.

한편, 도 7을 보면, 블록 경계가 수평인 경우, 즉 현재 블록 q의 상측 경계 를 중심으로 한 대상 샘플들이 나타나 있다. 대상 샘플은 수평 경계를 중심으로 인접 블록 p에 존재하는 경계선 상측 4개의 샘플(p0, p1, p2, p3) 및 현재 블록 q에 존재하는 경계선 하측 4개의 샘플(q0, q1 q2, q3)이다.

기존의 H.264 표준에 따르면, 디블록 필터는 휘도 신호 및 색차 신호 성분에 각각 적용되며, 하나의 프레임을 구성하는 매크로블록 단위로 래스터 스캔(raster scan) 순서에 따라서 순차적으로 수행된다. 각 매크로블록에 대하여, 도 6과 같은 수직 방향 경계에 대한 필터링을 먼저 수행한 후 도 7과 같은 수평 방향 경계에 대한 필터링을 수행할 수도 있지만, 그 반대의 순서로 필터링을 수행할 수도 있다.

다시 도 5로 돌아가면, S10단계에 이어서 현재 블록 q가 인트라 BL 모드에 속하는가를 판단한다(S110). 상기 판단 결과 그러하지 아니하다면(S110의 아니오), 종래의 H.264에서의 필터 강도 결정 알고리즘을 따른다.

구체적으로 보면, 구체적으로 보면, 상기 대상 샘플이 속하는 블록 p 및 블록 q 중 적어도 하나가 방향적 인트라 모드에 속하는가를 판단한다(S15). S15의 판단 결과 그러하다면(S15의 예), 상기 블록 경계가 매크로블록 경계에 포함되는지를 판단하여(S20), 그러하다면 Bs는 4로 설정되고(S25), 그렇지 아니하다면 Bs는 3으로 설정된다(S30). S20의 판단은 매크로블록 경계에서는 다른 블록 경계에 비하여 블록 인위성이 발생할 가능성이 높다는 것을 고려한 것이다.

상기 S15의 판단 결과 그렇지 않다면(S15의 아니오), 블록 p와 블록 q 중에서 코딩된 것이 있는지, 즉 블록 p 또는 블록 q가 계수를 갖는지를 판단한다(S35). 만약 블록 p와 블록 q 중 코딩된 블록이 하나라도 존재하면(S35의 예), Bs는 2로 설정된다(S40). 그러나, 양 블록이 모두 코딩되지 않은 경우에는(S35의 아니오), 블록 p 및 블록 q간에 참조 프레임이 서로 다르거나, 참조 프레임의 수가 서로 다른 경우(S45의 예)에는 Bs는 1로 설정된다(S50). 그 이유는 참조 프레임이 서로 다르다는 것은 상대적으로 블록 인위성이 발생할 가능성이 크다는 것을 의미하기 때문이다.

S45의 판단 결과, 그러하지 아니하다면(S45의 아니오), 블록 p 및 블록 q의 모션 벡터가 서로 다른가를 판단한다(S55). 이것은 양 블록이 같은 참조 프레임을 갖는 경우(S45의 아니오)에도 모션 벡터가 일치하지 않는 경우는 모션 벡터가 일치하는 경우에 비하여 블록 인위성이 발생할 가능성이 상대적으로 높다는 것을 반영하기 위함이다. S55의 판단 결과, 그러하다면(S55의 예) Bs는 1로 설정되고(S50) 그러하지 아니하다면 Bs는 0으로 설정된다(S60).

한편, S110의 판단 결과 블록 q가 인트라 BL 모드에 속한다면(S110의 예), 본 발명에서 제안하는 제1 조건과 제2 조건을 이용하여 필터 강도를 결정한다.

구체적으로 보면, 먼저 인접 블록 p가 방향적 인트라 모드에 속하는지를 판단한다(S115). 상기 p가 방향적 인트라 모드에 속하는 경우에는 Bs는 4로 설정된다(S120). 프레임 내의 유사성을 이용하는 인트라 코딩(intra coding)은 프레임간의 유사성을 이용하는 인터 코딩(inter coding)에 비하여 상대적으로 블록 인위성이 크게 나타날 수 있기 때문이다. 따라서 인트라 코딩된 블록이 존재하는 경우는 그렇지 않은 경우에 비하여 상대적으로 필터 강도를 높인다.

상기 p가 방향적 인트라 모드에 속하지 않는다면(S115의 아니오), 비로소 제 1 조건 및 제2 조건을 판단하게 된다. 먼저, 제1 조건, 즉 p 또는 q가 계수를 갖는가를 판단하여(S125), 그러하다면 p 및 q가 동일 기초 픽쳐를 갖는 인트라 BL 모드에 속하는가를 판단하여(S130), 그러하다면(S130의 예) 즉 제2 조건이 만족되지 않는다면 Bs는 1로 설정된다(S140). 만약, 그러하지 아니하다면(S130)의 아니오) 즉 제2 조건이 만족된다면 Bs는 2로 설정된다(S135).

S125에서, p 및 q가 모두 계수를 갖지 않는다면(S125의 아니오), 마찬가지로 p 및 q가 동일 기초 픽쳐를 갖는 인트라 BL 모드에 속하는가를 판단하여(S145), 그러하다면(S145의 예) 즉 제2 조건이 만족되지 않는다면 Bs는 0으로 설정된다. 만약, 그러하지 아니하다면(S145의 아니오) 즉 제2 조건이 만족된다면 Bs는 1로 설정된다.

이상 S120, S135, S140, 및 S150 단계에서 각각 Bs는 4, 2, 1 및 0으로 설정되는 것으로 하였다. 그러나 이는 바람직한 실시예일 뿐이고, 상기 필터 강도(Bs)의 순서가 유지되는 한 다른 값으로 설정되어도 본 발명의 기술적 사상을 벗어나지 않는다.

현재 블록 q가 인트라 BL 모드에 속하지 않는 경우(S110의 아니오)와는 달리, 상기 q가 인트라 BL 모드에 속하는 경우(S110의 예)에는 상기 블록 경계가 S20과 같이 매크로블록 경계인지를 판단하는 단계는 포함되어 있지 않다. 이는 현재 블록이 인트가 BL 모드에 속하는 경우에는 상기 블록 경계가 매크로블록 경계에 속하는지 여부가 필터 강도의 변화에 별로 영향을 미치지 못한다는 것을 확인할 수 있었기 때문이다.

도 9는 도 5와 같은 필터 강도 결정 방식을 사용하는 디블록 필터를 포함하는 다 계층 비디오 인코더의 구성을 나타낸 것이다. 상기 다 계층 비디오 인코더는 폐루프(closed-loop) 방식, 또는 개루프(open-loop) 방식으로 구현될 수 있다. 여기서 폐루프 방식이란 원래의 프레임을 참조로 하여 예측을 수행하는 방식을, 개루프 방식이란 복원된 프레임을 참조로 하여 예측을 수행하는 방식을 의미한다.

선택부(280)는 기초 계층 인코더(100)의 업샘플러(195)로부터 전달되는 신호와, 모션 보상부(260)로부터 전달되는 신호와, 인트라 예측부(270)로부터 전달되는 신호 중 하나를 선택하여 출력한다. 이러한 선택은 인트라 BL 모드, 인터 예측 모드, 및 인트라 예측 모드 중에서 보다 코딩 효율이 높은 쪽을 선택하는 과정으로 수행된다.

인트라 예측부(270)는 가산기(215)로부터 제공되는 복원된 인접 블록 이미지로부터 소정의 인트라 예측 모드에 따라 현재 블록의 이미지를 예측한다. H.264에서는 이러한 인트라 예측 모드를 정의하고 있는데, 상기 인트라 예측 모드는 방향성을 갖는 8개의 모드와 하나의 DC모드를 포함하여 총 9개가 존재한다. 이중에서 어떠한 모드를 사용하는가 하는 것도 코딩 효율이 높은 쪽을 선택하는 방식으로 이루어진다. 인트라 예측부(270)는 상기 선택된 인트라 예측 모드에 따라 생성되는 예측 블록을 가산기(205)에 제공한다.

모션 추정부(250)는 입력 비디오 프레임 중에서, 참조 프레임을 기준으로 현재 매크로블록의 모션 추정을 수행하고 모션 벡터를 구한다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 정합(block matching) 알고리즘이다. 즉, 주 어진 모션 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정하는 것이다. 모션 추정을 위하여 고정된 크기의 모션 블록을 이용할 수도 있지만, 계층적 가변 사이즈 블록 정합법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 가변 크기를 갖는 모션 블록을 이용하여 모션 추정을 수행할 수도 있다. 모션 추정부(250)는 모션 추정 결과 구해지는 모션 벡터, 모션 블록의 모드, 참조 프레임 번호 등의 모션 데이터를 엔트로피 부호화부(240)에 제공한다.

모션 보상부(260)는 상기 모션 추정부(250)에서 계산된 모션 벡터 및 참조 프레임을 이용하여 모션 보상(motion compensation)을 수행하여 현재 프레임에 대한 인터 예측 이미지를 생성한다.

차분기(205)는 현재 입력 프레임 신호에서 상기 선택부(280)에서 선택된 신호를 차분함으로써 잔여 프레임(residual frame)을 생성한다.

공간적 변환부(220)는 차분기(205)에 의하여 생성된 잔여 프레임에 대하여 공간적 변환(spatial transform)을 수행한다. 이러한 공간적 변환 방법으로는 DCT(Discrete Cosine Transform), 웨이브렛 변환(wavelet transform) 등이 사용될 수 있다. 공간적 변환 결과 변환 계수가 구해지는데, 공간적 변환 방법으로 DCT를 사용하는 경우 DCT 계수가, 웨이브렛 변환을 사용하는 경우 웨이브렛 계수가 구해진다.

양자화부(230)는 공간적 변환부(220)에서 구한 변환 계수를 양자화하여 양자화 계수를 생성한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내는 작업을 의미한다. 이러한 양자화 방법으로는 스칼라 양자화, 벡터 양자화 등의 방법이 있는데, 이 중 간단한 스칼라 양자화 방법은 변환 계수를 양자화 테이블의 해당 값으로 나눈 후 정수 자리로 반올림하는 과정으로 수행된다.

한편, 공간적 변환 방법으로 웨이브렛 변환을 이용하는 경우에는 양자화 방법으로서 주로 엠베디드 양자화(embedded quantization) 방법을 이용한다. 이러한 엠베디드 양자화 방법은 상기 변환 계수를 문턱 값을 변경시켜 가면서(1/2로 변경) 그 문턱 값을 넘는 성분을 우선적으로 부호화하는 방식으로서, 공간적 연관성(spatial redundancy)를 이용하여 효율적인 양자화를 수행한다. 이러한 엠베디드 양자화 방법으로는 EZW(Embedded Zerotrees Wavelet Algorithm), SPIHT(Set Partitioning in Hierarchical Trees), EZBC(Embedded ZeroBlock Coding) 등이 있다.

이상의 엔트로피 부호화 이전 단계까지의 부호화 과정을 손실 부호화 과정이라고 한다.

엔트로피 부호화부(240)는 상기 양자화 계수와, 모션 추정부(250)에 의하여 제공되는 모션 정보를 무손실 부호화하고 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등이 사용될 수 있다.

도 10은 상기 생성되는 비트스트림(50)의 구조의 예를 나타낸 것이다. H.264에서는 비트스트림은 슬라이스(slice) 단위로 부호화된다. 비트스트림(50)은 슬라 이스 헤더(slice header; 60)와, 슬라이스 데이터(slice date; 70)를 포함하며, 슬라이스 데이터(70)는 복수의 매크로블록 데이터들(MB; 71 내지 74)로 구성된다. 또한 하나의 매크로블록 데이터(73)는 mb_type 필드(80)와, mb_pred 필드(85)와, 텍스쳐 데이터(texture data) 필드(90)로 구성될 수 있다.

여기서, mb_type 필드(80)에는 매크로블록의 종류를 나타내는 값이 기록된다. 즉, 현재 매크로블록이 인트라 매크로블록(intra macroblock)인지, 인터 매크로블록(inter macroblock)인지, 또는 인트라 BL 매크로블록(intra BL macroblock)인지를 나타낸다.

그리고, mb_pred 필드(85)에는 상기 매크로블록의 종류에 따른 세부 예측 모드가 기록된다. 인트라 매크로블록의 경우에는 상기 선택된 인트라 예측 모드가 기록되고, 인터 매크로블록의 경우에는 매크로블록 파티션 별로 참조 프레임 번호 및 모션 벡터가 기록된다.

텍스쳐 데이터 필드(90)에는 부호화된 잔여 프레임, 즉 텍스쳐 데이터가 기록된다.

다시 도 9를 참조하면, 향상 계층 인코더(200)는 역 양자화부(271), 역 DCT 변환부(272), 및 가산기(215)를 더 포함하는데 이들은 손실 부호화된 프레임을 역으로 복호화하여 복원하기 위하여 사용된다.

역 양자화부(271)는 양자화부(230)에서 양자화된 계수를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정의 역에 해당되는 과정이다. 그리고, 역 공간적 변환부(272)는 상기 역 양자화 결과를 역 공간적 변화하여 이를 가산기(215)에 제 공한다.

가산기(215)는 역 공간적 변환부(272)로부터 제공된 신호와 선택부(280)에서 선택되어 프레임 버퍼(미도시됨)에 저장된 예측 신호를 가산하여 비디오 프레임을 복원한다. 가산기(215)에 의하여 복원된 비디오 프레임은 디블록 필터(290)에 제공되며, 상기 복원된 비디오 프레임 중 인접 블록의 이미지는 인트라 예측부(270)에 제공된다.

필터 강도 결정부(291)는 도 5에서 설명한 필터 강도 결정 방식에 따라 하나의 매크로블록에서의 매크로블록 경계 및 블록(예: 4x4 블록) 경계에 대하여 필터 강도를 결정한다. 휘도 성분(luminance component)의 경우 매크로블록은 도 11과 같이 16x16 크기이지만, 색차 성분(chrominance component)의 경우 매크로블록은 도 12와 같이 8x8 크기를 갖는다. 도 11 및 도 12에서 하나의 매크로 블록에 대하여 필터 강도를 표시할 경계 부분에는 'Bs'라고 표기하였다. 다만, 매크로블록의 우측 경계선 및 하측 경계선에는 표시되어 있지 않다. 현재 매크로블록의 우측 또는 하측에 매크로블록이 존재하지 않으면 그 부분에 대한 디블록 필터는 불필요할 것이고, 우측 또는 하측에 매크로블록이 존재하면 해당 매크로블록에 대한 디블록 필터링 시에 상기 경계선에 대한 필터 강도가 결정될 것이기 때문이다.

디블록 필터(290)는 필터 강도 결정부(291)에서 결정된 필터 강도에 따라서 각각의 경계선에 대하여 실제로 디블록 필터링을 수행한다. 다시 도 4 및 도 5를 참조하면, 수직 경계 또는 수평 경계의 양 측에서의 네 개의 픽셀이 나타나 있다. 각각의 필터링 동작은 경계의 양 측의 최대 세 개의 픽셀에, 즉 최대 {p2, p1, p0, q0, q1, q2}에까지 영향을 미칠 수 있다. 이 것은 필터 강도(Bs)와, 인접한 블록의 양자화 파라미터(QP) 등을 고려하여 정해진다.

그런데 디블록 필터링에 있어서, 픽쳐에 존재하는 실제 에지(real edge)와 DCT 계수를 양자화하여 발생된 에지를 구별하는 것은 매우 중요하다. 이미지의 선명함을 유지하기 위하여, 실제 에지는 가능한 한 필터링되지 않고 남아 있어야 하고, 인위적인 에지는 필터링 되어 눈에 띄지 않게 되어야 한다. 따라서 다음 수학식 1의 조건이 모두 만족될 때에만 필터링이 수행된다.

여기서, α와 β는 양자화 파라미터, FilterOffsetA, FilterOffsetB 등에 따라 정해지는 문턱값(threshold)이다.

만약, Bs가 1, 2, 3 중에 하나이고, 4-탭 필터(4-tab filter)가 입력 p1, p0, q0, 및 q1에 적용된다면, 필터링된 출력은 P0(p0을 필터링한 결과), 및 Q0(q0를 필터링한 결과)가 될 것이다. 휘도 성분에 있어서, 만약

이라면, 4-탭 필터는 입력 p2, p1, p0 및 q0에 적용되어, 필터링된 출력은 P1(p1을 필터링한 결과)이 될 것이다. 마찬가지로, 만약

이라면 4-탭 필터는 q2, q1, q0, 및 p0에 적용되어 필터링된 출력은 Q1(q1을 필터링한 결과)이 될 것이다.

한편, Bs가 4라면 3-탭 필터, 4탭-필터, 또는 5-탭 필터가 적용되어 문턱값 α, β, 및 실제 여덟 개의 픽셀에 기초하여 P0, P1, P2(p0, p1, p2를 필터링한 결과), Q0, Q1, 및 Q2(q0, q1, q2를 필터링한 결과)가 출력될 수 있다.

다시 도 9로 돌아가면, 디블록 필터(290)에 의하여 필터링된 결과 프레임(D1)은 다른 입력 프레임에 대한 인터 예측을 하는데 사용하기 위하여 모션 추정부(250)에 제공된다. 또한, 현재 향상 계층 상위의 향상 계층이 더 존재하는 경우에는 상기 D1은 상위의 향상 계층에서 인트라 BL 모드의 예측을 수행하는데 참조 프레임으로서 제공될 수도 있다.

다만, 상기와 같이 디블록 필터의 출력 D1이 모션 추정부(250)로 입력되는 것은 폐루프 방식의 비디오 인코더의 경우만이다. MCTF(Motion Compensated Temporal Filtering) 기반의 비디오 인코더와 같이 개루프 방식을 이용하는 경우에는 인터 예측시 참조 프레임으로 원본 프레임을 이용하므로 디블록 필터의 출력이 다시 모션 추정부(250)로 입력될 필요는 없다.

한편, 기초 계층 인코더(100)는 공간적 변환부(120), 양자화부(130), 엔트로피 부호화부(140), 모션 추정부(150), 모션 보상부(160), 인트라 예측부(170), 선택부(180), 역 양자화부(171), 역 공간적 변환부(172), 다운 샘플러(105), 업샘플러(195), 디블록 필터(190)를 포함하여 구성될 수 있다.

다운 샘플러(105)는 원 입력 프레임을 기초 계층의 해상도로 다운샘플링(down-sampling)하며, 업샘플러(195)는 디블록 필터(190)에서 필터링된 결과를 업샘플링 하여 향상 계층의 선택부(280)에 제공한다.

다만, 기초 계층 인코더(100)에서는 하위 계층의 정보를 이용할 수 없으므로 선택부(180)는 인트라 예측 신호 및 인터 예측 신호 중 하나를 선택하게 되며, 디블록 필터(190)는 종래의 H.264에서와 같은 방식으로 필터 강도를 결정하게 된다.

이외에 다른 구성 요소는 상기 향상 계층 인코더(200)에 존재하는 동일 명칭의 구성 요소의 동작과 마찬가지이므로 중복적인 설명은 생략하기로 한다.

도 13은 본 발명의 일 실시예에 따른 비디오 디코더(3000)의 구성의 일 예를 도시한 블록도이다. 비디오 디코더(3000)는 크게 향상 계층 디코더(600)와, 기초 계층 디코더(500)를 포함하여 구성될 수 있다.

먼저, 향상 계층 디코더(600)의 구성을 살펴 본다. 엔트로피 복호화부(610)는 입력되는 향상 계층 비트스트림에 대해 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하여, 매크로블록 종류 정보(매크로블록의 종류를 나타내는 정보), 인트라 예측 모드, 모션 정보, 및 텍스쳐 데이터 등을 추출한다.

여기서, 상기 비트스트림은 도 9에서 나타낸 예와 같이 구성될 수 있다. 여기서 매크로블록의 종류는 mb_type 필드(80)로부터 알 수 있고, 구체적인 인트라 예측 모드 및 모션 정보는 mb_pred 필드(85)로부터 알아낼 수 있다. 그리고, 텍스쳐 데이터는 텍스쳐 데이터 필드(90)를 읽음으로써 알 수 있다.

엔트로피 복호화부(610)는, 텍스쳐 데이터는 역 양자화부(620)에 제공하고, 인트라 예측 모드는 인트라 예측부(640)에 제공하며, 모션 정보는 모션 보상부(650)에 제공한다. 그리고, 현재 매크로블록의 종류 정보는 필터 강도 결정부(691)에 제공한다.

역 양자화부(620)는 엔트로피 복호화부(610)로부터 전달된 텍스쳐 정보를 역 양자화한다. 이 때, 비디오 인코더 측에서 사용한 것과 동일한 양자화 테이블을 이용한다.

다음으로, 역 공간적 변환부(630)는 상기 역 양자화 결과에 대하여 역 공간적 변환을 수행한다. 이러한 역 공간적 변환은 비디오 인코더 단에서의 공간적 변환에 대응되는 방식으로 수행된다. 즉, 인코더 단에서 DCT 변환을 수행하였으면 여기서는 역 DCT 변환을, 인코더 단에서 웨이브렛 변환을 수행하였으면 여기서는 역 웨이브렛 변환을 수행하게 된다. 역 공간적 변환 결과, 잔여 프레임이 복원된다.

인트라 예측부(640)는 엔트로피 복호화부(610)로부터 전달되는 인트라 예측 모드에 따라서 가산기(615)로부터 출력되는 복원된 주변 인트라 블록으로부터 현재 인트라 블록에 대한 예측 블록을 생성하여 선택부(660)에 제공한다.

한편, 모션 보상부(650)는 엔트로피 복호화부(610)로부터 제공되는 모션 정보 및 디블록 필터(690)로부터 제공되는 참조 프레임을 이용하여 모션 보상을 수행한다. 모션 보상 결과 생성되는 예측 프레임은 선택부(660)에 제공된다.

그리고, 선택부(660)는 업샘플러(590)로부터 전달되는 신호와, 모션 보상부(650)로부터 전달되는 신호, 및 인트라 예측부(640)로부터 전달되는 신호 중 하나를 선택하여 가산기(615)에 전달한다. 이 때 선택부(660)는 엔트로피 복호화부(610)에서 제공되는 현재 매크로블록 종류 정보를 파악하여 그 종류에 따라서 3가지 신호 중 해당 신호를 선택한다.

가산기(615)는 상기 역 공간적 변환부(630)에서 출력되는 신호에서 상기 선 택부(660)에서 선택된 신호를 가산함으로써 향상 계층의 비디오 프레임을 복원한다.

필터 강도 결정부(691)는 도 5에서 설명한 필터 강도 결정 방식에 따라 하나의 매크로블록에서의 매크로블록 경계 및 블록 경계에 대하여 필터 강도를 결정한다. 이 경우 현재 필터링을 수행하기 위하여는 현재 매크로블록의 종류, 즉 현재 매크로블록이 인트라 매크로블록, 인터 매크로블록, 및 인트라 BL 매크로블록 중 어떤 것인지를 알아야 하는데, 이러한 매크로블록의 종류에 관한 정보는 비트스트림의 헤더 부분에 포함되어 비디오 디코더(3000) 측으로 전달된다.

디블록 필터(690)는 필터 강도 결정부(691)에서 결정된 필터 강도에 따라서 각각의 경계선에 대하여 실제로 디블록 필터링을 수행한다. 이러한, 디블록 필터(690)에 의하여 필터링된 결과 프레임(D3)은 다른 입력 프레임에 대한 인터 예측 프레임을 생성하기 위하여 모션 보상부(650)에 제공된다. 또한, 현재 향상 계층 상위의 향상 계층이 더 존재하는 경우에는 상기 D3은 상위의 향상 계층에서 인트라 BL 모드의 예측을 수행하는데 참조 프레임으로서 제공될 수도 있다.

한편, 기초 계층 디코더(500)의 구성도 향상 계층의 구성과 유사하다. 다만, 기초 계층 디코더(500)에서는 하위 계층의 정보를 이용할 수 없으므로 선택부(560)는 인트라 예측 신호 및 인터 예측 신호 중 하나를 선택하게 되며, 디블록 필터(590)는 종래의 H.264에서와 같은 방식으로 필터 강도를 결정하게 된다. 또한, 업샘플러(595)는 디블록 필터(590)에서 필터링된 결과를 업샘플링 하여 향상 계층의 선택부(660)에 제공한다.

이외에 다른 구성 요소는 상기 향상 계층 디코더(600)에 존재하는 동일 명칭의 구성 요소의 동작과 마찬가지이므로 중복적인 설명은 생략하기로 한다.

이상의 설명에서, 비디오 인코더 및 비디오 디코더는 각각 하나의 기초 계층 및 하나의 향상 계층, 즉 2개의 계층으로 이루어지는 것으로 하여 설명하였다. 그러나 이것은 하나의 예에 불과하고 당업자라면 이러한 본 발명의 설명을 바탕으로 3개 이상의 계층을 갖도록 구현할 수도 있을 것이다.

지금까지 도 9 및 도 13의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

본 발명에 따르면, 다 계층 비디오 인코더/디코더에서 디블록 필터를 적용할 어떤 블록이 인트라 BL 모드를 사용하는가 여부에 따라서 적절한 디블록 필터 강도를 부여할 수 있다.

또한 상기와 같이 적절한 디블록 필터 강도를 부여함으로써 복원된 비디오의 화질 향상을 가져올 수 있다.

Claims (8)

1. 복수의 블록으로 구성되는 프레임에 대한 디블록 필터링 강도를 결정하는 방법에 있어서,

   디블록 필터링을 수행할 현재 블록과 그 인접 블록을 선택하는 단계로서, 상기 현재 블록 및 상기 인접 블록은 인트라 BL 모드로 코딩된 상기 단계;

   상기 현재 블록 또는 상기 인접 블록이 계수를 갖는 경우 상기 현재 블록에 제1 필터링 강도를 설정하는 단계; 및

   상기 현재 블록 및 상기 인접 블록이 계수를 갖지 않는 경우 상기 현재 블록에 상기 제1 필터링 강도보다 낮은 제2 필터링 강도를 설정하는 단계를 포함하는, 디블록 필터링 강도 결정 방법.
2. 제1항에 있어서,

   상기 제1 필터링 강도는 1인, 디블록 필터링 강도 결정 방법.
3. 제5항에 있어서,

   상기 제2 필터링 강도는 0인, 디블록 필터링 강도 결정 방법.
4. 제1항 내지 제3항에 있어서,

   상기 현재 블록을 포함하는 프레임과 상기 인트라 BL 모드의 적용을 위하여 참조되는 기초 프레임은 서로 해상도가 상이한, 디블록 필터링 강도 결정 방법.
5. 복수의 블록으로 구성되는 프레임에 대한 디블록 필터링 강도를 결정하는 장치에 있어서,

   디블록 필터링을 수행할 현재 블록과 그 인접 블록을 선택하는 유닛으로서, 상기 현재 블록 및 상기 인접 블록은 인트라 BL 모드로 코딩된 상기 유닛;

   상기 현재 블록 또는 상기 인접 블록이 계수를 갖는 경우 상기 현재 블록에 제1 필터링 강도를 설정하는 유닛; 및

   상기 현재 블록 및 상기 인접 블록이 계수를 갖지 않는 경우 상기 현재 블록에 상기 제1 필터링 강도보다 낮은 제2 필터링 강도를 설정하는 유닛을 포함하는, 디블록 필터링 강도 결정 장치.
6. 제5항에 있어서,

   상기 제1 필터링 강도는 1인, 디블록 필터링 강도 결정 장치.
7. 제5항에 있어서,

   상기 제2 필터링 강도는 0인, 디블록 필터링 강도 결정 장치.
8. 제5항 내지 제7항에 있어서,

   상기 현재 블록을 포함하는 프레임과 상기 인트라 BL 모드의 적용을 위하여 참조되는 기초 프레임은 서로 해상도가 상이한, 디블록 필터링 강도 결정 장치.

Images