KR20060080107A - 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 - Google Patents

Abstract

본 발명은 다 계층 비디오 인코더 또는 디코더에서 사용되는 디블록 필터(deblocking filter)에 관한 것이다.

본 발명에 따른 다 계층 기반의 비디오 코더에서 사용되는 디블록 필터링 방법은, 입력된 매크로블록 내의 블록 경계를 결정하는 단계와, 상기 결정된 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하는 단계와, 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 단계와, 및 상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 단계로 이루어진다.

스케일러블 비디오 코딩, 다 계층 비디오, 인트라 BL 모드, 디블록 필터, 필터 강도, H.264

Description

인트라 ＢＬ 모드를 고려한 디블록 필터링 방법, 및 상기 방법을 이용하는 다 계층 비디오 인코더/디코더{Deblocking filtering method considering intra BL mode, and video encoder/decoder based on multi-layer using the method}

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱의 한 예를 보여주는 도면.

도 2는 종래의 H.264 표준에 따른 디블록 필터 강도를 결정하는 방법을 설명하는 흐름도.

도 3은 본 발명의 일 실시예에 따른 다 계층 비디오 코더의 필터 강도 결정 방법을 나타낸 흐름도.

도 4는 블록의 수직 경계 및 대상 샘플들을 나타낸 도면.

도 5는 블록의 수평 경계 및 대상 샘플들을 나타낸 도면.

도 6은 현재 블록 q와 인접 블록 pa, pb의 위치 관계를 나타낸 도면.

도 7은 본 발명의 다른 실시예에 따른 다 계층 비디오 코더의 필터 강도 결정 방법을 나타낸 흐름도.

도 8은 본 발명의 일 실시예에 따른 폐루프 방식의 비디오 인코더의 구성을 나타낸 블록도.

도 9는 본 발명의 일 실시예에 따라 생성되는 비트스트림의 구조를 나타낸 도면.

도 10은 휘도 성분에 대하여 매크로블록 및 블록의 경계를 나타낸 도면.

도 11은 색차 성분에 대하여 매크로블록 및 블록의 경계를 나타낸 도면.

도 12는 매크로블록의 각 경계 별로 필터 강도를 설정한 예를 나타낸 도면.

도 13은 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 나타낸 블록도.

도 14a는 CREW 시퀀스에서 휘도 성분 PSNR을 비트율의 변화에 따라 나타낸 그래프.

도 14b는 HARBOUR 시퀀스에서 휘도 성분 PSNR을 비트율의 변화에 따라 나타낸 그래프.

도 15a는 프레임 단위로 CIF@1024kbps의 FOOTBALL 시퀀스에 대하여, 종래 기술에 대한 본 발명의 성능 향상을 나타낸 그래프.

도 15b는 프레임 단위로 4CIF@3000kbps의 CREW 시퀀스에 대하여, 종래 기술에 대한 본 발명의 성능 향상을 나타낸 그래프.

도 16a는 FOOTBALL 시퀀스 중 하나의 프레임을 종래 기술에 의하여 복원한 이미지.

도 16b는 도 16a의 프레임을 본 발명에 의하여 복원한 이미지.

(도면의 주요부분에 대한 부호 설명)

50 : 비트스트림 100, 300 : 기초 계층 인코더

200, 400 : 향상 계층 인코더 500 : 기초 계층 디코더

600 : 향상 계층 디코더 1000, 2000 : 비디오 인코더

3000 : 비디오 디코더 290, 690 : 디블록 필터

291, 691 : 필터 강도 결정부

본 발명은 비디오 압축 기술에 관한 것으로, 보다 상세하게는 다 계층 비디오 인코더 또는 디코더에서 사용되는 디블록 필터(deblocking filter)에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높 은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성은은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 kbit의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러빌리티(scalability)를 갖는 데이터 코딩방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.

이러한 스케일러빌리티란, 하나의 압축된 비트 스트림에 대하여 비트 레이트, 에러율, 시스템 자원 등의 조건에 따라 디코더(decoder) 단 또는 프리 디코더(pre-decoder) 단에서 부분적 디코딩을 할 수 있게 해주는 부호화 방식이다. 디코더 또는 프리 디코더는 이러한 스케일러빌리티를 갖는 코딩 방식으로 부호화된 비트 스트림의 일부만을 취하여 다른 화질, 해상도, 또는 프레임 레이트를 갖는 멀티미디어 시퀀스를 복원할 수 있다.

이러한 스케일러블 비디오 코딩에 관하여, 이미 MPEG-21(moving picture experts group-21) PART-13에서는 그 표준화 작업을 진행 중에 있다. 이 중에서도, 다 계층(multi-layered) 기반의 비디오 코딩 방법에 의하여 스케일러빌리티를 구현하고자 하는 많은 연구들이 있었다. 이러한 다 계층 비디오 코딩의 예로, 기초 계층(base layer), 제1 향상 계층(enhanced layer 1), 제2 향상 계층(enhanced layer 2)의 다 계층을 두어, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF), 또는 서로 다른 프레임율(frame-rate)을 갖도록 구성할 수 있다.

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코딩 방식의 일 예를 보여준다. 먼저 기초 계층은 QCIF(Quarter Common Intermediate Format), 15Hz(프레임 레이트)로 설정되고, 제1 향상 계층은 CIF(Common Intermediate Format), 30hz로, 제2 향상 계층을 SD(Standard Definition), 60hz로 설정된다.

이와 같은 다 계층 비디오 프레임을 인코딩하는 데에는 계층 간의 관련성을 이용할 수 있는데, 예를 들어, 제1 향상 계층의 비디오 프레임 중 어떤 영역(12)은, 기초 계층의 비디오 프레임 중에서 대응되는 영역(13)으로부터의 예측을 통하여 효율적으로 인코딩된다. 마찬가지로 제2 향상 계층 비디오 프레임 중의 영역(11)은 상기 제1 향상 계층의 영역(12)로부터의 예측을 통하여 효율적으로 인코딩될 수 있다. 만약, 다 계층 비디오에 있어서 각 계층 별로 해상도가 상이한 경우에는 상기 예측을 수행하기 이전에 기초 계층의 이미지는 업샘플링 되어야 할 것이다.

현재, 진행중인 MPEG-21 스케일러블 비디오 코딩 표준(이하, SVC 표준이라 함)에서는, 기존의 H.264/AVC(Advanced Video Coding) 기반으로 하여 도 1의 예와 같은 다 계층 비디오 코딩을 구현하기 위한 연구가 진행되고 있다.

그런데, H.264에서는 공간적 변환 방법으로서 DCT 변환을 이용하는데, 이러한 DCT 기반의 코덱에서는 압축률이 높아짐에 따라 바람직하지 못한 블록 인위성(blocking artifacts) 내지 블록 효과(blocking effect)가 발생한다. 이러한 블록 인위성을 발생시키는 원인으로는 크게 두 가지를 들 수 있다.

그 원인은 먼저, 블록 기반의 정수 DCT 변환에 기인한다. 상기 DCT 변환 결과인 DCT 계수를 양자화함으로써 블록 경계에서의 불연속성이 발생되기 때문이다. H.264에서는 상대적으로 작은 크기인 4x4 크기의 DCT 변환 단위를 이용하므로 이러한 문제는 다소 줄어들겠지만 충분히 해결되었다고는 볼 수 없다.

그리고, 블록 인위성을 발생시키는 두 번째 원인은 모션 보상 예측이다. 모션 보상 블록은 다른 참조 프레임의 다른 위치로부터 보간된 픽셀 데이터를 복사하여 생성된다. 이 데이터가 정확히 일치하지는 않기 때문에, 복사된 블록의 에지(edge)에는 불연속성이 발생한다. 또한, 상기 복사 과정에 있어서 참조 프레임에 존재하는 블록의 불연속성은 모션 보상되는 블록의 내부에 그대로 전달된다.

근래에, 이러한 블록 효과를 해결하기 위한 몇 가지 방향의 기술이 개발되었다. H.263 및 MPEG-4에서는 블로킹 효과를 감소시키기 위하여 중복 블록 모션 보상(overlapped block motion compensation; OBMC) 기법을 제시한다. OBMC가 블록 인위성을 해결하는데 효과적이라고 하더라도, 인코더 단에서의 모션 추정시 요구되는 연산량이 매우 크다는 문제가 있다. 그래서, H.264에서는 디블록 필터(deblocking filter)를 이용하여 상기 블록 인위성을 제거하고 주관적/객관적 화질을 향상시키고자 한다. 상기 필터에 의한 필터링 과정은, 인코더 또는 디코더 단에서, 역 변환 이후 매크로 블록을 복원하기 전에 적용된다. 이 경우, 여러 가지 상황에 적합하도록 디블록 필터를 적용하는 강도를 조절할 수 있도록 되어 있다.

도 2는 종래의 H.264 표준에 따른 디블록 필터 강도를 결정하는 방법을 설명하는 흐름도이다. 여기서, 블록 p 및 블록 q는 디블록 필터를 적용할 블록 경계를 이루는 두 개의 블록으로서, 각각 현재 블록 및 인접 블록을 나타낸다. p 또는 q가 인트라 코딩된 블록인가, 대상 샘플이 매크로블록 경계에 위치하는가, p 또는 q가 코딩된 블록인가 등에 따라서 0 내지 4까지 5가지의 필터 강도(Bs라 표시됨)가 부여된다. 여기서 Bs=0인 경우 해당 대상 픽셀은 디블록 필터를 적용하지 않는다는 의미이다.

다시 말해서, 이와 같은 종래의 디블록 필터 강도 결정에서는, 대상 샘플이 존재하는 현재 블록 및 인접 블록이 인트라 코딩된 것인가, 인터 코딩된 것인가, 또는 코딩되지 않은 것인가를 필터 강도 적용을 위한 기준으로 삼고 있다. 그리고, 대상 샘플이 4x4 블록의 경계에 존재하는가 16x16 매크로블록의 경계에 존재하는가도 또 다른 적용 기준으로 삼고 있다.

그런데, 현재까지 진행된 SVC 표준에서는 도 1과 같이 하위 계층에서 생성된 프레임을 이용하여 현재 계층에서의 프레임을 예측하는 기술, 즉 인트라 BL 모드를 채택하고 있음에도, 디블록 필터 강도를 결정하는 부분에 있어서 만큼은 도 2에서와 같은 종래 H.264 표준을 그대로 따르고 있다.

그러나, 다 계층 비디오 인코더/디코더에서는 각 계층 별로 디블록 필터가 적용되므로, 현재 계층 프레임을 효율적으로 예측하기 위하여 하위 계층에서 제공 되는 프레임에 다시 디블록 필터를 강하게 적용시키는 것은 비합리적이다. 그럼에도 현재의 SVC 표준에서는 인트라 BL 모드를 인트라 코딩의 일종으로 포함시키고, 도 2와 같은 필터 강도 결정 방식을 그대로 적용함으로써, 상기 필터 강도 결정을 함에 있어서 현재 블록이 인트라 BL 매크로블록에 속하는지 여부는 전혀 고려되지 못하고 있는 실정이다.

각각의 상황에 적합한 필터 강도를 결정하여 디블록 필터를 적용하는 것이 복원된 비디오의 객관적, 주관적 화질의 상승에 상당한 도움을 준다는 것은 이미 알려져 있다. 따라서, 다 계층 비디오 인코딩/디코딩시에 인트라 BL 모드에 해당하는지 여부를 고려하여 적절하게 필터 강도를 결정하는 기법을 연구할 필요가 있다.

본 발명은 상기한 필요성을 고려하여 창안된 것으로, 다 계층 비디오 인코더/디코더에서 디블록 필터를 적용할 어떤 블록이 인트라 BL 모드를 사용하는가 여부에 따라서 적절한 디블록 필터 강도를 부여하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명에 따른, 다 계층 기반의 비디오 코더에서 사용되는 디블록 필터링 방법은, 입력된 매크로블록 내의 블록 경계를 결정하는 단계; 상기 결정된 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하는 단계; 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 단계; 및 상기 설정된 필터 강도 에 따라 디블록 필터링을 수행하는 단계를 포함한다.

상기한 목적을 달성하기 위하여 본 발명에 따른, 디블록 필터링을 이용하는 다 계층 기반의 비디오 인코딩 방법은, 입력 비디오 프레임을 손실 부호화하는 단계; 상기 부호화된 프레임을 상기 손실 부호화의 역으로 복호화하여 복원하는 단계; 상기 복원된 프레임을 구성하는 매크로블록을 입력 받는 단계; 상기 매크로블록 내의 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하는 단계; 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 단계; 및 상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 단계를 포함한다.

상기한 목적을 달성하기 위하여 본 발명에 따른, 디블록 필터링을 이용하는 다 계층 기반의 비디오 디코딩 방법은, 입력된 비트스트림으로부터 텍스쳐 데이터 및 매크로블록 종류 정보를 추출하는 단계; 상기 텍스쳐 데이터로부터 비디오 프레임을 복원하는 단계; 상기 복원된 프레임을 구성하는 매크로블록을 입력 받는 단계; 상기 매크로블록 내의 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하는 단계; 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 단계; 및 상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 단계를 포함한다.

상기한 목적을 달성하기 위하여 본 발명에 따른, 디블록 필터링을 이용하는 다 계층 기반의 비디오 인코더는, 입력 비디오 프레임을 손실 부호화하는 수단; 상기 부호화된 프레임을 상기 손실 부호화의 역으로 복호화하여 복원하는 수단; 상기 복원된 프레임을 구성하는 매크로블록 내의 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하고, 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 수단; 및 상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 수단을 포함한다.

상기한 목적을 달성하기 위하여 본 발명에 따른, 디블록 필터링을 이용하는 다 계층 기반의 비디오 디코더는, 입력된 비트스트림으로부터 텍스쳐 데이터 및 매크로블록 종류 정보를 추출하는 수단; 상기 텍스쳐 데이터로부터 비디오 프레임을 복원하는 수단; 상기 복원된 프레임을 구성하는 매크로블록 내의 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하고, 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 수단; 및 상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 수단을 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태 로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 3은 본 발명의 일 실시예에 따른 다 계층 비디오 코더(coder)의 필터 강도 결정 방법을 나타낸 흐름도이다. 본 명세서에서 비디오 코더란 비디오 인코더 및 비디오 디코더를 통칭하는 개념으로 사용된다. 도 3의 실시예는 도 2의 종래 기술과 비교할 때 S25, S30, S55, 및 S60 단계가 더 추가되어 있음을 알 수 있다.

먼저, 블록(예를 들어, 4x4 블록) 경계를 중심으로 대상 샘플을 선택한다(S10). 대상 샘플이란, 현재 블록 p와 인접 블록 q간의 경계를 중심으로 도 4 또는 도 5와 같이 배열된 샘플들의 집합을 의미한다. 도 6에 나타낸 바와 같이, 블록의 생성 순서를 고려할 때 현재 블록 q의 상측 블록 및 좌측 블록이 인접 블록 p(pa 및 Pb)에 해당되며, 따라서 디블록 필터가 적용될 대상은 현재 블록 p의 상측 경계와 좌측 경계가 된다. 물론, 현재 블록 p의 하측 경계 및 우측 경계는 다음에 하측 블록 및 우측 블록에 대한 작업시 필터링된다. 본 발명에서 4x4 블록을 기준으로 하는 것은, H.264 표준에서 4x4 DCT 변환을 이용하고 있고, 모션 추정시의 가변 블록의 최소 단위도 역시 4x4이기 때문에 그 경우의 예로서 설명하는 것이다. 그러나, 만약 8x8 DCT 변환을 사용하는 등 다른 특성을 갖는 비디오 코더에 있어서는 8x8 블록 또는 기타 다른 크기의 블록 경계에 대하여 필터링을 적용할 수도 있음은 당업자라면 충분히 알 수 있을 것이다.

도 4를 보면, 블록 경계가 수직인 경우, 즉 현재 블록 p의 좌측 경계를 중심으로 한 대상 샘플들이 나타나 있다. 대상 샘플은 수직 경계를 중심으로 인접 블록 p에 존재하는 경계선 좌측 4개의 샘플(p0, p1, p2, p3) 및 현재 블록 q에 존재하는 경계선 우측 4개의 샘플(q0, q1 q2, q3)이다. 일단 대상 자체는 4개 모두가 대상이 되지만 실제 결정되는 필터 강도에 따라서 참조되는 샘플의 개수 및 실제 필터링 되는 샘플의 개수는 달라질 수 있다.

한편, 도 5를 보면, 블록 경계가 수평인 경우, 즉 현재 블록 p의 상측 경계를 중심으로 한 대상 샘플들이 나타나 있다. 대상 샘플은 수평 경계를 중심으로 인접 블록 p에 존재하는 경계선 상측 4개의 샘플(p0, p1, p2, p3) 및 현재 블록 q에 존재하는 경계선 하측 4개의 샘플(q0, q1 q2, q3)이다.

기존의 H.264 표준에 따르면, 디블록 필터는 휘도 신호 및 색차 신호 성분에 각각 적용되며, 하나의 프레임을 구성하는 매크로블록 단위로 래스터 스캔(raster scan) 순서에 따라서 순차적으로 수행된다. 각 매크로블록에 대하여, 도 4와 같은 수직 방향 경계에 대한 필터링을 먼저 수행한 후 도 5와 같은 수평 방향 경계에 대한 필터링을 수행할 수도 있지만, 그 반대의 순서로 필터링을 수행할 수도 있다.

다시 도 3으로 돌아가면, S10단계에 이어서 상기 대상 샘플이 속하는 블록 p 및 블록 q 중 적어도 하나가 인트라 코딩되었는가를 판단한다(S15). 이와 같이 인트라 코딩된 블록인가를 판단하는 이유는 프레임 내의 유사성을 이용하는 인트라 코딩(intra coding)은 프레임간의 유사성을 이용하는 인터 코딩(inter coding)에 비하여 상대적으로 블록 효과가 크게 나타날 수 있기 때문이다. 따라서 인트라 코 딩된 블록이 존재하는 경우는 그렇지 않은 경우에 비하여 상대적으로 필터 강도를 높인다.

본 발명에서 "인트라 코딩"은 하나의 프레임에서 인접 블록의 어떤 부분으로부터 현재 블록을 예측하는 "인트라 예측 모드"와 현재 계층의 하위 계층에서 복원된 이미지로부터 현재 매크로블록을 예측하는 "BL 인트라 모드"를 모두 포함하는 개념으로 정의한다.

S15의 판단 결과, 그러하다면 그 다음은 상기 블록 경계가 매크로블록 경계와 일치하는지를 판단한다(S20). 왜냐하면 단순히 4x4 블록 경계에서 보다는 매크로블록 경계에서 블록 효과가 더 크게 나타나기 때문에 이와 같은 판단에 따라 매크로블록의 경계에서는 필터 강도를 보다 높이게 된다.

상기 블록 경계가 매크로블록 경계와 일치한다면(S20의 예), 블록 p 및 블록 q가 인트라 BL 모드에 해당하는가를 판단하여(S25) 그러하다면 필터 강도를 나타내는 값(이하 "Bs"라 함)은 A로 결정하고(S30), 그렇지 않다면 Bs는 4로 결정한다(S50). 본 실시예에서는 블록 p 및 블록 q 중 하나라도 BL 모드가 아니면 BS는 4로 결정되는 것으로 한다.

상기 A값은 S25의 '아니오' 에서 선택되는 값, 즉 4보다는 작은 값이 되어야 한다. 왜냐하면 종래 기술의 문제점 설명에서 밝힌 바와 같이 인트라 BL 모드를 이용하기 위하여 제공되는 기초 계층의 이미지는 이미 디블록 필터가 적용되어 있으므로, 다른 인트라 예측 모드와 동일한 강도의 필터를 적용시키는 것은 불합리하기 때문이다. 따라서, A는 0 내지 3의 값 중 하나를 가질 수 있겠지만 실험을 통하여 찾아낸 바에 따르면 A는 1이 되는 것이 가장 바람직함을 확인할 수 있었다.

S20 단계의 판단 결과, 상기 블록 경계가 매크로블록 경계와 일치하지 않는다면(S20의 아니오), 블록 q가 인트라 BL 모드로 코딩되었는가를 판단하여(S55), 그러하다면 Bs는 B로 결정하고(S60), 그렇지 않다면 Bs는 3으로 결정한다(S65). 위에서 A의 값을 결정하는 것과 마찬가지의 이유에서, B도 S55의 '아니오' 에서 선택되는 값인 3보다는 작아야 한다. 따라서, B는 0 내지 2의 값 중 하나를 가질 수 있겠지만 실험을 통하여 찾아낸 바에 따르면 B도 1이 되는 것이 가장 바람직함을 알 수 있다.

한편, S15 단계에서, 블록 p와 블록 q 중 인트라 코딩된 것이 존재하지 않는다면(S15의 아니오), 블록 p와 블록 q 중에서 코딩된 것이 있는지를 판단한다(S70). 인트라 코딩되지 않는 블록들은 인터 예측을 통하여 인터 코딩되는 것이 일반적이겠지만, H.264 표준에서는 인터 예측 결과 예측된 이미지와 현재 이미지와의 차분이 일정 임계치 보다 낮은 경우에는 상기 차분을 코딩하지 않는 기법을 이용하기 때문에 S70의 판단이 필요한 것이다. 이는 코딩이 된 경우에 비하여 블록 효과가 발생할 가능성이 낮으므로 상대적으로 낮은 필터 강도를 적용하고자 함이다.

만약 블록 p와 블록 q 중 코딩된 블록이 하나라도 존재하면(S70의 예), Bs는 2로 설정한다(S75). 그러나, 양 블록이 모두 코딩되지 않은 경우에는(S80의 아니오), 블록 p 및 블록 q간에 참조 프레임이 서로 다르거나, 참조 프레임의 수가 서로 다른 경우(S80의 예)에는 Bs는 1로 설정한다(S85). 그 이유는 참조 프레임이 서로 다르다는 것은 상대적으로 블록 효과가 발생할 가능성이 크다는 것을 의미하기 때문이다.

S80의 판단 결과, 그러하지 아니하다면(S80의 아니오), 블록 p 및 블록 q의 모션 벡터가 서로 다른가를 판단한다(S90). 이것은 양 블록이 같은 참조 프레임을 갖는 경우(S80의 아니오)에도 모션 벡터가 일치하지 않는 경우는 모션 벡터가 일치하는 경우에 비하여 블록 효과가 발생할 가능성이 상대적으로 높으므로 그 판단 결과에 따라서 다른 필터 강도를 적용하기 위해서이다.

S90의 판단 결과, 그러하다면(S90의 예) Bs는 1로 설정하고(S85) 그러하지 아니하다면 Bs는 0으로 설정한다(S95).

도 7은 본 발명의 다른 실시예에 따른 다 계층 비디오 코더(coder)의 필터 강도 결정 방법을 나타낸 흐름도이다. 도 5의 실시예에서는 S25 단계에서 블록 p 및 블록 q가 모두 인트라 BL 모드인 경우와, 그렇지 않은 경우로 나누었지만, 본 실시예에서는 상기 단계에서 양 블록 중에서 인트라 BL 모드인 것이 하나인 경우와 둘 다인 경우를 분리하여 각각 다른 필터 강도를 적용한다.

그 이외의 부분은 도 5의 실시예와 동일하므로 이하에서는 차이나는 부분을 중심으로 하여 설명한다. 도 7의 S25 단계에서 블록 p 및 블록 q가 모두 인트라 BL 모드인 경우에는(S25의 예), Bs는 도 5의 실시예에서와 같이 A로 설정한다(S30). 그러나, 블록 p 및 q 중 하나만 인트라 BL 모드인 경우에는(S35의 예) Bs는 새로운 값 C로 설정한다(S45). 그리고, 블록 p 와 q 모두 인트라 BL 모드가 아니라면(S35의 아니오) Bs는 도 5의 실시예와 마찬가지로 그대로 4를 설정한다(S50).

상기 C는 양 블록 중 하나만 인트라 BL 모드인 경우이므로 필터 강도를 A보 다는 크고 4보다는 작은 값을 설정하여야 할 것이다. 만약, A를 도 5에서와 같이 1로 한다면, C는 2, 3 중의 하나의 값을 가질 수 있다.

한편, 도 8은 상기와 같은 필터 강도 결정 방식에 따른 디블록 필터를 포함하는 다 계층 비디오 인코더의 구성을 나타낸 것이다. 상기 다 계층 비디오 인코더는 폐루프(closed-loop) 방식, 또는 개루프(open-loop) 방식으로 구현될 수 있다. 여기서 폐루프 방식이란 원래의 프레임을 참조로 하여 예측을 수행하는 방식을, 개루프 방식이란 복원된 프레임을 참조로 하여 예측을 수행하는 방식을 의미한다.

선택부(280)는 기초 계층 인코더(100)의 업샘플러(195)로부터 전달되는 신호와, 모션 보상부(260)로부터 전달되는 신호와, 인트라 예측부(270)로부터 전달되는 신호 중 하나를 선택하여 출력한다. 이러한 선택은 인트라 BL 모드, 인터 예측 모드, 및 인트라 예측 모드 중에서 보다 코딩 효율이 높은 쪽을 선택하는 과정으로 수행된다.

인트라 예측부(270)는 가산기(215)로부터 제공되는 복원된 인접 블록 이미지로부터 소정의 인트라 예측 모드에 따라 현재 블록의 이미지를 예측한다. H.264에서는 이러한 인트라 예측 모드를 정의하고 있는데, 상기 인트라 예측 모드는 방향성을 갖는 8개의 모드와 하나의 DC모드를 포함하여 총 9개가 존재한다. 이중에서 어떠한 모드를 사용하는가 하는 것도 코딩 효율이 높은 쪽을 선택하는 방식으로 이루어진다. 인트라 예측부(270)는 상기 선택된 인트라 예측 모드에 따라 생성되는 예측 블록을 가산기(205)에 제공한다.

모션 추정부(250)는 입력 비디오 프레임 중에서, 참조 프레임을 기준으로 현 재 매크로블록의 모션 추정을 수행하고 모션 벡터를 구한다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다. 즉, 주어진 모션 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정하는 것이다. 모션 추정을 위하여 고정된 크기의 모션 블록을 이용할 수도 있지만, 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 가변 크기를 갖는 모션 블록을 이용하여 모션 추정을 수행할 수도 있다. 모션 추정부(250)는 모션 추정 결과 구해지는 모션 벡터, 모션 블록의 모드, 참조 프레임 번호 등의 모션 데이터를 엔트로피 부호화부(240)에 제공한다.

모션 보상부(260)는 상기 모션 추정부(250)에서 계산된 모션 벡터 및 참조 프레임을 이용하여 모션 보상(motion compensation)을 수행하여 현재 프레임에 대한 인터 예측 이미지를 생성한다.

차분기(205)는 현재 입력 프레임 신호에서 상기 선택부(280)에서 선택된 신호를 차분함으로써 잔여 프레임(residual frame)을 생성한다.

공간적 변환부(220)는 차분기(205)에 의하여 생성된 잔여 프레임에 대하여 공간적 변환(spatial transform)을 수행한다. 이러한 공간적 변환 방법으로는 DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등이 사용될 수 있다. 공간적 변환 결과 변환 계수가 구해지는데, 공간적 변환 방법으로 DCT를 사용하는 경우 DCT 계수가, 웨이블릿 변환을 사용하는 경우 웨이블릿 계수가 구해진다.

양자화부(230)는 공간적 변환부(220)에서 구한 변환 계수를 양자화하여 양자화 계수를 생성한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내는 작업을 의미한다. 이러한 양자화 방법으로는 스칼라 양자화, 벡터 양자화 등의 방법이 있는데, 이 중 간단한 스칼라 양자화 방법은 변환 계수를 양자화 테이블의 해당 값으로 나눈 후 정수 자리로 반올림하는 과정으로 수행된다.

한편, 공간적 변환 방법으로 웨이블릿 변환을 이용하는 경우에는 양자화 방법으로서 주로 엠베디드 양자화(embedded quantization) 방법을 이용한다. 이러한 엠베디드 양자화 방법은 상기 변환 계수를 문턱 값을 변경시켜 가면서(1/2로 변경) 그 문턱 값을 넘는 성분을 우선적으로 부호화하는 방식으로서, 공간적 연관성(spatial redundancy)를 이용하여 효율적인 양자화를 수행한다. 이러한 엠베디드 양자화 방법으로는 EZW(Embedded Zerotrees Wavelet Algorithm), SPIHT(Set Partitioning in Hierarchical Trees), EZBC(Embedded ZeroBlock Coding) 등이 있다.

이상의 엔트로피 부호화 이전 단계까지의 부호화 과정을 손실 부호화 과정이라고 한다.

엔트로피 부호화부(240)는 상기 양자화 계수와, 모션 추정부(250)에 의하여 제공되는 모션 정보를 무손실 부호화하고 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등이 사용될 수 있다.

도 9는 상기 생성되는 비트스트림(50)의 구조의 예를 나타낸 것이다. H.264에서는 비트스트림은 슬라이스(slice) 단위로 부호화된다. 비트스트림(50)은 슬라이스 헤더(slice header; 60)와, 슬라이스 데이터(slice date; 70)를 포함하며, 슬라이스 데이터(70)는 복수의 매크로블록 데이터들(MB; 71 내지 74)로 구성된다. 또한 하나의 매크로블록 데이터(73)는 mb_type 필드(80)와, mb_pred 필드(85)와, 텍스쳐 데이터(texture data) 필드(90)로 구성될 수 있다.

여기서, mb_type 필드(80)에는 매크로블록의 종류를 나타내는 값이 기록된다. 즉, 현재 매크로블록이 인트라 매크로블록(intra macroblock)인지, 인터 매크로블록(inter macroblock)인지, 또는 인트라 BL 매크로블록(intra BL macroblock)인지를 나타낸다.

그리고, mb_pred 필드(85)에는 상기 매크로블록의 종류에 따른 세부 예측 모드가 기록된다. 인트라 매크로블록의 경우에는 상기 선택된 인트라 예측 모드가 기록되고, 인터 매크로블록의 경우에는 매크로블록 파티션 별로 참조 프레임 번호 및 모션 벡터가 기록된다.

텍스쳐 데이터 필드(90)에는 부호화된 잔여 프레임, 즉 텍스쳐 데이터가 기록된다.

다시 도 8을 참조하면, 향상 계층 인코더(200)는 역 양자화부(271), 역 DCT 변환부(272), 및 가산기(215)를 더 포함하는 데 이들은 손실 부호화된 프레임을 역으로 복호화하여 복원하기 위하여 사용된다.

역 양자화부(271)는 양자화부(230)에서 양자화된 계수를 역 양자화한다. 이 러한 역 양자화 과정은 양자화 과정의 역에 해당되는 과정이다. 그리고, 역 공간적 변환부(272)는 상기 역양자화 결과를 역 공간적 변화하여 이를 가산기(215)에 제공한다.

가산기(215)는 역 공간적 변환부(272)로부터 제공된 신호와 선택부(280)에서 선택되어 프레임 버퍼(미도시됨)에 저장된 예측 신호를 가산하여 비디오 프레임을 복원한다. 가산기(215)에 의하여 복원된 비디오 프레임은 디블록 필터(290)에 제공되며, 상기 복원된 비디오 프레임 중 인접 블록의 이미지는 인트라 예측부(270)에 제공된다.

필터 강도 결정부(291)는 도 3 또는 도 7에서 설명한 필터 강도 결정 방식에 따라 하나의 매크로블록에서의 매크로블록 경계 및 블록(예: 4x4 블록) 경계에 대하여 필터 강도를 결정한다. 휘도 성분(luminance component)의 경우 매크로블록은 도 10과 같이 16x16 크기이지만, 색차 성분(chrominance component)의 경우 매크로블록은 도 11과 같이 8x8 크기를 갖는다. 도 10 및 도 11에서 하나의 매크로 블록에 대하여 필터 강도를 표시할 경계 부분에는 'Bs'라고 표기하였다. 다만, 매크로블록의 우측 경계선 및 하측 경계선에는 표시되어 있지 않다. 현재 매크로블록의 우측 또는 하측에 매크로블록이 존재하지 않으면 그 부분에 대한 디블록 필터는 불필요할 것이고, 우측 또는 하측에 매크로블록이 존재하면 해당 매크로블록에 대한 디블록 필터링시에 상기 경계선에 대한 필터 강도가 결정될 것이기 때문이다.

도 10와 같은 휘도 성분 매크로블록의 여러 경계선에 대하여 필터 강도를 결정한 예는 도 12에 도시하는 바와 같다. 여기서는, 현재 매크로블록 및 좌측의 매 크로블록은 인트라 BL 매크로블록이고, 상측의 매크로블록은 인터 매크로블록(또는 인트라 매크로블록)인 것을 예로 들었다.

도 3의 실시예를 기준으로 한다면, 매크로블록 내부의 4x4 블록 경계선은 모두 필터 강도가 'B'로 설정되고, 인트라 매크로블록 간의 경계선(현재 매크로블록의 좌측 경계선)은 모두 필터 강도가 'A'로 설정된다. 그리고, 현재 매크로블록의 상측 경계선은 모두 필터 강도가 '4'로 설정된다.

만약 도 7의 실시예를 기준으로 한다면, 도 12와는 달리 현재 매크로블록의 상측 경계선은 모두 필터 강도가 'C'로 설정될 것이다.

디블록 필터(290)는 필터 강도 결정부(291)에서 결정된 필터 강도에 따라서 각각의 경계선에 대하여 실제로 디블록 필터링을 수행한다. 다시 도 4 및 도 5를 참조하면, 수직 경계 또는 수평 경계의 양 측에서의 네 개의 픽셀이 나타나 있다. 각각의 필터링 동작은 경계의 양 측의 최대 세 개의 픽셀에, 즉 최대 {p2, p1, p0, q0, q1, q2}에까지 영향을 미칠 수 있다. 이 것은 필터 강도(Bs)와, 인접한 블록의 양자화 파라미터(QP) 등을 고려하여 정해진다.

그런데 디블록 필터링에 있어서, 픽쳐에 존재하는 실제 에지(real edge)와 DCT 계수를 양자화하여 발생된 에지를 구별하는 것은 매우 중요하다. 이미지의 선명함을 유지하기 위하여, 실제 에지는 가능한 한 필터링되지 않고 남아 있어야 하고, 인위적인 에지는 필터링 되어 눈에 띄지 않게 되어야 한다. 따라서 다음 수학식 1의 조건이 모두 만족될 때에만 필터링이 수행된다.

여기서, α와 β는 양자화 파라미터, FilterOffsetA, FilterOffsetB 등에 따라 정해지는 문턱값(threshold)이다.

만약, Bs가 1, 2, 3 중에 하나이고, 4-탭 필터(4-tab filter)가 입력 p1, p0, q0, 및 q1에 적용된다면, 필터링된 출력은 P0(p0을 필터링한 결과), 및 Q0(q0를 필터링한 결과)가 될 것이다. 휘도 성분에 있어서, 만약

이라면, 4-탭 필터는 입력 p2, p1, p1 및 q0에 적용되어, 필터링된 출력은 P1(p1을 필터링한 결과)이 될 것이다. 마찬가지로, 만약

이라면 4-탭 필터는 q2, q1, q0, 및 p0에 적용되어 필터링된 출력은 Q1(q1을 필터링한 결과)이 될 것이다.

한편, Bs가 4라면 3-탭 필터, 4탭-필터, 또는 5-탭 필터가 적용되어 문턱값 α, β, 및 실제 여덟 개의 픽셀에 기초하여 P0, P1, P2(p2를 필터링한 결과), Q0, Q1, 및 Q2(q2를 필터링한 결과)가 출력될 수 있다.

이러한 디블록 필터링을 수행하는 과정에 대한 보다 자세한 정보는 "Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC), Pattaya, Thailand, 7-14 March, 2003"을 참조하면 알 수 있다.

다시 도 8로 돌아가면, 디블록 필터(290)에 의하여 필터링된 결과 프레임 (D1)은 다른 입력 프레임에 대한 인터 예측을 하는데 사용하기 위하여 모션 추정부(250)에 제공된다. 또한, 현재 향상 계층 상위의 향상 계층이 더 존재하는 경우에는 상기 D1은 상위의 향상 계층에서 인트라 BL 모드의 예측을 수행하는데 참조 프레임으로서 제공될 수도 있다.

다만, 상기와 같이 디블록 필터의 출력 D1이 모션 추정부(250)로 입력되는 것은 폐루프 방식의 비디오 인코더의 경우만이다. MCTF(Motion Compensated Temporal Filtering) 기반의 비디오 인코더와 같이 개루프 방식을 이용하는 경우에는 인터 예측시 참조 프레임으로 원본 프레임을 이용하므로 디블록 필터의 출력이 다시 모션 추정부(250)로 입력될 필요는 없다.

한편, 기초 계층 인코더(100)는 공간적 변환부(120), 양자화부(130), 엔트로피 부호화부(140), 모션 추정부(150), 모션 보상부(160), 인트라 예측부(170), 선택부(180), 역 양자화부(171), 역 공간적 변환부(172), 다운 샘플러(105), 업샘플러(195), 디블록 필터(190)를 포함하여 구성될 수 있다.

다운 샘플러(105)는 원 입력 프레임을 기초 계층의 해상도로 다운샘플링(down-sampling)하며, 업샘플러(195)는 디블록 필터(190)에서 필터링된 결과를 업샘플링 하여 향상 계층의 선택부(280)에 제공한다.

다만, 기초 계층 인코더(100)에서는 하위 계층의 정보를 이용할 수 없으므로 선택부(180)는 인트라 예측 신호 및 인터 예측 신호 중 하나를 선택하게 되며, 디블록 필터(190)는 종래의 H.264에서와 같은 방식으로 필터 강도를 결정하게 된다.

이외에 다른 구성 요소는 상기 향상 계층 인코더(200)에 존재하는 동일 명칭 의 구성 요소의 동작과 마찬가지이므로 중복적인 설명은 생략하기로 한다.

도 13은 본 발명의 일 실시예에 따른 비디오 디코더(3000)의 구성의 일 예를 도시한 블록도이다. 비디오 디코더(3000)는 크게 향상 계층 디코더(600)와, 기초 계층 디코더(500)를 포함하여 구성될 수 있다.

먼저, 향상 계층 디코더(600)의 구성을 살펴 본다. 엔트로피 복호화부(610)는 입력되는 향상 계층 비트스트림에 대해 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하여, 매크로블록 종류 정보(매크로블록의 종류를 나타내는 정보), 인트라 예측 모드, 모션 정보, 및 텍스쳐 데이터 등을 추출한다.

여기서, 상기 비트스트림은 도 9에서 나타낸 예와 같이 구성될 수 있다. 여기서 매크로블록의 종류는 mb_type 필드(80)로부터 알 수 있고, 구체적인 인트라 예측 모드 및 모션 정보는 mb_pred 필드(85)로부터 알아낼 수 있다. 그리고, 텍스쳐 데이터는 텍스쳐 데이터 필드(90)를 읽음으로써 알 수 있다.

엔트로피 복호화부(610)는, 텍스쳐 데이터는 역 양자화부(620)에 제공하고, 인트라 예측 모드는 인트라 예측부(640)에 제공하며, 모션 정보는 모션 보상부(650)에 제공한다. 그리고, 현재 매크로블록의 종류 정보는 필터 강도 결정부(691)에 제공한다.

역 양자화부(620)는 엔트로피 복호화부(610)로부터 전달된 텍스쳐 정보를 역 양자화한다. 이 때, 비디오 인코더 측에서 사용한 것과 동일한 양자화 테이블을 이용한다.

다음으로, 역 공간적 변환부(630)는 상기 역 양자화 결과에 대하여 역 공간 적 변환을 수행한다. 이러한 역 공간적 변환은 비디오 인코더 단에서의 공간적 변환에 대응되는 방식으로 수행된다. 즉, 인코더 단에서 DCT 변환을 수행하였으면 여기서는 역 DCT 변환을, 인코더 단에서 웨이블릿 변환을 수행하였으면 여기서는 역 웨이블릿 변환을 수행하게 된다. 역 공간적 변환 결과, 잔여 프레임이 복원된다.

인트라 예측부(640)는 엔트로피 복호화부(610)로부터 전달되는 인트라 예측 모드에 따라서 가산기(615)로부터 출력되는 복원된 주변 인트라 블록으로부터 현재 인트라 블록에 대한 예측 블록을 생성하여 선택부(660)에 제공한다.

한편, 모션 보상부(650)는 엔트로피 복호화부(610)로부터 제공되는 모션 정보 및 디블록 필터(690)로부터 제공되는 참조 프레임을 이용하여 모션 보상을 수행한다. 모션 보상 결과 생성되는 예측 프레임은 선택부(660)에 제공된다.

그리고, 선택부(660)는 업샘플러(590)로부터 전달되는 신호와, 모션 보상부(650)로부터 전달되는 신호, 및 인트라 예측부(640)로부터 전달되는 신호 중 하나를 선택하여 가산기(615)에 전달한다. 이 때 선택부(660)는 엔트로피 복호화부(610)에서 제공되는 현재 매크로블록 종류 정보를 파악하여 그 종류에 따라서 3가지 신호 중 해당 신호를 선택한다.

가산기(615)는 상기 역 공간적 변환부(630)에서 출력되는 신호에서 상기 선택부(660)에서 선택된 신호를 가산함으로써 향상 계층의 비디오 프레임을 복원한다.

필터 강도 결정부(691)는 도 3 또는 도 7에서 설명한 필터 강도 결정 방식에 따라 하나의 매크로블록에서의 매크로블록 경계 및 블록 경계에 대하여 필터 강도 를 결정한다. 이 경우 현재 필터링을 수행하기 위하여 도 12과 같이 매크로블록의 종류를 알아야 하는데, 이러한 매크로블록의 종류에 관한 정보는 엔트로피 복호화부(610)로부터 제공받는다.

그리고, 디블록 필터(690)는 필터 강도 결정부(691)에서 결정된 필터 강도에 따라서 각각의 경계선에 대하여 실제로 디블록 필터링을 수행한다.

이러한, 디블록 필터(690)에 의하여 필터링된 결과 프레임(D3)은 다른 입력 프레임에 대한 인터 예측 프레임을 생성하기 위하여 모션 보상부(650)에 제공된다. 또한, 현재 향상 계층 상위의 향상 계층이 더 존재하는 경우에는 상기 D3은 상위의 향상 계층에서 인트라 BL 모드의 예측을 수행하는데 참조 프레임으로서 제공될 수도 있다.

한편, 기초 계층 디코더(500)의 구성도 향상 계층의 구성과 유사하다. 다만, 기초 계층 디코더(500)에서는 하위 계층의 정보를 이용할 수 없으므로 선택부(560)는 인트라 예측 신호 및 인터 예측 신호 중 하나를 선택하게 되며, 디블록 필터(590)는 종래의 H.264에서와 같은 방식으로 필터 강도를 결정하게 된다. 또한, 업샘플러(595)는 디블록 필터(590)에서 필터링된 결과를 업샘플링 하여 향상 계층의 선택부(660)에 제공한다.

이외에 다른 구성 요소는 상기 향상 계층 디코더(600)에 존재하는 동일 명칭의 구성 요소의 동작과 마찬가지이므로 중복적인 설명은 생략하기로 한다.

이상의 설명에서, 비디오 인코더 및 비디오 디코더는 각각 하나의 기초 계층 및 하나의 향상 계층, 즉 2개의 계층으로 이루어지는 것으로 하여 설명하였다. 그 러나 이것은 하나의 예에 불과하고 당업자라면 이러한 본 발명의 설명을 바탕으로 3개 이상의 계층을 갖는 비디오 코더도 얼마든지 구현할 수 있을 것이다.

지금까지 도 8 및 도 13의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.

도 14a 내지 도 16b는 본 발명과 종래기술을 실험 결과를 비교하여 나타낸 것이다. 여기서 종래 기술로는 "ISO/IEC 21000-13 Scalable Video Coding, N6716, Palma, Oct. 2004."에서 제공하는 SVM 3.0 모델을 이용하였다.

도 14a는 CREW 시퀀스에서 휘도 성분 PSNR(Y-PSNR)을 비트율의 변화에 따라 나타낸 그래프이고, 도 14b는 HARBOUR 시퀀스에서 휘도 성분 PSNR(Y-PSNR)을 비트율의 변화에 따라 나타낸 그래프이다. CREW 시퀀스에서는 명백하게 0.1 내지 0.2 dB 정도의 화질 향상을 가져오는 것을 확인할 수 있다. 그런데, HARBOUR 시퀀스에서는 화질 향상이 미미한 정도이다. 하지만 어느 경우의 어떤 테스트 포인트에서도 화질의 저하가 나타나는 곳은 없었다. 따라서, 본 발명에 따른 방법은 빠른 움직임을 갖는 시퀀스(전자)에 보다 효과적이며, 움직임이 느리거나 시간적으로 강한 연 관성을 갖는 시퀀스(후자)에서는 상대적으로 효과가 떨어지는 것을 확인할 수 있다. 그 이유는 본 발명이 인트라 BL 매크로블록을 사용하는 경우에 성능 향상을 가져오는데, 후자의 경우에는 선택되는 인트라 BL 매크로블록의 수가 적기 때문이라고 해석된다.

도 15a 및 도 15b는 프레임 단위로 각각 CIF@1024kbps의 FOOTBALL 시퀀스 및, 4CIF@3000kbps의 CREW 시퀀스에 대하여, 종래 기술에 대한 본 발명의 성능 향상을 나타낸 그래프이다. 도 14a, 도 14b에서 나타낸 바와 같이 평균적인 PSNR 향상은 그리 크지 않을지 모르지만 몇몇의 프레임에 있어서는 PSNR 값이 0.7dB까지 향상되는 것을 확인할 수 있다. 또한, CREW 시퀀스에서는 여러 프레임의 PSNR 값이 0.17dB까지 향상되는 것을 확인할 수 있다. 화질 향상이 크게 나타나는 프레임은 상대적으로 움직임이 빠른 프레임들로서, 종래 기술에 의할 경우 화질 저하가 크게 일어나는 프레임들이다. 이와 같이 본 발명은 특히 화질 저하가 심하게 일어날 수 있는 프레임에서의 화질을 향상시켜준다는 점에서 의의가 크다.

도 16a 및 16b는 각각 FOOTBALL 시퀀스 중 12번째 프레임을 종래 기술(SVM3)에 의하여 복원한 이미지와, 본 발명에 의하여 복원된 이미지를 나타낸다. 여기서는 모두 CIF@1024kbps를 사용하였다. 그 결과를 보면 본 발명에 따른 방법이 디블록 과정에서 발생하는 과도한 스무딩(over-smoothing) 효과를 줄여줌으로써 종래 기술에 비하여 시각적 디테일을 상대적으로 잘 보존한다는 것을 알 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수 적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

본 발명에 따르면, 다 계층 비디오 인코더/디코더에서 디블록 필터를 적용할 어떤 블록이 인트라 BL 모드를 사용하는가 여부에 따라서 적절한 디블록 필터 강도를 부여할 수 있다.

또한 상기와 같은 적절한 디블록 필터 강도를 부여함으로써 복원된 비디오의 화질 향상을 가져올 수 있다.

Claims (22)

1. 다 계층 기반의 비디오 코더에서 사용되는 디블록 필터링 방법에 있어서,

   (a) 입력된 매크로블록 내의 블록 경계를 결정하는 단계;

   (b) 상기 결정된 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하는 단계;

   (c) 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 단계; 및

   (d) 상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 단계를 포함하는, 디블록 필터링 방법.
2. 제1항에 있어서, 상기 (c) 단계는

   (c1) 상기 두 개의 블록 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 제1 필터 강도를 설정하는 단계; 및

   (c2) 상기 두 개의 블록 모두 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 제2 필터 강도를 설정하는데,

   상기 제1 필터 강도의 크기는 상기 제2 필터 강도의 크기보다 작은, 디블록 필터링 방법.
3. 제1항에 있어서, 상기 블록은

   4x4 픽셀 크기를 갖는, 디블록 필터링 방법.
4. 제1항에 있어서, 상기 (b) 단계 및 상기 (c) 단계에서 설정되는 필터 강도는

   상기 블록 경계가 매크로블록 경계와 일치하는가에 따라서 다른 크기로 세분화되어 설정되며, 상기 매크로블록 경계와 일치할 경우 상기 블록 경계에 보다 강한 필터 강도를 설정되는, 디블록 필터링 방법.
5. 제4항에 있어서, 상기 (b)단계는

   상기 제1 경계가 매크로블록의 경계와 일치하는 경우에는 상기 제1 경계에 필터 강도를 1로 설정하는 단계; 및

   상기 제1 경계가 매크로블록의 경계와 일치하지 않는 경우에는 상기 제1 경계에 필터 강도를 4를 설정하는 단계를 포함하고,

   상기 (c) 단계는

   상기 제1 경계가 매크로블록의 경계와 일치하는 경우에는 상기 제1 경계에 필터 강도를 1로 설정하는 단계; 및

   상기 제1 경계가 매크로블록의 경계와 일치하지 않는 경우에는 상기 제1 경계에 필터 강도를 3을 설정하는 단계를 포함하는, 디블록 필터링 방법.
6. 제1항에 있어서, 상기 인트라 BL 모드는

   하위 계층에서 복원된 프레임을 현재 계층의 프레임에 대한 예측 프레임으로 이용하는 경우를 의미하는, 디블록 필터링 방법.
7. 제1항에 있어서, 상기 제1 경계는

   상기 두 개의 블록 간의 수평 경계 또는 수직 경계 중 적어도 하나를 의미하는, 디블록 필터링 방법.
8. 디블록 필터링을 이용하는 다 계층 기반의 비디오 인코딩 방법에 있어서,

   (a) 입력 비디오 프레임을 손실 부호화하는 단계;

   (b) 상기 부호화된 프레임을 상기 손실 부호화의 역으로 복호화하여 복원하는 단계;

   (c) 상기 복원된 프레임을 구성하는 매크로블록을 입력 받는 단계;

   (d) 상기 매크로블록 내의 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하는 단계;

   (e) 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 단계; 및

   (f) 상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 단계를 포함하는, 다 계층 비디오 인코딩 방법.
9. 제8항에 있어서, 상기 디블록 필터링 수행 결과는

   다음 입력 프레임에 대한 인터 예측을 수행하는 데 제공되는, 다 계층 비디오 인코딩 방법.
10. 제8항에 있어서, 상기 디블록 필터링 수행 결과는

    현재 계층의 상위 계층에서 인트라 BL 모드에 따라 예측을 수행하는데 제공되는, 다 계층 비디오 인코딩 방법.
11. 제8항에 있어서, 상기 (d) 단계는

    (d1) 상기 두 개의 블록 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 제1 필터 강도를 설정하는 단계; 및

    (d2) 상기 두 개의 블록 모두 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 제2 필터 강도를 설정하는데,

    상기 제1 필터 강도의 크기는 상기 제2 필터 강도의 크기보다 작은, 다 계층 비디오 인코딩 방법.
12. 제8항에 있어서, 상기 (d) 단계 및 상기 (e) 단계에서 설정되는 필터 강도는

    상기 블록 경계가 매크로블록 경계와 일치하는가에 따라서 다른 크기로 세분화되어 설정되며, 상기 매크로블록 경계와 일치할 경우 상기 블록 경계에 보다 강한 필터 강도를 설정되는, 다 계층 비디오 인코딩 방법.
13. 제12항에 있어서, 상기 (d)단계는

    상기 제1 경계가 매크로블록의 경계와 일치하는 경우에는 상기 제1 경계에 필터 강도를 1로 설정하는 단계; 및

    상기 제1 경계가 매크로블록의 경계와 일치하지 않는 경우에는 상기 제1 경계에 필터 강도를 4를 설정하는 단계를 포함하고,

    상기 (e) 단계는

    상기 제1 경계가 매크로블록의 경계와 일치하는 경우에는 상기 제1 경계에 필터 강도를 1로 설정하는 단계; 및

    상기 제1 경계가 매크로블록의 경계와 일치하지 않는 경우에는 상기 제1 경계에 필터 강도를 3을 설정하는 단계를 포함하는, 다 계층 비디오 인코딩 방법.
14. 디블록 필터링을 이용하는 다 계층 기반의 비디오 디코딩 방법에 있어서,

    (a) 입력된 비트스트림으로부터 텍스쳐 데이터 및 매크로블록 종류 정보를 추출하는 단계;

    (b) 상기 텍스쳐 데이터로부터 비디오 프레임을 복원하는 단계;

    (c) 상기 복원된 프레임을 구성하는 매크로블록을 입력 받는 단계;

    (d) 상기 매크로블록 내의 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하는 단계;

    (e) 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 단계; 및

    (f) 상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 단계를 포함하는, 다 계층 비디오 디코딩 방법.
15. 제14항에 있어서, 상기 (d) 단계 및 상기 (e) 단계에서

    상기 블록이 인트라 모드인지 여부는 상기 매크로블록 종류 정보를 이용하여 판단되는, 다 계층 비디오 디코딩 방법.
16. 제14항에 있어서, 상기 디블록 필터링 수행 결과는

    다음 입력 프레임에 대한 모션 보상을 수행하는 데 제공되는, 다 계층 비디오 디코딩 방법.
17. 제14항에 있어서, 상기 디블록 필터링 수행 결과는

    현재 계층의 상위 계층에서, 인트라 BL 모드로 인코딩된 매크로블록을 복원하는데 제공되는, 다 계층 비디오 디코딩 방법.
18. 제14항에 있어서, 상기 (d) 단계는

    (d1) 상기 두 개의 블록 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 제1 필터 강도를 설정하는 단계; 및

    (d2) 상기 두 개의 블록 모두 인트라 BL 모드가 아닌 경우에는 상기 제1 경 계에 제2 필터 강도를 설정하는데,

    상기 제1 필터 강도의 크기는 상기 제2 필터 강도의 크기보다 작은, 다 계층 비디오 디코딩 방법.
19. 제14항에 있어서, 상기 (d) 단계 및 상기 (e) 단계에서 설정되는 필터 강도는

    상기 블록 경계가 매크로블록 경계와 일치하는가에 따라서 다른 크기로 세분화되어 설정되며, 상기 매크로블록 경계와 일치할 경우 상기 블록 경계에 보다 강한 필터 강도를 설정되는, 다 계층 비디오 디코딩 방법.
20. 제19항에 있어서, 상기 (d)단계는

    상기 제1 경계가 매크로블록의 경계와 일치하는 경우에는 상기 제1 경계에 필터 강도를 1로 설정하는 단계; 및

    상기 제1 경계가 매크로블록의 경계와 일치하지 않는 경우에는 상기 제1 경계에 필터 강도를 4를 설정하는 단계를 포함하고,

    상기 (e) 단계는

    상기 제1 경계가 매크로블록의 경계와 일치하는 경우에는 상기 제1 경계에 필터 강도를 1로 설정하는 단계; 및

    상기 제1 경계가 매크로블록의 경계와 일치하지 않는 경우에는 상기 제1 경계에 필터 강도를 3을 설정하는 단계를 포함하는, 다 계층 비디오 디코딩 방법.
21. 디블록 필터링을 이용하는 다 계층 기반의 비디오 인코더에 있어서,

    입력 비디오 프레임을 손실 부호화하는 수단;

    상기 부호화된 프레임을 상기 손실 부호화의 역으로 복호화하여 복원하는 수단;

    상기 복원된 프레임을 구성하는 매크로블록 내의 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하고, 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 수단; 및

    상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 수단을 포함하는, 다 계층 비디오 인코더.
22. 디블록 필터링을 이용하는 다 계층 기반의 비디오 디코더에 있어서,

    입력된 비트스트림으로부터 텍스쳐 데이터 및 매크로블록 종류 정보를 추출하는 수단;

    상기 텍스쳐 데이터로부터 비디오 프레임을 복원하는 수단;

    상기 복원된 프레임을 구성하는 매크로블록 내의 블록 경계 중 제1 경계를 이루는 두 개의 블록이 모두 인트라 BL 모드인 경우에는 상기 경계에 상대적으로 낮은 필터 강도를 설정하고, 상기 두 개의 블록 중 적어도 하나가 인트라 BL 모드 가 아닌 경우에는 상기 제1 경계에 상대적으로 높은 필터 강도를 설정하는 수단; 및

    상기 설정된 필터 강도에 따라 디블록 필터링을 수행하는 수단을 포함하는, 다 계층 비디오 디코더.

Images