KR102074313B1 - 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법 및 장치, 그리고 적응적 밴드 오프셋 구간을 이용한 부호화 및 복호화 장치 - Google Patents

Abstract

본 발명은 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법 및 장치, 그리고 적응적 밴드 오프셋 구간을 이용한 부호화 및 복호화 장치를 개시한다. 본 발명의 인-루프 필터링 방법은 복원된 영상(reconstructed picture)의 블록 왜곡을 제거하는 디블로킹 필터링(Deblocking Filtering) 단계; 및 상기 디블로킹 필터링된 영상에 대하여 적응적 샘플 오프셋(Sample Adaptive Offset, SAO)을 적용하는 단계를 포함하며, 상기 적응적 샘플 오프셋을 적용하는 단계는 상기 샘플 오프셋을 적용하고자 하는 현재 블록에 적응적 밴드 오프셋을 적용하는 단계를 포함한다. 본 발명에 따르면 픽셀의 특성에 따른 적절한 오프셋의 선택 가능성을 향상시키고, 픽셀 개개의 특성에 따라 적합한 오프셋이 선택이 되고 픽셀 값이 더욱 적절하게 보정이 되어 비디오 부호화 효율을 향상시키는 효과가 있다.

Description

적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법 및 장치, 그리고 적응적 밴드 오프셋 구간을 이용한 부호화 및 복호화 장치{METHOD AND APPARATUS OF IN-LOOP FILTERING BY ADAPTIVE BAND OFFSET BANDS, AND APPPARATUS FOR DECODING AND ENCODING BY ADAPTIVE BAND OFFSET BANDS}

본 발명은 비디오 데이터의 부호화 및 복호화에 관한 것으로, 보다 상세하게는 복원된 영상에 대하여 픽셀별로 오프셋을 적응적으로 적용하는 방법 및 장치에 관한 것이다.

영상이 낮은 비트율로 부호화되는 경우, 복원된 영상(reconstructed image)에 블록 왜곡(block artifacts)이 발생한 상태에서 프레임 메모리에 저장되고 다음 픽처의 움직임 보상 처리에서 상기 블록 왜곡(block artifacts)을 포함한 영상을 참조하여 부호화할 경우 화질의 열화가 전파될 수 있으며, 이를 해결하기 위하여, H.264/AVC 표준에서는, 원래 영상(original image)를 모르는 상태에서 프레임 메모리에 복원된 영상을 저장하기 전에 블록 왜곡(block artifacts)를 제거(remove)하는 적응적인 디블록킹 필터링(deblocking filtering)을 사용한다.

상기 디블록킹 필터링은 원래 영상(original image)을 모르는 상태에서 블록 왜곡만을 제거하기 위한 수동적인 필터(passive filter)로서, 능동적으로 원래 영상(original image)과 복원된 영상(reconstructed image)의 차이값(offset)을 보상할 수는 없는 한계가 있다.

[선행기술문헌]

(특허문헌 1) 한국 공개 특허 제 10-2011-0083369 호("디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치", 삼성전자주식회사, 2011.07.20 공개)

원래 영상(original image)과 복원된 영상(reconstructed image)의 차이값(offset)을 보상하기 위한 기법으로 적응적 샘플 오프셋(Adaptive Sample Offset, SAO) 방법이 있다. 적응적 샘플 오프셋 방법은 복원된 영상을 얻는 과정에서 발생할 수 있는 소수점 연산의 오류를 보정하기 위하여, 원본 영상과 복원된 영상 간의 차이값을 구하여 이를 바탕으로 오프셋을 구하여 복원된 영상에 더하는 방법이다.

오프셋은 픽셀별로 구분하여 적용되는데 오프셋의 모드는 크게 밴드 오프셋(Band Offset)과 에지 오프셋(Edge Offset)이 있다. 밴드 오프셋은 픽셀이 가지는 전체 레벨을 32부분으로 나누어서 16개의 중앙 구간(Central bands)과 16개의 양쪽 사이드 구간(Side bands)으로 크게 두 구간으로 나누어 2가지 모드가 있다. 에지 오프셋은 방향에 따라 0도, 45도, 90도, 135도, 총 4가지 모드가 있다. 각각의 모드별로 오프셋이 따로 구해지고, 율-왜곡 기반으로 가장 적은 비용을 소비하는 모드가 선택된다.

오프셋의 모드는 쿼드-트리(quad-tree)형태의 분할 방법을 이용하여 영상에 포함된 각각의 프레임이 다양한 크기의 블록으로 분할되고, 각각의 블록마다 다른 오프셋 모드가 결정된다. 두 모드 중에서 밴드 오프셋 방법의 경우 중앙 구간과 사이드 구간으로 나뉘는 기준이 일률적으로 정해져 있다. 상기와 같은 기준에 의해 선택된 밴드 오프셋 구간은 해당 픽셀 및 블록의 특성을 효율적으로 반영하지 못하고 있다.

전술한 문제점을 해결하기 위한 본 발명에서는 복원된 영상(reconstructed image)에 대한 적응적 샘플 오프셋(Adaptive Sample Offset, SAO)을 수행함에 있어서, SAO의 두 가지 방법 중 밴드 오프셋의 구간을 결정함에 있어 해당 픽셀 및 블록의 특성을 고려하여 적응적으로 중앙 구간과 사이드 구간을 구분하는 방법을 제안한다.

전술한 문제점을 해결하기 위한 본 발명의 목적은 밴드 오프셋 방식의 SAO 처리를 함에 있어, SAO의 밴드 오프셋 타입 및 밴드 오프셋 값을 현재 모드에 따라 적응적으로 다르게 적용하는 인-루프 필터링 방법을 제공하는 것이다.

본 발명의 다른 목적은 밴드 밴드 오프셋 방식의 SAO 처리를 함에 있어 해당 블록과 연관된 참조 범위의 픽셀 값 분포를 기반으로 적응적으로 중앙 구간과 사이드 구간을 구분하는 영상의 부호화 및 복호화 장치를 제공하는 것이다.

전술한 본 발명의 목적을 달성하기 위한 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법은 복원된 영상(reconstructed picture)의 블록 왜곡을 제거하는 디블로킹 필터링(Deblocking Filtering) 단계; 및 상기 디블로킹 필터링된 영상에 대하여 적응적 샘플 오프셋(Sample Adaptive Offset, SAO)을 적용하는 단계를 포함하며, 상기 샘플 오프셋을 적용하는 단계는 상기 샘플 오프셋을 적용하고자 하는 현재 블록에 따라 적응적 밴드 오프셋을 적용하는 것을 포함한다.

본 발명에서 적응적 밴드 오프셋은, SAO 절차를 적용하고자 하는 현재 블록에 따라 밴드 오프셋 구간 또는 타입을 다르게 결정함으로써, 보다 현재 블록에 적합한 SAO 절차 진행을 가능하게 하기 위한 개념으로 도입되었다.

본 발명의 적응적 밴드 오프셋 절차는 적응적 샘플 오프셋 단계에 포함되며, 적응적 밴드 오프셋 절차는, 상기 현재 블록과 관련된 참조 범위에 속한 픽셀들의 픽셀 값 분포를 고려하여 밴드 오프셋 구간을 적응적으로 결정하는 단계, 상기 적응적으로 결정된 밴드 오프셋 구간을 고려하여 상기 현재 블록의 샘플 오프셋 타입을 결정하는 단계; 및 상기 결정된 밴드 오프셋 구간을 고려하여 상기 현재 블록에 속하는 픽셀들에 대하여 샘플 오프셋을 합산하는 단계를 포함한다.

본 발명에서 참조 범위는 미리 결정된 기준에 따라 상기 현재 블록과 인접한 영역에 속한 픽셀들에 의하여 특정되는 영역, 또는 상기 현재 블록과 미리 결정된 기준에 따른 유사성을 갖는 블록에 속한 픽셀들에 의하여 특정되는 영역일 수 있다. 특히, 미리 결정된 기준에 따라 상기 현재 블록과 인접한 영역에 속한 픽셀들에 의하여 특정되는 영역은, 현재 블록의 상부 블록, 좌측 블록 및 우측상부 블록 중 적어도 하나 이상의 영역을 포함할 수 있다. 미리 결정된 기준에 따라 상기 현재 블록과 인접한 영역에 속한 픽셀들에 의하여 특정되는 영역은, 상기 현재 블록을 미리 설정한 두께로 둘러싸고 있는 픽셀들의 집합으로 설정하는 것도 가능하다.

본 발명에서 밴드 오프셋 구간은 중앙 구간(Central Bands)과 사이드 구간(Side Bands)를 포함하며, 상기 밴드 오프셋 구간을 적응적으로 결정하는 것은 픽셀 값이 존재할 수 있는 전체 밴드들 중, 상기 참조 범위에 속한 픽셀들이 가장 많이 속한 밴드를 고려하여 현재 블록에 따른 밴드 오프셋 구간을 결정하는 단계를 포함할 수 있다.

본 발명에서 중앙 구간은, 참조 범위에 속한 픽셀들이 가장 많이 속한 밴드가 상기 중앙 구간의 중심이 되도록 중앙 구간을 결정하거나, 또는 참조 범위에 속한 픽셀들의 픽셀 값 분포를 고려하여 적응적으로 결정하는 것도 가능하다. 또한, 참조 범위에 속한 픽셀들의 픽셀 값이 분포하고 있는 밴드의 수와, 중앙 구간의 크기가 미리 결정된 기준 범위 내의 음의 상관 관계를 갖도록 상기 중앙 구간의 크기를 결정하는 것도 바람직하다.

또한, 상기 참조 범위의 최다 픽셀이 분포한 픽셀 값이 중심이 되도록 중앙 구간(Central bands)을 결정하되, 중앙 구간이 전체 밴드 수의 1/2이 되도록 결정할 수 있다. 상기 적응적 샘플 오프셋 처리 단계는 상기 참조 범위가 존재하지 않을 경우 전체 구간의 중심이 중앙 구간(Central bands)의 중심이 되도록 상기 중앙 구간(Central bands)을 결정하되, 상기 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하도록 결정할 수 있다.

또한, 본 발명에서 밴드 오프셋 구간은, 참조 범위에 속한 픽셀들의 픽셀값 분포를 고려하여 중앙 구간(Central Bands), 제1 사이드 구간(1st Side Bands), 제2 사이드 구간(2nd Side Bands)을 적응적으로 결정될 수 있다.

본 발명의 다른 목적을 달성하기 위한 적응적 밴드 오프셋 구간을 이용한 복호화 장치는 복원된 영상의 블록 왜곡을 제거하는 디블로킹 필터(Deblocking Filter); 및 상기 디블로킹 필터링된 영상을 적응적 샘플 오프셋(Sample Adaptive Offset, SAO) 처리하는 SAO 처리부를 포함하되, 상기 SAO 처리부는 현재 블록과 연관된 참조 범위의 픽셀 값 분포 특성을 기반으로 상기 현재 블록의 밴드 오프셋 구간을 결정하는 것을 특징으로 할 수 있다. 여기서, 상기 참조 범위는 상기 현재 블록의 주변 블록의 픽셀들의 집합인 것을 특징으로 할 수 있고, 상기 참조 범위는 상기 현재 블록의 상부 블록 및 좌측 블록의 픽셀들의 집합인 것을 특징으로 할 수 있다.

또한, 상기 참조 범위는 상기 현재 블록을 미리 설정한 두께로 둘러싸고 있는 픽셀들의 집합인 것을 특징으로 할 수 있고, 상기 참조 범위는 상기 현재 블록의 픽셀들의 집합인 것을 특징으로 할 수 있다. 여기서, 상기 SAO 처리부는 상기 참조 범위의 픽셀 값이 분포하는 구간을 중앙 구간(Central bands)으로 결정하는 것을 특징으로 할 수 있고, 상기 SAO 처리부는 상기 참조 범위의 최다 픽셀이 분포한 픽셀 값이 중심이 되도록 중앙 구간(Central bands)을 결정하되, 상기 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하는 것을 특징으로 할 수 있다. 또한, 상기 SAO 처리부는 상기 참조 범위가 존재하지 않을 경우 전체 구간의 중심이 중앙 구간(Central bands)의 중심이 되도록 상기 중앙 구간(Central bands)을 결정하되, 상기 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하는 것을 특징으로 할 수 있다.

본 발명의 다른 목적을 달성하기 위한 적응적 밴드 오프셋 구간을 이용한 부호화 장치는 복원된 영상의 블록 왜곡을 제거하는 디블로킹 필터(Deblocking Filter); 및 상기 디블로킹 필터링된 영상을 적응적 샘플 오프셋(Sample Adaptive Offset, SAO) 처리하는 SAO 처리부를 포함하되, 상기 SAO 처리부는 현재 블록과 연관된 참조 범위의 픽셀 값 분포 특성을 기반으로 상기 현재 블록의 밴드 오프셋 구간을 결정하는 것을 특징으로 할 수 있다. 여기서, 상기 참조 범위는 상기 현재 블록의 주변 블록의 픽셀들의 집합인 것을 특징으로 할 수 있고, 상기 참조 범위는 상기 현재 블록의 상부 블록 및 좌측 블록의 픽셀들의 집합인 것을 특징으로 할 수 있다. 또한, 상기 참조 범위는 상기 현재 블록을 미리 설정한 두께로 둘러싸고 있는 픽셀들의 집합인 것을 특징으로 할 수 있고, 상기 참조 범위는 상기 현재 블록의 픽셀들의 집합인 것을 특징으로 할 수 있다.

여기서, 상기 SAO 처리부는 상기 참조 범위의 픽셀 값이 분포하는 구간을 중앙 구간(Central bands)으로 결정하는 것을 특징으로 할 수 있고, 상기 SAO 처리부는 상기 참조 범위의 최다 픽셀이 분포한 픽셀 값이 중심이 되도록 중앙 구간(Central bands)을 결정하되, 상기 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하는 것을 특징으로 할 수 있다. 또한, 상기 SAO 처리부는 상기 참조 범위가 존재하지 않을 경우 전체 구간의 중심이 중앙 구간(Central bands)의 중심이 되도록 상기 중앙 구간(Central bands)을 결정하되, 상기 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하는 것을 특징으로 할 수 있다.

전술한 인-루프 필터링 방법 및 영상의 복호화 장치에 따르면 밴드 오프셋 보정에서 중앙 구간과 사이드 구간의 구분 기준을 주변 블록의 픽셀 값 분포의 특성을 고려하여 적응적으로 선택함으로써, 픽셀의 특성에 따른 적절한 오프셋의 선택 가능성을 향상시킨다. 따라서 픽셀 개개의 특성에 따라 적합한 오프셋이 선택되고 픽셀 값이 더욱 적절하게 보정이 되어 비디오 부호화 효율 및 복원 영상 품질을 향상시키는 효과를 제공한다.

또한, 추가적인 정보를 사용하지 않고 현재 블록과 연관된 참조 범위를 이용하여 두 구간을 블록별로 결정하므로 추가적인 비트율 소비가 없어서 압축 효율을 높일 수 있으며, 오프셋의 효율 향상으로 인한 화질 향상을 보이게 되므로 주관적 화질 향상도 기대할 수 있다.

도 1은 본 발명의 일 실시예에 따른 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법의 흐름도이다.
도 2는 도 1의 적응적 샘플 오프셋 처리 단계의 상세 흐름도이다.
도 3은 주변 블록을 참조 범위로 설정하는 경우의 개념도이다.
도 4는 현재 블록 주변의 픽셀을 참조 범위로 설정하는 경우의 개념도이다.
도 5는 현재 블록의 픽셀들을 참조 범위로 설정하는 경우의 개념도이다.
도 6은 종래의 기준에 의해 중앙 구간과 사이드 구간을 구분한 도면이다.
도 7은 참조 범위의 픽셀 값 분포 범위를 중앙 구간으로 설정한 경우의 예를 나타낸다.
도 8은 참조 범위 픽셀의 최다 분포 픽셀 값을 중심으로 중앙 구간을 설정한 경우의 예이다.
도 9는 본 발명의 일 실시예에 따른 중앙 구간과 제1 사이드 구간, 제2 사이드 구간을 설정한 경우의 예이다.
도 10은 본 발명의 일 실시예에 따른 적응적 밴드 오프셋 구간을 이용한 영상의 복호화 장치의 구성을 나타내는 블록도이다.
도 11은 본 발명의 일 실시예에 따른 적응적 밴드 오프셋 구간을 이용한 영상의 부호화 장치의 구성을 나타내는 블록도이다.
도 12은 도 10 내지 도 11의 인-루프 필터의 구성을 나타내는 블록도이다.
도 13은 도 12에서 적응적 샘플 오프셋 처리부의 상세 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

적응적 밴드 오프셋 구간을 적용하기 위해, 주변 블록의 참고 가능 여부를 확인하여 참조 가능한 주변 블록의 픽셀 값의 통계적 특성을 산출하고 이를 기반하여 구간 구별 기준을 결정한다. 상기 결정된 구간 구별 기준에 따라 중앙 구간과 사이드 구간으로 나누고 오프셋 보정을 각 블록의 모드별로 수행한다. 본 발명은 현재 블록 이전에 이미 복호화가 끝난 블록의 정보를 이용하므로 추가적인 정보를 필요로 하지 않는다.

인-루프 필터링 방법

도 1은 본 발명의 일 실시예에 따른 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법의 흐름도이다. 도 1에 도시된 인루프 필터링 방법은, 도 12에 도시된 인-루프 필터에서 시계열적으로 수행되는 하기 단계들을 포함한다.

도 1에 도시된 바와 같이 먼저 복원된 영상의 블록 왜곡을 제거하는 디블로킹 필터링(Deblocking Filtering)을 수행한다(S110). 영상이 낮은 비트율로 부호화되는 경우 복호영상에 블록왜곡이 발생한 상태에서 프레임 메모리에 저장되고 다음 픽처의 움직임 보상 처리에서 상기 블록왜곡을 포함한 영상을 참조하여 부호화하기 때문에 화질의 열화가 전파되는 문제를 해결하기 위해, 프레임 메모리에 복원된 영상을 저장하기 전에 블록왜곡 현상을 제거하는 적응적인 디블록킹 필터링(deblocking filtering)을 사용한다.

이후, 상기 디블로킹 필터링된 영상을 적응적 샘플 오프셋(Sample Adaptive Offset, SAO) 처리한다(S120). 본 실시예에서 상기 적응적 샘플 오프셋 처리 단계(S120)는 적응적 샘플 오프셋을 적용하고자 하는 현재 블록에 따라 적응적으로 샘플 오프셋을 적용하는 것을 특징으로 한다. 기존의 적응적 샘플 오프셋은 현재의 블록에 포함된 픽셀들의 픽셀값을 미리 준비된 밴드 오프셋 카데고리에 따라 구분시키고, 해당 픽셀값이 중앙 구간(Central bands)인지 사이드 구간(Side bands)를 판단하여 밴드 오프셋의 타입을 각 픽셀별로 적응적으로 결정하는 개념이었다.

본 발명의 일 실시예에 따른 적응적 샘플 오프셋은 현재 블록에 따라 중앙 구간이 다르게 정의될 수 있으므로, 밴드 오프셋의 타입 결정을 위한 경계 영역이 현재 블록에 따라 적응적으로 결정된다는 점에 일 특징이 있다. 경계 영역이 결정되면, 중앙 구간과 사이드 구간도 결정되게 되며, 본 실시예에서 구간을 구별하는 경계 영역은 현재 블록과 연관된 참조 범위에 위치한 픽셀들의 픽셀 값 분포를 고려하여,상기 현재 블록의 밴드 오프셋 구간을 결정하는 것에 일 특징이 있다.

전술한 바와 같이, 상기 적응적 샘플 오프셋 처리 단계(S120)는 디블록킹 필터가 처리된 픽셀들에 대하여 DC 오프셋(offset)을 보상하기 위함이다. 여기서, 상기 DC 오프셋(offset)은 변환 및 양자화후의 디블록킹 필터가 처리된 픽셀들과 원래 픽셀들(original pixels)간의 평균적인 차이값을 의미하며 변환 및 양자화로 인한 오프셋값으로 볼 수 있다. 디블록킹 필터를 한 이후에 현재 블록(코딩 유닛)은 상기 현재 블록의 분할(partitioning)된 블록 단위로 선택적으로 샘플 적응적 오프셋(SAO)를 온/오프할지를 결정할 수 있다.

도 2는 도 1의 적응적 샘플 오프셋 처리 단계의 상세 흐름도이다. 도 2를 참조하여, 상기 적응적 샘플 오프셋 처리 단계(S120)를 보다 상세히 설명한다.

도 2에 도시된 바와 같이 적응적 샘플 오프셋 처리 단계(S120)는 적응적 샘플 오프셋 처리부(도 12의 1120)에서 시계열적으로 수행되는 단계들, 즉 프레임 분할 단계(S210), 주변블록 참조 가능 여부 확인 단계(S220), 픽셀 값 분포 특성 추출 단계(S230), 밴드 오프셋 구간 결정 단계(S240) 및 오프셋 모드 결정 단계(S250)를 포함할 수 있다. 기존의 방법에 비해 추가적인 정보를 필요로 하지 않는다.

적응적 샘플 오프셋 처리부(1120)는 디블록킹 필터 처리된 영상에서 적응적 샘플 오프셋 처리를 하고자 하는 프레임 또는 블록에 대한 블록 분할을 수행한다. 본 단계(S210)에서 프레임 분할부에 입력이 되는 신호는 압축 후 복호화된 프레임 신호이다. 예를들어, 적응적 샘플 오프셋 처리부는 프레임 전체를 쿼드-트리 형태로 분할할 수 있으며, 최대 4단계까지 세부적으로 분할할 수 있다. 분할되는 블록의 크기와 하나의 블록당 오프셋 모드가 결정되게 되는데 상기 블록의 크기와 하나의 블록당 오프셋 모드는 율-왜곡 비용에 따라 결정되게 된다. 적절한 분할 방법을 얻기 위해 모든 분할 단계에 대해 율-왜곡 비용을 계산하여 가장 낮은 비용이 드는 분할 형태로 최종 결정되게 된다.

적응적 샘플 오프셋 처리부(1120)는 주변 블록 중 참조 가능한 참조 범위를 탐색한다. 현재 블록의 크기가 다양할 수 있으므로 주변 블록의 크기 또한 다양하게 존재하며 블록의 형태가 아니라 일정한 범위 내의 픽셀들을 이용할 수도 있다. 만약 현재의 블록의 참조 가능한 블록이 없다면 다음 단계인 픽셀 값 분포 특성 추출 단계(S230)를 수행하지 않고 밴드 오프셋 구간 결정 단계(S250)로 이동할 수도 있다.

적응적 샘플 오프셋 처리부(1120)는 픽셀 값 분포 특성을 추출한다(S230). 본 단계에서 적응적 샘플 오프셋 처리부는 참조 범위의 픽셀값 분포를 이용하여 밴드 오프셋에서 중앙 구간, 사이드 구간의 구별을 위한 구별 기준을 결정한다. 구별 기준은 참조 범위의 픽셀값 평균 또는 픽셀값 평균이 속한 밴드 카데고리 상의 구간일 수 있고, 참조 범위의 픽셀들을 양자화된 밴드 카데고리 상에 나타낼 경우, 가장 높은 빈도를 보이는 밴드 카데고리상의 구간을 구별 기준으로 결정할 수 있다. 또한, 분포 범위의 길이를 픽셀값 분포 히스토그램을 통해 계산하고, 분포 범위의 길이가 짧은 경우, 밴드 오프셋 구간의 크기(밴드의 수)를 조정하여, 분포 내에서 픽셀의 존재 가능성이 높은 곳을 기준으로 좁은 밴드 오프셋 구간을 설정할 수 있다.

밴드 오프셋 구간 결정 단계(S240)에서 픽셀 값에 대한 전체 밴드를 두 구간으로 구분한다. 밴드 오프셋에는 중앙 구간과 사이드 구간이 정의되게 되는데, 그 중 중앙 구간을 결정하는 방법은 현재 블록과 연관된 참조 범위의 픽셀 값이 분포하는 구간을 기준으로 결정될 수 있다. 그리고 사이드 구간은 결정된 중앙 구간을 제외한 나머지 부분으로 결정되게 된다. 만약 주변 블록을 참조할 수가 없어서 픽셀 값 분포 특성 정보가 없다면, 픽셀 값이 가능한 전체 구간 중 중앙의 1/2에 해당하는 부분이 중앙 구간으로 결정되고, 그 외의 양쪽 나머지 부분은 사이드 구간으로 결정할 수 있다.

오프셋 모드 결정 단계(S250)에서는 앞에서 결정된 중앙구간과 사이드 구간을 바탕으로 현재 블록에 어떤 구간이 더욱 효율적인지 율-왜곡 기법을 통해서 결정한다. 오프셋 모드 결정 단계(S250)에서는 중앙 구간 및 사이드 구간을 이용하는 밴드 오프셋 모드 뿐만 아니라 기존 방법인 에지 오프셋 방법 또한 함께 평가가 수행될 수 있으며, 다양한 블록의 크기에 대해 모두 율-왜곡 기법으로 평가하여 최적의 모드 및 크기를 결정한다.

오프셋 모드 결정 단계(S250)의 결과로 생성된 정보는 예를들어, 오프셋 정보, 프레임 분할 정보 및 모드 정보 등이 있으며, 상기 정보들은 슬라이드 헤더에 포함되어 복호화기에서 사용할 수 있게 된다. 본 발명에 의해 생성된 적응적 밴드 오프셋 구간은 추가적인 정보를 비트열에 추가할 필요 없이 주변 정보를 이용하여 결정되므로 비트율 손실은 없다.

상기 적응적 샘플 오프셋 처리 단계(S120)에서 적응적으로 밴드 오프셋 구간을 결정하기 위해 다양한 방법으로 참조 범위를 설정할 수 있다. 이하 설명하는 실시예는 영상 획득 장치의 일반적 형식인 RGB 영상을 입력 신호로 가정하고, 적응적 샘플 오프셋(SAO) 기술이 포함된 HEVC 영상 압축 표준을 기준으로 설명하나, 입력 영상의 형식이나 크기는 본 실시 예의 설명에 한정되지 않는다.

기존의 적응적 샘플 오프셋(SAO)에서 수행되는 밴드 오프셋에서는 전체 밴드가 고정된 형태의 중앙 구간과 사이드 구간으로 구분되어 사용되었다. 이러한 기존의 방법은 해당 픽셀에 대한 적응성을 고려해주지 못하였기 때문에 효율적이지 못하였다. 하지만, 본 발명에서는 밴드 오프셋의 중앙 구간을 현재 블록과 연관된 참조 범위 픽셀 값 분포 특성을 통해 결정하게 되므로 해당 블록에 더욱 효율적인 오프셋을 보정할 수 있게 되었다.

적응적인 밴드 구간을 결정하기 위해서는 현재 블록과 연관된 참조 범위의 픽셀 값 분포 특성을 얻어야 하는데, 이를 위한 참조 범위의 설정 방법에 대한 실시예를 설명하기에 앞서, 그 개념에 대하여 보다 구체적으로 설명한다.

본 실시예에서 참조 범위는 미리 결정된 기준에 따라 현재 블록과 인접한 영역에 속한 픽셀들에 의하여 특정되는 영역, 또는 현재 블록과 미리 결정된 기준에 따른 유사성을 갖는 블록에 속한 픽셀들에 의하여 특정되는 영역의 의미로 사용된다. 여기에서, 현재 블록과 인접한 영역이라 함은, 현재 블록의 좌측 블록(또는 영역), 상부 블록, 우측상부 블록등에서 하나 이상을 포함할 수 있다. 미리 결정된 기준에 따른 유사성을 갖는 블록이라 함은, 현재 블록과 유사한 픽셀값 분포를 보이는 블록으로서, 코사인거리, 유클리디안 거리 등 가장 유사한 블록을 찾기 위한 함수에 의하여 수치화된 유사도값을 고려하여 유사한 것으로 결정된 블록을 의미할 수 있다.

SAO 처리를 위한 현재 블록의 크기는 8*8 에서 64*64 등 다양한 크기를 갖는다. 현재 블록의 크기가 작을 경우, 픽셀값들의 분포는 편중될 수 있는데 현재 블록에 대한 샘플 오프셋 모드나 오프셋 값을 보다 적절하게 결정하기 위해서는, 현재의 블록과 관련된 참조 범위에 속한 픽셀들의 픽셀값을 고려하는 것이 바람직하다. 현재 블록과 유사성을 갖는 인접한 영역을 참조 영역으로 미리 결정하고, 참조 영역의 픽셀 값 분포를 고려하여, 현재 블록의 오프셋 밴드 구간을 결정하는 것은 본 발명의 일 특징이다.

도 3은 주변 블록을 참조 범위로 설정하는 경우의 개념도이다. 도 3에 도시된 바와 같이 이웃하는 왼쪽과 위쪽 블록을 참조하여 해당 블록(310)의 픽셀 값의 분포를 분석하는 방법이 있다. 이러한 방법은 인코딩이 되는 순서를 고려한 방법으로 만약 현재 블록의 아래와 오른쪽으로는 아직 복호화가 되지 않은 경우 사용할 수 있다. 즉, 상기 참조 범위(320)는 상기 현재 블록(310)의 상부 블록 및 좌측 블록의 픽셀들의 집합인 것을 특징으로 할 수 있다.

한편, 참조하는 주변 블록은 좌측 블록 및 상부 블록에 한정하지 아니한다. 경우에 따라, 현재 블록과 인접한 모든 블록을 참조할 수도 있고, 좌측블록, 좌측 상부 블록, 상부 블록, 우측 상부 블록 및 좌측 하부 블록을 참조할 수도 있다. 즉, 상기 참조 범위는 상기 현재 블록의 주변 블록의 픽셀들의 집합인 것을 특징으로 할 수 있다.

도 4는 현재 블록 주변의 픽셀을 참조 범위로 설정하는 경우의 개념도이다.

도 4에 도시된 바와 같이, 현재 블록(410)을 둘러싸고 있는 일정한 두께 내의 픽셀들(420)을 이용하여 픽셀 값 분포 특성을 얻을 수 있다. 적응적 샘플 오프셋을 적용하는 단계가 프레임이 전부 복호화된 후에 수행된다면 해당 블록을 둘러싼 모든 부분에 픽셀 값이 존재하므로, 이들 모두를 이용하는 방법이 있다. 즉, 상기 참조 범위(420)는 상기 현재 블록을 미리 설정한 두께로 둘러싸고 있는 픽셀들의 집합인 것을 특징으로 할 수 있다.

도 5는 현재 블록의 픽셀들을 참조 범위로 설정하는 경우의 개념도이다.

도 5에 도시된 바와 같이, 현재 블록(510)의 픽셀 값 정보를 바탕으로 픽셀 값 분포를 얻을 수 있다. 현재 블록의 픽셀 값을 이미 복호화하여 가지고 있기 때문에 그 픽셀 값 또한 분포를 얻는데 이용할 수 있다. 즉, 상기 참조 범위(520)는 상기 현재 블록의 픽셀들의 집합인 것을 특징으로 할 수 있다.

참조 범위에 속한 픽셀들의 픽셀 값의 분포를 얻으면 이를 바탕으로 적응적 샘플 오프셋 처리부의 밴드 오프셋 구간 결정부(1122)는 중앙 구간을 결정하게 된다.

도 6은 종래의 기준에 의해 중앙 구간과 사이드 구간을 구분한 도면이다. 도 6에 도시된 바와 같이 종래의 기준은 현재 블록과 연관된 참조 범위를 참조하지 않고 일률적으로 픽셀 값이 가능한 전체 구간 중 중앙의 1/2에 해당하는 부분이 중앙 구간(610)으로 결정되고, 그 외의 양쪽 나머지 부분은 사이드 구간(620)으로 결정할 수 있다. 본 발명의 일 실시예에 따른 중앙 구간을 결정하기 위해 제시하는 실시예는 도 7 내지 9에 도시된 바와 같다.

도 7은 참조 범위의 픽셀 값 분포 범위를 중앙 구간으로 설정한 경우의 도면이다. 도 7에 도시된 바와 같이, 밴드 오프셋 구간 결정부(1122)는 상기 참조 범위의 픽셀 값이 분포하는 구간을 중앙 구간(Central bands)으로 결정할 수 있다. 중앙 구간이 결정되면, 중앙 구간의 양 끝 영역은 중앙 구간과, 사이드 구간을 구분하기 위한 경계가 된다.

이와 관련된 다른 실시예에 따르면, 밴드 오프셋 구간 결정부(1122)는 픽셀 값이 분포하는 구간이 픽셀 값의 전체 범위의 1/2보다 적은 구간에만 분포하는 경우, 참조 범위의 픽셀 값이 분포하는 구간을 중앙 구간으로 결정할 수도 있다. 또한, 밴드 오프셋 구간 결정부(1122)는 참조 범위의 픽셀 값이 미리 결정된 기준값 이상으로 분포하는 영역, 즉 픽셀 값의 주된 분포 영역을 중앙 구간으로 결정할 수 있다. 여기에서 미리 결정된 기준값은, 예를 들어 참조 범위에 속한 전체 픽셀의 수에 대한 해당 영역에서 존재하는 픽셀의 수의 비율일 수 있다.

도 8은 참조 범위 픽셀의 최다 분포 픽셀 값을 중심으로 중앙 구간을 설정한 경우의 도면이다. 도 8에 도시된 바와 같이, 밴드 오프셋 구간 결정부(1122)는 상기 참조 범위의 최다 픽셀이 분포한 픽셀 값이 중심이 되도록 중앙 구간(Central bands)을 결정할 수 있다. 특히, 밴드 오프셋 구간 결정부는 밴드 카데고리를 기준으로 가장 많은 픽셀 수를 보이는 밴드를 중앙 구간의 중심으로 선택하고, 해당 중심으로 부터 소정 거리에 위치한 밴드들을 중앙 구간으로 결정할 수 있다.

밴드 오프셋 구간 결정부는 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하도록 결정할 수 있다. 참조 범위의 픽셀 값이 분포하는 구간이 픽셀 값이 가질 수 있는 전체 범위의 1/2보다 큰 경우, 가장 큰 개수가 존재하는 픽셀 값을 기준으로 전체 범위에서의 1/2이 되는 범위를 결정할 수도 있다.

여기서, 상기 밴드 오프셋 구간 결정부는 상기 참조 범위가 존재하지 않을 경우 전체 구간의 중심이 중앙 구간(Central bands)의 중심이 되도록 상기 중앙 구간(Central bands)을 결정하되, 상기 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하도록 결정할 수 있다.

도 9는 참조 범위 픽셀의 분포 범위가 매우 짧고, 좁은 밴드 구간에서 존재 확률값이 큰 경우, 밴드 오프셋 구간의 수를 조정한 예를 나타낸다. 도 9에 도시된 바와 같이, 밴드 오프셋 구간은 중앙 구간(BO_0), 제1 사이드 구간(BO_1), 제2 사이드 구간(BO_2)로 구성될 수 있다.

특히, 밴드 오프셋 구간 결정부는 밴드 오프셋 구간의 수를 조정하여 분포 내에서 가장 존재 확률이 높은 곳을 기준으로 좁은 밴드 오프셋 구간을 설정할 수 있다. 밴드 오프셋 구간 결정부는 상기 참조 범위의 최다 픽셀이 분포한 픽셀 값이 중심이 되도록 중앙 구간(Central bands)을 결정하되, 중앙 구간을 중심으로 좁은 범위에 큰 확률값이 분포하므로 밴드 오프셋 구간의 수를 증가시켜 좁은 밴드 오프셋 구간을 설정할 수 있다. 여기서, 밴드 오프셋 구간의 수는 참조 범위 픽셀의 분포 범위에 반비례하고, 밴드 오프셋 구간의 너비는 해당 범위의 확률값의 크기에 반비례한다. 이 경우, 도 6의 기존 방법과 다르게 3 개의 밴드 구간이 생성된다.

여기서, 밴드 오프셋 구간 결정부는 상기 참조 범 위가 존재하지 않을 경우 전체 구간의 중심이 중앙 구간(Central bands)의 중심이 되도록 상기 중앙 구간(Central bands)을 결정하되, 상기 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하도록 결정할 수 있다.

다시 도 1을 참조하면, 상기 적응적 샘플 오프셋(SAO) 처리 단계(S120) 이후에 선택적으로 적응적 루프 필터(ALF; Adaptive Loop Filter)를 적용할 수 있다(S130). S130단계는 필요에 따라 선택할 수 있는 단계이다. 본 단계에서 적응적 루프 필터(ALF)는 위너필터를 사용하여 디블록킹 필터보다 정밀하게 부호화시 에러를 보상할 수 있다. 구체적으로, 적응적 루프 필터(ALF)는 원래 픽셀들(original pixels)과 복호화된 픽셀들간의 차이값의 제곱(square error)의 합을 최소화하는 위너 필터를 사용하여 디블록킹 필터 및 적응적 오프셋(SAO) 이후에 복원된 신호를 보다 정밀하게 부호화함으로써 에러를 보상할 수 있다. 상기 적응적 루프 필터(ALF) 정보는 슬라이스 헤더에 포함되어 디코더로 전송될 수 있다. 상기 적응적 루프 필터(ALF) 정보는 위너 필터 계수, 적응적 루프 필터(ALF) 온/오프 정보, 필터 형태(filter shape) 정보를 포함할 수 있다. 상기 적응적 루프 필터(ALF)의 온/오프 정보는 코딩 유닛 단위로 슬라이스 헤더에 포함되어 디코더로 전송될 수 있다. 상기 필터 형태(filter shape)는 대칭적인 형태를 가지도록 설계하여 인코더 및 디코더 복잡도를 줄일 수 있다.

복호화 장치

도 10은 본 발명의 일 실시예에 따른 적응적 밴드 오프셋 구간을 이용한 영상의 복호화 장치의 구성을 나타내는 블록도이다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 복호화 장치는 엔트로피 복호화부(731), 역양자화부(733), 역변환부(735), 움직임 보상부(737), 인트라 예측부(739), 프레임 버퍼(741), 가산부(743) 및 인-루프 필터(745)를 포함한다.

엔트로피 복호화부(731)는 압축된 비트 스트림을 수신하고 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 역양자화부(733) 및 역변환부(735)는 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 잔차값을 복원한다.

움직임 보상부(737)는 엔트로피 복호화부(731)에 의해 비트 스트림으로부터 복호화된 정보를 이용하여 움직임 보상을 수행하여 예측된 예측 유닛을 생성한다.

인트라 예측부(739)는 현재 예측 유닛을 현재 픽춰내의 현재 예측 유닛 주변의 이미 부호화된 화소값으로부터 인트라 모드에 따라 인트라 예측(Intra Prediction)을 수행한다.

가산부(743)는 역변환부(735)에서 제공된 잔차값과, 움직임 보상부(737)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 인-루프 필터(745)에 제공한다.

도 12는 도 10의 인-루프 필터(745)의 구성을 나타내는 블록도이다.

도 12에 도시된 바와 같이 상기 인-루프 필터(745)는 복원된 영상의 블록 왜곡을 제거하는 디블로킹 필터(Deblocking Filter, 1110) 및 상기 디블로킹 필터링된 영상을 적응적 샘플 오프셋(Sample Adaptive Offset, SAO) 처리하는 SAO 처리부(1120)를 포함할 수 있다. 인-루프 필터(745)는 상기 가산부(743)에서 제공한 상기 복원된 영상의 블록 왜곡을 제거하는 디블로킹 필터링(Deblocking Filtering)하고 상기 디블로킹 필터링된 영상을 적응적 샘플 오프셋(Sample Adaptive Offset, SAO) 처리하며, 최종적으로 복원된 복원 영상을 프레임 버퍼(741)에 제공한다.

프레임 버퍼(741)는 복원된 영상을 저장한다. 즉, 복호화기에서는 예측 유닛에 압축된 예측 오차(역변환부에서 제공된 잔차값)를 가산하여 복호화 동작을 수행한다.

도 13에 도시된 바와 같이 본 실시예의 SAO 처리부(1120)는 밴드 오프셋 구간 결정부(1122), 샘플 오프셋 타입 결정부(1124) 및 샘플 오프셋 합산부(1126)를 포함한다. SAO 처리부는 현재 블록과 연관된 참조 범위의 픽셀 값 분포 특성을 기반으로 상기 현재 블록의 밴드 오프셋 구간을 결정할 수 있다.

밴드 오프셋 구간 결정부는, 상기 참조 범위를 상기 현재 블록의 주변 블록의 픽셀들의 집합으로 결정할 수 있는데, 특히 상기 현재 블록의 상부 블록 및 좌측 블록의 픽셀들의 집합을 참조 범위로 결정할 수 있다. 또한, 상기 현재 블록을 미리 설정한 두께로 둘러싸고 있는 픽셀들의 집합을 참조 범위로 결정할 수 있으며, 현재 블록의 픽셀들의 집합을 포함하도록 되도록 결정될 수 있다.

밴드 오프셋 구간 결정부는 상기 참조 범위의 픽셀 값이 분포하는 구간을 중앙 구간(Central bands)으로 결정할 수 있고, 상기 참조 범위의 최다 픽셀이 분포한 픽셀 값이 중심이 되도록 중앙 구간(Central bands)을 결정하되, 상기 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하도록 구간 경계를 결정할 수 있다. 또한, 상기 참조 범위가 존재하지 않을 경우 전체 구간의 중심이 중앙 구간(Central bands)의 중심이 되도록 상기 중앙 구간(Central bands)을 결정하되, 상기 중앙 구간(Central bands)은 전체 범위의 1/2을 차지하도록 결정할 수 있다.

샘플 오프셋 타입 결정부(1124)는 현재 블록의 밴드 오프셋 타입이 중앙 구간 오프셋인지 아니면 사이드 구간 밴드 오프셋인지 결정한다.

샘플 오프셋 합산부(1126)는 결정된 샘플 오프셋된 타입에 따라, 타입에 의하여 정해지는 구간에 속하는 픽셀들에 대하여 밴드별로 산출된 오프셋 값을 합산한다.

상기 복호화 장치에 포함된 인-루프 필터(745)의 구체적인 작동 태양은 전술한 본 발명의 일 실시예에 따른 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법에 따른다.

부호화 장치

도 11은 본 발명의 일 실시예에 따른 적응적 밴드 오프셋 구간을 이용한 영상의 부호화 장치의 구성을 나타내는 블록도이다.

도 11을 참조하면, 영상 부호화 장치는 부호화기(630)를 포함하며, 부호화기(630)는 화면간 예측부(632), 인트라 예측부(635), 감산기(637), 변환부(639), 양자화부(641), 엔트로피 부호화부(643), 역양자화부(645), 역변환부(647), 가산기(649), 프레임 버퍼(651) 및 인-루프 필터(653)를 포함할 수 있다. 화면간 예측부(632)는 움직임 예측부(631)와 움직임 보상부(633)를 포함한다.

입력된 영상은 순환적(recursive) 코딩 유닛(Coding Unit; CU)으로 분할되고, 상기 코딩 유닛은 화면간 예측부(632)에서의 화면간 예측 또는 인트라 예측부(635)에서의 화면내 예측을 위해 예측 유닛(Predition Unit; PU) 단위로 분할된다. 코딩 유닛(CU)은 계층적(hierarchy)으로 분할(partitioning)된다. SCU(smallest CU)는 최소 8x8 픽셀 크기를 가질 수 있으며, LCU(Largest CU)는 64x64 픽셀 크기를 가질 수 있다. SCU와 LCU 관련된 정보는 SPS(Sequence parameter set)으로 디코더로 시그널링 될 수 있다.

화면간 예측부(632)는 제공된 현재 부호화될 예측 유닛을 움직임을 추정하여 움직임 벡터를 생성한다.

움직임 예측부(631)는 제공된 현재 예측 유닛을 현재 부호화되는 N번째 픽춰의 이전 N-1번째 참조 픽처 및/또는 이후 N+1번째 참조 픽처에서 현재 블록과 유사한 영역을 검색하여 블록 단위로 움직임 벡터를 생성한다.

움직임 보상부(633)는 움직임 예측부(631)로부터 생성된 움직임 벡터와 참조 픽춰를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록(또는 예측된 예측 유닛)을 생성한다.

인트라 예측부(635)는 현재 예측 유닛을 현재 픽춰내의 현재 예측 유닛 주변의 이미 부호화된 화소값으로부터 인트라 모드에 따라 인트라 예측(Intra Prediction)을 수행한다.

감산기(637)는 움직임 보상부(633)에서 제공된 예측 블록(또는 예측된 예측 유닛)과 현재 블록(또는 현재 예측 유닛)을 감산하여 잔차값을 생성하고, 변환부(639) 및 양자화부(641)는 상기 잔차값(residue)을 DCT(Discrete Cosine Transform)변환하고 양자화한다.

엔트로피 부호화부(643)는 양자화된 DCT 계수들과 움직임 파라미터, SCU와 LCU 관련된 정보등의 정보를 엔트로피 부호화하여 비트 스트림을 생성한다.

역양자화부(645) 및 역변환부(647)는 양자화부(641)를 통해 양자화된 데이터를 역양자화하고 역변환한다. 가산기(649)는 역변환된 데이터와 움직임 보상부(633)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 인-루프 필터(653)에 제공한다.

도 12는 도 11의 인-루프 필터(653)의 구성을 나타내는 블록도이다.

도 12에 도시된 바와 같이 상기 인-루프 필터(653)는 복원된 영상의 블록 왜곡을 제거하는 디블로킹 필터(Deblocking Filter, 1110) 및 상기 디블로킹 필터링된 영상을 적응적 샘플 오프셋(Sample Adaptive Offset, SAO) 처리하는 SAO 처리부(1120)를 포함할 수 있다. 인-루프 필터(653)는 상기 가산기(649)에서 제공한 상기 복원된 영상의 블록 왜곡을 제거하는 디블로킹 필터링(Deblocking Filtering)하고 상기 디블로킹 필터링된 영상을 적응적 샘플 오프셋(Sample Adaptive Offset, SAO) 처리하며, 최종적으로 복원된 복원 영상을 프레임 버퍼(651)에 제공한다.

프레임 버퍼(651)는 복원된 영상을 저장한다.

여기서, 상기 SAO 처리부(1120)는 현재 블록과 연관된 참조 범위의 픽셀 값 분포 특성을 기반으로 상기 현재 블록의 밴드 오프셋 구간을 결정하는 것을 특징으로 할 수 있다.

밴드 오프셋 구간 결정부(1122)가 밴드 오프셋 구간을 현재 블록에 따라, 또는 현재 블록과 관련된 참조 범위의 픽셀값 분포를 고려하여, 중앙 구간과 사이드 구간의 경계를 적응적으로 결정할 수 있다. 밴드 오프셋 구간의 결정 방법은 앞서 상술한 바 있으므로 공통된 설명은 생략한다. 샘플 오프셋 타입 결정부와, 샘플 오프셋 합산부에 대하여도 공통된 설명은 생략한다. 상기 부호화 장치에 포함된 인-루프 필터(653)의 구체적인 작동 태양은 전술한 본 발명의 일 실시예에 따른 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법에 따르므로 이에 대한 설명도 생략한다.

Claims (24)

1. 인-루프 필터링 방법에 있어서,
   복원된 영상(reconstructed picture)에 디블로킹 필터링(Deblocking Filtering)을 적용하는 단계; 및
   상기 디블로킹 필터링된 영상에 대하여 적응적 샘플 오프셋(Sample Adaptive Offset, SAO)을 적용하는 단계를 포함하되,
   상기 적응적 샘플 오프셋을 적용하는 단계는, 상기 영상에 속한 현재 블록에 적응적 밴드 오프셋을 적용하는 단계를 포함하고,
   상기 적응적 밴드 오프셋을 적용하는 단계는, 상기 현재 블록 또는 상기 현재 블록의 참조 영역에 속한 픽셀들의 픽셀 값 분포를 고려하여 밴드 오프셋 구간을 적응적으로 결정하는 단계를 포함하는 것을 특징으로 하는 인-루프 필터링 방법.
2. 삭제
3. 제1항에 있어서, 상기 적응적 밴드 오프셋을 적용하는 단계는,
   상기 적응적으로 결정된 밴드 오프셋 구간을 고려하여 상기 현재 블록의 샘플 오프셋 타입을 결정하는 단계; 및
   상기 결정된 밴드 오프셋 구간을 고려하여 상기 현재 블록에 속하는 픽셀들에 대하여 샘플 오프셋을 합산하는 단계를 더 포함하는 것을 특징으로 하는 인-루프 필터링 방법.
4. 제1항에 있어서, 상기 참조 영역은,
   미리 결정된 기준에 따라 상기 현재 블록과 인접한 영역에 속한 픽셀들에 의하여 특정되는 영역, 또는
   상기 현재 블록과 미리 결정된 기준에 따른 유사성을 갖는 블록에 속한 픽셀들에 의하여 특정되는 영역인 것을 특징으로 하는 인-루프 필터링 방법.
5. 제4항에 있어서, 미리 결정된 기준에 따라 상기 현재 블록과 인접한 영역에 속한 픽셀들에 의하여 특정되는 영역은,
   상기 현재 블록의 상부 블록, 좌측 블록 및 우측상부 블록 중 적어도 하나 이상의 영역을 포함하는 것을 특징으로 하는 인-루프 필터링 방법.
6. 제4항에 있어서, 미리 결정된 기준에 따라 상기 현재 블록과 인접한 영역에 속한 픽셀들에 의하여 특정되는 영역은,
   상기 현재 블록을 미리 설정한 두께로 둘러싸고 있는 픽셀들의 집합인 것을 특징으로 하는 인-루프 필터링 방법.
7. 제1항에 있어서, 상기 밴드 오프셋 구간은 중앙 구간(Central Bands)과 사이드 구간(Side Bands)를 포함하며,
   상기 밴드 오프셋 구간을 적응적으로 결정하는 것은,
   픽셀 값이 존재할 수 있는 전체 밴드들 중, 상기 참조 영역에 속한 픽셀들이 가장 많이 속한 밴드를 고려하여 현재 블록에 따른 밴드 오프셋 구간을 결정하는 것임을 특징으로 하는 인-루프 필터링 방법.
8. 제7항에 있어서,
   상기 참조 영역에 속한 픽셀들이 가장 많이 속한 밴드를 고려하여 현재 블록에 따른 밴드 오프셋 구간을 결정하는 것은,
   상기 참조 영역에 속한 픽셀들이 가장 많이 속한 밴드가 상기 중앙 구간의 중심이 되도록 중앙 구간을 결정하는 것을 특징으로 하는 인-루프 필터링 방법.
9. 제1항에 있어서, 상기 밴드 오프셋 구간은 중앙 구간(Central Bands)과 사이드 구간(Side Bands)을 포함하며,
   상기 중앙 구간의 크기 또는 경계는 상기 참조 영역에 속한 픽셀들의 픽셀 값 분포를 고려하여 적응적으로 결정하는 것을 특징으로 하는 인-루프 필터링 방법.
10. 제1항에 있어서,
    상기 밴드 오프셋 구간은 중앙 구간(Central Bands)과 사이드 구간(Side Bands)을 포함하며,
    상기 중앙 구간의 크기 또는 경계는 상기 참조 영역에 속한 픽셀들의 픽셀 값이 분산된 정도를 고려하여 결정하는 것을 특징으로 하는 인-루프 필터링 방법.
11. 제10항에 있어서, 상기 참조 영역에 속한 픽셀들의 픽셀 값이 분산된 정도를 고려하여 상기 중앙 구간의 크기를 결정하는 것은,
    상기 참조 영역에 속한 픽셀들의 픽셀 값이 분포하고 있는 밴드의 수와, 중앙 구간의 크기가 미리 결정된 기준 범위 내의 음의 상관 관계를 갖도록 상기 중앙 구간의 크기를 결정하는 것을 특징으로 하는 인-루프 필터링 방법.
12. 제1항에 있어서,
    상기 밴드 오프셋 구간은, 중앙 구간(Central Bands), 제1 사이드 구간(1st Side Bands), 제2 사이드 구간(2nd Side Bands)을 포함하며,
    상기 밴드 오프셋 구간을 적응적으로 결정하는 것은,
    픽셀 값이 존재할 수 있는 전체 밴드들 중, 상기 참조 영역에 속한 픽셀들의 픽셀 값 분포를 고려하여 상기 중앙 구간의 경계와, 상기 제1 사이드 구간의 경계를 결정하는 것을 특징으로 하는 인-루프 필터링 방법.
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제

Images