KR100819289B1

KR100819289B1 - 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터

Info

Publication number: KR100819289B1
Application number: KR1020060102295A
Authority: KR
Inventors: 김한상; 주영훈; 최광표
Original assignee: 삼성전자주식회사
Priority date: 2006-10-20
Filing date: 2006-10-20
Publication date: 2008-04-02
Also published as: US8184713B2; EP1919222A1; EP1919222B1; US20080095244A1; DE602007011186D1

Abstract

본 발명은 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터를 제공한다. 이를 위해 본 발명은 입력된 영상 데이터로부터 수평 방향 또는 수직 방향 중 선택된 어느 한 방향에 따른 각각의 경계들에 대한 BS값들에 대한 계산이 완료되는 경우, 이를 이용하여 현재 선택된 방향과 다른 방향에 따른 각각의 경계들에 대한 BS값들을 예측할 수 있도록 한다. 그리고 예측된 값에 따라 해당 방향에 따른 디블록킹 필터링을 수행하도록 함으로써 어느 한 방향에 따른 경계들의 BS값만으로 완전한 디블록킹 필터링이 수행되어 질 수 잇도록 한다. 이에 따라 디블록킹 필터링 과정에서 필수적으로 소요되는 BS값 계산 과정이 크게 감소될 수 있으므로, 디블록킹 필터의 연산 과정에서 소요되는 시간을 크게 줄일 수 있다는 효과가 있다.

디블록킹 필터, BS(Boundary Strength)값

Description

영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터{DEBLOCKING FILTERING METHOD AND DEBLOCKING FILTER FOR VIDEO DATA}

도 1은 통상적인 디블록킹 필터링 과정을 도시한 흐름도,

도 2는 통상적인 디블록킹 필터링 과정에서, 수평 방향의 필터링을 수행하기 위한 수평 방향 BS값들을 계산하는 동작 과정을 도시한 흐름도,

도 3은 본 발명의 실시 예에 따른 디블록킹 필터의 구성예를 도시한 블록 구성도,

도 4는 본 발명의 실시 예에 따른 디블록킹 필터에서 수행되는 디블록킹 필터링 과정을 도시한 흐름도,

도 5는 본 발명의 실시 예에 따른 디블록킹 필터에서 계산이 완료된 특정 방향의 BS값들을 이용하여 다른 방향의 BS값들을 예측하는 과정을 도시한 흐름도,

도 6a, 6b, 6c는 본 발명의 실시 예에 따라 계산 또는 예측된 BS값들의 예를 도시한 예시도,

도 7a, 7b는 통상적인 방법에 따라 예측된 BS값들과, 본 발명의 실시 예에 따라 예측된 BS값들의 차이를 보이는 예시도.

본 발명은 H.264 코덱(Coder And Decoder)에 대한 것으로, 특히 원본 영상 데이터의 디코딩시 디블록킹 필터링을 수행하는 디블록킹 필터(Deblocking Filter) 방법 및 디블록킹 필터에 관한 것이다.

일반적으로 디블록킹 필터라는 것은 일반적으로 H.264 방식과 같은 비디오 코딩 표준에서는 영상 데이터를 블록단위로 압축 부호화한 후 디코딩 하므로 복원 영상에 블록킹 현상(Blocking artifacts)이 발생한다. 이러한 블록킹 현상은 크게 두 가지 원인에 기인한다. 첫 번째 원인으로는, 이러한 블록 단위 인코딩 방법의 경우 일정한 크기의 블록에 대해서 DCT(discrete cosine transform)를 수행하고 양자화 과정을 거치므로 서로 겹쳐지지 않는 블록 단위의 변환(transform)은 주변 블록 또는 화소간의 상관 관계(correlation)가 전혀 고려되지 않은 채 독립적으로 변환과 양자화가 수행되어 데이터 손실이 발생하기 때문이다. 그리고 두 번째 원인으로는, 블록 단위로 움직임 벡터(Motion vector)를 예측하여 영상을 보상하게 되는데 하나의 블록에 속한 화소는 같은 움직임 벡터를 갖게 되기 때문이다.

따라서 이러한 경우 디블록킹 필터(Deblocking filter)는 이러한 블록 단위의 코딩에서 발생하는 블록의 경계 오차를 부드럽게 해주는 역할을 하여 최종 복원 영상의 품질을 향상시키는 역할을 한다.

도 1은 이러한 통상적인 디블록킹 필터에서 디블록킹 필터링 과정이 수행되는 과정을 도시한 도면이다.

도 1을 참조하여 살펴보면, 통상적인 디블록킹 필터는 영상 데이터가 입력되면 100단계로 진행하여 입력된 영상 데이터를 기 설정된 개수의 픽셀 블록들로 구성되는 매크로 블록 단위로 분할한다. 일반적으로 이러한 매크로 블록 단위는 가로 4개 세로 4개의 4x4(4 by 4)단위 픽셀 블록 16개로 이루어진다.

그러면 통상적인 디블록킹 필터는 102단계로 진행하여 분할된 다수의 매크로 블록들 중 어느 하나를 기 설정된 순서에 따라 선택한다. 그리고 104단계로 진행하여 그 매크로 블록 내부의 수평 경계들 중 어느 하나에 따른 두개의 경계 블록, 즉 선택된 수평 경계에 인접하여 수직으로 연결된 두 개의 픽셀 블록을 기 설정된 순서에 따라 선택한다. 여기서 상기 ‘경계’라는 것은 수직 방향 또는 수평 방향으로 인접한 두 픽셀 블록간에, 서로 인접한 수직 방향 또는 수평 방향의 경계, 즉 에지(edge)를 말하는 것이다. 그리고 상기 ‘경계 블록’이라는 것은 현재 선택된 경계의 BS값을 산출하기 위해 선택되는 상기 현재 선택된 경계에 인접한 픽셀 블록을 말하는 것이다.

1	2	3	4
5	6	7	8
9	10	11	12
13	14	15	16

즉, 매크로 블록이 상기 표 1에서 보이고 있는 바와 같은 경우, 경계 블록들이 상기 5번 픽셀 블록과 6번 픽셀 블록인 경우라면, 수직 경계는 5번 픽셀 블록과 6번 픽셀 블록 사이의 경계가 된다. 이와 마찬가지로 경계 블록들이 상기 5번 픽셀 블록과 9번 픽셀 블록인 경우라면, 수평 경계는 5번 픽셀 블록과 9번 픽셀 블록 사이의 경계가 된다.

그리고 통상적인 디블록킹 필터는 106단계로 진행하여 상기 선택된 경계 블록들의 수평 방향 경계에 따른 BS(Boundary Strength) 값을 산출한다. 여기서 BS값은 디블록킹 필터의 필터링 과정 시에 필터링 되는 강도를 설정하기 위한 것이다. 이 106단계에서는 현재 선택된 경계 블록들이 인트라(Intra) 코딩된 것인지 여부, 인트라 코딩된 블록들이 아닌 경우 서로 간에 인트라 코딩 결과에 따라 서로 차이가 있는 블록으로 판단되는 경우인지 여부, 상기 경계 블록들이 서로 참조 픽처가 동일한지 여부, 양 경계 블록들간에 모션 벡터값의 차가 일정값 이상인지 여부 및 상기 현재 선택된 경계 블록들이 인트라 코딩된 블록들일 경우 그 블록들이 상기 매크로 블록의 블록 경계에 해당되는지 여부 등에 따라 상기 수평 방향 경계에 따른 BS값, 즉 수평 방향 BS값을 산출한다.

도 2는 이러한 106단계에서 현재 선택된 경계 블록들에 대한 수평 방향 BS값을 산출하는 과정을 보다 자세히 도시하고 있는 도면이다.

도 2를 참조하여 살펴보면, 통상적인 디블록킹 필터는 수평 방향 경계에 따른 경계 블록들이 선택되면, 200단계로 진행하여 현재 선택된 경계 블록들이 인트라 코딩된 블록들인지 여부를 체크한다. 그리고 상기 200단계의 체크 결과 현재 선택된 경계 블록들이 인트라 코딩된 블록들인 경우라면, 202단계로 진행하여 현재 선택된 수평 방향 경계가 현재 선택된 매크로 블록의 경계면, 즉 에지(edge)에 해당되는지 여부를 체크한다. 그리고 만약 상기 현재 선택된 수평 방향 경계가 현재 선택된 매크로 블록의 경계면인 경우라면, 통상적인 디블록킹 필터는 204단계로 진행하여 현재 선택된 수평 방향 경계의 BS값을 가장 강한 디블록킹 필터링 수준을 요하는‘4’로 설정한다. 그러나 만약 상기 202단계에서 현재 선택된 수평 방향 경계가 현재 선택된 매크로 블록의 경계면이 아닌 경우라면, 통상적인 디블록킹 필터는 206단계로 진행하여 현재 선택된 수평 방향 경계의 BS값을 ‘3’으로 설정한다.

한편 상기 200단계의 체크 결과 현재 선택된 경계 블록들이 인트라 코딩된 블록들이 아닌 경우라면, 통상적인 디블록킹 필터는 208단계로 진행하여 현재 선택된 경계 블록들의 CBP(Coded Blcok Pattern)값을 확인하여 비교한다. 여기서 상기 경계 블록들의 CBP값이 모두 0 이라면 상기 블록들은 차이가 없는 것으로 판단될 수 있고, 상기 CBP값이 둘 중 적어도 하나가 1 이라면 상기 블록들은 서로 그 성질이 상이한 것으로 판단될 수 있다.

그리고 통상적인 디블록킹 필터는 210단계로 진행하여 상기 CBP값 비교 결과, 현재 선택된 경계 블록간에 차이가 있는지 여부를 체크한다. 그리고 만약 현재 선택된 경계 블록간 차이가 있는 경우라면 통상적인 디블록킹 필터는 212단계로 진행하여 현재 선택된 수평 방향 경계의 BS값을 ‘2’로 설정한다.

그리고 만약 상기 현재 선택된 경계 블록간 차이가 없는 경우라면 통상적인 디블록킹 필터는 214단계로 진행하여 현재 선택된 경계 블록들이 서로 참조 픽처가 동일한지 여부 또는 각 경계 블록의 수직, 수평 방향에 대한 모션 벡터값의 차가 일정값 이상인지 여부를 체크한다. 그리고 만약 현재 선택된 경계 블록들이 서로 참조 픽처가 동일하지 않은 경우 또는 각 경계 블록의 수직, 수평 방향에 대한 모션 벡터값의 차가 일정값 이상인 경우라면 디블록킹 필터는 216단계로 진행하여 현재 선택된 수평 방향 경계의 BS값을 ‘1’로 설정한다. 그러나 만약 현재 선택된 경계 블록들이 서로 참조 픽처가 동일하거나 각 경계 블록의 수직, 수평 방향에 대한 모션 벡터값의 차가 일정값 미만인 경우라면 디블록킹 필터는 216단계로 진행하여 현재 선택된 수평 방향 경계의 BS값을 ‘0’으로 설정하여 디블록킹 필터링을 스킵(skip)하도록 한다. 그리고 도 1의 108단계로 진행한다.

그리고 상술한 바와 같이 BS값이 산출되면 이는 특정 픽셀의 특정 방향에 따른 BS값이 된다. 예를 들어 상기 표 1과 같은 경우에 상기 수직 경계의 BS값이 산출되면, 그 BS값은 통상적으로 상기 수직 경계의 우측에 위치한 픽셀 블록인 6번 픽셀 블록의 BS값이 된다. 그리고 수평 경계의 BS값이 산출되면, 그 BS값은 통상적으로 상기 수평 경계의 위쪽에 위치한 픽셀 블록인 5번 픽셀 블록의 BS값이 된다.

그리고 상술한 바와 같이 106단계에서 현재 선택된 경계 블록들에 대한 수평 방향 BS값 산출이 완료되면, 통상적인 디블록킹 필터는 108단계로 진행하여 현재 선택된 매크로 블록의 모든 수평 경계들에 대한 수평 방향 BS값이 산출되었는지를 확인하고 그렇지 않은 경우에는 다시 104단계로 진행하여 다른 경계 블록들을 선택한 후 다시 106단계를 반복한다. 그리고 현재 선택된 매크로 블록의 모든 수평 경계들에 대한 BS값들의 산출이 완료되면, 통상적인 디블록킹 필터는 110단계로 진행하여 입력된 영상 데이터로부터 분할된 모든 매크로 블록에 대한 상기 과정(100단계에서 108단계에 이르는 과정)이 수행되었는지 여부를 판단한다. 그리고 110단계의 판단 결과, 모든 매크로 블록의 각 경계 블록들에 대해 수평 방향 BS값이 산출된 경우에는 112단계로 진행하여 수평 방향에 따른 디블록킹 필터링 과정을 수행한다.

그리고 112단계에서 디블록킹 과정이 완료되면, 통상적인 디블록킹 필터는 다시 상기 영상 데이터로부터 분할된 매크로 블록들 중 어느 하나를 선택한다. 그리고 114단계로 진행하여 현재 선택된 매크로 블록 내부의 수직 경계들 중 어느 하나에 따른 두 개의 경계 블록, 즉 현재 선택된 수직 경계에 인접하여 수평으로 연결된 두개의 경계 블록을 선택한다. 그리고 118단계로 진행하여 상기 106단계와 유사한 방식으로 수직 방향의 BS값을 산출한다. 상기 118단계는 상기 106단계와 같은 방법으로 BS값이 산출된다. 다만 상기 106단계와 108단계의 차이는, 상기 106단계에서는 수직으로 연결된 두개의 경계 블록간의 연관성에 따라 BS값이 산출되는 것이지만, 118단계에서는 수평으로 연결된 두개의 경계 블록간의 연관성에 따라 BS값이 산출된다는 것이다.

그리고 통상적인 디블록킹 필터는 120단계와 122단계를 통해, 모든 매크로 블록들의 수직 경계들에 대한 수직 방향 BS값들을 산출한다. 그리고 상기 122단계에서 모든 매크로 블록들의 수직 경계들에 대한 수직 방향 BS값들이 산출되면 산출된 BS값에 따라 각 경계 블록들의 수직 방향 필터링을 수행한다. 그러면 입력된 영상 데이터의 모든 매크로 블록들에 대한 수평, 수직 방향의 디블록킹 필터링이 완료되게 된다.

따라서 통상적인 디블록킹 필터의 경우 상술한 바와 같이 입력된 영상 데이터의 모든 수평 방향 경계에 대한 BS값이 산출된 후, 다시 수직 방향 경계를 산출하기 위한 BS값 산출 과정(118단계)을 반복하여야 하여야만 했다. 따라서 이러한 경우 상기 통상적인 디블록킹 필터의 필터링 방법은 계산량이 많이 요구되고, 이에 따라 필터링에 소요되는 시간도 길다는 문제점이 있다.

그러므로 본 발명의 목적은, 입력되는 영상 데이터의 품질을 손상시키지 않으면서도 영상 데이터의 수직, 수평 방향 경계면에 대한 BS값을 계산하는 계산량을 감소시킬 수 있도록 하는 디블록킹 필터링 방법 및 디블록킹 필터를 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 디블록킹 필터링 방법은, 상기 영상 데이터의 수평, 수직 방향 중 선택된 어느 한 방향의 경계들에 대한 BS값을 계산하는 수평방향 BS(boundary Strength)값을 산출하는 산출 단계와, 상기 산출된 BS값들을 이용하여 상기 선택된 방향에 따른 필터링을 수행하는 제1 필터링 단계와, 상기 산출된 BS값들을 이용하여 상기 선택되지 않은 방향에 따른 경계들에 대한 BS값을 예측하는 BS값 예측 단계와, 상기 예측된 BS값들을 이용하여 상기 선택되지 않은 방향에 따른 필터링을 수행하는 제2 필터링 단계를 포함한다.

또한 본 발명의 디블록킹 필터는, 수신된 영상 데이터를 기 설정된 크기의 매크로 블록에 따라 분할하고, 수직, 수평 방향 중 어느 한 방향의 경계에 따른 경계 블록들을 선택하는 블록 분할부와, 현재 선택된 방향에 따른 상기 경계 블록들 사이의 경계에 대한 BS(Boundary Strength)값을 산출하는 BS값 계산부와, 상기 경계 블록들의 기 산출된 BS값을 이용하여 현재 선택되지 않은 방향에 따른 경계 블록들의 BS값을 예측하는 BS값 예측부와, 상기 산출 또는 예측된 각 수직 방향 또는 수평 방향의 경계들에 대해 디블록킹 필터링 방법에 따른 필터링을 수행하는 필터링부와, 상기 수직, 수평 방향 중 어느 하나를 선택하고, 상기 분할된 매크로 블록의 현재 선택된 방향에 따른 경계들에 대해 BS값들이 산출되도록 상기 BS값 계산부를 제어하고, 상기 영상 데이터의 모든 현재 선택된 방향에 따른 경계들에 대한 BS값이 산출되는 경우, 상기 산출된 BS값들을 바탕으로 현재 선택되지 않은 방향에 따른 경계들에 대한 BS값을 예측하도록 상기 BS값 예측부를 제어하고, 상기 산출 또는 예측된 BS값을 바탕으로 상기 수평 방향 또는 수직 방향의 필터링이 수행되도록 상기 필터링부를 제어하는 제어부를 포함한다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의하여야 한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

먼저 본 발명의 완전한 이해를 돕기 위해, 본 발명의 기본 원리를 설명하면, 본 발명에서는, 입력된 영상 데이터로부터 수평 방향 또는 수직 방향 중 선택된 어느 한 방향에 따른 각각의 경계들에 대한 BS값들에 대한 계산이 완료되는 경우, 이를 이용하여 현재 선택된 방향과 다른 방향에 따른 각각의 경계들에 대한 BS값들을 예측할 수 있도록 한다. 그리고 예측된 값에 따라 해당 방향에 따른 디블록킹 필터 링을 수행하도록 함으로써 어느 한 방향에 따른 경계들의 BS값만으로 완전한 디블록킹 필터링이 수행되어 질 수 잇도록 한다. 이에 따라 디블록킹 필터링 과정에서 필수적으로 소요되는 BS값 계산 과정이 크게 감소될 수 있으므로, 디블록킹 필터의 연산 과정에서 소요되는 시간을 크게 줄일 수 있다는 효과가 있다.

도 3은 이러한 본 발명의 실시 예에 따른 디블록킹 필터의 구성예를 도시한 도면이다.

도 3을 참조하여 살펴보면, 본 발명의 실시 예에 따른 디블록킹 필터는 제어부(300)와, 상기 제어부(300)에 연결되는 메모리부(302), 영상 데이터 수신부(304), 블록 분할부(306), 수평 방향 필터링부(308), 수직 방향 필터링부(310), 필터링 영상 출력부(314) 및 BS값 계산부(312)와 BS값 예측부(316)를 포함하여 구성된다.

여기서 상기 제어부(300)는 상기 영상 데이터 수신부(304)로부터 수신되는 영상 데이터를 기 설정된 개수의 픽셀 블록으로 구성되는 매크로 블록 단위로 분할하고, 수직, 수평 방향 중 어느 하나를 선택한다. 그리고 제어부(300)는 현재 선택된 방향에 따른 상기 영상 데이터의 픽셀 블록들 간 경계들 중 어느 하나를 선택하고, 그 경계에 따른 경계 블록을 선택한다. 그리고 상기 BS값 계산부(312)를 제어하여 상기 선택된 경계 블록들에 따른 경계의 BS값을 산출한다.

그리고 제어부(300)는 상기 영상 데이터에 포함된 모든 픽셀 블록들의 현재 선택된 방향에 따른 경계들에 대한 BS값이 산출되면, 제어부(300)는 수평 방향 필터링부(308) 또는 수직 방향 필터링부(310) 중, 현재 선택된 방향에 따른 필터링부 를 이용하여, 현재 산출된 BS값들에 따라 상기 현재 선택된 방향에 따른 각 경계들의 디블록킹 필터링을 수행한다.

그리고 제어부(300)는 상기 BS값 예측부(316)를 제어하여 현재 선택된 방향에 따른 각 경계들의 BS값들로부터, 현재 선택되지 않은 방향에 따른 각 경계들의 BS값을 예측한다. 그리고 상기 예측된 BS값들에 따라 상기 현재 선택되지 않은 방향에 따른 경계들의 디블록킹 필터링을 수행한다. 그리고 수평, 수직 방향에 따른 디블록킹이 완료된 영상 데이터를 필터링 영상 출력부(314)를 통해 출력한다.

상기 메모리부(302)는 메모리부(302)는 롬(ROM: Read Only Memory), 플래시 메모리(Flash memory), 램(RAM: Random Access Memory) 등으로 구성된다. 이 중에서 롬은 제어부(300)의 처리 및 제어를 위한 프로그램과 각종 참조 데이터를 저장한다. 그리고 램은 제어부(300)의 워킹 메모리(working memory)를 제공하며, 플래시 메모리는 갱신 가능한 각종 보관용 데이터를 저장하기 위한 영역을 제공한다.

그리고 블록 분할부(306)는 상기 제어부(300)의 제어에 따라 기 설정된 크기의 매크로 블록으로 수신된 영상 데이터를 분할한다. 그리고 제어부(300)의 제어에 따라 상기 분할된 영상 데이터의 각 매크로 블록들로부터, 수직 수평 방향 중 어느 하나의 경계에 따른 경계 블록들을 선택한다.

그리고 BS값 계산부(312)는 상기 제어부(300)의 제어에 따라 상기 경계 블록들 사이의 경계에 대한 BS값을 산출한다. 여기서 현재 선택된 방향이 수평 방향일 경우 상기 BS값 계산부(312)는 상기 도 1의 106단계의 BS값 계산 과정과 유사한 과정을 통해 현재 선택된 경계 블록들에 따른 경계값의 BS값을 계산한다. 그러나 이 와는 달리, 현재 선택된 방향이 수직 방향인 경우, 상기 BS값 계산부(312)는 상기 118단계와 유사한 과정을 통해 현재 선택된 경계 블록들에 사이의 경계에 대한 BS값을 계산한다.

그리고 BS값 예측부(316)는, 현재 선택된 방향의 모든 픽셀 블록간 경계들에 대한 BS값들의 산출이 완료되면, 이를 이용하여 현재 선택되지 않은 방향의 경계들에 대한 BS값을 예측한다. 이는 상기 일반적으로 특정 픽셀 블록에 대한 수평 또는 수직 방향 중 어느 한 방향의 BS값과, 다른 방향의 BS값이 거의 일치한다는 점을 이용한 것이다. 따라서 BS값 예측부(316)는 현재 선택되지 않은 방향의 경계에 따른 경계 블록들이 선택되는 경우, 그 경계 블록들이 인트라 모드에 따라 코딩된 블록인지 여부를 체크한다. 그리고 그 경계 블록들이 인트라 모드에 따라 코딩된 블록들인 경우, 현재 계산이 완료된 상기 경계 블록들에 대한 BS값들(현재 선택된 방향에 따라 계산이 완료된 BS값들)에 따라 상기 경계 블록들의 현재 선택되지 않은 방향에 따른 경계의 BS값을 결정한다. 그리고 만약 상기 현재 선택되지 않은 방향의 경계에 따라 선택된 경계 블록들이 인트라 코딩된 블록들이 아닌 경우에는, 그 경계 블록들의 경계가 현재 BS값을 계산하고 있는 매크로 블록의 경계면(현재 선택되지 않은 방향에 따른 경계면)에 해당되는지 여부에 따라 현재 선택된 경계 블록들 사이의 경계에 대한 BS값을 결정한다.

그리고 수직 방향 필터링부(310) 또는 수평 방향 필터링부(308)는 상기 제어부(300)의 제어에 따라, 수직 방향 또는 수평 방향에 따른 각 픽셀 블록들의 경계에 대응하는 BS값에 근거하여 디블록킹 필터링을 수행한다. 이하의 설명에서는 상 기 BS값이 ‘4’인 경우를 가장 강한 수준의 디블록킹 필터링이 수행되는 것으로 가정하고, 상기 BS값이 ‘1’인 경우를 가장 약한 수준의 디블록킹 필터링이 수행되는 것으로 가정한다. 그리고 상기 BS값이 ‘0’인 경우에는 디블록킹 필터링이 스킵되는 것으로 가정하기로 한다.

도 4는 이러한 본 발명의 실시 예에 따른 디블록킹 필터에서 수행되는 디블록킹 필터링 과정을 도시한 흐름도이다.

도 4를 참조하여 살펴보면, 본 발명의 실시 예에 따른 디블록킹 필터의 제어부(300)는, 영상 데이터가 입력되면 400단계로 진행하여 입력된 영상 데이터를 기 설정된 개수의 픽셀 블록들로 구성되는 매크로 블록 단위로 분할한다. 그리고 제어부(300)는 402단계로 진행하여 분할된 다수의 매크로 블록들 중 어느 하나를 기 설정된 순서에 따라 선택한다. 그리고 404단계로 진행하여 수직, 수평 방향 중 어느 한 방향에 따른 어느 하나의 경계를 기 설정된 순서에 따라 선택한다.

그리고 제어부(300)는 406단계로 진행하여 현재 선택된 방향에 따른 상기 경계 블록들의 경계에 대한 BS(Boundary Strength) 값을 산출한다. 이 406단계에서는 상기 도 1의 106단계에서 보이고 있는 바와 같이, 현재 선택된 경계 블록들이 인트라(Intra) 코딩된 것인지 여부, 인트라 코딩된 블록들이 아닌 경우 서로 간에 인트라 코딩 결과에 따라 서로 차이가 있는 블록으로 판단되는 경우인지 여부, 상기 경계 블록들이 서로 참조 픽처가 동일한지 여부, 양 경계 블록들간에 모션 벡터값의 차가 일정값 이상인지 여부 및, 상기 현재 선택된 경계 블록들이 인트라 코딩된 블록들일 경우 그 블록들이 상기 매크로 블록의 블록 경계에 해당되는지 여부 등에 따라 현재 선택된 방향의 경계에 따른 BS값을 산출한다.

그리고 406단계에서 현재 선택된 경계 블록들에 대한 BS값 산출이 완료되면, 제어부(300)는 408단계로 진행하여 현재 선택된 매크로 블록의 모든 현재 선택된 방향의 경계들에 대한 BS값들이 산출되었는지를 확인한다. 그리고 모든 현재 선택된 방향의 경계들에 대한 BS값들이 산출되지 않은 경우라면 410단계로 진행하여 현재 선택된 방향에 따른 다른 경계를 선택한다. 그리고 현재 선택된 경계에 따른 경계 블록들을 선택하고, 다시 406단계에서 현재 선택된 경계의 BS값을 산출한다.

그러나 만약 상기 408단계에서 현재 선택된 매크로 블록에서 현재 선택된 방향에 따른 모든 경계에 대한 BS값들이 산출된 경우라면, 제어부(300)는 상기 수신된 영상 데이터의 모든 매크로 블록들에 대해, 현재 선택된 방향에 따른 경계들의 BS값들이 산출되었는지 여부를 판단한다. 그리고 만약 상기 수신된 영상 데이터의 모든 매크로 블록들에 대해, 현재 선택된 방향에 따른 경계들의 BS값들이 산출되지 않은 경우라면, 제어부(300)는 다른 매크로 블록을 선택한다. 그리고 제어부(300)는 410단계로 진행하여 새로 선택된 매크로 블록에서 현재 선택된 방향에 따른 경계를 선택하고, 선택된 경계에 따른 경계 블록을 선택한다. 그리고 다시 406단계로 진행하여 현재 선택된 경계의 BS값을 산출한다.

그러나 상기 408단계의 판단 결과 상기 영상 데이터의 모든 현재 선택된 방향의 경계들에 따른 BS값들이 산출되었다고 판단된 경우에는, 제어부(300)는 412단계로 진행하여 현재 선택된 방향에 따른 필터링을 수행한다. 그리고 제어부(300)는 414단계로 진행하여 상기 수신된 영상 데이터로부터 현재 선택된 방향과는 다른 방 향에 따른 경계를 선택하고, 그 경계에 따른 경계 블록들을 선택한다. 그리고 제어부(300)는 416단계로 진행하여 현재 선택된 경계 블록들의 상기 계산이 완료된 BS값들에 따라, 현재 선택된 방향과는 다른 방향의 경계들에 대한 BS값을 예측한다.

여기서 상기 416단계는 상술한 바와 같이 현재 선택되지 않은 방향의 경계에 따라 선택된 경계 블록들이 인트라 모드에 따라 코딩된 블록인지 여부, 그리고 만약 상기 현재 선택된 경계 블록들이 인트라 코딩된 블록들이 아닌 경우에는, 현재 선택된 경계가 현재 BS값을 계산하고 있는 매크로 블록의 경계면에 해당되는지 여부에 따라 현재 선택된 경계에 대한 BS값을 예측한다. 이러한 416단계의 과정은 하기 도 5를 참조하여 보다 자세히 살펴보기로 한다.

그리고 상기 416단계에서 현재 선택되지 않은 방향에 따른 경계들의 BS값들이 예측되면, 제어부(300)는 418단계로 진행하여 현재 선택되지 않은 방향에 따른 모든 경계가 선택되었는지 여부를 체크한다. 그러나 만약 상기 416단계에서 현재 선택된 매크로 블록에서 현재 선택된 방향에 따른 모든 경계에 대한 BS값들이 예측된 경우라면, 제어부(300)는 상기 수신된 영상 데이터의 모든 매크로 블록들에 대해, 현재 선택되지 않은 방향에 따른 경계들의 BS값들이 예측되었는지 여부를 판단한다. 그리고 만약 상기 수신된 영상 데이터의 모든 매크로 블록들에 대해, 현재 선택되지 않은 방향에 따른 경계들의 BS값들이 예측되지 않은 경우라면, 제어부(300)는 다른 매크로 블록을 선택한다. 그리고 제어부(300)는 422단계로 진행하여 새로 선택된 매크로 블록에서 현재 선택된 방향에 따른 경계를 선택하고, 선택된 경계에 따른 경계 블록을 선택한다. 그리고 다시 416단계로 진행하여 현재 선택 된 경계의 BS값을 예측한다.

그러나 상기 418단계의 판단 결과 상기 영상 데이터의 모든 현재 선택되지 않은 방향의 경계들에 따른 BS값들이 산출되었다고 판단된 경우에는, 제어부(300)는 420단계로 진행하여 현재 선택되지 않은 방향에 따른 필터링을 수행한다. 그러면 상기 영상 데이터의 수직, 수평 방향 모두에 대해 디블록킹 필터링이 발생하게 되고, 이렇게 디블록킹 필터링이 완료된 영상 데이터는 필터링 영상 출력부(314)에서 출력되게 된다.

도 5는 상술한 420단계와 같이 본 발명의 실시 예에 따른 디블록킹 필터에서 계산이 완료된 특정 방향의 BS값들을 이용하여 다른 방향의 BS값들을 예측하는 과정을 도시한 도면이다.

도 5를 참조하여 살펴보면, 본 발명의 실시 예에 따른 디블록킹 필터의 제어부(300)는 현재 선택되지 않은 방향에 따른 경계의 선택 및, 선택된 경계에 따른 경계 블록이 선택되면, 500단계로 진행하여 현재 선택된 경계 블록들이 인트라 코딩된 블록들인지 여부를 체크한다. 그리고 만약 상기 500단계의 체크 결과 상기 선택된 경계 블록들의 인트라 코딩된 블록들인 경우라면 제어부(300)는 502단계로 진행하여 현재 선택된 경계가, 현재 선택되지 않은 방향에 따른 매크로 블록 경계에 해당되는지 여부를 판단한다.

그리고 상기 502단계의 판단 결과, 상기 현재 선택된 경계가 매크로 블록의 경계에 해당되는 경우라면, 제어부(300)는 504단계로 진행하여 현재 선택된 경계 블록들에 대해 현재 선택되지 않은 방향의 BS값을 ‘4’로 설정한다. 그러나 만약 상기 현재 선택된 경계가 매크로 블록의 경계에 해당되지 않는 경우라면, 제어부(300)는 506단계로 진행하여 현재 선택된 경계 블록들에 대해 현재 선택되지 않은 방향의 BS값을 ‘3’으로 설정한다.

한편 상기 500단계의 체크 결과, 현재 선택된 경계 블록들이 인트라 코딩된 블록들인 경우라면, 제어부(300)는 508단계로 진행하여 현재 선택된 경계 블록들의, 기 산출된 BS값(즉 현재 선택된 방향에 따른 BS값)이 ‘2’인지 여부를 확인한다. 그리고 만약 현재 선택된 경계 블록들의, 현재 선택된 방향에 따라 기 산출된 BS값이 ‘2’인 경우라면 제어부(300)는 510단계로 진행하여 현재 선택된 경계 블록들에 대해 현재 선택되지 않은 방향의 BS값을 ‘2’로 설정한다.

그러나 만약 상기 508단계에서 현재 선택된 경계 블록들의, 기 산출된 BS값(즉 현재 선택된 방향에 따른 BS값)이 ‘2’가 아닌 경우, 즉 ‘0’ 또는 ‘1’인 경우에는 제어부(300)는 현재 선택된 경계 블록들에 대해 현재 선택되지 않은 방향의 BS값을 ‘0’으로 설정하여 디블록킹 필터링의 스킵을 설정한다. 이는 BS값이 1인 경우 디블록킹 필터링의 수준이 매우 낮기 때문에 BS값이 ‘0’인 경우와 비교하여 큰 차이가 없기 때문이다. 따라서 현재 설정된 경계 블록들의 기 산출된 BS값들이 ‘0’또는 ‘1’인 경우에는 이를 바로 ‘0’으로 BS값을 설정하여 디블록킹 필터링이 스킵될 수 있도록 한다.

도 6a에서 도 6c는 이러한 본 발명의 실시 예에 따라 계산 또는 예측된 BS값들의 예를 도시한 예를 보이고 있는 도면이며, 도 7a와 도 7b는 통상적인 방법에 따라 예측된 BS값들과, 본 발명의 실시 예에 따라 예측된 BS값들의 차이를 보이는 예를 보이고 있는 도면이다. 도 6a, 6b, 6c 및 도 7a, 7b에서 빨간색으로 표시된 부분은 BS값이 ‘0’인 경우를, 녹색으로 표시된 부분은 BS값이 ‘1’인 경우를, 파란색으로 표시된 부분은 BS값이 ‘2’인 경우를, 그리고 노란색으로 표시된 부분은 BS값이 ‘3’인 경우를 표시한 것이고, 하늘색으로 표시된 부분은 BS값이 ‘4’인 경우를 표시한 것이다.

우선 도 6a는 통상적인 디블록킹 필터에서와 유사하게 각 픽셀 블록들의 경계에 대한 수평 방향의 BS값들을 산출한 것이다. 그리고 도 6b는 본 발명의 실시 예에 따라 수평 방향의 BS값들로부터 수직 방향의 BS값들을 예측한 결과를 보이는 것이다. 그리고 도 6c는 상기 도 6a 및 도 6b에서 보이고 있는 결과를 하나의 화면에 표시한 것이다. 즉, 도 6c는 수직 방향 및 수평 방향의 BS값들을 모두 표시하고 있으므로, 보이고 있는 바와 같이 사각형의 형태로 표시된 것이다.

한편 도 7a는 본 발명의 실시 예에 따른 경우가 아니라 실제로 각각의 픽셀 블록들의 수직 방향 경계들에 대해 BS값을 산출한 결과를 보이고 있는 도면이다. 그리고 도 7b는 상기 본 발명의 실시 예에 따른 BS값 설정 결과를 도 7의 (a)에서 보이고 있는 실측 결과와 비교한 것이다.

상기 실제 수직 방향의 BS값들을 실측한 도 7a와 본 발명의 실시 예에 따라 수직 방향의 BS값들을 예측한 도 6b를 살펴보면, 거의 차이점이 없음을 쉽게 알 수 있다. 이를 더 명확하게 보이고 있는 도 7b를 살펴보면, 본 발명의 도 6b와 도 7b의 차이는 참조부호 700, 702, 704에서 보이고 있는 세 개의 픽셀 블록에 대해서만이 오차가 발생하였음을 쉽게 알 수 있다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의해 정할 것이 아니고, 특허청구범위와 특허청구범위의 균등한 것에 의해 정하여져야 한다.

따라서 본 발명은 디블록킹 연산시에 BS값 산출에 소요되는 시간을 대폭 감소시킴으로써, 입력되는 영상 데이터의 품질을 손상시키지 않으면서도 영상 데이터의 수직, 수평 방향 경계면에 대한 BS값을 계산하는 계산량을 감소시킬 수 있도록 하여 그 디블록킹 연산에 소요되는 시간을 단축시킬 수 있다는 효과가 있다.

Claims

다수의 매크로 블록으로 분할된 영상 데이터의 디블록킹 필터링(Deblocking Filtering) 방법에 있어서,

상기 영상 데이터의 수평, 수직 방향 중 선택된 어느 한 방향의 경계들에 대한 BS값을 계산하는 수평방향 BS(boundary Strength)값을 산출하는 산출 단계와,

상기 산출된 BS값들을 이용하여 상기 선택된 방향에 따른 필터링을 수행하는 제1 필터링 단계와,

상기 산출된 BS값들을 이용하여 상기 선택되지 않은 방향에 따른 경계들에 대한 BS값을 예측하는 BS값 예측 단계와,

상기 예측된 BS값들을 이용하여 상기 선택되지 않은 방향에 따른 필터링을 수행하는 제2 필터링 단계를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
제1항에 있어서, 상기 산출 단계는,

상기 매크로 블록들을 각기 다수의 블록으로 분할하는 분할 단계와,

상기 매크로 블록들을 차례대로 선택하고, 현재 선택된 매크로 블록의 경계들 중 현재 선택된 방향에 따른 경계들 중 어느 하나를 선택하는 경계 선택 단계와,

현재 선택된 경계에 따른 경계 블록을 선택하는 경계 블록 선택 단계와,

상기 경계 블록들이 인트라(Intra) 코딩된 블록들인지 판단하는 인트라 코딩 블록 판단 단계와,

상기 경계 블록들이 인트라 코딩된 블록들인 경우, 매크로 블록의 경계인지 여부에 따라 현재 선택된 경계의 BS값을 '4' 또는 '3'으로 설정하는 1차 BS값 설정 단계와,

상기 경계 블록들이 인트라 코딩된 블록이 아닌 경우, 상기 경계 블록들의 CBP(Coded Blcok Pattern)값을 비교하는 단계와,

상기 CBP값 비교 결과 차이가 있는 경우, 현재 선택된 경계의 BS값을 '2'로 설정하는 2차 BS값 설정 단계와,

상기 코딩 결과, 상기 경계 블록들이 서로 차이가 없는 경우, 소정의 조건에 따라 현재 선택된 경계의 BS값을 '1'또는 '0'으로 설정하는 3차 BS값 설정 단계와,

상기 영상 데이터의 모든 매크로 블록들 각각에 상기 현재 선택된 방향에 따른 경계들에 대한 BS값이 산출될 때까지 상기 경계 선택 단계, 경계 블록 선택 단계, 인트라 코딩 블록 판단 단계, 1차 BS값 설정 단계, 코딩 단계, 2차 BS값 설정 단계 및 3차 BS값 설정 단계를 반복하는 반복 단계를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
제2항에 있어서, 상기 3차 BS값 설정 단계는,

상기 경계 블록들이 참조 픽처가 동일하지 않는 경우 또는 상기 경계 블록들 의 수평 방향 또는 수직 방향의 모션 벡터값의 차가 일정치 이상인지 여부에 따라 상기 현재 선택한 경계의 BS값을 '1'로 설정하는 것을 특징으로 하는 디블록킹 필터링 방법.
제1항에 있어서, 상기 BS값 예측 단계는,

상기 매크로 블록들을 차례대로 선택하고, 상기 선택된 매크로 블록의 경계들 중 현재 선택되지 않은 방향에 따른 경계들 중 어느 하나를 선택하는 제2 경계 선택 단계와,

상기 현재 제2 경계 선택 단계에 따라 선택된 경계에 따른 제2 경계 블록들을 선택하는 제2 경계 블록 선택 단계와,

상기 제2 경계 블록들이 인트라 코딩된 블록인지 여부를 판단하는 2차 인트라 코딩 블록 판단 단계와,

상기 제2 경계 블록들이 인트라 코딩된 블록인 경우, 매크로 블록의 경계인지 여부에 따라 상기 제2 경계 블록들의 현재 선택되지 않은 방향에 따른 경계의 BS값을 '4' 또는 '3'으로 설정하는 1차 BS값 예측 단계와,

상기 제2 경계 블록들이 인트라 코딩된 블록이 아닌 경우, 상기 제2 경계 블록들의 기 산출된 BS값이 '2'인 경우, 상기 제2 경계 블록들의 현재 선택되지 않은 방향에 따른 경계들의 BS값을 '2'로 설정하는 2차 BS값 예측 단계와,

상기 제2 경계 블록들이 인트라 코딩된 블록이 아니고, 상기 제2 경계 블록 들의 기 산출된 BS값이 '1' 또는 '0'인 경우 상기 제2 경계 블록의 현재 선택되지 않은 방향에 따른 경계들의 BS값을 '0'으로 설정하는 3차 BS값 예측 단계와,

상기 영상 데이터의 모든 매크로 블록들 각각에 상기 현재 선택되지 않은 방향에 따른 경계들에 대한 BS값이 산출될 때까지, 상기 제2 경계 선택 단계, 제2 경계 블록 선택 단계, 제2 인트라 코딩 블록 판단 단계, 1차 BS값 예측 단계, 2차 BS값 예측 단계, 3차 BS값 예측 단계를 반복하는 반복 단계를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
디블록킹 필터(Deblocking Filter)에 있어서,

수신된 영상 데이터를 기 설정된 크기의 매크로 블록에 따라 분할하고, 수직, 수평 방향 중 어느 한 방향의 경계에 따른 경계 블록들을 선택하는 블록 분할부와,

현재 선택된 방향에 따른 상기 경계 블록들 사이의 경계에 대한 BS(Boundary Strength)값을 산출하는 BS값 계산부와,

상기 경계 블록들의 기 산출된 BS값을 이용하여 현재 선택되지 않은 방향에 따른 경계 블록들의 BS값을 예측하는 BS값 예측부와,

상기 산출 또는 예측된 각 수직 방향 또는 수평 방향의 경계들에 대해 디블록킹 필터링 방법에 따른 필터링을 수행하는 필터링부와,

상기 수직, 수평 방향 중 어느 하나를 선택하고, 상기 분할된 매크로 블록의 현재 선택된 방향에 따른 경계들에 대해 BS값들이 산출되도록 상기 BS값 계산부를 제어하고, 상기 영상 데이터의 모든 현재 선택된 방향에 따른 경계들에 대한 BS값이 산출되는 경우, 상기 산출된 BS값들을 바탕으로 현재 선택되지 않은 방향에 따른 경계들에 대한 BS값을 예측하도록 상기 BS값 예측부를 제어하고, 상기 산출 또는 예측된 BS값을 바탕으로 상기 수평 방향 또는 수직 방향의 필터링이 수행되도록 상기 필터링부를 제어하는 제어부를 포함하는 것을 특징으로 하는 디블록킹 필터.
제5항에 있어서, 상기 BS값 계산부는,

현재 BS값을 산출할 경계에 따른 경계 블록들이 인트라(Intra) 코딩된 것인지 여부, 인트라 코딩된 블록들이 아닌 경우 CBP(Coded Blcok Pattern)값이 차이가 있는지 여부, 상기 경계 블록들이 서로 참조 픽처가 동일한지 여부, 양 경계 블록들간에 모션 벡터값의 차가 일정값 이상인지 여부 및 상기 현재 선택된 경계 블록들이 인트라 코딩된 블록들일 경우 그 블록들이 상기 매크로 블록의 블록 경계에 해당되는지 여부에 따라 상기 수평 방향 경계에 따른 BS값, 즉 수평 방향 BS값을 산출하는 것을 특징으로 하는 디블록킹 필터.
제6항에 있어서, 상기 BS값 계산부는,

상기 경계 블록들이 인트라(Intra) 코딩된 블록들인지 판단하고, 상기 경계 블록들이 인트라 코딩된 블록들인 경우, 매크로 블록의 경계인지 여부에 따라 현재 선택된 경계의 BS값을 '4' 또는 '3'으로 설정하고, 상기 경계 블록들이 인트라 코딩된 블록이 아닌 경우, 상기 경계 블록들을 CPB값을 비교한 결과 상기 경계 블록들이 서로 차이가 있는 경우, 현재 선택된 경계의 BS값을 '2'로 설정하며, 상기 코딩 결과, 상기 경계 블록들이 서로 차이가 없는 경우, 상기 경계 블록들이 서로 참조 픽처가 동일하지 않은 경우 또는 상기 경계 블록들의 수평 방향 또는 수직 방향의 모션 벡터값의 차가 일정치 이상인지 여부에 따라 상기 현재 선택한 경계의 BS값을 '1' 또는 ‘0’으로 설정하는 것을 특징으로 하는 디블록킹 필터.
제5항에 있어서, 상기 BS값 예측부는,

현재 BS값을 예측할 경계에 따른 경계 블록들이 인트라(Intra) 모드에 따라 코딩된 블록인지 여부, 상기 경계 블록들이 인트라 코딩된 블록들이 아닌 경우에는, BS값을 예측할 경계가 매크로 블록의 경계면에 해당되는지 여부에 따라 현재 선택된 경계에 대한 BS값을 예측하는 것을 특징으로 하는 디블록킹 필터.
제8항에 있어서, 상기 BS값 예측부는,

상기 매크로 블록들을 차례대로 선택하고, 상기 선택된 매크로 블록의 경계들 중 현재 선택되지 않은 방향에 따른 경계들 중 어느 하나를 선택하며, 현재 선 택된 경계에 따른 경계 블록들을 선택하고, 그 경계 블록들이 인트라 코딩된 블록인지 여부를 판단하여, 인트라 코딩된 블록인 경우, 매크로 블록의 경계인지 여부에 따라 상기 경계의 BS값을 '4' 또는 '3'으로 설정하고, 상기 경계 블록들이 인트라 코딩된 블록이 아닌 경우, 상기 경계 블록들의 기 산출된 BS값이 '2'인 경우, 상기 제2 경계 블록들의 현재 선택되지 않은 방향에 따른 경계들의 BS값을 '2'로 설정하며, 상기 경계 블록들의 기 산출된 BS값이 '1' 또는 '0'인 경우 상기 경계 블록들의 현재 선택되지 않은 방향에 따른 경계들의 BS값을 '0'으로 설정하는 것을 특징으로 하는 디블록킹 필터.