KR100516685B1 - 복원된 영상에서 블럭화 현상 제거를 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 부호화된 영상 데이터를 입력받아 복호화하고 양자화된 변환계수를 역양자화 및 역변환하여 원래의 영상으로 복원 시 복원된 영상의 블록 경계에서 발생되는 블록화 현상을 제거하기 위한 영상 복원 장치에 있어서, 상기 복원 영상이 입력되면 입력된 복원 영상의 다중 블록 경계선에 위치한 X ×X 개의 픽셀들 중 임의의 방향으로 연속 나열된 4개의 픽셀들에서 두 번째 픽셀 값과 세 번째 픽셀 값을 하기 수학식에 따라 계산된 값으로 대체하여 상기 다중 블록 경계선에 의해 발생된 블록화 현상을 제거하는 블록화 현상 제거부를 포함함을 특징으로 한다.

(수학식)

상기 수학식에서

tmp_val_1 = (첫번째 픽셀값 + 네번째 픽셀값)/2 이고,

tmp_val_2 = (두번째 픽셀값 + 세번째 픽셀값)/2 이고,

tmp_val_3 = ｜tmp_val_1 - tmp_val_2｜이고,

f(tmp_val_3) = tmp_val_3/q 이며,

상기 q는 상기 복원 영상의 스케일에 따라 임의로 정해진 값이다.

Description

복원된 영상에서 블럭화 현상 제거를 위한 장치 및 방법{APPARATUS AND METHOD FOR DEBLOCKING IN DECODED IMAGE}

본 발명은 영상 복원 장치에 관한 것으로, 특히 영상 복원 장치에서 영상 복원 시 발생되는 블록화 현상을 제거하기 위한 장치 및 방법에 관한 것이다.

최근 들어 각종 멀티미디어 통신을 위한 컴퓨터 네트웍, 공중 전화 네트웍, 그리고 라디오채널 등과 같이 낮은 전송률과 좁은 대역폭의 환경에서 방대한 양의 데이터를 초고속으로 전송하는 것에 대한 요구가 날로 증가하고 있다. 이에 따라 동영상 또는 정지 영상의 고속 전송 요구도 증가하고 있으며 이러한 요구를 충족시키기 위해 영상 압축이나 영상 필터링 등과 같은 영상 처리를 수행하는 영상 처리 시스템 등이 점점 발전되고 있다.

영상 압축이나 영상 필터링 등과 같은 영상 처리를 수행하는 영상 처리 시스템에서 전체 영상을 작은 크기의 다수의 소(sub-image)영상으로 나누고, 나누어진 소영상들 내에서 영상처리를 수행하는 것을 블록 기반 영상 처리라 한다. 예를 들면 블록 기반 영상 처리는 국제 표준으로 제정되어 있는 MPEG(Moving Picture Experts Group) 이나 H.26x계열의 동영상 또는 JPEG(Jointing Photographic Experts Group)등의 정지 영상을 DCT(Discrete Cosine Transform), ME(Motion Estimation), MC(Motion Compensation)을 이용하여 일정한 크기의 블록 기반의 동영상/정지영상 압축을 수행하는 등의 영상 처리를 말한다. 이 블록기반 영상 처리는 영상 처리에 수반되는 계산량을 줄일 수 있고, 그 블록 기반 영상 처리의 하드웨어를 효율적으로 구성할 수 있기 때문에 널리 사용되고 있다.

그러나 블록 기반 영상 처리 시 블록단위로 영상이 처리되기 때문에 서로 다르게 처리된 영상을 갖는 블록들 경계에서 발생하는 불연속성으로 인하여 블록화 현상(blocking artifact)이 발생한다.

도 1은 종래 기술에 따라 블록화 현상이 발생된 복원 영상 일예도이다. 도 1을 참조하면, 영상 복원 시 발생되는 블록화 현상은 영상이 일정한 크기의 블록들로 구성된 것처럼 보이게 한다. 상기한 바와 같은 블록화 현상은 높은 압축률로 부호화되었을 때 많이 나타나며 PSNR(Peak Signal to Noise Ratio)을 더욱더 떨어지게 만들고 처리된 영상의 화질을 저하시키는 문제점이 있다.

상기한 바와 같이 블록 기반 영상 처리 시 발생되는 블록화 현상을 제거하기 위해 많은 연구가 진행되어 오고 있으며 이러한 연구들의 대표적인 예로 LOT(Lapped Othogonal Transform), POC(Projection on Convex Set)에 기반을 둔 기법들이 있다. 또한 H.263 동영상 표준의 부호화/복호화 방식에 채택된 OBMC(Overapped Block Motion Compensation)기법 등이 블록화 현상을 효과적으로 차단하는데 널리 쓰이고 있다.

도 2는 종래 기술에 따른 블록화 현상 제거 방법을 설명하기 위한 도면이다. 이하 도 2를 참조하여 전술한 바와 같은 종래의 블록화 현상 제거 방법 중 두가지 방법들을 예를 들어 간략히 설명한다. 이하 설명될 블록화 현상 제거 방법들은 도 2에 도시된 바와 같이 연속 나열된 픽셀 A, B와 C, D 사이에 발생된 블록화 현상을 제거하는 것을 일 예를 들어 설명될 것이다.

먼저 종래의 블록화 현상 제거 방법들 중 첫번째 방법을 수학식 1을 이용하여 설명한다.

만일 ｜b - c｜> Threshold(경계값)이고, x = c - b 라면

a'= a + x/8

b'= c + x/2

c'= c - x/2

d'= c - x/8

상기 a, b, c는 도 2에 도시된 바와 같은 블록화 현상 제거 전 영상에서 A, B, C 각 픽셀의 값을 나타낸다. 경계값은 블록 경계에 인접한 두 픽셀 즉, B와 C 픽셀 간의 차이를 미리 정해놓은 값이다. 종래 기술에 따르면 복원된 영상에서 블록 경계에 인접한 두 픽셀 B와 C 픽셀 값의 차이가 미리 정해진 Threshold(경계값)을 초과하면 C 픽셀에서 B 픽셀 값을 뺀 값을 이용하여 A, B, C, D 각 픽셀의 값을 상기한 바와 같은 수학식과 같이 계산한다. 그리고 A, B, C, D 각 픽셀의 값은 상기 구해진 값으로 대체된다.

한편, 종래의 블록화 현상 제거 방법들 중 두번째 방법으로 [H.236] H.263 동영상 표준의 부호화/복호화 방식에 채택된 OBMC기법을 하기 수학식 2를 이용하여 설명한다

B1 = clip(A + d1)

C1 = clip(C - d1)

A1 = A - d2

D1 = D + d2

d = (A - 4B + 4C - D)/8

d1 = UpDownRamp(d, STRENGTH)

d2 = clip1((A - D)/4, d1/2)

UpDownRam(x,STRENTH)=SIGN(x)*(MAX(0, abs(x)-MAX(0,2*abs(x)-STRENGTH))))

상기 A, B, C, D는 도 2에 도시된 바와 같은 블록화 현상 제거 전 영상에서 A, B, C, D 각 픽셀의 값을 나타낸다. d값은 블록 경계에 가로 또는 세로로 연속 나열된 픽셀들 즉, A, B, C, D 의 각 픽셀의 값을 이용하여 구해지고, 구해진 d값[는]은 상기 수학식2와 같은 과정을 통해 A, B, C, D의 값을 다시 구하는데 이용된다. A, B, C, D 의 각 픽셀의 값은 상기 A1, B1, C1, D1와 같이 새로 구해진 픽셀값으로 대체되면서 블록화 현상이 제거될 수 있다.

그런데 상기한 바와 같은 종래의 블록화 현상 제거 방법들은 복원된 영상이나 이미지의 블록들이 주로 단 한줄의 경계선에 의해 블록화 된 경우에만 국한하여 블록화 현상을 제거한다. 그러나 실제로 영상 복원 시에는 블록 경계선을 따라 다중의 블록화 현상이 생기게 된다. 전술한 바와 같은 종래의 블록화 현상 제거 방법들은 다중의 경계선에 의해 발생된 블록화 현상을 처리할 경우 반복적인 처리 과정을 거치기 때문에 높은 계산량과 과도한 처리시간으로 인해 실시간 처리에 적합하지 못하다. 또한 종래의 블록화 현상 제거 방법만으로는 다중 블록 경계로 인해 발생되는 블록화 현상을 완전히 제거할 수 없으며 효과적인 영상화질의 개선을 위하여 다른 기법들이 요구되어진다.

따라서 본 발명의 목적은 영상 복원 시 블록경계에서 다중의 경계선으로 인하여 발생하는 블록화 현상을 제거할 수 있고 계산량이 적으며 처리시간이 짧아 실시간 처리에 적합한 블록화 현상 제거 장치 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 영상 복원 장치에서 다중 블록 경계에 의해 발생되는 블록화 현상을 정교한 예측 및 평탄화를 통해 효과적으로 제거하여 복원된 영상의 전체적인 이미지의 화질을 높이는 블록화 현상 제거 장치 및 방법을 제공하는데 있다.

상기한 목적에 따라, 본 발명은 부호화된 영상 데이터를 입력받아 복호화하고 양자화된 변환계수를 역양자화 및 역변환하여 원래의 영상으로 복원 시 복원된 영상의 블록 경계에서 발생되는 블록화 현상을 제거하기 위한 영상 복원 장치에 있어서, 상기 복원 영상이 입력되면 입력된 복원 영상의 다중 블록 경계선에 위치한 X ×X 개의 픽셀들 중 임의의 방향으로 연속 나열된 4개의 픽셀들에서 두 번째 픽셀 값과 세 번째 픽셀 값을 하기 수학식3에 따라 계산된 값으로 대체하여 상기 다중 블록 경계선에 의해 발생된 블록화 현상을 제거하는 블록화 현상 제거부를 포함함을 특징으로 한다.

상기 수학식3에서

tmp_val_1 = (첫번째 픽셀값 + 네번째 픽셀값)/2 이고,

tmp_val_2 = (두번째 픽셀값 + 세번째 픽셀값)/2 이고,

tmp_val_3 = ｜tmp_val_1 - tmp_val_2｜이고,

f(tmp_val_3) = tmp_val_3/q 이며,

상기 q는 상기 복원 영상의 스케일에 따라 임의로 정해진 값이다.

이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 이하 본 발명에서는 부호화된 영상데이터가 입력되면 이를 복호화하여 복원 영상으로 출력하는 장치를 영상 복원 장치라 칭한다.

도 3은 본 발명의 실시 예에 따른 영상 복원 장치의 블록 구성도이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 영상 복원 장치는 복호화부(2), 역양자화부(4), 역변환부(IDCT)(6), 동보상부(8), 블록화 현상 제거부(10)로 구성된다.

복호화부(2)는 부호화된 영상데이터가 입력되면 입력된 영상데이터를 부호화의 역과정을 통해 복호화한다. 역양자화부(4)는 상기 복호화부(2)에서 출력되는 복호화된 영상 데이터를 역양자화한다. 역변환부(6)는 역양자화부(4)로부터 입력되는 주파수 영역의 변환계수를 공간영역의 영상데이터로 변환시킨다. 이때 역변환부(6)에서 행해지는 각 블록에 대한 데이터 역변환은 IDCT(Inverse Dicrete Cosine Transform), IDFT(Inverse Discrete Fourier Transform) 방식 등에 의해 수행될 수 있다. 본 발명의 실시 예에서는 역변환부(6)가 IDCT(Inverse Dicrete Cosine Transform)방식의 역변환을 수행한다고 가정한다. 동보상부(8)는 복호화부(2)로부터 영상데이터의 움직임 벡터를 입력받아 움직임 보상을 수행하여 가산기(10)로 출력한다. 가산기(10)는 역변환된 DCT데이터와 동보상부(8)로부터 공급되는 블록 데이터를 가산하여 출력한다. 즉, 가산기(10)는 역변환된 DCT데이터와 동보상부(8)로부터 공급되는 블록 데이터를 가산하여 출력한다.

블록화 현상 제거부(12)는 가산기(10)로부터 입력되는 블록 데이터 즉, 블록 변환에 의해 압축된 영상 데이터에서 블록화 현상을 제거한다.

도 4는 본 발명의 실시 예에 따라 블록단위로 처리된 영상의 블록 경계 명도의 단면을 나타내는 도면이고, 도 5는 블록화 현상이 발생된 영상 일예도이다.

도 4 및 도 5를 참조하면, 블록화 현상은 영상 복원 장치에서 블록 단위로 영상을 처리 시 도 4에 도시된 바와 같이 각 블록들의 경계에 위치하는 픽셀들간의 명도 차이가 발생됨에 따라 나타나는 현상이다. 상기한 바와 같이 블록 경계에서 픽셀간 명도 차이에 의해 발생된 블록화 현상은 도 5에 도시된 바와 같이 복원된 영상이 일정한 크기의 블록들로 구성된 것처럼 보이게 한다.

본 발명의 실시 예에 따르면 블록화 현상 제거부(12)는 도 4에 도시된 바와 같이 블록단위로 처리된 영상에서 다중 블록 경계에 위치한 픽셀(예컨대 A 내지 p 픽셀)간의 명도차를 줄여 도 5에 도시된 바와 같이 복원된 영상에서 발생된 블록화 현상을 제거한다.

도 6은 본 발명의 실시 예에 따른 블록화 현상 제거 방법을 설명하기 위한 도면이고, 도 7은 본 발명의 실시 예에 따른 블록화 현상 제거부(12)에서의 블록화 현상 제거 처리 흐름도이다. 그리고 도 8a 내지 도 8c는 본 발명의 실시 예에 따라 블록단위로 처리된 영상에서 상기한 바와 같은 블록화 현상 제거 처리 후 블록 경계 명도의 단면을 나타내는 도면이고, 도 9는 본 발명의 실시 예에 따른 블록화 현상 제거 처리 후 복원 영상을 나타낸 도면이다.

이하 도 3 내지 도 9을 참조하여 본 발명의 실시 예에 따라 블록화 현상 제거부(12)가 다중 블록 경계선에 의해 발생된 블록화 현상을 제거하는 과정을 상세히 설명한다. 이하 본 발명의 실시 예에서는 블록화 현상을 제거하는 방법을 도 6에 도시된 바와 같이 다중 블록 경계 사이에 위치하는 A 내지 P 픽셀들을 일 예로 설명한다.

블록화 현상 제거부(12)는 도 7의 100단계에서 복원 영상이 입력되면 입력된 복원 영상의 다중 블록 경계선에 위치한 X ×X 개의 픽셀들 중 가로, 세로 또는 대각선 방향으로 연속 나열된 4개의 픽셀들의 값을 변수 W, X, Y, Z의 값으로 입력한다. 예컨대 블록화 현상 제거부(12)는 변수 W, X, Y, Z의 값으로 도 6에 도시된 바와 같이 가로로 연속 나열된 픽셀들 A, B, C, D 또는 세로로 연속 나열된 픽셀들 A, E, I, M 또는 대각선 방향으로 연속 나열된 A, F, K, P 픽셀들의 값을 입력할 수 있다. 상기한 바와 같이 픽셀값을 입력한 후, 블록화 현상 제거부(12)는 102단계에서 입력된 픽셀값 즉, W, X, Y, Z의 값을 이용하여 W+Z/2의 값과 X+Y/2의 값을 계산한다. 즉, 블록화 현상 제거부(12)는 연속 나열된 4개의 픽셀들 중 첫 번째 픽셀과 네 번째 픽셀의 중간값(W+Z/2)을 계산하여 변수 tmp_val_1의 값으로 입력하고, 두 번째 픽셀과 세 번째 픽셀의 중간값(X+Y/2)을 계산하여 변수 tmp_val_2의 값으로 입력한 후 104단계로 진행한다. 블록화 현상 제거부(12)는 104단계에서 계산된 첫 번째 픽셀값 및 네 번째 픽셀값의 중간값과 두 번째 픽셀값 및 세 번째 픽셀값의 중간값의 차이를 구한다. 즉, 블록화 현상 제거부(12)는｜tmp_val_1 - tmp_val_2｜의 값을 구하여 구해진 값을 변수 tmp_val_3의 값으로 입력한다. 그리고 나서 블록화 현상 제거부(12)는 106단계에서 tmp_val_1의 값에 tmp_val_3/100의 값을 더한 결과값을 두번째 픽셀의 값으로 대체하고, tmp_val_2의 값에 tmp_val_3/100의 값을 뺀 결과값을 세 번째 픽셀의 값으로 대체한다. 여기서 100은 복원 영상의 스케일(scale)이 그레이 스케일(gray scale)(0~255)일 경우 정해진 일예값이며, 복원 영상의 스케일에 따라 임의로 정해질 수 있다.

본 발명의 실시 예에 따르면 블록화 현상 제거부(12)는 예컨대 도 6에 도시된 바와 같은 복원 영상에서 연속 나열된 4개의 픽셀들에 대해 ABCD →MNOP →AEIM →DHLP →AFKP →DGJM의 순서대로 블록화 현상 제거 처리 과정을 수행한다. 이때 블록화 현상 제거부(12)가 복원 영상에서 연속 나열된 4개의 픽셀들에 대해 블록화 현상 제거 처리 과정을 수행하는 순서는 상기한 일 예에 한정되지 않음을 이해하여야 한다. 본 발명의 블록화 현상 제거부(12)가 블록화 현상 제거 처리를 수행하는 순서는 예컨대 ABCD →MNOP→AEIM →DHLP →EFGH→IJKL의 픽셀 순서 또는 ABCD →MNOP → AEIM → FHLP → BFJN →CGKO의 픽셀 순서가 될 수 있다.

즉, 블록화 현상 제거부(12)는 복원 영상에서 예컨대 상기한 바와 같은 순서대로 연속 나열된 임의의 4개의 픽셀들에 대해 블록화 현상 제거 처리 과정을 수행하여 도 8a 내지 8c에 도시된 바와 같이 복원 영상의 픽셀들의 명도차이를 줄인다. 이는 도 9에 도시된 바와 같이 복원 영상에서 발생된 블록화 현상을 제거하여 복원 영상의 전체적인 이미지의 화질을 높인다.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해 져야 한다.

상술한 바와 같이 본 발명의 블록화 현상 제거부는 블록단위로 처리된 영상에서 블록 경계에 위치한 픽셀간의 명도차를 줄여 블록화 현상을 제거함으로써 계산량이 적고 처리시간이 짧아 실시간 처리에 적합하다. 또한 본 발명은 영상 복원 장치에서 발생되는 블록화 현상을 단순하고 간단한 알고리즘을 통해 효과적으로 제거하여 복원된 영상의 전체적인 이미지의 화질을 높일 수 있다.

도 1은 종래 기술에 따른 블록화 현상이 발생된 복원 영상 일예도

도 2는 종래 기술에 따른 블록화 현상 제거 방법을 설명하기 위한 도면

도 3은 본 발명의 실시 예에 따른 영상 복원 장치의 블록 구성도

도 4는 본 발명의 실시 예에 따라 블록단위로 처리된 영상에서 블록 경계 명도의 단면을 나타내는 도면

도 5는 블록화 현상이 발생된 영상 일예도

도 6은 본 발명의 실시 예에 따른 블록화 현상 제거 방법을 설명하기 위한 도면

도 7은 본 발명의 실시 예에 따른 블록화 현상 제거 처리 흐름도

도 8a 내지 도 8c는 본 발명의 실시 예에 따른 블록화 현상 제거 처리 후 블록 경계 명도의 단면을 나타내는 도면

도 9는 본 발명의 실시 예에 따른 블록화 현상 제거 처리 후 영상을 나타낸 도면

Claims (4)

1. 부호화된 영상 데이터를 입력받아 복호화하고 양자화된 변환계수를 역양자화 및 역변환하여 원래의 영상으로 복원 시 복원된 영상의 블록 경계에서 발생되는 블록화 현상을 제거하기 위한 영상 복원 장치에 있어서,

   상기 복원 영상이 입력되면 입력된 복원 영상의 다중 블록 경계선에 위치한 X ×X 개의 픽셀들 중 임의의 방향으로 연속 나열된 4개의 픽셀들에서 두 번째 픽셀 값과 세 번째 픽셀 값을 하기 수학식4에 따라 계산된 값으로 대체하여 상기 다중 블록 경계선에 의해 발생된 블록화 현상을 제거하는 블록화 현상 제거부를 포함함을 특징으로 하는 영상 복원장치.

   상기 수학식4에서

   tmp_val_1 = (첫번째 픽셀값 + 네번째 픽셀값)/2 이고,

   tmp_val_2 = (두번째 픽셀값 + 세번째 픽셀값)/2 이고,

   tmp_val_3 = ｜tmp_val_1 - tmp_val_2｜이고,

   f(tmp_val_3) = tmp_val_3/q 이며,

   상기 q는 상기 복원 영상의 스케일에 따라 임의로 정해진 값이다.
2. 제1항에 있어서, 상기 블록화 현상 제거부는,

   상기 임의의 방향으로 연속 나열된 4개의 픽셀들에 대한 블록화 현상 제거 처리를 다중 블록 경계선에 위치한 X ×X개의 픽셀들 모두에 대해 가로, 세로 혹은 대각선 방향으로 연속 나열된 4개의 픽셀들을 지정하여 적어도 1회 이상 수행함을 특징으로 하는 영상 복원 장치.
3. 부호화된 영상 데이터를 입력받아 복호화하고 양자화된 변환계수를 역양자화 및 역변환하여 원래의 영상으로 복원하는 영상 복원 장치에서 복원된 영상의 블록 경계에서 발생되는 블록화 현상을 제거하는 방법에 있어서,

   상기 복원 영상이 입력되면 입력된 복원 영상의 다중 블록 경계선에 위치한 X ×X 개의 픽셀들 중 임의의 방향으로 연속 나열된 4개의 픽셀들을 지정하는 과정과,

   상기 연속 나열된 4개의 픽셀들에서 두 번째 픽셀 값과 세 번째 픽셀 값을 하기 수학식5에 따라 계산된 값으로 대체하여 상기 다중 블록 경계선에 의해 발생된 블록화 현상을 제거하는 과정을 포함함을 특징으로 하는 블록화 현상 제거 방법.

   상기 수학식5에서

   tmp_val_1 = (첫번째 픽셀값 + 네번째 픽셀값)/2 이고,

   tmp_val_2 = (두번째 픽셀값 + 세번째 픽셀값)/2 이고,

   tmp_val_3 = ｜tmp_val_1 - tmp_val_2｜이고,

   f(tmp_val_3) = tmp_val_3/q 이며,

   상기 q는 상기 복원 영상의 스케일에 따라 임의로 정해진 값이다.
4. 제3항에 있어서,

   상기 임의의 방향으로 연속 나열된 4개의 픽셀들에 대한 블록화 현상 제거 처리를 다중 블록 경계선에 위치한 X ×X개의 픽셀들 모두에 대해 가로, 세로 혹은 대각선 방향으로 연속 나열된 4개의 픽셀들을 지정하여 적어도 1회 이상 수행함을 특징으로 하는 블록화 현상 제거 방법.