KR100269205B1

KR100269205B1 - 가변 임계치를 이용한 이진 영상의 보간 방법

Info

Publication number: KR100269205B1
Application number: KR1019970051105A
Authority: KR
Inventors: 신재섭; 조대성
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1997-07-10
Filing date: 1997-10-04
Publication date: 2000-10-16
Also published as: CN1205601A; KR19990013224A; CN100407757C

Abstract

본 발명은 영상의 내용 단위의 처리 기능을 위해 필요한 이진 형상 정보의 부호화에 관한 것으로, 특히 보간할 화소 주위 값의 문맥(context)을 이용하여 이진화할 가변 임계치를 설정하고, 이것을 보간된 화소 값과 비교하여 이진 값을 얻을 수 있도록, 보간될 화소의 위치에 따라 주위 화소 “C0, C1, .., C7”를 이용하여, 8비트 문맥 Ct를 구하는 제 1 과정과 ; 문맥 Ct에 해당하는 보간될 화소의 임계치 Th[Ct] 를 구하는 제 2 과정 및 ; 주위의 4개의 점 “A, B, C, D”와 그밖의 점 “E, F, G, H, I, J, K, L”로 위치에 따른 가중치 값에 의한 보간값을 가변 임계치와 비교하여 “P1, P2, P3, P4”를 보간하는 제 3 과정으로 이루어짐을 특징으로 하는, 가변 임계치를 이용한 이진 영상의 보간 방법에 관한 것이다.

Description

가변 임계치를 이용한 이진 영상의 보간 방법

본 발명은 영상의 내용(content) 단위의 처리 기능을 위해 필요한 이진 형상 정보의 부호화에 관한 것으로, 특히 보간할 화소 주위 값의 문맥(context)을 이용하여 이진화할 가변 임계치를 설정하고, 이것을 보간된 화소 값과 비교하여 이진 값을 얻을 수 있도록 한, 가변 임계치를 이용한 이진 영상의 보간 방법에 관한 것이다.

최근의 MPEG-4는 그 이전과는 달리 영상의 내용 단위의 처리 기능이 추가 되었다. 이를 위해 이진 형상(binary shape) 정보의 부호화가 필요하다. 현재, 이진 형상 부호화를 위해서는, 블럭 기반 알고리듬인 문맥 산술 부호화(Context Arithmetic Encoding : 이하 CAE라 한다)를 사용한다.

기본적으로, 문맥 산술 부호화(CAE) 알고리듬은 무손실 부호화를 사용한다. 따라서, 손실 부호화를 위해서는 도 1 에 도시된 바와 같이, 이진 영상의 다운 샘플링(down sampling) 및 업 샘플링(up sampling) 과정을 통해 부호화할 화소수를 줄이는 방법을 사용한다.

이러한 구조에서는 이진 블럭 단위로 다운 샘플링(down sampling)되는 비율이 다르고, 또한 원래 크기의 블럭으로의 보간시 정보 손실로 인한 블럭 효과가 발생하므로, 이의 효율적인 처리 과정이 필요하게 된다.

도 1은 기존의 부호화에서 이용하는 이진영상의 크기 변환의 전체 구조를 보여준다.

도 1의 (a)와 같이 이진 영상의 다운 샘플링(down sampling)은, 화소 "O"에서 화소 "X"로 변환되는데, 주위 4개의 화소중 “1”인 화소가 절반을 넘으면 다운 샘플링(down sampling)되는 화소값이 “1”이고, 그렇지 않으면 “0”이 된다.

도 1의 (b)는 다운 샘플링(down sampling)된 화소를 원래의 해상도로 업 샘플링(up sampling)할 때의 화소의 위치를 나타낸다. 화소 "O"는 주위 4개의 화소 "X"로 복원된다.

도 1의 (c)는 이진 영상의 손실 부호화를 위한 크기 변환 과정을 나타낸다.

이진 영상 블럭(101)이 변환률(conversion ratio : 이하 CR이라 한다)만큼 다운 샘플링(down sampling)되어 다운 샘플링 블록(102)이 되고, 상기 다운 샘플링 블럭(102)의 블럭값은 문맥 산술 부호화(CAE)에 의하여 부호화 된다. 여기서 변환률(CR)은 1, 1/2, 1/4의 값을 갖는다. 상기와 같이, 부호화후 복원된 다운 샘플링 블럭(102)은 업 샘플링(up sampling)의 과정을 통해 다시 업 샘플링 블럭(103)으로 복원된다.

이때, 변환을 위한 변환률(CR) 값은, 이진 영상 블럭(101)과 업 샘플링 블럭(103)사이의 오차가, 미리 정해진 임계치 이하가 되도록 결정되고, 부호화에서는 이 변환률(CR) 값이 전송된다.

도 2는 종래의 보간할 화소 주위의 4개점 이외의 8개의 값을 추가로 이용하는 기법이다. 도 2 에 도시된 바와 값이, 가장 인접한 점 “A, B, C, D”와 그 외각의 점 “E, F, G, H, I, J, K, L”을 이용한다. 도 1의 (b)에서와 같이, 다운 샘플링(down sampling)된 4개의 화소 (“O”)사이에 4개의 보간할 점 (“X”)이 존재한다. 이 4개의 점은 위치에 따라, 도 2 에 도시된 바와 같이 “P1, P2, P3, P4”로 나눌 수 있다. 각 점 “P1, P2, P3, P4”는 다음과 같이 구한다.

P1 : if( r*A + s*(B+C+D) + t*(E+F+G+H+I+J+K+L) ＞ Th )

then "1"

else "0"

P2 : if( r*B + s*(A+C+D) + t*(E+F+G+H+I+J+K+L) ＞ Th )

then "1"

else "0"

P3 : if( r*C + s*(B+A+D) + t*(E+F+G+H+I+J+K+L) ＞ Th )

then "1"

else "0"

P4 : if( r*D + s*(B+C+A) + t*(E+F+G+H+I+J+K+L) ＞ Th )

then "1"

else "0"

여기서 r, s, t는 보간되는 화소와의 거리에 따라 결정되는 가중치로서, 기존의 방법에서는 각각 4, 2, 1의 값을 갖는다.

“P1”의 경우 “A”값에 가장 큰 가중치를, “P2, P3, P4”에 대해서는 각각 “B, C, D”에 가장 큰 가중치를 둔다. 또한, 기존의 방법에서는 임계치(Th) 값을 “8”로 고정하였다.

현재 블럭단위로 이진 영상을 부호화 하는 방법에서는, 부호화할 화소 수를 줄이기 위하여 이진 영상 블럭을, 다운 샘플링(down sampling) 후 다시 원래 크기로 복원할 때, 다운 샘플링(down sampling)된 주위의 4개의 화소를 이용하여, 화소값을 복원하였다. 이 선형 보간(bilinear interpolation) 값이 0.5보다 크면 “1”, 그렇지 않으면 “0”으로 복원되는데, 실제 주위 화소값의 평균이 0.5에 근접하면 “0”과 “1”의 정확한 구분이 불가능하다. 여기서, “1”은 물체가 있는 영역을, “0”은 물체가 없는 영역을 나타낸다. 따라서, 이러한 손실 되는 부분에 의하여 복원 영상에 블럭 효과가 크게 나타난다.

이진 영상에서의 블럭 효과는, 주관적인 화질에 나쁜 영향을 미치는 주된 요인으로, 의미 있는 물체인 내용(content) 단위로 처리하는데 문제가 발생한다. 이러한 주위 4개 화소만을 고려할 때 생기는 애매함을 줄이기 위해, 고려하는 화소를 보간되는 점을 중심으로 좀더 넓은 영역으로 확장하여 보간하였다. 그러나, 이와 같은 종래의 이진 영상 보간 방법은, 어느 정도의 블럭 효과를 줄일 수 있었으나 뭉게짐(smoothing) 효과가 지나치게 커지게 되는 문제점이 있다.

따라서, 원래 복잡한 형태를 갖는 영상에 적합하지 않으며, 복원 오차가 커지는 단점이 발생하였다.

이에 본 발명은 상기한 바와 같은 종래의 제 문제점들을 해소시키기 위하여 창안된 것으로, 보간할 화소 주위 값의 문맥(context)을 이용하여 이진화할 가변 임계치를 설정하고, 이것을 보간된 화소 값과 비교하여 이진 값을 얻을 수 있도록 한, 가변 임계치를 이용한 이진 영상의 보간 방법을 제공하는데 그 목적이 있다.

도 1은 종래의 손실 부호화를 위한 이진 영상 블럭의 크기 변환 방법을 보인 예시도이다.

도 2는 종래의 이진 영상 보간 방법을 보인 예시도이다.

도 3은 보간될 화소 주위의 문맥(context)의 배열을 보인 예시도이다.

도 4는 주위 화소의 문맥(context)에 따른 가변 임계치값의 예시도이다.

도 5는 본 발명에 따른 실시예를 보인 예시도이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명은, 보간될 화소의 위치에 따라 주위 화소 “C0, C1, .., C7”를 이용하여, 8bit 문맥 Ct를 구하는 제 1 과정과 ; 문맥 Ct에 해당하는 보간될 화소의 임계치 Th[Ct] 를 구하는 제 2 과정 및 ; 주위의 4개의 점 “A, B, C, D”와 그밖의 점 “E, F, G, H, I, J, K, L”로 위치에 따른 가중치 값에 의한 보간값을 가변 임계치와 비교하여 “P1, P2, P3, P4”를 보간하는 제 3 과정으로 이루어짐을 특징으로 한다.

본 발명은, 고정 임계치로 인한 지나친 뭉게짐(smoothing) 효과로 인한 오차의 증가를 줄이기 위해, 임계치(Th)를 가장 외각의 점 “E, F, G, H, I, J, K, L”에 의한 조합값, 즉 문맥(context) 값에 의하여 변화시킨다.

도 3은 본 발명에 따른 가변 임계치를 위한 문맥(context) “C0, C1, ..., C7”의 위치를 보간될 화소값의 위치 “P1, P2, P3, P4”에 따라 나타내었다. “P1, P2, P3, P4”의 위치에 따라 각각 “C0, C1, ..., C7”의 순서가 그림과 같이 변한다.

도 3의 문맥(context)에 의하여 도 4 와 같은 임계치가 결정되고, 상기 수학식 1, 2, 3, 4 의 임계치(Th)를 변경시키는 구조로 이루어진다. 본 발명의 목적에 따른, 개선된 가변 임계치를 이용한 이진 영상의 보간 방법의 동작 원리를 상세히 설명하면 다음과 같다.

본 발명에서의 이진 화소의 보간 (interpolation) 과정은 다음과 같다.

1) 도 3 에서와 같이, 보간될 화소의 위치에 따라 주위 화소 “C0, C1, .., C7”를 이용하여, 8bit 문맥 Ct를 다음과 같이 구한다.

여기서, ck (0≤k≤7)는 도 2에서의 인접한 화소 “C0, C1, ..., C8”를 의미한다.

2) 도 4(a)와 (b) 에서, 문맥 Ct에 해당하는 보간될 화소의 임계치 Th[Ct] 를 구한다.

3) 본 발명에서는 다음과 같이 주위의 4개의 점 “A, B, C, D”와 그밖의 점 “E, F, G, H, I, J, K, L”로 위치에 따른 가중치 값에 의한 보간값을 다음과 같이 2)에서 구한 가변 임계치와 비교하여 “P1, P2, P3, P4”를 보간 (interpolation)한다.

P1 : if( r*A + s*(B+C+D) + t*(E+F+G+H+I+J+K+L) ＞ Th[Ct] )

then "1"

else "0"

P2 : if( r*B + s*(A+C+D) + t*(E+F+G+H+I+J+K+L) ＞ Th[Ct] )

then "1"

else "0"

P3 : if( r*C + s*(B+A+D) + t*(E+F+G+H+I+J+K+L) ＞ Th[Ct] )

then "1"

else "0"

P4 : if( r*D + s*(B+C+A) + t*(E+F+G+H+I+J+K+L) ＞ Th[Ct] )

then "1"

else "0"

여기서 r, s, t는 보간되는 화소와의 거리에 따라 결정되는 가중치로서, 기존의 방법에서와 같이 각각 4, 2, 1의 값을 갖도록 하였다.

도 5 는 본 발명의 성능을 평가하기 위한 실시예로서 이에 도시한 바와 같이, 도 5 의 (a)는 어린이들(Kids) 원영상이고, (b)는 기존의 선형 보간(bilinear interpolatoin)에 의한 보간 결과이고, (c)는 제안한 방법에 의한 보간 결과이다. 상기 도면에서 보는 바와 같이, 기존의 선형 보간 (bilinear interpolation)에 비해 블럭 효과가 크게 줄어 들었다. 또한, 수학식 1, 2, 3, 4 를 사용하여 도 2 에 도시된 바와 같이, 고정 임계치를 사용한 방법의 경우는 도 5 의 (c)와 비슷한 화질을 보이나, 1151 비트에 Dn=0.0511 로 본 발명에 비해 비트량 및 Dn이 크다.

이상에서 상세히 설명한 바와 같이 본 발명은, 선형 보간 (bilinear interpolation)과 같이 바로 인접한 화소만으로 복원이 불명확할 때 주위의 문맥에 의해 애매함을 제거므로 보간(interpolation)후의 블럭 효과 및 복원 오차를 줄여준다.

또한, 주위값을 보간에 이용함에 있어서 보간될 점으로 부터의 거리에 따른 가중치의 합을 이용하여 구하는 알고리듬에 대해, 단지 주위점 “E, F, G, H, I, J, K, L”의 “1”인 이진값의 확률만을 이용하는 방법에 이들값의 문맥(context)을 추가로 사용하여 뭉게짐(smoothing)으로 인한 오차를 줄여준다.

따라서, 고정된 임계값을 이용하여 복원하는 알고리듬에, 본 발명의 문맥(context)을 이용하여 구한 가변 임계치를 적용함으로써, 쉽게 그 성능을 개선할 수 있다.

Claims

보간될 화소의 위치에 따라 주위 화소 “C0, C1, .., C7”를 이용하여, 8bit 문맥 Ct를 구하는 제 1 과정;

문맥 Ct에 해당하는 보간될 화소의 임계치 Th[Ct] 를 구하는 제 2 과정; 및

주위의 4개의 점 “A, B, C, D”와 그밖의 점 “E, F, G, H, I, J, K, L”로 위치에 따른 가중치 값에 의한 보간값을 가변 임계치와 비교하여 “P1, P2, P3, P4”를 보간하는 제 3 과정을 포함함을 특징으로 하는, 가변 임계치를 이용한 이진 영상의 보간 방법.
제1항에 있어서, 상기 제 1 과정은,

ck (0≤k≤7)가 인접한 화소 “C0, C1, ..., C8”를 의미한다고 할 때,

와 같은 방법을 사용하여 이루어짐을 특징으로 하는, 가변 임계치를 이용한 이진 영상의 보간 방법.
제1항에 있어서, 상기 제 2 과정은,

도면 4의 (a)또는 (b)와 같은 가변 임계치를 사용하여 이루어짐을 특징으로 하는, 가변 임계치를 이용한 이진 영상의 보간 방법.
제1항에 있어서, 상기 제 3 과정은,

r, s, t 가 보간되는 화소와의 거리에 따라 결정되는 가중치일 때,

P1 : if( r*A + s*(B+C+D) + t*(E+F+G+H+I+J+K+L) ＞ Th[Ct] )

then "1"

else "0"

P2 : if( r*B + s*(A+C+D) + t*(E+F+G+H+I+J+K+L) ＞ Th[Ct] )

then "1"

else "0"

P3 : if( r*C + s*(B+A+D) + t*(E+F+G+H+I+J+K+L) ＞ Th[Ct] )

then "1"

else "0"

P4 : if( r*D + s*(B+C+A) + t*(E+F+G+H+I+J+K+L) ＞ Th[Ct] )

then "1"

else "0"

와 같은 방법을 사용하여 이루어짐을 특징으로 하는, 가변 임계치를 이용한 이진 영상의 보간 방법.