KR20090093675A

KR20090093675A - 곡선 보간을 이용한 에러복원방법

Info

Publication number: KR20090093675A
Application number: KR1020080019344A
Authority: KR
Inventors: 이귀상
Original assignee: 전남대학교산학협력단
Priority date: 2008-02-29
Filing date: 2008-02-29
Publication date: 2009-09-02
Also published as: KR100943068B1

Abstract

본 발명에 따른 에러복원방법은 손실된 블록에 포함된 각각의 화소를 복원하는 방법에 있어서, 복원할 화소를 기준으로, 상기 손실된 블록의 경계영역에 이웃한 화소들과의 차분값을 연산하는 과정과, 연산된 상기 차분값에 기초하여, 상기 손실된 블록의 경계영역에 이웃한 각 블록에서 가장 적은 차분값을 갖는 화소인 최소경계화소를 각각 검출하는 과정과, 적어도 두 개의 최소경계화소를 이용하여 곡선 보간을 수행하는 과정을 포함한다.

Description

곡선 보간을 이용한 에러복원방법{METHOD FOR ERROR CONCEALMENT USING CURVE INTERPOLATION}

본 발명은 동영상 복호화에 관한 것으로서, 특히 부호화된 데이터 중 손실된 블록에 포함된 영상을 복원하는 방법에 관한 것이다.

동영상 신호의 전송이나 저장 시에 높은 영상 화질을 유지하면서 낮은 데이터 레이트를 얻기 위한 다양한 디지털 동영상 압축 기술이 제안되어 왔다. 이러한 압축 기술은 이산 코사인 변환(DCT: Discrete Cosine Transform) 기법이나 모션 보상(MC: Motion Compensation) 기법 등을 통해 비교적 높은 압축률을 달성하고 있다.

이러한 동영상 데이터는 부호화 과정에서, 예측부호화, 변환, 및 양자화 과정을 거치면서 시/공간적 정보를 잃게 되고, 가변장 부호화(VLC; Variable Length Coding)에 의해 비트 스트림 내의 전후 데이터가 상호 밀접한 관계를 갖게 되었다. 특히, 예측부호화 기술을 이용하여 동영상 데이터를 부호화하는 경우, 예측을 통해 부호화된 프레임을 다음 프레임에서 참조함에 따라 전후 데이터가 직접적인 관련성을 갖게 되었다. 따라서, 예측부호화 기술로써 부호화된 데이터를 전송하는 과정에서, 부호화된 데이터가 손실되면, 손실된 참조 프레임을 이용하여 복원되는 프레임에 연속적으로 에러가 발생하는 문제가 유발되었다.

결국, 전송 오류가 발생할 수 있는 전송 채널 환경을 고려하여 동영상 데이터를 부호화 및 복호화하는 방법이 다양하게 연구되고 있다. 즉, 부호화 과정에서 오류의 영향을 최소화할 수 있도록 에러에 강인한 비트스트림을 생성하는 방법이 연구되고 있으며, 복호화 과정에서 전송 상의 오류로 인해 데이터가 손실되더라도 부호화된 데이터를 원활하게 복원하고 에러를 은닉하는 방법이 다양하게 연구되고 있다.

도 1은 종래기술에 따른 에러은닉 기법에서 사용되는 선형 보간법의 개념도이다. 도 1을 참조하면, 종래기술에 따른 에러은닉 기법에서는, 손실된 16×16 매크로블록(1)은 공간적 상관성을 이용한 선형 보간법에 의해 복원한다. 구체적으로, 손실된 블록(1)에 이웃한 주변 블록(예컨대, 상하좌우에 위치한 주변블록(3,5,7,9))이 복호화되었는지를 확인한 후, 손실된 블록에 포함된 각각의 화소를 복호화된 주변블록에 포함된 화소를 이용하여 복원한다. 즉, 상하좌우에 이웃한 매크로블록(3,5,7,9)에 포함되며 손실된 블록(1)에 직접적으로 이웃한 화소 중, 복원할 위치의 화소 즉, Y(x,y)에 위치한 화소의 수평 및 수직방향에 위치한 화소(Y1,Y2,Y3,Y4)를 선형 보간하여 복원한다.

이러한 방법은 주변에 위치한 화소들의 평균값을 이용하는 방법으로써, 손실된 블록의 특성이 반영되지 않으며, 복원된 영상에 블러링이 형성된다. 특히, 영상의 크기가 작은 QCIF(176×144) 포맷의 영상 및 에지 성분이 뚜렷하게 존재하는 블록을 포함하는 영상에서 블러링이 심하게 유발되는 문제가 있다. 따라서, 블러링을 최소화하여 손실된 데이터를 복원하는 방안이 요구되고 있다.

본 발명은 전술한 점을 고려하여 안출된 것으로서, 블록 단위로 부호화된 영상에서 손실된 블록의 복원시 발생하는 블러링 현상을 감소시키는 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위하여 본 발명에 따른 에러복원방법은 손실된 블록에 포함된 각각의 화소를 복원하는 방법에 있어서, 복원할 화소를 기준으로, 상기 손실된 블록의 경계영역에 이웃한 화소들과의 차분값을 연산하는 과정과, 연산된 상기 차분값에 기초하여, 상기 손실된 블록의 경계영역에 이웃한 각 블록에서 가장 적은 차분값을 갖는 화소인 최소경계화소를 각각 검출하는 과정과, 적어도 두 개의 최소경계화소를 이용하여 곡선 보간을 수행하는 과정을 포함한다.

상기 적어도 두 개의 최소경계화소는, 상기 최소경계화소 중 가장 적은 차분값을 갖는 두 개의 화소이다.

상기 곡선 보간을 수행하는 과정은, 복원할 화소가 영상의 에지 영역을 포함하는지를 확인하는 과정과, 복원할 화소가 영상의 에지 영역을 포함하지 않는 경우에 대응하여, 상기 복원할 화소와 각각의 최소경계화소 사이의 거리를 연산하고, 연산된 각각의 상기 거리를 기준으로 곡선 보간을 수행하는 과정을 포함한다.

상기 곡선 보간을 수행하는 과정은, 복원할 화소가 영상의 에지 영역을 포함하는지를 확인하는 과정과, 복원할 화소가 영상의 에지 영역을 포함하지 않는 경우에 대응하여, 상기 적어도 두 개의 최소경계화소 사이의 중점을 획득하는 과정과, 곡선 보간의 가중치 결정을 위해 채택되는 함수의 수직 기준축을 상기 중점을 포함하는 수직축의 위치에 대응하여 이동시키고, 이동된 상기 수직 기준축에 기초하여 곡선 보간의 가중치를 결정하는 과정을 포함한다.

상기 곡선 보간은 시그모이드(Sigmoid) 함수를 이용하는 시그모이드(Sigmoid) 보간인 것이 바람직하다.

복원할 화소가 영상의 에지 영역을 포함하지 않는 경우에 대응하여 시그모이드(Sigmoid) 보간을 수행하는 과정은, 시그모이드 함수의 매개변수의 범위를 기준으로하여 상기 손실된 블록과 이웃한 블록의 경계영역에 포함된 화소와의 거리를 상기 매개변수에 매핑시키는 과정과, 매핑된 상기 매개변수를 이용하여 시그모이드 보간법에 기초한 연산을 수행하는 과정을 포함한다.

본 발명에 따른 에러복원방법에 따르면, 손실된 블록의 화소들을 복원하는 과정에서 발생하는 블러링 현상을 감소시킬 수 있다.

또한, 손실된 블록의 주변에 위치한 블록에 포함된 화소들의 관계를 고려하여 손신된 화소를 복원함으로써, 손실된 블록을 원본의 영상에 가깝게 복원할 수 있으며, 손실된 블록의 복원으로 인한 화질 저하를 감소시킬 수 있다.

도 1은 종래기술에 따른 에러은닉 기법에서 사용되는 선형 보간법의 개념도

도 2는 손실된 블록 및 그 주변에 이웃한 블록의 일 예시도

도 3은 본 발명의 일 실시예에 따른 에러복원방법의 순서를 도시한 흐름도

도 4는 본 발명의 일 실시예에 따른 에러복원방법에 포함된 곡선 보간 단계의 상세 순서를 도시한 흐름도

도 5는 일반적인 시그모이드 함수의 그래프

도 6은 본 발명의 일 실시예에 따른 손실된 매크로 블록의 크기와 시그모이드 함수의 매개변수에 대한 관계의 일 예시도

도 7a는 본 발명의 일 실시예에 따른 에러복원방법에서 수직축이 이동되기 전의 시그모이드 함수의 그래프와 손실된 블록의 관계에 대한 일 예시도

도 7b는 본 발명의 일 실시예에 따른 에러복원방법에서 수직축이 이동된 시그모이드 함수의 그래프 및 손실된 블록의 관계에 대한 일 예시도

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 부호화된 데이터 중 일부 데이터가 손실됨에 따라, 손실된 데이터에 포함된 블록을 손실되기 이전의 블록으로 복원하는 방법으로써, 동영상 데이터를 복호화하는 장치에 적용될 수 있다. 특히, 동영상 복호화 장치의 에러 복원을 처리하는 장치, 예컨대 H. 264 복호화기의 인트라 예측부 등에 적용될 수 있다.

도 2는 손실된 블록 및 그 주변에 이웃한 블록의 일 예시도이다. 도 2를 참조하면, 손실된 블록(10) 및 상기 손실된 블록(10)의 상하좌우에 이웃한 블록(20,30,40,50)이 도시된다. 각 블록은 16×16 크기의 블록으로써, 각각 16×16 개의 화소를 포함한다. 일반적으로, 손실된 블록의 복원은 손실된 블록(10)의 주변에 위치한 블록들(20,30,40,50)의 복호화가 완료된 상태에서 이루어지며, 손실된 블록에 포함된 각각의 화소를 순차적으로 복원하는 방법이 채택된다. 이에 따라, 본 발명의 일 실시예에서는 복호화가 완료된 주변 블록들(20,30,40,50)을 참조하여, 손실된 블록(10)에 포함된 복수의 화소 중, 최상부의 가장 우측에 포함된 화소(11)부터 그 우측에 위치한 화소를 순차적으로 복원하고, 최상부 열에 위치한 화소의 복원이 완료되면, 그 다음 하위 열에 위치한 화소를 복원하는 것을 예시한다.

나아가, 손실된 블록(10)에 포함된 각각의 화소를 복원하는 과정을 모두 동일하게 수행되므로, 특정 화소(15)를 복원하는 방법을 통해 손실된 블록을 복원할 수 있음은 자명하다. 따라서, 이하에서는 손실된 블록(10)에 포함된 특정 화소(15)를 복원하는 방법에 대해 설명한다.

도 3은 본 발명의 일 실시예에 따른 에러복원방법의 순서를 도시한 흐름도이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 에러복원방법은 특정 화소(15)와 손실된 블록의 주변에 위치한 화소들의 차분값을 각각 연산하는 단계(100), 연산된 차분값으로부터 최소경계화소를 검출하는 단계(200), 및 상기 최소경계화소를 이용한 곡선 보간을 수행하는 단계(300)를 포함한다.

우선, 100단계에서는 복원을 진행하는 특정 화소(15)와 손실된 블록(10)에 이웃한 화소들(25,35,45,55) 사이의 차분값을 연산한다. 여기서, 상기 손실된 블록(10)에 이웃한 화소들(25,35,45,55)은 손실된 블록(10)의 주변 블록(20,30,40,50)에 포함된 화소 중, 손실된 블록(10)의 상하좌우 모서리 부분에 직접적으로 이웃하는 화소 일 수 있다.

200단계에서는, 상기 100단계에서 연산된 차분값에 기초하여, 각 블록에 포함된 화소 중에서 가장 작은 값을 갖는 화소(이하, 최소경계화소)들(21,31,41,51)을 검출하게 된다. 예컨대, 특정 화소(15)와 상부 블록(20)의 화소들(25) 사이에서 가장 작은 차분값을 갖는 제1화소(21)를 제1최소경계화소, 특정 화소(15)와 하부 블록(30)의 화소들(35) 사이에서 가장 작은 차분값을 갖는 제2화소(31)를 제2최소경계화소, 특정 화소(15)와 좌측 블록(40)의 화소들(45) 사이에서 가장 작은 차분값을 갖는 제3화소(41)를 제3최소경계화소, 특정 화소(15)와 우측 블록(50)의 화소들(55) 사이에서 가장 작은 차분값을 갖는 제4화소(51)를 제4최소경계화소로 검출한다.

다음으로, 300단계에서는 제1, 제2, 제3, 및 제4최소경계화소(21,31,41,51)를 이용하여 곡선 보간을 수행한다. 예컨대, 특정 화소(15)와 제1, 제2, 제3, 및 제4최소경계화소(21,31,41,51) 사이의 거리값에 대응하는 매개변수를 각각 산출하고, 산출된 상기 매개변수를 시그모이드 보간에 사용되는 변수로 적용하여 보간을 수행할 수 있다. 이러한 보간은 하기의 330 및 340단계에서 설명되는 과정과 같이 수행될 수 있다.

바람직하게, 300단계는 시그모이드 함수를 이용하는 시그모이드 보간법에 기초하여 수행될 수 있다. 이를 위하여, 300단계는 하기의 도 4에 도시된 310 내지 370단계를 포함할 수 있다.

도 4는 본 발명의 일 실시예에 따른 에러복원방법에 포함된 곡선 보간 단계의 상세 순서를 도시한 흐름도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 곡선 보간 단계는, 우선 310단계를 통해, 복원 중인 특정 화소(15)가 영상에서 표현되는 물체의 에지 영역을 포함하는지에 대해 확인한다. 예컨대, 310단계는 제1, 제2, 제3, 및 제4최소경계화소(21,31,41,51) 중, 차분값의 최대값을 갖는 두 개의 화소를 추출하고, 추출된 상기 두 개 화소의 차분값을 미리 정해진 임계치와 비교하여 상기 두 개의 화소의 차분값이 상기 임계치를 초과하는지를 확인한다. 확인 결과, 상기 두 개의 화소의 차분값이 모두 상기 임계치를 초과하는 경우 복원할 화소에 에지 영역이 포함되어 있는 것으로 결정하고, 그렇지 않은 경우(즉, 적어도 하나의 상기 화소의 차분값이 상기 임계치 이하일 경우) 복원할 화소에 에지 영역이 포함되지 않는 것으로 결정한다.

복원할 화소에 에지 영역이 포함되어 있지 않은 경우 330 및 340단계를 수행하고, 복원할 화소에 에지 영역이 포함되어 있는 경우 350 내지 370단계를 수행한다(320단계).

330 및 340단계에서는 시그모이드 함수에 기초한 시그모이드 보간을 이용하여 손실된 화소를 복원하게 된다.

시그모이드 보간은 하기의 수학식 1에 따른 시그모이드 함수(도 5의 그래프 참조)의 연산에 기초하여, 화소의 위치에 따른 가중치를 획득하고 이를 고려하여 손실된 블록에 포함된 화소를 복원하는 방법이다.

그런데, 시그모이드 함수의 매개변수의 수와 손실된 매크로 블록의 크기가 다를 경우, 손실된 매크로 블록을 시그모이드 함수의 매개변수에 적절한 매핑이 요구된다. 이를 위해 330단계에서는 손실된 매크로 블록과 시그모이드 함수의 매개변수를 매핑시키게 된다. 예컨대, 손실된 매크로 블록이 16×16 크기일 경우 손실된 블록의 인덱스는 0 내지 15로 설정될 수 있으며, 주변 블록의 이웃한 화소를 각각 포함하여 최종적으로 -1 내지 16으로 설정될 수 있다. 한편, 시그모이드 함수의 매개변수는 -4 내지 4로 설정되는 것을 가정한다(도 6참조). 이 경우, 하기의 수학식 2의 비례식에 기초한 하기의 수학식 3의 연산을 수행하여 매핑할 수 있다.

여기서, x_i 는 매핑을 통해 산출된 시그모이드 함수의 변수이며, d_i는 복원할 화소와 제1, 제2, 제3, 및 제4최소경계화소(21,31,41,51) 사이의 각각의 거리이다.

다음으로, 340단계에서는, 수직 및 수평방향의 최소경계화소에 대해 각각 시그모이드 함수를 연산하고, 연산된 값을 평균화하여 복원할 화소의 보간을 수행한다. 이러한 340단계는 하기의 수학식 4의 연산을 통해 수행될 수 있다.

여기서, 는 수평방향으로 인접한 블록에 포함된 최소경계화소(즉, 제3 및 제4최소경계화소(41,51))에 대한 시그모이드 함수 값을 연산한 결과이며, 는 수직방향으로 인접한 블록에 포함된 최소경계화소(즉, 제1 및 제2최소경계화소(21,31))에 대한 시그모이드 함수 값을 연산한 결과이며, 는 연산된 및 값을 평균화한 값이다.

한편, 350단계에서는 상기 310단계에서 추출된 상기 두 개의 화소(예컨대, 제1 및 제2최소경계화소(21,31)) 사이의 중점을 획득한다. 그리고, 360단계에서는 상기 중점을 지나는 수직 기준축을 생성하고, 상기 수직 기준축에 대응하여 시그모이드 함수 그래프의 수직축을 이동시키고, 그에 따른 함수값을 변경한다. 이하 첨부된 도면을 참조하여 350 및 360단계의 과정을 상세히 예시한다.

도 7a는 본 발명의 일 실시예에 따른 수직축이 이동되기 전의 시그모이드 함수의 그래프 및 손실된 블록의 관계를 예시하며, 도 7b는 도 4의 360단계를 통해 수직축이 이동된 시그모이드 함수의 그래프 및 손실된 블록의 관계를 예시한다. 우선 도 7a를 참조하면, 350단계에서는 상기 310단계에서 추출된 상기 두 개의 화소(예컨대, 제1 및 제2최소경계화소(21,31))를 연결하고, 연결된 선분의 중점(O)을 획득한다. 그리고, 상기 중점(O)을 지나는 수직 기준축(61)을 형성한다. 또한, 350단계에서는 손실된 블록의 크기를 고려하여 시그모이드 함수 그래프를 매핑시킨다. 다음으로 360단계에서는 매핑된 시그모이드 함수 그래프에서 수직축(71)을 상기 수직 기준축(61)에 맞추어 새로운 수직축(75)으로 이동시킨다. 결국, 도 7b와 같이 시그모이드 함수 그래프는 새로운 기준축(75)을 중심으로 형성된다.

마지막으로, 370단계에서는 새로운 기준축(75)을 중심으로 형성된 시그모이드 함수값을 가중치로하여, 상기 손실된 블록(10)에 이웃한 화소들(25,35,45,55)이 지시하는 값에 적용하여 손실된 화소를 복원한다.

전술한 본 발명의 에러복원방법에 따르면, 주변 블록의 상황을 고려하지 않고 획일적으로 손실된 블록의 화소들을 보간 함에 따라 발생하는 문제점들을 해소할 수 있다. 특히, 심각한 블러링 현상이 유발되는 문제와 화질이 저하 문제를 해결할 수 있다.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.

Claims

손실된 블록에 포함된 각각의 화소를 복원하는 방법에 있어서,

복원할 화소를 기준으로, 상기 손실된 블록의 경계영역에 이웃한 화소들과의 차분값을 연산하는 과정과,

연산된 상기 차분값에 기초하여, 상기 손실된 블록의 경계영역에 이웃한 각 블록에서 가장 적은 차분값을 갖는 화소인 최소경계화소를 각각 검출하는 과정과,

적어도 두 개의 최소경계화소를 이용하여 곡선 보간을 수행하는 과정을 포함함을 특징으로 하는 에러복원방법.
제1항에 있어서,

상기 적어도 두 개의 최소경계화소는

상기 최소경계화소 중 가장 적은 차분값을 갖는 두 개의 화소인 것을 특징으로 하는 에러복원방법.
제1항에 있어서,

상기 곡선 보간을 수행하는 과정은,

복원할 화소가 영상의 에지 영역을 포함하는지를 확인하는 과정과,

복원할 화소가 영상의 에지 영역을 포함하지 않는 경우에 대응하여, 상기 복원할 화소와 각각의 최소경계화소 사이의 거리를 연산하고, 연산된 각각의 상기 거리를 기준으로 곡선 보간을 수행하는 과정을 포함함을 특징으로 하는 에러복원방법.
제1항에 있어서,

상기 곡선 보간을 수행하는 과정은,

복원할 화소가 영상의 에지 영역을 포함하는지를 확인하는 과정과,

복원할 화소가 영상의 에지 영역을 포함하지 않는 경우에 대응하여, 상기 적어도 두 개의 최소경계화소 사이의 중점을 획득하는 과정과,

곡선 보간의 가중치 결정을 위해 채택되는 함수의 수직 기준축을 상기 중점을 포함하는 수직축의 위치에 대응하여 이동시키고, 이동된 상기 수직 기준축에 기초하여 곡선 보간의 가중치를 결정하는 과정을 포함하는 것을 특징으로 하는 에러복원방법.
제1항 내지 제4항 중, 어느 한 항에 있어서,

상기 곡선 보간은 시그모이드(Sigmoid) 함수를 이용하는 시그모이드(Sigmoid) 보간인 것을 특징으로 하는 에러복원방법.
제5항에 있어서,

복원할 화소가 영상의 에지 영역을 포함하지 않는 경우에 대응하여 시그모이드(Sigmoid) 보간을 수행하는 과정은,

시그모이드 함수의 매개변수의 범위를 기준으로하여 상기 손실된 블록과 이웃한 블록의 경계영역에 포함된 화소와의 거리를 상기 매개변수에 매핑시키는 과정과,

매핑된 상기 매개변수를 이용하여 시그모이드 보간법에 기초한 연산을 수행하는 과정을 포함함을 특징으로 하는 에러복원방법.