KR0129579B1 - 전처리 필터를 이용한 영상 부호화기 - Google Patents

Abstract

본 발명은 영상의 전처리시에 이용되는 이동성분을 부호화시에 이용함으로서 부호화율을 높이고 화질을 개선할 수 있도록한 전처리 필터를 이용한 영상 부호화기에 관한 것으로서, 입력되는 영상신호를 전처리 필터를 통해 필터링하고, 이 필터링된 영상신호의 현재 프레임에 대해 이전 프레임에 기초하여 움직임 추정, 보상을 실행하는 수단과, 이 움직임 추정된 신호를 이산 코사인 변환 및 양자화수단을 통해 압축 부호화하는 영상 부호화기에 있어서, 전처리 필터는 필터링시에 블록 매칭 알고리즘을 이용하여 영상의 이동벡터를 추정하며, 움직임 추정, 보상수단은 전처리 필터로 부터의 이동벡터에 의거하여 영상의 움직임을 추정하도록 함으로서, 영상 신호의 부호화율이 높아질 뿐만 아니라 최종적으로 복원되는 영상의 화질개선을 도모한 것이다.

Description

전처리 필터를 이용한 영상 부호화기

본 발명은 영상신호를 부호화하는 장치에 관한 것으로, 특히 영상신호의 부호화에 앞서 화질의 열화방지를 위해 시간축 방향의 잡음을 제거하는 전처리 필터를 사용하는 영상 부호화기에 관한 것이다.

통상적으로, 고선명 텔레비젼, 영상전화기 등에서와 같이 영상신호를 디지탈 신호로 전송하고자 하는 경우, 이에 수반되는 방대한 데이터량을 저감시키기 위하여 고율의 데이터 압축 방법을 사용하여 전송하고자 하는 디지탈 데이터를 압축,즉 부호화하여 전송하게 된다.

이와 같은 영상신호의 부호화에 있어서, 실질적으로 중요한 것은 전송하고자하는 데이터량을 줄이는데 있다고 볼 수 있다. 따라서, 효율적인 부호화를 위하여 영상 데이터가 갖는 공간적,시간적인 중복성을 이용하여 부호화를 행하고 있으며, 이산 코사인 변환(Discrete Cosine Transform : 이하 DCT 라 약칭함) 등의 변환 부호화를 이용하여 영상 데이터의 공간적인 중복성을 제거하고, 움직임 보상 차분 부호화를 이용하여 영상 데이터의 시간적인 중복성을 제거함으로서 효율적인 부호화를 행하게 된다.

한편, 상기와 같이 영상신호를 압축 부호화하는데 있어서, 일반적으로 최종 복원되는 화질의 열화방지를 위해 전처리 필터를 사용하여 시간축 방향의 잡음을 제거하며, 시간축 잡음제거는 픽셀간의 가중된 평균이 주로 이용된다. 이러한 종래의 전처리 필터의 일예로서는 Eric Dubob 가 제안한,제 3 도에 도시된 바와같은 형태를 갖는 이동 보상 시간 필터가 있다.

제 3 도에 도시된 바와같이, 감산기(31), 비선형 로직(32), 승산기(33), 가산기(34), 움직임 추정부(35) 및 예측부(36)를 포함하는 종래의 이동 보상 시간 필터는 아래와 같은 수식을 근거로 하여 영상신호의 전처리를 수행한다.

α : 0-1 의 가중치

g(x,t) : 필터링된 값

f(x,t) : 입력 데이터

g'(x,t) : 추정된 필터링된 값 (t-T)

d(x,t) : t 에서 t-T 간의 이동벡터

상기 수식 1의 의미는 필터링된 값과 입력값을 가중평균 하되 이동벡터 방향의 픽셀과 현재 입력값을 이용한다는 것이다. 이때 이동벡터가 잘못 구해지는 경우 비선형 로직(32)에 의해 α값이 조절 됨으로서, 화질이 왜곡되는 현상을 줄인다.

또한, 제 3 도에서 각각의 값들은 아래와 같은 수식의 조건을 충족한다.

상기한 수식 2에서 통상적으로 Pb = 3, Pe = 10, αb = 0.1 - 0.2, αe = 1 을 갖는다.

한편, 제 3 도에 도시된 바와같은 종래의 시간 필터에 구비되는 움직임 추정부(35)는 각 화소 단위로 인접 화소를 이용하여 순환적으로 움직임 벡터를 추정하는 화소 순환 알고니즘(Pelrecursive Algorithm : 이하 PRA 라 약칭함)을 이용한다.

따라서, 종래의 전형적인 영상 부호화 장치는 상술한 바와같은 시간 필터를 이용하여 영상신호의 전처리를 수행함으로서 시간축 방향의 잡음을 제거함으로써, 수신측의 복호화 장치에서 최종적으로 복원되는 영상의 화질열화를 방지한다.

본 발명은 시간축 방향의 잡음제거를 위해 이용되는 전처리 필터의 필터링시에, 상술한 종래기술에서와 같이 PRA를 이용하지 않고, 이전 프레임의 블록들을 한화소씩 이동하면서 현재 프레임의 지정된 블록과 가장 비슷한 블록을 찾아가는 방식인 블록 매칭 알고니즘(Block Matching Algorithm : 이하 BMA 라 약칭함)을 이용하며, 여기에서 추정되는 움직임 벡터를 영상의 압축부호화시에 활용하고자 한 것이다.

따라서, 본 발명의 목적은 시간축 방향의 잡음성분 제거를 위한 입력 영상의 전처리시에 블록 매칭 알고니즘을 이용하여 필터링을 수행하고, 여기에서 생성되는 움직임 벡터를 시간축상의 상관성을 고려한 영상 부호화의 움직임 추정시에 적응적으로 이용함으로써 고정밀한 움직임 추정을 실현할 수 있는 전처리 필터를 이용한 영상 부호화기를 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명은, 전처리 필터링을 통해 입력 영상의 시간축상에 존재하는 잡음 성분을 제거하는 수단, 잡음 성분이 제거된 현재 프레임의 N × N 현재 블록과 재구성된 이전 프레임의 P×P 탐색영역내 다수의 N×N 후보 블록간의 움직임 추정을 통해 움직임 벡터 세트들을 생성하고 이 생성된 움직임 벡터 세트들에 의거하여 예측 프레임을 생성하는 수단, 상기 현재 프레임과 생성된 예측 프레임간의 차분값인 에러신호를 이산 코사인 변환 및 양자화하는 부호화 수단을 포함하는 전처리 필터를 이용한 영상 부호화기에 있어서, 상기 전처리 필터링 수단은, 현재 입력 영상과 이전 입력 영상간의 N×N 블록 단위 매칭 알고니즘을 이용하여 입력 영상의 시간축상에 존재하는 잡음 성분을 제거하고, 전처리 필터링시에 각각 추츨된 N×N 현재 블록들의 제 1 움직임 벡터 세트들을 상기 예측 프레임 생성 수단으로 제공하며, 상기 예측 프레임 생성 수단은, 상기 현재 프레임의 N×N 현재 블록과 상기 재구성된 이전 프레임의 P×P 탐색 영역내 다수의 N×N 후보 블록간의 움직임 추정을 통해 상기 N×N 현재 블록에 대한 제 2 움직임 벡터를 추출하며, 상기 전처리 필터링 수단으로부터 제공되는 상기 N×N 현재 블록의 제 1 움직임 벡터와 상기 N×N 현재 블록의 추출된 제 2 움직임 벡터를 비교하여 그 중 하나를 상기 N×N 현재 블록의 최종 움직임 벡터로 결정하는 것을 특징으로 하는 전처리 필터를 이용한 영상 부호화기를 제공한다.

제 1도는 본 발명의 바람직한 실시예에 따른 전처리 필터를 이용한 영상 부호화기의 블록구성도.

제 2도는 본 발명에 따른 영상 부호화기에 채용되는 전처리 필터의 구성도.

제 3도는 통상의 전형적인 전처리 필터의 블록구성도.

* 도면의 주요부분에 대한 부호의 설명

10 : 전처리 필터 11,20.70 : 감산기

12 : 비선형 로직 13 : 승산기

14 : 가산기 15 : 프레임 지연부

16.90 : 움직임 추정부 17 : 예측부

30 : DCT부 40 : 양자화부

50 : 역DCT부 60 : 역양자화부

80 : 프레임 메모리

본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

제 1 도는 본 발명의 바람직한 실시예에 따른 전처리 필터를 이용한 영상 부호화기의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 본 발명의 영상 부호화기는 전처리부(10), 감산기(20), DCT부(30), 양자화부(40), 역 DCT QN(50), 역양자화부(60), 가산기(70), 프레임 메모리(80) 및 움직임 추정부(90)를 포함한다.

제 1 도를 참조하면, 전처리부(10)는 수신측(즉, 복호화기)에서 복원되는 영상의 화질열화를 방지하기 위하여 블록 매칭 알고니즘에 의거하는 필터링을 통해 입력 영상신호에 대한 시간축 방향의 잡음을 제거한다.

즉, 본 발명에 이용되는 전처리 필터내의 움직임 추정부(16)는, 제 2 도로 부터 알 수 있는 바와같이, 현재 프레임의 블록(예를들면, 8×8 블록, 16×16 블록 등)들이 프레임 지연부(15)로부터 제공되는 이전 프레임의 탐색영역(예를들면, 16×16 영역, 32×32 영역 등)내에서 어느 방향으로 얼마 만큼 움직였는지를 추정, 즉 탐색 영역내 다수의 후보 블록중 그 오차값이 최소인 최적 블록을 결정하여 현재 블록과 결정된 최적 블록간의 변위값을 움직임 벡터로써 추정하며, 이와같이 추정된 움직임 벡터값은 시간축 방향의 잡음 제거를 위해 예측부(17)로 제공되고, 또한 시간축상의 상관성을 고려한 영상 부호화의 움직임 추정에 적응적으로 이용할 수 있도

록 제 1도의 움직임 추정부(90)로 각각 제공된다.

한편, 상기한 바와같이 본 발명에 따라 영상의 전처리시에 BMA를 이용하는 경우 전술한 종래기술에서와 같이 PRA를 이용하는 것보다 에러가 늘어나는 경향이 있어 전술한 수식 2의 특성이 적합하지 않을 수도 있으나, 이는 Pb, Pe, αb, αe 등의 변수를 적절히 조절함으로서 그대로 이용할 수 있다. 즉, 제 3 도에 도시된 바와같은 구조를 갖는 종래의 전처리 필터를 제 2 도에 도시된 본 발명의 전처리 필터 구조로 전환함으로서 실현할 수 있다. 다시말해, 제 1 도로 부터 명백한 바와같이, 제 2 도에 도시된 전처리 필터(제 1도의 전처리부(10))로 부터의 출력(g) 과 움직임이 벡터를 영상 부호화기의 입력 데이터로 이용할 수 있다.

먼저, 감산기(20)에서는 전처리부(10)로부터 제공되는 현재 프레임 신호로 부터 후술하는 움직임 추정부(90)로부터 제공되는 예측 프레임 신호를 감산하며, 그 결과 데이터, 즉 차분화소값을 나타내는 에러신호는 DCT부(30) 및 양자화부(40)를 통해 주파수영역의 변환계수로 변환되고 양자화되므로써 일련의 양자화된 DCT 변환계수로 변환된다. 이때, 제 1 도에서의 도시는 생략되었으나, 양자화부(40)에서의 DCT 변환계수에 대한 양자화는 도시 생략된 출력측 전송 버퍼로 부터 제공되는 데이터 충만상태 정보에 따라 결정되는 양자화 파라메터에 의거하여 그 스텝 사이즈가 조절된다.

한편, 양자화부(40)에서 출력되는 양자화된 DCT 변환계수들은 도시 생략된 엔트로피 부호화기와 역DCT부(50)로 각각 보내진다. 여기에서, 엔트로피 부호화기는 양자화된 DCT 변환계수들은 후술되는 움직임 추정부(90)로부터 제공되는 움직임 벡터 세트들과 함께, 예를들면 가변길이 기법 등을 통해 부호화된 다음 원격지 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다.

다른한편, 역DCT부(50) 및 역양자화부(60)에서는 이산 코사인 변환 및 양자화의 역과정을 통해 양자화된 DCT 변환계수들을 변환전의 원신호, 즉 에러신호로 복원하며, 여기에서 복원된 에러신호는 가산기(70)의 일측으로 제공된다.

다음에, 가산기(70)에서는 역양자화부(60)로부터 제공되는 복원된 프레임 신호(즉, 에러신호)와 후술되는 움직임 추정부(90)로부터 제공되는 예측 프레임 신호를 가산하여 재구성된 이전 프레임 신호는 프레임 메모리(80)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신되는 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위해 하기에 기술되는 움직임 추정부(90)로 제공된다.

한편, 움직임 추정부(90)에는 시간축 방향의 잡음 성분 제거를 위해 얻어지는 움직임 벡터(이하 제 1 움직임 벡터라 함), 전처리부로부터의 현재 프레임 신호 및 프레임 메모리(80)로 부터의 이전 프레임 신호가 각각 제공되는 데, 움직임 추정부(90)는 이들 입력신호들에 의거하여 현재 프레임의 각 N×N 현재 블록(예를들면, 8×8 또는 16×16 블록)에 대한 움직임 벡터를 각각 추출하고, 이 추출된 움직임 벡터들을 이용하여 예측 프레임 신호를 생성한다. 이때, 생성되는 예측 프레임 신호는 전술한 감산기(20) 및 가산기(70)로 각각 제공되며, 추출된 최종 움직임 벡터 세트들은 전송을 위해 도시 생략된 엔트로피 부호화기로 제공된다.

즉, 움직임 추정부(90)에서는 전술한 전처리부(10)로부터 제공되는 현재 프레임 신호와 상기한 프레임 메모리(80)로 부터 제공되는 재구성된 이전 프레임 신호에 기초하여 블록 매칭 알고리즘을 이용해 재구성된 이전 프레임의 기설정 P×P탐색 범위(예를들면, 16×16 또는 32×32 탐색범위)에서 소정의 N×N 블록(예를들면, 8×8 또는 16×16 블록)단위로 움직임을 추정하여 각 N×N 의 현재 블록들에 대한 움직임 벡터(이하 제 2 움직임 벡터라 함)를 각각 추출한다.

그런다음, 움직임 추정부(90)는 전처리부(10)에서 제공된 N×N 현재 블록에 대한 제 1 움직임 벡터와 현재 블록에 대한 제 2 움직임 벡터를 비교하며, 그 비교결과에 따라 결정되는 두 움직임 벡터중 하나를 N×N 현재 블록의 최종 움직임 벡터로 결정한다.

즉, 움직임 추정부(90)에서 새롭게 추출되는 제 2 움직임 벡터는 부호화에 다시 복호화하여 재구성한 이전 프레임 신호를 이용하기 때문에, 부호화 및 복호화 과정을 거치지 않는 이전 프레임을 이용하여 추출하는 전처리부(10)에서의 제 1 움직임 벡터보다 그 정밀도가 떨어지는 데, 이러한 점을 고려하여 본 발명의 움직임 추정부(90)에서는 제 1 및 제 2 움직임 벡터중 보다 적합한 움직임 벡터를 해당 현재 블록의 최종 움직임 벡터로 선택한다.

따라서, 본 발명에서는 이러한 움직임 벡터 적응 선택 기법을 통해 보다 고정밀한 움직임 추정을 가능하게 함으로써, 영상 부호화의 효율 개선은 물론 재생 영상에서의 화질개선 효과를 얻을 수 있다.

한편, 상기와는 달리, 움직임 추정부(90)는 전처리부(10)로부터 제공되는 N×N 현재 블록에 대한 제 1 움직임 벡터와 새롭게 추출된 제 2 움직임 벡터를 비교하여 그중 어느 하나를 N×N 현재 블록의 최종 움직임 벡터로 선택하는 것이 아니라 전처리부(10)에서 제공되는 제 1 움직임 벡터를 그대로 사용하도록 할 수도 있다.

상기한 경우에도 부호화기의 움직임 추정에 필요한 연산과정을 대폭적으로 줄일 수 있을 뿐만 아니라 하드웨어 구조를 보다 간소하게 실현할 수 있는 또 다른 효과를 얻을 수 있을 것이다.

이상 설명한 바와같이 본 발명에 따르면, 부호화전에 영상의 시간축상의 잡음 성분을 제거하는 전처리 필터링을 수행할 때 기존과는 달리 블록 매칭 알고니즘을 이용하고, 영상의 시간축상의 상관성을 고려한 부호화시에 전처리 필터링을 수행할 때 추출된 움직임 벡터를 이용하여 적응적으로 움직임 추정을 수행하도록 함으로써, 입력 영상의 부호화 효율을 대폭적으로 개선할 수 있을 뿐만 아니라 수신측 재생 영상에서의 대폭적인 화질개선 효과를 얻을 수 있다.

Claims (1)

1. 전처리 필터링을 통해 입력 영상의 시간축상에서 존재하는 잡음 성분을 제거하는 수단, 잡음 성분이 제거된 현재 프레임의 N×N 현재 블록과 재구성된 이전 프레임의 P×P 탐색영역내 다수의 N×N 후보 블록간의 움직임 추정을 통해 움직임 벡터 세트들을 생성하고 이 생성된 움직임 벡터 세트들에 의거하여 예측 프레임을 생성하는 수단, 상기 현재 프레임과 생성된 예측 프레임간의 차분값인 에러신호를 이산 코사인 변환 및 양자화하는 부호화 수단을 포함하는 전처리 필터를 이용한 영상 부호화기에 있어서,상기 전처리 필터링 수단은,현재 입력 영상과 이전 입력 영상간의 N×N블록 단위 매칭 알고니즘을 이용하여 입력 영상의 시간축상에 존재하는 잡음 성분을 제거하고, 전처리 필터링시에 각각 추출된 N×N 현재 블록들의 제 1 움직임 벡터 세트들을 상기 예측 프레임 생성 수단으로 제공하며,상기 예측 프레임 생성 수단은,상기 현재 프레임의 N×N 현재 블록과 상기 재구성된 이전 프레임의 P×P 탐색영역내 다수의 N×N 현재 블록에 대한 제 2 움직임 벡터를 추출하며, 상기 전처리 필터링 수단으로부터 제공되는 상기 N×N 현재 블록의 제 1 움직임 벡터와 상기 N×N 현재 블록의 최종 움직임 벡터로 결정하는 것을 특징으로 하는 전처리 필터를 이용한 영상 부호화기.