KR100345286B1 - 동영상 부호화기 및 동영상 부호화 방법 - Google Patents

Abstract

본 발명은 전처리 필터링과 영상압축을 동시에 수행할 수 있는 영상압축 시스템의 동영상 부호화기 및 동영상 부호화 방법에 관한 것으로, 영상입력장치로부터 입력되는 원 영상블록과 움직임 보상된 차영상 블록의 변환계수에 가중치 행렬을 승산하여 전처리 필터링을 수행하고, 전처리 필터링 수행된 데이터를 양자화하여 화면내 상관관계에 따른 압축을 수행하는 제1단계와, 상기 영상 압축된 데이터를 역양자화 및 역변환 수행하여 화면내 상관관계에 따른 압축영상을 복원하는 제2단계와, 상기 복원된 영상데이터로부터 화면간 상관관계에 따른 압축을 수행하여 움직임 보상된 영상블록을 출력하는 제3단계와, 상기 복원된 영상데이터를 부호의 발생확률의 편중에 따른 압축을 수행하여 전송하는 제4단계로 이루어짐을 특징으로 한다.

Description

동영상 부호화기 및 동영상 부호화 방법{MOVING PICTURE ENCODER AND MOVING PICTURE ENCODING METHOD}

본 발명은 동영상 부호화기에 관한 것으로, 특히 전처리 필터링과 영상압축을 동시에 수행할 수 있는 동영상 부호화기 및 동영상 부호화 방법에 관한 것이다.

최근 MPEG-1, MPEG-2, H.263과 같은 블록기반의 동영상 압축기들은 동영상 정보를 저장하거나 전송하기 위해 널리 사용되고 있다. 이러한 동영상 압축기들은 동영상에 내재하는 중복적인 정보를 제거해 줌으로써 좋은 압축 효율을 얻게 된다.

DCT(Discrete Cosine Transform), 움직임 보상, 가변 부호화는 각각 공간적, 시간적, 통계적 중복성을 제거해 줌으로써 부호화 효율을 높여 주는 효과적인 도구들로 알려져 있다. 동영상은 공간적, 시간적으로 연관성이 매우 높으므로, 이러한 도구들은 동영상의 압축효율을 크게 높이는 역할을 한다. 그러나 실질적인 동영상 부호화기에 있어서 카메라로부터 입력된 잡음성분은 그 불규칙성으로 인해 영상의 화질 뿐만 아니라 부호화 효율을 저하시킨다. 따라서 잡음이 있는 영상이나 동영상을 부호화할때는 영상의 화질과 부호화 효율을 개선하기 위해 전처리 필터링을 적용하는 것이 일반적이다. 이에 대한 기술은 O.K. Al-Shaykh and R.M. Mersereau, "Lossy compression of noisy images," IEEE Trans. Image Processing, vol.7 no.12 pp. 1641-1652, Dec.1998과 N. Vasconcelos and R. Dufaux, "Pre and post-filtering for low bit-rate video coding, "Proc. Int. conf. Image Processing, vol. 1, pp. 291-294, Santa Barbara, California, Oct.1997에 기재되어 있다.

동영상에서의 잡음제거 기법들은 많이 연구되고 있는 실정이다. 그중에서도, 공간영역의 적응적 위너 필터링과 움직임 보상을 이용한 시-공간적 필터링이 동영상에서 좋은 잡음 제거성능을 보인다. 이에 대한 참고문헌으로서, J. S. Lim, Two-Dimensional Signal and Image Processing, Prentice-Hall, 1990과 K.J. Boo and N.K.Bose, "A motion-compensated spatio-temporal filter for image sequences with signal-dependent noise," IEEE Trans. Circuits Syst. Video Technol., vol.8, no. 3, pp.287-298, June 1998.을 들 수 있다.

그러나 상기 필터링 방식들은 전처리 필터링을 가진 동영상 압축 시스템 전체를 최적화하는 입장에서보다 잡음제거 필터링 그 자체적으로 연구되어 왔다. 이것은 잡음제거과정을 동영상 압축과는 독립적인 과정으로 생각해 왔기 때문이다. 따라서 전처리 과정을 동영상 압축에 접목하기 위해서 전처리 필터링과 동영상 압축기를 순차적으로 실행시키는 방식이 일반적이었으나, 이러한 순차적인 실행방식에서는 추가적인 전처리 과정으로 인해 연산량이 증가되는 문제점이 있으며, 연산량 증가로 인해 잡음 제거 및 영상압축 소요시간이 지연되는 문제점이 있었다.

따라서 본 발명의 목적은 영상입력수단으로부터 입력되는 잡음을 제거하여 부호화율을 높여 주는 전처리 필터링을 영상 부호화 과정중에 만들어지는 DCT 계수들에 승산함으로써 전처리 필터링에 따른 계산량을 줄일 수 있는 동영상 부호화기와 동영상 부호화 방법을 제공함에 있다.

도 1은 평균값이 0이 아닌 영상데이터를 위한 근사화된 일반화 위너 필터링 블록도.

도 2는 평균값이 0이 아닌 영상 데이터에 대한 근사화된 일반화 위너 필터링의 DCT영역 표현도.

도 3은 본 발명의 실시예에 따른 인트라 블록 부호화 과정을 설명하기 위한 도면.

도 4는 본 발명의 실시예에 따른 인터블록 부호화 과정을 설명하기 위한 도면.

도 5는 본 발명의 실시예에 따른 스케일화 DCT 최적화 블록도.

도 6은 본 발명의 실시예에 따른 지그재그 스캔 순서도.

상기 목적을 달성하기 위한 본 발명은 영상입력장치로부터 입력되는 원 영상블록과 움직임 보상된 차영상 블록의 변환계수에 가중치 행렬을 승산하여 전처리 필터링을 수행하고, 전처리 필터링 수행된 데이터를 양자화하여 화면내 상관관계에 따른 압축을 수행하는 제1 영상 압축부와,

상기 영상 압축부의 출력 데이터를 역양자화 및 역변환 수행하여 화면내 상관관계에 따른 압축영상을 복원하는 영상복원부와,

상기 영상복원부의 출력 데이터로부터 화면간 상관관계에 따른 압축을 수행하여 움직임 보상된 영상블록을 상기 제1 영상 압축부로 출력하는 제2 영상 압축부로 구성함을 특징으로 한다.

또한 본 발명은 영상 압축시스템의 동영상 부호화 방법에 있어서,

영상입력장치로부터 입력되는 원 영상블록과 움직임 보상된 차영상 블록의 변환계수에 가중치 행렬을 승산하여 전처리 필터링을 수행하고, 전처리 필터링 수행된 데이터를 양자화하여 화면내 상관관계에 따른 압축을 수행하는 제1단계와,

상기 영상 압축된 데이터를 역양자화 및 역변환 수행하여 화면내 상관관계에 따른 압축영상을 복원하는 제2단계와,

상기 복원된 영상데이터로부터 화면간 상관관계에 따른 압축을 수행하여 움직임 보상된 영상블록을 출력하는 제3단계와,

상기 복원된 영상데이터를 부호의 발생확률의 편중에 따른 압축을 수행하여 전송하는 제4단계로 이루어짐을 특징으로 한다.

이하 첨부 도면을 참조하여 본 발명의 실시예에 따른 동영상 부호화기의 구성 및 동작을 설명하기로 한다.

우선 일반화 위너 필터링은 DCT와 같은 빠른 유니터리 변환(unitary transform)을 이용해서 근사적으로 위너 필터를 구현하는 하나의 효과적인 방법이다. 도 1은 평균값이 0이 아닌 영상데이터를 위한 근사화된 일반화 위너 필터링(generalized Wiener filtering) 블록도를 도시한 것이다. 도 1에서 v, w,는 각각 관측된 잡음이 있는 영상블록, 원하는 영상 블록, 필터링된 영상블록을 나타내는 행방향 열벡터들로 정의한다. v는 대개 평균값이 0이 아닌 영상 데이터이므로 관측된 데이터로부터 평균값을 추정()하여 감산(z)한 후에 필터링을 적용한다. 그리고 추정된 평균치()가 필터링된 데이터()에 가산되어 필터링된 영상블록()으로 출력된다. 여기서는 각각 평균값, 평균값이 감산된 관측 데이터, 평균값이 감산된 원하는 데이터, 평균값이 감산되어 필터링된 데이터를 나타내는 행방향 열벡터들이다. 블러(blur)가 없을 경우, 일반화 위너 필터링은 평균값이 0인 영상 모델에 대해서 하기 수학식 1과 같이 기술된다.

상기 수학식 1에서 ,,이고,은 잡음 분산(noise variance)을 의미한다. A는 하나의 유니터리 변환이다. 본 발명의 실시예에서이고, 여기서과는 각각 8 ×8 DCT행렬과 크로네커 곱 연산(Kronecker product operator)을 의미한다. 많은 유니터리 변환에서은 근사적으로 대각화가 되기 때문에 상기 수학식 1은 하기 수학식 2와 같이 근사화될 수 있다.

상기 수학식 2에서이다. 8 ×8 블록에 상기 수학식 2를 대응시키면 하기 수학식 3을 얻을 수 있다.

상기 수학식 3에서은 하기 수학식 4로 정의할 수 있다.

상기 수학식 4에서은의 대각선에 놓이는 정규화된 요소값 들이고,은 대개 z의 분산에서 잡음분산을 뺀 값으로 추정된다. 상기 수학식 3에 나타나 있듯이 평균값이 0인 영상모델에 있어서 근사화된 일반화 위너 필터링은 실제적으로는 이차원 DCT 계수들을로 곱하는 것임을 알 수 있다. 일단 필터링 데이터이 얻어지면 최종적인 필터링 영상블록은 추정된 평균치과 필터링 데이터을 가산하여 얻어낸다.

한편 도 1에 도시한 평균값이 0이 아닌 영상에 대한 근사화된 일반화 위너 필터링의 블록도는의 제한조건하에서 DCT영역에서 도 2와 같이 도시될 수 있다. 이러한 제한조건은 평균값 데이터의 DCT 계수값들은 잡음이 있는 관측된 데이터의 DCT 계수값들에 어떤 가중치 행렬 S(k,l)을 승산함으로서 얻어진다는 것을 의미한다. 이러한 가정과 상기 수학식 3으로부터, 필터링된 영상데이터는 DCT영역에서 하기 수학식 5와 같이 표현된다.

상기 수학식 5에서 F(k,l)은 하기 수학식 6으로 표현된다.

즉, 상기 수학식 5로부터 전체 필터링 과정이 F(k,l)과 하나의 곱 연산으로 단일화됨을 볼 수 있다. 상기 수학식 6에서 F(k,l)은 신호대 잡음비, 공분산 추정치, 평균값 추정방법에 의존한다.

따라서 남은 작업은 평균값 추정을 위한 S(k,l)을 찾는 것이다. 본 발명의 실시예에서는 DCT영역에서의 가정을 만족하는 두가지 종류의을 선택하는 것으로 한다. 가장 간단하고 효과적인 선택은 평균값 블록으로서 하기 수학식 7과 같이 8 ×8 블록의 DC값을 사용하는 것이며,

또 하나의 S(k,l)은 평균값 블록이 관측된 블록과 하기 수학식 8과 같이 5 ×5 평탄화 커널과의 콘볼루션을 통해 얻어진다고 가정함으로서 얻어진다.

콘볼루션 과정에서 8 ×8 블록 바깥쪽에 있는 픽셀들에 대해서는 경계 픽셀들이 거울에 비친 듯 존재한다고 가정한다. 상기 수학식 8의 콘볼루션 커널은 세퍼러블(seperable)한 형태를 가지므로 이러한 평탄화 과정은 하기 수학식 9와 같이 행렬형태로 표현될 수 있다.

상기 수학식 9에서 h는 하기 수학식 10으로 표현된다.

상기 수학식 9를 DCT영역에서 다시 정리하면 하기 수학식 11을 얻을 수 있다.

상기 수학식 11에서,,

상기 수학식 8에 대한 평탄화 커넬에 있어서 H는 대각선 행렬이 되고 상기 수학식 11은 하기 수학식 12와 같이 간략하게 표현된다.

상기 수학식 12에서 S(k,l)은 또한 하기 수학식 13과 같이 표현될 수 있다.

즉, 본 발명에서는 일반적인 근사화된 일반화 위너 필터링을 기본적으로 이용하지만, 평균값이 0이 아닌 영상 데이터에 대해서도의 제한 조건하에서 기존의 근사화된 일반화 위너 필터링이 DCT영역에서 도 2에 도시한 바와 같이 변환된 계수에 대한 곱 연산으로 수행될 수 있다.

상기 설명에서는 평균값이 0이 아닌 영상 데이터에 대해서도 근사화된 일반화 위너 필터링이 변환된 계수에 대한 곱 연산으로 수행될 수 있음을 설명하였다.

이하 DCT 계수에 대한 곱 연산만으로 전처리 필터링과 영상 부호화 과정이 동영상 부호화기 내부에서 처리되는 과정을 설명하기로 한다.

우선 도 3은 본 발명의 실시예에 따른 인트라 블록 부호화 과정을 설명하기위한 도면으로서, 인트라 블록들에 대한 전체적인 부호화 과정을 보여 준다. 도 3의 (a)는 전처리 필터링과 부호화과정을 단순히 연결시킨 일반적인 방법을 도시한 것이고, (b)는 (a)의 전처리 필터링 부분을 도 2의 블록으로 치환했을때를 도시한 것이며, (c)는 상기 (b)의 블록도를 정리했을 때 간결화된 인트라 블록 부호화 과정을 도시한 것이다. 우선 도 3의 (a)에 도시되어 있는 전처리 필터링 과정을 도 3의 (b)에 도시된 동영상 부호화기에 결합시킬 때, 인트라 블록 처리에 있어서 위너 필터링에 사용되는 IDCT가 동영상 부호화기에 있는 DCT에 의해 상쇄된다(이것은 DCT가 근사화된 일반화 위너 필터링을 위한 유니터리 변환으로 선택되었다는 가정에 기반을 둔 것이다). 이것은 근사화된 일반화 위너 필터링이 동영상 압축기에 결합될 때 도 3의 (c)에 도시한 바와 같이 한번의 DCT 연산만이 필요하다는 것을 의미한다.

도 3에서 설명한 개념은 입력잡음이 움직임 보상 데이터 p(m,n)에 남아 있지 않다는 가정하에서 인터블록의 처리에도 유효하다. 따라서 일반적인 동영상 압축기의 전체적인 구조는 변환계수들이 F(k,l)이라는 가중치 행렬에 의해 곱해진다는 사실을 제외하고는 그대로 유지된다.

도 4는 본 발명의 실시예에 따른 동영상 부호화기를 도시한 것으로, 인터블록 부호화 과정을 설명하기 위한 도면이다. 일반적으로 공분산은 인트라 및 인터블록들에 대해 다르게 얻어지므로 수학식 6에서 F(k,l) 역시 해당 블록의 모드선택에 의존한다. 도 4를 참조하면, 본 발명의 실시예에 따른 동영상 부호화기는 크게 제1 영상 압축부, 영상복원부, 제2 영상 압축부 및 가변장 부호부로 구성된다.

상기 제1 영상 압축부는 가산기, DCT블록, 승산기 및 양자화부로 구성되어 영상입력장치(도시하지 않았음)로부터 입력되는 원 영상블록[v(m,n)]과 움직임 보상[p(m,n)]된 차영상 블록[e(m,n)]의 변환계수에 가중치 행렬[F(k,l)]을 승산하여 전처리 필터링을 수행하고, 전처리 필터링 수행된 데이터를 양자화하여 화면내 상관관계에 따른 압축을 수행한다. 한편 영상복원부는 역양자화부(IQ) 및 역변환부(IDCT)로 구성되어 상기 영상 압축부의 출력 데이터를 역양자화 및 역변환 수행하여 화면내 상관관계에 따른 압축영상을 복원한다.

한편 제2 영상 복원부는 메모리와 움직임 보상부(MC:Motion Compensation) 및 ME(Motion Estimation)로 구성되어 상기 영상복원부의 출력 데이터로부터 화면간 상관관계에 따른 압축을 수행하여 움직임 보상된 영상블록을 상기 제1 영상 압축부로 출력한다.

이하 도 5의 구성을 참조하여 전처리 필터링과 스케일화 DCT와의 결합을 설명하면,

스케일화 DCT는 잘 알려진 고속 DCT 알고리즘으로 DCT를 핵심 연산부, 승산부, 위치 재배열부로 분해한다. 근사화된 일반화 위너 필터링이 변화 계수들에 대한 곱하기 연산으로 수행되기 때문에 필터링을 위한 곱하기 연산과 DCT 자체를 위한 곱하기 연산을 묶어서 보다 최적화할 수 있다. 또한 위치 재배열부는 지그재그 스캔순서를 적절히 조작함으로써 흡수될 수 있다. 스케일화 DCT에 따르면 8 ×8 DCT 행렬은 하기 수학식 14와 같이 분해되며 수학식 14의 각 엘리먼트는 수학식 15와 같이 표현된다.

상기 수학식 14에서이며,

,

,

,,

,,

상기 수학식 15에서이고,,은 각각 핵심연산부,승산부, 위치 재배열부를 의미한다.은의 결과에 곱하기 연산을 가하고 그 결과의 위치를 재조정하는 것으로 쉽게 구현된다. 한편 상기 수학식 14는 하기 수학식 16과 같이 이차원 DCT로 확장될 수 있다.

따라서은연산후의 이차원 곱하기 연산과 위치 재조정 연산으로 구현된다. 이는 곧 도 5에 도시한 것처럼 스케일화 DCT에 내재하는 곱하기 성분와 전처리 필터링을 위한 곱하기 성분 F(k',l')은 하나의 통일된 곱하기 성분 H(k',l')으로 표시될 수 있다. 여기서 (k',l')은 (k.l)을 대신해서 사용되었다. 이것은 스케일화 DCT에서의 연산이 끝난 후에도 여전히 위치 재조정부의 연산은 남아 있기 때문이다. 하지만 위치 재조정부는 단지 변환계수의 절대적인 위치를 바꾸는 것이므로, 이러한 위치 재조정 연산은 가변장부호화(VLC)의 지그재그 스캔 연산과 합쳐질 수 있다. VLC는 스케일화 DCT의 위치 재조정과 유사한 지그재그 스캔 과정을 필요로 한다. 따라서 만약 위치 재조정과정이 도 6의 (a)에서 처럼 원래의 지그재그 스캔 순서에 반영된다면 변형된 지그재그 스캔 순서는 도 6의 (b)와 같이 유도된다. 요약해 보면 필터링을 위한 H(k',l')은 하기 수학식 17과 같이 정리될 수 있다.

상기 수학식 17에서이고,은이다. 이때은 스케일화 DCT에서의 연산이 끝난 직후의 변환 계수들을 의미한다. 그리고및 이들과 연관된 연산들은 고정된 값을 가지기 때문에 사전에 미리 계산하여 메모리에 저장하여 사용하면 되므로 계산량의 증가는 그리 크지 않다.

따라서 본 발명은 도 4에 도시한 바와 같이 영상 부호화 과정중에 만들어지는 DCT 계수들에 적절한 가중치 행렬을 승산함으로써 일반적인 동영상 부호화기의 구성은 그대로 유지하면서 전처리 필터링과 영상압축을 동시에 수행할 수 있게 되는 것이며, 스케일화 DCT를 사용하는 경우에도 도 5에 도시한 바와 같이 스케일화 DCT에 내재하는 제1승산계수(D(k',l'))를 상기 가중치 행렬과 승산하여 전처리 필터링을 수행하고, 전처리 필터링 수행된 데이터를 양자화함으로써 영상압축전의 전처리 필터링으로 인한 계산량의 부하를 경감시킬 수 있게 되는 것이다.

상술한 바와 같이 본 발명은 영상 부호화 과정중에 만들어지는 DCT 계수들에 적절한 값들을 곱함으로써 전처리 필터링으로 인한 계산량은 줄이고, 일반적인 동영상 부호화기의 구조는 그대로 유지하면서 필터링과 영상압축을 동시에 수행할 수 있는 이점이 있다.

Claims (6)

1. 동영상 부호화기에 있어서,

   영상입력장치로부터 입력되는 원 영상블록과 움직임 보상된 차영상 블록의 변환계수에 가중치 행렬을 승산하여 전처리 필터링을 수행하고, 전처리 필터링 수행된 데이터를 양자화하여 화면내 상관관계에 따른 압축을 수행하는 제1 영상 압축부와,

   상기 영상 압축부의 출력 데이터를 역양자화 및 역변환 수행하여 화면내 상관관계에 따른 압축영상을 복원하는 영상복원부와,

   상기 영상복원부의 출력 데이터로부터 화면간 상관관계에 따른 압축을 수행하여 움직임 보상된 영상블록을 상기 제1 영상 압축부로 출력하는 제2 영상 압축부로 구성함을 특징으로 하는 동영상 부호화기.
2. 제1항에 있어서, 상기 제1 영상 압축부는 상기 원 영상 블록의 평균값을 추정하여 이를 원 영상 블록에서 감산한후 영상압축을 수행함을 특징으로 하는 동영상 부호화기.
3. 제1항에 있어서, 상기 제1 영상 압축부가 스케일화 이산여현변환을 수행하여영상을 압축하는 경우, 상기 제1 영상 압축부는 스케일화 DCT에 내재하는 제1승산계수(D(k',l'))를 상기 가중치 행렬과 승산하여 전처리 필터링을 수행하고, 전처리 필터링 수행된 데이터를 양자화하여 영상을 압축함을 특징으로 하는 동영상 부호화기.
4. 제2항에 있어서, 상기 원 영상 블록의 평균값 추정은;

   평균값 데이터의 DCT계수값들은 잡음이 입력영상데이터의 DCT계수값들에 임의의 가중치 행렬을 승산하여 얻어진다는 가정하에 수행함으로서 평균값이 "0"이 아닌 영상에 대한 필터링도 변환영역에서의 곱하기 연산만으로 필터링 가능함을 특징으로 하는 동영상 부호화기.
5. 제1항에 있어서, 상기 제1 영상 압축부가 스케일화 이산여현변환을 수행하여 영상을 압축하는 경우, 아래와 같은 순서로 지그재그 스캔을 수행하여 영상을 압축함을 특징으로 하는 동영상 부호화기.
6. 영상 압축시스템의 동영상 부호화 방법에 있어서,

   영상입력장치로부터 입력되는 원 영상블록과 움직임 보상된 차영상 블록의 변환계수에 가중치 행렬을 승산하여 전처리 필터링을 수행하고, 전처리 필터링 수행된 데이터를 양자화하여 화면내 상관관계에 따른 압축을 수행하는 제1단계와,

   상기 영상 압축된 데이터를 역양자화 및 역변환 수행하여 화면내 상관관계에 따른 압축영상을 복원하는 제2단계와,

   상기 복원된 영상데이터로부터 화면간 상관관계에 따른 압축을 수행하여 움직임 보상된 영상블록을 출력하는 제3단계와,

   상기 복원된 영상데이터를 부호의 발생확률의 편중에 따른 압축을 수행하여 전송하는 제4단계로 이루어짐을 특징으로 하는 동영상 부호화 방법.