KR100696451B1 - 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오프레임의 재압축 방법 및 그 장치 - Google Patents

Abstract

본 발명은 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임의 재압축 방법 및 그 장치에 관한 것으로, 하드웨어 복잡도를 크게 증가시키지 않으면서 높은 압축률을 얻기 위해 다운샘플링 방식과 최대-최소 양자화 방식을 결합하였고, 적합한 다운샘플링 방법의 채택과 고정길이 코드로 양자화하는 방식을 사용함으로써, 화질의 저하를 줄이면서 높은 압축률을 구현하여 하드웨어 면적 감소뿐만 아니라 역압축하는데 소요되는 시간을 단축시키는 효과가 있다.

비디오, 프레임, 압축, 재압축, 다운샘플링, 양자화

Description

다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임의 재압축 방법 및 그 장치{Method and apparatus for video frame recompression combining down-sampling and max-min quantizing mode}

도 1은 본 발명의 양자화 계수(코드)를 구하기 위한 방법을 보여주는 예시도이고,

도 2는 본 발명의 비디오 프레임 재압축기를 보여주는 블록도이고,

도 3은 본 발명의 다운샘플링부 동작을 보여주는 블록도이고,

도 4는 본 발명의 비디오 프레임 재압축 데이터스트림을 보여주는 구성도이고,

도 5는 본 발명의 비디오 프레임 역압축기를 보여주는 블록도이고,

도 6은 본 발명의 업샘플링부 동작을 보여주는 블록도이다.

<도면의 주요 부분에 대한 부호의 설명>

10 : 다운샘플링부 20 : 분석부

30 : 양자화부 40 : 통합부

50 : 업샘플링부 60 : 헤더처리부

70 : 역양자화부

본 발명은 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임의 재압축 방법 및 그 장치에 관한 것으로, 보다 상세하게는 비디오 부호화/복호화기를 하드웨어로 구현함에 있어서 영상의 화질에 미치는 영향을 최소화하면서 필요한 메모리의 크기를 줄이는 방법과 그 구현 장치에 관한 것이다.

통상 MPEG(Motion Picture Experts Group)과 같은 비디오 압축 표준 기술은 높은 압축률을 얻기 위해 현재 영상과 과거 영상 사이의 차이만을 압축하므로, 이러한 표준 기술을 이용하여 영상을 부호화/복호화하기 위해서는 과거 프레임을 메모리에 보관하고 있어야 한다. 그런데, 동영상 처리 시스템의 메모리를 늘리는 데는 비용 등 일정한 한계가 있어, 비디오 프레임의 재압축으로 필요한 메모리의 크기를 줄이기 위한 방향으로 연구되어 왔다.

비디오 프레임 재압축의 이점은 단순히 상기와 같이 필요한 메모리의 크기를 줄여 그에 따른 동영상 처리 시스템의 가격을 낮추는 것에만 있는 것이 아니라 높은 압축률로 프레임 메모리의 크기를 줄일 수 있다면, 칩 내부의 메모리로 구현할 수 있게 되어 외부 메모리를 없애서 시스템 전체의 크기를 줄일 수 있고, 그에 따른 제조비용뿐 아니라 설계에 소요되는 기간 및 비용도 줄일 수 있다는 데에 있다.

한편, 비디오 프레임 재압축은 하나의 특정 프레임을 압축한다는 점에 있어 서는 JPEG과 같은 스틸 이미지 압축 기술과 유사하나, 표준 비디오 압축 기술의 부호화/복호화 과정을 지원해야하기 때문에 보다 많은 제약이 따르게 된다. 즉, 표준 비디오 압축 기술을 따르는 부호화/복호화기는 프레임 메모리의 임의 위치에서 다양한 크기의 픽셀(pixel)을 읽어가기 때문에 원하는 위치에 해당하는 메모리 어드레스를 쉽게 계산할 수 있어야 하고(이점에 있어서 읽는 순서가 정해져 있는 스틸 이미지 압축과 다름), 정해진 시간 내에 프레임의 복호화를 마쳐야하기 때문에 비디오 프레임을 읽는데 걸리는 시간 또한 제한되어 있다.

상기와 같은 제약 사항들로 인해 비디오 프레임의 재압축은 블록 단위의 고정길이 압축이 되어야 한다. 그러나 고정길이 압축을 위해서는 손실압축이 불가피하다. 따라서 표준 비디오 압축 기술을 사용한 복호화기에서는 복호화된 프레임에 오류가 있을 경우, 이를 참조하여 복호화되는 다른 프레임에도 그 오류가 전파하게 되므로 손실압축에 의한 오류를 최소화하는 것이 중요하다.

그런데, 비디오 프레임 재압축을 위한 종래 기술은 크게 DCT(Discrete Cosine Transform)나 Hadamard Transform 등을 이용한 주파수 변환 방식과 다운샘플링 방식으로 나누어 볼 수 있다.

주파수 변환 방식은 일정한 크기의 블록에 대해 주파수 변환을 하고 그 결과로 나온 계수를 양자화하여 가변길이 압축하는 방식이다. 이 방식의 장점은 주관적으로 느끼는 화질이 좋다는 것에 있으나, 오류의 전파문제를 해결하지 못하고 이 방식을 구현하기 위한 하드웨어가 많이 필요하며, 재압축된 비디오 프레임을 해독하기 위해 걸리는 시간도 길어질 수 있다. 또한, 가변길이 압축을 사용해야 하므로 목표하는 블록의 길이보다 짧은 길이의 압축결과를 출력하는 양자화 단계를 찾는 과정이 필요하게 되어 하드웨어의 양과 지연 시간의 증가를 초래하게 되는 문제점도 있다.

한편, 다운샘플링 방식은 하드웨어가 구현이 간단하다는 장점이 있으나, 이미지 픽셀의 공간적 중복성을 최대한 이용하지 못하기 때문에 압축방식으로서는 비효율적이다. 따라서, 다운샘플링 방식만으로 높은 압축률의 비디오 프레임 압축을 구현하기 힘들다는 문제점이 있어 왔다.

또한, 영상의 한 블록에 분포하는 픽셀은 서로 비슷한 값을 가지는 경향이 있다는 성질을 이용하여 블록을 압축할 수 있다는 기술이 대한민국 공개특허 제2000-0057237호에 나와 있다. 그러나 상기 공개 기술은 예컨대 각 픽셀이 8비트로 표현되는 영상의 8x8 크기 블록에는 100과 200을 픽셀값으로 존재할 가능성이 매우 적고 오히려 픽셀의 최대값과 최소값의 차이가 64 이하일 가능성이 크므로 이를 이용하여 상기 픽셀은 6비트로 나타낼 수 있다는 것인데, 미리 정해진 7가지 범위(16, 32, 64, 96, 128, 192, 256)와 다수의 양자화 테이블 및 역양자화 테이블을 사용하여 부호화/복호화를 함으로써 픽셀 당 압축길이가 3, 4, 5 비트 등 가변적으로 되어 한 비트단위로 압축하고 복원해야하는 어려움(하드웨어 크기 증가 초래)이 생기고, 상기 테이블을 구현하기 위해서는 별도의 하드웨어 면적이 필요하다는 문제점이 있다.

본 발명은 상기한 문제점들을 해결하면서 높은 압축률을 얻기 위해 다운샘플링 방식과 양자화 방식을 결합한 새로운 비디오 프레임 재압축 방식과 이를 구현하기 위한 장치를 제공하는데 그 목적이 있다.

즉, 본 발명은 종래의 하드웨어 면적을 많이 차지하고 처리 시간이 오래 걸리는 주파수 변환 방식을 사용하지 않고, 상대적으로 간단한 다운샘플링 방식과 최대-최소 양자화 방식을 결합한 새로운 방식을 제공한다.

또한, 종래 대한민국 공개특허 제2000-0057237호에 기술된 최대-최소 양자화 방식에서 가변길이 코드를 사용함으로써 발생하는 시간지연과 하드웨어 증가를 막기 위해, 본 발명에서는 고정길이 코드를 사용하고 이를 효과적으로 부호화/복호화하기 위한 장치를 제공한다.

상기 목적을 달성하기 위하여, 본 발명은 특정 비디오 프레임을 소정의 단위블록들로 분할하고 상기 단위블록을 가져와서 압축하는 비디오 프레임 압축 방법에 있어서, 상기 단위블록을 다운샘플링 방식으로 압축하는 제 1 차 압축단계와; 상기 제 1 차 압축단계 결과로 선택된 픽셀들의 최대값과 최소값을 구하고 이를 이용하여 상기 선택된 각 픽셀을 양자화하는 제 2 차 압축단계와; 상기 제 2 차 압축단계 결과로 얻어진 각 픽셀의 양자화 계수를 역압축하기 위해 필요한 정보인 헤더와 통합하여 메모리로 전송하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 제 1 차 압축단계의 다운샘플링 방식은 가로방향 압축과 세로방 향 압축으로 각각 이루어지도록 한 것을 본 발명의 또 다른 특징으로 한다.

또한, 상기 제 2 차 압축단계는 상기 제 1 차 압축단계 결과로 선택된 픽셀들의 최대값과 최소값을 구하여 그 차이를 내는 단계와; 상기 최대값과 최소값의 차이가 큰 것을 기준으로 상기 제 1 차 압축단계의 다운샘플링 방식을 채택하는 단계와; 상기 채택된 다운샘플링 방식의 결과로 선택된 각 픽셀을 양자화하는 단계로 구성된 것을 본 발명의 또 다른 특징으로 한다.

또한, 상기 선택된 각 픽셀의 양자화는 상기 최대값과 최소값의 차이로부터 양자화 간격(step)을 얻고, 상기 각 픽셀값과 상기 최소값의 차이를 상기 양자화 간격(step)으로 나눈 것을 이진수로 바꾸어 고정길이 양자화 계수로 하는 것을 본 발명의 또 다른 특징으로 한다.

또한, 상기 단위블록은 8x8 정방형 픽셀 블록이고, 상기 고정길이는 4 비트인 것을 본 발명의 또 다른 특징으로 한다.

또한, 상기 양자화 간격(step)은 상기 최대값과 최소값의 차이에 1/16, 1/256 및 1/1024을 합하여 곱한 것임을 본 발명의 또 다른 특징으로 한다.

또한, 상기 헤더는 1비트의 다운샘플린 방향, 7비트의 상기 양자화 간격 및 8비트의 상기 최소값으로 순차 구성된 것을 본 발명의 또 다른 특징으로 한다.

또한, 특정 비디오 프레임을 소정의 단위블록들로 분할하고 상기 단위블록을 가져와서 압축하는 비디오 프레임 압축 장치에 있어서, 상기 단위블록을 가로 및 세로의 두 방향으로 압축하는 다운샘플링부와; 상기 다운샘플링부에서 출력되는 결과를 분석하여 상기 두 방향 중 최대값과 최소값의 차이가 크게 나는 방향으로 다 운샘플링된 것을 선택하게 하는 분석부와; 상기 분석부에 의하여 선택된 방향으로 다운샘플링된 각 픽셀을 양자화하여 재압축하는 양자화부와; 상기 양자화부에서 양자화된 재압축 데이터와 역압축하기 위한 헤더를 통합하여 메모리로 전송하는 통합부로 이루어진 재압축기를 포함하는 것을 본 발명의 또 다른 특징으로 한다.

또한, 상기 양자화부의 양자화는 상기 분석부에 의하여 선택된 방향으로 다운샘플링된 각 픽셀을 고정길이의 양자화 계수로 바꾸는 것을 본 발명의 또 다른 특징으로 한다.

또한, 상기 비디오 프레임 재압축 장치에 있어 상기 헤더는 1비트의 다운샘플링 방향, 7비트의 양자화 간격 및 8비트의 최소값으로 순차 구성된 것을 본 발명의 또 다른 특징으로 한다.

또한, 상기 비디오 프레임 재압축 장치에 있어 상기 헤더를 읽어서 다운샘플링 방향, 양자화 간격 및 최소값을 찾아내는 헤더처리부와; 상기 헤더처리부에서 얻은 정보를 바탕으로 상기 양자화된 재압축 데이터를 픽셀값으로 바꾸는 역양자화부와; 상기 역양자화부에서 얻은 픽셀값을 가지는 픽셀의 수를 상기 헤더처리부에서 얻은 소정의 방향으로 원래 크기로 늘리는 업샘플링부로 이루어진 역압축기를 더 포함하는 것을 본 발명의 또 다른 특징으로 한다.

이하, 본 발명을 당업자가 실시할 수 있도록 실시예를 들어 설명한다.

본 발명의 일 실시예는 75% 압축을 목표로 하였다. 이를 위하여 눈으로 볼 때 식별하기 힘든 높은 주파수 성분은 다운샘플링을 통해 먼저 50% 압축을 하고, 트랜스폼 방식(주파수 변환 방식)에 비해 적은 하드웨어로 구현이 가능한 픽셀 범위를 이용해 양자화하는 방식으로 다시 50%를 압축하여 최종 75%의 압축을 구현하였다. 실제로는 헤더를 포함하기 위해 3%가 증가 되었으므로 최종 실질압축률은 72%가 되었다.

본 발명의 실시예에서는 8x8 크기의 블록을 단위로 압축을 수행하였다. 함께 압축하는 픽셀의 수가 많을수록 압축에 있어서 유리하지만, 블록의 크기가 커질수록 메모리에서 읽어서 역압축해야 하는 양이 증가 되는 단점이 있다. 이는 비디오 부호화/복호화기가 프레임 버퍼에 읽어가는 픽셀들은 그 수와 크기가 정해져 있지 않아서 이를 지원하기 위해서는 필요한 픽셀이 포함된 모든 블록을 역압축해야 하기 때문이다. 이러한 이유로 종래 기술에서는 1x8 단위로 50% 재압축을 시도하는 경우도 있었다. 그러나, 본 발명의 실시예에서는 75%라는 높은 압축률을 구현하기 위해서 이보다 큰 8x8 단위 블록을 사용하였다. 이 크기의 블록을 사용하는 경우에도 재압축을 적용하지 않는 경우보다 메모리를 사용하는 양이 훨씬 더 줄어들었다. 또한, 외부메모리를 사용함에 있어서도 한번의 burst read에 해당 블록을 읽어올 수 있기 때문에 픽셀 단위로 읽을 경우에 필요한 빈번한 행 주소(RAS)와 열 주소(CAS) 세팅 시간을 줄일 수 있어서 그 이득이 더욱 커졌다.

상기 실시예의 75% 을 목표로 한 압축률은 일 실시예에 불과한 것이고, 하드웨어의 구성에 따라 50% 압축률 등 다양하게 구현 가능하다.

상기 실시예를 구현하기 위한 보다 구체적인 방법을 기술하면 다음과 같다.

본 발명에 의한 비디오 프레임 재압축 방법은 특정 비디오 프레임을 소정의 단위블록들로 분할하고 상기 단위블록을 가져와서 압축하는 통상의 비디오 프레임 압축 방법에 있어서, 상기 단위블록을 다운샘플링 방식으로 압축하는 제 1 차 압축단계와; 상기 제 1 차 압축단계 결과로 선택된 픽셀들의 최대값과 최소값을 구하고 이를 이용하여 상기 선택된 각 픽셀을 양자화하는 제 2 차 압축단계와; 상기 제 2 차 압축단계 결과로 얻어진 각 픽셀의 양자화 계수를 역압축하기 위해 필요한 정보인 헤더와 통합하여 메모리로 전송하는 단계를 포함하여 구현된다.

여기서, 제 1 차 압축단계의 다운샘플링 방식은 가로방향 압축과 세로방향 압축으로 각각 이루어지도록 하거나 또는 그렇게 하며, 제 2 차 압축단계는 상기 제 1 차 압축단계 결과로 선택된 픽셀들의 최대값과 최소값을 구하여 그 차이를 내는 단계와; 상기 최대값과 최소값의 차이가 큰 것을 기준으로 상기 제 1 차 압축단계의 다운샘플링 방식을 채택하는 단계와; 상기 채택된 다운샘플링 방식의 결과로 선택된 각 픽셀을 양자화하는 단계로 구성된 것으로 하고, 상기 선택된 각 픽셀의 양자화는 아래 <수식 1>과 같이 상기 최대값과 최소값의 차이로부터 양자화 간격(step)을 얻고, 아래 <수식 2>와 같이 상기 각 픽셀값과 상기 최소값의 차이를 상기 양자화 간격(step)으로 나눈 것을 이진수로 바꾸어 고정길이 양자화 계수(코드)로 할 수 있다.

<수식 1>

양자화 간격(step) = (최대값 - 최소값 + 1) / (2^{코드비트수} - 1)

<수식 2>

양자화 계수(코드) = [(픽셀값 - 최소값) / (양자화 간격)]₂

또한, 상기 단위블록은 8x8 정방형 픽셀 블록으로 하고, 상기 고정길이는 4 비트인 것으로 하여, 제 1 차 압축단계의 다운샘플링 방식으로 50% 압축을 하고, 제 2 차 압축단계에서 8 비트인 각 픽셀을 4비트 양자화 계수로 함으로써 50% 재압축하여 총 75% 압축률을 얻을 수 있다.

또한, 상기 양자화 간격(step)은 아래 <수식 3>과 같이 상기 최대값과 최소값의 차이에 1/16, 1/256 및 1/1024을 합하여 곱한 것으로 하여 <수식 1>에 의한 양자화 간격을 계산하기 위해 필요한 하드웨어의 면적을 줄일 수 있다.

<수식 3>

양자화 간격(step) = (최대값 - 최소값 + 1)x(1/16 + 1/256 + 1/1024)

즉, 고정길이 4비트로 코드화하기 위한 양자화 간격은 <수식 1>에 의하여 15로 나누어야 하는데, 이는 2의 거듭제곱이 아니기 때문에 시프트(shift)로 구현할 수 없고 일반 나눗셈기로 하여야 하므로 하드웨어 면적이 많이 필요한 문제가 있다. 따라서 본 발명에서는 15로 나누는 것 대신에 (1/15)과 근사한 (1/16 + 1/256 + 1/1024)를 곱함으로써 동일한 효과를 얻을 수도 있는데, 이럴 경우 (1/16), (1/256), (1/1024) 등은 2의 거듭제곱으로 나누는 것이므로 하위 비트를 버리는 것으로 구현되고 하드웨어적으로는 전선의 연결만으로 간단히 구현할 수 있어 결국, 상기 양자화 간격은 두 개의 덧셈기만으로도 용이하게 구현할 수 있다는 장점이 있 다.

한편, 상기 <수식 2>에 의한 양자화 계수(코드)는 상기 간편하게 구한 양자화 간격으로 나누어야 되는데, 이는 4개의 뺄셈기와 3개의 멀티플렉서로 구현할 수 있다. 상기 양자화 계수(코드)를 구하기 위한 보다 구체적인 방법은 도 1에 제시된 바와 같다. 도 1에서 b(0)가 최상위 비트로 되고, b(3)는 최하위 비트가 된다. 실제 계산되는 순서는 c0, d0, c1, d1, c2, d2의 순이며, 최종 결과인 b의 일부는 빨리 계산될 수도 있으나, 4비트가 모두 계산되어야 의미가 있으므로 마지막에 계산되도록 하는 것이 바람직하다. 위의 식에서 곱하기는 모두 2의 거듭제곱이므로 전선의 고정 연결 시프트(hard-wired shift) 만으로 구현이 되고, c0, c1, c2, (d2-step)와 '0'의 대소 비교는 뺄셈의 결과로 나오는 최상위 비트를 보면 알 수 있기 때문에 실제 하드웨어의 면적을 많이 차지하지는 않게 된다. 따라서, c0, c1, c2, b(3)를 구하기 위해서 4개의 뺄샘기와 d0, d1, d2를 구하기 위해서 3개의 멀티플렉서가 각각 사용된다.

마지막으로, 상기 헤더는 1비트의 다운샘플린 방향, 7비트의 상기 양자화 간격 및 8비트의 상기 최소값으로 순차 구성될 수 있다.

한편, 상기 실시예를 구현하기 위한 보다 구체적인 수단(장치)을 기술하면 다음과 같다.

본 발명에 의한 비디오 프레임 재압축 장치는 특정 비디오 프레임을 소정의 단위블록들로 분할하고 상기 단위블록을 가져와서 압축하는 통상의 비디오 프레임 압축 장치에 있어서, 상기 단위블록을 가로 및 세로의 두 방향으로 압축하는 다운샘플링부와; 상기 다운샘플링부에서 출력되는 결과를 분석하여 상기 두 방향 중 최대값과 최소값의 차이가 크게 나는 방향으로 다운샘플링된 것을 선택하게 하는 분석부와; 상기 분석부에 의하여 선택된 방향으로 다운샘플링된 각 픽셀을 양자화하여 재압축하는 양자화부와; 상기 양자화부에서 양자화된 재압축 데이터와 역압축하기 위한 헤더를 통합하여 메모리로 전송하는 통합부로 이루어진 재압축기를 포함하는 것으로 구현된다.

여기서, 양자화부의 양자화는 분석부에 의하여 선택된 방향으로 다운샘플링된 각 픽셀을 고정길이의 양자화 계수(코드)로 바꾸어 줌으로써, 종래의 가변길이 압축시 적합한 양자화 계수를 얻기 위해 필요한 하드웨어와 시간 지연의 문제를 해결할 수 있다.

물론, 여기서도 상기 헤더는 1비트의 다운샘플링 방향, 7비트의 양자화 간격 및 8비트의 최소값으로 순차 구성될 수 있다.

또한, 상기 비디오 프레임 재압축 장치에는 상기 헤더를 읽어서 다운샘플링 방향, 양자화 간격 및 최소값을 찾아내는 헤더처리부와; 상기 헤더처리부에서 얻은 정보를 바탕으로 상기 양자화된 재압축 데이터를 픽셀값으로 바꾸는 역양자화부와; 상기 역양자화부에서 얻은 픽셀값을 가지는 픽셀의 수를 상기 헤더처리부에서 얻은 소정의 방향으로 원래 크기로 늘리는 업샘플링부로 이루어진 역압축기를 더 포함하여 구현될 수 있다.

이하, 첨부된 도면을 참조하여 상기 실시예를 구현하기 위한 구성요소 및 구성요소간의 작용에 대하여 보다 상세히 설명한다.

먼저, 본 발명에 의한 비디오 프레임 재압축기는 도 2와 같이 크게 네 부분으로 이루어진다. 이는 저장할 픽셀 블록을 두 가지 방법(가로, 세로 두 방향)으로 다운샘플링하는 다운샘플링부(10), 상기 두 가지 방법의 다운샘플링 결과를 분석하여 한 가지를 선택하는 분석부(20), 선택된 다운샘플링의 결과를 양자화하는 양자화부(30), 그리고 상기 양자화 결과를 헤더와 함께 메모리에 쓰는 통합부(40)이다.

상기 다운샘플링부(10)의 동작은 도 3에서 보여주고 있다. 도 3에서 “-”연산자는 실선의 값에서 점선의 값을 빼는 것이며, “x5”는 좌측으로 2비트 시프트(shift) 연산한 값과 시프트(shift)하지 않은 값을 더해서 얻을 수 있고, “x1/2"나 "x1/8"의 연산은 우측으로 각각 1비트와 3비트 시프트(shift)하여 얻을 수 있다. 여기서 시프트(shift) 연산은 고정된 연결(hard-wiring)로 구현할 수 있으므로 실제 필요한 연산자는 가감산기뿐이다.

따라서, 본 발명에서 사용한 다운샘플링 방식은 하드웨어를 많이 사용하지 않으면서, 블록 압축에서 발생하는 블록킹 효과(blocking effect)를 줄이도록 설계될 수 있다. 또한, 도 3과 같이 한 사이클에 8개의 픽셀을 입력을 받아 4개의 픽셀을 출력하므로, 8사이클 동안 8x8 크기의 블록을 8x4 또는 4x8 크기로 다운샘플링 할 수 있다(50% 압축).

상기 다운샘플링은 8x4와 4x8, 두 가지 방법으로 이루어진다. 같은 압축률이라도 가로방향 압축이 세로방향 압축보다 화질면에서 유리한 경우가 있으며, 반대 인 경우도 있다. 따라서, 이 두 가지 방법 중 적합한 방법을 택하여 압축하는 방식은 한 가지 고정된 방법으로 압축하는 방식에 비해 유리하며, 그 차이는 이를 위해 필요한 하드웨어과 계산 시간에서 나타난다. 다만, 상기 두 가지 방법 중 적합한 방법을 선택하기 위한 분석부(20)가 추가로 필요하게 된다.

상기 다운샘플링 방법과 다른 방법, 예를 들어 6x6 크기로 다운샘플링하는 방법도 고려해볼 수 있다. 하지만 이를 위해서는 추가로 다운샘플링하는 장치가 필요하고 이 장치에서는 2차원적인 처리가 필요하며, 양자화 과정 또한 복잡해진다. 또한 6x6 다운샘플링을 선택가능한 방법에 추가하여 향상되는 성능은 크지 않으므로 이러한 하드웨어 추가를 정당화하지 못한다. 그러나, 불가능한 것은 아니므로 본 발명의 기술적 사상을 이용한 다운샘플링 방법은 상기와 같은 특정 방법에만 한정되는 것은 아니다. 다만, 본 발명의 바람직한 실시예로 상기에서 설명한 두 가지 방법의 다운샘플링을 분석하여 적합한 결과를 사용하는 방식을 택한다.

상기 분석부(20)는 위에서 설명한 다운샘플링부(10)에서 출력되는 결과를 분석하여 두 가지 다운샘플링 방법 중 유리한 방법을 판별한다. 본 발명은 고정된 길이로 압축을 하는 것이기 때문에, 압축에 의한 오류가 적은 쪽을 선택하여야 한다.

통상 영상의 압축에 의한 오류를 기계적으로 평가할 때는 압축을 했다 복원한 영상과 원래의 영상을 픽셀 단위로 값의 차이를 얻어 이를 제곱하여 합한 수를 비교한다. 이 수를 픽셀의 수로 나누어 제곱근을 계산한 것을 SAD(Standard Average Deviation)라고 하는데, 이 SAD가 적을수록 오류가 적은 것이다. 가로, 세로 다운샘플링(down-sampling)의 결과 비교에 이를 적용하기 위해서는 각각을 다시 업샘플링(up-sampling)하고 SAD를 계산하여 비교해야 한다. 그러나, 이런 방식으로 상기 SAD를 계산하는 것은 하드웨어적으로 부담이 클 뿐 아니라, 업샘플링부까지 분석부(20)에 포함하여야 하므로 이러한 방법으로 가로와 세로 방향을 결정하는 것은 비효율적이다. 따라서, 본 발명에서는 다운샘플링된 결과의 최대, 최소값의 범위가 큰 쪽을 적합한 쪽으로 선택한다.

본 발명이 상기와 같은 방식을 채택한 근거는 다운샘플링 과정은 저역필터과정(low-pass filtering)의 일종이기 때문에 주변의 값보다 크거나 작은 값은 그 정도가 줄어든다는 점, 이러한 주변 값보다 크거나 작은 정도가 적게 줄어드는 쪽이 최대, 최소 범위가 크고, 오류도 또한 적다는 점, 그리고 실제 시뮬레이션 결과 다운샘플링 방향을 선택할 때 최대, 최소값의 범위가 큰 쪽을 택하는 것이 상기 SAD를 계산하여 선택하는 방법에 비해서 거의 차이가 나지 않는다는 점에 기초한다.

또한, 상기 분석부(20)에서 계산한 최대값과 최소값은 양자화부(30)에서 사용되기 때문에, 하드웨어 효율면에서도 뛰어나다.

상기 다운샘플링부(10)와 분석부(20)가 정상적으로 동작하기 위해서는 도 2에 도시된 재압축기의 입력인 8x8 픽셀의 방향을 제어하는 제어기(도면에 미도시)가 필요하다. 이 제어기는 세 가지 상태를 가지는데, 첫 번째 상태에서는 8x8 픽셀을 가로 방향으로 읽어서 8사이클 동안 8픽셀씩 재압축기로 입력한다. 다음 상태에서는 8x8 픽셀을 세로방향으로 읽어서 8사이클 동안 8픽셀씩 재압축기로 입력한다. 마지막 상태에서는 분석부(20)에서 결정된 방향으로 8x8 픽셀을 읽어서 8사이클 동안 8픽셀씩 입력한다. 이를 위해 재압축기의 입력에 버퍼가 필요할 수 있으나, 이 버퍼의 구현에 대하여는 종래의 표준 비디오 부호화/복화기 구현과 관련하여 당업계에 널리 알려진 기술이므로 이에 대한 상세한 기재는 생략한다.

상기 양자화부(30)에서는 상기 제어기에 의하여 마지막 단계로 입력되어 다운샘플링한 픽셀을 픽셀 당 4비트씩 고정길이로 양자화한다. 종래에서는 양자화를 위해 가변길이압축을 사용하였는데, 이를 위해서는 적합한 양자화 계수를 얻기 위한 하드웨어와 시간 지연이 필요하였다. 이를 극복하기 위해 본 발명에서는 최대값과 최소값의 차이를 일정한 간격으로 양자화하는 방식을 채택하였다.

본 발명에 의하여 8개의 픽셀이 다운샘플링부(10)에서 4개의 픽셀로 압축이 되고, 다시 양자화부(30)에서 픽셀 당 8비트인 값을 4비트로 압축하여 최종 75%의 압축률을 얻게 된다.

양자화 계수(코드)를 얻는 구체적인 방법은 위에서 상세히 기술하였으므로 더 이상의 기재는 생략한다.

상기 통합부(40)에서는 상기 양자화부(30)에서 출력된 양자화 계수와 이를 역압축하기위해 필요한 헤더를 통합하여 메모리로 전송한다. 헤더에는 다운샘플링의 방향, 양자화 값들 사이의 간격, 그리고 최소값이 포함된다. 메모리로 전송되는 최종 데이터의 구성은 도 4와 같다.

상기에서 설명한 재압축기에 의해 압축된 비디오 프레임을 역압축하기 위한 장치는 도 5와 같이 세 부분으로 이루어진다. 헤더처리부(60)에서는 재압축된 데이터의 헤더 부분을 읽어서 다운샘플링된 방향과 양자화한 최소값, 양자화 값들 사이의 간격을 얻는다. 역양자화부(70)에서는 나머지 재압축된 데이터 부분을 헤더처리 부(60)에서 얻은 정보를 바탕으로 픽셀값으로 바꾼다. 업샘플링부(50)에서는 이 픽셀값들을 두 배로 업샘플링한다(도 6). 헤더처리부(60)에서 얻은 다운샘플링의 방향이 세로를 나타내는 경우 업샘플링되어 재구성된 블록은 가로와 세로가 바뀐 상태이므로 버퍼에 저장할 때 이를 바꾸어주어야 한다.

상기와 같은 방법으로 구성된 비디오 프레임 재압축기(도 2)와 역압축기(도 4)는 수행 시간에 있어서 비대칭적이다. 이는 비디오 부호화/복호화기의 비디오 프레임 버퍼에 대한 접근 특성을 반영한 것이다. 복호화기가 영상을 재구성하여 프레임 버퍼에 저장한 뒤에 다시 이를 읽는 것은 다음 프레임에서 해당 위치의 블록을 재구성할 때이며, 이는 통상 수천 사이클에 해당한다. 이 때문에 프레임 버퍼에 저장할 때에는 빠르게 처리할 필요가 없으므로, 수십 사이클의 수행시간을 갖는 재압축기(도 2)의 수행 시간이 길어지는 것은 전체 시스템의 성능에 전혀 영향을 주지 않는다.

이상 설명한 본 발명의 실시예는 본 발명의 기술적 사상을 표현하기 위한 한 방법에 불과하므로 당업자에 의하여 다양한 응용이 가능하며, 그 응용은 본 발명의 기술적 사상에 속함은 당연하다.

본 발명은 비디오 프레임을 재압축함에 있어서 다운샘플링 방식과 최대-최소 양자화 방식을 결합함으로써, 각 방식이 독립적으로 사용되는 경우 발생하는 영상의 중복성(redundancy)을 효과적으로 제거하지 못해 높은 압축률을 얻기 힘든 단점 을 극복하고, 압축원리가 서로 다른 두 방식을 결합하여 화질의 저하를 줄이면서 높은 압축률을 얻을 수 있는 효과가 있다.

또한, 본 발명에 의한 다운샘플링 방식은 고정된 하나의 방법이 아닌 여러 방법으로 수행하여 그 중 적합한 방법을 간단하며 효율적인 방식으로 판단하게 함으로써, 높은 압축률을 얻을 수 있고, 트랜스폼(주파수 변환) 방식을 사용하지 않아 하드웨어 면적을 줄이고 역압축하는데 소요되는 시간을 단축시키는 효과도 있다.

그리고, 본 발명에 의한 최대-최소 양자화 방식은 종래 대한민국 공개특허 제2000-0057237호에 기술된 최대-최소 양자화 방식과 달리 고정길이 코드를 사용함으로써, 시간지연과 하드웨어 증가 문제를 해결하였다.

결국, 본 발명에 의하여 칩 내부 메모리만으로 충분하여 외부메모리를 제거함으로써, 메모리 가격을 낮추는 것뿐만 아니라 시스템 전체의 크기와 복잡도를 크게 줄일 수 있는 효과가 있다.

Claims (11)

1. 특정 비디오 프레임을 소정의 단위블록들로 분할하고 상기 단위블록을 가져와서 압축하는 비디오 프레임 압축 방법에 있어서,

   상기 단위블록을 다운샘플링 방식으로 압축하는 제 1 차 압축단계와;

   상기 제 1 차 압축단계 결과로 선택된 픽셀들의 최대값과 최소값을 구하고 이를 이용하여 상기 선택된 각 픽셀을 양자화하는 제 2 차 압축단계와;

   상기 제 2 차 압축단계 결과로 얻어진 각 픽셀의 양자화 계수를 역압축하기 위해 필요한 정보인 헤더와 통합하여 메모리로 전송하는 단계를 포함하는 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 방법.
2. 제 1 항에 있어서,

   상기 제 1 차 압축단계의 다운샘플링 방식은 가로방향 압축과 세로방향 압축으로 이루어지는 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 방법.
3. 제 2 항에 있어서,

   상기 제 2 차 압축단계는,

   상기 제 1 차 압축단계 결과로 선택된 픽셀들의 최대값과 최소값을 구하여 그 차이를 내는 단계와;

   상기 최대값과 최소값의 차이가 큰 것을 기준으로 상기 제 1 차 압축단계의 다운샘플링 방식을 채택하는 단계와;

   상기 채택된 다운샘플링 방식의 결과로 선택된 각 픽셀을 양자화하는 단계로 구성된 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   상기 선택된 각 픽셀의 양자화는 상기 최대값과 최소값의 차이로부터 양자화 간격(step)을 얻고, 상기 각 픽셀값과 상기 최소값의 차이를 상기 양자화 간격(step)으로 나눈 것을 이진수로 바꾸어 고정길이 양자화 계수로 하는 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 방법.
5. 제 4 항에 있어서,

   상기 단위블록은 8x8 정방형 픽셀 블록이고, 상기 고정길이는 4 비트인 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 방법.
6. 제 5 항에 있어서,

   상기 양자화 간격(step)은 상기 최대값과 최소값의 차이에 1/16, 1/256 및 1/1024을 합하여 곱한 것임을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 방법.
7. 제 5 항에 있어서,

   상기 헤더는 1비트의 다운샘플링 방향, 7비트의 상기 양자화 간격 및 8비트의 상기 최소값으로 순차 구성된 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 방법.
8. 특정 비디오 프레임을 소정의 단위블록들로 분할하고 상기 단위블록을 가져와서 압축하는 비디오 프레임 압축 장치에 있어서,

   상기 단위블록을 가로 및 세로의 두 방향으로 압축하는 다운샘플링부와;

   상기 다운샘플링부에서 출력되는 결과를 분석하여 상기 두 방향 중 최대값과 최소값의 차이가 크게 나는 방향으로 다운샘플링된 것을 선택하게 하는 분석부와;

   상기 분석부에 의하여 선택된 방향으로 다운샘플링된 각 픽셀을 양자화하여 재압축하는 양자화부와;

   상기 양자화부에서 양자화된 재압축 데이터와 역압축하기 위한 헤더를 통합하여 메모리로 전송하는 통합부로 이루어진 재압축기를 포함하는 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 장치.
9. 제 8 항에 있어서,

   상기 양자화부의 양자화는 상기 분석부에 의하여 선택된 방향으로 다운샘플링된 각 픽셀을 고정길이의 양자화 계수로 바꾸는 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 장치.
10. 제 8 항 또는 제 9 항에 있어서,

    상기 헤더는 1비트의 다운샘플링 방향, 7비트의 양자화 간격 및 8비트의 최소값으로 순차 구성된 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 장치.
11. 제 10 항에 있어서,

    상기 헤더를 읽어서 다운샘플링 방향, 양자화 간격 및 최소값을 찾아내는 헤더처리부와;

    상기 헤더처리부에서 얻은 정보를 바탕으로 상기 양자화된 재압축 데이터를 픽셀값으로 바꾸는 역양자화부와;

    상기 역양자화부에서 얻은 픽셀값을 가지는 픽셀의 수를 상기 헤더처리부에 서 얻은 소정의 방향으로 원래 크기로 늘리는 업샘플링부로 이루어진 역압축기를 더 포함하는 것을 특징으로 하는 다운샘플링과 최대-최소 양자화 방식을 결합한 비디오 프레임 재압축 장치.

Images