KR20040092522A - 차영상을 사용한 동영상 압축 및 복원 시스템 - Google Patents

Abstract

본 발명은 실시간 영상전송을 위한 영상압축 및 복원에 관한 것으로, 특히 차영상을 이용하여 처리시간과 처리용량에 이득을 갖도록 한 차영상을 사용한 동영상 압축 및 복원 시스템에 관한 것이다.

종래의 차영상을 이용하는 방식은 각각의 JPEG 영상을 디코딩(Decoding)한 다음 두 영상 픽셀(Pixel)의 RGB값을 비교하여 차영상을 만들어 내도록 하였으므로 각 픽셀에 대한 정보를 일일이 비교하면서 두 영상의 차영상을 구한 후 차이 영상과 데이터를 전송하는 데에 따른 처리의 지연이 따르게 되었다.

본 발명의 DCT 영역에서의 차이영상을 구하는 방식을 채택하도록 하여 실시간으로 JPEG 영상 스트림(Stream)이 들어올 때 이전영상과 다음영상의 차이부분에 대한 정보만 얻어내고 그 정보를 엔코딩(Encoding)하는 부분에서 이용하여 원 영상을 만들어내는 방식으로 처리시간과 처리용량을 줄이고 통신속도를 높이는 효과를 갖는다.

Description

차영상을 사용한 동영상 압축 및 복원 시스템{Animation compression and restoration system that use difference video signal}

본 발명은 차영상을 사용한 동영상 압축 및 복원 시스템에 관한 것으로, 특히 영상들이 가지고 있는 시간적 중첩성을 이용하여 이전영상과 다음영상의 비교를 DCT 영역에서 각 8x8 블록별로 실행하도록 하여 두 영상의 차이를 계산하여 저장한 후 얻어진 영상에러와 다른-비트맵(diff-bitmap)을 이용하여 변화된 부분의계수(coefficient) 정보만 전송하도록 함으로써 종래 차영상을 구하는 방법에서 불필요한 디코딩(Decoding) 과정을 최소한으로 줄이면서 많은 처리시간을 소요되는 단점을 해결하도록 한 차영상을 사용한 동영상 압축 및 복원 시스템에 관한 것이다.

최근에는 컴퓨터에 관련된 여러 기술이 급격한 발전을 이루면서 취급하는 데이터의 양이 급격하게 늘어나고 있다. 그 중에서도 상당한 용량을 차지하는 영상데이터의 원활한 전송을 위해 여러 가지 압축기술과 전송방식이 나오고 있으며 최근의 여러 카메라들은 영상의 실시간 전송을 위해서 영상의 압축부분을 하드웨어적으로 처리하는 경향이 늘고 있다.

종래의 영상 부호화 방법의 국제규격으로서 정지영상의 부호화/복호화 규격인 JPEG(Joint Photographic Coding ExpertsGroup), 동영상의 부호화/복호화 규격인 MPEG(Moving Picture Experts Group), 또 저전송율 비디오 표준안인 H.261,H.263등이 제시되고 있으며, 그 외에 화소단위로 웨이브렛 변환을 이용한 여러 가지 방식이 소개되었다.

이때, 국제 규격의 영상 부호화 방법은 입력 디지탈 영상신호를 DCT 변환하고 양자화한 다음, 양자화된 영상신호를 복원하여 원 영상 신호와의 오차를 검출하고 그 움직임을 추정하여 양자화 스텝을 제어함으로써 원하는 비트율을 확보하고 있다.

다음의 도 1은 JPEG의 전체적인 구성 블록도로서, DCT(Discrete Cosine Transform)을 이용하여 영상 정보를 압축 및 신장하는 방식을 도시한 것이다.

여기서 상단은 JPEG 엔코더의 과정이고, 하단은 JPEG 디코더의 과정을 나타낸다.

즉, JPEG 엔코더에서의 과정을 먼저 살펴보면, 입력 영상(Source Image)은 8 ×8 또는 다른 적당한 크기의 블록으로 분할된 후 옵셋(offset)이 더해지는 가산기(101)를 통해 DCT(102)로 입력되어 각각의 블록에 대한 DCT(Discrete Cosine Transform)가 수행되도록 한다.

즉, 각 블록의 영상을 공간 영역으로부터 주파수 영역으로 변환한다. 이때, 한 블록에 대해 DCT를 수행한 결과는 그 블록의 화소 특성에 따라 DC 성분과 AC 성분의 주파수로 분리된다.

상기의 분리된 저주파의 DC 성분과 고주파의 AC 성분을 전달받는 양자화부(103)에서는 고주파 영역(AC 성분)보다는 저주파 영역(DC 성분)에 많은 정보를 포함하고 있다는 점을 이용하여 양자화를 수행한다.

상기 양자화에는 양자화 테이블 즉, 가중치 매트릭스(weighting matrix)와 양자화 스케일 코드(quantizer-scale-code)가 이용된다. 여기서, 상기 가중치 매트릭스는 각 DCT 계수의 가중치를 나타내고, 양자화 스케일 코드는 양자화 스텝을 결정한다.

이때, 양자화를 수행한 결과는 양자화 테이블에 따라 어느 정도 이상의 고주파 성분은 제거하고 저주파 성분만을 취함으로써 압축의 효과를 얻을 수 있다.

즉, DC 성분은 DPCM(Differential Pulse Code Modulation)의 과정(104)에 의해 양자화하고, AC 성분은 지그재그 스캔(zig-zag scan)의 과정(105)에 의해 양자화되도록 한다.

그리고 나서, DC 성분의 인자들은 전송되는 순으로 앞블록 DC 성분의 인자와 차를 구하여 전송하게 된다. 즉, 이러한 양자화를 거친 정보는 가변 길이 코더(Variable Word Length Coder ; VWL Coder)(106)에서 호프만 코드(Huffman Code)를 적용하여 자주 나오는 값은 적은 수의 비트로, 드물게 나오는 값은 많은 수의 비트로 할당하여 전체 비트 수를 줄인 후 전송라인(Transmission Line)(107)을 통해 전송한다.

따라서, JPEG 디코더의 가변 길이 디코더(VWL Decoder)(108)는 상기 VWL 코딩(Coding)된 신호를 수신하여 가변 길이 디코딩한 후 역양자화부(111)에서 다시 DC 성분은 DPCM의 과정(109)에 의해 역양자화를 수행되도록 하는 한편, AC 성분은 지그재그 스캔(110)의 과정에 의해 역양자화를 수행하도록 한다.

그리고 역양자화된 데이터는 IDCT(112)에서 IDCT에 의해 공간적 화소값들로 변환한 후 가산기(113)에서 옵셋(offset)과 더하여 디코딩 이미지로 출력되도록 한다.

이때, JPEG이 가지고 있는 문제점으로는, 높은 압축율로 압축을 하였을 때 블록 단위로 DCT를 수행하여 엔코딩 과정을 거쳤기 때문에 블록간의 블록화 현상이 현저히 나타나게 된다. 또한, 고주파 성분의 인자를 많이 제거함으로써 영상의 모서리(edge) 부분의 정보를 잃어버리게 되어 영상이 전체적으로 흐리게 되는 문제점이 있었다.

또한 가산기(101)부터 VWL Coder(106)까지의 과정에 의해 JPEG 압축이 이루어지므로 비교하기를 원하는 두개의 영상은 VWL Decoder)(108)부터 가산기(113)까지의 완전한 디코딩(Decoding) 과정을 거친 후 각 픽셀에 대해 RGB 정보를 비교해서 두 영상의 차영상을 구하고 그 차영상과 데이터를 전송해야만 한다.

하지만 이 각각의 영상에 대해 차영상을 구하는 많은 과정에서 많은 처리시간이 요구되며 각각의 영상의 비교하는 과정에서 픽셀(Pixel) 별로 비교를 하면 각 픽셀에 관한 정보를 비교해야 하므로 많은 처리시간이 소요된다.

예를 들어 640x480의 JPEG이미지를 처리할 경우 하나의 Pixel이 3개의 요소(RGB)를 가진다고 할 때 912,600(640 x 480 x 3)번의 비교가 이루어지게 되어 소요시간이 많아지는 문제점이 있었다.

이에, 본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로써, 영상들이 가지고 있는 시간적 중첩성을 이용하여 이전영상과 다음영상의 비교를 DCT 영역에서 각 8x8 블록별로 실행하도록 하여 두 영상의 차이를 계산하여 저장한 후 얻어진 영상에러와 다른-비트맵(diff-bitmap)을 이용하여 변화된 부분의 계수(coefficient) 정보만 전송하도록 함으로써 종래 차영상을 구하는 방법에서 불필요한 디코딩(Decoding) 과정을 최소한으로 줄이면서 많은 처리시간을 소요되는 단점을 해결하도록 한 차영상을 사용한 동영상 압축 및 복원 시스템을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명에 따른 차영상을 사용한 동영상 압축 및 복원 시스템은 JPEG 이미지를 입력으로 받아들여서 JPEG에 대한 기본정보와 계수를 읽어내는 JPEG 파일 스캐너와,

두 영상의 차영상을 구해서 차이 비트맵을 계산하는 차이 비트맵 계산부와,

두 영상의 차영상에 대한 차이 비트맵 정보를 기억하였다가 출력하는 비트맵 버퍼와,

서로 다른 부분의 계수 정보를 저장하였다가 엔코딩된 비트 스트림으로 출력하는 계수 파일과,

상기 계수 파일을 통해 출력되는 엔코딩된 비트 스트림을 비롯한 차영상에서 쓰이는 전 영상에 대한 정보를 저장하였다가 상기의 차이 비트맵 계산부에 출력하는 메모리들로 엔코더를 구성하는 한편,

비트 스트림에서 비트맵 정보와 계수 정보를 받아 기존의 JPEG에서 변화된 부분의 계수를 원상태로 변화시키는 재구축 JPEG와,

기존영상의 JPEG 파일정보를 저장하였다가 출력하는 인포 메모리들로 구성됨을 특징으로 한다.

도 1은 종래 JPEG의 전체적인 구성을 나타낸 블록도.

도 2는 본 발명 디코더의 구성을 나타낸 블록도,

도 3은 본 발명 엔코더의 구성을 나타낸 블록도,

* 도면의 주요부분에 대한 부호의 설명 *

1 : JPEG 파일 스캐너 2 : 감산기

3 : 차이 비트맵 계산부 4 : 비트맵 버퍼

5 : 계수 파일 6 : 메모리

11 : 재구축 JPEG 12 : 인포 메모리

이하, 본 발명을 첨부한 예시도면을 참조하여 상세히 설명한다.

도 2는 엔코더(Encoder)의 구성을 도시한 것으로서,

JPEG 이미지를 입력으로 받아들여서 JPEG에 대한 기본정보와 계수(Coefficient)를 읽어내는 JPEG 파일 스캐너(File-Scanner)(1)와,

두 영상의 차영상을 구하는 감산기(2)를 통하여 JEPG 이미지를 전달받아 이전의 영상과 차이 비트맵(Diff-Bitmap)을 계산하는 차이 비트맵 계산부(CalculateDiff-Bitmap)(3)와,

두 영상의 차영상에 대한 차이 비트맵(Diff-Bitmap) 정보를 기억하였다가 출력하는 비트맵 버퍼(Bitmap Buffer)(4)와,

서로 다른 부분의 계수(Coefficient) 정보를 저장하였다가 엔코딩된 비트 스트림으로 출력하는 계수 파일(Making Diff-Coeff-File)(5)과,

상기 계수 파일(5)을 통해 출력되는 엔코딩된 비트 스트림을 비롯한 차영상에서 쓰이는 전 영상에 대한 정보를 저장하였다가 상기의 감산기(2)에 출력하는 메모리(JPEG Info Memory)(6)들로 구성한 것이다.

도 3은 디코더(Decoder)의 구성을 도시한 것으로서,

비트 스트림(Bit-Stream)에서 비트맵 정보와 계수(Coefficient) 정보를 받아 기존의 JPEG에서 변화된 부분의 계수(Coefficient)를 원상태로 변화시켜 복원된 데이터를 출력하는 재구축 JPEG(Reconstruct JPEG)(11)와,

기존영상의 JPEG 파일정보를 저장하였다가 상기의 재구축 JPEG(11)로 출력하는 인포 메모리(JPEG Info Memory)(12)들로 구성한 것이다.

이와 같이 구성한 본 발명의 차영상을 사용한 동영상 압축 및 복원 시스템은 압축된 JPEG 파일을 전부 디코딩(Decoding)하지 않고 원래의 JPEG파일에서 일부 필요한 정보를 읽어 들여 계수(Coefficient)의 DC 성분과 3개의 AC 성분을 비교하도록 한 것으로서,

JPEG 이미지를 입력으로 받아들인 JPEG 파일 스캐너(File-Scanner)(1)에서 JPEG에 대한 기본정보와 계수(Coefficient)를 읽어내도록 한다.

즉, 원래의 JPEG파일에서 일부 필요한 정보를 읽어 들여 JPEG 파일 스캐너(1)에서 계수(Coefficient)의 DC 성분과 3개의 AC 성분을 읽어내도록 한다.

JPEG 파일 스캐너(File-Scanner)(1)에서 JPEG에 대한 기본정보와 계수(Coefficient)를 포함하는 JPEG 이미지를 감산기(2)를 통하여 전달받는 차이 비트맵 계산부(3)에서 이전 화면과 지금 화면의 두 영상을 비교한 차영상을 구해서 차이 비트맵(Diff-Bitmap)을 계산하도록 한다.

상기의 차이 비트맵 계산부(3)에서 두 영상을 비교할 경우 움직임이 있는 부분만 일정한 TH(Thread-Hold) 이상의 수를 가지고 나머지 움직임이 없는 부분은 거의 0의 값을 지니도록 한다.

상기의 TH를 결정하는 방법은 시간적 중복성을 이용하기 위해 각 파일의 블록에 대해서 영상의 차이값을 누적하여 상기의 비트맵 버퍼(3)에 저장한 값을 이용하며, 또 공간적 중복성을 이용하기 위해 한 화면에서 그 블록이 속하는 근접영역(좌, 우, 상, 하의 4영역)에서의 평균값을 같이 이용하도록 한다.

상기 차이 비트맵 계산부(3)에서 구한 두 영상의 차영상에 대한 차이 비트맵(Diff-Bitmap) 정보는 비트맵 버퍼(Bitmap Buffer)(4)에 기억하였다가 출력하도록 한다.

그리고 상기 두 영상의 서로 다른 부분의 차이 비트맵(Diff-Bitmap)과 계수(Coefficient) 정보는 계수 파일(Making Diff-Coeff-File)(5)에 저장하였다가 정해진 형태의 엔코딩된 비트 스트림으로 출력하도록 한다.

상기 계수 파일(5)을 통해 출력되는 엔코딩된 비트 스트림을 비롯한 차영상에서 쓰이는 전 영상에 대한 정보를 메모리(JPEG Info Memory)(6)에 저장하였다가 상기의 감산기(2)에 출력하도록 함으로써 다음 화면의 영상과의 차이 비트를 효율적으로 계산할 수 있도록 한다.

상기의 엔코딩 과정에 의하여 압축된 비트 스트림을 전달받은 디코더의 재구축 JPEG(Reconstruct JPEG)(11)에서는 상기의 비트 스트림(Bit-Stream)에 포함된 차이 비트맵(Diff-Bitmap)과 계수(Coefficient) 정보를 얻어서 원래의 JPEG 파일에서 변화된 부분만 원상태로 변화시키도록 한다.

이상 기술한 바와 같이 본 발명의 차영상을 사용한 동영상 압축 및 복원 시스템에 의하여서는 엔코더에서 차이 영상에 대한 비트맵과 계수 정보를 구하는 방식을 채택하도록 하여 실시간으로 JPEG 영상 스트림이 들어올 때 이전영상과 다음영상의 차이부분에 대한 비트맵과 계수 정보만 얻어내어 전송하고, 디코더에서는 그 정보를 엔코딩하는 부분에서 이용하여 원 영상을 만들어내는 방식으로 처리시간과 처리용량을 줄이고 통신속도를 높이는 효과를 갖도록 한 것이다.

Claims (1)

1. JPEG 이미지를 입력으로 받아들여서 JPEG에 대한 기본정보와 계수를 읽어내는 JPEG 파일 스캐너(1)와,

   두 영상의 차영상을 구하는 감산기(2)를 통하여 JEPG 이미지를 전달받아 이전의 영상과 차이 비트맵을 계산하는 차이 비트맵 계산부(3)와,

   두 영상의 차영상에 대한 차이 비트맵 정보를 기억하였다가 출력하는 비트맵 버퍼(4)와,

   서로 다른 부분의 계수 정보를 저장하였다가 엔코딩된 비트 스트림으로 출력하는 계수 파일(5)과,

   상기 계수 파일(5)을 통해 출력되는 엔코딩된 비트 스트림을 비롯한 차영상에서 쓰이는 전 영상에 대한 정보를 저장하였다가 상기의 감산기(2)에 출력하는 메모리(6)들로 엔코더를 구성하고,

   비트 스트림에서 비트맵 정보와 계수 정보를 받아 기존의 JPEG에서 변화된 부분의 계수 정보를 원상태로 변화시켜 복원된 데이터를 출력하는 재구축 JPEG(11)와,

   기존영상의 JPEG 파일정보를 저장하였다가 상기의 재구축 JPEG(11)로 출력하는 인포 메모리(12)로 디코더를 구성하여서 됨을 특징으로 하는 차영상을 사용한 동영상 압축 및 복원 시스템.