KR19990026980U

KR19990026980U - Data compression system

Info

Publication number: KR19990026980U
Application number: KR2019970039544U
Authority: KR
Inventors: 조성렬
Original assignee: 전주범; 대우전자 주식회사
Priority date: 1997-12-22
Filing date: 1997-12-22
Publication date: 1999-07-15

Abstract

본 고안은 데이터 압축 시스템에 관한 것으로, 인코더(300)에서 입력되는 데이터 코드 스트링에 대하여 사전화 및 스트링 매칭을 수행하여 일차적으로 압축 부호화된 심볼을 생성하고, 아리스메틱 인코더(400)를 이용하여 상기 이진 심볼에 대한 확률 값을 확률 테이블로부터 선택하는 콘텍스트 값을 찾아 부호화한다.The present invention relates to a data compression system, and performs compression and string matching on a data code string input from an encoder 300 to generate a first compression coded symbol, and uses the arismatic encoder 400 to Find and encode a context value that selects a probability value for a binary symbol from a probability table.

따라서, 입력되는 데이터간의 중복성을 제거하여 압축 부호화한 다음, 압축 부호화된 이진 심볼에 대하여 다시 부호어간의 중복성을 제거하는 압축 부호화를 수행함으로써 압축 효율을 향상시킬 수 있다.Accordingly, compression efficiency may be improved by eliminating redundancy between input data and performing compression encoding, and then performing compression encoding to remove redundancy between codewords with respect to the compressed and encoded binary symbols.

Description

Data compression system

본 고안은 데이터 압축 시스템에 관한 것으로서, 보다 상세하게는 입력되는 데이터간의 중복성을 제거하는 압축 부호화 방식과 압축 부호화된 이진 심볼에 대하여 다시 부호어간의 중복성을 제거하는 압축 부호화 방식을 이용하여 압축 효율을 향상시킬 수 있도록 한 데이터 압축 시스템에 관한 것이다.The present invention relates to a data compression system. More particularly, the present invention relates to a compression compression scheme that removes redundancy between input data and a compression encoding scheme that removes redundancy between codewords for a compressed coded binary symbol. It is about a data compression system that can be improved.

일반적으로, 통상의 전송 채널에서 이용 가능한 주파수 대역폭은 제한되어 있으므로, 많은 양의 데이터를 전송하기 위해서 모뎀과 같은 다양한 전송 시스템은 전송 데이터의 양을 압축하거나 줄일 수 있는 효과적인 데이터 압축 기법을 이용해 왔다.In general, the frequency bandwidth available on a typical transmission channel is limited, so that various transmission systems, such as modems, have used effective data compression techniques to compress or reduce the amount of transmission data to transmit large amounts of data.

다양한 압축기법 중의 하나는 국제 전기 통신 동맹(ITU : International Telecommunication Union)에 의해 표준화된 부호화 알고리즘으로, 모뎀과같은 데이터 전송 시스템에서 채용하고 있는 CCITT V.42 bis 이다. 이 부호화 표준안에 적용된 기초는 Ziv-Lempel code(ZLC)이며, 이 방식은 입력 데이터로부터 적응적으로 사전을 형성해 가면서 앞의 입력 데이터와 동일한 구문(phrase)가 저장되어있는 사전의 주소값을 부호어로 전송하는 방법이다. 사전화(dictionary) 작업은 입력 데이터와 계속적인 스트링 매칭(string matching)을 수행하여 최대 길이의 매칭 스트링에 매칭안된 문자를 결합하여 사전에 추가하는 과정으로 사전을 업데이트한다.One of the various compressor methods is the encoding algorithm standardized by the International Telecommunication Union (ITU), which is CCITT V.42 bis employed in data transmission systems such as modems. The basis applied in this coding standard is Ziv-Lempel code (ZLC), which forms a dictionary adaptively from the input data, and uses the codeword as the code value of the address value of the dictionary that stores the same syntax as the previous input data. How to send. The dictionary operation updates the dictionary by performing continuous string matching with the input data to combine the unmatched characters with the maximum length matching string and add them to the dictionary.

예를 들면, a, b, c, d, e, ab, bc, abc라는 문자 스트링이 기존의 사전에 등록되어있는 상황에서, "...abcde..."라는 문자 스트링이 입력되면, 스트링 매칭을 통하여 abc, d, e로 구문화(parsing)를 수행한다. 이때 "abc"는 사전에 등록되어있는 최대 길이 매칭 스트링이고, "d"가 매칭안된 문자이다. 따라서, "abcd"를 사전에 새로이 추가 등록하고, 매칭안된 "d"로부터 다시 스트링 매칭을 수행하여 "de"를 또다시 사전에 추가 등록하는 방식으로 사전화한다. 즉, 하나의 매칭안된 문자 스트링이 나올 때 마다 스트링 매칭을 수행하여 다시 하나의 요소를 새로이 사전에 추가 등록하는 것이다.For example, in a situation where the character strings a, b, c, d, e, ab, bc, abc are registered in the existing dictionary, the character string "... abcde ..." is inputted. Parsing is performed with abc, d, and e through matching. In this case, "abc" is a maximum length matching string registered in advance and "d" is an unmatched character. Therefore, "abcd" is newly registered in advance, and string matching is performed again from the unmatched "d" to advance "de" again in advance. That is, whenever one unmatched character string comes out, string matching is performed to newly register one element in advance.

이때, 새로이 추가되는 "abcd"가 사전의 "100" 번지에 등록된다면, 이후에 "...abcd..."라는 문자 스트링이 입력될 때 "abcd"라는 문자 스트링을 "100"이라는 주소값으로 부호화하여 전송하게된다.At this time, if the newly added "abcd" is registered at "100" address in the dictionary, when the character string "... abcd ..." is input later, the character string "abcd" is set to the address value of "100". Will be encoded and transmitted.

그러나, 상술한 V.42 bis 알고리즘의 압축 방식은 입력 데이터의 통계적 특성을 알 수 없는 상황에서 높은 효율을 얻을 수 있다. 이러한 이유 때문에 모뎀 등에서와 같이 통계적 특성 파악이 힘든 일반 데이터 전송에서 압축 알고리즘에 표준으로 채택되어있을 뿐이다. 즉, V.42 bis 알고리즘의 압축 방식은 통계적 특성을 알 수 없는 일반 데이터를 압축하는데는 우수한 성능을 발휘하지만, 부호어 사이의 상관성을 이용하지 못하는 단점이 있다는 것이다.However, the above-described compression method of the V.42 bis algorithm can obtain high efficiency in a situation where the statistical characteristics of the input data are unknown. For this reason, it has been adopted as a standard for compression algorithms in general data transmission, which is difficult to identify statistical characteristics such as modem. In other words, the V.42 bis algorithm has an excellent performance in compressing general data whose statistical properties are unknown, but has the disadvantage of not using the correlation between codewords.

그러므로, 본 고안은 V.42 bis 알고리즘을 통하여 압축된 심볼의 상관성으로 인한 중복성(reduancy)을 제거함으로써 높은 효율의 부호화 성능을 성취할 수 있도록한 데이터 압축 시스템을 제공하는 것을 그 목적으로 한다.Therefore, an object of the present invention is to provide a data compression system that can achieve high efficiency coding performance by eliminating redundancy due to correlation of compressed symbols through V.42 bis algorithm.

상기 목적을 달성하기 위한 본 고안에 따른 데이터 압축 시스템은, 입력되는 데이터 코드 스트링에 대하여 구문화된 코드를 사전(dictionary) 방식으로 계속적으로 등록하여 저장하는 저장 수단; 상기 데이터 코드 스트링을 구문화(parsing)하고, 상기 구문화된 코드를 상기 저장 수단에 저장된 구문화된 코드와 매칭하고, 매칭안된 구문화된 코드가 상기 저장수단에 새로이 등록되게하는 스트링 매칭부; 상기 스트링 매칭부에서 제공되는 구문화된 코드에 대응하는 인덱스를 상기 저장 수단으로부터 찾아 압축 부호화하여 이진 심볼을 생성하는 인코더; 상기 인코더의 이진 심볼에 대하여 미리 정하여진 순서대로 기록되어있는 확률값을 가지고 있는 확률 테이블; 상기 이진 심볼에 대한 확률 값을 상기 확률 테이블에 기록된 확률 값중에서 선택하는 콘텍스트 값을 찾아 부호화하는 아리스메틱 인코더를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a data compression system, comprising: storage means for continuously registering and storing a coded code with respect to an input data code string in a dictionary manner; A string matching unit for parsing the data code string, matching the syntaxed code with the syntaxed code stored in the storage means, and allowing an unmatched syntaxed code to be newly registered in the storage means; An encoder for generating binary symbols by compressing and encoding an index corresponding to the syntax code provided by the string matching unit from the storage unit; A probability table having probability values recorded in a predetermined order with respect to the binary symbols of the encoder; And an organic encoder for finding and encoding a context value that selects a probability value for the binary symbol from among probability values recorded in the probability table.

도 1은 본 고안에 따른 사전에 근거한 압축 방식과 통계적 압축 방식을 이용하여 구성된 데이터 압축 시스템의 부호화 장치의 블록 구성도,1 is a block diagram of an encoding apparatus of a data compression system constructed using a dictionary-based compression method and a statistical compression method according to the present invention;

도 2는 도 1에 도시된 부호화 장치에서 압축 부호화된 데이터를 원래 신호로 복원하는 복호화 장치의 블록 구성도.FIG. 2 is a block diagram of a decoding apparatus for reconstructing compression-coded data into an original signal in the encoding apparatus illustrated in FIG. 1. FIG.

＜도면의 주요부분에 대한 부호의 설명＞<Description of the code | symbol about the principal part of drawing>

100 : 사전 데이터 저장부 200 : 스트링 매칭부100: dictionary data storage unit 200: string matching unit

300 : 인코더 400 : 아리스메틱 인코더300: Encoder 400: Arithmatic Encoder

450 : 확률 테이블450: probability table

이하, 첨부된 도면을 참조하여 본 고안의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1을 참조하면, 본 고안에 따라서 압축 효율을 향상시킬 수 있도록 디자인된 데이터 압축 시스템에서 사용되는 부호화 장치의 블록 구성도로서, 데이터 코드 스트링이 입력되는 사전(dictionary) 데이터 저장부(100), 스트링 매칭부(200), 인코더(300), 아리스메틱(arithmetic) 인코더(400) 및 확률 테이블(probability table)을 포함한다.Referring to FIG. 1, as a block diagram of an encoding apparatus used in a data compression system designed to improve compression efficiency according to the present invention, a dictionary data storage unit 100 into which a data code string is input, The string matching unit 200 includes an encoder 300, an arithmetic encoder 400, and a probability table.

메모리로서 구현될 수 있는 사전 데이터 저장부(100)는 입력되는 데이터 코드 스트링에 대하여 구문화된 코드를 사전방식으로 계속적으로 등록하여 저장한다. 사전 데이터 저장부(100)에 등록되는 구문화된 코드는 각기 상이한 저장 영역에 할당되어 저장되며, 이 저장 영역의 어드레스는 인코더(700)에서 부호화하는데 필요한 인덱스 신호로서 사용된다.The dictionary data storage unit 100, which may be implemented as a memory, continuously registers and stores the coded code for the input data code string in a dictionary manner. The syntax codes registered in the dictionary data storage unit 100 are allocated and stored in different storage areas, and the addresses of the storage areas are used as index signals required for encoding in the encoder 700.

스트링 매칭부(200)은 입력 데이터 코드 스트링을 구문화(parsing)하고, 구문화된 코드를 사전 데이터 저장부(100)에 저장된 구문화된 코드와 매칭을 수행한다.스트링 매칭부(200)에서 매칭안된(unmatched) 구문화된 코드가 발생되는 경우, 매칭안된 구문화된 코드는 사전 데이터 저장부(100)에 새로이 등록된다. 스트링 매칭부(200)에서 구문화된 코드는 인코더(700)로 출력된다.The string matching unit 200 parses the input data code string and performs matching with the parsed code stored in the dictionary data storage unit 100. In the string matching unit 200, When an unmatched syntax code is generated, the unmatched syntax code is newly registered in the dictionary data storage 100. The code parsed by the string matching unit 200 is output to the encoder 700.

인코더(300)는 스트링 매칭부 모듈(200)로부터 제공되는 구문화된 코드에 대응하는 어드레스 값을 사전 데이터 저장부(100)로부터 찾고, 이 어드레스 값에 대하여 압축 부호화를 수행한다. 인코더(300)에서 수행되는 압축 부호화 방식은 본 기술 분야에서 널리 알려진 이산 여현 변환(discrete cosine transform : DCT)과 가변장 부호화(variable length coding) 기법을 포함하며, 압축 부호화된 부호어(codeword)들을 출력한다. 따라서, 인코더(300)에서 출력된 부호어는 입력 데이터간의 상관성으로 인한 중복성이 제거된 압축된 신호이다. 그러나, 인코더(300)에서 압축 부호화된 부호어간에는 상관성으로 인한 중복성이 존재할 수 있으며, 이를 더욱 효과적으로 압축시키는 것이 바람직하다.The encoder 300 finds an address value corresponding to the syntax code provided from the string matcher module 200 from the preliminary data storage unit 100 and performs compression encoding on the address value. The compression coding scheme performed by the encoder 300 includes a discrete cosine transform (DCT) and a variable length coding technique, which are well known in the art, and include compression coded codewords. Output Therefore, the codeword output from the encoder 300 is a compressed signal from which redundancy due to correlation between input data is removed. However, there may be redundancy due to correlation between the codewords compressed and encoded by the encoder 300, and it is preferable to compress them more effectively.

따라서, 본 고안에 따르면, 인코더(300)에서 부호화된 부호어간의 중복성을 제거하여 보다 향상된 효율의 압축 성능을 성취하기위하여 하기에 기술되는 바와 같은 아리스메틱 부호화가 수행된다.Therefore, according to the present invention, the arithmetic encoding as described below is performed to remove the redundancy between codewords encoded by the encoder 300 to achieve more efficient compression performance.

인코더(300)에서 출력된 부호어는 0 와 1 이라는 두 개의 이진값 심볼로서 표현될 수 있으며, 이러한 이진값 심볼은 아리스메틱 인코더(400)로 입력된다.The codeword output from the encoder 300 may be represented as two binary value symbols 0 and 1, and the binary symbol is input to the arismatic encoder 400.

아리스메틱 인코더(400)는 심볼이 인가될 때 발생할 확률이 높고 낮은지의 확률적 특성을 파악한 후 발생 확률이 높은 심볼에 대하여 발생 확률이 낮은 심볼보다 적은 비트를 할당하는 확률적 연산을 수행한다.The arithmetic encoder 400 determines a probabilistic characteristic of whether a symbol is high or low when it is applied, and then performs a stochastic operation of allocating fewer bits to a symbol having a high probability of occurrence.

확률 테이블(450)은 이진 심볼에 대하여 미리 정하여진 순서대로 기록되어있는 확률값을 가지고 있다. 아리스메틱 인코더(400)는 확률 테이블(450)에 기록된 확률 값중에서 각각의 입력 심볼에 대한 확률 값을 선택하는 콘텍스트(context) 또는 인덱스(index) 값을 부호화하여 부호화된 콘텍스트 값을 전송 채널(500)을 통하여 도 2에 도시된 복호화 장치로 전송한다.The probability table 450 has probability values recorded in a predetermined order for binary symbols. Arithmetic encoder 400 encodes an encoded context value by encoding a context or index value that selects a probability value for each input symbol from probability values recorded in probability table 450 and transmits the encoded context value to a transmission channel ( Through the 500, it is transmitted to the decoding apparatus shown in FIG.

상술한 바와 같이, 본 고안은 일차적으로 스트링 매칭과 사전화 작업을 통하여 인코더(300)에서 압축된 이진 부호어를 바이너리 아리스메틱 코딩(binary arithimetic coding)을 수행하는 데 적합한 이진 심볼로서 제공하여 아리스메틱 인코더(400)에서 이차적으로 아리스메틱 코딩을 수행하는 것이다. 따라서, 스트링 매칭을 통하여 입력 데이터 스트링간의 상관성으로 인한 중복성이 제거되어 부호화되고, 이어서 수행되는 아리스메틱 부호화를 통하여 부호화된 부호어간의 중복성이 제거됨으로써 보다 향상된 효율의 압축 성능을 성취할 수 있다. 이것은 현존하는 두가지 조류의 압축 기법인 사전에 근거한 압축 방식(dictionary-based cpmpression)과 통계에 근거한 압축 방식(statistical-based compression)을 결합한 형태로서 전자의 콤플렉서티(complexity)에서의 장점과 후자의 압축률의 장점을 상호 보완적으로 결합한 것이다. 따라서, 전자의 압축 방식을 통하여 콤플렉서티면에서 우수한 특성을 갖는 점을 이용하여 압축을 수행한후 압축된 심볼에 대하여서만 확률적 특성을 파악한후 아리스메틱 압축 부호화를 수행함으로써, 압축률은 우수하지만 모든 일반 데이터에 대하여 확률적 연산을 수행하여야하는 기존의 아리스메틱 부호화의 단점을 극복할 수 있게된다.As described above, the present invention primarily provides a binary codeword compressed by the encoder 300 as a string symbol suitable for performing binary arithimetic coding through string matching and preliminary operations. In the encoder 400, secondary coding is performed. Accordingly, redundancy due to correlation between input data strings may be removed and encoded through string matching, and redundancy between codewords encoded through arithmetic encoding, which is performed subsequently, may achieve more efficient compression performance. It combines the two existing tidal compression techniques, dictionary-based cpmpression and statistical-based compression, with the advantages of the former complexity and the latter. It combines the advantages of compression ratios. Therefore, after compressing by using the point that has excellent characteristics in the complex surface through the former compression method, after grasping the stochastic characteristic only for the compressed symbols, and performing the Arithmetic compression coding, the compression rate is excellent. It is possible to overcome the shortcomings of the conventional arismatic coding which must perform stochastic operations on all general data.

이제 도 2를 참조하면, 도 1의 부호화 장치에서 압축 부호화된 데이터를 복호화하여 원래 신호로서 복원하는 복호화 장치의 블록 구성도가 도시된다. 도 2에 도시된 복호화 장치는 아리스메틱 디코더(600), 확률 테이블(650), 디코더(700), 사전 데이터 저장부(800) 및 스트링 매칭부(900)을 포함하며, 도 1에 도시된 부호화 장치에서 수행되는 압축 부호화 방식과 반대의 작용을 수행한다.Referring now to FIG. 2, a block diagram of a decoding apparatus for decoding and compressing data encoded by the encoding apparatus of FIG. 1 as an original signal is shown. The decoding apparatus illustrated in FIG. 2 includes an arithmatic decoder 600, a probability table 650, a decoder 700, a dictionary data storage unit 800, and a string matching unit 900, and the encoding apparatus illustrated in FIG. 1. The reverse operation of the compression encoding scheme performed in the apparatus.

아리스메틱 디코더(600)는 전송 채널(500)을 통하여 수신된 압축 부호화된 데이터를 콘텍스트 값으로 복호화하며, 도 1에 도시된 부호화 장치에서 사용된 것과 동일하게 미리 결정된 확률값을 가지고 있는 확률 테이블(650)에서 각각의 이진 값에 대한 확률 값을 찾아서 이진 심볼로 재구성한다. 아리스메틱 디코더(600)에서 재구성된 이진 심볼은 다음단의 디코더(700)로 제공된다.The arithmatic decoder 600 decodes the compressed coded data received through the transmission channel 500 into a context value, and has a probability table 650 having a predetermined probability value as used in the encoding apparatus shown in FIG. 1. Find the probability value for each binary value and reconstruct it into binary symbols. The binary symbol reconstructed in the arithmatic decoder 600 is provided to the decoder 700 of the next stage.

디코더(700)는 아리스메틱 디코더(600)에서 제공된 압축 데이터에 대하여 복호화를 수행하고, 복호화된 인덱스를 스트링 매칭부(900)로 제공한다.The decoder 700 performs decoding on the compressed data provided by the arithmatic decoder 600, and provides the decoded index to the string matching unit 900.

스트링 매칭부(900)는 디코더(700)에서 제공된 인덱스에 매칭되는 구문화된 코드를 사전 데이터 저장부(800)로부터 찾고, 구문화된 코드를 다시 사전 데이터 저장부(700)에 저장된 구문화된 코드와 매칭을 수행하고, 매칭안된 구문화된 코드를 사전 데이터 저장부(800)에 새로이 등록하는 과정을 통하여 도 1의 부호화 장치에서 입력된 데이터로서 복구하여 출력한다.The string matching unit 900 finds the syntax code that matches the index provided by the decoder 700 from the dictionary data storage unit 800, and the parsed code is stored in the dictionary data storage unit 700 again. The code is matched and the unmatched syntax code is newly registered in the preliminary data storage unit 800 to be recovered and output as data input from the encoding apparatus of FIG. 1.

그러므로, 본 고안에 따르면, 기존의 모뎀등에서 입력 데이터의 상관성으로 인한 중복성만을 제거한 다음 또 다시 압축된 부호어간의 중복성을 제거함으로써 보다 향상된 압축 효율을 성취할 수 있다.Therefore, according to the present invention, it is possible to achieve more improved compression efficiency by removing only redundancy due to correlation of input data in an existing modem or the like and then removing redundancy between compressed codewords.

Claims

In a data compression system,

Storage means for continuously registering and storing the coded code with respect to the input data code string in a dictionary manner;

A string matching unit for parsing the data code string, matching the syntaxed code with the syntaxed code stored in the storage means, and allowing an unmatched syntaxed code to be newly registered in the storage means;

An encoder for generating binary symbols by compressing and encoding an index corresponding to the syntax code provided by the string matching unit from the storage unit;

A probability table having probability values recorded in a predetermined order with respect to the binary symbols of the encoder;

And an organic encoder for finding and encoding a context value that selects a probability value for the binary symbol from among probability values recorded in the probability table.