KR20160049627A - 바이너리 클러스터별 분할 및 출현빈도수 내림차순 정렬에 따라 1:1 유니버설 코드 대응을 통한 압축법의 효율화 방법 - Google Patents

Abstract

원본이진데이터로부터 "1"로만 이루어진 바이너리 클러스터단위로 변환한뒤, 클러스터별 출현 빈도수 내림차순 으로 정렬하여 각 순번별로 유니버설 코드를 매핑한 1차 매핑테이블 및 1차 매핑사전을 생성하는 단계 및 및 1차 매핑테이블 및 2차 매핑테이블을 이용하여 원본데이터를 압축하는 단계를 포함하는 데이터 압축방법 및 장치 및 최종압축결과화일 및 1차 매핑사전 1차 매핑테이블을 복원하는 단계 및 최종압축결과에서 유니버설코드별로 순차적으로 분리하여 유니버설코드의 길이에 따라 1차 매핑테이블을 선택하여 원본 바이너리 클러스터로 변환하면서 원본데이터를 압축해제하는 단계를 포함하는 데이터 압축해제방법 및 그 장치로서, 기존 본 발명자의 발명인 클러스터의 길이 오름차순으로 정렬하여 유니버설 코드에 매핑한 방법과 달리, 클러스터의 출현빈도수 내림차순으로 정렬하여 유니버설 코드로 매핑하는 방법에 관한 발명으로서 데이터의 특성에 따라 압축효율이 효율적일 수 있는 발명이다.

Description

바이너리 클러스터별 분할 및 출현빈도수 내림차순 정렬에 따라 1:1 유니버설 코드 대응을 통한 압축법의 효율화 방법{ENHANCEMENT OF DATA COMPRESSION RATE BY EFFICIENT MAPPING BINARY CLUSTER WITH UNIVERSAL CODE BASED ON FREQUENCY OF BINARY CLUSTER}

데이터 압축

데이터 압축

발명을 실시하기 위한 구체적인 내용에 상술

발명을 실시하기 위한 구체적인 내용에 상술

본 발명을 이용하면 간단한 연산을 통해 빠르고 효율적인 데이터 압축이 가능해진다.

본 발명의 한 실시례로서 1로 시작하는 377,540 비트의 이진데이터 "1001010000010010110000001100000100000101000000000000000110000000000000100000000000000000000000000000100001000000000011000101011110111010001100100101111000000000100000..." 를 예를들수 있는데,

먼저 "1"로 시작하지 않는 데이터의 경우에는, 반드시 "1"로 시작하도록 최상위 비트에 "1"을 추가한다음 향후 복호화에서 최상위의 "1"을 제거하는 방식으로 원본데이터는 복구할수 있다.

한편, 상기와 같이 1로 시작하는 데이터의 경우에, 최상위 비트로부터 최하위 비트로 이동하면서 비트변화가 생길때마다 이진수 클러스터(이진수의 묶음)로 나눌 수 있는데, 상기 데이터를 예로들면, 아래와 같은 형태로 분리가 가능하다 "-"는 클러스터를 구분하기 위하여 편의상 표기한 사항이다.

1-00-1-0-1-00000-1-00-1-0-11-000000-11-00000-1-00000-1-0-1-000000000000000-11-0000000000000-1-00000000000000000000000000000-1-0000-1-0000000000-11-00....

상기 데이터를 보면 알수 있듯이 1로 시작하는 모든 이진수는 연속된 1개이상의 "1" 다음에 연속된 1개이상의 "0"이 나오는 형태가 무수히 반복되는 형태로 구성됨을 알 수 있다. 따라서 짝수번째인 "0"으로만 이루어진 클러스터도 "1"로만 이루어진 동일한 길이로 변환하여도, 연속된 1개이상의 "1" 다음에 연속된 1개이상의 "0"이 나오는 형태가 무수히 반복되는 형태임을 알고있는 이상, 원본데이터로 변환하는데에는 문제가 없다.

따라서 상기와 같은 데이터는 아래와 같이 표현하여도 무방하다.

1-11-1-1-1-11111-1-11-1-1-11-111111-11-11111-1-11111-1-1-1-111111111111111-11-1111111111111-1-11111111111111111111111111111-1-1111-1-1111111111-11-11....

클러스터 구분상태 및 순서만 유지될 수 있다면 짝수번째 클러스터가 원래는 모두 "0"으로 이루어진 클러스터임을 알고있기 때문에 원본데이터로 정확하게 복원이 가능하다.

상기의 데이터를 표로 순차적으로 표현하면 아래 표1과 같다. 상기 377,450 비트의 이진데이터의 경우, 전체 167,428개의 클러스터로 구분이 되었다.

클러스터
1
11
1
1
1
11111
1
11
1
1
11
111111
11
11111
1
11111
1
1
1
111111111111111
11
1111111111111
1
11111111111111111111111111111
1
1111
1
1111111111
....

표2에 클러스터의 분포표를 보인다.

클러스터 종류	출현빈도
1	82388
11	42299
111	20079
1111	10650
11111	5213
111111	2686
1111111	1376
11111111	765
111111111	466
1111111111	202
11111111111	161
111111111111	55
1111111111111	157
11111111111111	7
111111111111111	155
1111111111111111	105
11111111111111111	59
111111111111111111	57
1111111111111111111	79
11111111111111111111	23
111111111111111111111	5
1111111111111111111111	2
11111111111111111111111	1
111111111111111111111111	41
1111111111111111111111111	50
11111111111111111111111111	43
111111111111111111111111111	41
1111111111111111111111111111	11
11111111111111111111111111111	156
111111111111111111111111111111	4
1111111111111111111111111111111	6
11111111111111111111111111111111	9
111111111111111111111111111111111	1
1111111111111111111111111111111111	2
11111111111111111111111111111111111	1
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	22
111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	13
1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	11
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	10
111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	6
1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	2
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	1
111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	2
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	1
.....	.....

클러스터의 길이에 대한 분포는 아래와 같다. 이미 본 출원인의 다른 발명들에서 언급된 바와 같이 평균적인 클러스터 길이보다 유독 긴 클러스터들이 눈에 띄며 이러한 클러스터들에게 보다 짧은 길이의 유니버설 코드를 생성하여 줌으로써 압축효과를 나타냄은 이미 다른 발명들에서 보이고 있다.

상기 표2를 클러스터마다의 출현빈도수의 내림차순 정렬을 시행한뒤 , 유니버설 코드를 순차적으로 매핑한 매핑테이블을 구성하면 아래 표3과 같다.

바이너리클러스터	바이너리클러스터길이	출현빈도(내림차순)	유니버설코드	유니버설코드길이(비트수)	유니버설코드길이-바이너리클러스터길이	압축효과
1	1	82388	1	1	0	0
11	2	42299	11	2	0	0
111	3	20079	111	3	0	0
1111	4	10650	1111	4	0	0
11111	5	5213	11111	5	0	0
111111	6	2686	111111	6	0	0
1111111	7	1376	1111111	7	0	0
11111111	8	765	11111111	8	0	0
111111111	9	466	111111111	9	0	0
1111111111	10	202	1111111111	10	0	0
11111111111	11	161	11111111111	11	0	0
1111111111111	13	157	111111111111	12	-1	-157
11111111111111111111111111111	29	156	1111111111111	13	-16	-2496
111111111111111	15	155	11111111111111	14	-1	-155
1111111111111111	16	105	111111111111111	15	-1	-105
1111111111111111111	19	79	1111111111111111	16	-3	-237
11111111111111111	17	59	11111111111111111	17	0	0
111111111111111111	18	57	111111111111111111	18	0	0
111111111111	12	55	1111111111111111111	19	7	385
1111111111111111111111111	25	50	11111111111111111111	20	-5	-250
11111111111111111111111111	26	43	111111111111111111111	21	-5	-215
111111111111111111111111	24	41	1111111111111111111111	22	-2	-82
111111111111111111111111111	27	41	11111111111111111111111	23	-4	-164
11111111111111111111	20	23	111111111111111111111111	24	4	92
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	104	22	1111111111111111111111111	25	-79	-1738
111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	105	13	11111111111111111111111111	26	-79	-1027
1111111111111111111111111111	28	11	111111111111111111111111111	27	-1	-11
1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	106	11	1111111111111111111111111111	28	-78	-858
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	107	10	11111111111111111111111111111	29	-78	-780
11111111111111111111111111111111	32	9	111111111111111111111111111111	30	-2	-18
11111111111111	14	7	1111111111111111111111111111111	31	17	119
1111111111111111111111111111111	31	6	11111111111111111111111111111111	32	1	6
111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	108	6	111111111111111111111111111111111	33	-75	-450
111111111111111111111	21	5	1111111111111111111111111111111111	34	13	65
111111111111111111111111111111	30	4	11111111111111111111111111111111111	35	5	20
11111…..	2048	3	111111111111111111111111111111111111	36	-2012	-6036
1111111111111111111111	22	2	1111111111111111111111111111111111111	37	15	30
1111111111111111111111111111111111	34	2	11111111111111111111111111111111111111	38	4	8
1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	109	2	111111111111111111111111111111111111111	39	-70	-140
111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	111	2	1111111111111111111111111111111111111111	40	-71	-142
11111111111111111111111	23	1	11111111111111111111111111111111111111111	41	18	18
111111111111111111111111111111111	33	1	111111111111111111111111111111111111111111	42	9	9
11111111111111111111111111111111111	35	1	1111111111111111111111111111111111111111111	43	8	8
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	110	1	11111111111111111111111111111111111111111111	44	-66	-66
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111	137	1	111111111111111111111111111111111111111111111	45	-92	-92
11111…..	3633	1	1111111111111111111111111111111111111111111111	46	-3587	-3587
11111…..	3721	1	11111111111111111111111111111111111111111111111	47	-3674	-3674

상기 표3에서의 유니버설코드는 연속된 1개이상의 "1"로만 이루어진 이진수이며, 클러스터 종류 47종에 대응하여 1개부터 연속된 47개의 "1"로만 이진수로 자동적으로 생성하여 매핑한 것이다. 맨 마지막 3721 비트 길이의 원본 클러스터는 47비트의 유니버설 코드로 변환되어 큰 압축효과를 보이고 있음을 알수있다.

표3과 같은 매핑테이블을 이용하여 표1의 클러스터를 1:1로 대응한 각각 유니버설 코드로 모두 변환하면 순차적인 클러스터에 대응하여 순서대로 유니버설 코드가 생성되고 이를 압축데이터에 담을 때에는, 짝수번째 유니버설 코드는 동일한 길이의 연속된 "0"으로 바꾸어 주면서 저장하게 되면, 유니버설 코드의 순서와 길이와 그 분리상태가 그대로 유지되면서 압축데이터에 모두 저장이 되게 된다.

참고로 표3과 같은 1차 매핑테이블에서는, 아래표5와 같이 클러스터 길이와 유니버설 코드와의 길이 차이가 처음으로 발생한 지점직전인 11번번째 클러스터까지는 유니버설 코드와 클러스터와 완전히 동일하므로, 11라는 클러스터와 유니버설 코드가완전 일치하는 순번 정보 혹은 처음으로 불일치하는 12이라는 순번정보를 저장하고, 12번 클러스터부터는, 유니버설 코드와 비트길이의 차이인 -1,-16,-1,-1,-3,0,0,7,-5,-5,-2,-4,4,...라는 36개의 정보를 1차 매핑사전이라고 하고 이를 압축데이터에 함께 저장을 하게된다.

상기 설명한 1차 매핑사전을 구성하는 방법의 일반적인 개요도는 아래와 같다. 1차 매핑사전은 아래그림처럼 1) 클러스터와 유니버설 코드와의 불일치 시작순번 또는 일치 마지막 순번정보와 한편 이때 불일치 시작순번을 저장할지, 불일치마지막 순번을 저장할지는 사전 setting에 따르며, 압축해제시 이를 고려하여 압축해제한다. 2) 불일치 순번 12~ 47에서의 클러스터와 유니버설 코드의 길이의 차이정보를 저장한다. 이때 1) 또는 2)의 경우에는 다양한 방식으로 기존의 압축알고리즘인 허프만코드등을 이용하여 추가적으로 더욱 효율적으로 표현할 수 있음은 물론이다. 아래 그림은 상기의 사항을 모식도로 표시한 그림이다.

바이너리 클러스터의 모든 종류를 출현빈도수 내림차순으로 정렬한 다음 각 순번에 대하여 유니버설 코드를 1비트부터 시작하여 클러스터의 종류수까지 1비트씩 증가하면서 매핑한 결과이다. 본 실시례에서는 47종류의 클러스터가 존재했으므로, 유니버설 코드는 1순번부터 47순번까지 47종이되고 매핑한 다음, 유니버설 코드와 바이너리 클러스터가 완전히 일치하는 1번~11번순번까지와 일치하지 않는 첫 순번인 12번순번부터 47번 순번까지로 양분한다.

매핑사전에는 최초 불일치하는 순번 "12"라는 정보와, 이후 바이너리 클러스터와 유니버설 코드와의 차이정보 36개에 대하여 표4와 같은 정보를 저장한다.

-1
-16
-1
-1
-3
0
0
7
-5
-5
-2
-4
4
-79
-79
-1
-78
-78
-2
17
1
-75
13
5
-2012
15
4
-70
-71
18
9
8
-66
-92
-3587
-3674

아래 그림은 상술한 매핑사전의 개요도이다. 불일치 최초순번을 저장하건 일치 최종순번을 저장하건 사전 setting에 따라 저장하면, 그에 맞추어 +1을 하여불일치 최초순번을 알수가 있기 때문에 사실상 동등하다.

압축해제시에는 1차 매핑테이블에서 압축 및 압축해제하기 위해서는, 1차 매핑사전에 따라, 비트차이를 나타내지 않는 1번순번부터 11번 순번까지의는 유니버설코드와 바이너리 클러스터를 아래 그림고 같이 완전히 동일하게 생성하고,

12번순번부터 마지막 순번(본 실시례에서는 47번 순번)까지에 대해서는 유니버설 코드를 계속 연장하는데 마지막 순번을 알수 있는 것은 1차 매핑사전에 표현된 36개의 숫자를 통해 12번순번부터 47번 순번까지 유니버설 코드가 존재함을 알 수 있기 때문에 자명하게 알 수 있다. 한편 47번 유니버설 코드까지를 아래 그림과 같이 자동생성하고,

다음으로, 클러스터는 1차 매핑사전에 저장된 36개의 비트차이 숫자만큼이 유니버설 코드보다 더 긴 길이의 "1"로만 이루어진 바이너리 클러스터를 생성하면 아래 그림과 같다.

한 예로 36번 순번에서의 유니버설 코드는 36비트 길이의 연속된 "1"로 구성된 이진수이나, 클러스터는, 비트차이 2012비트만큼 더 긴 2048 비트짜리 "1"로만 이루어진 이진수로 자동생성하면 되는 것이다.

이러한 과정을 이후 비트차이 있는 순번에 모두 적용하면, 압축해제부에서도 표5와 같은 매핑테이블을 생성할 수 있게 된다.

바이너리클러스터길이	유니버설코드길이(비트수)	유니버설코드길이-바이너리클러스터길이
1	1	0
2	2	0
3	3	0
4	4	0
5	5	0
6	6	0
7	7	0
8	8	0
9	9	0
10	10	0
11	11	0
13	12	-1
29	13	-16
15	14	-1
16	15	-1
19	16	-3
17	17	0
18	18	0
12	19	7
25	20	-5
26	21	-5
24	22	-2
27	23	-4
20	24	4
104	25	-79
105	26	-79
28	27	-1
106	28	-78
107	29	-78
32	30	-2
14	31	17
31	32	1
108	33	-75
21	34	13
30	35	5
2048	36	-2012
22	37	15
34	38	4
109	39	-70
111	40	-71
23	41	18
33	42	9
35	43	8
110	44	-66
137	45	-92
3633	46	-3587
3721	47	-3674

이렇게 1차 매핑테이블에 따라 유니버설 코드로 변환된 압축화일을 압축해제하는 방법은 다음 그림에 모식도를 표현하였다. 최종압축화일은 유니버설 코드변환 결과에서 짝수번째 유니버설 클러스터를 동일한 길이의 "0"으로만 이루어진 값으로 변환하여 통합하여 유니버설 코드간의 구분 및 길이구분이 가능한 상태로 저장이 된다. 이러한 상태로 압축해제를 할때에는 짝수번째 클러스터는 다시 동일한 길이의 "1"로만 이루어진 값으로 변환하여 원래의 유니버설 코드들을 순차적으로 모두 확인이 가능하고, 1차 매핑테이블(아래 그림에서는 매핑테이블 1) 에 따라 유니버설 코드를 원본클러스터로 복원하는 과정을 거치게 된다. 마지막 단계인 원본화일로 복원에서는 원본 클러스터로 복원될때에는 짝수번째 클러스터는 최종적으로 동일한 길이의 "0"으로 이루어진 클러스터로 변환되어 이어붙이면 원본데이터가 완벽히 복원된다. 이러한 과정을 아래의 두개의 그림으로 표현하였다.

상기 그림이 다음과정은 아래 그림과 같다.

Claims (2)

1. 원본이진데이터로부터 "1"로만 이루어진 바이너리 클러스터단위로 변환한뒤, 클러스터별 출현 빈도수 내림차순 으로 정렬하여 각 순번별로 유니버설 코드를 매핑한 1차 매핑테이블 및 1차 매핑사전을 생성하는 단계 및 및 1차 매핑테이블 및 2차 매핑테이블을 이용하여 원본데이터를 압축하는 단계를 포함하는 데이터 압축방법 및 장치
   
   
2. 최종압축결과화일 및 1차 매핑사전 1차 매핑테이블을 복원하는 단계 및 최종압축결과에서 유니버설코드별로 순차적으로 분리하여 유니버설코드의 길이에 따라 1차 매핑테이블을 선택하여 원본 바이너리 클러스터로 변환하면서 원본데이터를 압축해제하는 단계를 포함하는 데이터 압축해제방법 및 그 장치