KR100494876B1

KR100494876B1 - 2바이트 문자 데이터 압축 방법

Info

Publication number: KR100494876B1
Application number: KR10-2003-0021924A
Authority: KR
Inventors: 조균연
Original assignee: 주식회사 팬택
Priority date: 2003-04-08
Filing date: 2003-04-08
Publication date: 2005-06-14
Also published as: CN1536768A; CN100474781C; KR20040087503A

Abstract

본 발명의 2바이트 문자 데이터 압축 방법은, 단말기의 메시지 처리 모듈에 있어서, 2바이트 문자(한글, 중문)의 메시지를 압축하여 저장함으로써, 저장 공간을 절약할 수 있는 2바이트 문자 데이터 압축 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, 복수개의 압축 가능 부호어를 빈도수에 기반하여 생성하고 기본 사전 테이블에 저장하며, 등록될 다음 부호어를 나타내는 변수를 초기화하는 단계; 입력되는 메시지 데이터가 2바이트 문자인지 식별하여 받아들이는 입력 단계; 입력된 데이터가 상기 압축 가능 부호어에 포함되는지 여부를 비교하고, 상기 압축 가능 부호어에 포함되는 경우에는 상기 사전 테이블에서 매핑 과정을 통하여 해당 코드를 찾아 출력하고, 상기 해당 코드가 사전에 없는 경우 사전에 등록하는 단계; 데이터의 끝인지 여부를 판단하고, 데이터의 입력이 끝나지 않은 경우에는 메시지 데이터가 순차적으로 입력되는 단계로 돌아가는 단계; 및 데이터가 끝난 경우에는 플러시 과정을 수행하는 단계를 포함하고, 상기 압축 가능 부호어의 부호화된 해당 코드의 비트수는, 상기 압축 가능 부호어가 비트를 줄일 수 있는 한계값보다 작으면 log₂(C1+1)-1 비트로 출력하고, 해당 부호어가 한계값보다 크면 log₂(C1+1)비트로 출력하며, 상기 C1은 현재 할당된 부호어 수인 것을 특징으로 한다.

Description

2바이트 문자 데이터 압축 방법{DATA COMPRESSION METHOD FOR MULTI-BYTE CHARACTER LANGUAGE}

본 발명은 2바이트 문자 데이터 압축 방법에 관한 것으로, 특히, 이동 통신 단말기에 있어서 SMS(Short Message Service)나 EMS(Enhanced Messaging Service)의 메시지의 저장 공간을 절약하기 위한 2바이트 문자 압축 알고리즘을 적용하는 2바이트 문자 데이터 압축 방법에 관한 것이다.

일반적으로, 사용자는 이동통신 단말기의 메시지 송수신 기능(SMS, EMS)을 이용하여 다양한 정보를 주고받는다. 대부분의 이동통신 단말기는 이러한 메시지에 대한 압축을 거의 하고 있지 않으며 일부 압축을 수행하는 단말기도 영어 알파벳에 적합한 압축 알고리즘을 사용하고 있다.

그러나, 이러한 압축 알고리즘의 경우 한글이나 중문과 같은 언어에 있어서는 많은 용장성을 갖고 있으므로 상대적으로 압축 효율이 떨어져 더 많은 메모리를 요구하므로 저장 공간을 효과적으로 절약하지 못하는 문제점이 있다.

상기 문제점을 해결하기 위하여 안출된 본 발명은, 단말기의 메시지 처리 모듈에 있어서, 2바이트의 문자(한글, 중문) 단위로 메시지를 압축하여 저장함으로써, 저장 공간을 절약할 수 있는 2바이트 문자 데이터 압축 방법을 제공하는데 그 목적이 있다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 본 발명의 가장 바람직한 실시예들을 첨부된 도면을 참조하여 설명하기로 한다.

도 1은 본 발명의 일 실시예에 의한 2바이트 문자 데이터 압축 방법을 나타낸 동작흐름도로서, 이에 관하여 설명하면 다음과 같다.

먼저, 최대문자열수(N7), 부호어수(N2), 초기사전엔트리번호(N5) 등을 초기화하고, 빈도수가 높은 문자를 기본 사전 테이블에 저장하며, 등록될 다음 부호어를 나타내는 변수(C1)를 초기화하는데(S101), 문자 압축을 위한 부호어의 구성은 하기 표에 따른다. 여기서, 문자 압축에 필요한 부호어를 구하기 위하여 한글 및 영문 혼합화일에서 완성형 한글 2350자의 출현 빈도를 구한다음 이를 정렬하여 고찰하고, 이들중 2%에 해당하는 자주 사용되는 470자를 부호어로 등록한다. 이때, 이러한 2%에 해당하는 470개의 문자가 전체 출현 빈도의 85% 이상을 차지함을 알 수 있다. 이에 따라 상기 변수(C1)의 초기화 값은 471이 될 수 있다.

0~255	ASCII
256~725	한글코드(470자)
726~1023	10비트 부호화
1024~2047	11비트 부호화
2048~4095	12비트 부호화

그 후, 초기화된 변수를 참조하여 추가적인 압축 가능 부호어를 상기 기본 사전 테이블을 포함하는 부가 사전 테이블에 저장하고, 등록될 다음 부호어를 나타내는 변수(C1)를 재초기화한다(S102). 여기서, 압축 가능 부호어의 부호화된 해당 코드의 비트수는 하기 수학식에 따른다.

여기서, 상기 C1은 현재 할당된 부호어 수, lim은 비트를 줄일 수 있는 한계값을 의미한다. 따라서, 부호어를 비트열로 바꿀때 부호어가 정해진 한계값(lim)보다 작으면 log₂(C1+1)-1 비트로 출력하고, 해당 부호어가 한계값보다 크면 log₂(C1+1)비트로 출력한다.

예컨대, 상기 C1이 750일 경우 lim=(1024-750-1)=273이므로 압축할 때 부호어가 0에서 273 사이일 경우에는 9비트로 부호화하여 출력하고, 274부터 749까지는 각 부호어에 274를 더하여 10비트로 부호화하여 출력하게 된다.

압축 해제 시에는 부호어 비트를 9비트로 읽고 이 읽은 값이 274보다 작으면 그 값을 부호어 코드로 취하고, 크면 다시 10비트를 읽어서 274를 뺀 값을 부호어 비트로 취하게 된다. 하기 표 2는 상술한 방식에 의한 본 발명의 사전 테이블 구조를 나타낸 것이다.

압축 가능 부호어	부호화된 코드	10진값
0	000000000	0
1	000000001	1
2	000000010	2
.	.	.
.	.	.
273	100010001	273
274	1000100100	548(274+274)
275	1000100101	549(274+275)
.	.	.
.	.	.
749	1111111111	1023(274+749)

그 후, 메시지 데이터가 순차적으로 입력된다. 입력된 데이터는 상기 압축 가능 부호어에 포함되는지 여부가 비교되고, 상기 압축 가능 부호어에 포함되는 경우에는 상기 사전 테이블에서 매핑 과정을 통하여 해당 코드를 찾아 출력한다(S103). 그 후, 상기 해당 코드를 사전에 있는지 조사하여 사전에 없으면 사전에 등록하는 사전생성 단계를 수행한다(S104).

그 후, 데이터의 끝인지 여부를 판단하고, 데이터가 끝나지 않은 경우에는 메시지 데이터가 순차적으로 입력되는 단계로 돌아간다(S105).

만약, 데이터가 끝난 경우에는 플러시(Flush) 과정을 수행한다(S106). 여기서, 상기 플러시(Flush) 과정이라 함은, 메모리 저장 방법에 있어서, 데이터를 8비트나 16비트로 저장하게 되는데, 압축된 데이터는 가변 길이의 비트 수를 가지게 되므로, 마지막에 저장되는 데이터가 8비트나 16비트에 맞아 떨어지지 않는 경우에 마지막에 남는 비트를 0으로 채우게 되는 과정을 말한다.

도 2는 본 발명의 일 실시예에 의한 2바이트 문자 데이터 압축 방법에 있어서, 상기 사전 테이블에서 매핑 과정을 통하여 해당 코드를 찾아 출력하는 단계, 즉, 압축 코드를 출력하는 단계를 상세히 설명한 동작 흐름도로서, 이에 관하여 설명하면 다음과 같다.

먼저, 입력된 데이터의 첫번째 바이트를 읽는다(S201).

그 후, 상기 첫번째 바이트가 제1 할당 범위인지 여부를 판단한다(S202). 여기서, 완성형 한글의 경우 첫번째 바이트는 16진수 B0에서 C8까지 25개의 숫자가 할당되어 있으므로, 상기 제1 할당 범위는 상기 16진수 B0에서 C8까지일 수 있다.

만약, 상기 첫번째 바이트가 제1 할당 범위인 경우에는, 입력된 데이터의 두번째 바이트를 읽는다(S203).

한편, 상기 첫번째 바이트가 제1 할당 범위가 아닌 경우에는, 완성형 한글이 아니므로 해당 아스키 코드를 결정한다(S207).

그 후, 상기 두번째 바이트가 제2 할당 범위인지 여부를 판단한다(S204). 여기서, 완성형 한글의 경우 두번째 바이트는 16진수 A1에서 FE까지 94개의 숫자가 할당되어 있으므로, 상기 제2 할당 범위는 상기 16진수 A1에서 FE까지일 수 있다.

만약, 상기 두번째 바이트가 상기 제2 할당 범위인 경우에는, 입력된 데이터가 상기 사전 테이블에 포함되어 있는지 판단한다(S205).

한편, 상기 두번째 바이트가 상기 제2 할당 범위가 아닌 경우에는, 완성형 한글이 아니므로 해당 아스키 코드를 결정한다(S207).

만약, 입력된 데이터가 상기 사전 테이블에 포함되어 있는 경우에는 해당 코드값을 결정한다(S206).

한편, 입력된 데이터가 상기 사전 테이블에 포함되어 있지 않은 경우에는, 출현 빈도가 높은 한글이 아니므로 해당 아스키 코드를 결정한다(S207).

도 3은 본 발명의 일 실시예에 의한 2바이트 문자 데이터 압축 방법에 있어서, 상기 해당 코드가 사전에 존재하는 지를 검사하여 없으면 사전에 등록하며 사전에 등록된 코드 중 자주 사용하지 않는 코드는 제거하는 사전 관리 단계를 상세히 설명한 동작 흐름도로서, 이에 관하여 설명하면 다음과 같다.

먼저, 상기 부호어의 문자열이 최대 문자열 수(N7)를 초과하는지 여부를 판단하고, 상기 부호어의 문자열이 최대 문자열 수(N7)를 초과하는 경우에는 사전관리 단계를 종료한다(S301).

만약, 상기 문자열이 최대 문자열 수(N7)를 초과하지 않는 경우에는, 상기 사전 테이블에 존재하는지 여부를 판단하고, 상기 사전 테이블에 존재하는 경우에는 사전 관리 단계를 종료한다(S302).

만약, 상기 사전 테이블에 존재하지 않는 경우에는 상기 문자열을 신규 변수(C1)에 할당한다(S303).

그 후, 신규 변수(C1)는 다음에 생성될 문자열의 부호어에 할당되기 위해 증가된다(S304).

그 후, 증가된 변수(C1)가 부호어의 수(N2) 이상인지 여부를 판단한다(S305).

만약, 증가된 변수(C1)가 부호어의 수(N2) 이상인 경우에는 증가된 변수(C1)에 사전 앤트리 번호(N5)를 할당하고, 증가된 변수(C1)가 부호어의 수(N2) 미만인 경우에는 사전 앤트리 번호(N5)를 할당하지 않는다(S306).

그 후, 증가된 신규 변수(C1)에 할당된 노드가 문자열의 맨 마지막 문자를 가리키는 노드인 리프(leaf) 노드이거나 사용되지 않는 노드인지(C1==NULL) 여부를 판단하고, 증가된 변수(C1)에 할당된 노드가 사전 트리에서 문자열의 맨 마지막 문자를 가리키는 노드인 리프(leaf) 노드이거나 사용되지 않는 노드가 아닌 경우에는 신규 변수(C1)가 다음에 생성될 문자열의 부호어에 할당되기 위해 증가되는 단계로 돌아간다(S307).

만약, 증가된 변수(C1)에 할당된 노드가 문자열의 맨 마지막 문자를 가리키는 노드인 리프(leaf) 노드이거나 사용되지 않는 노드인 경우에는, 사전 트리에서 변수(C1)를 제거하여 새로운 문자열 부호어가 할당될 수 있도록 준비한다(S308).

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

본 발명은 단말기의 메시지 처리 모듈에 있어서, 2바이트 문자(한글, 중문 등)의 메시지를 압축하여 저장함으로써, 저장 공간을 절약할 수 있는 장점이 있다. 즉, 영문과 한글이 혼합된 텍스트 문서를 사용하여 본 발명의 방법을 적용하면, 평균 압축율이 기존의 방법에 비하여 대략 22% 정도의 개선 효과를 가져오는 장점이 있다.

도 1은 본 발명의 일 실시예에 의한 2바이트 문자 데이터 압축 방법을 나타낸 동작흐름도,

도 2는 본 발명의 일 실시예에 의한 2바이트 문자 데이터 압축 방법에 있어서, 상기 사전 테이블에서 매핑 과정을 통하여 해당 코드를 찾아 출력하는 단계(압축단계)를 상세히 설명한 동작 흐름도,

도 3은 본 발명의 일 실시예에 의한 2바이트 문자 데이터 압축 방법에 있어서, 상기 해당 코드사전을 관리하는 사전 생성/관리 단계를 상세히 설명한 동작 흐름도.

Claims

복수개의 압축 가능 부호어를 문자의 사용 빈도수에 기반하여 생성하고 기본 사전 테이블에 저장하며, 상기 부호어에 대응하는 문자열의 최대 문자수 및 등록될 다음 부호어에 대응하는 변수를 초기화하는 초기화단계;

순차적으로 입력되는 메시지 데이터를 읽어 2바이트 문자를 식별하는 문자식별단계;

식별된 문자를 문자열로 누적하며 상기 기본 사전 테이블에 매핑시켜 해당하는 압축 가능 부호어를 찾아 출력하되, 해당하는 압축 가능 부호어가 없는 경우에는 상기 최대 문자수를 기초로 상기 누적된 문자열을 사전에 등록하는 사전관리단계;

데이터가 끝난 경우에는 플러시 과정을 수행하는 플러시단계

를 포함하고,

상기 압축 가능 부호어의 부호화된 해당 코드의 비트수는, 상기 압축 가능 부호어가 비트를 줄일 수 있는 한계값보다 작으면 log₂(C1+1)-1 비트로 출력하고, 해당 부호어가 한계값보다 크면 log₂(C1+1)비트로 출력하며, 상기 C1은 현재 할당된 부호어 수인

것을 특징으로 하는 2바이트 문자 데이터 압축 방법.
제1항에 있어서,

상기 사전관리단계는,

해당하는 압축 가능 부호어가 없는 경우에, 누적된 문자열의 문자수가 상기 최대 문자수를 초과하는지 여부를 판단하고, 초과할시 등록을 종료하는 단계;

초과하지 않으면, 상기 누적된 문자열을 상기 초기화된 변수에 할당하는 단계; 및

새로 할당될 문자열을 위해 변수를 재초기화하는 단계

를 포함하는 것을 특징으로 하는 2바이트 문자 데이터 압축 방법.
제1항에 있어서,

상기 압축 가능 부호어를 구하기 위하여, 한글 및 영문 혼합화일에서 완성형 한글 2350자의 출현 빈도를 구한다음 이를 정렬하여 고찰하고, 이들중 자주 사용되는 455~485자를 부호어로 등록하는

것을 특징으로 하는 2바이트 문자 데이터 압축 방법.
제1항에 있어서,

한글외에 중문 등 2바이트 이상의 조합을 이용하여 표현하는 문자에서 빈도수를 측정하여 자주나오는 문자만을 기본부호어로 사전에 등록하는

것을 특징으로 하는 2바이트 문자 데이터 압축 방법.
제1항에 있어서,

상기 문자식별단계는,

입력된 데이터의 첫번째 바이트를 읽는 단계;

상기 첫번째 바이트가 제1 할당 범위인지 여부를 판단하는 단계;

상기 첫번째 바이트가 제1 할당 범위인 경우에는, 입력된 데이터의 두번째 바이트를 읽는 단계;

상기 첫번째 바이트가 상기 제1 할당 범위가 아닌 경우에는, 완성형 한글이 아니므로 해당 아스키 코드를 결정하는 단계;

상기 두번째 바이트가 제2 할당 범위인지 여부를 판단하는 단계;

상기 두번째 바이트가 상기 제2 할당 범위인 경우에는, 입력된 데이터가 상기 사전 테이블에 포함되어 있는지 판단하는 단계;

상기 두번째 바이트가 상기 제2 할당 범위가 아닌 경우에는, 완성형 한글이 아니므로 해당 아스키 코드를 결정하는 단계;

입력된 데이터가 상기 사전 테이블에 포함되어 있는 경우에는 해당 코드값을 결정하는 단계; 및

입력된 데이터가 상기 사전 테이블에 포함되어 있지 않은 경우에는, 출현 빈도가 높은 한글이 아니므로 해당 아스키 코드를 결정하는 단계

를 포함하는 것을 특징으로 하는 2바이트 문자 데이터 압축 방법.
제5항에 있어서,

상기 제1 할당 범위는 16진수 B0에서 C8까지인

것을 특징으로 하는 2바이트 문자 데이터 압축 방법.
제5항에 있어서,

상기 제2 할당 범위는 16진수 A1에서 FE까지인

것을 특징으로 하는 2바이트 문자 데이터 압축 방법.