KR100316720B1

KR100316720B1 - 통계적 기법을 이용하여 데이터를 압축 및 재현하는 방법

Info

Publication number: KR100316720B1
Application number: KR1020000002603A
Authority: KR
Inventors: 이주희; 이상훈
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 2000-01-20
Filing date: 2000-01-20
Publication date: 2001-12-20
Anticipated expiration: 2020-01-20
Also published as: US20010011958A1; KR20010073761A; US6384746B2

Abstract

본 발명은 대량의 데이터를 통계적으로 압축 및 재현하는 방법에 관한 것이다. 본 발명은 상호 상관관계 있는 비교적 소수의 항목에 대하여 대량의 산포 데이터가 있는 경우, 이 대량의 초기 데이터로부터 다변량기법을 이용하여 상관 행렬 및/또는 인자부하량 행렬을 구하여 이를 압축된 데이터로서 저장하고, 인자부하량 행렬과 난수 행렬을 이용하여 초기 데이터의 형태와 경향을 가지는 데이터로 재현한다. 따라서, 본 발명에 의하면 데이터의 양에 관계없이 일정한 용량으로 압축하고 재현할 수 있어 대량의 데이터를 효율적으로 관리할 수 있다.

Description

통계적 기법을 이용하여 데이터를 압축 및 재현하는 방법{Method of data compression and reconstruction using statistical analysis}

본 발명은 대량의 데이터를 압축 및 재현하는 방법에 관한 것으로, 특히 통계적인 방법으로 데이터를 압축 및 재현하는 방법에 관한 것이다.

일반적으로 대량의 데이터를 전송하거나 저장할 때는 전송시간이나 저장공간의 절약을 위하여 일정한 규칙에 따라 압축하여 전송하거나 저장하고, 이 압축된 데이터를 해제하여 원래의 데이터로 복원하여 이용한다. 이 경우에 보통 압축전 데이터와 복원된 데이터는 완전히 일치하도록 압축 및 복원한다. 따라서, 이 경우에는 압축·해제 알고리즘이나 데이터의 형태에 따라 압축효율이 달라지지만 압축효율의 향상에는 일정한 한계가 있다.

한편, 압축전 데이터와 복원된 데이터가 구체적으로 완전히 일치할 필요는 없고 그 경향성만 일치하면 되는 경우가 있다. 예컨대, 반도체 소자의 제조시 각 공정마다 측정되는 소자의 특성 데이터는, 그 항목 수가 수개에서 수백개에 이르는 비교적 소수이지만, 동일한 소자에 대하여 동일한 공정조건이라도 공정상 미세한 차이나 시간의 흐름에 따라 그 특성이 변화하는 경향과 산포를 파악하기 위하여 수천 내지 수만 라인의 측정 데이터가 있는 경우가 있다. 이러한 경우에는 어떤 항목의 몇 번째 라인의 데이터가 정확히 얼마인가보다는 전체적인 경향이나 산포가 중요하게 된다. 또한, 이러한 대량의 데이터는, 초기 데이터 형태 그대로는, 각 항목간 상관관계나 산포를 한눈에 파악하기가 힘들뿐만 아니라 이 대량의 데이터를 장기적으로 저장하고 축적·관리하는 것도 쉬운 일이 아니다.

종래에는, 이러한 대량의 데이터의 경향이나 산포를 파악하기 위해 평균과 표준편차를 구하거나, 통계적 기법을 이용하여 상관관계 등의 정보를 얻기도 하였으나, 이 대량의 데이터를 압축하여 저장하고 이 압축된 데이터를 원래의 데이터 형태로 재현하는 방법에 대해서는 별로 알려져 있지 않다.

본 발명이 이루고자 하는 기술적 과제는, 통계적 기법을 이용하여 대량의 데이터를 압축하고 이 압축된 데이터를 원래의 데이터 형태로 재현하는 방법을 제공하는 것이다.

도 1은 본 발명에 따른 데이터 압축 및 재현방법의 각 단계를 나타낸 흐름도이다.

도 2는 본 발명의 데이터 압축 및 재현방법에 따라 데이터가 변환되는 과정을 도시한 도면이다.

도 3은 압축전 초기 데이터의 각 항목간 상관관계 및 본 발명의 방법에 따라 압축후 재현한 데이터의 각 항목간 상관관계를 중첩하여 플로팅한 상관도이다.

상기의 기술적 과제를 달성하기 위한 본 발명은, 통계적 분석을 이용하여 상호 상관관계 있는 m개의 항목에 대한 n행의 초기 데이터(여기서 m<n)를 압축 및 재현하는 방법으로서 다음과 같은 단계들을 구비한다.

(a) 상기 초기 데이터의 상기 m개의 항목간 상호 상관계수로 이루어진 m행 m열의 상관 행렬(correlation matrix)을 구한다.

(b) 상기 상관 행렬의 각 요소에 대한 고유벡터(eigenvector)와 고유치(eigenvalue)를 구한다.

(c) 상기 고유벡터와 고유치를 이용하여 다변량기법으로 m행 p열(p는 m보다 작거나 같은 자연수)의 인자부하량(factor loading) 행렬을 구한다.

(d) 난수를 발생시켜 l행(l은 상기 m개의 항목에 대해 재현하고자 하는 행의 수) p열의 난수 행렬을 준비한다.

(e) 상기 난수 행렬과 상기 인자부하량 행렬의 전치행렬(transposed matrix)을 곱하여 상관관계 정보를 포함하는 l행 m열의 중간 데이터 행렬을 구한다.

(f) 상기 중간 데이터 행렬을 상기 초기 데이터의 스케일로 복구하여 상기 초기 데이터 형태의 l행 m열의 행렬로 재현한다.

여기서, 본 발명의 데이터 압축 및 재현방법은, (a) 단계에 의해 얻어진 상관 행렬을 압축된 데이터로서 저장하고, (b) 단계 내지 (f) 단계에 의해 원래의 데이터 형태로 재현할 수 있다. 즉, 위 단계들중 (a) 단계가 데이터 압축 단계에 해당하고 (b) 단계 내지 (f) 단계가 데이터 재현 단계에 해당할 수 있다.

또한, (c) 단계까지 수행하여 얻어진 인자부하량 행렬을 압축된 데이터로서 저장하고, (d) 단계 내지 (f) 단계에 의해 원래의 데이터 형태로 재현할 수도 있다. 즉, (a) 단계 내지 (c) 단계가 압축 단계에 해당하고 (d) 단계 내지 (f) 단계가 재현 단계에 해당할 수 있다.

또한, (a) 단계 및 (c) 단계에서 각각 얻어진 상관 행렬과 인자부하량 행렬을 모두 압축된 데이터로서 저장하고, (d) 단계 내지 (f) 단계에 의해 원래의 데이터 형태로 재현할 수도 있다.

이와 같이 본 발명에 따르면, 간단한 방법으로 n행 m열의(n≫m) 대량의 데이터를 m행 m열의 상관 행렬 또는 m행 p열의 인자부하량 행렬로 압축할 수 있고, 이를 난수 행렬과 인자부하량 행렬을 이용하여 초기 데이터의 경향을 가지는 원래의 데이터 형태로 재현할 수 있다.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

먼저, 도 1은 본 발명의 데이터 압축 및 재현방법의 각 단계를 나타낸 흐름도이고, 도 2는 본 발명의 방법에 따라 초기 데이터로부터 압축된 데이터, 다시 재현된 데이터로 변환되는 과정을 나타낸 도면이다.

도 1 및 도 2를 함께 참조하여 본 발명의 데이터 압축 및 재현과정을 설명하면 다음과 같다.

먼저, 도 2에 도시된 바와 같은 n행 m열의(n≫m) 초기 데이터 행렬 X로부터 각 항목(변수)들 간의 상관계수를 구해 m행 m열의 상관 행렬 C를 구한다(단계 100). 상관 행렬 C의 i행 j열의 요소로서 초기 데이터 행렬 X의 i번째 열(변수 i)과 j번째 열(변수 j)간의 상관계수를 나타내는 c_ij는 다음 수식에 의해 구해진다.

여기서, i, j는 상관 행렬 C의 행과 열을 나타내는, m보다 작거나 같은 자연수, x_ki는 초기 데이터 행렬 X의 k행 i열의 요소, x_kj는 초기 데이터 행렬 X의 k행 j열의 요소,과 σ_i및 σ_j는 각각 초기 데이터 행렬 X의 i열 및 j열의 평균과 표준편차이다.

이렇게 구해진 상관 행렬 C는 그 자체가 압축된 데이터로서 소정의 저장 매체에 저장될 수 있다(단계 105). 이때 물론 각 항목(변수)별 평균과 표준편차 등 기본적인 통계적인 데이터도 함께 저장한다.

이어서, m행 m열의 상관 행렬 C로부터 다변량 기법(Multivariate Analysis)을 이용하여 m행 p열의 인자부하량 행렬 F를 구한다(단계 110). 이 인자부하량 행렬 F는 원래의 데이터 형태로 재현하기 위해 필요한 인자부하량들로 이루어진다. 여기서, p는 인자(factor)의 개수로서 변수(항목)의 개수 m보다 작거나 같다.

인자부하량 행렬 F를 구하기 위해서 먼저, 상관 행렬 C로부터 상관 행렬 C의 고유치와 고유벡터를 구한다. 이어서, 다음 수식과 같이 인자부하량 행렬 F를 구한다.

여기서, i는 m보다 작거나 같은 자연수, f_i는 인자부하량 행렬 F의 i번째 행벡터, λ_i는 상관 행렬 C의 각 고유치, α_i는 상관 행렬 C의 각 고유벡터이다.

이렇게 구해진 인자부하량 행렬 F는 그 자체가 압축된 데이터로서, 상관 행렬 C와 함께 또는 단독으로 소정의 저장 매체에 저장될 수 있다(단계 115).

즉, 본 발명의 데이터 압축 및 재현방법에 의해 압축된 데이터는 상관 행렬 C가 될 수 있고, 인자부하량 행렬 F가 될 수도 있으며, 이 둘 모두가 될 수도 있다. 상관 행렬 C만을 압축된 데이터로서 저장하는 경우는 도 1의 단계 100 및 105가 압축 및 저장 단계에 해당하고 단계 110 이후가 재현 단계에 해당하게 된다. 인자부하량 행렬 F를 압축된 데이터로서 저장하는 경우는 단계 100 내지 115까지가 압축 및 저장 단계에 해당하고 단계 120부터 재현 단계에 해당한다. 어느 경우든, 초기 데이터는 n행 m열의(n≫m) 행렬이 m행 m열 또는 m행 p행의 행렬로 압축되어 초기 데이터의 라인 수에 상관없이 데이터의 항목(변수)의 수만큼의 행과 데이터 항목의 수와 같거나 작은 수의 열을 가지는 행렬로 압축된다. 결국 압축율은가 되고, n이 클수록 압축율은 좋아진다.

이어서, 인자부하량 행렬 F로부터 원래의 데이터 행태로 재현하는 과정을 설명한다. 인자부하량 행렬로부터 원래의 데이터 형태로 재현하기 위해서는 먼저 -1부터 +1 사이의 난수를 발생시켜, l행 p열의 난수 행렬 R을 만든다(단계 120). 여기서 l은 재현하고자 하는 데이터의 라인 수로서 임의의 자연수가 될 수 있고, 초기 데이터와 마찬가지로 n이 될 수도 있다.

이어서, 이 난수 행렬 R과 인자부하량 행렬 F의 전치행렬 F^t를 곱하여 l행 m열의 중간 데이터 행렬 X'을 구한다(단계 130). 즉, 중간 데이터 행렬 X'의 각 요소 x'_ij는 다음 수식과 같이 된다.

여기서, i 및 j는 중간 데이터 행렬 X'의 행과 열을 나타내는, 각각 l 및 m보다 작거나 같은 자연수, r_ik는 난수 행렬 R의 i행 k열의 요소, f_jk는 인자부하량 행렬 F의 j행 k열의 요소이다.

이 중간 데이터 행렬 X'은 난수 행렬 R에 인자부하량 행렬 F의 전치행렬 F^t가 곱해졌으므로 상관관계 정보를 포함하고 있고, 초기의 데이터 형태와 유사한 산포를 가진다. 그러나, 아직 이 중간 데이터 행렬 X'은 원래의 데이터와 그 스케일이 다른 상태이다. 따라서, 원래의 데이터 스케일로 스케일링하여 초기 데이터 형태를 가지는 최종 재현 데이터 행렬 X'을 구한다(단계 140).

중간 데이터 행렬 X'을 최종 재현 데이터 행렬 X'으로 스케일링하는 과정은 압축된 데이터(상관 행렬 C 및/또는 인자부하량 행렬 F)와 함께 저장된 각 항목(변수)별 평균과 표준편차를 이용한다. 즉, 최종 재현 데이터 행렬 X'의 각 요소 x'_ij는 다음 수식에 의해 구해진다.

여기서, i 및 j는 최종 재현 데이터 행렬 X'의 행과 열을 나타내는, 각각 l 및 m보다 작거나 같은 자연수, x^'' _ij는 최종 재현 데이터 행렬 X'의 i행 j열의 요소, x^' _ij는 중간 데이터 행렬 X'의 i행 j열의 요소,및 σ_j는 초기 데이터 행렬 X의 j열(j번째 변수)의 평균 및 표준편차이다.

이렇게 얻어진 최종 재현 데이터 행렬 X'은 초기 데이터와 그 구체적인 값은 일치하지 않더라도 그 전체적인 경향은 일치하게 된다.

한편, 이렇게 얻어진 최종 재현 데이터 행렬 X'에 대하여 전술한 단계 100을 수행하여 재현 데이터의 상관행렬 C'을 구해 초기 데이터의 상관행렬 C와 비교해 봄으로써 재현 데이터의 정확성을 검사해 볼 수 있다. 물론, 재현 데이터의 상관행렬 C'으로부터 전술한 단계 110에 의해 재현 데이터의 인자부하량 행렬 F'을 구해서 마찬가지로 초기 데이터의 인자부하량 행렬 F와 비교해 봄으로써 역시 재현 데이터의 정확성을 검사해 볼 수도 있다.

이하에서는, 상술한 본 발명의 데이터 압축 및 재현방법을 구체적으로 물리적인 의미를 가지는 데이터에 대하여 적용한 적용예를 설명한다.

본 적용예에서는 반도체 소자의 전기적 특성 데이터(Electrical Test Data)중 V_TN(NMOS 트랜지스터의 문턱전압), I_DN(NMOS 트랜지스터의 드레인 포화전류), V_TP(PMOS 트랜지스터의 문턱전압), I_DP(PMOS 트랜지스터의 드레인 포화전류)의 네 항목(열)에 대한 3000 회(행)의 측정 데이터를 4행 4열의 상관 행렬 및 인자부하량 행렬로 압축하고 이를 재현한다. 즉, 본 적용예의 초기 데이터는 다음 표 1과 같이 된다.

V_TNI_DNV_TPI_DP

0.58 2.02 0.73 0.95: : : :: : : :0.55 1.95 0.69 0.92

위와 같은 3000행 4열의 초기 데이터 행렬에 대하여 전술한 단계 100을 수행하여 4행 4열의 상관 행렬을 구하면 다음 표 2와 같다.

	V_TNI_DNV_TPI_DP
V_TN	1 -0.774 -0.236 -0.253
I_DN	-0.774 1 -0.018 0.654
V_TP	-0.236 -0.018 1 -0.603
I_DP	-0.253 0.654 -0.603 1

표 2의 상관 행렬에서 각 상관계수는 -1∼+1의 값을 가지고, (+)인 경우는 양의 상관관계, (-)인 경우는 음의 상관관계를 가짐을 의미한다.

이어서, 전술한 단계 110을 수행하여 4행 4열의 인자부하량 행렬을 구하면 다음 표 3과 같이 된다.

	인자 1 인자 2 인자 3 인자 4
V_TN	-0.32 0.10 0.59 -0.73
I_DN	-0.14 0.19 -0.25 0.94
V_TP	-0.30 -0.07 -0.91 -0.29
I_DP	-0.23 -0.15 0.49 0.82

이와 같이 구해진 표 2의 상관 행렬 및/또는 표 3의 인자부하량 행렬을 압축된 데이터로서 소정의 저장매체에 저장한다.

표 3의 인자부하량 행렬로부터 초기 데이터와 유사한 데이터를 재현하기 위해서는, 전술한 단계 120 내지 140을 수행한다. 이렇게 하여 얻어진 결과를 도시한 것이 도 3으로서, 도 3은 3000 행의 초기 데이터와 1000 행의 재현된 데이터를 중첩하여 플로팅한 상관도이다. 도 3에서 초기 데이터는 '×'로, 재현된 데이터는 '□'로 나타내었다. 또한, 참조부호 310 내지 360은 각각 V_TN대 I_DN, V_TN대 V_TP, V_TN대 I_DP, I_DN대 V_TP, I_DN대 I_DP, V_TP대 I_DP의 상관관계를 나타낸 상관도이다. 도 3에서 알 수 있듯이 초기 데이터와 재현된 데이터는 그 경향이 잘 일치하고 있다.

한편, 위와 같이 재현된 데이터에 대하여 다시 상관 행렬 및 인자부하량 행렬을 각각 구하여 초기 데이터의 상관 행렬 및 인자부하량 행렬과 비교하였다. 1000행의 재현된 데이터에 대한 상관 행렬 및 인자부하량 행렬은 각각 다음 표 4 및 표 5와 같다.

	V_TNI_DNV_TPI_DP
V_TN	1 -0.770 -0.230 -0.254
I_DN	-0.770 1 -0.000 0.649
V_TP	-0.230 -0.000 1 -0.607
I_DP	-0.254 0.649 -0.607 1

	인자 1 인자 2 인자 3 인자 4
V_TN	-0.34 0.09 0.58 -0.74
I_DN	-0.15 0.18 -0.25 0.94
V_TP	-0.29 -0.08 -0.91 -0.28
I_DP	-0.23 -0.16 0.50 0.82

재현된 데이터의 정확도를 파악하기 위해 표 2와 표 4의 각 상관 행렬을 비교하여 상대오차를 구해 보면, 상관계수의 절대치가 큰 항목 순으로 V_TN대 I_DN의 상대오차=0.5, I_DN대 I_DP의 상대오차=0.8, V_TP대 I_DP의 상대오차=0.7로 나타나 매우 정확한 것을 알 수 있다. 여기서, 상대오차는 다음 수식과 같다.

또한, 표 3과 표 5의 각 인자부하량 행렬을 비교하여 상대오차를 구해 보면, 인자부하량의 절대치가 가장 큰 항목인 V_TP의 인자 3의 상대오차가 0이고, 절대치가 0.25 이상인 항목의 평균 상대오차는 1.8로 매우 정확한 것을 알 수 있다.

한편, 이상의 적용예에서는 본 발명의 방법을 반도체 소자의 전기적 특성 데이터의 압축 및 재현에 적용하였으나, 본 발명의 방법은 이에 한하지 않는다. 예컨대, 기온, 풍향, 풍속, 강우량 등의 기상 데이터와 같이 상호 상관관계 있는 데이터라면 어떤 데이터라도 본 발명의 방법을 적용할 수 있다.

이상 상술한 바와 같이, 본 발명에 따르면 대량의 데이터를 상관 행렬 또는인자부하량 행렬로 압축하여 저장하고, 이로부터 초기 데이터의 경향을 그대로 유지하는 데이터로 재현할 수 있다. 따라서, 데이터의 양에 관계없이 일정한 용량으로 압축하고 재현할 수 있어 대량의 데이터를 효율적으로 관리할 수 있다.

Claims

통계적 분석을 이용하여 상호 상관관계 있는 m개의 항목에 대한 n행의 초기 데이터(여기서 m<n)를 압축 및 재현하는 방법에 있어서,

(a) 상기 초기 데이터의 상기 m개의 항목간 상호 상관계수로 이루어진 m행 m열의 상관 행렬을 구하는 단계;

(b) 상기 상관 행렬의 각 요소에 대한 고유벡터와 고유치를 구하는 단계;

(c) 상기 고유벡터와 고유치를 이용하여 다변량 기법으로 m행 p열(p는 m보다 작거나 같은 자연수)의 인자부하량 행렬을 구하는 단계;

(d) 난수를 발생시켜 l행(l은 상기 m개의 항목에 대해 재현하고자 하는 행의 수) p열의 난수 행렬을 준비하는 단계;

(e) 상기 난수 행렬과 상기 인자부하량 행렬의 전치행렬을 곱하여 상관관계 정보를 포함하는 l행 m열의 중간 데이터 행렬을 구하는 단계; 및

(f) 상기 중간 데이터 행렬을 상기 초기 데이터의 스케일로 복구하여 상기 초기 데이터 형태의 l행 m열의 행렬로 재현하는 단계를 구비하는 것을 특징으로 하는 데이터의 압축 및 재현방법.
제1항에 있어서, 상기 상관 행렬의 각 상관계수는 다음 수식으로 구하는 것을 특징으로 하는 데이터의 압축 및 재현방법.

여기서, i, j는 상기 상관 행렬의 행과 열을 나타내는, m보다 작거나 같은 자연수, c_ij는 상기 초기 데이터의 i번째 항목과 j번째 항목간의 상관계수로서 상기 상관 행렬의 i행 j열의 요소, x_ki는 상기 초기 데이터의 k행 i열의 요소, x_kj는 상기 초기 데이터의 k행 j열의 요소,과 σ_i및 σ_j는 각각 상기 초기 데이터의 i열 및 j열의 평균과 표준편차이다.
제1항에 있어서, 상기 인자부하량 행렬은 다음 수식으로 구하는 것을 특징으로 하는 데이터의 압축 및 재현방법.

여기서, i는 m보다 작거나 같은 자연수, f_i는 상기 인자부하량 행렬의 i번째 행벡터, λ_i는 상기 상관 행렬 C의 각 고유치, α_i는 상기 상관 행렬 C의 각 고유벡터이다.
제1항에 있어서, 상기 초기 데이터 형태로 재현된 행렬의 각 요소는 다음 수식으로 구하는 것을 특징으로 하는 데이터의 압축 및 재현방법.

여기서, i 및 j는 상기 재현된 행렬의 행과 열을 나타내는, 각각 l 및 m보다 작거나 같은 자연수, x^'' _ij는 상기 초기 데이터 형태로 재현된 행렬의 i행 j열의 요소, x^' _ij는 상기 중간 데이터 행렬의 i행 j열의 요소,및 σ_j는 상기 초기 데이터의 j열의 평균 및 표준편차이다.
제1항에 있어서, 상기 (a) 단계에서 구해진 상관 행렬을 압축된 데이터로서 저장하고, 상기 (b) 단계 내지 (f) 단계에 의해 재현하는 것을 특징으로 하는 데이터의 압축 및 재현방법.
제1항에 있어서, 상기 (c) 단계에서 구해진 인자부하량 행렬을 압축된 데이터로서 저장하고, 상기 (d) 단계 내지 (f) 단계에 의해 재현하는 것을 특징으로 하는 데이터의 압축 및 재현방법.
제1항에 있어서, 상기 (a) 단계 및 (c) 단계에서 각각 구해진 상관 행렬 및 인자부하량 행렬을 압축 데이터로서 저장하고, 상기 (d) 단계 내지 (f) 단계에 의해 재현하는 것을 특징으로 하는 데이터의 압축 및 재현방법.
제1항에 있어서, 상기 (f) 단계에서 재현된 데이터의 상관관계를 알 수 있도록, 상기 재현된 데이터 행렬에 대하여 상기 (a) 단계를 수행하여 상관 행렬을 구하는 단계를 더 구비하는 것을 특징으로 하는 데이터의 압축 및 재현방법.