KR20060069185A - 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법 - Google Patents

동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법 Download PDF

Info

Publication number
KR20060069185A
KR20060069185A KR1020040108300A KR20040108300A KR20060069185A KR 20060069185 A KR20060069185 A KR 20060069185A KR 1020040108300 A KR1020040108300 A KR 1020040108300A KR 20040108300 A KR20040108300 A KR 20040108300A KR 20060069185 A KR20060069185 A KR 20060069185A
Authority
KR
South Korea
Prior art keywords
matrix
data
window
stream data
reduction
Prior art date
Application number
KR1020040108300A
Other languages
English (en)
Other versions
KR100603639B1 (ko
Inventor
오세원
이용준
류근호
서성보
Original Assignee
한국전자통신연구원
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 충북대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020040108300A priority Critical patent/KR100603639B1/ko
Publication of KR20060069185A publication Critical patent/KR20060069185A/ko
Application granted granted Critical
Publication of KR100603639B1 publication Critical patent/KR100603639B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 다양한 센서로부터 수집되는 다차원 속성의 대용량 스트림 데이터를, 가중치 기반의 동적 윈도우 분할 기법 및 특이값 분해(SVD: Singular Value Decomposition) 축소 기법을 이용하여 축소함으로써, 센서 네트워크 환경에서 데이터 송수신 비용 절감, 저장 공간 절약 및 근사적 질의응답 시간의 최소화를 이룰 수 있게 하는, 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 센서 네트워크 환경상의 노드에 적용되는 대용량 스트림 데이터의 축소 방법에 있어서, 다수의 센서로부터 수집되는 다차원 속성의 스트림 데이터를 한번의 데이터 스캔을 통하여 행렬구조의 메모리로 로딩하는 데이터 로딩 단계; 다차원 속성의 가중치와 행렬 전체의 점유율에 따라 윈도우를 동적으로 분할하는 윈도우 동적 분할 단계; 상기 윈도우 동적 분할 단계에서 생성된 행렬에 대하여 선형변환을 하는 선형 변환 단계; 상기 선형 변환 단계에서 선형 변환된 행렬에 대하여 특이값 분해(SVD) 축소기법을 적용하여 소정의 개수의 정방행렬 및 고유값들을 가지는 대각행렬로 분해하는 SVD기반 축소 단계; 및 SVD기반 축소 단계에서 생성된 고유값들과 상기 정방행렬의 원소를 외부로 전송하는 전송 단계를 포함함.
4. 발명의 중요한 용도
본 발명은 센서 네트워크에서의 데이터 축소 등에 이용됨.
스트림 데이터, 센서 네트워크, 데이터 축소, SVD, 근사적 데이터, 윈도우, 특이값, 고유값, 고유벡터

Description

동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법{Method for stream data reduction based on dynamic window partition}
도 1 은 본 발명에 따른 센서 네트워크와 데이터 축소 방법에 대한 개념 설명도,
도 2 는 본 발명에 따른 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법에 대한 일실시예 흐름도,
도 3a 내지 도 3c 는 본 발명에 적용되는 행렬 기반 고유값과 고유벡터를 이용한 축소 방법에 대한 개념설명도,
도 4 는 본 발명에 적용되는 n차원 선형변환에 대한 개념설명도,
도 5 는 본 발명에 따른 대각 행렬을 이용한 행 단위 축소/확대 방법에 대한 일실시예 설명도,
도 6a 내지 도 6d 는 본 발명에 따른 축소 기법의 결과와 고유값 및 압축계수에 따른 단계 축소 형태에 대한 일실시예 설명도이다.
* 도면의 주요 부분에 대한 부호의 설명
10: 센서 네트워크 20: 단위 센서 노드
30: 베이스 스테이션 40: 각종 센서 디바이스
본 발명은 대용량 스트림 데이터의 축소 방법에 관한 것으로, 더욱 상세하게는 다양한 센서로부터 수집되는 다차원 속성의 대용량 스트림 데이터를, 가중치 기반의 동적 윈도우 분할 기법 및 특이값 분해(SVD: Singular Value Decomposition) 축소 기법을 이용하여 축소함으로써, 센서 네트워크 환경에서 데이터 송수신 비용 절감, 저장 공간 절약 및 근사적 질의응답 시간의 최소화를 이룰 수 있게 하는, 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법에 관한 것이다.
종래에는 샘플링(Sampling), 히스토그램(Histogram), 웨이블렛(Wavelet), 프리에(Fourier) 기법을 이용하여 데이터를 축소하였으며, 클러스터링(Clustering), 회귀분석(Regression) 또는 유사성(Similarity) 분석을 이용하여 대용량의 데이터에 대한 축소 및 데이터 통신에 이용하였다.
하지만, 이러한 종래 분석 기법들은 대부분 데이터의 특성이 정현파 특성, 즉 시간에 따른 변화율이 적은 데이터에는 잘 적용이 되지만, 비정상적인 데이터 변화와 밀집 또는 산재된 데이터 분포를 가지는 형태의 데이터에는 적합하지 않다는 문제점이 있었다.
또한, 종래 분석 기법들은 단일 속성데이터에 대한 분석을 목적으로 하기 때 문에 다차원 속성의 데이터를 동시에 처리하는데도 적합하지 않다는 문제점이 있었다.
또한, 스트림 데이터는 끊임없이 연속된 데이터의 흐름이므로 이를 위한 데이터 축소 알고리즘은 복사기의 작동 원리와 같이 한번에 스캔되는 데이터를 가지고 분석 과정이 수행되어야 하지만, 종래 분석 기법들은 저장된 전체 데이터를 모두 비교 분석하거나 특정 시점의 과거 데이터와의 단순 비교 분석만이 가능하기 때문에 스트림 데이터 처리에 한계가 있다는 문제점이 있었다.
따라서, 다양한 센서에서 연속적으로 수집되는 다차원 속성의 데이터를 처리하는데 있어서는, 한번의 스캔과 제한된 메모리에서 빠른 시간에 처리해야 하는 스트림 데이터 특성상, 종래의 축소 기법에는 명백한 기술적 한계가 있다는 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 다양한 센서로부터 수집되는 다차원 속성의 대용량 스트림 데이터를, 가중치 기반의 동적 윈도우 분할 기법 및 특이값 분해(SVD) 축소 기법을 이용하여 축소함으로써, 센서 네트워크 환경에서 데이터 송수신 비용 절감, 저장 공간 절약 및 근사적 질의응답 시간의 최소화를 이룰 수 있게 하는, 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 센서 네트워크 환경상의 노드에 적용되는 대용량 스트림 데이터의 축소 방법에 있어서, 다수의 센서로부터 수집되는 다차원 속성의 스트림 데이터를 한번의 데이터 스캔을 통하여 행렬구조의 메모리로 로딩하는 데이터 로딩 단계; 다차원 속성의 가중치와 행렬 전체의 점유율에 따라 윈도우를 동적으로 분할하는 윈도우 동적 분할 단계; 상기 윈도우 동적 분할 단계에서 생성된 행렬에 대하여 선형변환을 하는 선형 변환 단계; 상기 선형 변환 단계에서 선형 변환된 행렬에 대하여 특이값 분해(SVD: Singular Value Decomposition) 축소기법을 적용하여 소정의 개수의 정방행렬 및 고유값들을 가지는 대각행렬로 분해하는 SVD기반 축소 단계; 및 SVD기반 축소 단계에서 생성된 고유값들과 상기 정방행렬의 원소를 압축계수에 따른 근사적 데이터 처리를 통해 외부로 전송하는 전송 단계를 포함한다.
본 발명은 초소형 센싱 디바이스, 에너지 및 통신기기 자원을 기반으로 한 유비쿼터스 센서 네트워크 환경에서, 다양한 센서 노드를 통해 끊임없이 수집되는 대용량 스트림 데이터를 실시간 처리하고 저장하는 작업을 수행하기 위한 기초 작업으로서, 센서 네트워크의 노드가 가진 제한된 메모리와 에너지 및 낮은 통신 대 역폭이라는 특성상 한계를 극복하고 자원 손실을 최소화할 수 있는 스트림 데이터 축소 기법에 관한 것이다.
본 발명은 대용량 데이터베이스 또는 데이터 웨어하우스로 끊임없이 수집되는 대용량 데이터(즉, 스트림 데이터) 처리에 필요한 저장 공간과 통신비용을 절감하기 위한 데이터 축소 기술에 관한 것으로서, 정적인 측면에서는 데이터마이닝 전처리 과정을 이용하고 동적인 측면에서는 제한된 메모리와 한번의 스캔으로 대용량 스트림 데이터를 최적화 축소하고, 빠른 응답을 위한 근사적 데이터 처리를 수행하는 기술에 관한 것이다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
본 발명은, 다차원 속성 데이터를 한번의 데이터 스캔을 통해, 행은 각 센서 별 데이터를 그리고 열은 시간 주기에 따른 값을 저장하는 행렬 구조로 제한된 메모리에 연속적으로 로드하며, 이때 한정된 메모리에서 거대한 행렬의 표현과 곱셈 비용을 줄이기 위해 전 처리로 속성의 가중치와 행렬 전체의 점유율에 따라 동적으로 윈도우 크기의 행렬을 구성하며, 최적화 분할된 윈도우 크기의 m?n 행렬은 SVD 기법을 적용하여, 고유값과 고유벡터를 추출하고 2개의 정방행렬과 고유값들을 가지는 대각행렬로 분해하여, 계산 속도와 행렬의 기본 성질을 최대한 활용하여 최적화 축소하며, 행렬 정보를 모두 표현할 수 있는 고유값들의 전체 개수인 특이값 k를 발견한 뒤, 고유값들과 계수(압축계수)를 이용하여 단계별로 데이터를 통신하며 근사적 데이터를 전송 및 표현하는 것을 특징으로 한다.
도 1 은 본 발명에 따른 센서 네트워크와 데이터 축소 방법에 대한 개념 설명도로서, "50"은 동적 윈도우 분할 범위, "60"은 속성가중치를 이용한 윈도우 분할 및 단위 보정 과정, "70"은 다차원 속성의 선형 변환 과정, "80"은 SVD(Singular Value Decomposition) 기반 축소 기법 적용 과정, "90"은 고유값들과 계수를 이용한 근사적 데이터 처리 과정을 나타낸다.
도 1 은 본 발명에 따른 센서네트워크 환경과 다양한 센서로부터 실시간 수집되는 다차원 속성 데이터가 특정 노드에서 스트림 데이터 축소가 이루어지고 베이스 스테이션 또는 다른 노드에 전송되는 개념을 나타내는 것으로서, 센서 네트워크(10)에서 각 노드(20)는 베이스 스테이션(30)과 통신 및 데이터 처리를 하며, 각 노드(10)는 온도, 습도, 압력과 같은 다양한 센서(40)로부터 다차원 속성 값을 순서적으로 입력받는다.
먼저, 각 노드(10) 디바이스의 메모리는 행렬 형태의 저장소가 존재하며, 행(行)에는 개별 센서 노드(40)에서 입력되는 순서화된 값이 저장되고 열(列)에는 각 센서에서 주기적으로 수집되는 단위 별로 값이 저장된다. 이 때, 각 센서에서 수집되는 데이터의 주기는 상이하며 값이 입력되지 않은 경우에는 0으로 저장된다.
센서 노드에서 수집된 데이터는 동일한 크기의 윈도우 크기로 분석되는 것이 아니라, 윈도우 동적 분할 기법(60)을 적용하는데, 이는 연속적으로 수집되는 데이터 특성과 전체 행렬의 점유율을 고려하여 가중치 행렬의 곱으로 처리하며, 각 센서에서 수집된 데이터 속성의 단위가 다를 경우 각 행에 곱으로 보정하여 처리한다.
상기의 가중치 행렬의 곱과 단위 보정 행렬 곱의 예는 도 5의 행렬
Figure 112004059786014-PAT00001
의 예와 같이 x축으로 3배, y축으로 2배 증가하는 방식이며, n-차원 속성일 경우 n개의 대각행렬의 곱으로 표현한다.
다차원 속성의 연속적인 입력은 각각 선형 독립 방정식 형태로 구성되며, 행렬의 선형 변환(70)을 통해 도 4와 같이 행렬 계산과 행렬의 기본 원리를 쉽게 적용할 수 있는 편리한 형태로 변환한다.
다차원 속성의 선형 변환의 예는 도 4와 같이 표현되며, 서로 다른 고유값에 대응하는 고유벡터이면 일차독립이며,
Figure 112004059786014-PAT00002
로 표현된다.
SVD 기반의 축소기법(80)은 윈도우 동적 분할(60)과 다차원 선형변환(70)을 통해 입력되는 p×q 행렬 A를
Figure 112004059786014-PAT00003
형태로 분할하며, 이는 아래와 같은 [수학식 1]과 [수학식 2]와 같이 표현한다. 이 때, [수학식 1]은 U와 V의 정방행렬과 고유값들의 대각행렬 표현이며, [수학식 2]는 [수학식 1]과 고유값
Figure 112004059786014-PAT00004
을 이용한 표현이다. 이때, 각 고유값들은 A의 특성을 가장 많이 표현하는 순서대로 각 각의 순서와 값이 정해진다.
Figure 112004059786014-PAT00005
Figure 112004059786014-PAT00006
SVD 기반의 축소(80)를 통해 구해진 고유값들 중에서 0이 아닌 고유값
Figure 112004059786014-PAT00007
(단, 1≤i≤min{p,q})들의 개수가 특이값 k(즉, 1≤i≤min{p,q})이며, 원래 데이터 행렬 A의 특성을 모두 표현하기 위한 전체 고유값들의 개수를 의미한다. 따라서, 근사적 데이터 처리(90)에서는 최적 개수의 고유값들만을 이용하여 단계적 데이터 전송을 수행한다. 예를 들어, 행렬
Figure 112004059786014-PAT00008
은 r개의 고유값들을 이용한 A의 축소값이며,
Figure 112004059786014-PAT00009
(단, 1≤i≤min{p,q})를 나타내고, 이때의 r은 계수(압축계수)를 의미한다.
도 2 는 본 발명에 따른 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법에 대한 일실시예 흐름도이다.
메인 메모리에 행렬을 초기화하여 다차원 속성에 대해 행렬구조로 데이터를 추출하여(200) 임시 저장하며, 매 단계 윈도우 분할 조건을 검사하여, 데이터 분할(202) 또는 병합(204)을 수행한다.
윈도우 분할이 수행되어 "206"과정을 수행하면, 주요항목에 대한 이력정보(208) 및 가중치 계산과 각 행의 단위 보정이 이루어지며, SVD 축소기법을 적용하기 위해 고유값들과 고유벡터를 추출(계산)하고(210), 고유값에 기반하여 행렬을 분할한 후 축소기법을 적용하여(212) 특이값과 계수(압축계수)와 고유값에 의한 근사적 처리를 수행하며(214), 최종 단계로 압축계수 만큼의 고유값들과 두 개의 U, V의 정방행렬을 베이스 스테이션(30) 또는 다른 노드에 전송하게 된다(216). 즉, 고유값과 정방행렬의 원소를, 압축계수를 기반으로 단계별로 전송하는데, 이때 계수를 크게 적용하면 할수록 특이값으로 축소된 데이터와의 오차가 작아지게 되는 근사적 축소 전송 방법을 사용한다,
전송된 데이터는 계수만큼의 고유값들과 두 행렬의 곱으로 근사치 계산을 적용하여 원래의 데이터의 근사치 값을 단계별로 얻을 수 있다.
도 3a 내지 도 3c 는 본 발명에 적용되는 행렬 기반 고유값과 고유벡터를 이용한 축소 방법에 대한 개념설명도이다.
도 3a 내지 도 3b는 SVD 기반의 이미지 축소와 본 발명에서 사용하는 다차원 속성 데이터에 대한 축소 기법에 대한 설명도로서, 도 3a와 같이 만약 1000×1000 행렬을 가진 이미지에 대해 SVD를 적용하면, 이미지를 표현할 수 있는 k개의 고유값들과 고유벡터를 반환하며, 이 때 k는 이미지의 특성을 최적으로 표현할 수 있는 고유값들의 개수를 의미한다.
도 3b에 SVD을 적용하면, 분포에 가장 큰 영향을 주는 요소를 살펴보면 k=1일 경우, x'이며 그 다음은 y'이다. 이처럼 어떠한 이미지 또는 데이터 분포에 있어 그 데이터를 가장 잘 표현 할 수 있는 요소를 중요도에 따라 표현하며, 이를 SVD 기법을 이용하면 대각행렬상의 고유값들로 표현할 수 있다. 따라서, 도 3c로 표현되는 분할된 윈도우 크기의 스트림 데이터에서도 기존의 SVD 기법을 적용하면, 다차원 속성의 스트림 데이터 축소를 통한 근사적 데이터 처리가 가능하다.
도 4 는 본 발명에 적용되는 n차원 선형변환에 대한 개념설명도이다.
직교 행렬의 특성을 이용하여, 즉 직교하는 벡터의 내적이 0이라는 기본 원리를 이용하여, n차원의 행렬 A를 선형 변환하며, 고유벡터는 고유값에 따라 변화되며 일차 독립이며, 직교행렬일 경우 A의 역 행렬과 전치행렬이 동일하므로 도 4와 같이 표현된다.
도 5 는 본 발명에 따른 대각 행렬을 이용한 행 단위 축소/확대 방법에 대한 일실시예 설명도로서, 대각 행렬을 이용하여 임의의 행렬에 대해 축소 또는 확대하 는 과정을 나타낸다.
도 5(a)에 대하여 행렬
Figure 112004059786014-PAT00010
을 적용하면, 도 5(b)와 같이 x축으로 3배, y축으로 2배 만큼 증가하게 된다. 따라서, 대각 요소만큼 스칼라 배로 증가하게 되거나, 음수일 경우 스칼라 배 만큼 각 행이 감소하게 된다. 본 발명에서는 대각행렬을, 행의 축소/확대와 가중치 기법에 적용한다.
도 6a 내지 도 6d 는 본 발명에 따른 축소 기법의 결과와 계수에 따른 단계 축소 형태에 대한 일실시예 설명도로서, 본 발명에 따른 축소 기법에 따라 원래 283×283 행렬의 이미지(도 6a)를 SVD를 이용하여 특이값 30으로 축소한 결과(도 6b)와, 계수 5로 구성한 경우(도 6c)와 계수 15로 구성한 경우(도 6d)에 적용한 실험의 결과를 나타낸다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 센서 네트워크 환경에서 Peer-to-Peer 통신을 수행하는 각 노드가 소형 디바이스이고 제한된 메모리/계산 능력과 적은 전력을 가지고 있어서 각 노드에 수집되는 대용량 스트림 데이터를 처리하는데 한계가 있는 제한된 리소스를 가진 기존의 노드에서도, 데이터 저장을 위한 저장소와 통신을 위한 데이터 크기를 줄임으로써, 처리능력의 한계를 극복할 수 있게 하는 효과가 있다.
즉, 본 발명은, 초소형 센싱 디바이스, 에너지 및 통신기기 자원을 기반으로 한 유비쿼터스 센서 네트워크 환경에서, 센서 네트워크의 노드가 가진 제한된 메모리와 에너지 및 낮은 통신 대역폭이라는 특성상 한계를 극복하고 자원 손실을 최소화할 수 있게 하는 효과가 있다.
또한, 본 발명은 기존의 연속 파형 중심의 축소 기법이나 파라미터 형식의 축소 기법과 달리, 불규칙한 데이터, 밀집 또는 산재된 데이터 모두에서 좋은 성능을 발휘하며, 또한 스트림 데이터의 특성인 원-패스(One-pass) 처리를 위해 행렬저장구조를 이용하여 처리함으로써 기존의 기법에 비해 우수한 성능을 발휘하는 효과가 있다.
또한, 본 발명은, 다양한 센서로부터 실시간 수집되는 다차원 속성의 스트림 데이터를 한번의 스캔으로 메모리에 로딩한 뒤, 전처리 과정으로 가중치 기반 동적 윈도우 분할 기법을 이용하고, 축소기법으로 SVD(Singular Value Decomposition)를 활용하여, 대용량의 스트림 데이터를 최적화 축소하고, 노드 또는 베이스 스테이션 간 계수(압축계수)를 이용한 근사적 데이터 전송 방법을 적용함으로써, 센서 네트워크 환경에서 데이터 송수신 비용 절감, 저장 공간 절약과 근사적 질의응답 시간의 최소화를 이룰 수 있게 하는 효과가 있다.
또한, 본 발명은 센서 네트워크 환경의 스트림 데이터뿐만 아니라, 연속된 다차원 속성 데이터에 대해서도, 데이터 특성에 관계없이 원래의 데이터와 에러가 최소화된 축소 데이터를 얻을 수 있으며, 근사적 데이터 표현에서 압축계수에 따른 단계별 고유값 적용으로 원하는 값을 얻을 수 있게 하는 효과가 있다.

Claims (4)

  1. 센서 네트워크 환경상의 노드에 적용되는 대용량 스트림 데이터의 축소 방법에 있어서,
    다수의 센서로부터 수집되는 다차원 속성의 스트림 데이터를 한번의 데이터 스캔을 통하여 행렬구조의 메모리로 로딩하는 데이터 로딩 단계;
    다차원 속성의 가중치와 행렬 전체의 점유율에 따라 윈도우를 동적으로 분할하는 윈도우 동적 분할 단계;
    상기 윈도우 동적 분할 단계에서 생성된 행렬에 대하여 선형변환을 하는 선형 변환 단계;
    상기 선형 변환 단계에서 선형 변환된 행렬에 대하여 특이값 분해(SVD: Singular Value Decomposition) 축소기법을 적용하여 소정의 개수의 정방행렬 및 고유값들을 가지는 대각행렬로 분해하는 SVD기반 축소 단계; 및
    SVD기반 축소 단계에서 생성된 고유값과 상기 정방행렬의 원소를 외부로 전송하는 전송 단계
    를 포함하는 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법.
  2. 제 1 항에 있어서,
    상기 윈도우 동적 분할 단계는,
    가중치와 행렬의 점유율을 고려한 분할 조건이 만족될 때까지 병합하는 병합 단계; 및
    병합된 다차원 속성 행렬에 대하여 각 행의 가중치 부여 및 단위 보정을 하는 가중치부여/보정 단계
    를 포함하는 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 SVD기반 축소 단계는,
    상기 선형 변환 단계에서 선형 변환된 행렬에 대하여 고유값과 고유벡터를 산출하는 고유값/고유벡터 산출 단계; 및
    상기 고유값들을 기반으로 행렬을 소정의 개수의 정방 행렬과, 고유값들을 가지는 대각행렬로 분해하는 행렬 분해 단계
    를 포함하는 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법.
  4. 제 3 항에 있어서,
    상기 전송 단계에서의 고유값/행렬전송 과정은,
    상기 고유값들과 상기 정방행렬의 원소를, 압축계수와 고유값들을 기반으로 단계별로 전송하는 것을 특징으로 하는 동적 윈도우 분할 기반의 대용량 스트림 데 이터의 축소 방법.
KR1020040108300A 2004-12-17 2004-12-17 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법 KR100603639B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040108300A KR100603639B1 (ko) 2004-12-17 2004-12-17 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040108300A KR100603639B1 (ko) 2004-12-17 2004-12-17 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법

Publications (2)

Publication Number Publication Date
KR20060069185A true KR20060069185A (ko) 2006-06-21
KR100603639B1 KR100603639B1 (ko) 2006-07-24

Family

ID=37163374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040108300A KR100603639B1 (ko) 2004-12-17 2004-12-17 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법

Country Status (1)

Country Link
KR (1) KR100603639B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828404B1 (ko) * 2006-05-08 2008-05-08 한국과학기술원 경계관찰질의를 이용한 데이터 스트림 처리 방법
CN116707934A (zh) * 2023-06-20 2023-09-05 甘肃省地震局(中国地震局兰州地震研究所) 一种基于无线传感网络的数据加密传送方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828404B1 (ko) * 2006-05-08 2008-05-08 한국과학기술원 경계관찰질의를 이용한 데이터 스트림 처리 방법
CN116707934A (zh) * 2023-06-20 2023-09-05 甘肃省地震局(中国地震局兰州地震研究所) 一种基于无线传感网络的数据加密传送方法
CN116707934B (zh) * 2023-06-20 2023-10-24 甘肃省地震局(中国地震局兰州地震研究所) 一种基于无线传感网络的数据加密传送方法

Also Published As

Publication number Publication date
KR100603639B1 (ko) 2006-07-24

Similar Documents

Publication Publication Date Title
US11276013B2 (en) Method and apparatus for training model based on random forest
Boukaram et al. Batched QR and SVD algorithms on GPUs with applications in hierarchical matrix compression
Sandryhaila et al. Big data analysis with signal processing on graphs: Representation and processing of massive data sets with irregular structure
Caiafa et al. Computing sparse representations of multidimensional signals using Kronecker bases
Dasarathy et al. Sketching sparse matrices, covariances, and graphs via tensor products
US8131732B2 (en) Recommender system with fast matrix factorization using infinite dimensions
CN111783961A (zh) 基于激活定点拟合的卷积神经网络训练后量化方法及系统
Benjamin Erichson et al. Compressed singular value decomposition for image and video processing
US20050222972A1 (en) Computer implemented, fast, approximate clustering based on sampling
CN110166055B (zh) 一种基于压缩感知的多通道压缩传感优化方法及系统
US20220083843A1 (en) System and method for balancing sparsity in weights for accelerating deep neural networks
Joneidi et al. E-optimal sensor selection for compressive sensing-based purposes
CN109756740A (zh) 基于最优测量矩阵的半张量图像压缩方法和图像恢复方法
CN111010191B (zh) 数据采集方法、系统、设备及存储介质
Lazcano et al. Adaptation of an iterative PCA to a manycore architecture for hyperspectral image processing
Vandewalle et al. Clustering spatial functional data
CN111313943A (zh) 深度学习辅助的大规模天线阵列下的三维定位方法及装置
KR100603639B1 (ko) 동적 윈도우 분할 기반의 대용량 스트림 데이터의 축소 방법
CN109446478B (zh) 一种基于迭代和可重构方式的复协方差矩阵计算系统
CN112801853B (zh) 基于napc的高光谱图像特征提取的并行加速方法
CN116610735A (zh) 一种数据存储的智能管理方法及系统
Luo et al. The Moran coefficient and the Geary ratio: some mathematical and numerical comparisons
CN112085128B (zh) 一种基于脉动阵列的图像识别方法、装置和介质
Chen et al. Compressive spectrum sensing in the cognitive radio networks by exploiting the sparsity of active radios
KR20190060600A (ko) 병렬 처리를 통한 다차원 데이터 분석을 지원하는 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee