KR102004424B1

KR102004424B1 - 스트림 데이터에 대한 실시간 빈발 사건 마이닝 방법 및 장치

Info

Publication number: KR102004424B1
Application number: KR1020180043896A
Authority: KR
Inventors: 이건명; 한찬식
Original assignee: 충북대학교 산학협력단
Priority date: 2018-04-16
Filing date: 2018-04-16
Publication date: 2019-07-26

Abstract

본 발명의 실시간 빈발 사건 마이닝 장치는 입력되는 스트림 데이터로부터 이벤트가 발생하면, 발생한 이벤트를 미리 정의된 이벤트 속성으로 변환하여 소정 크기의 윈도우에 저장하기 위한 변환 모듈, 상기 변환 모듈로부터 이벤트가 입력되면, 현재 트리가 저장하고 있는 생성 가능한 모든 패턴 후보자와, 입력된 이벤트를 결합하여, 현재 윈도우에서 생성할 수 있는 모든 빈발 패턴 후보자를 후보자 트리에 저장하고 관리하기 위한 후보자 생성관리 모듈 및 상기 후보자 생성관리 모듈의 후보자 트리에 저장되어 있는 후보자 패턴을 입력받아 빈발패턴 트리에 반영하여 저장하는 빈발사건 추출관리 모듈을 포함한다.
본 발명에 의하면 스트림 데이터로부터 그 순간에 발생하는 인스턴트 이벤트와 오랜 시간 동안 지속하는 퍼시스턴트 이벤트를 데이터로 표현하여 빈발 패턴 마이닝에 사용했기 때문에, 두 가지 형태의 데이터 타입 간의 관계를 찾아낼 수 있으며, 스트림 데이터를 배치 단위로 분할하지 않고, 입력되는 그 순간에 처리를 함으로써, 실시간으로 빈발 패턴을 찾아낼 수 있다는 효과가 있다.

Description

스트림 데이터에 대한 실시간 빈발 사건 마이닝 방법 및 장치 {Real-time mining method and apparatus of frequent event on stream data}

본 발명은 빈발 사건 마이닝 기술에 관한 것으로서, 더욱 상세하게는 스트림 데이터에 대한 실시간 빈발 사건 마이닝 기술에 관한 것이다.

일반적으로, 데이터 마이닝(Data Mining)은 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 것이며, 빈발 패턴 마이닝은 대규모로 저장된 데이터 안에서 자주 나타나는 패턴을 찾아내는 것이다. 데이터를 마이닝 하는 과정에서 얻어진 패턴들은 데이터의 특성을 분석하거나 의사결정을 위해 필요한 정보를 얻는데 활용되고, 웹 데이터, 고객 데이터, 제품 데이터 및 교통과 통신 데이터 등 다양한 실제 데이터(Real Data) 분석에도 활용될 수 있다.

기존에 제안되었던 스트림 데이터에 대한 실시간 빈발 패턴 마이닝 방법은 크게 두 가지 문제가 있다.

첫 번째로 스트림 데이터로부터 빈발 패턴을 마이닝 하기 위해 배치 단위로 데이터들을 분할하여 배치 데이터를 생성하고 생성된 배치 데이터로부터 빈발 패턴을 추출하기 때문에, 실시간으로 처리되어야 하는 스트림 데이터 특성 상 즉각적인 처리가 이루어지지 않는다.

두 번째로 실시간으로 처리하는 빈발 패턴 마이닝의 경우, 스트림 데이터 내 모든 빈발 패턴을 찾을 수 없기 때문에 추출하고자 하는 패턴을 찾지 못할 수 있다.

세 번째로 빈발 패턴 마이닝을 위해 데이터를 즉시(instantly) 변환하는 것이다. 현실에서는 그 순간에 발생하는 이벤트도 존재하지만 오랜 시간 동안 존재하는 이벤트도 있다. 하지만, 기존에 제안되었던 실시간 빈발 패턴 마이닝은 이러한 이벤트를 모두 인스턴트(instant) 데이터로 고려해서 처리한다는 문제점이 있다.

대한민국 등록특허 10-1317540

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 스트림 데이터로부터 인스턴트 이벤트와 퍼시스턴트 이벤트의 두 가지 유형의 이벤트 속성으로 변환하여, 실시간으로 생성되는 스트림 데이터로부터 가능한 모든 빈발 패턴을 생성할 수 있도록 하는 실시간 빈발 사건 마이닝 방법 및 장치를 제공하는데 그 목적이 있다.

또한, 본 발명은 배치 단위로 데이터를 분할하지 않고, 실시간으로 입력되는 스트림 데이터로부터 빈발 패턴을 마이닝할 수 있는 실시간 빈발 사건 마이닝 방법 및 장치를 제공하는데 그 다른 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명의 실시간 빈발 사건 마이닝 장치는 입력되는 스트림 데이터로부터 이벤트가 발생하면, 발생한 이벤트를 미리 정의된 이벤트 속성으로 변환하여 소정 크기의 윈도우에 저장하기 위한 변환 모듈, 상기 변환 모듈로부터 이벤트가 입력되면, 현재 트리가 저장하고 있는 생성 가능한 모든 패턴 후보자와, 입력된 이벤트를 결합하여, 현재 윈도우에서 생성할 수 있는 모든 빈발 패턴 후보자를 후보자 트리에 저장하고 관리하기 위한 후보자 생성관리 모듈 및 상기 후보자 생성관리 모듈의 후보자 트리에 저장되어 있는 후보자 패턴을 입력받아 빈발패턴 트리에 반영하여 저장하는 빈발사건 추출관리 모듈을 포함한다.

상기 빈발사건 추출관리 모듈은 상기 빈발패턴 트리에 저장되는 패턴이 현재까지 몇 번 발생했는지를 나타내는 지지도값을 이용하여 빈발패턴을 관리한다.

본 발명의 일 실시예에서 이벤트가 발생한 순간에만 유효한 이벤트인 인스턴트(instant) 이벤트와, 이벤트가 발생하고 나서 지속적으로 유효한 이벤트인 퍼시스턴트(persistent) 이벤트의 두 가지 유형의 이벤트 속성이 미리 정의되어 있고, 상기 변환 모듈은 이벤트의 유형에 따라 발생한 이벤트가 갖고 있는 데이터값을 상기 인스턴트 이벤트 속성값으로 설정하거나, 상기 퍼시스턴트 이벤트 속성값으로 설정할 수 있다.

상기 윈도우는 소정 시간으로 크기가 설정되거나 또는, 저장 가능한 이벤트의 개수로 크기가 설정될 수 있다.

상기 빈발사건 추출관리 모듈은 빈발패턴 트리로부터 지지도값에 대응하는 빈발패턴이 스트림 데이터에 발생하는 분포를 확인할 수 있으며, 이를 이용하여 빈발패턴 트리에서 불필요한 빈발 패턴을 제거할 수 있다.

본 발명의 스트림 데이터에 대한 실시간 빈발 사건 마이닝 장치에서의 실시간 빈발 사건 마이닝 방법에서, 입력되는 스트림 데이터로부터 이벤트가 발생하면, 발생한 이벤트를 미리 정의된 이벤트 속성으로 변환하여 소정 크기의 윈도우에 저장하기 위한 변환 단계, 상기 변환 단계로부터 이벤트가 입력되면, 현재 트리가 저장하고 있는 생성 가능한 모든 패턴 후보자와, 입력된 이벤트를 결합하여, 현재 윈도우에서 생성할 수 있는 모든 빈발 패턴 후보자를 후보자 트리에 저장하고 관리하기 위한 후보자 생성관리 단계 및 상기 후보자 생성관리 단계의 후보자 트리에 저장되어 있는 후보자 패턴을 입력받아 빈발패턴 트리에 반영하여 저장하는 빈발사건 추출관리 단계를 포함한다.

상기 빈발사건 추출관리 단계는 상기 빈발패턴 트리에 저장되는 패턴이 현재까지 몇 번 발생했는지를 나타내는 지지도값을 이용하여 빈발패턴을 관리한다.

본 발명의 일 실시예에서, 이벤트가 발생한 순간에만 유효한 이벤트인 인스턴트(instant) 이벤트와, 이벤트가 발생하고 나서 지속적으로 유효한 이벤트인 퍼시스턴트(persistent) 이벤트의 두 가지 유형의 이벤트 속성이 미리 정의되어 있고, 상기 변환 단계는 이벤트의 유형에 따라 발생한 이벤트가 갖고 있는 데이터값을 상기 인스턴트 이벤트 속성값으로 설정하거나, 상기 퍼시스턴트 이벤트 속성값으로 설정할 수 있다.

상기 빈발사건 추출관리 단계는 빈발패턴 트리로부터 지지도값에 대응하는 빈발패턴이 스트림 데이터에 발생하는 분포를 확인할 수 있으며, 이를 이용하여 빈발패턴 트리에서 불필요한 빈발 패턴을 제거할 수 있다.

본 발명에 의하면 스트림 데이터로부터 그 순간에 발생하는 인스턴트 이벤트와 오랜 시간 동안 지속하는 퍼시스턴트 이벤트를 데이터로 표현하여 빈발 패턴 마이닝에 사용했기 때문에, 두 가지 형태의 데이터 타입 간의 관계를 찾아낼 수 있으며, 스트림 데이터를 배치 단위로 분할하지 않고, 입력되는 그 순간에 처리를 함으로써, 실시간으로 빈발 패턴을 찾아낼 수 있다는 효과가 있다.

또한, 본 발명에 의하면, 가능한 모든 패턴을 생성하여 후보자 패턴으로 관리를 하기 때문에, 모든 중요 패턴들을 포함하는 빈발 패턴을 마이닝할 수 있다는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 실시간 빈발 사건 마이닝 장치를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 빈발 사건 마이닝 방법을 보여주는 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명은 스트림 데이터로부터 두 가지 형태의 데이터를 추출한다. 여기서 두 가지 형태의 데이터는 현실세계에서 표현되는 그 순간에 발생하는 이벤트와, 오랜 시간 동안 발생하는 이벤트를 데이터로 표현하기 위해 정의된다.

그리고, 본 발명에서 실시간으로 생성되는 스트림 데이터로부터 가능한 모든 빈발 패턴을 생성할 수 있도록 하기 위해서, 자료구조로써 트리를 사용하여 빈발 패턴 후보자들을 생성하고, 후보자들로부터 빈발 패턴을 추출 및 관리할 수 있도록 한다. 그리고, 배치 단위로 데이터를 분할하지 않음으로써, 실시간으로 입력되는 스트림 데이터로부터 빈발 패턴을 마이닝하도록 한다.

도 1은 본 발명의 일 실시예에 따른 실시간 빈발 사건 마이닝 장치를 보여주는 블록도이다.

도 1을 참조하면, 본 발명의 실시간 빈발 사건 마이닝 장치는 변환 모듈(110), 후보자 생성 관리 모듈(120), 빈발 사건 추출 관리 모듈(130)의 크게 세 가지 모듈로 구성된다.

변환 모듈(110)은 입력되는 스트림 데이터로부터 이벤트가 발생하면, 발생한 이벤트를 미리 정의된 이벤트 속성으로 변환하여 소정 크기의 윈도우에 저장한다. 변환 모듈(110)은 스트림 데이터로부터 이벤트가 발생하는 즉시 작동한다.

후보자 생성관리 모듈(120)은 변환 모듈(110)로부터 이벤트가 입력되면, 현재 트리가 저장하고 있는 생성 가능한 모든 패턴 후보자와, 입력된 이벤트를 결합하여, 현재 윈도우에서 생성할 수 있는 모든 빈발 패턴 후보자를 후보자 트리에 저장하고 관리한다.

후보자 생성관리 모듈(120)은 후보자 트리 정보를 후보자 데이터베이스(10)에 저장한다.

빈발사건 추출관리 모듈(130)은 후보자 생성관리 모듈(120)의 후보자 트리에 저장되어 있는 후보자 패턴을 입력받아 빈발패턴 트리에 반영하여 저장한다.

빈발사건 추출관리 모듈(130)은 빈발패턴 트리 정보를 빈발사건 데이터베이스(20)에 저장한다.

본 발명에서 빈발사건 추출관리 모듈(130)은 빈발패턴 트리에 저장되는 패턴이 현재까지 몇 번 발생했는지를 나타내는 지지도값을 이용하여 빈발패턴을 관리한다.

본 발명에서는 이벤트가 발생한 순간에만 유효한 이벤트인 인스턴트(instant) 이벤트와, 이벤트가 발생하고 나서 지속적으로 유효한 이벤트인 퍼시스턴트(persistent) 이벤트의 두 가지 유형의 이벤트 속성이 미리 정의되어 있다.

변환 모듈(110)은 이벤트의 유형에 따라 발생한 이벤트가 갖고 있는 데이터값을 인스턴트 이벤트 속성값으로 설정하거나, 퍼시스턴트 이벤트 속성값으로 설정한다.

본 발명의 일 실시예에서 윈도우는 소정 시간으로 크기가 설정되거나 또는 저장 가능한 이벤트의 개수로 크기가 설정될 수 있다.

빈발사건 추출관리 모듈(130)은 빈발패턴 트리로부터 지지도값에 대응하는 빈발패턴이 스트림 데이터에 발생하는 분포를 확인할 수 있다. 그리고, 이 분포를 이용하여 빈발패턴 트리에서 불필요한 빈발 패턴을 제거할 수 있다.

변환 모듈(110)에 이벤트가 입력되면, 이벤트를 미리 정의된 두 가지 유형의 이벤트 중 하나로 변환한다.

첫 번째 유형은 이벤트가 발생한 그 순간에만 유효한 이벤트를 정의한 것으로, 인스턴트(instant) 이벤트라 하고, 이벤트가 가지고 있는 데이터값을 미리 정의된 인스턴트 이벤트 속성값으로 설정한다.

두 번째 유형은 이벤트가 발생하고 나서 지속적으로 유효한 이벤트를 정의한 것으로, 퍼시스턴트(persistent) 이벤트라 하고, 이벤트가 가지고 있는 데이터값을 미리 정의된 퍼시스턴트 이벤트 속성값으로 설정한다.

인스턴트(Instant) 또는 퍼시스턴트(persistent) 이벤트로 변환된 이벤트는 윈도우를 이용하여 저장한다. 이때, 저장하는 공간을 제한하기 위해, 윈도우의 크기를 시간에 따라 설정하거나 또는 저장하고 있는 이벤트의 개수로 설정할 수 있다.

본 발명에서 빈발 패턴 트리는 빈발패턴을 관리하기 위해, 저장되는 패턴이 현재까지 몇 번 발생했는지를 나타내는 지지도값을 이용한다. 빈발 패턴 트리는 다양한 지지도값을 사용하여, 지지도값에 대응하는 빈발패턴이 스트림 데이터에서 발생하는 분포를 확인할 수 있다. 그리고, 이러한 분포를 이용하여, 빈발 패턴 트리를 유지하기 위해서 더 이상 필요하지 않은 빈발 패턴을 제거할 수 있다.

빈발사건 추출관리 모듈(130)은 후보자 트리에서 변경, 추가 등의 업데이트가 발생하면, 후보자 트리에 추가된 후보자 패턴들을 입력으로 받는다. 그리고, 빈발사건 추출관리 모듈(130)의 빈발패턴 트리에서는 입력으로 주어진 후보자 패턴들을 사용하여 업데이트를 하게 되는데, 트리에 이미 존재하는 패턴의 경우 현재 지지도값을 1 증가시킨다. 반면, 트리에 존재하지 않는 패턴의 경우 해당 후보자 패턴을 빈발패턴으로 추가하고, 현재 지지도값을 1로 설정한다.

본 발명의 일 실시예에서 패턴을 효과적으로 저장하기 위해서 트라이(Trie)라는 트리 자료구조를 사용할 수 있다. 이 경우, 트리에 있는 각 노드는 특정 빈발패턴을 나타내고, 추가적으로 현재 지지도값과 이전 지지도값을 갖게 된다. 일정 시간 간격마다 현재 지지도값은 이전 지지도값으로 이동하게 되는데, 특정 빈발 패턴을 제거하는 정책은 상기 두 지지도값을 이용하여 결정한다. 예를 들어, 이전에는 빈발패턴이었던 것이 더 이상 빈발패턴이 아닌 경우, 해당 패턴을 제거한다.

도 2는 본 발명의 일 실시예에 따른 실시간 빈발 사건 마이닝 방법을 보여주는 흐름도이다.

도 2를 참조하면, 본 발명의 실시간 빈발 사건 마이닝 방법은 변환 단계(S210), 후보자 생성관리 단계(S220), 빈발사건 추출관리 단계(S230)를 포함하여 이루어진다.

변환 단계(S210)에서는 입력되는 스트림 데이터로부터 이벤트가 발생하면, 발생한 이벤트를 미리 정의된 이벤트 속성으로 변환하여 소정 크기의 윈도우에 저장한다.

후보자 생성관리 단계(S220)에서는 변환 단계(S210)로부터 이벤트가 입력되면, 현재 트리가 저장하고 있는 생성 가능한 모든 패턴 후보자와, 입력된 이벤트를 결합하여, 현재 윈도우에서 생성할 수 있는 모든 빈발 패턴 후보자를 후보자 트리에 저장하고 관리한다.

빈발사건 추출관리 단계(S230)에서는 후보자 생성관리 단계(S220)의 후보자 트리에 저장되어 있는 후보자 패턴을 입력받아 빈발패턴 트리에 반영하여 저장한다.

빈발사건 추출관리 단계(S230)는 빈발패턴 트리에 저장되는 패턴이 현재까지 몇 번 발생했는지를 나타내는 지지도값을 이용하여 빈발패턴을 관리한다.

본 발명에서 변환 단계(S210)는 이벤트의 유형에 따라 발생한 이벤트가 갖고 있는 데이터값을 인스턴트 이벤트 속성값으로 설정하거나, 퍼시스턴트 이벤트 속성값으로 설정할 수 있다.

빈발사건 추출관리 단계(S230)는 빈발패턴 트리로부터 지지도값에 대응하는 빈발패턴이 스트림 데이터에 발생하는 분포를 확인할 수 있으며, 이를 이용하여 빈발패턴 트리에서 불필요한 빈발 패턴을 제거할 수 있다.

빈발사건 추출관리 단계(S230)에서는 후보자 트리에서 변경, 추가 등의 업데이트가 발생하면, 후보자 트리에 추가된 후보자 패턴들을 입력으로 받는다. 그리고, 빈발패턴 트리에서는 입력으로 주어진 후보자 패턴들을 사용하여 업데이트를 하게 되는데, 트리에 이미 존재하는 패턴의 경우 현재 지지도값을 1 증가시킨다. 반면, 트리에 존재하지 않는 패턴의 경우 해당 후보자 패턴을 빈발패턴으로 추가하고, 현재 지지도값을 1로 설정한다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

110 변환 모듈
120 후보자 생성관리 모듈
130 빈발사건 추출관리 모듈

Claims

입력되는 스트림 데이터로부터 이벤트가 발생하면, 즉시 이벤트를 미리 정의된 이벤트 속성으로 변환하여 소정 크기의 윈도우에 저장하기 위한 변환 모듈;
상기 변환 모듈로부터 이벤트가 입력되면, 현재 트리가 저장하고 있는 생성 가능한 모든 패턴 후보자와, 입력된 이벤트를 결합하여, 현재 윈도우에서 생성할 수 있는 모든 빈발 패턴 후보자를 후보자 트리에 저장하고 관리하기 위한 후보자 생성관리 모듈; 및
상기 후보자 생성관리 모듈의 후보자 트리에 저장되어 있는 후보자 패턴을 입력받아 빈발패턴 트리에 반영하여 저장하는 빈발사건 추출관리 모듈을 포함하며,
상기 빈발사건 추출관리 모듈은 상기 빈발패턴 트리에 저장되는 패턴이 현재까지 몇 번 발생했는지를 나타내는 지지도값을 이용하여 빈발패턴을 관리하며,
이벤트가 발생한 순간에만 유효한 이벤트인 인스턴트(instant) 이벤트와, 이벤트가 발생하고 나서 지속적으로 유효한 이벤트인 퍼시스턴트(persistent) 이벤트의 두 가지 유형의 이벤트 속성이 미리 정의되어 있고,
상기 변환 모듈은 이벤트의 유형에 따라 발생한 이벤트가 갖고 있는 데이터값을 상기 인스턴트 이벤트 속성값으로 설정하거나, 상기 퍼시스턴트 이벤트 속성값으로 설정하며,
상기 빈발사건 추출관리 모듈은 빈발패턴 트리로부터 지지도값에 대응하는 빈발패턴이 스트림 데이터에 발생하는 분포를 확인할 수 있으며, 이를 이용하여 빈발패턴 트리에서 불필요한 빈발 패턴을 제거하며,
상기 빈발사건 추출관리 모듈에서 빈발패턴 트리는 트라이(Trie) 형태의 자료구조로 구현될 수 있고, 트라이 형태의 빈발패턴 트리에서 각 노드는 특정 빈발패턴을 나타내고, 현재 지지도값과 이전 지지도값을 갖고 있으며, 일정 시간마다 현재 지지도값과 이전 지지도값을 업데이트하고, 현재 지지도값과 이전 지지도값을 이용하여 빈발패턴 트리에서 더 이상 빈발패턴이 아닌 패턴을 제거하며,
상기 빈발사건 추출관리 모듈은 후보자 트리에서 후보자 패턴의 변경, 추가를 포함하는 업데이트가 발생하면, 후보자 트리에 새로 추가된 후보자 패턴들을 입력으로 받고, 입력으로 주어진 후보자 패턴들을 사용하여 빈발패턴 트리를 업데이트하며, 이때 빈발패턴 트리에 이미 존재하는 후보자 패턴의 경우 현재 지지도값을 1 증가시키고, 빈발패턴 트리에 존재하지 않는 후보자 패턴의 경우 빈발패턴으로 추가하고 현재 지지도값을 1로 설정하는 것을 특징으로 하는 실시간 빈발 사건 마이닝 장치.
삭제
청구항 1에 있어서,
상기 윈도우는 소정 시간으로 크기가 설정되는 것을 특징으로 하는 실시간 빈발 사건 마이닝 장치.
청구항 1에 있어서,
상기 윈도우는 저장 가능한 이벤트의 개수로 크기가 설정되는 것을 특징으로 하는 실시간 빈발 사건 마이닝 장치.
삭제
스트림 데이터에 대한 실시간 빈발 사건 마이닝 장치에서의 실시간 빈발 사건 마이닝 방법에서,
입력되는 스트림 데이터로부터 이벤트가 발생하면, 즉시 이벤트를 미리 정의된 이벤트 속성으로 변환하여 소정 크기의 윈도우에 저장하기 위한 변환 단계;
상기 변환 단계로부터 이벤트가 입력되면, 현재 트리가 저장하고 있는 생성 가능한 모든 패턴 후보자와, 입력된 이벤트를 결합하여, 현재 윈도우에서 생성할 수 있는 모든 빈발 패턴 후보자를 후보자 트리에 저장하고 관리하기 위한 후보자 생성관리 단계; 및
상기 후보자 생성관리 단계의 후보자 트리에 저장되어 있는 후보자 패턴을 입력받아 빈발패턴 트리에 반영하여 저장하는 빈발사건 추출관리 단계를 포함하며,
상기 빈발사건 추출관리 단계는 상기 빈발패턴 트리에 저장되는 패턴이 현재까지 몇 번 발생했는지를 나타내는 지지도값을 이용하여 빈발패턴을 관리하며,
이벤트가 발생한 순간에만 유효한 이벤트인 인스턴트(instant) 이벤트와, 이벤트가 발생하고 나서 지속적으로 유효한 이벤트인 퍼시스턴트(persistent) 이벤트의 두 가지 유형의 이벤트 속성이 미리 정의되어 있고,
상기 변환 단계는 이벤트의 유형에 따라 발생한 이벤트가 갖고 있는 데이터값을 상기 인스턴트 이벤트 속성값으로 설정하거나, 상기 퍼시스턴트 이벤트 속성값으로 설정하며,
상기 빈발사건 추출관리 단계는 빈발패턴 트리로부터 지지도값에 대응하는 빈발패턴이 스트림 데이터에 발생하는 분포를 확인할 수 있으며, 이를 이용하여 빈발패턴 트리에서 불필요한 빈발 패턴을 제거하며,
상기 빈발사건 추출관리 단계에서 빈발패턴 트리는 트라이(Trie) 형태의 자료구조로 구현될 수 있고, 트라이 형태의 빈발패턴 트리에서 각 노드는 특정 빈발패턴을 나타내고, 현재 지지도값과 이전 지지도값을 갖고 있으며, 일정 시간마다 현재 지지도값과 이전 지지도값을 업데이트하고, 현재 지지도값과 이전 지지도값을 이용하여 빈발패턴 트리에서 더 이상 빈발패턴이 아닌 패턴을 제거하며,
상기 빈발사건 추출관리 단계에서 후보자 트리에서 후보자 패턴의 변경, 추가를 포함하는 업데이트가 발생하면, 후보자 트리에 새로 추가된 후보자 패턴들을 입력으로 받고, 입력으로 주어진 후보자 패턴들을 사용하여 빈발패턴 트리를 업데이트하며, 이때 빈발패턴 트리에 이미 존재하는 후보자 패턴의 경우 현재 지지도값을 1 증가시키고, 빈발패턴 트리에 존재하지 않는 후보자 패턴의 경우 빈발패턴으로 추가하고 현재 지지도값을 1로 설정하는 것을 특징으로 하는 실시간 빈발 사건 마이닝 방법.
삭제
청구항 6에 있어서,
상기 윈도우는 소정 시간으로 크기가 설정되는 것을 특징으로 하는 실시간 빈발 사건 마이닝 방법.
청구항 6에 있어서,
상기 윈도우는 저장 가능한 이벤트의 개수로 크기가 설정되는 것을 특징으로 하는 실시간 빈발 사건 마이닝 방법.
삭제