KR20140038206A - 비정형 데이터의 실시간 이벤트 처리 장치 및 방법 - Google Patents

비정형 데이터의 실시간 이벤트 처리 장치 및 방법 Download PDF

Info

Publication number
KR20140038206A
KR20140038206A KR1020120104645A KR20120104645A KR20140038206A KR 20140038206 A KR20140038206 A KR 20140038206A KR 1020120104645 A KR1020120104645 A KR 1020120104645A KR 20120104645 A KR20120104645 A KR 20120104645A KR 20140038206 A KR20140038206 A KR 20140038206A
Authority
KR
South Korea
Prior art keywords
data
metadata
unstructured data
feature
unstructured
Prior art date
Application number
KR1020120104645A
Other languages
English (en)
Inventor
김낙우
유홍연
김재인
이병탁
김영선
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120104645A priority Critical patent/KR20140038206A/ko
Priority to US13/911,219 priority patent/US20140082002A1/en
Publication of KR20140038206A publication Critical patent/KR20140038206A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 비정형 데이터의 실시간 이벤트 처리 장치로, 하나 이상의 비정형 데이터 센서들로부터 출력되는 비정형 데이터의 소정 특징 데이터를 추출하는 특징 추출부와, 상기 특징 추출부에서 수집된 비정형 데이터의 특징 데이터를 정형 데이터와 비정형 데이터의 속성을 모두 포함하는 메타데이터로 구성하는 메타데이터 구성부와, 상기 메타데이터 구성부에 의해 구성된 메타데이터를 분석하는 메타데이터 파서부와, 상기 메타데이터 파서부에 의해 분석된 결과에 의해 정의되는 이벤트 발생을 처리하는 이벤트 처리부를 포함한다.

Description

비정형 데이터의 실시간 이벤트 처리 장치 및 방법{Apparatus and method for real-time event processing based on unstructured data}
본 발명은 데이터의 실시간 이벤트 처리 장치에 있어서, 특정 형태로 정형화되지 않은 비정형 데이터의 실시간 이벤트 처리 장치 및 방법에 관한 것이다.
최근 초고속 네트워크 기반의 온라인 소셜 서비스 및 대용량 멀티미디어 서비스의 급속한 발전이 이루어지고 있다. 이러한 온라인 소셜 서비스 및 대용량 멀티미디어 서비스에서 발생되는 데이터는 특정 형태로 정형화되지 않은 비정형데이터이다. 이러한 대용량의 비정형 데이터는 온라인 뿐만 아니라, 금융, 통신, 전력 등의 각 산업 분야에서도 계속적으로 발생되고 있다. 따라서, 이러한 비정형 데이터의 처리에 대한 관심이 크게 늘어나고 있다. 또한, 방대한 데이터량으로 인하여, 실시간 정보 분석 및 처리가 용이하지 않다.
한편, 다양한 산업용/가정용 센서에서 실시간으로 발생하는 수많은 정형 데이터 중 의미있는 정보만을 추출/분석하여, 특정 이벤트 발생 조건을 정의하고 이를 처리하는 이벤트 처리 기술이 최근 많은 관심을 받고 있다. 이러한 이벤트 처리를 위해 정형 데이터로부터 메타데이터를 구성하는 것이 필요하다. 한편, 이러한 이벤트 처리 기술을 비정형 데이터에 적용하기 위한 많은 노력이 이루어지고 있다. 그런데, 일반적인 정형데이터가 이름, 성별, 나이 등 각각의 데이터 목적에 맞는 속성을 갖고 있는 반면, 비정형데이터는 특정 속성 및 형식을 가지고 있지 않다. 따라서, 멀티미디어 기반의 비정형데이터는 특정한 속성을 가지지 않아, 저장 파일 및 스트리밍에서의 메타 데이터의 제공은 그 범위가 한정적이다. 또한, 각종 대용량 데이터 생성장치를 영상센서나 비정형데이터센서 장치의 일종으로 생각하면, 이러한 센서정보의 실시간 처리를 위해 복잡 이벤트 처리 장치를 시스템상에 구동하기 위하여, 정형데이터와 비정형데이터 간의 호환 및 동기화 문제를 어떻게 해결할 것인가에 대한 문제와, 영상데이터의 경우 적합한 특징 벡터 선택과 영상 내의 객체 기술(description) 문제 등을 어떠한 방식으로 해결할 것인가에 대한 문제 등이 발생한다.
본 발명은 정형화되어 있지 않은 대용량 데이터, 혹은 이미지나 비디오 등의 영상센서에서의 대용량 비정형 멀티미디어 데이터에 대하여, 메타데이터 정형화를 통한 실시간 이벤트 처리 장치 및 방법을 제공한다.
본 발명은 비정형 데이터의 실시간 이벤트 처리 장치로, 하나 이상의 비정형 데이터 센서들로부터 출력되는 비정형 데이터의 소정 특징 데이터를 추출하는 특징 추출부와, 상기 특징 추출부에서 수집된 비정형 데이터의 특징 데이터를 정형 데이터와 비정형 데이터의 속성을 모두 포함하는 메타데이터로 구성하는 메타데이터 구성부와, 상기 메타데이터 구성부에 의해 구성된 메타데이터를 분석하는 메타데이터 파서부와, 상기 메타데이터 파서부에 의해 분석된 결과에 의해 정의되는 이벤트 발생을 처리하는 이벤트 처리부를 포함한다.
본 발명은 비정형 데이터의 실시간 이벤트 처리 방법으로, 하나 이상의 비정형 데이터 센서들로부터 출력되는 비정형 데이터의 소정 특징 데이터를 추출하는 단계와, 상기 비정형 데이터의 특징 데이터를 정형 데이터와 비정형 데이터의 속성을 모두 포함하는 메타데이터로 구성하는 단계와, 상기 구성된 메타데이터를 분석하는 단계와, 상기 분석된 결과에 의해 정의되는 이벤트 발생을 처리하는 단계를 포함한다.
본 발명은 각종 비정형 데이터, 특히 멀티미디어 포맷의 데이터를 정형화된 메타 데이터로 새롭게 구성하여 처리함으로써, 정형데이터에서부터 비정형데이터까지 모든 데이터를 지원하는 실시간 이벤트 처리 장치를 구성할 수 있다. 즉, 기존의 산업용 센서에서 사용되는 정형화된 데이터뿐 아니라, SNS기반의 단발성 대용량 데이터나, 웹 데이터, 또는 대용량 멀티미디어 데이터 등에서도 실시간 정보 분석 및 처리 시스템을 통해 의미 있는 정보를 실시간으로 추출할 수 있음을 의미한다.
본 발명에서는 대규모 데이터 스트림에서의 주요 특징 정보를 먼저 추출하고, 추출된 주요 정보 내의 시공간 정보를 메타데이터로 새롭게 재구성하여 정형화 처리함으로써, 비단 일차원 수준의 데이터뿐 아니라, 음성데이터, 이차원 영상데이터, 삼차원 영상데이터 등을 폭넓게 수용 가능한 실시간 정보 분석 및 이벤트 처리 시스템의 개발이 가능하다. 이러한 메타데이터는 네트워크 기반의 분산시스템에서는 패킷 형태로 구성할 수 있으며, 단일 서버 기반에서는 XML기반의 태그 형식으로도 변환 구성할 수 있어, 다양한 시스템 환경에서 유연한 방식으로 대처가 가능하다.
도 1은 본 발명의 일 실시 예에 따른 비정형 데이터의 실시간 이벤트 처리 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 이벤트 처리를 위한 메타데이터 구성도이다.
도 3은 본 발명의 일 실시 예에 따라 비정형 데이터를 시간 코드 정형화 매핑을 설명하기 위한 도면이다.
도 4a 및 도 4b는 비정형 멀티미디어 데이터의 메타데이터 구성을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시 예에 따라 비정형 데이터의 실시간 이벤트 처리 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 비정형 데이터의 실시간 이벤트 처리 장치의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 비정형 데이터의 실시간 이벤트 처리 장치는 특징 추출부(110), 메타데이터 구성부(120), 메타데이터 DB(130), 메타데이터 파서부(140) 및 이벤트 처리부(150)를 포함한다. 부가적으로, 규칙 갱신부(160) 및 프로세스 관리부(170)를 더 포함할 수 있다.
정형 데이터 센서(10)는 온/습도 센서 등과 같이 정형화된 데이터를 발생시키는 센서이다. 이러한 정형 데이터 센서(10)인 일반적인 산업용/가정용 센서의 경우, 보통 초당 한두 개의 수치데이터가 발생한다. 전력 센서와 같이 정밀한 계측을 요구하는 장비조차 초당 수십~수백 개의 수치데이터가 발생하여 하루 종일 수 Kbyte의 데이터량이 발생된다.
하나 이상의 비정형 데이터 센서(20-1,...,20-n)는 블로그, 트위터 등의 SNS(Social network service) 데이터나 단발성 웹게시물처럼 특정 형태로 정형화되어 있지 않은 데이터를 발생시키는 센서이다. 이러한 비정형 데이터의 경우, 한번에 수십, 수백 Mbyte씩 발생되며, 대용량 멀티미디어 스트림도 HD급 영상의 경우 수십 Mbyte로 압축된 데이터가 실시간으로 발생된다.
특징 추출부(110)는 하나 이상의 비정형 데이터 센서들(20-1,...,20-n)로부터 출력되는 비정형데이터를 정형화시키기 위해서 먼저 고유의 특징을 추출한다. 이러한 특징은 웹게시물에서의 키워드, 태그 등의 속성값과 멀티미디어 데이터에서의 색상, 경계, 질감, 위치, 움직임 등을 포함한다. 이때, 특징 추출은 규칙 갱신부(160)를 통해 미리 설정된 추출 방법 또는 외부인터페이스를 통해 사용자에 의해 정의한 방법으로 처리될 수 있도록 수시로 갱신된다.
메타데이터 구성부(120)는 특징추출부(110)에서 수집된 비정형 데이터의 특징 데이터와 정형 데이터 센서(10)로부터 출력된 정형데이터 각각에서 중요 데이터를 선별하여 메타데이터를 구성한다. 여기서, 메타데이터는 정형데이터와 비정형데이터의 속성을 모두 표현하여 실시간 이벤트 처리가 가능하도록 작성된다. 그런데, 비정형 데이터는 중복 데이터가 많으므로, 데이터가 중복되지 않도록 추출/요약하여 중복된 메타데이터가 대량으로 발생하지 않도록 처리한다. 또한, 메타데이터 구성부(120)는 정형 데이터의 시간코드와 동기화되도록 비정형데이터의 시간코드의 발생 주기를 규칙적으로 변경하고, 중첩된 데이터는 페이로드에 다중속성값을 기술하여 동일 시간코드를 갖도록 구성한다. 이러한 메타데이터의 상세 구성에 대해서는 이하 도 2를 참조하여 살펴보기로 한다.
구성된 메타데이터는 패킷 형태로 네트워크를 통해 다른 네트워크 기기로 전송되거나, 메타데이터 DB(130)에 저장될 수 있다. 또는 실시간으로 이벤트 처리부(150)에 전달될 수도 있다.
메타데이터 파서부(140)는 메타데이터 구성부(120) 또는 메타데이터 DB(130)로부터 메타데이터를 추출하여 분석한 후, 분석 결과를 이벤트 처리부(150)에 입력한다. 즉, 메타데이터 파서부(140)는 동일 시스템 장치의 DB 또는 원격에서 전송되는 메타데이터를 실시간으로 구문 분석하여, 동일한 센서 별로 발생한 센싱 데이터만을 연속적으로 추출하고 이를 이벤트 처리부로 각각 입력한다.
이벤트 처리부(150)는 메타데이터 파서부(140)로부터 출력되는 분석 결과에 상응하는 이벤트가 발생되도록 처리한다. 즉, 이벤트 처리부(150)는 미리 입력된 처리 규칙에 따라 입력되는 센싱데이터 중 소정 규칙에 상응하는 데이터만을 선별하여 이벤트를 발생시키는 역할을 담당한다.
규칙갱신부(160)는 특징추출부(110)에 특징 데이터를 추출하는 소정 기준을 상기 특징 추출부에 등록 또는 갱신한다. 또한, 규칙갱신부(160)는 메타데이터구성부(120)에 상기 추출된 특징 데이터들 중 중요 데이터를 선별하는 소정 기준을 등록 또는 갱신한다. 또한, 규칙갱신부(160)는 메타데이터파서부(140)에 메타 데이터를 분석하는 파싱 규칙을 등록 또는 갱신한다. 또한, 규칙 갱신부(160)는 이벤트처리부(150)로는 메타데이터를 분석한 결과에 따라 정의되는 이벤트 처리 규칙을 등록 또는 갱신한다.
프로세스 관리부(170)는 규칙갱신부(160)를 통해 특징추출부(110)의 특징추출기법에 대한 On/Off 세팅을 수행하며, 메타데이터구성부(120)의 Mapped Time Stamp/Mapped Location Stamp 테이블을 갱신하고, 데이터 흐름을 제어한다. 또한, 프로세스 관리부(170)는 각 센서들을 등록하고, 이벤트가 발생되면 분석을 통해 센서를 제어한다.
도 2는 본 발명의 일 실시 예에 따른 이벤트 처리를 위한 메타데이터 구성도이다.
도 2를 참조하면, 메타 데이터는 정형 데이터와 비정형 데이터의 속성을 모두 포함한다.
정형 데이터 속성 정보로 Sensor ID, Sensor_description, GPS 및 Current Time Stamp이 포함될 수 있고, 비정형 데이터 속성 정보로 Feature_ID, Mapped Time Stamp, Mapped Location Stamp, Constant Index, Payload 및 Metadata Length가 포함될 수 있다.
Sensor ID는 정형 데이터 센서 및 비정형 데이터 센서를 식별하기 위한 ID이다. Sensor_description는 센서의 기능에 대한 설명으로, 예컨대, 온도 센서 또는 습도 센서 등이 될 수 있다. GPS는 센서가 위치하는 위치 정보로 GPS 좌표이고, Current Time Stamp는 센서에서 발생된 데이터의 실제 입력 시간이다.
Feature_ID는 추출되는 특징을 식별하기 위한 정보로, 웹게시물에서의 키워드, 태그 등의 속성자와 멀티미디어 데이터에서의 색상, 경계, 질감, 위치, 움직임 등의 특징자(Feature descriptor)를 표현하는 고유의 ID를 의미한다. Mapped Time Stamp는 정형 데이터의 데이터 표시시간과 비정형데이터의 데이터 표시시간을 동기화시키기 위한 정보이다. 이에 대해서는 도 3을 참조하여 하기에서 좀 더 상세히 설명하기로 한다.
Mapped Location Stamp는 멀티미디어 형태의 비정형데이터에서 해당 Feature_ID의 위치값을 지시한다.
Constant Index는 메타데이터의 연속성을 지시하는 것으로, 동일한 Mapped Time Stamp에서 하나 이상의 메타데이터가 발생할 경우, 연속성을 표시하기 위한 것으로 연속되는 메타데이터는 '1'로, 연속되지 않는 메타데이터는 '0'으로 표시한다. 예를 들어, 동일 시간에 5개가 연속되는 메타데이터에서의 Constant Index는 각 메타데이터에서 '1','1','1','1','0'으로 표시될 것이다.
Payload는 단일 속성(특징)값 또는 다중 속성(특징)값이 표시될 수 있으며, 시작/종료 지시자와 함께 기술된다. Payload의 끝은 Metadata Length에 의해 인지된다. 그리고, 실제 데이터 속성을 표시하는 Payload로 구분되며, 부수적으로 메타데이터의 전체 길이를 나타내는 Metadata Length 등이 있다.
도 3은 본 발명의 일 실시 예에 따라 비정형 데이터를 시간 코드 정형화 매핑을 설명하기 위한 도면이다.
도 3을 참조하면, 정형 데이터 발생 주기는 규칙적이고, 비정형 데이터 발생 주기는 불규칙적이다. 그리고, 정형 데이터의 크기는 일정하고, 비정형 데이터의 크기는 일정하지 않다. 한편, 멀티미디어 데이터의 경우 그 발생 주기가 규칙적이나, 매우 빈번하여 동일한 데이터가 반복적으로 발생된다.
본 발명의 실시 예에 따라, 메타데이터 구성부(120)는 정형 데이터와 같은 형태로 데이터가 주기적으로 발생되도록 비정형데이터를 변환 처리한다. 우선, 정형 데이터의 시간코드와 동기화되도록 비정형데이터의 시간코드의 발생 주기를 규칙적으로 변경하고, 중첩된 데이터는 페이로드에 다중속성값을 기술하여, 동일 시간코드를 갖도록 한다. 이때, 메타데이터 구성부(120)는 비정형 데이터의 중복 데이터를 주요 데이터 요약 기법을 통해 삭제 처리한다.
도 4a 및 도 4b는 비정형 멀티미디어 데이터의 메타데이터 구성을 설명하기 위한 예시도이다.
도 4a를 참조하면, 영상으로부터 동일한 Mapped Time Stamp를 갖는 세 개의 메타데이터들이 생성된다. 메타데이터 #1은 Feature ID가 'Color'이고, 그 속성값이 여러 개 추출되어 Payload에 기술되었다. 메타데이터 #2는 Feature ID가 'Shape'이고, 메타데이터 #3은 Feature ID가 'Motion'이다. 이러한 메타데이터들은 동일한 Mapped Time Stamp를 가지므로, Constant Index가 '1','1','0'으로 표현된다.
도 4b를 참조하면, 영상으로부터 동일한 Mapped Time Stamp를 갖는 세 개의 메타데이터들이 생성된다. 세 개의 메타 데이터들은 각각 Feature ID가 'Color'인데, Mapped Location Stamp가 각각 상이하다. 즉, 각 영역 d, e, f 에 대해서 메타데이터의 Mapped Location Stamp에 표시되어 있다. 이러한 영역표시는 내부 DB table로 인덱스하여 표현하는 것이 더 효과적이다. 이러한 메타데이터들은 동일한 Mapped Time Stamp를 가지므로, Constant Index가 '1','1','0'으로 표현된다.
도 5는 본 발명의 일 실시 예에 따라 비정형 데이터의 실시간 이벤트 처리 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 비정형 데이터의 실시간 이벤트 처리 장치는 510 단계에서 하나 이상의 하나 이상의 비정형 데이터 센서(20-1,...,20-n)로부터 출력되는 비정형데이터를 정형화시키기 위해서 먼저 고유의 특징을 추출한다. 여기서, 고유한 특징은 웹게시물에서의 키워드, 태그 등의 속성값과 멀티미디어 데이터에서의 색상, 경계, 질감, 위치, 움직임 등을 포함한다.
비정형 데이터의 실시간 이벤트 처리 장치는 520 단계에서 비정형 데이터의 특징 데이터와 정형 데이터 센서로부터 출력된 정형데이터 각각에서 중요 데이터를 선별하여 하나 이상의 메타데이터를 구성한다. 이때, 정형 데이터의 시간코드와 동기화되도록 비정형데이터의 시간코드의 발생 주기를 규칙적으로 변경하고, 중첩된 데이터는 페이로드에 다중속성값을 기술하여 동일 시간코드를 갖도록 구성한다. 비정형 데이터는 중복 데이터가 많기 때문에, 중복되지 않는 데이터만을 따로 추출/요약하여 중복된 메타데이터가 대량으로 발생하지 않도록 처리한다. 메타데이터의 구성은 도 2에 도시된 바와 같다.
비정형 데이터의 실시간 이벤트 처리 장치는 530 단계에서 구성된 메타데이터를 저장한다. 또는 패킷 형태로 네트워크를 통해 다른 네트워크 기기로 전송될 수도 있다.
비정형 데이터 실시간 이벤트 처리 장치는 540 단계에서 메타데이터를 분석하고, 550 단계에서 분석된 메타데이터에 따라 정의된 이벤트가 발생되도록 처리한다.
또한, 도면에는 도시되어 있지 않지만, 비정형 데이터 실시간 이벤트 처리 장치는 특징 데이터를 추출하는 소정 기준, 추출된 특징 데이터들 중 중요 데이터를 선별하는 소정 기준, 메타 데이터를 분석하는 파싱 규칙 및 메타데이터를 분석한 결과에 따라 정의되는 이벤트 처리 규칙 중 적어도 하나 이상을 수시로 등록 또는 갱신할 수 있다.

Claims (18)

  1. 하나 이상의 비정형 데이터 센서들로부터 출력되는 비정형 데이터의 소정 특징 데이터를 추출하는 특징 추출부와,
    상기 특징 추출부에서 수집된 비정형 데이터의 특징 데이터를 정형 데이터와 비정형 데이터의 속성을 모두 포함하는 메타데이터로 구성하는 메타데이터 구성부와,
    상기 메타데이터 구성부에 의해 구성된 메타데이터를 분석하여, 동일한 센서별로 발생된 센싱데이터들을 연속적으로 추출하는 메타데이터 파서부와,
    상기 메타데이터 파서부에 의해 추출된 센싱 데이터들 중 소정 규칙에 상응하는 데이터만을 선별하여 이벤트를 발생시키는 이벤트 처리부를 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  2. 제 1항에 있어서,
    메타데이터 DB를 더 포함하되,
    상기 메타데이터 구성부는 구성된 메타데이터를 상기 메타데이터 DB에 저장하고,
    상기 메타데이터 파서부는 상기 메타데이터 DB에 저장된 메타데이터를 검출하여 분석함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  3. 제 1항에 있어서,
    상기 특징 데이터를 추출하는 소정 기준을 상기 특징 추출부에 등록 또는 갱신하는 규칙 갱신부를 더 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  4. 제 1항에 있어서,
    상기 추출된 특징 데이터들 중 중요 데이터를 선별하는 소정 기준을 상기 메타데이터 구성부에 등록 또는 갱신하는 규칙 갱신부를 더 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  5. 제 1항에 있어서,
    상기 메타 데이터를 분석하는 파싱 규칙을 상기 메타데이터 파서부에 등록 또는 갱신하는 규칙 갱신부를 더 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  6. 제 1항에 있어서,
    상기 메타데이터를 분석한 결과에 따라 정의되는 이벤트 처리 규칙을 등록 또는 갱신하는 규칙 갱신부를 더 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  7. 제 7항에 있어서, 상기 메타데이터는
    비정형 데이터의 속성 정보로, 추출되는 특징 데이터를 식별하는 Feature_ID와, 비정형데이터의 데이터 표시 시간을 정형 데이터의 형태로 변형시킨 Mapped Time Stamp와, 단일 특징 데이터 또는 다중 특징 데이터가 표시될 수 있는 Payload, 멀티미디어 형태의 비정형데이터에서 해당 Feature_ID의 위치값을 지시하는 Mapped Location Stamp를 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  8. 제 7항에 있어서, 상기 비정형 데이터의 속성 정보로
    동일한 Mapped Time Stamp에서 하나 이상의 메타데이터가 발생할 경우, 연속성을 표시하기 위한 것으로 Constant Index를 더 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  9. 제 8항에 있어서, 상기 Constant Index는
    연속되는 메타데이터는 '1'로, 연속되지 않는 메타데이터는 '0'으로 표시함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  10. 제 7항에 있어서, 상기 메타데이터 구성부는
    정형 데이터의 시간코드와 동기화되도록 비정형데이터의 시간코드의 발생 주기를 규칙적으로 변경하고, 중복되는 데이터는 페이로드에 다중속성값을 기술하여 동일 시간코드를 갖도록 구성함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  11. 제 1항에 있어서, 상기 메타데이터 구성부는
    상기 비정형 데이터들 중 중복되는 데이터는 삭제함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 장치.
  12. 하나 이상의 비정형 데이터 센서들로부터 출력되는 비정형 데이터의 소정 특징 데이터를 추출하는 단계와,
    상기 비정형 데이터의 특징 데이터를 정형 데이터와 비정형 데이터의 속성을 모두 포함하는 메타데이터로 구성하는 단계와,
    상기 구성된 메타데이터를 분석하는 단계와,
    상기 분석된 결과에 의해 정의되는 이벤트 발생을 처리하는 단계를 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 방법.
  13. 제 12항에 있어서,
    상기 특징 데이터를 추출하는 소정 기준을 등록 또는 갱신하는 단계를 더 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 방법.
  14. 제 12항에 있어서,
    상기 추출된 특징 데이터들 중 중요 데이터를 선별하는 소정 기준을 등록 또는 갱신하는 단계를 더 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 방법.
  15. 제 12항에 있어서,
    상기 메타 데이터를 분석하는 파싱 규칙을 등록 또는 갱신하는 단계를 더 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 방법.
  16. 제 12항에 있어서,
    상기 메타데이터를 분석한 결과에 따라 정의되는 이벤트 처리 규칙을 등록 또는 갱신하는 단계를 더 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 방법.
  17. 제 12항에 있어서, 상기 메타데이터를 구성하는 단계는
    정형 데이터의 시간코드와 동기화되도록 비정형데이터의 시간코드의 발생 주기를 규칙적으로 변경하고, 중첩된 데이터는 페이로드에 다중속성값을 기술하여 동일 시간코드를 갖도록 구성함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 방법.
  18. 제 12항에 있어서, 상기 메타데이터를 구성하는 단계는
    상기 비정형 데이터들 중 중복되는 데이터는 삭제하는 단계를 포함함을 특징으로 하는 비정형 데이터의 실시간 이벤트 처리 방법.
KR1020120104645A 2012-09-20 2012-09-20 비정형 데이터의 실시간 이벤트 처리 장치 및 방법 KR20140038206A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120104645A KR20140038206A (ko) 2012-09-20 2012-09-20 비정형 데이터의 실시간 이벤트 처리 장치 및 방법
US13/911,219 US20140082002A1 (en) 2012-09-20 2013-06-06 Apparatus and method for processing unstructured data event in real time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120104645A KR20140038206A (ko) 2012-09-20 2012-09-20 비정형 데이터의 실시간 이벤트 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140038206A true KR20140038206A (ko) 2014-03-28

Family

ID=50275561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120104645A KR20140038206A (ko) 2012-09-20 2012-09-20 비정형 데이터의 실시간 이벤트 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US20140082002A1 (ko)
KR (1) KR20140038206A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142109A1 (ko) * 2016-02-17 2017-08-24 한국과학기술정보연구원 비정형 텍스트 추출 성능 향상을 위한 시스템 및 방법
KR20190074047A (ko) * 2017-12-19 2019-06-27 한국산업기술대학교산학협력단 오프셋 기반의 데이터 전송 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160203142A1 (en) * 2013-08-29 2016-07-14 Cognitee Inc. Information processing apparatus, information processing method and non-transitory computer readable information recording medium
KR101568346B1 (ko) * 2014-03-28 2015-11-12 주식회사 솔트룩스 비정형 데이터 기반 무한 진화형 자가 학습 지식 획득 시스템
US11487779B2 (en) * 2014-11-05 2022-11-01 Sap Se Virtual function as query operator
US9952962B2 (en) * 2015-03-26 2018-04-24 International Business Machines Corporation Increasing accuracy of traceability links and structured data
CN107025292A (zh) * 2017-04-14 2017-08-08 国网江苏省电力公司无锡供电公司 面向变电站内视频与异构传感器的结构化描述方法
US10817490B2 (en) * 2017-04-28 2020-10-27 Microsoft Technology Licensing, Llc Parser for schema-free data exchange format
US10884996B1 (en) * 2018-02-27 2021-01-05 NTT DATA Services, LLC Systems and methods for optimizing automatic schema-based metadata generation
KR102411081B1 (ko) * 2021-08-05 2022-06-22 주식회사 와이즈넛 유사도 기반의 연관 데이터 추천 시스템 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
US20040143602A1 (en) * 2002-10-18 2004-07-22 Antonio Ruiz Apparatus, system and method for automated and adaptive digital image/video surveillance for events and configurations using a rich multimedia relational database
US9071819B2 (en) * 2010-03-23 2015-06-30 Exelis Inc. System and method for providing temporal-spatial registration of images
US8651293B2 (en) * 2010-04-22 2014-02-18 Gear Grid, LLC Single and double door storage rack
US8838516B2 (en) * 2012-03-06 2014-09-16 Samsung Electronics Co., Ltd. Near real-time analysis of dynamic social and sensor data to interpret user situation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142109A1 (ko) * 2016-02-17 2017-08-24 한국과학기술정보연구원 비정형 텍스트 추출 성능 향상을 위한 시스템 및 방법
KR20190074047A (ko) * 2017-12-19 2019-06-27 한국산업기술대학교산학협력단 오프셋 기반의 데이터 전송 방법 및 장치

Also Published As

Publication number Publication date
US20140082002A1 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
KR20140038206A (ko) 비정형 데이터의 실시간 이벤트 처리 장치 및 방법
CN104410720B (zh) 一种基于web图形的实时监控平台系统及其方法
EP2557504A1 (en) Database management method, computer, sensor network system and database search program
CN109726074A (zh) 日志处理方法、装置、计算机设备和存储介质
CN109213747B (zh) 一种数据管理方法及装置
Le-Phuoc et al. A middleware framework for scalable management of linked streams
JP6764115B2 (ja) 表示プログラム、表示方法および表示装置
CN105162627B (zh) 发现与呈现网络应用访问信息的方法和系统
CN105740303B (zh) 改进的对象存储的方法及装置
US9910870B2 (en) System and method for creating data models from complex raw log files
US11275944B1 (en) External asset database management in an extended reality environment
CN110955652B (zh) 一种用于进行数据展示的系统及方法
CN104978438A (zh) 基于日志的实时分析方法及系统
CN105227367A (zh) 一种低延迟的告警解析处理方法
CN112256880A (zh) 文本识别方法和装置、存储介质及电子设备
CN101719146B (zh) 地理信息应用分析模型的动态图形化方法和装置
CN110442791B (zh) 数据推送方法和系统
CN109360106A (zh) 画像构建方法、系统、介质和计算机系统
CN106294345B (zh) 应用程序的日志内容的处理方法和装置
US12112010B1 (en) Data visualization in an extended reality environment
US20230077605A1 (en) Computerized system and method for electronically generating a dynamically visualized hierarchical representation of electronic information
US10055110B2 (en) Simulating a user interface to submit data received from a device
CN104408890B (zh) 电力系统的告警处理方法及装置
CN116708178A (zh) 网络设备变更历史的回溯方法、装置、设备、介质及产品
CN104036028A (zh) 一种电子文档信息片段的处理系统与电子文档信息片段的生成、处理、差异化显示的方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120920

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid