KR20180061891A - 로그 생성기 및 그를 포함하는 빅 데이터 분석 전처리 시스템 - Google Patents

Abstract

본 발명은 빅 데이터 분석 전처리 시스템에 관한 것으로, 특히 빅 데이터 분석 시스템 개발 및 구축을 위해 필요한 로그 데이터를 생성하는 로그 생성기와 그를 포함하는 빅 데이터 분석 전처리 시스템에 관한 것으로, 상기 전처리 시스템은 사용자에 의해 정의되는 각각의 템플릿 문자열에 기초하여 다양한 포맷의 로그 데이터를 생성하는 로그 생성기와, 상기 로그 생성기에 의해 생성된 혹은 외부 장치에서 제공되는 비정형화된 포맷의 로그 데이터를 수집하기 위한 로그 데이터 수집부와, UI 상에서 사용자가 지정하는 변환함수에 의해 식별되는 필드의 문자열들만을 상기 수집된 비정형화된 포맷의 로그 데이터에서 추출하고, 추출된 필드의 문자열 중 사용자에 의해 선택된 필드의 문자열들을 상기 UI 상에서 사용자가 입력한 구분자로 구분해 놓은 정규화 포맷으로 생성하기 위한 데이터 정규화부와, 상기 생성된 정규화 포맷을 구성하는 각 필드 문자열들을 구분자에 따라 파싱하고, 상기 파싱된 각 필드 문자열들의 속성정보를 상기 UI 상에서 사용자에 의해 새로이 부여받아 매핑 저장하기 위한 필드 매핑부를 포함함을 특징으로 한다.

Description

로그 생성기 및 그를 포함하는 빅 데이터 분석 전처리 시스템{LOG GENERATOR AND BIG DATA ANALYSIS PREPROCESSING SYSTEM INCLUDING THE LOG GENERATOR}

본 발명은 빅 데이터 분석 전처리 시스템에 관한 것으로, 특히 빅 데이터 분석 시스템 개발 및 구축을 위해 필요한 로그 데이터를 생성하는 로그 생성기와 그를 포함하는 빅 데이터 분석 전처리 시스템에 관한 것이다.

로그(log)는 '이벤트' 또는 '히스토리'라고도 하며, 시스템의 활동 사항이나 작업 처리 내용이 기록된 데이터를 말하는 것으로, 누가 언제 어디서 접속했는지, 작업에서 사용된 중앙 처리장치의 시간, 입출력 장치의 사용시간, 수행시킨 명령어, 시작시각과 종료시각 등에 관한 정보를 비롯해서 컴퓨터 체계의 운용에 대한 모든 것이 기록되어 있는 정보이다. 그러므로 이러한 로그를 분석하여 유용한 정보로서 활용을 하게 된다.

예를 들어 컴퓨터 시스템에 해킹사고가 발생했다면 로그파일을 근거로 사고원인과 해커를 추적할 수 있으며, 통신과정에 발생하는 트래픽을 분석하여 적절한 통신선로의 선택과 트래픽 분산정책을 입안할 수 있고, 쇼핑몰 등에서는 접속자 및 거래된 상품을 분석함으로써 컨텐츠에 대한 호응도 또는 상품에 대한 선호도를 판단하여 유용한 영업자료로서 활용할 수 있다. 또한 인/아웃 바운드 접속데이터를 분석하여 부적절한 접속이나 유용한 자료 또는 영업비밀의 유출이 있는지 여부를 파악할 수 있다.

그러나 로그 데이터의 포맷은 운영 주체 및 시스템에 따라 서로 상이하고 다양한 형태의 포맷으로 이루어져 있으며, 동일한 시스템이라고 하더라도 시스템의 업그레이드 또는 하드웨어의 변경 등에 의해 변화될 수 있는 비정형 형태로 이루어져 있는 것이 일반적이다. 이에 로그 데이터를 해독하기 위해서는 시스템 제공자가 제공한 매뉴얼을 참고하여 해독하거나, 시스템 개발자나 응용 시스템 개발자가 해독 프로그램을 개발하여 사용자나 관리자가 인식하기 용이한 데이터로 변환해 주어야 한다.

하지만 매뉴얼을 참고하여 로그를 해독하는 방법은 상당한 시간 및 숙련도가 요구되며, 해독 프로그램을 이용하는 경우에는 로그 데이터 포맷 변환시 마다 그에 맞춰 해독 프로그램을 수정하거나 새로이 변경해야만 하는 문제가 발생한다.

이에 운영 주체 및 시스템에 따라 서로 상이하고 다양한 형태의 포맷을 가지는 로그 데이터를 유저 인터페이스를 통해 편리하게 정형화하고 이를 고객이 요구하는 데이터 포맷으로 전처리할 수 있는 빅 데이터 분석 전처리 시스템이 개발된다면, 로그 데이터 해석을 위한 별도의 프로그램 혹은 로그 데이터를 고객이 요구하는 데이터로 변환하기 위한 시간과 인적, 물적 자원을 경감할 수 있을 것이다.

또한 운영 주체 및 시스템에 따라 서로 상이하고 다양한 형태의 포맷을 가지는 로그 데이터를 정형화할 수 있는 빅 데이터 분석 전처리 시스템을 개발하려면 우선적으로 소스(source)에 해당하는 다양한 형태의 포맷을 가지는 로그 데이터가 존재해야 한다. 그러나 이러한 로그 데이터는 개인정보 보호, 사내 기밀 유지 등 다양한 이유로 빅 데이터 분석 전처리 시스템 개발 전에 로그 데이터 제공업체로부터 제공받기 어렵다.

이에 비정형화된 혹은 정형화된 다양한 형태의 포맷 혹은 다양한 형태의 시나리오를 가지는 로그 데이터를 인위적으로 생성해 주는 시스템이 개발된다면 고객의 니즈에 맞는 보다 강력한 형태의 빅 데이터 분석 전처리 시스템 및 빅 데이터 분석 시스템을 개발할 수 있을 것이다.

대한민국 등록특허공보 제10-1463974호

이에 본 발명은 상술한 필요성에 따라 창안된 발명으로써, 본 발명의 주요 목적은 다양한 형태의 시나리오를 가지는 가상의 로그 데이터를 유저 인터페이스를 통해 편리하게 자동 생성하도록 할 수 있는 로그 생성기 및 그를 포함하는 빅 데이터 분석 전처리 시스템을 제공함에 있으며,

더 나아가 본 발명의 또 다른 목적은 다양한 형태의 시나리오를 가지는 가상의 로그 데이터를 자동 생성하되, 로그 데이터 발생빈도까지 설정할 수 있는 로그 생성기 및 그를 포함하는 빅 데이터 분석 전처리 시스템을 제공함에 있다.

또한 본 발명의 다른 목적은 가상의 로그 데이터들을 생성하여 로그 데이터 풀(pool)을 만들고, 만들어진 로그 데이터 풀의 데이터를 기준으로 새로운 로그 데이터를 생성할 수 있는 로그 생성기 및 그를 포함하는 빅 데이터 분석 전처리 시스템을 제공함에 있다.

더 나아가 본 발명의 또 다른 목적은 운영 주체 및 시스템에 따라 서로 상이하고 다양한 형태의 포맷을 가지는 로그 데이터를 유저 인터페이스를 통해 편리하게 정형화하고 이를 고객이 요구하는 데이터 포맷으로 변환할 수 있는 빅 데이터 분석 전처리 시스템을 제공함에 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 로그 생성기는,

다양한 포맷의 로그 데이터 생성을 위한 템플릿을 정의하기 위해 필요한 템플릿 리스트를 UI 상에 표시하기 위한 템플릿 리스트 제공부와,

상기 템플릿 리스트에서 선택된 하나의 템플릿을 구성할 아이템들을 규정하기 위한 아이템 리스트를 상기 UI 상에 표시하기 위한 아이템 제공부와,

선택된 아이템의 속성값을 입력하기 위한 입력창을 상기 UI 상에 표시하되, 사용자에 의해 선택된 템플릿과 그 선택된 템플릿을 구성하도록 규정된 하나 이상의 아이템 및 각 아이템의 속성값들을 하나의 템플릿 문자열로 상기 UI 상에 표시하기 위한 문자열 표시창 제공부와,

상기 문자열 표시창에 표시된 템플릿 문자열 혹은 저장된 템플릿 문자열에 기초하여 로그 데이터를 생성하는 로그 데이터 생성부를 포함함을 특징으로 하며,

더 나아가 상기 생성된 로그 데이터를 파일로 저장하거나 DB에 저장하는 로그 데이터 저장부를 더 포함함을 또 다른 특징으로 한다.

상술한 구성의 로그 생성기에서 상기 아이템의 속성값은 아이템의 발생확률을 규정하기 위한 가중치와 아이템 타입 및 변수값을 포함함을 도 다른 특징으로 하며,

상기 로그 데이터 생성부는 하나 이상의 템플릿 문자열에 기초하여 로그 데이터를 생성하되, 사용자가 지정한 발생빈도 혹은 사용자가 지정한 특정 시간에 맞춰 로그 데이터를 생성함을 또 다른 특징으로 한다.

더 나아가 상기 템플릿 리스트 제공부는,

적어도 방화벽 로그 생성 템플릿, VOD 로그 생성 템플릿, 카드거래 로그 생성 템플릿, 사용자 정의 템플릿 중 하나 이상을 포함하는 템플릿 리스트를 제공함을 특징으로 한다.

한편 본 발명의 또 다른 실시예에 따른 빅 데이터 분석 전처리 시스템은 빅 데이터 분석 시스템의 전단에 위치하는 전처리 시스템으로서,

사용자에 의해 정의되는 각각의 템플릿 문자열에 기초하여 다양한 포맷의 로그 데이터를 생성하는 로그 생성기와,

상기 로그 생성기에 의해 생성된 혹은 외부 장치에서 제공되는 비정형화된 포맷의 로그 데이터를 수집하기 위한 로그 데이터 수집부와,

UI 상에서 사용자가 지정하는 변환함수에 의해 식별되는 필드의 문자열들만을 상기 수집된 비정형화된 포맷의 로그 데이터에서 추출하고, 추출된 필드의 문자열 중 사용자에 의해 선택된 필드의 문자열들을 상기 UI 상에서 사용자가 입력한 구분자로 구분해 놓은 정규화 포맷으로 생성하기 위한 데이터 정규화부와,

상기 생성된 정규화 포맷을 구성하는 각 필드 문자열들을 구분자에 따라 파싱하고, 상기 파싱된 각 필드 문자열들의 속성정보를 상기 UI 상에서 사용자에 의해 새로이 부여받아 저장하기 위한 필드 매핑부를 포함함을 특징으로 한다.

이러한 빅 데이터 분석 전처리 시스템의 로그 생성기는,

다양한 포맷의 로그 데이터 생성을 위한 템플릿을 정의하기 위해 필요한 템플릿 리스트를 UI 상에 표시하기 위한 템플릿 리스트 제공부와,

상기 템플릿 리스트에서 선택된 하나의 템플릿을 구성할 아이템들을 규정하기 위한 아이템 리스트를 상기 UI 상에 표시하기 위한 아이템 제공부와,

선택된 아이템의 속성값을 입력하기 위한 입력창을 상기 UI 상에 표시하되, 사용자에 의해 선택된 템플릿과 그 선택된 템플릿을 구성하도록 규정된 하나 이상의 아이템 및 각 아이템의 속성값들을 하나의 템플릿 문자열로 상기 UI 상에 표시하기 위한 문자열 표시창 제공부와,

상기 문자열 표시창에 표시된 템플릿 문자열 혹은 저장된 템플릿 문자열에 기초하여 로그 데이터를 생성하는 로그 데이터 생성부를 포함함을 특징으로 하며,

경우에 따라서는 상기 생성된 로그 데이터를 파일로 저장하거나 DB에 저장하는 로그 데이터 저장부를 더 포함함을 또 다른 특징으로 한다.

본 발명의 실시예에 따른 로그 생성기를 이용하게 되면, 간편하게 로그 생성을 위한 템플릿을 구성할 수 있음은 물론, 다양한 로그 데이터 생성용 템플릿을 제공할 수 있는 효과가 있으며, 무엇보다 사용자가 다양한 시나리오(예를 들면, 특정 시간대에 특정 고객의 카드사용 이벤트 발생, 디도스 공격 시나리오 등)를 구성하여 다양한 형태의 로그 데이터를 생성할 수 있는 이점이 있다.

또한 본 발명의 실시예에 따른 로그 생성기는 사용자가 정의할 수 있는 템플릿을 규정해 놓았기 때문에, 고객사에 맞춰 로그 데이터 생성이 가능한 장점이 있으며, 한글이름, 남녀이름, 영문이름, 주민번호, 카드번호, ID, IP주소, MAC 주소, 패스워드, 이메일 주소 등을 기본 아이템으로 제공하기 때문에 템플릿 문자열 생성시 사용자 편의성을 제공해 주는 효과도 있다.

또한, 본 발명의 실시예에 따른 로그 생성기를 빅 데이터 분석 전처리 시스템에 탑재하여 운영 가능하기 때문에, 외부 업체로부터 로그 데이터를 제공받지 않고서도 빅 데이터 분석 전처리 시스템의 개발 및 테스트에 활용할 수 있는 이점이 있으며, 로그 생성기를 포함하는 빅 데이터 분석 전처리 시스템은 운영 주체 및 시스템에 따라 서로 상이하고 다양한 형태의 포맷을 가지는 로그 데이터를 유저 인터페이스를 통해 편리하게 정형화하고 이를 고객이 요구하는 데이터 포맷으로 변환할 수 있는 이점이 있다.

도 1은 본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템의 구성 예시도.
도 2는 도 1에 도시한 로그 생성기(218)의 상세 구성 예시도.
도 3은 본 발명의 실시예에 따른 로그 데이터 전처리 과정을 부연 설명하기 위한 UI 화면 예시도.
도 4 및 도 5는 본 발명의 실시예에 따른 로그 데이터 정규화 처리 과정을 부연 설명하기 위한 UI 화면 예시도.
도 6은 본 발명의 실시예에 따라 정규화 포맷으로 생성된 데이터를 필드 매핑하기 위한 과정을 부연 설명하기 위한 UI 화면 예시도.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

또한 본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

아울러 본 발명의 실시예를 설명함에 있어 관련된 공지 기능 혹은 구성과 같은 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다. 참고적으로 본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템은 일련의 프로그램 데이터들의 집합체로서 컴퓨터 시스템에 설치되어 실행 가능한 응용 프로그램으로 구현 가능하다.

도 1은 본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템의 구성도를 예시한 것으로, 보다 상세하게는 본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템은 도 1에 도시한 바와 같이 빅 데이터 분석 시스템(200)에 포함되는 로그 데이터 수집부(212)와 빅 데이터 분석 전처리부를 포함하는 개념으로 해석하는 것이 바람직하다 할 것이다.

본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템은 도 1에 도시한 바와 같이 로그 생성기(218)에 의해 생성된 혹은 외부 장치에 해당하는 로그 데이터 제공부 1,2(100,110)에서 제공하는 비정형화된 포맷의 로그 데이터를 수집하기 위한 로그 데이터 수집부(212)를 포함한다.

상기 로그 데이터 제공부 1,2(100,110)는 운영정보(등록, 구매 등), 로그 정보(시스템, 네트워크, 보안 등)와 같이 대량발생 정보는 물론, 가입자 정보, 메타정보 등과 같이 소량발생 정보를 로그 데이터로 제공하는 업체의 로그 데이터 제공부를 나타낸 것이다. 각 업체의 로그 데이터는 정형화되어 있지 않기 때문에, 빅 데이터 분석 전처리 시스템에서는 이를 정형화된 포맷의 데이터로 변환하는 과정이 필요하다.

이를 위해 본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템은,

UI(User Interface) 상에서 사용자가 지정하는 변환함수에 의해 식별되는 필드의 문자열들만을 수집된 비정형화된 포맷의 로그 데이터에서 추출하고, 추출된 필드의 문자열 중 사용자에 의해 선택된 필드의 문자열들을 상기 UI 상에서 사용자가 입력한 구분자로 구분해 놓은 정규화 포맷으로 생성해 주는 데이터 정규화부(214)와,

데이터 정규화부(214)에서 생성된 정규화 포맷을 구성하는 각 필드 문자열들을 구분자에 따라 파싱(parsing)하고, 상기 파싱된 각 필드 문자열들의 속성정보(필드명, 필드 표시명, 내부 변환방식, 필드타입, 변환 포맷, 검색/분석 기능 선택여부 등)를 상기 UI 상에서 사용자에 의해 새로이 부여받아 매핑 저장하기 위한 필드 매핑부(216)를 포함한다.

더 나아가 본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템은 시스템을 개발하거나 테스트할 경우 로그 데이터가 필요하다. 이를 위해 로그 데이터 제공부 1, 2(100,110)의 지원 없이 자체적으로 로그 데이터를 생성하여 이용할 수 있는 로그 생성기(218)를 더 포함할 수 있다.

로그 생성기(218)는 사용자에 의해 정의되는 각각의 템플릿 문자열에 기초하여 다양한 포맷의 로그 데이터를 생성한다. 이러한 로그 생성기(218)는 도 2에 도시한 바와 같이,

다양한 포맷의 로그 데이터 생성을 위한 템플릿을 정의하기 위해 필요한 템플릿 리스트를 UI 상에 표시하기 위한 템플릿 리스트 제공부(218-1)와,

상기 템플릿 리스트에서 선택된 하나의 템플릿을 구성할 아이템들을 규정하기 위한 아이템 리스트를 상기 UI 상에 표시하기 위한 아이템 제공부(218-2)와,

선택된 아이템의 속성값을 입력하기 위한 입력창을 상기 UI 상에 표시하되, 사용자에 의해 선택된 템플릿과 그 선택된 템플릿을 구성하도록 규정된 하나 이상의 아이템 및 각 아이템의 속성값들을 하나의 템플릿 문자열로 상기 UI 상에 표시하기 위한 문자열 표시창 제공부(218-3)와,

상기 문자열 표시창에 표시된 템플릿 문자열 혹은 저장된 템플릿 문자열에 기초하여 로그 데이터를 생성하는 로그 데이터 생성부(218-4)를 포함하며,

상기 생성된 로그 데이터를 파일로 저장하거나 DB에 저장하는 로그 데이터 저장부(218-5)를 더 포함할 수 있다.

참고적으로 상기 로그 데이터 생성부(218-4)는 하나 이상의 템플릿 문자열에 기초하여 로그 데이터를 생성하되, 사용자가 지정한 발생빈도(예를 들면 초당 n번) 혹은 사용자가 지정한 특정 시간에 맞춰 로그 데이터를 생성할 수도 있다.

그리고 템플릿 리스트 제공부(218-1)는 적어도 고객사에 맞춰 방화벽 로그 생성 템플릿, VOD 로그 생성 템플릿, 카드거래 로그 생성 템플릿, 사용자 정의 템플릿 중 하나 이상을 포함하는 템플릿 리스트를 제공할 수 있으며,

템플릿을 구성하는 아이템의 속성값은 아이템의 발생확률을 규정하기 위한 가중치와 아이템 타입(NUM, MAP, IP, STR, CHAR, TIME,..) 및 변수값(예를 들면, 문자열, 값의 범위, 문자, 타임 포맷, locale,..)을 포함한다.

상술한 바와 같은 로그 데이터 수집부(212)와 빅 데이터 분석 전처리부(214,216,218)를 포함하는 빅 데이터 분석 전처리 시스템은 정보 저장부(250), 실시간 검색/분석부(220), 실시간 고속 조회부(230), 실시간 모니터링부(240)와 함께 빅 데이터 분석 시스템(200)을 구성한다.

정보 저장부(250)는 빅 데이터 분석 전처리부에서 처리된 정형화된 포맷(로그 데이터 포맷과 대비하여 정형화된 혹은 정규화 포맷이라 명명할 수 있다)의 문자열 데이터가 저장될 수 있으며, 사용자에 의해 정의된 필드 매핑된 데이터, 로그 생성을 위해 사용자에 의해 정의된 템플릿 문자열 등이 저장된다.

실시간 검색/분석부(220)는 일반적인 빅 데이터 분석 시스템에서와 같이 수집된 로그 데이터 혹은 전처리된 정규화 포맷의 문자열 데이터를 분석 프로세스에 따라 검색 및 분석하거나 통계 처리하여 제공해 주는 역할을 수행하며,

실시간 고속 조회부(230) 역시 사용자 명령에 따르는 정보 혹은 데이터를 고속 조회하여 제공해 준다.

실시간 모니터링부(240)는 실시간 검색/분석부(220) 혹은 실시간 고속 조회부(230)에 의해 검색, 분석, 통계, 조회된 결과를 사용자 UI 상에 표시해 주는 역할을 수행한다.

이하 로그 생성기(218)의 동작을 보다 상세히 설명하기로 한다.

우선 사용자는 본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템을 실행시킨 후 초기 화면에서 제공하는 UI 상의 메뉴를 통해 로그 생성기(218)를 선택한다.

로그 생성기(218) 선택에 응답하여 템플릿 리스트 제공부(218-1)는 다양한 포맷의 로그 데이터 생성을 위한 템플릿을 사용자가 정의할 수 있도록 템플릿 리스트를 UI 상에 표시해 준다. 템플릿 리스트에는 고객사의 종류에 맞게 미리 방화벽 로그 생성 템플릿, VOD 로그 생성 템플릿, 카드거래 로그 생성 템플릿 등과 사용자가 직접 정의하여 사용할 수 있는 사용자 정의 템플릿 중 하나 이상을 포함한다. 이에 사용자는 하나의 템플릿을 템플릿 리스트에서 선택할 수 있다.

템플릿이 선택되면 아이템 제공부(218-2)는 선택된 템플릿을 구성할 아이템들을 규정하기 위한 아이템 리스트를 UI 상에 표시해 줌으로써, 사용자는 예를 들어 VOD 로그 생성 템플릿을 구성하는 아이템이 하나 이상 포함되도록 규정할 수 있는 것이다.

아이템 리스트에서 아이템이 선택되면 문자열 표시창 제공부(218-3)는 선택된 아이템의 속성값, 즉 선택 아이템에 대한 발생확률을 규정하기 위한 가중치(예를 들면, 10, 40, 5,.와 같이)와 아이템 타입(NUM, MAP, IP, STR, CHAR, TIME,..) 및 변수값(예를 들면, 문자열, 값의 범위, 문자, 타임 포맷, locale,..)을 입력하기 위한 입력창을 UI 상에 표시하되, 사용자에 의해 선택된 템플릿과 그 선택된 템플릿을 구성하도록 규정된 하나 이상의 아이템 및 각 아이템의 속성값들을 하나의 템플릿 문자열로 상기 UI 상에 함께 표시해 준다.

따라서 사용자는 문자열 표시창 제공부(218-3)를 통해 자신이 규정하는 각 템플릿의 문자열들을 체크해 가면서 템플릿 문자열을 만들 수 있다.

사용자에 의해 특정한 포맷을 가지는 로그를 생성하기 위한 템플릿 문자열 조합이 완성되면 사용자의 실행 명령에 의해 로그 데이터 생성부(218-4)는 상기 문자열 표시창에 표시된 템플릿 문자열에 기초하여 로그 데이터를 생성한다. 이러한 로그 데이터는 후술할 로그 데이터 수집부(212)로 전달되어 후술할 빅 데이터 분석 전처리부에서 사용될 수 있으며, 파일로 저장되거나 DB 파일로 저장되어 사용될 수 있다. 즉, 템플릿 문자열 조합이 완성되면 사용자의 저장 명령에 의해 로그 데이터 저장부(218-5)는 생성된 로그 데이터를 파일로 저장하거나 DB에 저장할 수 있다. 물론 사용자가 정의하여 완성된 하나 이상의 템플릿 문자열들을 저장하되, 사용자가 지정한 특정 시간 혹은 사용자가 지정한 발생빈도 정보와 함께 저장해 놓음으로써, 사용자가 지정한 특정 시간 혹은 지정한 발생빈도에 맞춰 로그 데이터가 생성되도록 할 수도 있다.

상술한 바와 같은 본 발명의 실시예에 따른 로그 생성기(218)를 이용하게 되면, 간편하게 로그 생성을 위한 템플릿을 구성할 수 있음은 물론, 다양한 로그 데이터 생성용 템플릿을 제공할 수 있는 효과가 있고, 무엇보다 사용자가 다양한 시나리오(예를 들면, 특정 시간대에 특정 고객의 카드사용 이벤트 발생, 디도스 공격 시나리오 등)를 구성하여 다양한 형태의 로그 데이터를 생성할 수 있는 이점이 있다. 또한 시간대별로 로그 데이터의 발생빈도를 다르게 지정할 수 있으며, 초당 10,000건과 같이 정확한 발생빈도를 지정하여 로그 데이터를 생성할 수 있으며, 한글이름, 남녀이름, 영문이름, 주민번호, 카드번호, ID, IP주소, MAC 주소, 패스워드, 이메일 주소 등을 기본적으로 제공하는 아이템 리스트에 포함시켜 템플릿 문자열 생성에 편의성을 제공해 줄 수도 있다. 또한 템플릿을 구성하는 아이템 간의 연관성을 부여(예를 들면 성별이 남자이면 주민번호 뒷자리의 시작값을 "1"로 자동 지정하는 것과 같이)할 수 있는 기능도 추가할 수 있다.

이하 상술한 로그 생성기(218)를 포함하는 빅 데이터 분석 전처리부의 동작을 첨부 도면을 참조하여 설명하면,

도 3은 본 발명의 실시예에 따른 로그 데이터 전처리 과정을 부연 설명하기 위한 UI 화면을 예시한 것이며, 도 4 및 도 5는 본 발명의 실시예에 따른 로그 데이터 정규화 처리 과정을 부연 설명하기 위한 UI 화면을, 도 6은 본 발명의 실시예에 따라 정규화 포맷으로 생성된 데이터를 필드 매핑하기 위한 과정을 부연 설명하기 위한 UI 화면을 각각 예시한 것이다.

도 3을 참조하면, 우선 사용자는 본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템을 실행시킨 후 도 3에 도시한 바와 같은 초기 화면에서 제공하는 UI 상의 '연동설정' 메뉴를 통해 '데이터 전처리', '포맷변경 정규화'를 선택한다. '포맷변경 정규화' 이후에는 '필드 매핑'을 선택할 수 있다.

사용자에 의해 '포맷변경 정규화'가 선택되기 전에 비정형화 형태를 가지는 로그 데이터의 선택이 이루어져야 한다. 이러한 로그 데이터의 선택은 도 3에 도시된 '데이터 포맷' 나열 표시창에서 선택할 수 있다. 상기 '데이터 포맷'은 정규화되지 않은, 즉 수집된 로그 데이터를 나타낸 것이다. 수집된 로그 데이터는 본 발명의 실시예에 따른 로그 생성기(218)에서 생성된 로그 데이터일 수 있으며, 로그 데이터 제공부 1,2(100,110)로부터 수집된 로그 데이터일 수 있다.

사용자에 의해 로그 데이터 선택 및 '포맷변경 정규화'가 선택되면, 데이터 정규화부(214)는 도 4에 도시한 바와 같은 UI 화면을 표시한다. 도 4에 도시한 UI 화면 상단에 표기된 로그 포맷에는 도 3에서 설명한 데이터 포맷, 즉 사용자에 의해 선택된 로그 데이터 문자열이 표시된다. 이러한 로그 데이터는 비정형화된 포맷의 문자열이기에 사용자는 자신이 원하는 필드의 문자열들만을 추출하기 위해 로그 데이터를 관찰한다. 관찰 이후 사용자는 도 4에 도시한 UI 상에서 사용자가 선택할 수 있는 변환함수를 선택하면, 데이터 정규화부(214)는 사용자에 의해 선택된 변환함수(예를 들면 도 4에서 split)에 의해 식별되는 필드의 문자열들만을 비정형화된 포맷(로그 포맷)의 로그 데이터 문자열에서 추출하여 도 4에 도시한 바와 같이 UI 상에 분리 나열한다.

사용자는 분리 나열된 로그 데이터 문자열을 보고 필요한 필드를 선택하되 도 5에 도시한 바와 같이 필드들을 구분하기 위한 구분자를 입력하여 적용 실행시키면, 데이터 정규화부(214)는 추출된 필드(보다 엄밀히 말하면 추출된 필드중 사용자에 의해 선택된 필드)의 문자열들을 사용자가 입력한 구분자로 구분해 놓은 정규화 포맷으로 생성한다.

위와 같은 과정을 통해 비정형화된 로그 데이터들을 정규화 포맷으로 변경한 이후 사용자는 도 3에 도시한 UI 화면을 통해 정규화 포맷에 대한 필드 매핑을 수행한다.

사용자에 의해 필드 매핑이 선택되면, 필드 매핑부(216)는 도 6에 도시한 바와 같은 화면을 표시해 준다. 도 6을 참조하면, 필드 매핑부(216)는 데이터 정규화부(214)에서 생성된 정규화 포맷을 구성하는 각 필드 문자열들을 구분자에 따라 파싱하여 정규화 필드 파싱 데이터로 나열 표시해 준다. 이에 사용자는 파싱된 각 필드 문자열들에 대해 속성정보(필드명, 필드 표시명, 내부 변환 형식, 필드 타입, 변환 포맷, 검색/분석 가능여부) 를 부여해 주고 필드 매핑 저장하면, 필드 매핑부(216)는 파싱된 각 필드 문자열들의 속성정보를 매핑 저장한다.

이와 같이 비정형화된 로그 데이터를 정규화 포맷으로 변환하여 필드 매핑이 이루어지면, 이후 동일한 로그 데이터 제공부에서 수집되는 비정형화된 로그 데이터는 사용자에 의해 정의된 필드의 문자열들만이 추출된 후 다시 사용자에 의해 필드 매핑된 정보에 따라 정형화되어 출력됨으로써, 로그 데이터를 해독하기 위한 별도의 해독 프로그램이 필요 없음은 물론, 시스템 제공자가 제공한 매뉴얼을 참고하여 로그 데이터를 해독할 필요가 없다.

이에 본 발명의 실시예에 따른 빅 데이터 분석 전처리 시스템은 운영 주체 및 시스템에 따라 서로 상이하고 다양한 형태의 포맷을 가지는 로그 데이터를 유저 인터페이스를 통해 편리하게 정형화하고 이를 고객이 요구하는 데이터 포맷으로 변환할 수 있는 효과를 제공하는 유용한 발명이다.

이상은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 예를 들면, 본 발명의 실시예에서는 로그 생성기를 빅 데이터 분석 전처리부에 포함하는 것으로 설명하였으나, 별 다른 변형 없이 독립된 하나의 장치 혹은 하나의 프로그램 모듈로서 외부 장치에 탑재되어 운영될 수도 있다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (11)

1. 다양한 포맷의 로그 데이터 생성을 위한 템플릿을 정의하기 위해 필요한 템플릿 리스트를 UI 상에 표시하기 위한 템플릿 리스트 제공부와;
   상기 템플릿 리스트에서 선택된 하나의 템플릿을 구성할 아이템들을 규정하기 위한 아이템 리스트를 상기 UI 상에 표시하기 위한 아이템 제공부와;
   선택된 아이템의 속성값을 입력하기 위한 입력창을 상기 UI 상에 표시하되, 사용자에 의해 선택된 템플릿과 그 선택된 템플릿을 구성하도록 규정된 하나 이상의 아이템 및 각 아이템의 속성값들을 하나의 템플릿 문자열로 상기 UI 상에 표시하기 위한 문자열 표시창 제공부와;
   상기 문자열 표시창에 표시된 템플릿 문자열 혹은 저장된 템플릿 문자열에 기초하여 로그 데이터를 생성하는 로그 데이터 생성부;를 포함함을 특징으로 하는 로그 생성기.
2. 청구항 1에 있어서, 상기 생성된 로그 데이터를 파일로 저장하거나 DB에 저장하는 로그 데이터 저장부;를 더 포함함을 특징으로 하는 로그 생성기.
3. 청구항 1 또는 청구항 2에 있어서, 상기 아이템의 속성값은 아이템의 발생확률을 규정하기 위한 가중치와 아이템 타입 및 변수값을 포함함을 특징으로 하는 로그 생성기.
4. 청구항 1 또는 청구항 2에 있어서, 상기 로그 데이터 생성부는 하나 이상의 템플릿 문자열에 기초하여 로그 데이터를 생성하되, 사용자가 지정한 발생빈도 혹은 사용자가 지정한 특정 시간에 맞춰 로그 데이터를 생성함을 특징으로 하는 로그 생성기.
5. 청구항 1 또는 청구항 2에 있어서, 상기 템플릿 리스트 제공부는,
   적어도 방화벽 로그 생성 템플릿, VOD 로그 생성 템플릿, 카드거래 로그 생성 템플릿, 사용자 정의 템플릿 중 하나 이상을 포함하는 템플릿 리스트를 제공함을 특징으로 하는 로그 생성기.
6. 사용자에 의해 정의되는 각각의 템플릿 문자열에 기초하여 다양한 포맷의 로그 데이터를 생성하는 로그 생성기와;
   상기 로그 생성기에 의해 생성된 혹은 외부 장치에서 제공되는 비정형화된 포맷의 로그 데이터를 수집하기 위한 로그 데이터 수집부와;
   UI 상에서 사용자가 지정하는 변환함수에 의해 식별되는 필드의 문자열들만을 상기 수집된 비정형화된 포맷의 로그 데이터에서 추출하고, 추출된 필드의 문자열 중 사용자에 의해 선택된 필드의 문자열들을 상기 UI 상에서 사용자가 입력한 구분자로 구분해 놓은 정규화 포맷으로 생성하기 위한 데이터 정규화부와;
   상기 생성된 정규화 포맷을 구성하는 각 필드 문자열들을 구분자에 따라 파싱하고, 상기 파싱된 각 필드 문자열들의 속성정보를 상기 UI 상에서 사용자에 의해 새로이 부여받아 매핑 저장하기 위한 필드 매핑부;를 포함함을 특징으로 하는 빅 데이터 분석 전처리 시스템.
7. 청구항 6에 있어서, 상기 로그 생성기는,
   다양한 포맷의 로그 데이터 생성을 위한 템플릿을 정의하기 위해 필요한 템플릿 리스트를 UI 상에 표시하기 위한 템플릿 리스트 제공부와;
   상기 템플릿 리스트에서 선택된 하나의 템플릿을 구성할 아이템들을 규정하기 위한 아이템 리스트를 상기 UI 상에 표시하기 위한 아이템 제공부와;
   선택된 아이템의 속성값을 입력하기 위한 입력창을 상기 UI 상에 표시하되, 사용자에 의해 선택된 템플릿과 그 선택된 템플릿을 구성하도록 규정된 하나 이상의 아이템 및 각 아이템의 속성값들을 하나의 템플릿 문자열로 상기 UI 상에 표시하기 위한 문자열 표시창 제공부와;
   상기 문자열 표시창에 표시된 템플릿 문자열 혹은 저장된 템플릿 문자열에 기초하여 로그 데이터를 생성하는 로그 데이터 생성부;를 포함함을 특징으로 하는 빅 데이터 분석 전처리 시스템.
8. 청구항 7에 있어서, 상기 생성된 로그 데이터를 파일로 저장하거나 DB에 저장하는 로그 데이터 저장부;를 더 포함함을 특징으로 하는 빅 데이터 분석 전처리 시스템.
9. 청구항 7 또는 청구항 8에 있어서, 상기 아이템의 속성값은 아이템의 발생확률을 규정하기 위한 가중치와 아이템 타입 및 변수값을 포함함을 특징으로 하는 빅 데이터 분석 전처리 시스템.
10. 청구항 7 또는 청구항 8에 있어서, 상기 로그 데이터 생성부는 하나 이상의 템플릿 문자열에 기초하여 로그 데이터를 생성하되, 사용자가 지정한 발생빈도 혹은 사용자가 지정한 특정 시간에 맞춰 로그 데이터를 생성함을 특징으로 하는 빅 데이터 분석 전처리 시스템.
11. 청구항 7 또는 청구항 8에 있어서, 상기 템플릿 리스트 제공부는,
    적어도 방화벽 로그 생성 템플릿, VOD 로그 생성 템플릿, 카드거래 로그 생성 템플릿, 사용자 정의 템플릿 중 하나 이상을 포함하는 템플릿 리스트를 제공함을 특징으로 하는 빅 데이터 분석 전처리 시스템.

Images