KR101559206B1 - 로그 데이터 처리 방법 및 이를 수행하는 시스템 - Google Patents

로그 데이터 처리 방법 및 이를 수행하는 시스템 Download PDF

Info

Publication number
KR101559206B1
KR101559206B1 KR1020130147605A KR20130147605A KR101559206B1 KR 101559206 B1 KR101559206 B1 KR 101559206B1 KR 1020130147605 A KR1020130147605 A KR 1020130147605A KR 20130147605 A KR20130147605 A KR 20130147605A KR 101559206 B1 KR101559206 B1 KR 101559206B1
Authority
KR
South Korea
Prior art keywords
log data
log
storage module
data
module
Prior art date
Application number
KR1020130147605A
Other languages
English (en)
Other versions
KR20150063233A (ko
Inventor
김명진
최운
이한구
한승호
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020130147605A priority Critical patent/KR101559206B1/ko
Priority to US14/553,905 priority patent/US20150154288A1/en
Publication of KR20150063233A publication Critical patent/KR20150063233A/ko
Application granted granted Critical
Publication of KR101559206B1 publication Critical patent/KR101559206B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Abstract

로그 데이터 처리 방법 및 이를 수행하는 시스템이 개시된다. 일 실시예에 따른 로그 데이터 처리 시스템은 제1 저장 모듈과, 제2 저장 모듈과, 고객에 대한 업무 프로세스에 의해서 발생된 로그 데이터를 수집하고, 상기 로그 데이터의 종류에 따라 상기 로그 데이터를 제1 로그 데이터와 제2 로그 데이터로 분류하고, 상기 제1 로그 데이터를 상기 제1 저장 모듈로 전송하고, 상기 제2 로그 데이터를 상기 제2 저장 모듈로 전송하는 로그 수집 모듈과, 상기 제1 저장 모듈 및 상기 제2 저장 모듈 중에서 적어도 하나의 저장 데이터에 대한 로그 데이터 그래프를 생성하는 로그 그래프 생성 모듈을 포함할 수 있다.

Description

로그 데이터 처리 방법 및 이를 수행하는 시스템{METHOD OF PROCESSING LOG DATA, AND SYSTEM OPERATING THE SAME}
아래 실시예들은 비정형 로그 데이터 처리 방법 및 이를 수행하는 시스템에 관한 것이다.
컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그 데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용된다.
대부분의 로그 데이터는 고객의 업무 처리 프로세스 간에 발생한다. 고객 업무 프로세스 처리에 따라 발생하는 로그 데이터를 별도로 처리하는 시스템이 요구된다.
실시예들은 로그 데이터를 일정 크기의 블록으로 분할하고 복제하여 각 노드에 저장함으로써 시스템 및 데이터의 안정성을 보장하는 기술을 제공할 수 있다.
또한, 실시예들은 대용량의 로그 데이터에 대해 실시간으로 빠르게 분산 병렬 처리하는 기술을 제공할 수 있다.
일 실시예에 따른 로그 데이터 처리 시스템은 제1 저장 모듈과, 제2 저장 모듈과, 고객에 대한 업무 프로세스에 의해서 발생된 로그 데이터를 수집하고, 상기 로그 데이터의 종류에 따라 상기 로그 데이터를 제1 로그 데이터와 제2 로그 데이터로 분류하고, 상기 제1 로그 데이터를 상기 제1 저장 모듈로 전송하고, 상기 제2 로그 데이터를 상기 제2 저장 모듈로 전송하는 로그 수집 모듈과, 상기 제1 저장 모듈 및 상기 제2 저장 모듈 중에서 적어도 하나의 저장 데이터에 대한 로그 데이터 그래프를 생성하는 로그 그래프 생성 모듈을 포함할 수 있다.
상기 시스템은 사용자 쿼리에 응답하여 상기 제2 저장 모듈로 전송된 상기 제2 로그 데이터 중에서 상기 사용자 쿼리에 해당하는 로그 데이터를 추출하고, 상기 추출된 로그 데이터를 분산 및 병렬 방식을 통해 분석하는 분석 모듈을 더 포함하고, 상기 로그 그래프 생성 모듈은 상기 분석 모듈의 분석 데이터에 대한 로그 그래프를 생성할 수 있다.
상기 제2 로그 데이터가 대용량 데이터일 때, 상기 제2 저장 모듈은 상기 제2 로그 데이터를 상기 분석 모듈로 전송하고, 상기 분석 모듈은 상기 제2 로그 데이터를 분산 및 병렬 방식을 통해 분석할 수 있다.
상기 사용자 쿼리는 시간별 조건, 날짜별 조건, 월별 조건, 연도별 조건 및 지점별 조건 중에서 적어도 하나를 포함할 수 있다.
상기 로그 수집 모듈은 상기 업무 프로세스의 시작 시점부터 종료 시점까지 상기 로그 데이터를 수집할 수 있다.
상기 제1 로그 데이터는 실시간으로 분석이 필요한 데이터이고, 상기 제2 로그 데이터는 단위 시간 별로 분석이 필요한 데이터일 수 있다.
상기 로그 그래프 생성 모듈은 상기 로그 데이터 그래프를 웹 인터페이스 형태로 디스플레이할 수 있다.
상기 제2 저장 모듈은 상기 제2 로그 데이터에 대해 오토샤딩(autoshading) 동작을 수행할 수 있다.
상기 로그 수집 모듈은 상기 로그 데이터에 포함된 파라미터에 기초하여 상기 로그 데이터의 종류를 판단할 수 있다.
상기 제2 저장 모듈은 상기 업무 프로세서의 종료 시점 이후에, 스쿱을 통해 상기 제1 저장 모듈로 전송된 상기 제1 로그 데이터와 상기 제1 로그 데이터에 연관된 정보를 통합하여 저장할 수 있다.
상기 연관된 정보는 상기 업무 프로세스의 대기 시간, 상기 업무 프로세스의 처리 시간, 상기 업무 프로세스를 처리하는 업무자에 대한 정보 중에서 적어도 하나를 포함할 수 있다.
일 실시예에 따른 제1 저장 모듈과 제2 저장 모듈을 포함하는 로그 데이터 처리 시스템의 로그 데이터 처리 방법은 고객에 대한 업무 프로세스에 의해서 발생된 로그 데이터를 수집하는 단계와, 상기 로그 데이터의 종류에 따라 상기 로그 데이터를 제1 로그 데이터와 제2 로그 데이터로 분류하고, 상기 제1 로그 데이터를 상기 제1 저장 모듈로 전송하고, 상기 제2 로그 데이터를 상기 제2 저장 모듈로 전송하는 단계와, 상기 제1 저장 모듈과 상기 제2 저장 모듈 중에서 적어도 하나의 저장 데이터에 대한 로그 데이터 그래프를 생성하는 단계를 포함할 수 있다.
상기 방법은 사용자 쿼리에 응답하여 상기 제2 저장 모듈에 저장된 상기 제2 로그 데이터 중에서 상기 사용자 쿼리에 해당하는 로그 데이터를 추출하는 단계와, 상기 추출된 로그 데이터를 분산 및 병렬 방식을 통해 분석하는 단계와, 분석 결과에 따른 분석 데이터에 대한 로그 데이터 그래프를 생성하는 단계를 더 포함할 수 있다.
상기 수집하는 단계는 상기 업무 프로세스의 시작 시점부터 종료 시점까지 상기 로그 데이터를 수집하는 단계를 포함할 수 있다.
상기 전송하는 단계는 상기 로그 데이터에 포함된 파라미터를 이용하여 상기 로그 데이터의 종류를 판단하는 단계를 포함할 수 있다.
상기 방법은 상기 로그 데이터 그래프를 웹 인터페이스 형태로 디스플레이하는 단계를 더 포함할 수 있다.
상기 방법은 상기 업무 프로세서의 종료 시점 이후에, 상기 제1 로그 데이터와 상기 제1 로그 데이터에 연관된 정보를 통합하여 상기 제2 저장 모듈로 전송하는 단계를 더 포함할 수 있다.
상기 방법은 상기 제2 로그 데이터에 대해 오토샤딩(autoshading) 동작을 수행하는 단계를 더 포함할 수 있다.
상기 제1 로그 데이터는 실시간으로 분석이 필요한 데이터이고, 상기 제2 로그 데이터는 단위 시간 별로 분석이 필요한 데이터일 수 있다.
도 1은 일 실시예에 따른 로그 데이터 처리 시스템의 개략적인 블록도를 나타낸다.
도 2는 로그 데이터의 파리미터를 설명하기 위한 도면이다.
도 3은 도 1에 도시된 로그 그래프 생성 모듈의 동작 방법을 설명하기 위한 웹 인터페이스의 개략적인 구조도를 나타낸다.
도 4는 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법의 일 실시예에 따른 데이터 흐름도이다.
도 5는 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법의 다른 실시예에 따른 데이터 흐름도이다.
도 6은 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법의 또 다른 실시예에 따른 데이터 흐름도이다.
도 7은 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법의 또 다른 실시예에 따른 데이터 흐름도이다.
도 8은 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법을 설명하기 위한 플로우 차트이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "사이에"와 "바로~사이에" 또는 "~에 이웃하는"과 "에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 로그 데이터 처리 시스템의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 로그 데이터 처리 시스템(10)은 로그 수집 모듈(100), 제1 저장 모듈(200), 제2 저장 모듈(300), 분석 모듈(400), 및 로그 그래프 생성 모듈(500)을 포함할 수 있다.
로그 데이터 처리 시스템(10)은 각 지점(B1~BN)에서 발생하는 로그 데이터(L_DATA)를 처리하기 위한 클라우드 환경 기반의 로그 데이터 처리 시스템일 수 있다. 각 지점(B1~BN)은 은행일 수 있다. 예를 들어, 로그 데이터(L_DATA)는 은행에서 고객에 대한 업무 프로세스에 의해서 발생하는 데이터일 수 있다. 예를 들어, 로그 데이터(L_DATA)는 상기 업무 프로세스에서 발생하는 상기 고객의 업무 대기시간, 업무 처리 시간 등의 비정형 로그 데이터를 포함할 수 있다.
로그 수집 모듈(100)은 로그 데이터(L_DATA)를 수집할 수 있다. 예를 들어, 로그 수집 모듈(100)은 각 지점(B1~BN)에서 고객에 대한 업무 프로세서에 의해서 발생하는 로그 데이터(L_DATA)를 수집할 수 있다. 일 실시예에 따라, 로그 수집 모듈(100)은 지점에서 고객에 대한 업무 프로세스의 시작 시점부터 종료 시점까지 로그 데이터(L_DATA)를 수집할 수 있다. 예를 들어, 상기 업무 프로세스는 하나 이상의 고객의 업무 프로세스를 포함할 수 있다.
로그 수집 모듈(100)은 로그 데이터(L_DATA)의 종류에 따라 로그 데이터(L_DATA)를 제1 저장 모듈(200) 및/또는 제2 저장 모듈(300)로 전송할 수 있다. 예를 들어, 로그 수집 모듈(100)은 로그 데이터(L_DATA)의 종류에 따라 로그 데이터(L_DATA)를 분류하여 제1 저장 모듈(200) 및/또는 제2 저장 모듈(300)로 분배할 수 있다.
로그 수집 모듈(100)은 로그 데이터(L_DATA)를 실시간으로 발생하는 제1 로그 데이터와 누적되는 제2 로그 데이터로 분류할 수 있다. 예를 들어, 상기 제1 로그 데이터는 실시간으로 분석이 필요한 데이터이고, 상기 제2 데이터는 단위 시간 별로 분석이 필요한 데이터일 수 있다. 로그 수집 모듈(100)은 상기 제1 로그 데이터를 제1 저장 모듈(200)로 전송할 수 있다. 로그 수집 모듈(100)은 상기 제2 로그 데이터를 제2 저장 모듈(300)로 전송할 수 있다.
일 실시예에 따라, 로그 수집 모듈(100)은 로그 데이터(L_DATA)의 종류를 로그 데이터(L_DATA)에 포함된 파라미터를 이용하여 판단할 수 있다. 로그 데이터(L_DATA)에 포함된 파라미터는 도 2를 참조하여 상세히 설명될 것이다.
제1 저장 모듈(200)은 로그 수집 모듈(100)로부터 전송된 제1 로그 데이터를 저장할 수 있다. 제1 저장 모듈(200)은 상기 제1 로그 데이터를 로그 그래프 생성 모듈(500)로 전송할 수 있다. 제1 저장 모듈(200)은 상기 제1 로그 데이터를 저장하기 위한 관계형 데이터베이스(relational database)를 포함할 수 있다. 예를 들어, 상기 관계형 데이터베이스는 MySQL, PostgreSQL, SQLite, Microsoft SQL Server, Microsoft Access, SAP, dBASE, FoxPro, 및 IBM DB2 등을 포함할 수 있다.
제2 저장 모듈(300)은 로그 수집 모듈(100)로부터 전송된 제2 로그 데이터를 저장할 수 있다. 제2 저장 모듈(300)은 상기 제2 로그 데이터를 저장하기 위한 비관계형 데이터베이스(non-relational database)를 포함할 수 있다. 상기 비관계형 데이터베이스는 키-값(key-value) 데이터베이스, 컬럼지향(column-oriented) 데이터베이스, 및 문서지향(document-oriented) 데이터베이스 등 일 수 있다. 예를 들어, 상기 비관계형 데이터베이스는 Redis, Tokyo Cabinet, Tokyo Tyrant, Memcached, Cassandra, Hbase, HyperTable, MongoDB, CouchDB, 및 SimpleDB 등을 포함할 수 있다.
일 실시예에 따라, 제2 저장 모듈(300)은 데이터의 증가에 따라 제2 로그 데이터를 블록들로 분할하고, 상기 블록들을 자동적으로 복수의 노드들로 분배하여 저장할 수 있다. 예를 들어, 상기 블록들은 데이터 블록들이고, 상기 노드들은 데이터 노드들일 수 있다. 즉, 제2 저장 모듈(300)은 데이터 증가에 따라 오토샤딩(autosharding) 동작을 수행할 수 있다. 따라서, 제2 저장 모듈(300)은 상기 오토샤딩 동작을 통해 유연하게 노드를 확장하고, 저장 영역을 확장할 수 있다.
제2 저장 모듈(300)은 블록들 각각을 분배할 때, 블록마다 복제하여 복수의 노드들로 분배할 수 있다. 상기 블록의 복제 개수는 설정 가능할 수 있다. 상기 복제 개수는 적어도 하나 이상일 수 있다. 예를 들어, 상기 블록들 각각은 기본 데이터 크기로 설정 가능할 수 있다. 예를 들어, 상기 기본 데이터 크기는 관리자 및/또는 사용자에 의해 설정될 수 있다.
제2 저장 모듈(300)이 제2 로그 데이터를 일정 크기의 블록으로 나누어 복제하여 각 노드에 저장함으로써, 제2 저장 모듈(300)은 데이터 손실에 기인한 시스템 장애로부터 보호받을 수 있다. 예를 들어, 제2 저장 모듈(300) 및 상기 제2 로그 데이터의 안정성이 보장될 수 있다.
다른 실시예에 따라, 제2 저장 모듈(300)과 제1 저장 모듈(200)은 스쿱(sqoop)을 통해 서로 통신할 수 있다. 제2 저장 모듈(300)과 제1 저장 모듈(200)은 상기 스쿱을 통해 서로 데이터(또는 신호)를 주고받을 수 있다. 예를 들어, 제2 저장 모듈(300)은 각 지점(B1~BN)에서 고객에 대한 업무 프로세스가 종료될 때, 예를 들어 상기 업무 프로세의 종료 시점 이후에, 제1 저장 모듈(300)에 저장된 제1 로그 데이터와 상기 제1 로그데이터에 연관된 정보를 통합하여 저장할 수 있다. 예를 들어, 상기 연관된 정보는 업무 프로세스의 대기 시간, 상기 업무 프로세스의 처리 시간, 및 상기 업무 프로세스를 처리하는 업무자에 대한 정보(예를 들어, 업무자 이름, 업무자의 직위, 업무자의 번호 등) 등을 포함할 수 있다.
제2 저장 모듈(300)은 제2 로그 데이터를 로그 그래프 생성 모듈(500)로 전송할 수 있다. 일 실시예 따라, 상기 제2 로그 데이터가 대용량의 데이터일 때, 제2 저장 모듈(300)은 상기 제2 로그 데이터를 분석 모듈(400)로 전송할 수 있다. 이때, 분석 모듈(400)은 상기 제2 로그 데이터를 병렬 및 분산 방식을 통해 분석하고, 분석 결과에 따른 분석 데이터를 로그 그래프 새성 모듈(500)로 전송할 수 있다.
분석 모듈(400)은 로그 데이터를 분산 및 병렬 방식을 통해 분석하고, 분석 결과에 따른 분석 데이터를 로그 그래프 생성 모듈(500)로 전송할 수 있다. 분석 모듈(400)은 Hadoop 기반 분석 모듈일 수 있다. 분석 모듈(400)은 MapReduce를 통해 제2 저장 모듈(300)로부터 사용자 쿼리에 해당하는 로그 데이터를 추출할 수 있다.
일 실시예에 따라, 분석 모듈(400)은 제2 저장 모듈(300)로부터 전송된 제2 로그 데이터를 분산 및 병렬 방식을 통해 분석하고, 분석 데이터를 로그 그래프 생성 모듈(500)로 전송할 수 있다. 상기 제2 로그 데이터는 대용량의 데이터일 수 있다. 누적된 대용량의 상기 제2 로그 데이터에 대한 실시간 분석이 요구될 때, 분석 모듈(400)은 상기 제2 로그 데이터를 빠르고, 신뢰성 있게 병렬 및 분산 처리할 수 있다.
다른 실시예에 따라, 분석 모듈(400)은 사용자 쿼리(user query)에 응답하여 제2 저장 모듈(300)에 저장된 제2 로그 데이터 중에서 상기 사용자 쿼리에 해당하는 로그 데이터를 추출할 수 있다. 예를 들어, 상기 사용자 쿼리는 시간별 조건, 날짜별 조건, 월별 조건, 연도별 조건, 및 지점별 조건 중에서 적어도 하나를 포함할 수 있다. 분석 모듈(400)은 상기 추출된 로그 데이터를 분산 및 병렬 방식을 통해 분석하고, 분석 데이터를 로그 그래프 생성 모듈(500)로 전송할 수 있다.
분석 모듈(400)은 HDFS를 이용하여 로그 데이터(예를 들어, 제2 로그 데이터 또는 사용자 쿼리에 해당하는 로그 데이터)를 블록들로 분할하고, 상기 블록들을 자동적으로 상기 HDFS에 포함된 복수의 노드들로 분배하여 저장할 수 있다. 분석 모듈(400)은 상기 블록들 각각을 분배할 때, 블록마다 복제하여 상기 복수의 노드들로 분배할 수 있다. 예를 들어, 상기 블록들은 데이터 블록들이고, 상기 노드들은 데이터 노드들일 수 있다.
분석 모듈(400)이 HDFS를 이용하여 로그 데이터(예를 들어, 제2 로그 데이터 또는 사용자 쿼리에 해당하는 로그 데이터)를 일정 크기의 블록으로 나누어 복제하여 상기 HDFS에 포함된 각 노드에 저장함으로써, 분석 모듈(400)은 데이터 손실에 기인한 시스템 장애로부터 보호받을 수 있다. 예를 들어, 분석 모듈(400) 및 상기 로그 데이터의 안정성이 보장될 수 있다.
로그 그래프 생성 모듈(500)은 제1 저장 모듈(200)로부터 전송된 제1 로그 데이터에 대한 로그 데이터 그래프를 생성할 수 있다. 로그 그래프 생성 모듈(500)은 제2 저장 모듈(300)로부터 전송된 제2 로그 데이터에 대한 로그 데이터 그래프를 생성할 수 있다. 로그 그래프 생성 모듈(500)은 분석 모듈(400)로부터 전송된 분석 데이터에 대한 로그 데이터 그래프를 생성할 수 있다.
로그 그래프 생성 모듈(500)은 로그 데이터 그래프를 웹 인터페이스 형태로 사용자에게 제공할 수 있다. 예를 들어, 상기 사용자는 각 지점(B1~BN)에서 현재 업무를 진행하고 있는 고객과 상이하거나 동일할 수 있다.
도 1에서는 각 모듈(100, 200, 300, 400, 및 500)이 별개의 서버로 구현되어 도시되어 있지만, 실시예에 따라 각 모듈(100, 200, 300, 400, 및 500)이 하나의 서버로 구현될 수 있다.
도 2는 로그 데이터의 파리미터를 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 각 모듈(100, 200, 300, 400, 및 500) 간의 데이터 통신에서 사용되는 로그 데이터(L_DATA)에 대한 정보에 대한 정확성 및 일치성을 확보하기 위해, 로그 데이터(L_DATA)의 파라미터는 사전 정의될 수 있다.
이에, 로그 수집 모듈(100)은 로그 데이터(L_DATA)의 종류를 로그 데이터(L_DATA)에 포함된 파라미터를 이용하여 판단할 수 있다.
도 2에 도시된 바와 같이, 로그 데이터(L_DATA)의 파라미터는 bank_code, teller, job, number, generator_time, generator_wait_time, teller_start_time, 및 teller_end_time 중에서 적어도 하나로 정의될 수 있다.
bank_code는 로그 데이터(L_DATA)가 생성된 각 지점(B1~BN)의 번호를 지시하는 파라미터일 수 있다. teller는 현재 고객의 업무 프로세스를 진행하고 있는 업무자(또는 은행원)의 번호를 지시하는 파라미터일 수 있다. job은 각 지점(B1~BN)의 업무 종류를 구별하기 위한 파라미터일 수 있다. 예르 들어, 업무 종류는 일반 업무(N)와 기타 업무(F)로 구분될 수 있다. number는 각 지점(B1~BN)에서 사용되는 대기 순번 시스템으로부터 생성된 번호를 구분하기 위한 파라미터일 수 있다. bank_code, teller, job, 및 number는 상기 업무 프로세스에 의해서 실시간으로 진행(또는 처리) 중인 로그 데이터에 연관된 파라미터일 수 있다.
로그 수집 모듈(100)은 로그 데이터(L_DATA) 중에서 파라미터, 예를 들어 bank_code, teller, job, 및 number를 활용하는 로그 데이터를 제1 로그 데이터로 분류할 수 있다.
generator_time은 고객의 업무 프로세스를 진행(또는 처리) 하기 위해 생성된 대기 번호를 발생한 시간을 구분하기 위한 파라미터일 수 있다. generator_wait_time은 상기 대기 번호가 생성된 후 상기 업무 프로세스가 시작되기 전까지의 시간을 표시하기 위한 파라미터일 수 있다. teller_start_time은 상기 업무 프로세스의 시작 시점의 시간을 기록하기 위한 파라미터일 수 있다. teller_end_time은 상기 업무 프로세스의 종료 시점의 시간을 기록하기 위한 파라미터일 수 있다. generator_time, generator_wait_time, teller_start_time, 및 teller_end_time는 상기 업무 프로세스에 의해서 누적되는 로그 데이터에 연관된 파리미터일 수 있다.
로그 수집 모듈(100)은 로그 데이터(L_DATA) 중에서 파라미터, 예를 들어 generator_time, generator_wait_time, teller_start_time, 및 teller_end_time를 활용하는 로그 데이터를 제2 로그 데이터로 분류할 수 있다.
도 3은 도 1에 도시된 로그 그래프 생성 모듈의 동작 방법을 설명하기 위한 웹 인터페이스의 개략적인 구조도를 나타낸다.
도 1 내지 도 3을 참조하면, 로그 그래프 생성 모듈(500)은 웹 인터페이스를 통해 로그 데이터 그래프를 생성하고, 상기 생성된 로그 데이터 그래프를 웹 인터페이스 형태로 디스플레이할 수 있다. 로그 그래프 생성 모듈(500)은 상기 생성된 로그 데이터 그래프를 웹 인터페이스 형태로 사용자에게 제공할 수 있다.
로그 그래프 생성 모듈(500)은 RealTimeView.jsp를 이용하여 제1 저장 모듈(200)에 저장된 제1 로그 데이터에 대한 로그 데이터 그래프를 생성하고, 상기 생성된 로그 데이터 그래프를 MySqlView.jsp에 전달하여 Index.jsp를 통해 웹 인터페이스 형태로 사용자에게 디스플레이할 수 있다.
로그 그래프 생성 모듈(500)은 GeneraterLog.jsp를 이용하여 제2 저장 모듈(300)에 저장된 제2 로그 데이터에 대한 로그 데이터 그래프, 예를 들어 일정 시간당 대기번호 생성 개수와 업무처리를 위한 평균 대기시간에 대한 로그 데이터 그래프를 생성할 수 있다. 로그 그래프 생성 모듈(500)은 CustomerProc.jsp를 이용하여 제2 저장 모듈(300)에 저장된 제2 로그 데이터에 대한 로그 데이터 그래프, 예를 들어 업무자의 시간당 업무처리 개수, 업무처리에 소비한 평균시간 및 상기 업무자의 업무처리 효율에 대한 로그 데이터 그래프를 생성할 수 있다. 로그 그래프 생성 모듈(500)은 GeneraterLog.jsp와 CustomerProc.jsp을 이용하여 생성된 로그 데이터 그래프를 MongoView.jsp에 전달하여 Index.jsp를 통해 웹 인터페이스 형태로 사용자에게 디스플레이할 수 있다.
도 4는 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법의 일 실시예에 따른 데이터 흐름도이다.
도 4를 참조하면, 로그 수집 모듈(100)은 각 지점(B1~BN)에서 고객에 대한 업무 프로세스에 의해서 실시간 발생하는 제1 로그 데이터 수집할 수 있다(710). 로그 수집 모듈(100)은 상기 제1 로그 데이터를 제1 저장 모듈(200)로 전송할 수 있다(720).
제1 저장 모듈(200)은 로그 수집 모듈(100)로부터 전송된 제1 로그 데이터를 저장할 수 있다(730). 제1 저장 모듈(200)은 상기 제1 로그 데이터를 로그 그래프 생성 모듈(500)로 전송할 수 있다(740).
로그 그래프 생성 모듈(500)은 제1 저장 모듈(200)로부터 전송된 제1 로그 데이터에 대한 로그 데이터 그래프를 생성할 수 있다(750). 로그 그래프 생성 모듈(500)은 상기 로그 데이터 그래프를 웹 인터페이스 형태로 사용자(600)에게 디스플레이할 수 있다(760).
도 5는 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법의 다른 실시예에 따른 데이터 흐름도이다.
도 5를 참조하면, 로그 수집 모듈(100)은 각 지점(B1~BN)에서 고객에 대한 업무 프로세스에 의해서 누적되는 제2 로그 데이터 수집할 수 있다(810). 로그 수집 모듈(100)은 상기 제2 로그 데이터를 제2 저장 모듈(300)로 전송할 수 있다(820).
제2 저장 모듈(300)은 로그 수집 모듈(100)로부터 전송된 제2 로그 데이터를 저장할 수 있다(830). 제2 저장 모듈(300)은 상기 제2 로그 데이터를 로그 그래프 생성 모듈(500)로 전송할 수 있다(840).
로그 그래프 생성 모듈(500)은 제2 저장 모듈(300)로부터 전송된 제2 로그 데이터에 대한 로그 데이터 그래프를 생성할 수 있다(850). 로그 그래프 생성 모듈(500)은 상기 로그 데이터 그래프를 웹 인터페이스 형태로 사용자(600)에게 디스플레이할 수 있다(860).
도 6은 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법의 또 다른 실시예에 따른 데이터 흐름도이다.
도 6을 참조하면, 로그 수집 모듈(100)은 각 지점(B1~BN)에서 고객에 대한 업무 프로세스에 의해서 누적되는 제2 로그 데이터 수집할 수 있다(910). 로그 수집 모듈(100)은 상기 제2 로그 데이터를 제2 저장 모듈(300)로 전송할 수 있다(920).
제2 저장 모듈(300)은 로그 수집 모듈(100)로부터 전송된 제2 로그 데이터를 저장할 수 있다(930). 상기 제2 로그 데이터가 대용량의 데이터일 때, 제2 저장 모듈(300)은 상기 제2 로그 데이터를 분석 모듈(400)로 전송할 수 있다(940).
분석 모듈(400)은 제2 저장 모듈(300)로부터 전송된 제2 로그 데이터를 분산 및 병렬 방식을 통해 분석하고, 분석 결과에 따른 분석 데이터를 생성할 수 있다(950). 분석 모듈(400)은 상기 분석 데이터를 로그 그래프 생성 모듈(500)로 전송할 수 있다(960).
로그 그래프 생성 모듈(500)은 분석 모듈(400)로부터 전송된 분석 데이터에 대한 로그 데이터 그래프를 생성할 수 있다(970). 로그 그래프 생성 모듈(500)은 상기 로그 데이터 그래프를 웹 인터페이스 형태로 사용자(600)에게 디스플레이할 수 있다(980).
도 7은 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법의 또 다른 실시예에 따른 데이터 흐름도이다.
도 7을 참조하면, 로그 수집 모듈(100)은 각 지점(B1~BN)에서 고객에 대한 업무 프로세스에 의해서 누적되는 제2 로그 데이터 수집할 수 있다(1010). 로그 수집 모듈(100)은 상기 제2 로그 데이터를 제2 저장 모듈(300)로 전송할 수 있다(1020).
제2 저장 모듈(300)은 로그 수집 모듈(100)로부터 전송된 제2 로그 데이터를 저장할 수 있다(1030).
분석 모듈(400)은 사용자 쿼리(user query)에 응답하여 제2 저장 모듈(300)에 저장된 제2 로그 데이터 중에서 상기 사용자 쿼리에 해당하는 로그 데이터를 추출할 수 있다(1040). 분석 모듈(400)은 상기 추출된 로그 데이터를 분산 및 병렬 방식을 통해 분석하고, 분석 결과에 따른 분석 데이터를 생성할 수 있다(1050). 분석 모듈(400)은 상기 분석 데이터를 로그 그래프 생성 모듈(500)로 전송할 수 있다(1060).
로그 그래프 생성 모듈(500)은 분석 모듈(400)로부터 전송된 분석 데이터에 대한 로그 데이터 그래프를 생성할 수 있다(1070). 로그 그래프 생성 모듈(500)은 상기 로그 데이터 그래프를 웹 인터페이스 형태로 사용자(600)에게 디스플레이할 수 있다(1080).
도 8은 도 1에 도시된 로그 데이터 처리 시스템의 동작 방법을 설명하기 위한 플로우 차트이다.
도 8을 참조하면, 로그 수집 모듈(100)은 각 지점(B1~BN)에서 고객에 대한 업무 프로세스에 의해서 발생된 로그 데이터(L_DATA)를 수집할 수 있다(1110).
로그 수집 모듈(100)은 로그 데이터(L_DATA)의 종류에 따라 로그 데이터(L_DATA)를 제1 로그 데이터와 제2 로그 데이터로 분류하고, 상기 제1 로그 데이터를 제1 저장 모듈(200)로 전송하고, 상기 제2 로그 데이터를 제2 저장 모듈(300)로 전송할 수 있다(1120). 이때, 제1 저장 모듈(200)은 상기 제1 로그 데이터를 저장하고, 제2 저장 모듈(300)은 상기 제2 로그 데이터를 저장할 수 있다.
로그 그래프 생성 모듈(500)은 제1 저장 모듈(200)과 제2 저장 모듈(300) 중에서 적어도 하나의 저장 데이터(예를 들어, 제1 로그 데이터 또는 제2 로그 데이터)에 대한 로그 데이터 그래프를 생성할 수 있다(1130).
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 로그 데이터 처리 시스템에 있어서,
    제1 저장 모듈;
    제2 저장 모듈;
    고객에 대한 업무 프로세스에 의해서 발생된 로그 데이터를 수집하고, 상기 로그 데이터의 종류에 따라 상기 로그 데이터를 제1 로그 데이터와 제2 로그 데이터로 분류하고, 상기 제1 로그 데이터를 상기 제1 저장 모듈로 전송하고, 상기 제2 로그 데이터를 상기 제2 저장 모듈로 전송하는 로그 수집 모듈;
    상기 제1 저장 모듈 및 상기 제2 저장 모듈 중에서 적어도 하나의 저장 데이터에 대한 로그 데이터 그래프를 생성하는 로그 그래프 생성 모듈
    을 포함하고,
    상기 제1 로그 데이터는 실시간으로 분석이 필요한 데이터이고, 상기 제2 로그 데이터는 단위 시간 별로 분석이 필요한 데이터인 로그 데이터 처리 시스템.
  2. 제1항에 있어서,
    사용자 쿼리에 응답하여 상기 제2 저장 모듈로 전송된 상기 제2 로그 데이터 중에서 상기 사용자 쿼리에 해당하는 로그 데이터를 추출하고, 상기 추출된 로그 데이터를 분산 및 병렬 방식을 통해 분석하는 분석 모듈
    을 더 포함하고,
    상기 로그 그래프 생성 모듈은 상기 분석 모듈의 분석 데이터에 대한 로그 그래프를 생성하는 로그 데이터 처리 시스템.
  3. 제2항에 있어서,
    상기 제2 로그 데이터가 대용량 데이터일 때, 상기 제2 저장 모듈은 상기 제2 로그 데이터를 상기 분석 모듈로 전송하고,
    상기 분석 모듈은 상기 제2 로그 데이터를 분산 및 병렬 방식을 통해 분석하는 로그 데이터 처리 시스템.
  4. 제2항에 있어서,
    상기 사용자 쿼리는,
    시간별 조건, 날짜별 조건, 월별 조건, 연도별 조건 및 지점별 조건 중에서 적어도 하나를 포함하는 로그 데이터 처리 시스템.
  5. 제1항에 있어서,
    상기 로그 수집 모듈은,
    상기 업무 프로세스의 시작 시점부터 종료 시점까지 상기 로그 데이터를 수집하는 로그 데이터 처리 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 로그 그래프 생성 모듈은,
    상기 로그 데이터 그래프를 웹 인터페이스 형태로 디스플레이하는 로그 데이터 처리 시스템.
  8. 제1항에 있어서,
    상기 제2 저장 모듈은,
    상기 제2 로그 데이터에 대해 오토샤딩(autoshading) 동작을 수행하는 로그 데이터 처리 시스템.
  9. 제1항에 있어서,
    상기 로그 수집 모듈은,
    상기 로그 데이터에 포함된 파라미터에 기초하여 상기 로그 데이터의 종류를 판단하는 로그 데이터 처리 시스템.
  10. 제1항에 있어서,
    상기 제2 저장 모듈은,
    상기 업무 프로세서의 종료 시점 이후에, 스쿱을 통해 상기 제1 저장 모듈로 전송된 상기 제1 로그 데이터와 상기 제1 로그 데이터에 연관된 정보를 통합하여 저장하는 로그 데이터 처리 시스템.
  11. 제10항에 있어서,
    상기 연관된 정보는,
    상기 업무 프로세스의 대기 시간, 상기 업무 프로세스의 처리 시간, 상기 업무 프로세스를 처리하는 업무자에 대한 정보 중에서 적어도 하나를 포함하는 로그 데이터 처리 시스템.
  12. 제1 저장 모듈과 제2 저장 모듈을 포함하는 로그 데이터 처리 시스템의 로그 데이터 처리 방법에 있어서,
    고객에 대한 업무 프로세스에 의해서 발생된 로그 데이터를 수집하는 단계;
    상기 로그 데이터의 종류에 따라 상기 로그 데이터를 제1 로그 데이터와 제2 로그 데이터로 분류하고, 상기 제1 로그 데이터를 상기 제1 저장 모듈로 전송하고, 상기 제2 로그 데이터를 상기 제2 저장 모듈로 전송하는 단계; 및
    상기 제1 저장 모듈과 상기 제2 저장 모듈 중에서 적어도 하나의 저장 데이터에 대한 로그 데이터 그래프를 생성하는 단계
    를 포함하고,
    상기 제1 로그 데이터는 실시간으로 분석이 필요한 데이터이고, 상기 제2 로그 데이터는 단위 시간 별로 분석이 필요한 데이터인 로그 데이터 처리 방법.
  13. 제12항에 있어서,
    사용자 쿼리에 응답하여 상기 제2 저장 모듈에 저장된 상기 제2 로그 데이터 중에서 상기 사용자 쿼리에 해당하는 로그 데이터를 추출하는 단계;
    상기 추출된 로그 데이터를 분산 및 병렬 방식을 통해 분석하는 단계; 및
    분석 결과에 따른 분석 데이터에 대한 로그 데이터 그래프를 생성하는 단계
    를 더 포함하는 로그 데이터 처리 방법.
  14. 제12항에 있어서,
    상기 수집하는 단계는,
    상기 업무 프로세스의 시작 시점부터 종료 시점까지 상기 로그 데이터를 수집하는 단계
    를 포함하는 로그 데이터 처리 방법.
  15. 제12항에 있어서,
    상기 전송하는 단계는,
    상기 로그 데이터에 포함된 파라미터를 이용하여 상기 로그 데이터의 종류를 판단하는 단계
    를 포함하는 로그 데이터 처리 방법.
  16. 제12항에 있어서,
    상기 로그 데이터 그래프를 웹 인터페이스 형태로 디스플레이하는 단계
    를 더 포함하는 로그 데이터 처리 방법.
  17. 제12항에 있어서,
    상기 업무 프로세서의 종료 시점 이후에, 상기 제1 로그 데이터와 상기 제1 로그 데이터에 연관된 정보를 통합하여 상기 제2 저장 모듈로 전송하는 단계
    를 더 포함하는 로그 데이터 처리 방법.
  18. 제12항에 있어서,
    상기 제2 로그 데이터에 대해 오토샤딩(autoshading) 동작을 수행하는 단계
    를 더 포함하는 로그 데이터 처리 방법.
  19. 삭제
  20. 제12항 내지 제18항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020130147605A 2013-11-29 2013-11-29 로그 데이터 처리 방법 및 이를 수행하는 시스템 KR101559206B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130147605A KR101559206B1 (ko) 2013-11-29 2013-11-29 로그 데이터 처리 방법 및 이를 수행하는 시스템
US14/553,905 US20150154288A1 (en) 2013-11-29 2014-11-25 Method and system for processing log data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130147605A KR101559206B1 (ko) 2013-11-29 2013-11-29 로그 데이터 처리 방법 및 이를 수행하는 시스템

Publications (2)

Publication Number Publication Date
KR20150063233A KR20150063233A (ko) 2015-06-09
KR101559206B1 true KR101559206B1 (ko) 2015-10-13

Family

ID=53265534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130147605A KR101559206B1 (ko) 2013-11-29 2013-11-29 로그 데이터 처리 방법 및 이를 수행하는 시스템

Country Status (2)

Country Link
US (1) US20150154288A1 (ko)
KR (1) KR101559206B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102398085B1 (ko) * 2021-10-14 2022-05-13 (주)로그스택 인공지능 기반 기업 정보 자동 처리 및 생성 방법, 장치 및 시스템
KR20230031716A (ko) * 2021-08-27 2023-03-07 롯데정보통신 주식회사 로그 데이터의 비식별화 방법, 시스템 및 컴퓨터 프로그램

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160306810A1 (en) * 2015-04-15 2016-10-20 Futurewei Technologies, Inc. Big data statistics at data-block level
KR101687110B1 (ko) * 2015-07-29 2016-12-28 엘에스산전 주식회사 데이터 저장 시스템
US10394868B2 (en) 2015-10-23 2019-08-27 International Business Machines Corporation Generating important values from a variety of server log files
CN105824744B (zh) * 2016-03-21 2018-06-15 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
KR101914347B1 (ko) 2016-12-23 2018-11-01 부산대학교 산학협력단 대용량 이벤트 로그 재생 방법 및 대용량 이벤트 로그 재생 시스템
CN108268473A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 一种日志处理方法及装置
CN106897431B (zh) * 2017-02-27 2021-06-11 郑州云海信息技术有限公司 一种日志导出方法及系统
CN108628537A (zh) * 2017-03-17 2018-10-09 北京嘀嘀无限科技发展有限公司 监控数据输出方法及装置
CN108733545B (zh) * 2017-04-25 2022-02-18 北京微影时代科技有限公司 一种压力测试方法及装置
CN108052675B (zh) * 2017-12-28 2021-04-09 深圳Tcl新技术有限公司 日志管理方法、系统及计算机可读存储介质
CN108880890A (zh) * 2018-06-26 2018-11-23 郑州云海信息技术有限公司 一种数据中心日志统一收集方法及系统
CN109726209A (zh) * 2018-09-07 2019-05-07 网联清算有限公司 日志聚合方法及装置
KR102189127B1 (ko) * 2018-11-30 2020-12-10 주식회사 리얼타임테크 행위 기반 룰 처리 장치 및 그 처리 방법
KR102088304B1 (ko) * 2019-04-12 2020-03-13 주식회사 이글루시큐리티 그래프데이터베이스 기반 로그데이터 유사패턴 매칭 및 위험관리 방법
US11755588B2 (en) * 2019-12-11 2023-09-12 Vmware, Inc. Real-time dashboards, alerts and analytics for a log intelligence system
CN111767197A (zh) * 2020-06-22 2020-10-13 郑州阿帕斯数云信息科技有限公司 日志处理方法和装置
CN112929202A (zh) * 2021-01-19 2021-06-08 青岛获客传媒有限公司 一种分布式数据节点异常行为的预警系统
KR102393183B1 (ko) * 2021-09-29 2022-05-02 (주)로그스택 기업 서버의 로그 데이터 관리 및 처리 방법, 장치 및 시스템
CN113885809B (zh) * 2021-12-07 2022-03-18 云和恩墨(北京)信息技术有限公司 数据管理系统及方法
KR102426889B1 (ko) * 2022-01-05 2022-07-29 주식회사 이글루코퍼레이션 대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치, 방법 및 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122440A (ja) * 2005-10-28 2007-05-17 Fuji Xerox Co Ltd 情報分析装置、および情報分析方法、並びにコンピュータ・プログラム
KR100877156B1 (ko) * 2008-04-17 2009-01-07 (주)아이티엑스퍼트그룹 비정형 질의언어에 대한 사전 성능 분석 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122440A (ja) * 2005-10-28 2007-05-17 Fuji Xerox Co Ltd 情報分析装置、および情報分析方法、並びにコンピュータ・プログラム
KR100877156B1 (ko) * 2008-04-17 2009-01-07 (주)아이티엑스퍼트그룹 비정형 질의언어에 대한 사전 성능 분석 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (인터넷정보학회논문지 제14권 제6호, 2013.12.14., pp 71-84)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230031716A (ko) * 2021-08-27 2023-03-07 롯데정보통신 주식회사 로그 데이터의 비식별화 방법, 시스템 및 컴퓨터 프로그램
KR102528473B1 (ko) * 2021-08-27 2023-05-03 롯데정보통신 주식회사 로그 데이터의 비식별화 방법, 시스템 및 컴퓨터 프로그램
KR102398085B1 (ko) * 2021-10-14 2022-05-13 (주)로그스택 인공지능 기반 기업 정보 자동 처리 및 생성 방법, 장치 및 시스템

Also Published As

Publication number Publication date
US20150154288A1 (en) 2015-06-04
KR20150063233A (ko) 2015-06-09

Similar Documents

Publication Publication Date Title
KR101559206B1 (ko) 로그 데이터 처리 방법 및 이를 수행하는 시스템
JP6983990B2 (ja) 複数ソースからのデータの処理
JP6697392B2 (ja) 半構造データスキーマのトランスペアレントディスカバリ
US9946631B1 (en) Debug management in a distributed batch data processing environment
US9971633B1 (en) Operation efficiency management with respect to application compile-time
US9424160B2 (en) Detection of data flow bottlenecks and disruptions based on operator timing profiles in a parallel processing environment
CN107408114B (zh) 基于事务访问模式识别联结关系
US20210096981A1 (en) Identifying differences in resource usage across different versions of a software application
JP2016100006A (ja) パフォーマンス試験のためのベンチマーク・アプリケーションを生成する方法および装置
AU2021244852B2 (en) Offloading statistics collection
US11615076B2 (en) Monolith database to distributed database transformation
CN108829505A (zh) 一种分布式调度系统及方法
US20200265052A1 (en) Data processing device and data processing method
KR20150118963A (ko) 큐 모니터링 및 시각화
CN110727664A (zh) 用于对公有云数据执行目标操作的方法与设备
US10706102B2 (en) Operation efficiency management with respect to application run-time
KR20150056266A (ko) 공장 운영 관리용 정형 및 비정형의 빅데이터 엔진 및 처리 방법
CN111221698A (zh) 任务数据采集方法与装置
CN110309206B (zh) 订单信息采集方法及系统
US11816020B2 (en) Online query execution using a big data framework
CN109254961A (zh) 一种分布式多引擎数据质量管理系统
Felius Assessing the performance of distributed PostgreSQL
KR20170071283A (ko) Hive 기반의 빅 데이터 분석 시스템 및 이의 동작 방법
US11966387B2 (en) Data ingestion to avoid congestion in NoSQL databases
Nasrullah et al. A Study of Performance Evaluation and Comparison of NOSQL Databases Choosing for Big Data: HBase and Cassandra Using YCSB

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 5