KR102067032B1 - 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템 - Google Patents

하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템 Download PDF

Info

Publication number
KR102067032B1
KR102067032B1 KR1020190105596A KR20190105596A KR102067032B1 KR 102067032 B1 KR102067032 B1 KR 102067032B1 KR 1020190105596 A KR1020190105596 A KR 1020190105596A KR 20190105596 A KR20190105596 A KR 20190105596A KR 102067032 B1 KR102067032 B1 KR 102067032B1
Authority
KR
South Korea
Prior art keywords
big data
data
open source
engine
commercial
Prior art date
Application number
KR1020190105596A
Other languages
English (en)
Inventor
박수호
봉근행
Original Assignee
주식회사 엣지온
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엣지온 filed Critical 주식회사 엣지온
Priority to KR1020190105596A priority Critical patent/KR102067032B1/ko
Application granted granted Critical
Publication of KR102067032B1 publication Critical patent/KR102067032B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템에 관한 것으로서, 하이브리드 빅데이터 시스템 기반 데이터 처리 방법은 상용 빅데이터 시스템에 의해 수행된 상관관계 분석을 통해 필요한 데이터를 검색하기 위해 오픈소스 빅데이터 엔진에 의해 실행될 수 있는 쿼리를 생성하여 오픈소스 빅데이터 엔진으로 전송하는 단계; 오픈소스 빅데이터 엔진이 상기 쿼리를 수신하고 그 수신된 쿼리를 실행하여 데이터베이스를 검색하는 단계; 오픈소스 빅데이터 엔진이 상기 검색을 통해 획득된 트리구조(hierarchy)의 제이슨(JSON) 데이터를 전송하는 단계; 오픈소스 빅데이터 엔진으로부터 그 획득된 트리구조(hierarchy)의 제이슨(JSON) 데이터를 수신하여 상용빅데이터 시스템이 가공처리할 수 있는 키 값(key value) 형식의 제이슨 데이터로 변환하는 단계; 및 상용빅데이터 시스템이 상기 변환된 데이터를 가공처리하는 단계를 포함한다.

Description

하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템{Method and system for data processing based on hybrid big data system}
본 발명은 데이터 처리에 관한 것으로서, 특히 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법 및 시스템에 관한 것이다.
현재 4차산업시대에서 데이터는 가장 중요한 자산 중 하나로 손꼽힌다.　빅 데이터는 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어서는 크기의 데이터를 말한다. 빅 데이터의 사이즈는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페타바이트에 이르며, 그 크기가 끊임없이 변화하는 것이 특징이다.
보안, 인프라, 비즈니스, 어플리케이션, IOT 등에서 발생되는 대용량의 정형, 반정형, 비정형 데이터를 분석하고 시각화 하기 위한 솔루션들이 많이 개발되고 있으며, 이를 좀더 효율적으로 통제하고 분석할 수 있는 시스템이 필요하다.
오픈소스(OpenSource) 플랫폼의 빅데이터 시스템, 예를 들어 Elastic Stack은 대용량의 빅데이터를 수집하고 저장할 수 있으며, 무료로 사용할 수 있어 라이선스 구매 비용이 없다는 장점이 있다. 일반적으로 데이터 분석은 데이터 소스 수집, 저장, 처리, 분석, 표현의 프로세스를 거친다.
오픈소스 플랫폼은 오픈소스 서버측 데이터 처리 파이프라인으로 데이터 수집엔진, 데이터 검색엔진, 데이터 시각화엔진으로 구축할 수 있다. 데이터 수집엔진은 각 데이터베이스(database)의 데이터, 원시(raw) 데이터, 윈도우 이벤트 등 다양한 소스에서 동시에 데이터를 수집하고 변환하여 보관소로 보내며, 수집할 로그를 선정해서 지정된 대상 서버에 인덱싱한다. 데이터 검색엔진은 수집엔진에서 수집된 빅데이터를 저장소에 저장하고 예상되는 항목을 검색하고 정형, 비정형, 위치정보, 메트릭(metric) 등 원하는 방법으로 다양한 유형의 검색을 수행하고 결합한다. 그리고 데이터 시각화 엔진은 검색엔진에서 분석된 데이터를 시각적으로 탐색하고 실시간으로 분석하여 시각화한다. 또한 서버에 에이전트로 설치하여 다양한 유형의 데이터를 수집엔진 또는 검색엔진으로 전송하는 오픈소스 데이터 발송자를 더 구비할 수 있다.
한편, 상용플랫폼의 빅데이터 시스템, 예를 들어 Splunk Enterprise는 기계가 생성한 빅데이터(머신 데이터)를 웹 스타일 인터페이스를 통해 검색, 모니터링 및 분석하며, 예를 들어 IT 분야에서 발생하는 로그 데이터, 실시간 이벤트 데이터 및 다양한 장비 데이터를 수집하고 모니터링하며 검색, 분류, 분석할 수 있는 엔진을 포함하며, 다양한 분석을 통해 사용자가 원하는 대시보드(Dashboard)를 자유롭게 생성할 수 있는 솔루션을 제공하고 있다. 상용플랫폼의 빅데이터 시스템, 예를 들어, Splunk Enterprise는 머신 데이터(machine data) 가공, 데이터 인덱싱, 검색 및 조사, 검색결과 활용, 의미 있는 데이터 구현, 복잡한 이벤트의 상관관계 추적, 모니터링 및 경고, 보고 및 분석 기능을 제공한다.
머신 데이터(machine data) 가공 기능을 통해, 머신 데이터를 실시간으로 수집하고 인덱싱(indexing)하고, 데이터를 검색, 모니터링, 분석 및 가상화하여 인텔리전스(intelligence)를 제공한다. 데이터 인덱싱 기능을 통해 로그, 클릭스트림(clickstream) 데이터, 센서 데이터, 트랩 및 경고, 변경 이벤트, 진단 명령 결과, API 및 메시지 대기열의 데이터, 사용자 지정 애플리케이션의 멀티라인 로그 등 형식이나 위치에 관계없이 머신 데이터(machine data)를 인덱싱하며, 인덱싱 결과는 문제 해결, 보안 사고 조사, 네트워크 모니터링, 컴플라이언스 보고, 비즈니스 분석 및 기타 중요한 용도로 사용될 수 있다.
검색 및 조사 기능을 통해 동일한 인터페이스를 사용하여 실시간 및 이력 데이터를 검색하고, 유사한 검색 명령어를 사용하여 검색을 정의하거나 제한 또는 확장할 수 있다. 또한 통계 보고 명령어를 사용하고, 트랜잭션 개수 업데이트, 메트릭 계산, 롤링 시간 윈도우 내에서 특정 조건을 찾을 수 있으며, 검색 길잡이를 통해 자동 완성 및 상황별 도움말을 제공하므로 SPLTM(Search Processing Language)의 기능을 활용할 수 있게 한다.
의미있는 데이터 구현 기능을 통해, 자동으로 머신 데이터(machine data)에서 정보를 추출하여 필드 및 데이터 소스를 식별하고 이름 및 태그를 지정하여 더 많은 정보와 의미를 추가할 수 있고, 외부 자산 관리 데이터베이스 및 구성 관리 시스템과 사용자 디렉토리에서 얻은 정보를 추가할 수도 있으며, 기본 머신 데이터(machine data)에서 관계를 설명하는 데이터 모델을 쉽게 정의하여 검색 언어를 배우지 않고도 의미있는 보고서를 작성할 수 있게 한다.
복잡한 이벤트의 상관관계 추적 기능을 통해, 관련 없어 보이는 이벤트나 작업 간의 관계를 쉽게 설정하거나 찾을 수 있게 하며, 시간, 외부 데이터, 위치, 하위 검색 또는 조인을 기반으로 머신 데이터(machine data)를 상관하고 관련 이벤트를 트랜잭션 또는 세션으로 식별하고, 동향과 특성을 보고서 및 대시보드로 시각화 한다.
모니터링 및 경고 기능을 통해, 검색을 실시간 경고로 전환함으로써 이메일 또는 RSS(Rich Site Summary)를 통해 자동으로 통보하거나 교정 작업을 수행하고, SNMP(Simple Network Management Protocol) 트랩을 시스템 관리 콘솔로 보내거나 서비스 데스크에 자동으로 티켓을 생성할 수 있으며, 경고는 다양한 임계 값, 동향 기반 조건 및 기타 복합 검색을 기준으로 발생시킬 수 있으며, 경고 시 추가 정보를 확보하여 더 신속하게 근본 원인을 분석하고 문제를 해결할 수 있게 한다.
보고 및 분석 기능을 통해, 조직의 모든 사용자가 신속하게 데이터를 분석할 수 있게 하며, 보고서, 그래프 및 차트를 작성하여 중요한 동향을 파악하고 최고점과 최저점을 예측하고 시각화함으로써 통찰력을 제공한다.
하지만, 오픈소스 빅데이터 시스템은 무료이나 상관관계 분석을 통한 시각화 화면이 불편하고, 사용자들이 직접 쿼리를 생성하기가 쉽지 않는 등 운영 관리하기가 쉽지 않다. 반면 상용 빅데이터 시스템은 유연한 검색과 모니터링, 경고, 보고 및 분석, 사용자 대시보드 등 상관관계 분석을 통한 유용하고 편리한 기능을 제공하며 사용자들이 운영관리하기가 용이하나 고가의 라이선스를 구매해야 하는 단점이 있다.
한국등록특허공보 제10-1761781호(2017.07.20)
본 발명이 해결하고자 하는 과제는 상술한 오픈소스 빅데이터 시스템과 상용빅데이터 시스템의 단점을 해결하기 위해 창출된 것으로서, 상용빅데이터 시스템과 오픈소스 빅데이터 시스템을 연계하여 데이터 수집 및 검색은 오픈소스 빅데이터 시스템을 이용하고 획득된 데이터의 상관관계 분석을 통한 시각화 등 데이터 가공처리는 상용빅데이터 시스템을 이용할 수 있게 함으로써, 구매 비용을 대폭 절감하고 관리 및 유지보수가 편리한, 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법은, 상용 빅데이터 시스템에 의해 수행된 상관관계 분석을 통해 필요한 데이터를 검색하기 위해 오픈소스 빅데이터 엔진에 의해 실행될 수 있는 쿼리를 생성하여 상기 오픈소스 빅데이터 엔진으로 전송하는 단계; 상기 오픈소스 빅데이터 엔진이 상기 쿼리를 수신하고 상기 수신된 쿼리를 실행하여 데이터베이스를 검색하는 단계; 상기 오픈소스 빅데이터 엔진이 상기 검색을 통해 획득된 트리구조(hierarchy)의 제이슨(JSON) 데이터를 전송하는 단계; 오픈소스 빅데이터 엔진으로부터 상기 획득된 트리구조(hierarchy)의 제이슨(JSON) 데이터를 수신하여 상용빅데이터 시스템이 가공처리할 수 있는 키 값(key value) 형식의 제이슨 데이터로 변환하는 단계; 및 상기 상용빅데이터 시스템이 상기 변환된 데이터를 가공처리하는 단계를 포함한다.
상기 상용 빅데이터 시스템은 데이터 필드 정의를 데이터 검색시 수행하며 적어도 시각화를 포함한 상관관계 분석방법을 제공하고, 상기 오픈소스 빅데이터 엔진은 데이터 저장시 데이터 필드를 정의하며 상관관계 분석방법을 제공하지 않는 것을 특징으로 한다. 상기 상용 빅데이터 시스템이 가공처리하는 단계는 상기 상용빅데이터 시스템이 상기 변환된 데이터를 가공처리 명령어를 수행하여 메모리 상에서 시각화하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템은, 상용 빅데이터 시스템에 의해 수행된 상관관계 분석을 통해 필요한 데이터를 검색하기 위해 오픈소스 빅데이터 엔진에 의해 실행될 수 있는 쿼리를 생성하여 상기 오픈소스 빅데이터 엔진으로 전송하는 오픈소스 쿼리 생성부; 상기 쿼리를 수신하고 상기 수신된 쿼리를 실행하여 데이터베이스를 검색하여 트리구조(hierarchy)의 제이슨(JSON) 데이터를 획득하여 상기 상용빅데이터 시스템으로 전송하는 빅데이터 검색부; 상기 상용빅데이터 시스템이 오픈소스 빅데이터 엔진으로부터 상기 트리구조(hierarchy)의 제이슨(JSON) 데이터를 수신하여 상용빅데이터 시스템이 가공처리할 수 있는 키 값(key value) 형식의 제이슨 데이터로 변환하는 검색 데이터 변환부; 및 상기 변환된 데이터를 가공처리하는 빅데이터 가공처리부를 포함한다.
상기 빅데이터 가공처리부는 상기 상용빅데이터 시스템이 상기 변환된 데이터를 가공처리 명령어를 수행하여 메모리 상에서 시각화하는 것을 특징으로 한다.
본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법 및 시스템에 의하면, 매일 대량으로 쏟아지는 로그 데이터의 수집, 저장, 분석 모니터링 구현을 위해 구축 TCO 절감 및 중장기적으로 효율적인 운영유지 관리를 가능하게 한다. 즉, 상용빅데이터 시스템과 오픈소스 빅데이터 시스템을 연계하여 데이터 수집 및 검색은 오픈소스 빅데이터 시스템을 이용하고 획득된 데이터의 상관관계 분석을 통한 시각화 등 데이터 가공처리는 상용빅데이터 시스템을 이용할 수 있게 함으로써, 구매 비용을 대폭 절감하고 관리 및 유지보수가 편리하다.
또한 본 발명에 의하면, 네트워크 장비 또는 보안장비 등 대용량 정형, 반정형, 비정형 로그데이터를 통합적으로 모니터링할 수 있는 기반을 구현할 수 있으며, 플랫폼 기반 단독으로 빅데이터 시스템을 구현할 때의 비용과 구축기간 대비하여 비용을 절감하고 구축 기간을 단축할 수 있고 중장기적으로 운영, 개발, 유지 비용을 절감할 수 있다. 그리고 통합모니터링 체계를 구현함으로써 관리포인트를 줄이고 실시간 예측 가능한 통합모니터링 운영을 통한 장애 선 대응 및 사후 분석을 통해 장애리스크를 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템에 대한 구성을 블록도로 나타낸 것이다.
도 2는 본 발명의 일실시예에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법을 흐름도로 나타낸 것이다.
도 3은 도 2의 오픈소스 빅데이터 엔진 쿼리 생성을 보다 상세하게 나타낸 일 예이다.
도 4는 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법에서 오픈 소스 빅데이터 엔진의 빅데이터 검색 수행 후 상용 빅데이터 시스템에서의 가공처리까지 과정을 보다 상세하게 나타낸 흐름도이다.
도 5는 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템의 일 구현 예를 블록도로 나타낸 것이다.
도 6은 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템에서 데이터 저장/인덱싱과 대시보드를 통한 시각화를 나타낸 것이다.
도 7은 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템의 기능을 나타낸 것이다.
도 8은 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법에서 오픈소스 빅데이터 엔진과 상용 빅데이터 시스템 간의 상호 연계의 흐름을 나타낸 것이다.
도 9는 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법 및 시스템의 사례로서, 케이블 방송에 사용되는 네크워크 장비 통합 모니터링을 나타낸 것이다.
도 10은 도 9의 케이블 방송에 사용되는 DNS와 DHCP 장비에 대해 운영담당자가 실시간으로 모니터링할 수 있는 대시보드에 대한 일 예를 나타낸 것이다.
이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일실시예에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템에 대한 구성을 블록도로 나타낸 것이다. 본 발명의 일실시예에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템은 오픈소스 쿼리 생성부(130), 빅데이터 검색부(112), 검색 데이터 변환부(140) 및 빅데이터 가공처리부(152)를 포함한다.
오픈소스 쿼리 생성부(130)는 상용 빅데이터 시스템(150)에 의해 수행된 상관관계 분석을 통해 필요한 데이터를 검색하기 위해 오픈소스 빅데이터 엔진(110)에 의해 실행될 수 있는 쿼리를 생성하여 오픈소스 빅데이터 엔진(110)으로 전송한다. 여기서, 상용 빅데이터 시스템(150)은 데이터 필드 정의를 데이터 검색시 수행하며 적어도 시각화를 포함한 상관관계 분석방법을 제공하고, 오픈소스 빅데이터 엔진(110)은 데이터 저장시 데이터 필드를 정의하며 상관관계 분석방법을 제공하지 않는다. 빅데이터 검색부(112)는 상기 쿼리를 수신하고 상기 수신된 쿼리에 따라 빅 데이터를 검색하여 트리구조(hierarchy)의 제이슨(JSON) 데이터를 획득하여 상용빅데이터 시스템(150)으로 전송한다. 여기서, JSON(JavaScript Object Notation)은 데이터를 표현하는 하나의 표준 방법으로, 특히 컴퓨터 프로그램의 변수 값을 표현하는 데 적합하며, 프로그래밍 언어나 플랫폼에 독립적이므로 C, C++, C#, 자바, 자바 스크립트, 펄, 파이썬 등 많은 언어에서 이용할 수 있다.
검색 데이터 변환부(140)는 상용빅데이터 시스템(150)이 오픈소스 빅데이터 엔진(110)으로부터 상기 트리구조(hierarchy)의 제이슨(JSON) 데이터를 수신하여 상용빅데이터 시스템(150)이 가공처리할 수 있는 키 값(key value) 형식의 제이슨 데이터로 변환한다. 빅데이터 가공처리부(152)는 상기 변환된 데이터를 가공처리하며, 예를 들어 상용빅데이터 시스템(150)이 상기 변환된 데이터를 가공처리 명령어를 수행하여 메모리 상에서 시각화 할 수 있다.
도 2는 본 발명의 일실시예에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법을 흐름도로 나타낸 것이다. 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법을 설명하기로 한다.
먼저, 상용 빅데이터 시스템(150)에 의해 수행된 상관관계 분석을 통해 필요한 데이터를 검색하기 위해 오픈소스 쿼리 생성부(130)는 오픈소스 빅데이터 엔진(110)에 의해 실행될 수 있는 쿼리를 생성하여 오픈소스 빅데이터 엔진(110)의 빅데이터 검색부(112)로 상기 생성된 쿼리를 전송한다.(S210단계)
도 3은 S210단계의 오픈소스 빅데이터 엔진(110)에 전송할 쿼리를 생성하는 것을 보다 상세하게 나타낸 일 예이다. 먼저 상용 빅데이터 시스템(150)에 의해 상관관계 분석을 수행하여 데이터 가공에 필요한 데이터를 오픈소스 빅데이터 엔진(110)을 이용하여 빅데이터를 검색하기 위해 검색문(쿼리)를 생성한다.(S310단계) 이 때 타임존(Time Zone)을 일치시킨다.(S320단계) 상기 타임존 일치는 오픈소스 빅데이터 엔진(110)이 빅데이터를 수집하여 빅데이터 DB(120)에 저장할 때의 기준 시간과 상용 빅데이터 시스템(150)에서 사용되는 쿼리의 기준 시간을 일치시키는 것을 말한다. 예를 들어, 오픈소스 빅데이터 엔진(110)에서는 그리니치 표준시를 기준시간으로 빅데이터가 저장되어 있고, 상용빅데이터 시스템(150)에서는 한국 표준시를 기준으로 데이터가 저장되어 있을 때, 조회되는 데이터가 다를 수 있다. 이를 해결하기 위해 상용빅데이터 시스템(150)에서 오픈소스 빅데이터 엔진(110)에서 실행될 수 있는 검색문(쿼리)를 생성할 때 검색 표준시를 그리니치 표준시로 일치시킨다. 타임존이 일치하지 않으면 오류를 출력하고(S390단계)하고 검색문을 수정한다.
타임존이 일치하면 상용 빅데이터 시스템(150)에서 쿼리를 생성할 때 상용 빅데이터 시스템(150)이 이해하는 검색기간을 오픈소스 빅데이터 엔진(110)이 이해하는 검색기간으로 변환한다. (S330단계) 즉, 상용 빅데이터 시스템(150)에서 통용되는 검색기간과 오픈소스 빅데이터 엔진(110)에서 통용되는 검색기간이 서로 문법적으로 다르게 표현될 때 이를 일치시킨다.
검색기간이 변환되면, 토큰을 적용한다.(S340단계) 토큰 적용은 오픈소스 빅데이터 엔진(110)과 상용 빅데이터 시스템(150) 간의 상호작용을 위해 상용 빅데이터 시스템(150)에서 동적으로 변하는 파라미터, 변수 등을 오픈소스 빅데이터 엔진(110)에서 동적으로 사용되는 파라미터, 변수 등으로 일치시키는 것을 말한다. 즉, 상용 빅데이터 시스템(150)에서 동적으로 사용되는 파라미터 또는 변수들이 오픈소스 빅데이터 엔진(110)에서는 다르게 사용될 수 있으므로 이러한 문제를 해결하기 위해 상용 빅데이터 시스템(150)에서 동적으로 사용되는 파라미터 또는 변수들이 오픈소스 빅데이터 엔진(110)에서 동적으로 반영되도록 하는 것을 말한다.
S320 단계 내지 S340 단계에서 상용 빅데이터 시스템(150)이 오픈소스 빅데이터 엔진(110)으로 필요한 데이터를 조회시 타임존, 상호작용을 위한 동적인 토큰 반영으로 쿼리가 생성되면, 생성된 쿼리의 문법을 검사한다.(S340단계) 문법에 문제가 없으면, 로깅(logging)을 한다.(S360단계) 로깅은 시스템 동작시 시스템 상태, 작동 정보를 시간의 경과에 따라 기록하는 것을 말한다. 로깅을 한 후에는 오픈소스 빅데이터 엔진(110)으로 검색문을 전송하여 검색을 요청한다.(S370단계) 생성된 쿼리의 문법을 체크하여 문법에 이상이 있으면 로깅을 한 후(S380단계), 오류를 출력하고 검색문을 수정한다.
한편, 오픈소스 빅데이터 엔진(110)은 오픈소스 쿼리 생성부(130)에 의해 생성된 쿼리를 수신하면 상기 수신된 쿼리를 실행하여 오픈소스 빅 데이터 엔진의 빅 데이터를 검색한다.(S220단계) 오픈소스 빅데이터 엔진(110)이 상기 검색을 통해 획득된 트리구조(hierarchy)의 제이슨(JSON) 데이터를 검색 데이터 변환부(140)로 전송한다.(S230단계)
검색 데이터 변환부(140)는 오픈소스 빅데이터 엔진(110)으로부터 상기 획득된 트리구조(hierarchy)의 제이슨(JSON) 데이터를 수신하여 상용빅데이터 시스템(150)이 가공 처리할 수 있는 키 값(key value) 형식의 제이슨 데이터로 변환한다.(S240단계) 상용빅데이터 시스템(150)의 빅데이터 가공처리부(152)는 상기 변환된 데이터를 가공처리하며(S250단계), 예를 들어 상용빅데이터 시스템(150)이 상기 변환된 데이터를 가공처리 명령어를 수행하여 메모리 상에서 시각화 할 수 있다.
상기 가공처리는 데이터에서 특정한 값을 뽑아내고 A를 B로 바꾸고 합치며, 상관관계분석을 위한 검색, 집계(stat chart, time chart)를 위한 명령어를 사용하여, 상용 빅데이터 엔진에 저장하고, 저장된 데이터를 재 분석하며, evaluation(데이터 가공처리 함수), stat(통계), 필터(특정한 값을 조건에서 제외), 추가(결과에 새로운 값을 추가), join(상관관계분석), 경고, 스케쥴링, 시각화 하는 것을 포함한다. 그리고 통합(integration) 기능은 상용 빅데이터 시스템과 오픈소스 빅데이터 시스템을 분석하거나 상관관계분석 또는 특정데이터 검색을 가능하게 하는 것을 포함한다.
도 4는 상술한 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법에서 오픈 소스 빅데이터 엔진(110)의 빅데이터 검색 후 상용 빅데이터 시스템(150)에서의 가공처리까지 과정을 보다 상세하게 나타낸 흐름도이다.
도 1, 도 2 및 도 4를 참조하면, 오픈소스 빅데이터 엔진(110)의 빅데이터 검색부(112)에 의해 빅데이터 검색이 수행되고(S410단계), 검색된 결과는 트리구조의 계층적 JSON 데이터로 검색데이터 변환부(140)에게 전송된다.(S415단계) 검색데이터 변환부(140)는 검색된 트리구조의 계층적 JSON 데이터를 키 값(Key Value) JSON 데이터로 변환한다.(S420단계) 이 때, 검색된 트리구조의 계층적 JSON 데이터의 크기가 작을 때에는(S425단계), 상용 빅데이터 시스템(150)의 사용엔진에서 이해할 수 있는 데이터(Key Value JSON)으로 변환하여 최종값으로 표현한다.(S435단계) 만일 검색된 트리구조의 계층적 JSON 데이터의 크기가 큰 데이터 셋일 경우에는(S425단계),메모리에서 큐잉(Queuing)하여(S430단계), 그 결과를 상용 빅데이터 엔진에서 사용할 수 있는 데이터 형태로 변경한다.(S435단계) 이렇게 해서 최종값으로 표현된 빅데이터는 통합검색을 수행한다.(S440단계) 구체적으로 전체 검색문을 저장하여 공유하거나(S445단계), 대시보드(S450단계), 경고(S455단계), 스케쥴(S460단계) 등 다양한 형태로 변경하며, 또한 그 결과를 저장하여 추후 재사용 가능하도록 한다.(S465단계)
도 5는 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템의 일 구현 예를 블록도로 나타낸 것으로서, 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템은 오픈소스 빅데이터 플랫폼인 오픈소스 빅데이터 엔진 스택(Elastic Stack, 510)과 상용 빅데이터 플랫폼인 상용빅데이터 시스템(Splunk, 520)의 장점을 조합하여 플랫폼 체계 기반으로 효율적인 상호 연계 기술을 제공한다. 도 5를 참조하면, 오픈소스 빅데이터 엔진 스택(510)은 오픈소스 플랫폼으로서, 대용량 빅데이터를 수집, 저장하고, 라이선스 구매비용이 없는 장점이 있다. 그리고 고성능 정보 색인, 검색 라이브러리 Lucene의 기능을 대부분 수용하고 추가 확장하여 저장 및 검색 안정성과 성능이 향상되었다. 또한 오픈소스 빅데이터 엔진의 특성은 저장시 데이터를 정의하고 검색시 연관도를 분석하여 최적의 결과물을 제공하며, 필요시 기본으로 제공되는 형태소 분석을 통한 비정형 데이터 분석이 용이하다. 오픈소스 빅데이터 엔진 스택(510)에는 데이터를 수집하는 Logstash, Beats가 있을 수 있고, 데이터를 저장하고 인덱싱 및 검색하는 모듈로 Elasticsearch가 있고, 사용자 인터페이스로 시각화 모듈인 Kibana가 있을 수 있으며, 이들을 조합하거나 단독으로 구현가능하다. 본 발명에서는 오픈소스 빅데이터 엔진(110)에는 시각화 모듈이 포함되지 않는다.
상용 빅데이터 시스템(Splunk Enterprise, 520)은 상용(Commercial) 플랫폼으로서, 저장용량(Indexing/day)에 따른 필요한 용량 라이선스를 구매해야 하며, 탑재 기능으로 다양한 대시보드 모니터링 표현 방법을 제공하며, 각 산업군별 기본 Knowledge를 제공할 수 있고, 파이프라인 형식의 데이터 검색 및 검색시 데이터를 정의하고 반정형(머신) 데이터 분석 및 검색이 원활하다. 상용 빅데이터 시스템(Splunk Enterprise, 520)에는 Dashboard, Reporting, Alerting, Security 등을 제공할 수 있다.
ECS(Elastic Connected Splunk, 530)는 오픈소스 빅데이터 엔진(Elastic)과 상용 빅데이터 시스템(Splunk)를 연계해서 사용할 수 있게 하며, 도 1에 도시된 오픈소스 쿼리 생성부(130) 및 검색데이터 변환부(140)이 포함된다.
도 6은 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템에서 데이터 저장/인덱싱과 대시보드를 통한 시각화를 나타낸 것이다. 도 6을 참조하면, 데이터는 오픈소스 빅데이터 엔진(610)에 저장 및 인덱싱하고, 상용빅데이터 시스템(620)은 오픈 소스 빅데이터 엔진에 저장된 데이터를 검색하고 분석한다. ECS(630)은 오픈소스 빅데이터 엔진(610)과 상용빅데이터 시스템(620)의 기능들을 자유롭게 사용할 수 있는 기능들을 제공한다.
도 7은 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템의 기능을 나타낸 것이다. 도 7을 참조하면, 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 시스템의 기능은 Integration(710), Search/Schedule/Alerting(720), Security(730), Management(740) 및 Dashboard(750)을 포함한다.
도 8은 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법에서 오픈소스 빅데이터 엔진과 상용 빅데이터 시스템 간의 상호 연계의 흐름을 나타낸 것이다. 도 1 및 도 8을 참조하면, 먼저 오픈소스 쿼리 생성부(130)이 오픈소스 빅데이터 엔진(110)이 실행할 수 있는 쿼리(810)를 생성하여 오픈소스 빅데이터 엔진(110)으로 전달하면, 오픈소스 빅데이터 엔진(110)의 빅데이터 검색부(112)는 빅데이터를 검색하여 검색한 결과(820)를 검색데이터 변환부(140)로 전달한다. 검색데이터 변환부(140)는 검색한 결과(820)를 상용빅데이터 시스템(150)이 이해할 수 있는 데이터(830)로 변환한다. 빅데이터 가공처리부(152)는 변환된 데이터를 이용하여 대시보드(840)로 시각화한다.
도 9는 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법 및 시스템의 사례로서, 케이블 방송에 사용되는 네크워크 장비 통합 모니터링을 나타낸 것이다. 도 9를 참조하면, 4대의 DNS 장비와 2대의 DHCP장비를 통해 초당 12만건의 데이터를 매일 약 2.8 테라바이트의 데이터를 수집하여 DNS, DHCP 상황판과 DNS, DHCP 장비 상태 및 클라이언트 Map 등으로 분석한다.
도 10은 도 9의 케이블 방송에 사용되는 DNS와 DHCP 장비에 대해 운영담당자가 실시간으로 모니터링할 수 있는 대시보드에 대한 일 예를 나타낸 것이다. 도 10을 참조하면, 본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법 및 시스템을 적용하여 DNS 대시보드(1010)를 통해 클라이언트가 DNS 장비에 호출하는 쿼리 및 장비 리소스 현황과 Top 10 쿼리 내역 통계 및 IPv4 및 IPv6 쿼리에 대한 상위 상세 내역을 제공할 수 있다.
그리고 DHCP 대시보드(1020)을 통해 인터넷 사용자의 IPv6 자원 할당 정보에 대한 전체 현황, 장비의 CPU, 메모리 및 IP 할당 가능 리소스 풀(Resource Pool) 현황, IPv6의 할당/회수/ 액티브 상태를 직관적으로 제공할 수 있다.
본 발명에 따른 하이브리드(hybrid) 빅데이터 시스템 기반 데이터 처리 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110 : 오픈소스 빅데이터 엔진 112 : 빅데이터 검색부
120 : 빅데이터 DB 130 : 오픈소스 쿼리 생성부
140 : 검색데이터 변환부 150 : 상용 빅데이터 시스템
152 : 빅데이터 가공 처리부 510 : 오픈소스 빅데이터 엔진 스택
520 : 상용 빅데이터 시스템 530 : ECS(Elastic Connected Splunk)
1010 : DNS 대시보드 1020 : DHCP 대시보드

Claims (5)

  1. 서로 다른 빅데이터 시스템으로서 오픈소스빅데이터 엔진과 상용빅데이터 시스템을 이용하는 하이브리드 빅데이터 시스템 기반 데이터 처리 방법에 있어서,
    상기 상용 빅데이터 시스템에 의해 수행된 상관관계 분석을 통해 필요한 데이터를 검색하기 위해 오픈소스쿼리 생성부가 상기 상용 빅데이터 시스템이 필요로 하는 데이터 검색을 위한 쿼리를 상기 오픈소스 빅데이터 엔진에 의해 실행될 수 있는 쿼리로 생성하여 상기 오픈소스 빅데이터 엔진으로 전송하는 제1단계;
    상기 오픈소스 빅데이터 엔진이 상기 쿼리를 수신하고 상기 수신된 쿼리를 실행하여 데이터베이스를 검색하는 제2단계;
    상기 오픈소스 빅데이터 엔진이 상기 검색을 통해 획득된 트리구조(hierarchy)의 제이슨(JSON) 데이터를 전송하는 제3단계;
    오픈소스 빅데이터 엔진으로부터 상기 획득된 트리구조(hierarchy)의 제이슨(JSON) 데이터를 수신하여 상용빅데이터 시스템이 가공처리할 수 있는 키 값(key value) 형식의 제이슨 데이터로 변환하는 제4단계; 및
    상기 상용빅데이터 시스템이 상기 변환된 데이터를 가공처리하고 시각화를 위해서는 가공처리 명령어를 수행하여 메모리 상에서 시각화하는 제5단계를 포함하고,
    상기 제2단계는
    상기 오픈소스 빅데이터 엔진이 빅데이터를 수집하여 빅데이터 데이터베이스(DB)에 저장할 때의 기준 시간과 상용 빅데이터 시스템에서 사용되는 쿼리의 기준 시간을 일치시키는 타임존(Time Zone)을 일치시키는 단계;
    타임존이 일치되면 상기 상용 빅데이터 시스템이 이해하는 검색기간을 상기 오픈소스 빅데이터 엔진이 이해하는 검색기간으로 변환하는 단계;
    상기 검색기간이 변환되면, 상기 오픈소스 빅데이터 엔진과 상기 상용 빅데이터 시스템 간의 상호작용을 위해 상용 빅데이터 시스템에서 동적으로 변하는 파라미터 및 변수를 오픈소스 빅데이터 엔진에서 동적으로 사용되는 파라미터 및 변수로 일치시키는 동적인 토큰을 적용하는 단계; 및
    상기 타임존과 동적인 토큰 반영으로 쿼리가 생성되면, 생성된 쿼리의 문법을 검사하고, 로깅(logging)을 하는 단계를 포함하고,
    상기 제4단계는
    검색된 트리구조의 계층적 JSON 데이터의 크기가 미리 설정된 값보다 작을 때에는 상용 빅데이터 시스템의 사용엔진에서 이해할 수 있는 데이터(Key Value JSON)으로 변환하여 최종값으로 표현하는 단계; 및
    검색된 트리구조의 계층적 JSON 데이터의 크기가 큰 데이터 셋일 경우에는, 메모리에서 큐잉(Queuing)하여 큐잉된 결과를 이용하여 상용 빅데이터 엔진에서 사용할 수 있는 데이터 형태로 변경하는 단계를 포함하는 것을 특징으로 하는 하이브리드 빅데이터 시스템 기반 데이터 처리 방법.
  2. 제1항에 있어서, 상기 상용 빅데이터 시스템은
    데이터 필드 정의를 데이터 검색시 수행하며 적어도 시각화를 포함한 상관관계 분석방법을 제공하고,
    상기 오픈소스 빅데이터 엔진은
    데이터 저장시 데이터 필드를 정의하며 상관관계 분석방법을 제공하지 않는 것을 특징으로 하는, 하이브리드 빅데이터 시스템 기반 데이터 처리 방법.
  3. 삭제
  4. 상용 빅데이터 시스템에 의해 수행된 상관관계 분석을 통해 필요한 데이터를 검색하기 위해 상기 상용 빅데이터 시스템이 필요로 하는 데이터 검색을 위한 쿼리를 오픈소스 빅데이터 엔진에 의해 실행될 수 있는 쿼리로 생성하여 상기 오픈소스 빅데이터 엔진으로 전송하는 오픈소스 쿼리 생성부;
    상기 쿼리를 수신하고 상기 수신된 쿼리를 실행하여 데이터베이스를 검색하여 트리구조(hierarchy)의 제이슨(JSON) 데이터를 획득하여 상기 상용빅데이터 시스템으로 전송하는 빅데이터 검색부;
    상기 상용빅데이터 시스템이 오픈소스 빅데이터 엔진으로부터 상기 트리구조(hierarchy)의 제이슨(JSON) 데이터를 수신하여 상용빅데이터 시스템이 가공처리할 수 있는 키 값(key value) 형식의 제이슨 데이터로 변환하되, 검색된 트리구조의 계층적 JSON 데이터의 크기가 미리 설정된 값보다 작을 때에는 상용 빅데이터 시스템의 사용엔진에서 이해할 수 있는 데이터(Key Value JSON)으로 변환하여 최종값으로 표현하고, 상기 검색된 트리구조의 계층적 JSON 데이터의 크기가 큰 데이터 셋일 경우에는 메모리에서 큐잉(Queuing)하여 큐잉된 결과를 이용하여 상용 빅데이터 엔진에서 사용할 수 있는 데이터 형태로 변경하는 검색 데이터 변환부; 및
    상기 변환된 데이터를 가공처리하되, 시각화를 위해서는 가공처리 명령어를 수행하여 메모리 상에서 시각화하는 빅데이터 가공처리부를 포함하고,
    상기 오픈소스 쿼리 생성부는
    상기 오픈소스 빅데이터 엔진이 빅데이터를 수집하여 빅데이터 데이터베이스(DB)에 저장할 때의 기준 시간과 상용 빅데이터 시스템에서 사용되는 쿼리의 기준 시간을 일치시키는 타임존(Time Zone)을 일치시키고, 상기 상용 빅데이터 시스템이 이해하는 검색기간을 상기 오픈소스 빅데이터 엔진이 이해하는 검색기간으로 변환하며, 상기 오픈소스 빅데이터 엔진과 상기 상용 빅데이터 시스템 간의 상호작용을 위해 상용 빅데이터 시스템에서 동적으로 변하는 파라미터 및 변수를 오픈소스 빅데이터 엔진에서 동적으로 사용되는 파라미터 및 변수로 일치시키는 동적인 토큰을 적용하고, 상기 타임존과 동적인 토큰 반영으로 쿼리가 생성되면, 생성된 쿼리의 문법을 검사하고, 로깅(logging)을 하는 것을 특징으로 하는 하이브리드 빅데이터 시스템 기반 데이터 처리 시스템.
  5. 삭제
KR1020190105596A 2019-08-28 2019-08-28 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템 KR102067032B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190105596A KR102067032B1 (ko) 2019-08-28 2019-08-28 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190105596A KR102067032B1 (ko) 2019-08-28 2019-08-28 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102067032B1 true KR102067032B1 (ko) 2020-01-15

Family

ID=69156649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190105596A KR102067032B1 (ko) 2019-08-28 2019-08-28 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102067032B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695001A (zh) * 2020-06-17 2020-09-22 科技谷（厦门）信息技术有限公司 一种大数据场景下的混合数据管理系统
KR20210105699A (ko) * 2020-02-19 2021-08-27 심상택 오픈 소스 빅데이터 시스템에서 구조화된 언어로 통계 및 원본 데이터를 검색하는 방법 및 시스템
CN113407582A (zh) * 2021-06-03 2021-09-17 上海蓝色帛缔智能工程有限公司 一种多智能体的集成数据的监控方法及云服务器
CN116521776A (zh) * 2023-07-03 2023-08-01 陕西省君凯电子科技有限公司 一种信息快速查询系统
KR20240059429A (ko) 2022-10-27 2024-05-07 삼성에스디에스 주식회사 데이터 분석 방법, 장치, 시스템 및 컴퓨터 프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101761781B1 (ko) 2016-12-30 2017-07-26 강원석 It 통합 관리 프레임워크를 위한 오픈소스 데이터베이스를 적용한 빅데이터 처리 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101761781B1 (ko) 2016-12-30 2017-07-26 강원석 It 통합 관리 프레임워크를 위한 오픈소스 데이터베이스를 적용한 빅데이터 처리 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DB 2차원배열List<Map> 형태의 데이터를 트리구조 JSON으로 변경하여 jquery.dynatree 표현, https://ddakker.tistory.com/296 (2013.12.12.)* *
Java에서 JSON 사용하기2, https://kingpodo.tistory.com/12 (2018.05.01.)* *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210105699A (ko) * 2020-02-19 2021-08-27 심상택 오픈 소스 빅데이터 시스템에서 구조화된 언어로 통계 및 원본 데이터를 검색하는 방법 및 시스템
KR102346289B1 (ko) * 2020-02-19 2022-01-03 심상택 오픈 소스 빅데이터 시스템에서 구조화된 언어로 통계 및 원본 데이터를 검색하는 방법 및 시스템
CN111695001A (zh) * 2020-06-17 2020-09-22 科技谷（厦门）信息技术有限公司 一种大数据场景下的混合数据管理系统
CN111695001B (zh) * 2020-06-17 2023-05-30 科技谷（厦门）信息技术有限公司 一种大数据场景下的混合数据管理系统
CN113407582A (zh) * 2021-06-03 2021-09-17 上海蓝色帛缔智能工程有限公司 一种多智能体的集成数据的监控方法及云服务器
KR20240059429A (ko) 2022-10-27 2024-05-07 삼성에스디에스 주식회사 데이터 분석 방법, 장치, 시스템 및 컴퓨터 프로그램
CN116521776A (zh) * 2023-07-03 2023-08-01 陕西省君凯电子科技有限公司 一种信息快速查询系统
CN116521776B (zh) * 2023-07-03 2023-09-05 陕西省君凯电子科技有限公司 一种信息快速查询系统

Similar Documents

Publication Publication Date Title
KR102067032B1 (ko) 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템
US11789943B1 (en) Configuring alerts for tags associated with high-latency and error spans for instrumented software
US8423638B2 (en) Performance monitoring of a computer resource
US20170109676A1 (en) Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process
US20170109668A1 (en) Model for Linking Between Nonconsecutively Performed Steps in a Business Process
US9195943B2 (en) Behavioral rules discovery for intelligent computing environment administration
US20170109639A1 (en) General Model for Linking Between Nonconsecutively Performed Steps in Business Processes
US10657099B1 (en) Systems and methods for transformation and analysis of logfile data
US20170201606A1 (en) Automatically adjusting timestamps from remote systems based on time zone differences
US20210103571A1 (en) Assisted problem identification in a computing system
US20180176095A1 (en) Data analytics rendering for triage efficiency
AU2021244852B2 (en) Offloading statistics collection
CN113608969A (zh) 业务系统运行监控系统及方法
CN112395333A (zh) 用于排查数据异常的方法、装置、电子设备及存储介质
WO2023224764A1 (en) Multi-modality root cause localization for cloud computing systems
US10324818B2 (en) Data analytics correlation for heterogeneous monitoring systems
CN117806929A (zh) MySQL慢日志采集分析方法、系统、设备及存储介质
US20170109637A1 (en) Crowd-Based Model for Identifying Nonconsecutive Executions of a Business Process
US20170109670A1 (en) Crowd-Based Patterns for Identifying Executions of Business Processes
KR20170122874A (ko) 데이터 분산 서비스 기반의 응용 시스템의 통합 로그 관리 장치
CN116225848A (zh) 日志监测方法、装置、设备和介质
CN113781068B (zh) 线上问题解决方法、装置、电子设备和存储介质
US20170337644A1 (en) Data driven invocation of realtime wind market forecasting analytics
CN114625763A (zh) 用于数据库的信息分析方法、装置、电子设备和可读介质
CN112015623A (zh) 报表数据处理的方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant