KR101744892B1 - 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법 - Google Patents

시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법 Download PDF

Info

Publication number
KR101744892B1
KR101744892B1 KR1020160032100A KR20160032100A KR101744892B1 KR 101744892 B1 KR101744892 B1 KR 101744892B1 KR 1020160032100 A KR1020160032100 A KR 1020160032100A KR 20160032100 A KR20160032100 A KR 20160032100A KR 101744892 B1 KR101744892 B1 KR 101744892B1
Authority
KR
South Korea
Prior art keywords
collection
collection server
data
search
server group
Prior art date
Application number
KR1020160032100A
Other languages
English (en)
Inventor
호경중
김태근
Original Assignee
주식회사 젠시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 젠시스템즈 filed Critical 주식회사 젠시스템즈
Priority to KR1020160032100A priority Critical patent/KR101744892B1/ko
Application granted granted Critical
Publication of KR101744892B1 publication Critical patent/KR101744892B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F17/30194—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F17/30094—
    • G06F17/30185—
    • G06F17/30221—
    • G06F17/30386—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 일 기술적 측면에 따른 데이터 검색 시스템은, 수집된 시계열 데이터의 시간 정보를 이용하여 시계열 인덱스를 생성하고, 상기 시계열 인덱스를 포함하는 로그 파일을 생성하여, 저장 기간에 따라 계층적으로 구분되는 복수의 수집 서버에 분산하여 저장하는 데이터 수집부 및 상기 복수의 수집 서버에 대한 계층적인 구조 정보를 유지하고, 사용자의 검색 요청에 대하여 상기 계층적인 구조 정보를 참조하여 검색을 수행할 적어도 하나의 수집 서버를 선택하는 데이터 검색부를 포함할 수 있다.

Description

시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법 {SYSTEM AND METHOD FOR DATA SEARCHING USING TIME SERIES TIER INDEXING}
본 발명은 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법에 관한 것이다.
데이터의 꾸준한 증가에 따라, 대용량 데이터들에 대한 검색이나 처리가 중요한 이슈가 되고 있다. 또한, 데이터의 효과적인 처리를 위하여, 데이터의 시간 정보가 반영된 시계열 데이터에 대한 검색이 중요한 이슈가 되고 있다.
종래에는, 이러한 대용량의 시계열 데이터 처리를 위하여 분산 처리 기술 등이 적용되고 있었다. 그러나, 이러한 종래의 시계열 데이터 처리 방식은 분산 처리 등을 기반으로 동작되므로, 검색 시스템 자체의 규모를 크게 요구하거나, 또는 분산 처리 대상의 일차적인 관리에 의하여 검색 효율의 비효율이 존재하는 문제점이 있다.
이는, 특히 데이터의 시계열적인 특성이 부여될 때, 단순 분산 처리 방식에 의한 경우 검색 비효율이 증가되는 문제가 있다.
이러한 종래기술에 대해서는, 한국 등록특허공보 제10-1426673호, 한국 등록특허공보 제10-0898465호 또는 한국 공개특허공보 제2002-0066836호 등을 통하여 보다 쉽게 이해할 수 있다.
한국 등록특허공보 제10-1426673호 한국 등록특허공보 제10-0898465호 한국 공개특허공보 제2002-0066836호
본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 시계열 데이터의 검색을 최소의 자원으로도 효율적이고 빠르게 수행할 수 있는 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법을 제공하는 것이다.
본 발명의 일 기술적 측면은 데이터 검색 시스템을 제안한다. 상기 데이터 검색 시스템은, 수집된 시계열 데이터의 시간 정보를 이용하여 시계열 인덱스를 생성하고, 상기 시계열 인덱스를 포함하는 로그 파일을 생성하여, 저장 기간에 따라 계층적으로 구분되는 복수의 수집 서버에 분산하여 저장하는 데이터 수집부 및 상기 복수의 수집 서버에 대한 계층적인 구조 정보를 유지하고, 사용자의 검색 요청에 대하여 상기 계층적인 구조 정보를 참조하여 검색을 수행할 적어도 하나의 수집 서버를 선택하는 데이터 검색부를 포함할 수 있다.
일 실시예에서, 상기 데이터 수집부는, 상기 로그 파일을 제1 기간까지 저장하는 제1 수집 서버 그룹 및 상기 제1 기간이 도과된 후, 상기 제1 수집 서버 그룹으로부터 상기 로그 파일을 제공받아 제2 기간까지 저장하는 제2 수집 서버 그룹을 포함할 수 있다.
일 실시예에서, 상기 데이터 수집부는, 상기 제2 기간이 도과된 후, 상기 제2 수집 서버 그룹으로부터 상기 로그 파일을 제공받아 저장하는 제3 수집 서버 그룹을 더 포함하고, 상기 제3 수집 서버 그룹에 포함되는 적어도 하나의 수집 서버는 상기 제2 수집 서버 그룹에 포함되는 복수의 수집 서버와 1:N(N은 2 이상의 자연수)의 관계로 대응될 수 있다.
일 실시예에서, 상기 데이터 검색부는, 상기 검색 요청에 대하여 상기 제1 수집 서버 그룹과 연동하여 우선적으로 검색을 수행하고, 상기 제1 수집 서버 그룹의 모든 수집 서버에 대하여 검색이 완료된 후 상기 제2 수집 서버 그룹과 연동하여 검색을 수행하는 분석 서버를 포함할 수 있다.
일 실시예에서, 상기 수집 서버는, 상기 시계열 데이터의 시간 정보를 추출하는 시간 정보 추출기, 상기 시간 정보에 따라 시계열 인덱스를 생성하는 인덱스 생성기 및 상기 시계열 데이터에서 로 데이터를 추출하고, 상기 로 데이터와 상기 시계열 인덱스를 포함하여 상기 로그 파일을 생성하는 로그 파일 생성기를 포함할 수 있다.
일 실시예에서, 상기 분석 서버는, 상기 복수의 수집 서버에 대한 계층적인 구조 정보를 생성 또는 갱신하는 구조 정보 관리기 및 상기 구조 정보를 확인하여 검색을 수행할 적어도 하나의 수집 서버를 결정하고, 상기 적어도 하나의 수집 서버와 연동하여 상기 사용자의 검색 요청에 따른 검색을 수행하는 검색기를 포함할 수 있다.
본 발명의 다른 일 기술적 측면은 데이터 검색 방법을 제안한다. 상기 데이터 검색 방법은, 수집된 시계열 데이터를, 저장 기간에 따라 계층적으로 구분되는 복수의 수집 서버에 분산하여 저장하는 단계, 상기 복수의 수집 서버에 대한 계층적인 구조 정보를 생성 또는 유지하는 단계 및 사용자의 검색 요청에 대하여 상기 계층적인 구조 정보를 참조하여 검색을 수행할 적어도 하나의 수집 서버를 선택하여 검색을 수행하는 단계를 포함할 수 있다.
일 실시예에서, 상기 복수의 수집 서버에 분산하여 저장하는 단계는, 상기 시계열 데이터의 시간 정보를 확인하여 시계열 인덱스를 생성하는 단계, 상기 시계열 인덱스 및 상기 시계열 데이터의 로 데이터를 포함하여 로그 파일을 생성하는 단계 및 상기 로그 파일을 복수의 수집 서버에 저장 기간에 따라 구분하여 저장하는 단계를 포함할 수 있다.
일 실시예에서, 상기 복수의 수집 서버는, 제1 수집 서버 그룹 및 제2 수집 서버 그룹을 포함하고, 상기 복수의 수집 서버에 분산하여 저장하는 단계는, 제1 기간까지 상기 로그 파일을 상기 제1 수집 서버 그룹에 저장하는 단계 및 상기 제1 기간이 도과되면, 상기 로그 파일을 상기 제1 수집 서버 그룹에서 삭제하고, 상기 제2 수집 서버에 저장하는 단계를 포함할 수 있다.
일 실시예에서, 상기 검색을 수행하는 단계는, 상기 검색 요청에 대하여 상기 제1 수집 서버 그룹과 연동하여 우선적으로 검색을 수행하는 단계 및 상기 제1 수집 서버 그룹의 모든 수집 서버에 대하여 검색이 완료된 후 상기 제2 수집 서버 그룹과 연동하여 검색을 수행하는 단계를 포함할 수 있다.
상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시형태에 따르면, 시계열 데이터의 검색을 최소의 자원으로도 효율적이고 빠르게 수행할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 시계열 데이터를 저장 기간에 따라 계층적으로 구분하여 분산 저장하므로, 최신 정보가 우선되는 시계열 데이터의 특성에 따라 보다 효율적인 검색 시스템을 구축할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 시계열 데이터에 대한 계층 구분에 있어서 계층의 단계에 따라 차등적인 서버 개수를 가지므로, 시스템 구축의 효율성을 증대할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 데이터 검색 시스템을 설명하기 위한 블록 구성도이다.
도 2는 도 1에 도시된 데이터 수집부의 일 예를 설명하기 위한 블록 구성도이다.
도 3은 도 1에 도시된 데이터 수집부의 다른 일 예를 설명하기 위한 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 수집 서버의 일 예를 설명하기 위한 블록 구성도이다.
도 5는 로그 파일의 일 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 분석 서버 의 일 예를 설명하기 위한 블록 구성도이다.
도 7은 본 발명의 일 실시예에 따른 데이터 검색 방법을 설명하기 위한 블록 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
도 1은 본 발명의 일 실시예에 따른 데이터 검색 시스템을 설명하기 위한 블록 구성도이다.
도 1을 참조하면, 데이터 검색 시스템(100)은 데이터 수집부(110)와 데이터 검색부(120)를 포함할 수 있다.
데이터 수집부(110)는 수집된 시계열 데이터의 시간 정보를 이용하여 시계열 인덱스를 생성하고, 시계열 인덱스를 포함하는 로그 파일을 생성할 수 있다. 데이터 수집부(110)는 생성된 로그 파일을 복수의 수집 서버에 분산하여 저장할 수 있다.
데이터 수집부(110)는 저장 기간에 따라 계층적으로 구분되는 복수의 수집 서버를 포함할 수 있다. 이에 대해서는 이하의 도 2 내지 도 5을 참조하여 설명한다.
데이터 검색부(120)는 복수의 수집 서버에 대한 계층적인 구조 정보를 유지할 수 있다. 데이터 검색부(120)는 사용자의 검색 요청에 대하여 계층적인 구조 정보를 참조하여 검색을 수행할 적어도 하나의 수집 서버를 선택할 수 있으며, 선택된 수집 서버와 연동하여 사용자의 검색 요청에 대한 검색 결과를 제공할 수 있다.
데이터 검색부(120)는 수집 서버와 연동하여 검색을 수행하는 분석 서버를 포함할 수 있다. 이러한 데이터 검색부(120)에 대해서는 이하의 도 6을 참조하여 설명한다.
도 2는 도 1에 도시된 데이터 수집부의 일 예를 설명하기 위한 블록 구성도이다.
도 2를 참조하면, 데이터 수집부(110)는 시계열 데이터의 종류(데이터 A 내지 데이터 D)에 대하여, 각각 계층적인 수집 서버가 구비된 예를 도시하고 있다.
데이터 수집부(110)는 제1 수집 서버 그룹(210)과 제2 수집 서버 그룹(220)을 포함할 수 있다. 제1 수집 서버 그룹(210)과 제2 수집 서버 그룹(220)은 데이터의 저장 기간의 차이에 따라서 구별될 수 있다.
제1 수집 서버 그룹(210)은 복수의 수집 서버(A1 내지 D1)을 포함하며, 복수의 수집 서버(A1 내지 D1)는 시계열 데이터로부터 로그 파일을 생성하고, 생성한 로그 파일을 제1 기간까지 저장할 수 있다. 제1 수집 서버 그룹(210)에 포함된 복수의 수집 서버(A1 내지 D1)는 제1 기간이 도과하면 로그 파일을 자신의 하위 계층에 있는, 제2 수집 서버 그룹(220)에 포함된 복수의 수집 서버(A2 내지 D2)에 제공할 수 있다.
제2 수집 서버 그룹(220) 에 포함된 복수의 수집 서버(A2 내지 D2)는 제1 기간이 도과된 후, 상기 제1 수집 서버 그룹으로부터 상기 로그 파일을 제공받아 제2 기간까지 저장할 수 있다.
예를 들어, 제1 수집 서버 그룹(210)의 각 수집 서버(A1 내지 D1)들은 3개월까지 로그 파일을 저장하고, 3개월이 경과하면 이를 제2 수집 서버 그룹(220)에 포함된 복수의 수집 서버(A2 내지 D2)에 각각 제공할 수 있다.
제1 수집 서버 그룹(210)의 수집 서버들(A1 내지 D1)은, 제2 수집 서버 그룹(220)의 수집 서버들(A2 내지 D2) 보다 높은 성능을 가질 수 있다. 예컨대, 제1 수집 서버 그룹(210)의 수집 서버들(A1 내지 D1)는 SSD(Solid State Disk) 등의 고속 저장 매체를 사용할 수 있고, 제2 수집 서버 그룹(220)의 수집 서버들(A2 내지 D2)은 HDD(Hard Disk Drive) 등 일반적인 저장 매체를 사용할 수 있다.
이와 같이, 시계열적 데이터의 시간 정보에 따라 계층적으로 구성된 복수의 서버 구조를 이용하게 되므로, 비교적 최근의 데이터에 대한 검색 요구가 많은 시계열 데이터의 검색 환경을 개선할 수 있다.
한편, 데이터 검색부(120, 도 1에 도시됨)는 사용자로부터 검색 요청을 입력받고, 데이터 수집부(110)의 계층적 구조에 대응하여 검색을 수행할 수 있다. 즉, 데이터 검색부(120, 도 1에 도시됨)는 사용자의 검색 요청을 수신하면, 먼저 제1 수집 서버 그룹(210)과 연동하여 우선적으로 검색을 수행할 수 있다. 제1 수집 서버 그룹(210)의 모든 수집 서버에 대하여 검색이 완료된 후, 데이터 검색부(120, 도 1에 도시됨)는 제2 수집 서버 그룹(220)과 연동하여 검색을 수행할 수 있다.
도 3은 도 1에 도시된 데이터 수집부의 다른 일 예를 설명하기 위한 블록 구성도이다.
도 3을 참조하면, 데이터 수집부(111)는 제1 수집 서버 그룹(310), 제2 수집 서버 그룹(320) 및 제3 수집 서버 그룹(330)을 포함할 수 있다.
제1 수집 서버 그룹(310)은 복수의 수집 서버(A1 내지 D1)을 포함하며, 복수의 수집 서버(A1 내지 D1)는 시계열 데이터(데이터 A 내지 데이터 D)로부터 각각 로그 파일을 생성하고, 생성한 로그 파일을 제1 기간까지 저장할 수 있다. 제1 수집 서버 그룹(310)에 포함된 복수의 수집 서버(A1 내지 D1)는 제1 기간이 도과하면, 로그 파일을 자신의 하위 계층에 있는, 제2 수집 서버 그룹(320)에 포함된 복수의 수집 서버(A2 내지 D2)에 제공할 수 있다.
제2 수집 서버 그룹(320) 에 포함된 복수의 수집 서버(A2 내지 D2)는 제1 기간이 도과된 후, 상기 제1 수집 서버 그룹으로부터 상기 로그 파일을 제공받아 제2 기간까지 저장할 수 있다. 제2 수집 서버 그룹(320)은 제2 기간이 도과하면, 로그 파일을 자신의 하위 계층에 있는, 제3 수집 서버 그룹(330)에 제공할 수 있다.
제3 수집 서버 그룹(330)은 제2 기간이 도과된 후, 제2 수집 서버 그룹(320)으로부터 로그 파일을 제공받아 저장할 수 있다.
예를 들어, 예를 들어, 제1 수집 서버 그룹(310)의 각 수집 서버(A1 내지 D1)들은 3개월까지 로그 파일을 저장하고, 제2 수집 서버 그룹(320)에 포함된 복수의 수집 서버(A2 내지 D2)는 3개월이 경과된 로그 파일을 6개월까지 저장할 수 있다. 6개월이 경과된 로그 파일은 제3 수집 서버 그룹(330)에 저장될 수 있다.
제3 수집 서버 그룹(330)에 포함된 적어도 하나의 수집 서버(A3 내지 C3)는, 제2 서버 그룹(320)에 포함된 복수의 수집 서버(A2 내지 D2)와 1:1로 대응되지 않을 수 있다. 즉, 제3 수집 서버 그룹(330)에 포함되는 적어도 하나의 수집 서버(A3 내지 C3)는, 제2 수집 서버 그룹(320)에 포함되는 복수의 수집 서버(A2 내지 D2)와 1:N(N은 2 이상의 자연수)의 관계로 대응될 수 있다. 도 3에서는 1:2의 비율로 대응되는 예를 도시하고 있다.
즉, 데이터 수집부(111)는 저장 기간에 따라 계층적으로 구분되는 복수의 수집 서버를 구비하며, 그러한 저장 기간에 따른 계층이 낮을 수록, 즉, 제1 수집 서버 그룹(310)에서 제3 수집 서버 그룹(330)으로 내려감에 따라 차등적인 서버 설정을 가질 수 있다. 예컨대, 도시된 바와 같이 제3 수집 서버 그룹(330)은 타 서버 그룹(310, 320)에 비해 더 적은 수의 서버로 이루어질 수 있다.
이는, 최신 데이터에 대한 활용도가 높게 요구되는 시계열 데이터의 특성에 대응한 구조로서, 이러한 구조에 의하여 검색 속도 및 검색 시스템의 구성 효율을 증대시킬 수 있다.
이상에서는, 도 2 내지 도 3을 참조하여, 시계열 특성에 대응하여 구성된, 복수의 수집 서버의 계층적인 구조에 대하여 설명하였다. 이하, 도 4 내지 도 5를 참조하여, 이러한 수집 서버의 일 구성예에 대하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 수집 서버의 일 예를 설명하기 위한 블록 구성도이고, 도 5는 로그 파일의 일 예를 설명하기 위한 도면이다.
도 4를 참조하면, 수집 서버는 시간 정보 추출기(410), 인덱스 생성기(420) 및 로그 파일 생성기(430)를 포함할 수 있다.
시간 정보 추출기(410)는 입력받은 시계열 데이터의 시간 정보를 추출할 수 있다. 시간 정보는, 예를 들어, 이벤트 시간이나, 수집 시간일 수 있다.
인덱스 생성기(420)는 상기 시간 정보에 따라 시계열 인덱스를 생성할 수 있다.
로그 파일 생성기(430)는 상기 시계열 데이터에서 로(raw) 데이터를 추출하고, 상기 로 데이터와 상기 시계열 인덱스를 포함하여 로그 파일을 생성할 수 있다.
도 5를 더 참조하면, 로그 파일은 데이터 식별 정보, 시계열 인덱스 및 로 데이터를 포함할 수 있다. 데이터 식별 정보는 데이터의 종류 등을 구분하는 정보이며, 이는 도 2 내지 도 3의 예에서 데이터 A 내지 데이터 D로 표현된다. 로그 파일 생성기(430)는 시계열 데이터의 종류 등을 구분하여 데이터 식별 정보를 생성할 수 있다.
시계열 인덱스는 인덱스 생성기(420)에 의하여 생성되며, 시계열 인덱스는 저장 기간을 판단하는데 사용된다.
로 데이터는 시계열 데이터의 내용에 해당하며, 로그 파일 생성기(430)에 의하여 생성된다.
이상에서는 도 2 내지 도 5를 참조하여, 데이터 수집부의 다양한 예들에 대하여 설명하였다. 이하에서는 도 6을 참조하여 데이터 검색부에 포함되는 분석 서버에 대하여 보다 상세히 설명한다.
도 6은 본 발명의 일 실시예에 따른 분석 서버 의 일 예를 설명하기 위한 블록 구성도이다.
도 6을 참조하면, 분석 서버는 구조 정보 관리기(610), 구조 정보 저장기(620) 및 검색기(630)를 포함할 수 있다.
구조 정보 관리기(610)는 데이터 수집부에 포함되는 복수의 수집 서버에 대한 계층적인 구조 정보를 생성 또는 갱신할 수 있다. 구조 정보 관리기(610)에 의해 생성 또는 갱신되는 구조 정보는 구조 정보 저장기(620)에 저장될 수 있다.
즉, 구조 정보 관리기(610)는 도 2 또는 도 3에서 예시한 바와 같은 저장 기간에 따라 계층적으로 구분되는 복수의 수집 서버의 계층적인 구조에 대한 정보를 유지할 수 있다.
검색기(630)는 구조 정보를 확인하여, 검색을 수행할 적어도 하나의 수집 서버를 결정할 수 있다. 검색기(630)는 결정된 적어도 하나의 수집 서버와 연동하여 사용자의 검색 요청에 따른 검색을 수행할 수 있다.
예를 들어, 검색기(630)는 사용자의 검색 요청에 대해 검색 기간에 대한 제한이 없는 경우, 데이터 수집부의 계층을 순차적으로 검색할 수 있다.
다른 예를 들어, 검색기(630)는 사용자의 검색 요청에 대해 검색 기간에 대한 제한이 있는 경우, 해당 검색 기간에 대응되는 수집 서버를 선택하여 검색을 수행할 수 있다.
이와 같이, 분석 서버는 복수의 수집 서버에 대한 계층적인 구조 정보를 기반으로, 시계열 데이터의 검색 효율을 증대시킬 수 있다.
이상에서는 도 1 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 데이터 검색 시스템에 대하여 설명하였다. 이하에서는, 도 7을 참조하여 본 발명의 일 실시예에 따른 데이터 검색 방법에 대하여 설명한다. 다만, 이하에서 설명할 데이터 검색 방법은 상술한 데이터 검색 시스템에서 수행되므로, 도 1 내지 도 6에서 상술한 설명을 참조하여 보다 쉽게 이해할 수 있다.
도 7은 본 발명의 일 실시예에 따른 데이터 검색 방법을 설명하기 위한 블록 구성도이다.
도 7을 참조하면, 데이터 검색 시스템은, 수집된 시계열 데이터를, 저장 기간에 따라 계층적으로 구분되는 복수의 수집 서버에 분산하여 저장할 수 있다(S710).
데이터 검색 시스템은 상기 복수의 수집 서버에 대한 계층적인 구조 정보를 생성 또는 유지할 수 있다(S720).
데이터 검색 시스템은 사용자의 검색 요청에 대하여 상기 계층적인 구조 정보를 참조하여 검색을 수행할 적어도 하나의 수집 서버를 선택하고(S730), 선택된 수집 서버와 연동하여 검색을 수행할 수 있다(S740).
단계 S710에 대한 일 실시예에서, 데이터 검색 시스템은 시계열 데이터의 시간 정보를 확인하여 시계열 인덱스를 생성할 수 있다. 이후, 데이터 검색 시스템은 시계열 인덱스 및 시계열 데이터의 로 데이터를 포함하여 로그 파일을 생성할 수 있다. 데이터 검색 시스템은 로그 파일을 복수의 수집 서버에 저장 기간에 따라 구분하여 저장할 수 있다.
일 실시예에서, 상기 복수의 수집 서버는 제1 수집 서버 그룹 및 제2 수집 서버 그룹을 포함할 수 있다. 데이터 검색 시스템은 제1 기간까지 상기 로그 파일을 상기 제1 수집 서버 그룹에 저장할 수 있다. 상기 제1 기간이 도과되면, 데이터 검색 시스템은 로그 파일을 제1 수집 서버 그룹에서 삭제하고, 제2 수집 서버에 저장할 수 있다.
단계 S740에 대한 일 실시예에서, 데이터 검색 시스템은 사용자의 검색 요청에 대하여 상기 제1 수집 서버 그룹과 연동하여 우선적으로 검색을 수행할 수 있다. 데이터 검색 시스템은 상기 제1 수집 서버 그룹의 모든 수집 서버에 대하여 검색이 완료된 후, 상기 제2 수집 서버 그룹과 연동하여 검색을 수행할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
100 : 데이터 검색 시스템
110 : 데이터 수집부 120 : 데이터 검색부
410 : 시간 정보 추출기 420 : 인덱스 생성기
430 : 로그 파일 생성기
610 : 구조 정보 관리기 620 : 구조 정보
630 : 검색기

Claims (10)

  1. 수집된 시계열 데이터의 시간 정보를 이용하여 시계열 인덱스를 생성하고, 상기 시계열 인덱스를 포함하는 로그 파일을 생성 및 분산하여 저장하며, 서로 다른 성능을 갖는 저장매체를 사용하고, 상기 로그 파일의 저장 기간에 따라 계층적으로 구분되는 복수의 수집 서버로 이루어지는 제1 및 제2 수집 서버 그룹을 포함하는 데이터 수집부; 및
    상기 복수의 수집 서버에 대한 계층적인 구조 정보를 유지하고, 사용자의 검색 요청에 대하여 상기 계층적인 구조 정보를 참조하여 검색을 수행할 적어도 하나의 수집 서버를 선택하는 데이터 검색부를 포함하고,
    상기 제1 수집 서버 그룹의 수집 서버는,
    수집된 시계열 데이터의 시간정보를 추출하는 시간정보 추출기, 상기 시간정보에 따라 시계열 인덱스를 생성하는 인덱스 생성기 및, 상기 시간정보에서 로(row) 데이터를 추출하고, 상기 로(row) 데이터와 상기 시계열 인덱스를 포함하여 로그 파일을 생성하는 로그 파일 생성기를 포함하며, 상기 로그 파일을 제1 기간까지 저장하여 상기 제1 기간이 도과하면 상기 제2 수집 서버 그룹의 수집 서버에 제공하고,
    상기 제2 수집 서버 그룹의 수집 서버는 제공된 로그 파일을 제2 기간까지 저장하며,
    상기 데이터 검색부는,
    상기 검색 요청에 대하여 상기 제1 수집 서버 그룹과 연동하여 우선적으로 검색을 수행하며, 상기 제1 수집 서버 그룹의 모든 수집 서버에 대하여 검색이 완료된 후 상기 제2 수집 서버 그룹과 연동하여 검색을 수행하는 분석 서버를 포함하고,
    상기 분석 서버는,
    상기 제1 및 제2 수집 서버 그룹의 수집 서버간 계층 구조 정보를 저장하는 구조 정보 저장기, 상기 계층 구조 정보를 생성하여 상기 구조 정보 저장기에 저장하는 구조 정보 관리기 및, 사용자의 요청에 따라 상기 계층 구조 정보를 확인하여 검색을 수행할 수집 서버를 결정하고, 순차적으로 검색을 수행하는 검색기
    를 포함하는 데이터 검색 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 데이터 수집부는
    상기 제2 기간이 도과된 후, 상기 제2 수집 서버 그룹으로부터 상기 로그 파일을 제공받아 저장하는 제3 수집 서버 그룹;
    을 더 포함하고,
    상기 제3 수집 서버 그룹에 포함되는 적어도 하나의 수집 서버는
    상기 제2 수집 서버 그룹에 포함되는 복수의 수집 서버와 1:N(N은 2 이상의 자연수)의 관계로 대응되는 데이터 검색 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 청구항 1에 기재된 데이터 검색 시스템에 의한 데이터 검색방법으로서,
    성능차이를 갖는 저장매체를 사용하며, 계층적으로 구분되는 복수의 수집 서버로 이루어지는 제1 및 제2 데이터 수집 서버 그룹이 시계열 데이터를 저장 기간에 따라 분산하여 저장하는 단계;
    데이터 검색부가 상기 복수의 수집 서버에 대한 계층적인 구조 정보를 생성 또는 유지하는 단계; 및
    사용자의 검색 요청에 대하여, 상기 데이터 검색부가 상기 계층적인 구조 정보를 참조하여 상기 복수의 수집 서버 중, 검색을 수행할 적어도 하나의 수집 서버를 선택하여 검색을 수행하는 단계를 포함하고,
    상기 데이터 검색부가 하나의 수집 서버를 선택하여 검색을 수행하는 단계는,
    분석 서버의 구조 정보 관리기가 상기 제1 및 제2 수집 서버 그룹의 수집 서버간 계층 구조를 생성하여 상기 분석 서버의 구조 정보 저장기에 저장하는 단계; 및
    사용자의 요청에 따라, 상기 분석 서버의 검색기가 상기 구조 정보 저장기에 저장된 계층 구조를 확인하여 검색을 수행할 수집 서버를 결정하고, 순차적으로 검색을 수행하는 단계
    를 포함하는 데이터 검색 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 복수의 수집 서버가 시계열 데이터를 분산하여 저장하는 단계는
    상기 제1 수집 서버 그룹에 포함된 수집 서버가 제1 기간까지 로그 파일을 저장하는 단계;
    상기 제1 기간이 도과되면, 상기 제1 수집 서버 그룹에 포함된 수집 서버가 저장된 로그 파일을 상기 제2 수집 서버 그룹에 포함된 수집서버에 제공하는 단계; 및
    상기 제2 수집 서버 그룹에 포함된 수집서버가 제공된 로그파일을 저장하는 단계
    를 포함하는 데이터 검색 방법.
  10. 삭제
KR1020160032100A 2016-03-17 2016-03-17 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법 KR101744892B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160032100A KR101744892B1 (ko) 2016-03-17 2016-03-17 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160032100A KR101744892B1 (ko) 2016-03-17 2016-03-17 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법

Publications (1)

Publication Number Publication Date
KR101744892B1 true KR101744892B1 (ko) 2017-06-09

Family

ID=59219818

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160032100A KR101744892B1 (ko) 2016-03-17 2016-03-17 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법

Country Status (1)

Country Link
KR (1) KR101744892B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107404483A (zh) * 2017-07-31 2017-11-28 北京中科金马科技股份有限公司 数据处理方法、装置及数据采集系统
CN107704329A (zh) * 2017-10-16 2018-02-16 中汇信息技术（上海）有限公司 一种消息持久化方法、服务器和计算机可读存储介质
US10380111B2 (en) 2017-08-18 2019-08-13 Machbase, Inc. System and method for searching data
KR20190138048A (ko) * 2018-06-04 2019-12-12 엘지전자 주식회사 데이터 관리 장치
KR20200020347A (ko) * 2018-08-17 2020-02-26 주식회사 마크베이스 센서 태그 데이터를 위한 색인 검색 방법 및 장치
KR102145403B1 (ko) * 2020-03-30 2020-08-18 주식회사 지에스아이티엠 익셉션 로그 빅데이터 분석에 의한 스마트 디바이스의 애플리케이션 모니터링 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284520A (ja) * 2004-03-29 2005-10-13 Nec Corp ログ収集方法／プログラム／プログラム記録媒体／装置／システム
JP2010224705A (ja) * 2009-03-23 2010-10-07 Hitachi Software Eng Co Ltd ログ検索システム
JP2011070257A (ja) * 2009-09-24 2011-04-07 Hitachi Solutions Ltd ファイル検索システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284520A (ja) * 2004-03-29 2005-10-13 Nec Corp ログ収集方法／プログラム／プログラム記録媒体／装置／システム
JP2010224705A (ja) * 2009-03-23 2010-10-07 Hitachi Software Eng Co Ltd ログ検索システム
JP2011070257A (ja) * 2009-09-24 2011-04-07 Hitachi Solutions Ltd ファイル検索システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107404483A (zh) * 2017-07-31 2017-11-28 北京中科金马科技股份有限公司 数据处理方法、装置及数据采集系统
US10380111B2 (en) 2017-08-18 2019-08-13 Machbase, Inc. System and method for searching data
CN107704329A (zh) * 2017-10-16 2018-02-16 中汇信息技术（上海）有限公司 一种消息持久化方法、服务器和计算机可读存储介质
KR20190138048A (ko) * 2018-06-04 2019-12-12 엘지전자 주식회사 데이터 관리 장치
KR102137153B1 (ko) * 2018-06-04 2020-07-24 엘지전자 주식회사 데이터 관리 장치
KR20200020347A (ko) * 2018-08-17 2020-02-26 주식회사 마크베이스 센서 태그 데이터를 위한 색인 검색 방법 및 장치
US10706054B2 (en) 2018-08-17 2020-07-07 Machbase, Inc. Method and device for searching indexes for sensor tag data
KR102177489B1 (ko) * 2018-08-17 2020-11-11 주식회사 마크베이스 센서 태그 데이터를 위한 색인 검색 방법 및 장치
KR102145403B1 (ko) * 2020-03-30 2020-08-18 주식회사 지에스아이티엠 익셉션 로그 빅데이터 분석에 의한 스마트 디바이스의 애플리케이션 모니터링 방법

Similar Documents

Publication Publication Date Title
KR101744892B1 (ko) 시계열 계층 인덱싱을 이용한 데이터 검색 시스템 및 데이터 검색 방법
US9740706B2 (en) Management of intermediate data spills during the shuffle phase of a map-reduce job
CN103020204B (zh) 一种对分布式顺序表进行多维区间查询的方法及其系统
US10102253B2 (en) Minimizing index maintenance costs for database storage regions using hybrid zone maps and indices
JP4669067B2 (ja) 動的フラグメントマッピング
CN110291518A (zh) 合并树无用单元指标
CN103064639B (zh) 数据存储方法及装置
KR101403305B1 (ko) 백업부트레코드 정보를 이용한 파티션 복구 장치 및 방법
CN110383261A (zh) 用于多流存储装置的流选择
US8874627B2 (en) Enumerating metadata in file system directories
CN110268399A (zh) 用于维护操作的合并树修改
JP6281225B2 (ja) 情報処理装置
CN102930060B (zh) 一种数据库快速索引的方法及装置
EP2199935A2 (en) Method and system for dynamically partitioning very large database indices on write-once tables
CN110888837B (zh) 对象存储小文件归并方法及装置
US20150120637A1 (en) Apparatus and method for analyzing bottlenecks in data distributed data processing system
WO2012026140A1 (ja) データベース処理方法、データベース処理システム及びデータベースサーバ
US20180196610A1 (en) Database Memory Monitoring and Defragmentation of Database Indexes
EP2541437A1 (en) Data base indexing
JP5753056B2 (ja) 検索装置、文書管理方法、及び文書検索システム
Cherubini et al. Cognitive storage for big data
CN109189343B (zh) 一种元数据落盘方法、装置、设备及计算机可读存储介质
JP5655764B2 (ja) サンプリング装置、サンプリングプログラム、およびその方法
WO2016059787A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
JP5958539B2 (ja) 情報処理装置、ファイル管理方法、及びファイル管理プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant