KR20170130178A

KR20170130178A - 분산 환경 기반 빅데이터 실시간 분석을 위한 인-메모리 db 연결 지원형 스케줄링 방법 및 시스템

Info

Publication number: KR20170130178A
Application number: KR1020160060908A
Authority: KR
Inventors: 안재훈; 손재기; 박창원
Original assignee: 전자부품연구원
Priority date: 2016-05-18
Filing date: 2016-05-18
Publication date: 2017-11-28
Also published as: KR101830504B1; WO2017200129A1

Abstract

분산 환경 기반 빅데이터 실시간 분석을 위한 인-메모리 DB 연결 지원형 스케줄링 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 데이터 처리 방법은, 분산 시스템을 이용하여 분산 환경 기반으로 데이터를 분석하고, 분산 환경을 기초로 분산 시스템을 구성하는 분산 DB의 구조를 동적으로 변경한다. 이에 의해, 샤드들의 개수를 동적으로 관리하여 분산 환경에 적응적으로 동시성 확보가 가능해지고, TMO 기반의 스케줄링을 통해 실시간성 확보가 가능하여, 궁극적으로 빅데이터 분석 속도/효율을 향상시킬 수 있게 된다.

Description

분산 환경 기반 빅데이터 실시간 분석을 위한 인-메모리 DB 연결 지원형 스케줄링 방법 및 시스템{In-Memory DB Connection Support Type Scheduling Method and System for Real-Time Big Data Analysis in Distributed Computing Environment}

본 발명은 분산 컴퓨팅 기술에 관한 것으로, 더욱 상세하게는 분산 환경 기반으로 빅데이터를 실시간으로 분석하기 위한 DBMS 구조와 스케줄링 방법에 관한 것이다.

DBMS에 저장한 빅데이터를 조회하여 분석함에 있어, 분산 시스템의 현격한 성능 저하 및 비효율적인 관리 문제가 발생 될 뿐만 아니라, 정해진 구조에 의한 단편적인 분석만이 가능하다는 한계가 있다.

특히, 데이터가 방대해질 경우, 응답 지연의 발생율이 높으며, 분산 환경에 적용하기 위한 환경 설정이 복잡해지는 구조를 갖는다.

현재 오픈소스 형태로 제공되는 스톰(Storm)과 스파크(Spark)와 같은 스트림 데이터 실시간 처리 엔진의 경우, 다양한 형태의 데이터들을 동시에 지원하지 못한다는 문제도 있다.

나아가, 이 오픈소스를 이용하여 분산 환경 기반으로 빅데이터를 분석하기 위해 새로운 노드를 추가하는 경우, JVM(Java Virtual Machine) 환경 설정을 새로이 해야 하는 번거로움이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 동시성(Concurrency) 확보를 위한 방안으로 샤드들의 개수를 동적으로 관리하는 빅데이터 처리 방법 및 이를 적용한 BBMS를 제공함에 있다.

또한, 본 발명의 다른 목적은, 실시간성 확보를 위한 방안으로 TMO(Time-triggered Message-triggered Object) 기반의 스케줄링을 수행하는 빅데이터 처리 방법 및 이를 적용한 BBMS를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 데이터 처리 방법은, 분산 시스템을 이용하여, 분산 환경 기반으로 데이터를 분석하는 단계; 및 분산 환경을 기초로, 분산 시스템을 구성하는 분산 DB의 구조를 동적으로 변경하는 단계;를 포함한다.

그리고, 상기 변경 단계는, 분산 DB를 구성하는 샤드들 중 적어도 하나를 제거하거나 새로운 샤드를 추가할 수 있다.

또한, 상기 변경 단계는, 상기 분산 시스템을 구성하는 분산 서버의 개수가 변경되면, 상기 분산 DB의 구조를 변경할 수 있다.

그리고, 상기 분산 DB는, 인-메모리 DB와 연계할 수 있다.

또한, 상기 분산 시스템을 구성하는 분산 서버들의 데이터 분석을 위한 스케줄링을 수행하는 단계;를 더 포함할 수 있다.

그리고, 상기 스케줄링 수행 단계는, 시간 구동 데드라인 스케줄링과 이벤트를 통한 데드라인 스케줄링으로 구분하여 수행할 수 있다.

또한, 상기 데이터는, 정형 데이터, 반정형 데이터 및 비정형 데이터 중 적어도 하나가 복합된 데이터일 수 있다.

그리고, 상기 스케줄링 수행 단계는, TMO(Time-triggered Message-triggered Object) 기반으로, 상기 스케줄링을 수행할 수 있다.

또한, 상기 스케줄링 수행 단계는, 데드라인 안에 스케줄링을 처리할 수 있는 분산 서버를 선정할 수 있다.

한편, 본 발명의 다른 실시예에 따른, DBMS는, 분산 DB; 및 분산 환경 기반으로 데이터를 분석하고, 분산 환경을 기초로 상기 분산 DB의 구조를 동적으로 변경하는 분산 서버;를 포함한다.

한편, 본 발명의 다른 실시예에 따른, 데이터 처리 방법은, TMO(Time-triggered Message-triggered Object) 기반으로, 분산 시스템을 구성하는 분산 서버들의 데이터 분석을 위한 스케줄링을 수행하는 단계; 및 스케줄링 결과에 따라, 분산 환경 기반으로 데이터를 분석하는 단계;를 포함한다.

한편, 본 발명의 다른 실시예에 따른, DBMS는, 분산 DB; 및 TMO 기반으로 상기 분산 DB에 저장된 데이터의 분석을 위한 스케줄링을 수행하고, 스케줄링 결과에 따라 분산 환경 기반으로 데이터를 분석하는 분산 서버;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 샤드들의 개수를 동적으로 관리하여 분산 환경에 적응적으로 동시성 확보가 가능해지고, TMO 기반의 스케줄링을 통해 실시간성 확보가 가능하여, 궁극적으로 빅데이터 분석 속도/효율을 향상시킬 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 빅데이터 처리 방법을 도식적으로 나타낸 도면,
도 2는 본 발명의 다른 실시예에 따른 DBMS를 도시한 도면, 그리고,
도 3은 본 발명의 또 다른 실시예에 따른 빅데이터 처리 방법의 설명에 제공되는 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

1. 빅데이터 처리 방법

도 1은 본 발명의 일 실시예에 따른 빅데이터 처리 방법을 도식적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 빅데이터 처리 방법은, 스케줄링으로 소스 스트림 데이터들을 분산 시스템들에 매핑하고, 분산 시스템들이 데이터 분석을 위한 필터링을 수행하는 과정으로 이루어진다.

본 발명의 실시예에 따른 빅데이터 처리 방법은, 도 1에 도시된 바와 같이, 동시성(Concurrency) 확보를 위해, 다수의 샤드들을 이용하는 구조의 분산 시스템 환경에 적용된다.

분산 시스템을 구성하는 샤드들의 개수는 동적이다. 즉, 분산 시스템 환경의 필요에 따라 샤드들의 개수를 추가하고 제거하는 것이 자유롭다.

또한, 본 발명의 실시예에 따른 빅데이터 처리 방법은, 도 1에 도시된 바와 같이, 실시간 처리를 위해 TMO(Time-triggered Message-triggered Object) 기반의 스케줄링을 이용한다.

이에 의해, 복합형이며 고속의 스트림 빅데이터에 대해서도 처리율을 향상시킬 수 있고, 질의 처리와 분석 속도를 극대화하고 분석 결과의 최적화를 도모할 수 있다.

2. 동적 샤딩(Sharding) 구조

본 발명의 실시예에 따른 빅데이터 처리를 위한 분산 시스템은, 동시성 확보를 위해, 분산 DB를 다수의 샤드들로 구현된다. 도 1에서 샤드들의 개수는 10개로 되어 있는데 예시적인 것에 불과하다. 이와 다른 개수로 샤드들을 구현할 수 있음은 물론이다.

나아가, 샤드들의 개수는 동적으로 구현할 수도 있고, 필요에 따라 변경할 수도 있다. 즉, 분산 시스템을 구성하는 분산 서버의 개수를 기초로 샤드들의 개수를 동적으로 결정할 수 있다. 이후, 분산 서버의 개수가 변경된 경우, 이를 기초로 샤드들의 개수를 추가하거나 줄일 수 있다. 이를 테면, 분산 서버(노드)가 추가된 경우 샤드를 추가하고, 분산 서버가 제거된 경우 샤드들의 개수를 줄이는 것이다.

또한, 입력되는 빅데이터의 주요 타입을 기초로 샤드들의 개수를 변경할 수 있다. 이를 테면, 정형 데이터가 주로 입력되었었는데, 주로 입력되는 데이터가 비정형 데이터로 변경된 경우에는 샤드들의 개수를 추가할 수 있다.

또한, 분산 시스템에서 빅데이터 분석 속도를 기초로 샤드들의 개수를 동적으로 변경하는 것도 가능하다. 이를 테면, 분석 속도가 느려진 경우에는 샤드들의 개수를 늘이고, 분석 속도가 빨라진 경우에는 샤드들의 개수를 줄이는 것이 가능하다.

동적 샤딩 구조를 통해, 분산 환경의 변화에 적응적으로 대응하여, 분산 처리 성능을 극대화할 수 있으며, 처리 결과를 모을 수 있는 동시성을 최적으로 지원할 수 있게 된다.

3. TMO 기반의 스케줄링

본 발명의 실시예에 따른 빅데이터 처리를 위한 분산 시스템은, 실시간성 확보를 위해, TMO(Time-triggered Message-triggered Object) 기반의 스케줄링을 수행한다.

분산 시스템에 저장된 소스 스트림 데이터에는 정형 스트림 데이터(통계적 분석에 사용될 수 있을 만한 데이터: 지역별 인구 통계), 반정형 스트림 데이터(통계 분석에 바로 사용할 수 있을 만큼 정제되어 있지는 않은 데이터: 신문 기사) 및 비정형 스트림 데이터(Raw data 형태 : 동영상, 사진, SNS 텍스트) 등이 포함될 수 있다.

본 발명의 실시예에 따른 빅데이터 처리를 위한 분산 시스템은, 이와 같은 다양한 타입의 소스 스트림 데이터를 복합적으로 실시간 처리할 수 있도록 하기 위해, TMO 기반의 스케줄링을 채택하였다.

TMO 기반의 스케줄링으로 인해, 분산 시스템 환경에서 빅데이터 분석을 위한 스케줄링을 처리하는 경우, 주기적으로 시간 구동 데드라인 스케줄링과 이벤트를 통한 데드라인 스케줄링의 두 그룹으로 분할하여 처리할 수 있다.

이를 통해, 데드라인 안에 스케줄링을 처리할 수 있는 분산 서버를 선정하게 되며, 중첩 없이 모든 분산 서버들이 데드라인 안에 분석을 완료할 수 있도록 한다.

4. 분산 시스템

도 2는 본 발명의 다른 실시예에 따른 DBMS(Data Base Management System)를 도시한 도면이다. 본 발명의 실시예에 따른 DBMS는, 도 2에 도시된 바와 같이, NIC(Network Interface Card)(110), 메모리(120), 분산 서버(130) 및 분산 DB(140)을 포함한다.

NIC(110)는 외부 시스템, 외부 네트워크에 액세스하여 데이터 통신을 수행하는 통신 수단이다.

메모리(120)는 In-Memory DB가 구축/운용되는 휘발성의 저장매체이고, 분산 DB(140)는 DB 데이터 영구 저장되고 복원 파일과 복제 파일이 저장되는 대용량의 디스크 스토리지이다. 분산 DB(140)는 다수의 샤드들로 구성된다.

즉, 본 발명의 실시예에 따른 DBMS는 In-Memory DB와 분산 DB가 연계하는 구조의 DBMS이다.

분산 서버(130)는 메모리(110)에 In-Memory DB를 구축/운용하고 In-Memory DB를 분산 DB(140)에 영구 저장한다. 분산 서버(130)는 물리적/논리적으로 다수의 서버들로 구성된다.

또한, 분산 서버(130)는 분산 DB(140)에 저장된 데이터들에 대한 분석을 수행하며, 분석을 위한 스케줄링을 TMO 기반으로 수행한다. 그리고, 분산 서버(130)는 분산 DB(140)를 구성하는 샤드들의 개수를 분산 환경에 따라 동적으로 구성/변경한다.

도 2에 도시된 DBMS에 의한 빅데이터 처리 방법이 도 3에 제시되어 있다. 도 3은 본 발명의 또 다른 실시예에 따른 빅데이터 처리 방법의 설명에 제공되는 도면이다.

도 3에 도시된 바와 같이, 분산 서버(130)는 분산 환경을 기초로 샤드 개수를 결정하여, 분산 DB를 구성한다(S210). 또한, 분산 서버(130)는 TMO 기반의 스케줄링을 수행하여(S220), 분산 환경 기반의 빅데이터 분석을 수행한다(S230).

이후, 분산 환경에 변경이 발생하면(S240-Y), 분산 서버(130)는 샤드 개수를 변경하여, 빅데이터 분석의 동시성을 유지시킨다(S250).

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 메모리
120 : NIC
130 : CPU
140 : HDD

Claims

분산 시스템을 이용하여, 분산 환경 기반으로 데이터를 분석하는 단계; 및
분산 환경을 기초로, 분산 시스템을 구성하는 분산 DB의 구조를 동적으로 변경하는 단계;를 포함하는 것을 특징으로 하는 데이터 처리 방법.
청구항 1에 있어서,
상기 변경 단계는,
분산 DB를 구성하는 샤드들 중 적어도 하나를 제거하거나 새로운 샤드를 추가하는 것을 특징으로 하는 데이터 처리 방법.
청구항 1에 있어서,
상기 변경 단계는,
상기 분산 시스템을 구성하는 분산 서버의 개수가 변경되면, 상기 분산 DB의 구조를 변경하는 것을 특징으로 하는 데이터 처리 방법.
청구항 1에 있어서,
상기 분산 DB는,
인-메모리 DB와 연계하는 것을 특징으로 하는 데이터 처리 방법.
청구항 1에 있어서,
상기 분산 시스템을 구성하는 분산 서버들의 데이터 분석을 위한 스케줄링을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 데이터 처리 방법.
청구항 5에 있어서,
상기 스케줄링 수행 단계는,
시간 구동 데드라인 스케줄링과 이벤트를 통한 데드라인 스케줄링으로 구분하여 수행하는 것을 특징으로 하는 데이터 처리 방법.
청구항 1에 있어서,
상기 데이터는,
정형 데이터, 반정형 데이터 및 비정형 데이터 중 적어도 하나가 복합된 데이터인 것을 특징으로 하는 데이터 처리 방법.
청구항 7에 있어서,
상기 스케줄링 수행 단계는,
TMO(Time-triggered Message-triggered Object) 기반으로, 상기 스케줄링을 수행하는 것을 특징으로 하는 데이터 처리 방법.
청구항 8에 있어서,
상기 스케줄링 수행 단계는,
데드라인 안에 스케줄링을 처리할 수 있는 분산 서버를 선정하는 것을 특징으로 하는 데이터 처리 방법.
분산 DB; 및
분산 환경 기반으로 데이터를 분석하고, 분산 환경을 기초로 상기 분산 DB의 구조를 동적으로 변경하는 분산 서버;를 포함하는 것을 특징으로 하는 DBMS.
TMO(Time-triggered Message-triggered Object) 기반으로, 분산 시스템을 구성하는 분산 서버들의 데이터 분석을 위한 스케줄링을 수행하는 단계; 및
스케줄링 결과에 따라, 분산 환경 기반으로 데이터를 분석하는 단계;를 포함하는 것을 특징으로 하는 데이터 처리 방법.
분산 DB; 및
TMO(Time-triggered Message-triggered Object) 기반으로 상기 분산 DB에 저장된 데이터의 분석을 위한 스케줄링을 수행하고, 스케줄링 결과에 따라 분산 환경 기반으로 데이터를 분석하는 분산 서버;를 포함하는 것을 특징으로 하는 DBMS.