WO2017200129A1 - 인-메모리 db 기반 고속 스트림 빅데이터 처리 방법 및 시스템 - Google Patents

인-메모리 db 기반 고속 스트림 빅데이터 처리 방법 및 시스템 Download PDF

Info

Publication number
WO2017200129A1
WO2017200129A1 PCT/KR2016/005418 KR2016005418W WO2017200129A1 WO 2017200129 A1 WO2017200129 A1 WO 2017200129A1 KR 2016005418 W KR2016005418 W KR 2016005418W WO 2017200129 A1 WO2017200129 A1 WO 2017200129A1
Authority
WO
WIPO (PCT)
Prior art keywords
distributed
data
scheduling
environment
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/005418
Other languages
English (en)
French (fr)
Inventor
안재훈
손재기
박창원
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2017200129A1 publication Critical patent/WO2017200129A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Definitions

  • the present invention relates to distributed computing technology, and more particularly, to a DBMS structure and scheduling method for analyzing big data in real time based on a distributed environment.
  • the stream data real-time processing engines such as Storm and Spark, which are currently provided in open source form, do not support various types of data at the same time.
  • JVM Java Virtual Machine
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a big data processing method for dynamically managing the number of shards as a method for securing concurrency and a BBMS applying the same. .
  • Another object of the present invention is to provide a big data processing method for performing scheduling based on time-triggered message-triggered object (TMO) and a BBMS using the same as a method for securing real time.
  • TMO time-triggered message-triggered object
  • Data processing method for achieving the above object, using a distributed system, analyzing the data based on the distributed environment; And dynamically changing a structure of the distributed DB constituting the distributed system based on the distributed environment.
  • the changing may include removing at least one of the shards constituting the distributed DB or adding a new shard.
  • the structure of the distributed DB may be changed.
  • the distributed DB may be linked with an in-memory DB.
  • the method may further include performing scheduling for data analysis of distributed servers constituting the distributed system.
  • the performing of the scheduling may be performed by dividing the time driven deadline scheduling and the deadline scheduling through the event.
  • the data may be data in which at least one of structured data, semi-structured data, and unstructured data is combined.
  • the scheduling may include performing scheduling based on a time-triggered message-triggered object (TMO).
  • TMA time-triggered message-triggered object
  • the scheduling may include selecting a distributed server capable of processing scheduling in a deadline.
  • DBMS according to another embodiment of the present invention, a distributed DB; And a distributed server analyzing data based on a distributed environment and dynamically changing a structure of the distributed DB based on a distributed environment.
  • the data processing method based on the time-triggered message-triggered object (TMO), performing the scheduling for data analysis of the distributed servers constituting the distributed system; And analyzing the data based on the distributed environment according to the scheduling result.
  • TMO time-triggered message-triggered object
  • DBMS according to another embodiment of the present invention, a distributed DB; And a distributed server configured to perform scheduling for analysis of data stored in the distributed DB based on a TMO, and analyze the data based on a distributed environment according to a scheduling result.
  • FIG. 1 is a diagram schematically illustrating a big data processing method according to an embodiment of the present invention
  • FIG. 3 is a view provided to explain a big data processing method according to another embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a big data processing method according to an embodiment of the present invention.
  • the big data processing method includes mapping source stream data to distributed systems by scheduling and performing distributed filtering by the distributed systems.
  • Big data processing method is applied to a distributed system environment of a structure using a plurality of shards to secure concurrency (concurrency).
  • the number of shards that make up a distributed system is dynamic. That is, it is free to add and remove the number of shards according to the needs of the distributed system environment.
  • the big data processing method uses a time-triggered message-triggered object (TMO) based scheduling for real-time processing.
  • TMO time-triggered message-triggered object
  • a distributed DB is implemented with a plurality of shards to secure concurrency.
  • the number of shards is 10, which is merely exemplary. Of course, you can implement a different number of shards.
  • the number of shards can be dynamically implemented or can be changed as needed.
  • the number of shards may be dynamically determined based on the number of distributed servers constituting the distributed system. Then, when the number of distributed servers is changed, the number of shards can be added or reduced based on this. For example, if a distributed server (node) is added, add a shard, and if the distributed server is removed, reduce the number of shards.
  • the number of shards may be changed based on the main type of big data input. For example, although the structured data is mainly input, when the input data is changed to the unstructured data, the number of shards may be added.
  • the dynamic sharding structure can adaptively respond to changes in the distributed environment, maximize the distributed processing performance, and optimally support the concurrency to collect the processing results.
  • the distributed system for processing big data performs time-triggered message-triggered object (TMO) based scheduling to secure real-time.
  • TMO time-triggered message-triggered object
  • Source stream data stored in distributed systems includes structured stream data (data that can be used for statistical analysis: regional demographics), semi-structured stream data (data that is not refined enough for statistical analysis: newspaper articles) and unstructured data.
  • the stream data (Raw data type: video, photo, SNS text) may be included.
  • the distributed system for big data processing adopts TMO-based scheduling to enable complex real-time processing of such various types of source stream data.
  • TMO-based scheduling when processing scheduling for big data analysis in a distributed system environment, it may be periodically divided into two groups: time driven deadline scheduling and deadline scheduling through events.
  • DBMS data base management system
  • a DBMS includes a network interface card (NIC) 110, a memory 120, a distributed server 130, and a distributed DB 140.
  • NIC network interface card
  • the NIC 110 is a communication means for accessing an external system and an external network to perform data communication.
  • the memory 120 is a volatile storage medium in which the in-memory DB is built / operated, and the distributed DB 140 is a large-capacity disk storage in which DB data is permanently stored and restore files and replication files are stored.
  • Distributed DB 140 is composed of a number of shards.
  • the DBMS according to an embodiment of the present invention is a DBMS having a structure in which an in-memory DB and a distributed DB are linked.
  • the distributed server 130 constructs / operates an In-Memory DB in the memory 110 and permanently stores the In-Memory DB in the distributed DB 140.
  • the distributed server 130 is composed of a plurality of servers physically and logically.
  • the distributed server 130 performs analysis on the data stored in the distributed DB 140, and performs scheduling for analysis based on the TMO.
  • the distributed server 130 dynamically configures / changes the number of shards constituting the distributed DB 140 according to a distributed environment.
  • FIG. 3 is a view provided to explain a big data processing method according to another embodiment of the present invention.
  • the distributed server 130 determines the number of shards based on the distributed environment and configures a distributed DB (S210). In addition, the distributed server 130 performs TMO-based scheduling (S220) and performs big data analysis based on distributed environment (S230).
  • the distributed server 130 changes the number of shards to maintain the concurrency of big data analysis (S250).
  • the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment.
  • the technical idea according to various embodiments of the present disclosure may be implemented in the form of computer readable codes recorded on a computer readable recording medium.
  • the computer-readable recording medium can be any data storage device that can be read by a computer and can store data.
  • the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like.
  • the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between the computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)

Abstract

분산 환경 기반 빅데이터 실시간 분석을 위한 인-메모리 DB 연결 지원형 스케줄링 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 데이터 처리 방법은, 분산 시스템을 이용하여 분산 환경 기반으로 데이터를 분석하고, 분산 환경을 기초로 분산 시스템을 구성하는 분산 DB의 구조를 동적으로 변경한다. 이에 의해, 샤드들의 개수를 동적으로 관리하여 분산 환경에 적응적으로 동시성 확보가 가능해지고, TMO 기반의 스케줄링을 통해 실시간성 확보가 가능하여, 궁극적으로 빅데이터 분석 속도/효율을 향상시킬 수 있게 된다.

Description

인-메모리 DB 기반 고속 스트림 빅데이터 처리 방법 및 시스템
본 발명은 분산 컴퓨팅 기술에 관한 것으로, 더욱 상세하게는 분산 환경 기반으로 빅데이터를 실시간으로 분석하기 위한 DBMS 구조와 스케줄링 방법에 관한 것이다.
DBMS에 저장한 빅데이터를 조회하여 분석함에 있어, 분산 시스템의 현격한 성능 저하 및 비효율적인 관리 문제가 발생 될 뿐만 아니라, 정해진 구조에 의한 단편적인 분석만이 가능하다는 한계가 있다.
특히, 데이터가 방대해질 경우, 응답 지연의 발생율이 높으며, 분산 환경에 적용하기 위한 환경 설정이 복잡해지는 구조를 갖는다.
현재 오픈소스 형태로 제공되는 스톰(Storm)과 스파크(Spark)와 같은 스트림 데이터 실시간 처리 엔진의 경우, 다양한 형태의 데이터들을 동시에 지원하지 못한다는 문제도 있다.
나아가, 이 오픈소스를 이용하여 분산 환경 기반으로 빅데이터를 분석하기 위해 새로운 노드를 추가하는 경우, JVM(Java Virtual Machine) 환경 설정을 새로이 해야 하는 번거로움이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 동시성(Concurrency) 확보를 위한 방안으로 샤드들의 개수를 동적으로 관리하는 빅데이터 처리 방법 및 이를 적용한 BBMS를 제공함에 있다.
또한, 본 발명의 다른 목적은, 실시간성 확보를 위한 방안으로 TMO(Time-triggered Message-triggered Object) 기반의 스케줄링을 수행하는 빅데이터 처리 방법 및 이를 적용한 BBMS를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 데이터 처리 방법은, 분산 시스템을 이용하여, 분산 환경 기반으로 데이터를 분석하는 단계; 및 분산 환경을 기초로, 분산 시스템을 구성하는 분산 DB의 구조를 동적으로 변경하는 단계;를 포함한다.
그리고, 상기 변경 단계는, 분산 DB를 구성하는 샤드들 중 적어도 하나를 제거하거나 새로운 샤드를 추가할 수 있다.
또한, 상기 변경 단계는, 상기 분산 시스템을 구성하는 분산 서버의 개수가 변경되면, 상기 분산 DB의 구조를 변경할 수 있다.
그리고, 상기 분산 DB는, 인-메모리 DB와 연계할 수 있다.
또한, 상기 분산 시스템을 구성하는 분산 서버들의 데이터 분석을 위한 스케줄링을 수행하는 단계;를 더 포함할 수 있다.
그리고, 상기 스케줄링 수행 단계는, 시간 구동 데드라인 스케줄링과 이벤트를 통한 데드라인 스케줄링으로 구분하여 수행할 수 있다.
또한, 상기 데이터는, 정형 데이터, 반정형 데이터 및 비정형 데이터 중 적어도 하나가 복합된 데이터일 수 있다.
그리고, 상기 스케줄링 수행 단계는, TMO(Time-triggered Message-triggered Object) 기반으로, 상기 스케줄링을 수행할 수 있다.
또한, 상기 스케줄링 수행 단계는, 데드라인 안에 스케줄링을 처리할 수 있는 분산 서버를 선정할 수 있다.
한편, 본 발명의 다른 실시예에 따른, DBMS는, 분산 DB; 및 분산 환경 기반으로 데이터를 분석하고, 분산 환경을 기초로 상기 분산 DB의 구조를 동적으로 변경하는 분산 서버;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 데이터 처리 방법은, TMO(Time-triggered Message-triggered Object) 기반으로, 분산 시스템을 구성하는 분산 서버들의 데이터 분석을 위한 스케줄링을 수행하는 단계; 및 스케줄링 결과에 따라, 분산 환경 기반으로 데이터를 분석하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, DBMS는, 분산 DB; 및 TMO 기반으로 상기 분산 DB에 저장된 데이터의 분석을 위한 스케줄링을 수행하고, 스케줄링 결과에 따라 분산 환경 기반으로 데이터를 분석하는 분산 서버;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 샤드들의 개수를 동적으로 관리하여 분산 환경에 적응적으로 동시성 확보가 가능해지고, TMO 기반의 스케줄링을 통해 실시간성 확보가 가능하여, 궁극적으로 빅데이터 분석 속도/효율을 향상시킬 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 처리 방법을 도식적으로 나타낸 도면,
도 2는 본 발명의 다른 실시예에 따른 DBMS를 도시한 도면, 그리고,
도 3은 본 발명의 또 다른 실시예에 따른 빅데이터 처리 방법의 설명에 제공되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 빅데이터 처리 방법
도 1은 본 발명의 일 실시예에 따른 빅데이터 처리 방법을 도식적으로 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 빅데이터 처리 방법은, 스케줄링으로 소스 스트림 데이터들을 분산 시스템들에 매핑하고, 분산 시스템들이 데이터 분석을 위한 필터링을 수행하는 과정으로 이루어진다.
본 발명의 실시예에 따른 빅데이터 처리 방법은, 도 1에 도시된 바와 같이, 동시성(Concurrency) 확보를 위해, 다수의 샤드들을 이용하는 구조의 분산 시스템 환경에 적용된다.
분산 시스템을 구성하는 샤드들의 개수는 동적이다. 즉, 분산 시스템 환경의 필요에 따라 샤드들의 개수를 추가하고 제거하는 것이 자유롭다.
또한, 본 발명의 실시예에 따른 빅데이터 처리 방법은, 도 1에 도시된 바와 같이, 실시간 처리를 위해 TMO(Time-triggered Message-triggered Object) 기반의 스케줄링을 이용한다.
이에 의해, 복합형이며 고속의 스트림 빅데이터에 대해서도 처리율을 향상시킬 수 있고, 질의 처리와 분석 속도를 극대화하고 분석 결과의 최적화를 도모할 수 있다.
2. 동적 샤딩(Sharding) 구조
본 발명의 실시예에 따른 빅데이터 처리를 위한 분산 시스템은, 동시성 확보를 위해, 분산 DB를 다수의 샤드들로 구현된다. 도 1에서 샤드들의 개수는 10개로 되어 있는데 예시적인 것에 불과하다. 이와 다른 개수로 샤드들을 구현할 수 있음은 물론이다.
나아가, 샤드들의 개수는 동적으로 구현할 수도 있고, 필요에 따라 변경할 수도 있다. 즉, 분산 시스템을 구성하는 분산 서버의 개수를 기초로 샤드들의 개수를 동적으로 결정할 수 있다. 이후, 분산 서버의 개수가 변경된 경우, 이를 기초로 샤드들의 개수를 추가하거나 줄일 수 있다. 이를 테면, 분산 서버(노드)가 추가된 경우 샤드를 추가하고, 분산 서버가 제거된 경우 샤드들의 개수를 줄이는 것이다.
또한, 입력되는 빅데이터의 주요 타입을 기초로 샤드들의 개수를 변경할 수 있다. 이를 테면, 정형 데이터가 주로 입력되었었는데, 주로 입력되는 데이터가 비정형 데이터로 변경된 경우에는 샤드들의 개수를 추가할 수 있다.
또한, 분산 시스템에서 빅데이터 분석 속도를 기초로 샤드들의 개수를 동적으로 변경하는 것도 가능하다. 이를 테면, 분석 속도가 느려진 경우에는 샤드들의 개수를 늘이고, 분석 속도가 빨라진 경우에는 샤드들의 개수를 줄이는 것이 가능하다.
동적 샤딩 구조를 통해, 분산 환경의 변화에 적응적으로 대응하여, 분산 처리 성능을 극대화할 수 있으며, 처리 결과를 모을 수 있는 동시성을 최적으로 지원할 수 있게 된다.
3. TMO 기반의 스케줄링
본 발명의 실시예에 따른 빅데이터 처리를 위한 분산 시스템은, 실시간성 확보를 위해, TMO(Time-triggered Message-triggered Object) 기반의 스케줄링을 수행한다.
분산 시스템에 저장된 소스 스트림 데이터에는 정형 스트림 데이터(통계적 분석에 사용될 수 있을 만한 데이터: 지역별 인구 통계), 반정형 스트림 데이터(통계 분석에 바로 사용할 수 있을 만큼 정제되어 있지는 않은 데이터: 신문 기사) 및 비정형 스트림 데이터(Raw data 형태 : 동영상, 사진, SNS 텍스트) 등이 포함될 수 있다.
본 발명의 실시예에 따른 빅데이터 처리를 위한 분산 시스템은, 이와 같은 다양한 타입의 소스 스트림 데이터를 복합적으로 실시간 처리할 수 있도록 하기 위해, TMO 기반의 스케줄링을 채택하였다.
TMO 기반의 스케줄링으로 인해, 분산 시스템 환경에서 빅데이터 분석을 위한 스케줄링을 처리하는 경우, 주기적으로 시간 구동 데드라인 스케줄링과 이벤트를 통한 데드라인 스케줄링의 두 그룹으로 분할하여 처리할 수 있다.
이를 통해, 데드라인 안에 스케줄링을 처리할 수 있는 분산 서버를 선정하게 되며, 중첩 없이 모든 분산 서버들이 데드라인 안에 분석을 완료할 수 있도록 한다.
4. 분산 시스템
도 2는 본 발명의 다른 실시예에 따른 DBMS(Data Base Management System)를 도시한 도면이다. 본 발명의 실시예에 따른 DBMS는, 도 2에 도시된 바와 같이, NIC(Network Interface Card)(110), 메모리(120), 분산 서버(130) 및 분산 DB(140)을 포함한다.
NIC(110)는 외부 시스템, 외부 네트워크에 액세스하여 데이터 통신을 수행하는 통신 수단이다.
메모리(120)는 In-Memory DB가 구축/운용되는 휘발성의 저장매체이고, 분산 DB(140)는 DB 데이터 영구 저장되고 복원 파일과 복제 파일이 저장되는 대용량의 디스크 스토리지이다. 분산 DB(140)는 다수의 샤드들로 구성된다.
즉, 본 발명의 실시예에 따른 DBMS는 In-Memory DB와 분산 DB가 연계하는 구조의 DBMS이다.
분산 서버(130)는 메모리(110)에 In-Memory DB를 구축/운용하고 In-Memory DB를 분산 DB(140)에 영구 저장한다. 분산 서버(130)는 물리적/논리적으로 다수의 서버들로 구성된다.
또한, 분산 서버(130)는 분산 DB(140)에 저장된 데이터들에 대한 분석을 수행하며, 분석을 위한 스케줄링을 TMO 기반으로 수행한다. 그리고, 분산 서버(130)는 분산 DB(140)를 구성하는 샤드들의 개수를 분산 환경에 따라 동적으로 구성/변경한다.
도 2에 도시된 DBMS에 의한 빅데이터 처리 방법이 도 3에 제시되어 있다. 도 3은 본 발명의 또 다른 실시예에 따른 빅데이터 처리 방법의 설명에 제공되는 도면이다.
도 3에 도시된 바와 같이, 분산 서버(130)는 분산 환경을 기초로 샤드 개수를 결정하여, 분산 DB를 구성한다(S210). 또한, 분산 서버(130)는 TMO 기반의 스케줄링을 수행하여(S220), 분산 환경 기반의 빅데이터 분석을 수행한다(S230).
이후, 분산 환경에 변경이 발생하면(S240-Y), 분산 서버(130)는 샤드 개수를 변경하여, 빅데이터 분석의 동시성을 유지시킨다(S250).
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (12)

  1. 분산 시스템을 이용하여, 분산 환경 기반으로 데이터를 분석하는 단계; 및
    분산 환경을 기초로, 분산 시스템을 구성하는 분산 DB의 구조를 동적으로 변경하는 단계;를 포함하는 것을 특징으로 하는 데이터 처리 방법.
  2. 청구항 1에 있어서,
    상기 변경 단계는,
    분산 DB를 구성하는 샤드들 중 적어도 하나를 제거하거나 새로운 샤드를 추가하는 것을 특징으로 하는 데이터 처리 방법.
  3. 청구항 1에 있어서,
    상기 변경 단계는,
    상기 분산 시스템을 구성하는 분산 서버의 개수가 변경되면, 상기 분산 DB의 구조를 변경하는 것을 특징으로 하는 데이터 처리 방법.
  4. 청구항 1에 있어서,
    상기 분산 DB는,
    인-메모리 DB와 연계하는 것을 특징으로 하는 데이터 처리 방법.
  5. 청구항 1에 있어서,
    상기 분산 시스템을 구성하는 분산 서버들의 데이터 분석을 위한 스케줄링을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 데이터 처리 방법.
  6. 청구항 5에 있어서,
    상기 스케줄링 수행 단계는,
    시간 구동 데드라인 스케줄링과 이벤트를 통한 데드라인 스케줄링으로 구분하여 수행하는 것을 특징으로 하는 데이터 처리 방법.
  7. 청구항 1에 있어서,
    상기 데이터는,
    정형 데이터, 반정형 데이터 및 비정형 데이터 중 적어도 하나가 복합된 데이터인 것을 특징으로 하는 데이터 처리 방법.
  8. 청구항 7에 있어서,
    상기 스케줄링 수행 단계는,
    TMO(Time-triggered Message-triggered Object) 기반으로, 상기 스케줄링을 수행하는 것을 특징으로 하는 데이터 처리 방법.
  9. 청구항 8에 있어서,
    상기 스케줄링 수행 단계는,
    데드라인 안에 스케줄링을 처리할 수 있는 분산 서버를 선정하는 것을 특징으로 하는 데이터 처리 방법.
  10. 분산 DB; 및
    분산 환경 기반으로 데이터를 분석하고, 분산 환경을 기초로 상기 분산 DB의 구조를 동적으로 변경하는 분산 서버;를 포함하는 것을 특징으로 하는 DBMS.
  11. TMO(Time-triggered Message-triggered Object) 기반으로, 분산 시스템을 구성하는 분산 서버들의 데이터 분석을 위한 스케줄링을 수행하는 단계; 및
    스케줄링 결과에 따라, 분산 환경 기반으로 데이터를 분석하는 단계;를 포함하는 것을 특징으로 하는 데이터 처리 방법.
  12. 분산 DB; 및
    TMO(Time-triggered Message-triggered Object) 기반으로 상기 분산 DB에 저장된 데이터의 분석을 위한 스케줄링을 수행하고, 스케줄링 결과에 따라 분산 환경 기반으로 데이터를 분석하는 분산 서버;를 포함하는 것을 특징으로 하는 DBMS.
PCT/KR2016/005418 2016-05-18 2016-05-23 인-메모리 db 기반 고속 스트림 빅데이터 처리 방법 및 시스템 Ceased WO2017200129A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160060908A KR101830504B1 (ko) 2016-05-18 2016-05-18 분산 환경 기반 빅데이터 실시간 분석을 위한 인-메모리 db 연결 지원형 스케줄링 방법 및 시스템
KR10-2016-0060908 2016-05-18

Publications (1)

Publication Number Publication Date
WO2017200129A1 true WO2017200129A1 (ko) 2017-11-23

Family

ID=60326031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/005418 Ceased WO2017200129A1 (ko) 2016-05-18 2016-05-23 인-메모리 db 기반 고속 스트림 빅데이터 처리 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101830504B1 (ko)
WO (1) WO2017200129A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106124A (ko) * 2019-02-28 2020-09-11 한국정보통신기술협회 빅데이터 분석용 dbms를 위한 테스트 자동화 프레임워크 및 테스트 자동화 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102036314B1 (ko) * 2017-12-29 2019-10-25 (주)터보소프트 분산 처리 기반 공간 웹 객체 검색 시스템 및 이를 이용한 분산 처리 기반 공간 웹 객체 검색 방법
KR20230125586A (ko) 2022-02-21 2023-08-29 주식회사 케이티 데이터베이스의 무중단 서비스 제공 방법 및 무중단 서비스 구조 변경 방법
KR102843451B1 (ko) * 2022-08-17 2025-08-07 주식회사 블룸테크놀로지 블록체인 네트워크에서 다이나믹 샤딩 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120136835A1 (en) * 2010-11-30 2012-05-31 Nokia Corporation Method and apparatus for rebalancing data
US8443006B1 (en) * 2008-06-04 2013-05-14 Google Inc. Data propagation in a multi-shard database system
KR20140021345A (ko) * 2012-08-10 2014-02-20 네이버비즈니스플랫폼 주식회사 샤딩 서비스를 제공하는 방법 및 장치
KR20150112357A (ko) * 2014-03-27 2015-10-07 (주)시엠아이코리아 센서 데이터 처리 시스템 및 방법
US9256659B1 (en) * 2012-08-08 2016-02-09 Amazon Technologies, Inc. Systems and methods for generating database identifiers based on database characteristics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8443006B1 (en) * 2008-06-04 2013-05-14 Google Inc. Data propagation in a multi-shard database system
US20120136835A1 (en) * 2010-11-30 2012-05-31 Nokia Corporation Method and apparatus for rebalancing data
US9256659B1 (en) * 2012-08-08 2016-02-09 Amazon Technologies, Inc. Systems and methods for generating database identifiers based on database characteristics
KR20140021345A (ko) * 2012-08-10 2014-02-20 네이버비즈니스플랫폼 주식회사 샤딩 서비스를 제공하는 방법 및 장치
KR20150112357A (ko) * 2014-03-27 2015-10-07 (주)시엠아이코리아 센서 데이터 처리 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIN, CHANG-SUN ET AL.: "TMO-Based Object Group Framework for Supporting Distributed Object Management and Real-Time Services", 5TH INTERNATIONAL WORKSHOP ON ADVANCED PARALLEL PROCESSING TECHNOLOGIES (APPT 2003) , LNCS, vol. 2834, 17 September 2003 (2003-09-17), pages 525 - 535 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106124A (ko) * 2019-02-28 2020-09-11 한국정보통신기술협회 빅데이터 분석용 dbms를 위한 테스트 자동화 프레임워크 및 테스트 자동화 방법
KR102464740B1 (ko) * 2019-02-28 2022-11-08 한국정보통신기술협회 빅데이터 분석용 dbms를 위한 테스트 자동화 프레임워크 및 테스트 자동화 방법

Also Published As

Publication number Publication date
KR20170130178A (ko) 2017-11-28
KR101830504B1 (ko) 2018-02-20

Similar Documents

Publication Publication Date Title
CN102209087B (zh) 在具有存储网络的数据中心进行MapReduce数据传输的方法和系统
US10033637B2 (en) Method and apparatus for switching data between virtual machines, and communications system
US11841864B2 (en) Method, device, and program product for managing index of streaming data storage system
CN106709003A (zh) 基于Hadoop的海量日志数据处理方法
WO2016199955A1 (ko) 코드 분산 해쉬테이블 기반의 맵리듀스 시스템 및 방법
WO2017200129A1 (ko) 인-메모리 db 기반 고속 스트림 빅데이터 처리 방법 및 시스템
CN107241305B (zh) 一种基于多核处理器的网络协议分析系统及其分析方法
WO2014069827A1 (en) System and method for providing data analysis service in a cloud environment
US10235206B2 (en) Utilizing input/output configuration templates to reproduce a computing entity
WO2022037265A1 (zh) 边缘计算中心一体化服务器
WO2022078347A1 (zh) 任务调度方法、装置、电子设备及存储介质
WO2023096118A1 (ko) 스토리지 노드 기반의 키-값 스토어를 이용하는 데이터 입출력 방법
WO2013122338A1 (ko) 검색 시스템에서 시계열 데이터의 효율적 분석을 위한 분산 인덱싱 및 검색 방법
CN104699757A (zh) 云环境下分布式网络信息采集方法
WO2021027331A1 (zh) 基于图数据的全量关系计算方法、装置、设备及存储介质
CN115129621A (zh) 一种内存管理方法、设备、介质及内存管理模块
CN120128478A (zh) 智能计算中心算力资源容器网卡的配置方法及装置
CN114866597B (zh) 一种分组管理客户端连接方法以及系统
CN113691466A (zh) 一种数据的传输方法、智能网卡、计算设备及存储介质
KR20110111241A (ko) 고속 서열 분석을 위한 병렬 Ｉｎｔｒａ-Ｑｕｅｒｙ 라우팅 알고리즘
CN113934361B (zh) 用于管理存储系统的方法、设备和计算机程序产品
TWI764026B (zh) 日誌管理設備及日誌管理方法
WO2018216828A1 (ko) 에너지 빅데이터 관리 시스템 및 그 방법
CN102571564A (zh) 静态介质接入控制地址的老化方法、装置及设备
CN114238748A (zh) 一种基于大数据的教学资源配置智能算法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16902496

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16902496

Country of ref document: EP

Kind code of ref document: A1