KR101687239B1 - 빅데이터 스트림 모델링 시스템 및 방법 - Google Patents

빅데이터 스트림 모델링 시스템 및 방법 Download PDF

Info

Publication number
KR101687239B1
KR101687239B1 KR1020160055883A KR20160055883A KR101687239B1 KR 101687239 B1 KR101687239 B1 KR 101687239B1 KR 1020160055883 A KR1020160055883 A KR 1020160055883A KR 20160055883 A KR20160055883 A KR 20160055883A KR 101687239 B1 KR101687239 B1 KR 101687239B1
Authority
KR
South Korea
Prior art keywords
data
stream
modeling
big data
processing
Prior art date
Application number
KR1020160055883A
Other languages
English (en)
Inventor
노영태
김창현
김연중
Original Assignee
주식회사 위즈온텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위즈온텍 filed Critical 주식회사 위즈온텍
Priority to KR1020160055883A priority Critical patent/KR101687239B1/ko
Application granted granted Critical
Publication of KR101687239B1 publication Critical patent/KR101687239B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G06F17/30318—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F17/30126—
    • G06F17/30194—
    • G06F17/30557—

Abstract

본 발명은 빅데이터 스트림 모델링 시스템 및 방법에 관한 것이다. 개시된 빅데이터 스트림 모델링 시스템 및 방법은, 빅데이터를 실시간으로 처리하기 위한 스트림모델링 시스템에 있어서, 빅데이터의 처리방식을 모델링하는 스트림모델링 스튜디오, 상기 스트림모델링 스튜디오에서 모델링한 스트림모델을 저장하고, 각 모델링 요소의 통신을 제어하는 스트림모델링 서버 및 상기 스트림모델링 서버로부터 스트림모델을 전달받아 실행하는 스트림모델링 엔진을 포함하는 것을 특징으로 하는 빅데이터 스트림 모델링 시스템 및 모델링 방법을 제공한다.
본 발명에 의하면, 연속적인 빅데이터가 유입될 때, 지정된 룰에 기반하여 빅데이터의 분석, 저장 및 처리방식을 실시간으로 적용하고 변경할 수 있는 빅데이터 스트림 모델링 시스템 및 방법을 제공할 수 있다는 이점이 있다.

Description

빅데이터 스트림 모델링 시스템 및 방법 {System and Method for Big Data Stream Modeling}
본 발명은 빅데이터 스트림 모델링 시스템 및 방법에 관한 것으로, 더욱 상세하게는 연속적으로 유입되는 빅데이터의 처리방식을 실시간으로 변경 및 적용할 수 있는 빅데이터 스트림 모델링 시스템 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
빅데이터(Big Data)는 대개 전통적인 데이터베이스(DB)나 시스템 환경에서 처리하기 힘든 대용량 데이터를 저장, 분석, 처리해 가치있는 정보로 만들어내는 일련의 과정을 일컫는다
빅데이터라는 개념이 등장하기 이전에도 성능 좋고 값비싼 슈퍼컴퓨터를 이용해 대용량 데이터를 다루는 방법은 존재했다. 하지만 기존 시스템 환경에는 스토리지나 컴퓨팅 자원도 부족했고 비용도 적잖이 드는데다 관련 기술이나 엔지니어가 부족하여 기업이 쏟아지는 데이터를 자유롭게 분석할 수 있는 환경을 구축하는 것은 힘들었다. 그래서 기존 데이터를 비용 대비 효율적으로 처리할 수 있는 방법론이 꾸준히 요구되었다.
이러한 배경에서 등장한 것이 하둡(Hadoop)으로, 하둡은 여러 개의 저렴한 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술이다. 하둡은 수천대의 분산된 x86 장비에 대용량 파일을 저장할 수 있는 기능을 제공하는 분산파일 시스템과, 저장된 파일 데이터를 분산된 서버의 CPU와 메모리 자원을 이용해 쉽고 빠르게 분석할 수 있는 컴퓨팅 플랫폼인 맵리듀스로 구성돼 있다.
하둡은 저렴하면서도 방대한 데이터를 분석할 수 있게 돕는다. 기업은 하둡을 활용해 빅데이터 분석에 들어가는 초기 비용을 줄이면서 자사 데이터 시스템과의 호환 문제도 손쉽게 해결할 수 있으며, 하둡은 빅데이터 처리와 분석을 위한 플랫폼 시장에서 사실상 표준으로 자리잡기 시작했다.
한편, 최근 사물인터넷(IoT) 시대를 맞아 각종 기계가 쏟아내고 있는 (machine-generated) 데이터에 대한 관심이 늘어나고 있으며, 사람들이 만들어내는(human-generated) 데이터와 달리, 수많은 센서나 소셜미디어에서 생성되는 기계가 끊임없이 쏟아내는 정보에 대한 '실시간' 빅데이터 분석의 필요성이 대두되고 있다. ‘실시간 분석’은 데이터가 생성되는 시점에 최대한 가깝게 분석이 함께 이뤄지는 것으로, ‘실시간’에 대한 기준은 업무 성격에 따라 분 단위, 초 단위, 1초 미만 등으로 다양하게 정의되고 있으나, 갈수록 이에 대한 요건이 다양화되는 동시에 강화되고 있는 추세다.
하둡을 기반으로 구축된 종래의 빅데이터 에코 시스템은 저비용으로 분산 시스템 구축이 가능해 용량 확대의 측면에서는 장점이 있지만 반응 속도가 매우 느리기 때문에 장기간에 걸친 배치 분석에는 용이하지만, 분 단위 미만의 짧은 반응 속도를 필요로 하는 사물인터넷 시대의 실시간 분석 작업에는 적합하지 않다는 문제가 있다.
이에, 본 발명에서는, 전술한 기술적 제약을 해소시킬 수 있는 빅데이터 스트림 모델링 시스템 및 방법을 제안하고자 한다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 한국공개특허 제10-2015-7002448, 2015년 3월 11일 공개(명칭: 빅데이터 분석 시스템)
(특허문헌 2) 한국등록특허 제10-1600275, 2016년 2월 29일 공개(명칭: 실시간 빅 데이터 이벤트 처리 시스템)
(특허문헌 3) 한국등록특허 제10-15442235, 2015년 7월 30일 공개(명칭: 실시간 데이터 마이닝 방법)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 연속적인 빅데이터가 유입될 때, 지정된 룰에 기반하여 빅데이터의 분석, 저장 및 처리방식을 실시간으로 적용하고 변경할 수 있는 빅데이터 스트림모델링 시스템 및 방법을 제공하는데 주된 목적이 있다.
또한, 본 발명의 다른 목적은 소규모 샘플 데이터의 시뮬레이션에 적합한 스몰디바이스 기반 빅데이터 스트림모델링 시스템 및 방법을 제공하는데 있다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 양상은, 빅데이터를 실시간으로 처리하기 위한 스트림모델링 시스템에 있어서, 빅데이터의 처리방식을 모델링하는 스트림모델링 스튜디오; 상기 스트림모델링 스튜디오에서 모델링한 빅데이터 처리방식을 저장하고, 각 모델링 요소간의 통신을 제어하는 스트림모델링 서버; 및 상기 스트림모델링 서버로부터 빅데이터의 처리방식을 전달받아 실행하는 스트림모델링 엔진을 포함하는 것을 특징으로 하는 빅데이터 스트림 모델링 시스템을 제공한다.
본 발명의 다른 일 양상은, 빅데이터를 실시간으로 처리하기 위한 스트림모델링 방법에 있어서, 빅데이터의 처리방식을 그래픽 사용자인터페이스 방식으로 모델링하는 단계; 빅데이터를 수집하는 단계; 상기 모델링된 빅데이터의 처리방식에 따라 상기 수집된 빅데이터를 실시간으로 처리하고 저장하는 단계; 및 상기 처리된 빅데이터를 시각화하여 표시하는 단계를 포함하는 것을 특징으로 하는 빅데이터 스트림모델링 방법을 제공한다.
본 발명의 다른 일 양상은, 빅데이터 스트림모델링 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.
본 발명의 빅데이터 스트림모델링 시스템 및 방법에 의하면, 연속적인 빅데이터가 유입될 때, 지정된 룰에 기반하여 빅데이터의 분석, 저장 및 처리방식을 실시간으로 적용하고 변경할 수 있는 빅데이터 스트림 모델링 시스템 및 방법의 제공을 가능하도록 한다는 효과가 있다.
또한, 소규모 샘플 데이터의 시뮬레이션에 적합한 스몰디바이스 기반 빅데이터 스트림모델링 시스템 및 방법을 제공할 수 있다는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 스트림 모델링 시스템의 구성을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 실시간데이터처리부의 구성을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 스트림모델링 스튜디오의 구성을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 빅데이터 스트림모델링 방법을 예시한 도면이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 스트림 모델링 시스템의 구성을 예시한 도면이다.
스트림모델링 플랫폼(100)은 사용자, 즉, 빅데이터 시스템 운영자가 연속적인 빅데이터가 유입될 때 빅데이터의 처리방식, 즉, 분석, 저장, 검색 및 출력 등을 실시간으로 변경 및 저장할 수 있도록 하며, 스트림모델링 스튜디오(110)와 스트림모델링 서버(130)로 구성된다.
스트림모델링 스튜디오(110)는 웹기반의 오픈소스 솔루션을 이용하여 스트림 모델링을 한다. 스트림모델링 스튜디오(110)는 그래픽 사용자 인터페이스를 통하여 플로우로 모델링할 수 있으며, 보다 구체적인 구성은 이후 도3의 참조부분에서 추가적으로 설명하도록 한다.
스트림모델링 서버(130)는 스트림모델링 스튜디오(110)와 연동하여 스트림 모델링 정보를 저장하고, 각 모델링 요소들의 통신을 제어한다.
스트림모델링 엔진(200)은 스트림모델링 서버(130)에 저장된 스트림모델링 정보를 전달받아 실행한다.
보다 구체적으로, 스트림모델링 엔진(200)은 빅데이터저장소(300)로부터 수집된 빅데이터 정보를 스트림모델링 정보를 바탕으로 처리, 저장, 검색 및 분석한다.
빅데이터저장소(300)는 모바일이나 IoT장비 등 빅데이터 소스(400)로부터 발생하는 빅데이터를 네트워크로 전달받아 저장한다.
빅데이터 소스(400)는 빅데이터를 발생하는 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book) 등 어떠한 형태의 정보통신 기기이거나 웹사이트, 애플리케이션, 센서 등일 수 있다.
빅데이터 소스(400)는 빅데이터저장소(300)간에는 네트워크를 통하여 정보를 전달하며, 네트워크에는 코드분할다중접속(CDMA), 와이드밴드 코드분할다중접속(WCDMA), 고속패킷접속(HSPA), 롱텀에볼루션(LTE), 5G 등의 이동통신망이 포함되나, 이에 한정되지 않고, 이더넷(Ethernet), 디지털가입자선(xDSL), 광동축 혼합망(HFC), 광가입자망(FTTH) 등의 유선통신망 또는 와이파이(WiFi), 와이브로(Wibro), 와이맥스(Wimax), 블루투스(Bluetooth), 초광대역통신(UWB), 지그비(ZigBee) 등의 무선통신망이 포함될 수 있다.
스트림모델링 엔진(200)은 일종의 데이터웨어하우스(DW)로 원시 데이터 계층, 데이터 웨어하우스 계층, 클라이언트 계층으로 구성되며 데이터의 추출, 저장, 조회 등의 활동을 한다.
다만, 스트림모델링 엔진(200)은 기존의 OLAP(온라인분석처리) 영역의 분석용 데이터베이스관리시스템(DBMS)나 데이터웨어하우스(DW)와 유사하나 다소 차이가 있어서, 데이터를 분석하기 위해 ETL(추출·변환·적재)을 비롯한 여러 과정을 거쳐 DW에서 주기적으로 배치(batch) 처리할 필요 없이, 생성되는 데이터를 바로 처리하고 분석해 필요한 만큼의 인사이트를 빠르게 얻을 수 있다.
스트림모델링 엔진(200)은 구체적으로는 빅데이터수집부(201), 실시간데이터처리부(203), 분산저장부(205), 데이터분석부(207), 검색부(209) 및 외부연동부(211)의 주요구성요소로 이루어진다.
빅데이터수집부(201)는 빅데이터저장소(300)에 저장된 빅데이터를 실시간으로 수집하며, 대표적으로 아파치 카프카(Kafka)와 같이 다양한 유형의 데이터를 실시간으로 수집하는 방식이 바람직하다.
빅데이터수집부(201)는 빅데이터의 분산 메시징 시스템으로, 실시간 데이터 전송에 있어서 빅데이터 소스(400)와 실시간데이터처리부(203) 사이에서 버퍼(Buffer) 역할을 한다.
실시간데이터처리부(203)는 빅데이터수집부(201)에서 수집된 데이터를 실시간으로 파싱(Parsing), 처리, 변환한다.
여기서 실시간이란 아래의 구분에서 Real-time 또는 Real Real-time을 포괄하는 개념이다.
- Batch : 초,분,시간 수준의 일괄처리
- Near Real-time : 초단위 수준의 지연시간 보장
- Real-time : Milliseconds 수준의 처리 보장
- Real Real-time : Microseconds 수준의 처리 보장
이는 다음과 같은 응용분야에서 유용하게 활용될 수 있다.
- 주식 알고리즘 트레이딩
대표적인 사례로 이미 CEP 기술이 활용되고 있다. 주식 틱을 모니터링 하다가 어떠한 복합 조건에 도달하면 자동으로 주식을 매도/매수
- 제조업
제조업에서 활발히 사용되고 있는데, 생산라인, 부품을 실시간으로 모니터링하여 재고 관리에 사용되거나, 공장내 온도,습도 등의 센싱 데이터를 실시간 수집 분석하여 자동 조절
- 금융
카드,금융사의 부정사용 감지
- 통신
Call 데이터 실시간 감지,분석 모니터링에 활용
-OI
서버 등 시스템을 실시간 모니터링에 활용되며, 특정조건(예를 들어, 10초내 500에러코드 3건 검출)에 부합될 경우 경고발생 등에 활용
즉, 본 명세서 전반에 걸쳐서 실시간 처리 기술이란, 쌓아 놓고 처리하는 방식이 아니라 데이터가 생성되면 곧바로 처리하는 방식이며, 실시간데이터처리부(203)는 빅데이터수집부(201)에 실시간으로 저장되는 로그를 마이크로 배치 방식으로 가져와서 비즈니스 로직에 맞는 데이터 처리를 한다. 실시간데이터처리부(203)에는 스파크 스트리밍(Spark Streaming), 아파치 스톰(Storm) 혹은 아마존웹서비스(AWS)의 키네시스가 유용하게 활용될 수 있다.
실시간데이터처리부(203)는 실시간으로 생성되는 데이터들이 시냇물처럼 끊임없이 흐르는 스트림 데이터를 적정 구간으로 나누어 처리하며, 스트림 데이터가 들어오는 대로 일련의 처리 업무들을 수행하여 그 결과를 연속적으로 제공한다. 따라서, 최신 데이터를 기반으로 바로 결과를 얻을 수 있으며, 전체 데이터가 처리되기 전이라도 중간 처리 결과를 먼저 제공함으로써 조기에 처리 결과를 얻을 수 있는 장점이 있다.
도 2는 본 발명의 일 실시예에 따른 실시간데이터처리부의 구성을 예시한 도면이다.
도 2를 참조하면, 실시간데이터처리부(203)는 기능적으로 데이터 파싱모듈(203a), 실시간데이터 처리모듈(203b), 데이터 변환모듈(203c)로 구분된다.
파싱모듈(203a)에서 실시간으로 생성되고 시냇물처럼 끊임없이 흐르는 스트림 데이터를 적정 구간으로 나누어 분해하고, 실시간데이터 처리모듈(203b)에서 일련의 처리 업무들을 수행하여 그 결과를 연속적으로 제공한다.
소셜 네트워크 서비스의 단문 메시지, 폐쇄회로TV(CCTV：Closed Circuit Television) 감시 영상처럼 스트림 데이터의 발생량이 폭증하고, 비정형데이터에 대한 처리 업무의 복잡성, 지식을 얻기 위한 분석의 복잡성 등으로 인한 많은 계산 능력의 요구 때문에 실시간데이터 처리모듈(203b)은 분산 스트림 처리 기술로 구현하는 것이 바람직하다. 분산 스트림 처리 기술은 처리 업무의 워크로드에 따라 여러 노드로 분산하여 처리하는 것으로, 스트림 데이터가 폭증하면 데이터를 여러 노드로 분할 병렬 처리하여 입력 스트림 데이터에 대한 처리 지연을 최소화하는 것이다.
데이터 변환모듈(203c)은 실시간데이터 처리모듈(203b)에서 처리된 실시간데이터를 적합한 데이터 형식, 예컨대, 하둡으로 변환한다.
분산저장부(205)는 변환모듈(203c)에서 변환된 실시간 처리데이터를 컴퓨터로 판독 가능한 기록매체에 저장한다. 일 구현 예에서, 기록매체는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
분산저장부(205)는 하둡 분산형 파일 시스템(HDFS, Hadoop Distributed File System)과 같은 파일분산시스템으로 구현하는 것이 바람직하나, HDFS에 한정되지 않고 여타 클라우드 기반 데이터 플랫폼과도 융합이 가능하다.
분산저장부(205)가 HDFS로 구현되는 경우 저가 서버와 하드디스크를 이용하여 빅데이터를 상대적으로 쉽게 처리할 수 있다. 이 경우, 저렴한 가격의 서버들을 클러스터(cluster)로 구성하여 데이터를 저장하는 기술. 어떠한 타입(동영상, NoSQL, pdf, html, txd 등)도 저장하며, 분산하여 저장되지만 실제로는 하나의 하드디스크처럼 사용이 가능하다
데이터분석부(207)는 분산저장부(205)에 저장된 데이터에 쿼리(Query) 기반으로 데이터를 핸들링하고 분석한다.
실시간데이터처리부(203)는 실시간으로 들어오는 빅데이타에 대한 리얼타임 스트리밍 처리를 하는 반면, 데이터분석부(207)는 빅데이터 수집과 전처리 후 분산저장부(205)에 저장 단계를 거친 다음 대용량으로 빠르게 분석처리한다.
데이터분석부(207)는 스파크 SQL(Spark SQL) 기술이 효과적으로 사용될 수 있다. SQL(Structured Query Language)은 관계형 데이터베이스에서 데이터 정의, 데이터 조작, 데이터 제어를 하기 위해 사용하는 언어이며, 스파크 SQL은 결과 데이터를 새로운 스파크 데이터 소스에 작성하는 것이 가능하다(예. 파케이 테이블(Parquet table)).
검색부(209)는 실시간데이터처리부(203)와 연동하여 오픈소스 분산 검색엔진을 제공한다. 예컨대, 엘라스틱 서치(ElasticSearch)와 같은 분산구조로 확장성이 뛰어나고, 동작중에 죽은 노드를 감지하고 삭제하여 고가용성, 멀티테넌시, 전문검색이 가능하다.
검색부(209)는, 별도의 API를 통해서 데이터의 입력, 삭제 검색 등을 할 수 있고. JAVA,PHP,Perl,javascript,Python 등의 라이브러리를 제공, 플러그인 설치도 지원해 확장 기능을 제공할 수 있다.
검색부(209)는 여러 개의 노드로 구성된 분산시스템, 이때 노드는 데이터를 색인하고 검색을 수행하는 단위 프로세스로 기존 노드에 새 노드를 실행하여 연결하는 것만으로 확장 가능하고 데이터는 각 노드에 분산 저장된다. 또한, 각 노드는 1개 이상의 데이터 원본과 복사본을 서로 다른 위치에 나누어 저장하고, 각 노드가 종료되거나 실행에 실패한 경우 다른 노드로 데이터 이동하여 높은 가용성과 안전성을 보장한다.
검색부(209) 실시간 분석을 지원하여 저장된 데이터는 검색에 사용되기 위해 별도의 재시작/ 갱신이 불필요하고, 색인 작업이 완료됨과 동시에 바로 검색이 가능하고, 실시간 분석/검색은 데이터 증가량에 구애 받지 않는다.
외부연동부(211)는 스트림모델링 엔진(200)에서 분석된 데이터를 외부의 출력장치(500)에 전달하는 인터페이스부이다.
외부연동부(211)은 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함한다. 이러한 외부연동부(211)는 무선통신 모듈(미도시) 및 유선통신 모듈(미도시) 중 적어도 하나를 포함할 수 있다. 그리고, 무선통신 모듈은 무선 통신 방법에 따라 데이터를 송수신하기 위한 구성이며, 외부연동부(211)가 무선 통신을 이용하는 경우, 무선망 통신 모듈, 무선랜 통신 모듈 및 무선팬 통신 모듈 중 어느 하나를 이용하여 데이터를 송수신할 수 있다. 또한, 유선통신 모듈은 유선으로 데이터를 송수신하기 위한 것이다. 유선통신 모듈은 유선을 통해 통신망에 접속하여 데이터를 송수신할 수 있다.
출력장치(500)는 스트림모델링 엔진(200)에서 분석된 정보를 수신하여 시각화하여 표시한다. 또한, 출력장치(500)는 특정 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 출력장치(500)는 웹서버, 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다.
이하 도 3을 참조하여 본 발명의 바람직한 실시예에 따른 스트림모델링 스튜디오(110)의 구성을 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 스트림모델링 스튜디오의 구성을 예시한 도면이다.
스트림모델링 스튜디오(110)는 사용자 액션을 그래픽사용자 인터페이스(GUI)기반의 스트림으로 지정하고, 지정된 모델링 정보는 스트림모델링 엔진(200)으로 전달하여 이를 기반으로 실시간 빅데이터를 처리한다.
사용자는 스트림모델링 스튜디오(110) 화면에서 필요한 각 기능모듈을 선택, 드래그하여 구성하고, 각 모듈간에는 라인을 드래그하여 연결하면 연결된 라인 순서에 따라 일련의 프로세스를 수행하게 된다. 각 기능모듈을 클릭하면 각 기능모듈내부의 명령어를 입력하거나 변경할 수 있다.
도 3에 예시된 스트림모델링 스튜디오(110)의 화면을 참조하면, 1.InputTrigger, 2.readFile, 3.toDataFrame, 4.filterQuery, 5.Display, 6.writeHDFS 모듈로 구성한다. 각 모듈별 기능은 다음과 같다.
1.InputTrigger : 지정된 파일이름을 사용자의 액션 또는 일정주기마다 스트림으로 전달한다.
2.readFile : 전달된 파일이름을 읽어들인다.
3.toDataFrame : 스트림데이터를 데이터프레임으로 변환한다.
4.filterQuery : 데이터프레임에 쿼리를 적용하여 변환 또는 필터링을 수행한다.
5.Display : 스트림데이터를 웹서버로 전달하여 화면에 출력한다.
6.writeHDFS : 스트림데이터를 HDFS에 저장한다.
도 3에 예시된 스트림모델링 스튜디오(110)의 모델링의 의미는 사용자 액션을 스트림으로 지정하고, 입력된 파일을 읽어들여 데이터프레임으로 변환하고, 해당 데이터에 필터 노드 쿼리를 적용하여 출력으로 전송하고, HDFS에 저장하는 기능을 나타낸다.
이하에서는, 도 4를 참조하여 본 발명의 바람직한 실시예에 따른 빅데이터 스트림모델링 방법을 구체적으로 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 빅데이터 스트림모델링 방법을 예시한 도면이다.
스트림모델링 스튜디오(110)는 그래픽 사용자 인터페이스를 통하여 웹기반의 오픈소스 솔루션을 이용하여 스트림 모델링을 한다(S401).
스트림모델링 서버(130)는 스트림모델링 스튜디오(110)와 연동하여 스트림 모델링 정보를 저장하고, 각 모델링 요소의 통신을 제어하고, 스트림모델링 엔진(200)은 스트림모델링 서버(130)에 저장된 스트림모델링 정보를 전달받아 실행한다.
보다 구체적으로, 스트림모델링 엔진(200)의 빅데이터수집부(201)는 외부의 빅데이터저장소(300)로부터 빅데이터를 실시간으로 수집 저장한다(S403).
실시간데이터처리부(203)는 빅데이터수집부(201)에서 수집된 데이터를 실시간으로 파싱(Parsing), 처리하고(S405), 일련의 처리된 실시간데이터를 적합한 데이터 형식, 예컨대, 하둡으로 변환한다(S407).
분산저장부(205)는 변환모듈(203c)에서 변환된 실시간 처리데이터를 컴퓨터로 판독 가능한 기록매체에 저장한다(S409). 분산저장부(205)는 하둡 분산형 파일 시스템(HDFS, Hadoop Distributed File System)과 같은 파일분산시스템으로 구현하는 것이 바람직하다.
데이터분석부(207)는 분산저장부(205)에 저장된 데이터에 쿼리(Query) 기반으로 데이터를 핸들링하고 분석한다(S411). 데이터분석부(207)는 스파크 SQL(Spark SQL) 기술이 효과적으로 사용될 수 있다.
검색부(209)는 실시간데이터처리부(203)와 연동하여 오픈소스 분산 검색엔진을 제공할 수 있다.
외부연동부(211)는 스트림모델링 엔진(200)에서 분석된 데이터를 외부의 출력장치(500)에 전달하고, 출력장치(500)는 스트림모델링 엔진(200)에서 분석된 정보를 수신하여 시각화하여 표시한다(S413). 출력장치(500)는 특정 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다.
도 4에서는 단계 S401 내지 단계 S413를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 단계 S401 내지 단계 S413 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다. 예컨대, S405의 빅데이터 실시간 처리단계와 S411의 데이터 분석단계는 때로는 병렬적으로 이루어질 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 빅데이터 스트림 모델링 시스템 및 방법에 따르면, 연속적인 빅데이터가 유입될 때, 지정된 룰에 기반하여 빅데이터의 분석, 저장 및 처리방식을 실시간으로 적용하고 변경할 수 있는 빅데이터 스트림 모델링 시스템 및 방법의 제공을 하는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
100: 스트림모델링 플랫폼 200: 스트림모델링 엔진
300: 빅데이터저장소 400: 빅데이터 소스 500: 출력장치

Claims (12)

  1. 빅데이터를 실시간으로 처리하기 위한 스트림모델링 시스템에 있어서,
    빅데이터의 처리방식을 모델링하는 스트림모델링 스튜디오;
    상기 스트림모델링 스튜디오에서 모델링한 빅데이터 처리방식을 저장하고, 각 모델링 요소간의 통신을 제어하는 스트림모델링 서버; 및
    상기 스트림모델링 서버로부터 빅데이터의 처리방식을 전달받아 실행하는 스트림모델링 엔진을 포함하되,
    상기 스트림모델링 엔진은,
    외부의 빅데이터 소스로부터 빅데이터를 실시간으로 수집하는 빅데이터수집부;
    상기 실시간으로 수집된 빅데이터를 적정 구간의 스트림 데이터로 나누어 분해하고, 실시간으로 분석 및 처리하여 소정의 데이터 형식으로 변환하는 실시간데이터처리부;
    상기 실시간데이터처리부에서 변환된 실시간 처리데이터를 분산형 파일 시스템으로 저장하는 분산저장부; 및
    상기 분산저장부에 저장된 데이터를 쿼리 기반으로 핸들링하고 분석하는 데이터분석부를 포함하는 것을 특징으로 하는 빅데이터 스트림 모델링 시스템.
  2. 제1항에 있어서,
    상기 스트림모델링 스튜디오는,
    원격으로 여러 사용자가 동시에 접속하여 사용할 수 있으며, 웹기반으로 모델링하는 것을 특징으로 하는 빅데이터 스트림 모델링 시스템.
  3. 제1항에 있어서,
    상기 스트림모델링 스튜디오는,
    그래픽사용자 인터페이스를 통하여 기능블록을 배열하고 연결하여 액션 스트림을 지정하는 것을 특징으로 하는 빅데이터 스트림 모델링 시스템.
  4. 제3항에 있어서,
    상기 스트림모델링 스튜디오는,
    상기 지정된 액션 스트림의 순서에 따라 상기 기능블록에 입력된 명령을 읽어들여 데이터프레임으로 변환하는 것을 특징으로 하는 빅데이터 스트림 모델링 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 스트림모델링 엔진은,
    상기 실시간데이터처리부와 연동하여 오픈소스 분산 검색엔진을 제공하는 검색부; 및
    상기 스트림모델링 엔진에서 분석된 데이터를 외부의 출력장치에 전달하는 외부연동부를 더 포함하는 것을 특징으로 하는 빅데이터 스트림 모델링 시스템.
  7. 제6항에 있어서,
    상기 스트림모델링 엔진의 각 구성부는,
    상기 스트림모델링 스튜디오에서 모델링한 빅데이터의 처리순서 및 명령에 따라 동작하는 것을 특징으로 하는 빅데이터 스트림 모델링 시스템.
  8. 빅데이터를 실시간으로 처리하기 위한 스트림모델링 방법에 있어서,
    빅데이터의 처리방식을 그래픽 사용자인터페이스 방식으로 모델링하는 단계;
    빅데이터를 수집하는 단계;
    상기 모델링된 빅데이터의 처리방식에 따라 상기 수집된 빅데이터를 실시간으로 처리하고 저장하는 단계; 및
    상기 처리된 빅데이터를 시각화하여 표시하는 단계를 포함하되,
    상기 모델링하는 단계는,
    지정된 파일이름을 지정된 액션 혹은 소정의 주기마다 스트림데이터로 전달하는 단계;
    상기 스트림데이터로 전달된 파일이름을 읽어들이는 단계;
    상기 스트림데이터를 소정의 데이터프레임으로 변환하는 단계;
    상기 변환된 데이터프레임에 쿼리를 적용하여 분석하는 단계; 및
    상기 분석한 결과를 외부의 출력장치로 전달하여 화면에 출력하는 단계를 포함하는 것을 특징으로 하는 빅데이터 스트림모델링 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 모델링하는 단계는,
    상기 스트림데이터를 분산파일로 변환하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 스트림모델링 방법.
  11. 제8항에 있어서,
    상기 저장하는 단계 이후에,
    저장된 데이터를 SQL 기반으로 분석하는 단계를 더 포함하는 것을 특징으로 하는 빅데이터 스트림모델링 방법.
  12. 제8항, 제10항, 및 제11항 중 선택된 어느 한 항에 기재된 빅데이터 스트림모델링 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020160055883A 2016-05-06 2016-05-06 빅데이터 스트림 모델링 시스템 및 방법 KR101687239B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160055883A KR101687239B1 (ko) 2016-05-06 2016-05-06 빅데이터 스트림 모델링 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160055883A KR101687239B1 (ko) 2016-05-06 2016-05-06 빅데이터 스트림 모델링 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101687239B1 true KR101687239B1 (ko) 2016-12-16

Family

ID=57735754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160055883A KR101687239B1 (ko) 2016-05-06 2016-05-06 빅데이터 스트림 모델링 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101687239B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126792A (ko) * 2017-05-18 2018-11-28 주식회사 알티베이스 분산인메모리기반 복합형스트림 데이터처리시스템 및 방법
KR20190041707A (ko) * 2017-10-13 2019-04-23 인천대학교 산학협력단 Gpu를 사용한 실시간 빅 데이터 스트림 처리 장치 및 방법
KR20190056957A (ko) * 2017-11-17 2019-05-27 한국전자통신연구원 지능형 IoE 정보 프레임워크를 위한 컴퓨팅 시스템 및 방법
KR20190130949A (ko) * 2018-05-15 2019-11-25 농업회사법인 렛츠팜 주식회사 빅데이터를 이용한 농생명 기반 플랫폼 시스템
KR20210039654A (ko) * 2019-10-02 2021-04-12 (주)디지탈쉽 이상치 탐지를 위한 데이터 처리 방법 및 장치
KR102569704B1 (ko) * 2023-04-07 2023-08-25 (주)디에스티인터내셔널 사용자 맞춤형 이기종 빅데이터 실시간 대시보드 활성화 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140057886A (ko) * 2012-11-05 2014-05-14 (주)토탈소프트뱅크 프로세스 분석을 위한 데이터 전처리 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140057886A (ko) * 2012-11-05 2014-05-14 (주)토탈소프트뱅크 프로세스 분석을 위한 데이터 전처리 시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126792A (ko) * 2017-05-18 2018-11-28 주식회사 알티베이스 분산인메모리기반 복합형스트림 데이터처리시스템 및 방법
KR101982756B1 (ko) * 2017-05-18 2019-05-28 주식회사 알티베이스 분산인메모리기반 복합형스트림 데이터처리시스템 및 방법
KR20190041707A (ko) * 2017-10-13 2019-04-23 인천대학교 산학협력단 Gpu를 사용한 실시간 빅 데이터 스트림 처리 장치 및 방법
KR102004408B1 (ko) * 2017-10-13 2019-07-29 인천대학교 산학협력단 Gpu를 사용한 실시간 빅 데이터 스트림 처리 장치 및 방법
KR20190056957A (ko) * 2017-11-17 2019-05-27 한국전자통신연구원 지능형 IoE 정보 프레임워크를 위한 컴퓨팅 시스템 및 방법
KR102435503B1 (ko) * 2017-11-17 2022-08-24 한국전자통신연구원 지능형 IoE 정보 프레임워크를 위한 컴퓨팅 시스템 및 방법
KR20190130949A (ko) * 2018-05-15 2019-11-25 농업회사법인 렛츠팜 주식회사 빅데이터를 이용한 농생명 기반 플랫폼 시스템
KR102219955B1 (ko) * 2018-05-15 2021-02-24 농업회사법인 렛츠팜 주식회사 빅데이터를 이용한 농생명 기반 플랫폼 시스템
KR20210039654A (ko) * 2019-10-02 2021-04-12 (주)디지탈쉽 이상치 탐지를 위한 데이터 처리 방법 및 장치
KR102262279B1 (ko) 2019-10-02 2021-06-08 (주)디지탈쉽 이상치 탐지를 위한 데이터 처리 방법 및 장치
KR102569704B1 (ko) * 2023-04-07 2023-08-25 (주)디에스티인터내셔널 사용자 맞춤형 이기종 빅데이터 실시간 대시보드 활성화 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101687239B1 (ko) 빅데이터 스트림 모델링 시스템 및 방법
US11245581B2 (en) Selective event stream data storage based on historical stream data
US11934417B2 (en) Dynamically monitoring an information technology networked entity
US11947556B1 (en) Computerized monitoring of a metric through execution of a search query, determining a root cause of the behavior, and providing a notification thereof
US11106442B1 (en) Information technology networked entity monitoring with metric selection prior to deployment
US11620300B2 (en) Real-time measurement and system monitoring based on generated dependency graph models of system components
US10936585B1 (en) Unified data processing across streaming and indexed data sets
US10169433B2 (en) Systems and methods for an SQL-driven distributed operating system
US10700950B2 (en) Adjusting network data storage based on event stream statistics
US20210182854A1 (en) Data monetization and exchange platform
US11481408B2 (en) Event driven extract, transform, load (ETL) processing
US11250073B2 (en) Method and apparatus for crowdsourced data gathering, extraction, and compensation
US20160224600A1 (en) Systems And Methods For Managing Allocation Of Machine Data Storage
US10255347B2 (en) Smart tuple dynamic grouping of tuples
US11579860B2 (en) Model driven state machine transitions to configure an installation of a software program
US20190034500A1 (en) Creating dashboards for viewing data in a data storage system based on natural language requests
JP2020521238A (ja) キャッシュ最適化及び効率的な処理のためのデータ集約の方法
US20190034247A1 (en) Creating alerts associated with a data storage system based on natural language requests
US20210200782A1 (en) Creating and Performing Transforms for Indexed Data on a Continuous Basis
Medvedev et al. Data ingestion and storage performance of iot platforms: Study of openiot
US9843643B2 (en) System, method, and non-transitory computer-readable storage media for monitoring consumer activity on websites
US20160112274A1 (en) Real time simulation monitoring
CN116048817B (zh) 数据处理控制方法、装置、计算机设备和存储介质
Chen et al. Big data generation and acquisition
Divate et al. High performance computing and big data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 4