KR102268549B1 - 빅데이터 플랫폼 관리 방법 및 장치 - Google Patents

빅데이터 플랫폼 관리 방법 및 장치 Download PDF

Info

Publication number
KR102268549B1
KR102268549B1 KR1020190148302A KR20190148302A KR102268549B1 KR 102268549 B1 KR102268549 B1 KR 102268549B1 KR 1020190148302 A KR1020190148302 A KR 1020190148302A KR 20190148302 A KR20190148302 A KR 20190148302A KR 102268549 B1 KR102268549 B1 KR 102268549B1
Authority
KR
South Korea
Prior art keywords
platforms
big data
execution plan
platform
data
Prior art date
Application number
KR1020190148302A
Other languages
English (en)
Other versions
KR20210060829A (ko
Inventor
송광헌
이금탁
김주성
이효선
김정우
Original Assignee
주식회사 피씨엔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피씨엔 filed Critical 주식회사 피씨엔
Priority to KR1020190148302A priority Critical patent/KR102268549B1/ko
Publication of KR20210060829A publication Critical patent/KR20210060829A/ko
Application granted granted Critical
Publication of KR102268549B1 publication Critical patent/KR102268549B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities

Abstract

본 발명은 빅데이터 플랫폼 관리 방법 및 장치를 개시한다. 본 발명에 따르면, 빅데이터 플랫폼 관리 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 데이터셋 분석을 위한 실행 계획을 입력 받고, 분산 처리 기반으로 데이터셋 분석을 수행하는 복수의 플랫폼의 리소스 정보를 입력 받고, 상기 실행 계획 및 상기 복수의 플랫폼의 리소스 정보를 이용하여 스케일링 또는 로드 밸런싱 중 하나를 결정하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 빅데이터 플랫폼 관리 장치가 제공된다.

Description

빅데이터 플랫폼 관리 방법 및 장치{Big data platform managing method and device}
본 발명은 빅데이터 플랫폼 관리 방법 및 장치에 관한 것이다.
빅데이터 분석은 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형, 반정형 또는 비정형 데이터셋에서 가치를 추출하고 결과를 분석하는 기술이다.
다양한 종류의 대규모 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동하게 하고 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공, 관리, 분석 가능하게 하며 과거에는 불가능했던 기술을 실현시키기도 한다.
이같이 빅데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되고 있다.
일반적으로 빅데이터 분석을 위해 데이터 수집/저장, 데이터 전처리, 데이터 정제(프로파일링), 데이터 분석 및 데이터 시각화가 수행된다.
최근 빅데이터 수집을 위한 데이터 소스는 음성, 문서, SNS 데이터와 같은 비정형 데이터, 로그 데이터, 머신 데이터 및 운용 데이터와 같은 반정형 데이터와 DB/DW와 같은 정형 데이터를 포함한다.
다양한 형식의 데이터셋 처리, 데이터셋에서 조건에 맞는 데이터 추출, 결합, 그룹 단위로 집약, 다른 형식으로 변환하기 위해, 하나 이상의 플랫폼이 사용되고 있다.
최근 빅데이터에 대한 수요가 높아짐에 따라 다양한 데이터셋의 효율적인 처리를 위한 플랫폼의 관리 방안이 요구되고 있는 실정이다.
한국등록특허 제10-1856454호
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 데이터셋 실행 계획과 연관지어 데이터셋 처리를 위한 플랫폼의 관리 효율성을 높일 수 있는 빅데이터 플랫폼 관리 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 빅데이터 플랫폼 관리 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 데이터셋 분석을 위한 실행 계획을 입력 받고, 분산 처리 기반으로 데이터셋 분석을 수행하는 복수의 플랫폼의 리소스 정보를 입력 받고, 상기 실행 계획 및 상기 복수의 플랫폼의 리소스 정보를 이용하여 스케일링 또는 로드 밸런싱 중 하나를 결정하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 빅데이터 플랫폼 관리 장치가 제공된다.
상기 리소스 정보는 상기 복수의 플랫폼 각각의 커넥션 수, 네트워크 트래픽, CPU 점유율, RAM 점유율 및 태스크의 진행 상태, 완료시간 중 적어도 하나를 포함할 수 있다.
상기 복수의 플랫폼은 서로 다른 빅데이터 프레임워크 기반 플랫폼을 포함할 수 있다.
상기 프로그램 명령어들은, 서로 다른 빅데이터 프레임워크 기반의 복수의 플랫폼에서 데이터셋 처리를 수행할 수 있도록 명령어를 변환하는 어댑터로부터 상기 실행 계획을 입력 받을 수 있다.
상기 스케일링은 하나의 빅데이터 프레임워크 기반의 플랫폼 노드를 복제하는 스케일 아웃 및 삭제하는 스케일 인을 포함할 수 있다.
상기 프로그램 명령어들은, 상기 로드 밸런싱으로 결정되는 경우, 상기 실행 계획을 로드가 가장 낮은 플랫폼으로 전달할 수 있다.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 빅데이터 플랫폼을 관리하는 방법으로서, 데이터셋 분석을 위한 실행 계획을 입력 받는 단계; 분산 처리 기반으로 데이터셋 분석을 수행하는 복수의 플랫폼의 리소스 정보를 입력 받는 단계; 및 상기 실행 계획 및 상기 복수의 플랫폼의 리소스 정보를 이용하여 스케일링 또는 로드 밸런싱 중 하나를 결정하는 단계를 포함하는 빅데이터 플랫폼 관리 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 기록매체에 저장되는 컴퓨터 프로그램이 제공된다.
본 발명에 따르면, 미리 설정된 실행 계획에 따라 플랫폼에서 데이터셋을 처리할 때 플랫폼의 리소스 상황 및 실행 계획에 따라 플랫폼의 노드를 추가 또는 삭제할 수 있어 데이터셋 처리의 효율을 높일 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 빅데이터 처리 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 데이터셋 처리 프로세스를 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 플랫폼 매니저의 상세 구성을 도시한 도면이다.
도 4 내지 도 5는 본 실시예에 따른 플랫폼 매니저를 통한 부하 분산 관리를 예시적으로 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 빅데이터 처리 시스템의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 빅데이터 처리 시스템은 데이터 소스(100), 데이터셋 수집 모듈(102), 수집된 데이터셋을 저장하는 복수의 데이터베이스(104), 플랫폼 매니저(106) 및 데이터베이스(104)에 저장된 데이터셋에서 유의미한 정보를 획득하기 위한 분석 과정을 수행하는 복수의 플랫폼(106)을 포함할 수 있다.
데이터 소스(100)로부터 수집되는 데이터셋은, 정형 데이터(Structured Data), 반정형 데이터(Semistructured-Data) 및 비정형 데이터(Unstructured-Data)를 포함할 수 있다.
정형 데이터는 관계형 데이터베이스 시스템의 테이블과 같이 고정된 필드(컬럼)에 저장되는 데이터와 파일, 그리고 지정된 행과 열에 의해 데이터의 속성이 구별되는 스프레드시트 형태의 데이터이다.
정형 데이터의 경우, 스키마 구조를 가지고 있기 때문에 데이터를 탐색하는 과정이 테이블 탐색, 컬럼 구조 탐색, 로우 탐색 순으로 정형화되어 있다.
반정형 데이터는 데이터 내부에 정형데이터의 스키마에 해당되는 메타데이터를 갖고 있으며. 일반적으로 파일 형태로 저장되는 데이터로서, 로그 데이터, 머신 데이터 및 운용 데이터를 포함한다.
반정형 데이터의 경우 데이터 내부에 데이터 구조에 대한 메타데이터를 갖고 있기 때문에 어떤 형태를 가진 데이터인지를 파악하는 것이 필요하다. 데이터 내부에 있는 규칙성을 파악해 데이터를 파싱할 수 있는 파싱 규칙을 적용한다.
비정형 데이터는 음성, 문서 및 SNS 데이터와 같이 언어 분석이 가능한 텍스트 데이터, 음성, 이미지 및 동영상과 같은 멀티미디어 데이터를 포함한다.
데이터셋 수집 모듈(102)은 네트워크를 통해 연결되는 데이터 소스(100)로부터 정형, 반정형 및 비정형 데이터를 포함하는 데이터셋을 수집한다.
본 실시예에 따른 데이터셋 수집 모듈(102)은 입력된 데이터셋의 클래스를 분류하여 복수의 데이터베이스(104)에 저장할 수 있다.
여기서, 클래스는, 빅데이터가 활용될 수 있는 서비스 분류를 의미하는 것으로서, 날씨, 건강, 로그 데이터를 예로 들 수 있으나, 이에 한정되지 않는다.
일반적으로 정형 데이터는 DBMS 및 이진 파일을 포함한다.
DBMS의 경우, DBMS 벤더가 제공하는 API를 통해 정형 데이터에 접근하여 수집된다. 이진 파일은 ftp 프로토콜을 통해 수집된다.
반정형 데이터는 스크립트 파일 및 이진 파일을 포함하고, 스크립트 파일은 http 프로토콜을 통해 파일의 텍스트가 스크랩된다.
비정형 데이터는 스크립트 파일 및 이진 파일을 포함하고, 이들의 수집은 상기한 바와 같다.
데이터셋 수집 모듈(102)은 데이터 소스(100)로부터 상기한 바와 같이 API, ftp 또는 http 프로토콜 등을 통해 정형, 반정형, 비정형 데이터를 수집하고, 이를 파싱한다.
또한, 파싱된 데이터셋을 데이터베이스(104)에 저장하기 위한 형식으로 변환하며, 데이터 필드의 추가, 삭제 및 마스킹을 수행한다.
데이터셋 수집 모듈(102)은 필터링된 데이터셋의 특징을 추출하여 데이터셋의 클래스를 분류한다. 클래스 분류 과정은 사전 학습된 알고리즘을 통해 수행될 수 있다.
본 실시예에 따르면, k-NN, RNN 및 BERT 알고리즘을 미리 클래스를 알고 있는 데이터셋으로 사전 학습시킨다.
사전 학습이 완료된 이후, 새로운 데이터셋이 입력되면, 데이터셋 수집 모듈(102)은 필터링된 데이터셋의 특징을 추출하고, 추출된 특징을 사전 학습된 알고리즘에 입력값으로 하여 복수의 클래스 각각에 속하는 확률을 계산한다.
사전 학습을 통해 데이터셋 분류 데이터베이스(미도시)가 구축될 수 있으며, 데이터셋 분류 데이터베이스는 미리 정의된 복수의 클래스와 각 클래스에 대응되는 특징에 관한 정보를 저장한다.
데이터셋의 특징은 하나 이상의 필드(컬럼) 각각의 타입, 도메인 및 최대/최소값을 포함할 수 있다.
여기서, 타입은 숫자, 텍스트 및 이진 데이터일 수 있고, 도메인은 카테고리, 날짜, 시간, 금액, 좌표, 백분율, 분수 및 지수를 포함할 수 있다.
본 실시예에 따른 플랫폼 매니저(106)는 데이터셋의 실행 계획 및 복수의 플랫폼 각각의 리소스 정보를 이용하여 빅데이터 처리를 위한 플랫폼의 부하를 관리한다.
본 발명에서 플랫폼 매니저(106)가 빅데이터 플랫폼 관리 장치로 정의될 수 있다.
도 2는 본 발명의 일 실시예에 따른 데이터셋 처리 프로세스를 설명하기 위한 도면이다.
도 2를 참조하면, 플랫폼 매니저(106)는 데이터셋에서 조건에 맞는 데이터 추출, 결합, 그룹 단위로 집약, 다른 형식으로 변환 등을 위해, 복수의 플랫폼(108)에서 데이터셋의 처리를 위한 실행 계획(execution plan)을 수립한다.
수립된 실행 계획에 따라 데이터셋은 복수의 스테이지로 분할되고, 분할된 복수의 스테이지 기반으로 복수의 실행기(executor)를 포함하는 어댑터(adator)에서 각 플랫폼(108)에서 처리할 수 있도록 실행 계획에 따른 명령어를 변환한다.
하나 이상의 플랫폼(108)은 JDBC, Spark, JVM, GraphChi와 같이 서로 다른 빅데이터 프레임워크 기반의 빅데이터 처리 엔진이다.
개별 플랫폼은 컨테이너 형태로 배포된다.
도 3은 본 실시예에 따른 플랫폼 매니저의 상세 구성을 도시한 도면이고, 도 4 내지 도 5는 본 실시예에 따른 플랫폼 매니저를 통한 부하 분산 관리를 예시적으로 설명하기 위한 도면이다.
도 3을 참조하면, 본 실시예에 따른 플랫폼 매니저(106)는 컨트롤러(Controller, 300), 플랫폼 핸들러(Platform Handler, 302) 및 로드 밸런서(Load Balancer, 304)를 포함할 수 있다.
컨트롤러(300)는 도 2의 어댑터로부터 데이터셋 실행 계획과 복수의 플랫폼(108)으로부터 리소스 정보를 수신한다.
리소스 정보는 주기적으로 수신될 수 있고, 각 플랫폼의 커넥션 수, 네트워크 트래픽, CPU 점유율, RAM 점유율 및 태스크의 진행 상태, 완료시간 중 적어도 하나를 포함할 수 있다.
컨트롤러(300)는 플랫폼 리소스 분석을 통해 현재 실행 계획에 따른 데이터셋을 처리한 플랫폼이 없는 경우, 스케일-아웃(scale-out)으로 결정하고, 플랫폼 리소스의 낭비가 있는 경우에는 스케일-인(scale-in)으로 결정한다.
플랫폼 핸들러(302)는 컨트롤러(300)의 제어에 따라 개별 플랫폼을 실행시키거나 중지시키고 커넥션을 제어한다.
도 4를 참조하면, 컨트롤러(300)의 제어에 따라 플랫폼 핸들러(302)는 스케일-아웃(scale-out) 또는 스케일-인(scale-in) 제어 명령을 복수의 플랫폼(108)와 연결되는 게이트웨이(400)에 전달한다.
예를 들어, 스케일-아웃이 필요한 것으로 결정되는 경우, 기존 플랫폼(108-1 내지 108-3)에 현재 실행 계획에 따른 새로운 플랫폼(108-4)을 추가한다.
플랫폼 매니저(106)는 플랫폼의 리소스 상황에 따라 자동으로 노드 복제가 이루어질 수 있도록 한다.
바람직하게, 스케일-아웃으로 결정되는 경우, 컨트롤러(300)는 하나의 빅데이터 프레임워크 기반의 플랫폼 노드가 복제되도록 한다.
컨트롤러(300)는 현재의 복수의 플랫폼에서 데이터셋의 처리가 가능한 경우, 현재 플랫폼 내에서 부하가 분산되도록 결정한다.
스케일-아웃 및 스케일-인 없이 부하를 분산하는 것으로 결정하는 경우, 컨트롤러(300)의 제어에 따라 로드 밸런서(304)가 플랫폼 핸들러(302)로 로드 밸런싱 정보를 제공한다.
플랫폼 핸들러(302)는 로드 밸런싱 정보를 게이트웨이(400)로 전달하여 노드의 복제 또는 삭제 없이 현재의 복수의 플랫폼(108) 사이에서 부하가 분산되도록 한다.
플랫폼 핸들러(302)는 로드 밸런싱으로 결정되는 경우, 실행 계획이 로드가 가장 낮은 플랫폼으로 전달되도록 한다.
복수의 플랫폼(108)은 컨테이너 기반의 오픈소스 가상화 기술인 도커(docker)를 통해 이루어질 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 빅데이터 플랫폼 관리 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    데이터셋 분석을 위한 실행 계획을 입력 받고,
    분산 처리 기반으로 데이터셋 분석을 수행하는 복수의 플랫폼의 리소스 정보를 입력 받고,
    상기 실행 계획 및 상기 복수의 플랫폼의 리소스 정보를 이용하여 스케일링 여부를 결정하고, 상기 스케일링 없이 부하를 분산하는 것으로 결정하는 경우 로드 밸런싱을 수행하도록,
    상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하되,
    상기 리소스 정보는 상기 복수의 플랫폼 각각의 커넥션 수, 네트워크 트래픽, CPU 점유율, RAM 점유율 및 태스크의 진행 상태, 완료시간 중 적어도 하나를 포함하고,
    상기 복수의 플랫폼은 서로 다른 빅데이터 프레임워크 기반 플랫폼을 포함하며,
    상기 프로그램 명령어들은,
    서로 다른 빅데이터 프레임워크 기반의 복수의 플랫폼에서 데이터셋 처리를 수행할 수 있도록 명령어를 변환하는 어댑터로부터 상기 실행 계획을 입력 받고,
    상기 스케일링은 하나의 빅데이터 프레임워크 기반의 플랫폼 노드를 복제하는 스케일 아웃 및 삭제하는 스케일 인을 포함하는 빅데이터 플랫폼 관리 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 로드 밸런싱으로 결정되는 경우, 상기 실행 계획을 로드가 가장 낮은 플랫폼으로 전달하는 빅데이터 플랫폼 관리 장치.
  7. 프로세서 및 메모리를 포함하는 장치에서 빅데이터 플랫폼을 관리하는 방법으로서,
    데이터셋 분석을 위한 실행 계획을 입력 받는 단계;
    분산 처리 기반으로 데이터셋 분석을 수행하는 복수의 플랫폼의 리소스 정보를 입력 받는 단계; 및
    상기 실행 계획 및 상기 복수의 플랫폼의 리소스 정보를 이용하여 스케일링 여부를 결정하고, 상기 스케일링 없이 부하를 분산하는 것으로 결정하는 경우 로드 밸런싱을 수행하는 단계를 포함하되,
    상기 리소스 정보는 상기 복수의 플랫폼 각각의 커넥션 수, 네트워크 트래픽, CPU 점유율, RAM 점유율 및 태스크의 진행 상태, 완료시간 중 적어도 하나를 포함하고,
    상기 복수의 플랫폼은 서로 다른 빅데이터 프레임워크 기반 플랫폼이며,
    상기 실행 계획을 입력 받는 단계는, 서로 다른 빅데이터 프레임워크 기반의 복수의 플랫폼에서 데이터셋 처리를 수행할 수 있도록 명령어를 변환하는 어댑터로부터 상기 실행 계획을 입력 받고,
    상기 스케일링은 하나의 빅데이터 프레임워크 기반의 플랫폼 노드를 복제하는 스케일 아웃 및 삭제하는 빅데이터 플랫폼 관리 방법.
  8. 삭제
  9. 삭제
  10. 제7항에 따른 방법을 컴퓨터에서 실행시키기 위한 기록매체에 저장된 컴퓨터 프로그램.
KR1020190148302A 2019-11-19 2019-11-19 빅데이터 플랫폼 관리 방법 및 장치 KR102268549B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190148302A KR102268549B1 (ko) 2019-11-19 2019-11-19 빅데이터 플랫폼 관리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190148302A KR102268549B1 (ko) 2019-11-19 2019-11-19 빅데이터 플랫폼 관리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210060829A KR20210060829A (ko) 2021-05-27
KR102268549B1 true KR102268549B1 (ko) 2021-06-24

Family

ID=76135561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148302A KR102268549B1 (ko) 2019-11-19 2019-11-19 빅데이터 플랫폼 관리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102268549B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101856454B1 (ko) 2017-03-06 2018-05-10 주식회사 티맥스데이터 분산처리를 위한 컴퓨팅 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150056258A (ko) * 2013-11-15 2015-05-26 (주)가이온 생산성을 향상시킬 수 있는 정형 및 비정형의 빅데이터 엔진 및 처리 방법
KR20150110063A (ko) * 2014-03-24 2015-10-02 주식회사 클라우다인 빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법
KR102016683B1 (ko) * 2015-02-26 2019-08-30 한국전자통신연구원 소프트웨어 정의 네트워크의 모니터링 기능 자원 자율 스케일링 장치 및 방법
KR20190081306A (ko) * 2017-12-29 2019-07-09 한국전자통신연구원 빅데이터 분석 소프트웨어에 대한 자원 할당 방법, 상기 방법을 이용하는 가상화 자원 할당 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101856454B1 (ko) 2017-03-06 2018-05-10 주식회사 티맥스데이터 분산처리를 위한 컴퓨팅 장치

Also Published As

Publication number Publication date
KR20210060829A (ko) 2021-05-27

Similar Documents

Publication Publication Date Title
CN111240662A (zh) 一种基于任务可视化拖拽的spark机器学习系统及学习方法
WO2019196226A1 (zh) 制度信息查询方法、装置、计算机设备和存储介质
US20150074080A1 (en) System and method of managing capacity of search index partitions
CN106126601A (zh) 一种社保大数据分布式预处理方法及系统
CN104424360A (zh) 用于访问源数据库中的一组数据表格的方法和系统
CN107301205A (zh) 一种大数据分布式实时查询方法及系统
Cheng et al. Efficient event correlation over distributed systems
US20170116189A1 (en) Search method and apparatus and storage medium
CN111858760B (zh) 一种异构数据库的数据处理方法及装置
US10127617B2 (en) System for analyzing social media data and method of analyzing social media data using the same
CN107341210A (zh) Hadoop平台下的C‑DBSCAN‑K聚类算法
Li et al. Scalable random forests for massive data
KR102345410B1 (ko) 빅데이터 지능형 수집 방법 및 장치
KR102541934B1 (ko) 빅데이터 증강분석 프로파일링 시스템
KR20140076010A (ko) 대용량 xml 데이터에 대한 다수의 가지 패턴 질의의 동시 병렬처리시스템 및 그 방법
CN112650739A (zh) 煤矿数据中台的数据存储处理方法和装置
KR102268549B1 (ko) 빅데이터 플랫폼 관리 방법 및 장치
JP2017049639A (ja) 評価プログラム、手順書評価方法、および評価装置
CN110597796B (zh) 基于全生命周期的大数据实时建模方法及系统
KR20210129465A (ko) 연구노트 관리 장치 및 이를 이용한 연구노트 검색 방법
KR102473776B1 (ko) 빅데이터 크로스 모델 데이터 통합 처리 방법 및 장치
CN113779215A (zh) 数据处理平台
JP6103021B2 (ja) データ生成方法、装置及びプログラム、検索処理方法、装置及びプログラム
CN113282568A (zh) 一种iot大数据实时时序流分析应用技术方法
JP2018081403A (ja) インシデント管理システム、インシデント管理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right