KR20150110063A - 빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법 - Google Patents

빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법 Download PDF

Info

Publication number
KR20150110063A
KR20150110063A KR1020140033864A KR20140033864A KR20150110063A KR 20150110063 A KR20150110063 A KR 20150110063A KR 1020140033864 A KR1020140033864 A KR 1020140033864A KR 20140033864 A KR20140033864 A KR 20140033864A KR 20150110063 A KR20150110063 A KR 20150110063A
Authority
KR
South Korea
Prior art keywords
program
mapreduce
unit
mapping
processing
Prior art date
Application number
KR1020140033864A
Other languages
English (en)
Inventor
김병곤
오재용
Original Assignee
주식회사 클라우다인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 클라우다인 filed Critical 주식회사 클라우다인
Priority to KR1020140033864A priority Critical patent/KR20150110063A/ko
Publication of KR20150110063A publication Critical patent/KR20150110063A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Stored Programmes (AREA)

Abstract

빅데이터를 처리하는 맵리듀스를 통합하는 장치 및 방법에 관한 기술이 개시된다. 빅데이터 처리를 위한 맵리듀스 통합 장치는 적어도 하나의 맵리듀스 프로그램의 메타데이터를 로딩하는 메타데이터 정의부와, 메타데이터에 기반하여 적어도 하나의 맵리듀스 프로그램 상호 간에 상태 정보를 교환하도록 하는 연동부와, 미리 정의한 파라미터 규정에 기반하여 적어도 하나의 맵리듀스 프로그램에 포함된 파라미터를 처리하는 파라미터 처리부를 포함한다. 따라서, 정형, 비정형, 반정형 등의 빅데이터를 분석 및 처리하는 맵리듀스 프로그램을 수정없이 빅데이터 플랫폼에 유연하게 통합하여 실행시킬 수 있으며, 이를 통하여, 맵리듀스 프로그램을 통합하여 재활용할 수 있는 분석 도구를 제공함으로써, 빅데이터 플랫폼의 ROI(Return on Investment)를 극대화시킬 수 있다.

Description

빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법{APPARATUS AND METHOD OF INTEGRATING MAPREDUCE FOR BIG DATA PROCESSING}
본 발명은 빅데이터 처리에 관한 것으로, 더욱 상세하게는 빅데이터를 처리하는 맵리듀스를 통합하는 장치 및 방법에 관한 것이다.
최근 소셜 네트워크의 등장, 센서 기술의 발달 및 스마트 폰의 확산 등으로 인해 기존에 비하여 처리해야 할 대용량 데이터(빅데이터)가 빠르게 증가하고 있다.
빅데이터 처리 기술은 기존 데이터베이스 관리 도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 수준을 넘어서는 대용량의 정형, 비정형, 반정형 등의 데이터를 통해서 가치를 추출하고 그 결과를 분석하는 기술을 의미할 수 있다.
한편, 한 대의 컴퓨터로는 현실적으로 빅데이터의 저장 및 처리가 불가능하기 때문에, 빅데이터의 분석을 위해서는 여러 대의 컴퓨터를 이용해서 병렬적으로 계산을 수행하는 알고리즘이 필요하다.
이에 따라서, 구글에서는 복수의 컴퓨터들로 구성된 군집(cluster)에서 동작하는 분산 병렬 처리 모델 및 실행 환경인 맵리듀스(MapReduce)를 제안하였다.
즉, 빅데이터를 처리하기 위해서는 실시간 스트리밍 기술 및 배치 분석 기술(MapReduce, SQL 등)을 활용하는 것이 필요하며, 배치 분석 기술로는 맵리듀스를 주로 사용하고 있다.
맵리듀스는 하둡(Hadoop)의 서브 프로젝트로 데이터 처리를 위한 프로그래밍 모델로, 맵단계와 리듀스단계로 처리 과정을 나누어 작업한다. 맵리듀스의 각 단계는 입력과 출력으로써 키/값 쌍을 가지고 있고, 그 타입은 프로그래머가 선택할 수 있다. 즉, 맵리듀스 프로그램은 사용자 각자의 방식에 따라서 자유롭게 작성되기 때문에 표준화되어 있지 않다.
따라서, 빅데이터 플랫폼의 주요 구성 요소인 분석 도구를 활용하는데 있어서, 맵리듀스 프로그램을 재사용하기 위해서는 표준화된 파라미터 처리를 수행하여야 한다.
그러나, 이러한 표준화된 파라미터 처리는 맵리듀스와 빅데이터 플랫폼의 분석 도구와의 통합을 어렵게 하기 때문에, 맵리듀스 프로그램의 재사용을 어렵게 하는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 빅데이터 처리를 위한 맵리듀스 프로그램을 통합시켜 실행시키는 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 빅데이터 처리를 위한 맵리듀스 프로그램을 통합시켜 실행시키는 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 장치는, 적어도 하나의 맵리듀스 프로그램의 메타데이터를 로딩하는 메타데이터 정의부와, 메타데이터에 기반하여 적어도 하나의 맵리듀스 프로그램 상호 간에 상태 정보를 교환하도록 하는 연동부와, 미리 정의한 파라미터 규정에 기반하여 적어도 하나의 맵리듀스 프로그램에 포함된 파라미터를 처리하는 파라미터 처리부를 포함한다.
또한, 상기 빅데이터 처리를 위한 맵리듀스 통합 장치는, 연동부에 의해 상호 연동하는 적어도 하나의 맵리듀스 프로그램의 실행 순서를 결정하도록 하는 사용자 인터페이스를 제공하는 그래프 생성부를 더 포함할 수 있다.
여기에서, 상기 그래프 생성부는, 적어도 하나의 맵리듀스 프로그램의 실행 순서를 방향성을 가진 비순환적 플로우로 표시할 수 있다.
여기에서, 상기 그래프 생성부는, 적어도 하나의 맵리듀스 프로그램 각각을 노드(node)로 표시하고, 표시된 적어도 하나의 노드를 연결선으로 연결함으로써, 비순환적 플로우를 생성할 수 있다.
여기에서, 상기 연결선에 의해 연결된 노드 사이의 관계는, 연결선의 특성을 정의하여 설정할 수 있다.
또한, 상기 빅데이터 처리를 위한 맵리듀스 통합 장치는, 파라미터 처리부에 의해 처리된 파라미터를 이용하여 적어도 하나의 맵리듀스 프로그램을 실행시키는 실행부를 더 포함할 수 있다.
여기에서, 상기 실행부는, 실행 순서에 따라 상기 적어도 하나의 맵리듀스 프로그램을 실행시킬 수 있다.
또한, 상기 빅데이터 처리를 위한 맵리듀스 통합 장치는, 적어도 하나의 맵리듀스 프로그램을 관리하는 제어부를 더 포함할 수 있다.
여기에서, 상기 제어부는, 적어도 하나의 맵리듀스 프로그램에 대한 생성, 실행, 종료 및 삭제 중 적어도 하나를 수행함으로써, 적어도 하나의 맵리듀스 프로그램을 관리할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 방법은, 적어도 하나의 맵리듀스 프로그램의 메타데이터를 로딩하는 단계와, 메타데이터에 기반하여 적어도 하나의 맵리듀스 프로그램 상호 간에 상태 정보를 교환하도록 하여 적어도 하나의 맵리듀스 프로그램을 상호 연동시키는 단계와, 미리 정의한 파라미터 규정에 기반하여 적어도 하나의 맵리듀스 프로그램에 포함된 파라미터를 처리하는 단계를 포함한다.
상기한 본 발명의 실시예에 따른 빅데이터를 위한 맵리듀스 통합 장치 및 방법은, 정형, 비정형, 반정형 등의 빅데이터를 분석 및 처리하는 맵리듀스 프로그램을 수정없이 빅데이터 플랫폼에 유연하게 통합하여 실행시킬 수 있다.
또한, 본 발명은 맵리듀스 프로그램을 통합하여 재활용할 수 있는 분석 도구를 제공함으로써, 빅데이터 플랫폼의 ROI(Return on Investment)를 극대화시킬 수 있다.
도 1은 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 그래프 생성부에 의해 제공되는 사용자 인터페이스를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 장치에 의해 제공되는 사용자 인터페이스를 설명하기 위한 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 장치의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 장치(100)는 메타데이터 정의부(110), 연동부(120), 파라미터 처리부(130), 그래프 생성부(140), 실행부(150) 및 제어부(160)를 포함할 수 있다.
맵리듀스 통합 장치(100)는 서로 다른 사용자 또는 프로그래머가 작성한 맵리듀스 프로그램(MapReduce Program)을 통합하여 실행시킬 수 있는 프레임워크를 제공할 수 있다. 즉, 맵리듀스 통합 장치(100)는 다수의 맵리듀스 프로그램을 연동하여 실행시킬 수 있다.
메타데이터 정의부(110)는 맵리듀스 통합 장치(100)가 제공하는 프레임워크에 입력되는 다수의 맵리듀스 프로그램의 메타데이터를 로딩할 수 있고, 이를 통하여 다수의 맵리듀스 프로그램을 맵리듀스 통합 장치(100)에 표시할 수 있다. 여기서, 메타데이터는 각각의 맵리듀스 프로그램의 속성 정보를 의미할 수 있다. 예를 들어, 메타데이터는 맵리듀스 프로그램의 위치, 내용, 권리 조건, 이용 조건 등에 대한 정보를 포함할 수 있다.
연동부(120)는 메타데이터에 기반하여 다수의 맵리듀스 프로그램 상호 간에 상태 정보를 교환하도록 할 수 있다. 즉, 각각의 맵리듀스 프로그램의 상태 정보는 연동부(120)를 통하여 상호 교환될 수 있다. 따라서, 각각의 맵리듀스 프로그램은 자신과 연동되는 다른 맵리듀스 프로그램의 상태를 인식할 수 있다.
파라미터 처리부(130)는 미리 정의한 파라미터 규정에 기반하여 다수의 맵리듀스 프로그램에 포함된 파라미터를 처리할 수 있다. 상세하게는, 다수의 맵리듀스 프로그램에 포함된 파라미터는 그 형식이나 표현이 다를 수 있기 때문에 이를 통일시키는 것이 필요하다. 따라서, 맵리듀스 통합 장치(100)에 미리 정의한 파라미터 규정에 따라 다수의 맵리듀스 프로그램에 포함된 파라미터를 변경할 수 있다. 여기서, 파라미터는 맵리듀스 프로그램을 실행시키는데 필수적인 코드, 변수 또는 계수를 의미할 수 있다.
그래프 생성부(140)는 연동부(120)에 의해 상호 연동하는 다수의 맵리듀스 프로그램의 실행 순서를 결정하도록 하는 사용자 인터페이스를 제공할 수 있다. 즉, 다수의 맵리듀스 프로그램이 맵리듀스 통합 장치(100)에서 연동하여 실행될 경우, 실행 순서를 결정하는 것이 필요하다. 이를 위하여 본 발명의 실시예에 따른 맵리듀스 통합 장치(100)는 다수의 맵리듀스 프로그램의 실행 순서를 결정할 수 있도록 하는 사용자 인터페이스를 제공할 수 있다.
보다 상세하게는, 그래프 생성부(140)는 다수의 맵리듀스 프로그램의 실행 순서를 방향성을 가진 비순환적 플로우(flow)로 표시할 수 있다. 예를 들어, 그래프 생성부(140)는 적어도 하나의 맵리듀스 프로그램 각각을 노드(node)로 표시하고, 표시된 적어도 하나의 노드를 연결선으로 연결함으로써, 비순환적 플로우를 생성하여 표시할 수 있다. 따라서, 그래프 생성부(140)는 디스플레이 장치(미도시)와 연동할 수 있다. 여기서, 연결선에 의해 연결된 노드 사이의 관계는, 연결선의 특성을 정의하여 설정할 수 있다.
본 발명의 실시예에 따른 맵리듀스 통합 장치(100)는 파라미터 처리부(130)에 의해 처리된 파라미터를 이용하여 다수의 맵리듀스 프로그램을 실행시키는 실행부(150)를 더 포함할 수 있다. 또한, 실행부(150)는 다수의 맵리듀스 프로그램의 실행 순서에 따라 다수의 맵리듀스 프로그램을 순차적으로 실행시킬 수 있다.
더 나아가, 본 발명의 실시예에 따른 맵리듀스 통합 장치(100)는 제어부(160)를 더 포함할 수 있다. 제어부(160)는 메타데이터 정의부(110), 연동부(120), 파라미터 처리부(130), 그래프 생성부(140) 및 실행부(150)와 연동할 수 있으며, 이를 통하여 맵리듀스 통합 장치(100)가 제공하는 프레임워크 상에서 실행되는 다수의 맵리듀스 프로그램을 관리할 수 있다.
상세하게는, 제어부(160)는 다수의 맵리듀스 프로그램에 대한 생성, 실행, 종료 및 삭제 중 적어도 하나를 수행함으로써, 다수의 맵리듀스 프로그램을 관리할 수 있다. 예컨대, 제어부(160)는 맵리듀스 프로그램의 생성, 소멸, 실행 등의 생명 주기를 관리할 수 있다.
또한, 본 발명의 실시예에 따르면, 맵리듀스 통합 장치(100)가 제공하는 프레임워크에서 실행되는 분석 도구(분석 알고리즘)와 다수의 맵리듀스 프로그램이 연동하여 실행될 수 있음은 물론이다.
상술한 본 발명의 실시예에 따른 맵리듀스 통합 장치(100)의 구성을 설명의 편의상 각각의 구성부로 나열하여 설명하였으나, 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 본 발명의 실시예에 따른 맵리듀스 통합 장치(100)의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
도 2는 본 발명의 실시예에 따른 그래프 생성부에 의해 제공되는 사용자 인터페이스를 설명하기 위한 개념도이다.
도 2를 참조하여, 본 발명의 실시예에 따른 상호 연동하는 다수의 맵리듀스 프로그램의 실행 순서를 결정하도록 하는 사용자 인터페이스를 설명한다.
그래프 생성부(140)는 다수의 맵리듀스 프로그램의 실행 순서를 결정할 수 있도록 하는 사용자 인터페이스를 제공할 수 있으며, 맵리듀스 통합 장치(100)를 사용하는 사용자는 이러한 사용자 인터페이스를 이용하여 다수의 맵리듀스 프로그램의 실행 순서를 결정할 수 있다.
즉, 그래프 생성부(140)는 다수의 맵리듀스 프로그램의 실행 순서를 방향성을 가진 비순환적 플로우로 표시할 수 있다.
예를 들어, 다수의 맵리듀스 프로그램 각각을 노드(node)로 표시하고, 표시된 다수의 노드를 연결선으로 연결함으로써, 비순환적 플로우를 표시할 수 있다.
도 2에서, 다수의 맵리듀스 프로그램은 "시작"으로부터 시작되어 "종료"에서 종료될 수 있으며, "시작"과 "종료" 사이에는 맵리듀스 프로그램을 나타내는 제1 노드(210), 제2 노드(220), 제3 노드(230) 및 제4 노드(240) 등이 위치할 수 있다. 맵리듀스 통합 장치(100)를 사용하는 사용자는 각각의 노드의 위치를 이동시키고 연결선을 연결함으로, 다수의 맵리듀스 프로그램의 실행 순서를 결정할 수 있다.
또한, 맵리듀스 통합 장치(100)를 사용하는 사용자는 새로운 노드를 추가함으로써 새로운 맵리듀스 프로그램을 추가할 수 있으며, 기존의 노드를 제거함으로써 기존의 맵리듀스 프로그램을 제거할 수 있다.
여기서, 연결선에 의해 연결된 노드 사이의 관계는 연결선의 특성을 정의하여 설정할 수 있다. 즉, 맵리듀스 통합 장치(100)를 사용하는 사용자는 각각의 연결선을 정의함으로써, 연결선에 의해 연결된 노드 사이의 관계를 설정할 수 있다.
따라서, 맵리듀스 통합 장치(100)를 사용하는 사용자는 그래프 생성부(140)가 제공하는 사용자 인터페이스를 이용하여 다수의 맵리듀스 프로그램 및 분석 도구를 배치 또는 연결시킴으로써, 사용자가 원하는 업무를 원활히 실행시킬 수 있다.
도 3은 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 방법은, 맵리듀스 프로그램의 메타데이터를 로딩하는 단계(S310)와, 맵리듀스 프로그램을 상호 연동시키는 단계(S320)와, 맵리듀스 프로그램에 포함된 파라미터를 처리하는 단계(S330)와, 맵리듀스 프로그램의 실행 순서를 결정하도록 하는 사용자 인터페이스를 제공하는 단계(S340) 및 실행 순서에 따라 맵리듀스 프로그램을 실행시키는 단계(S350)를 포함한다.
먼저, 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 방법은 상술한 맵리듀스 통합 장치(100)를 활용하여 수행될 수 있다.
맵리듀스 통합 장치(100)가 제공하는 프레임워크에 입력되는 다수의 맵리듀스 프로그램의 메타데이터를 로딩할 수 있다(S310). 여기서, 메타데이터는 각각의 맵리듀스 프로그램의 속성 정보를 의미할 수 있다. 예를 들어, 메타데이터는 맵리듀스 프로그램의 위치, 내용, 권리 조건, 이용 조건 등에 대한 정보를 포함할 수 있다.
메타데이터에 기반하여 다수의 맵리듀스 프로그램 상호 간에 상태 정보를 교환하도록 하여 다수의 맵리듀스 프로그램을 상호 연동시킬 수 있다(S320). 따라서, 각각의 맵리듀스 프로그램은 자신과 연동되는 다른 맵리듀스 프로그램의 상태를 인식할 수 있다.
미리 정의한 파라미터 규정에 기반하여 다수의 맵리듀스 프로그램에 포함된 파라미터를 처리할 수 있다(S330). 다수의 맵리듀스 프로그램에 포함된 파라미터는 그 형식이나 표현이 다를 수 있기 때문에 미리 정의한 파라미터 규정에 따라 다수의 맵리듀스 프로그램에 포함된 파라미터를 변경할 수 있다. 여기서, 파라미터는 맵리듀스 프로그램을 실행시키는데 필수적인 코드, 변수 또는 계수를 의미할 수 있다.
상호 연동하는 다수의 맵리듀스 프로그램의 실행 순서를 결정하도록 하는 사용자 인터페이스를 제공할 수 있다(S340). 다수의 맵리듀스 프로그램이 맵리듀스 통합 장치(100)에서 연동하여 실행될 경우, 실행 순서를 결정하는 것이 필요하기 때문에 다수의 맵리듀스 프로그램의 실행 순서를 결정할 수 있도록 하는 사용자 인터페이스를 제공할 수 있다.
다수의 맵리듀스 프로그램의 실행 순서를 방향성을 가진 비순환적 플로우로 표시할 수 있다. 예를 들어, 다수의 맵리듀스 프로그램 각각을 노드(node)로 표시하고, 표시된 적어도 하나의 노드를 연결선으로 연결함으로써, 비순환적 플로우를 생성하여 표시할 수 있다. 여기서, 연결선에 의해 연결된 노드 사이의 관계는, 연결선의 특성을 정의하여 설정할 수 있다.
다수의 맵리듀스 프로그램에 포함된 파라미터를 처리하는 단계에서 처리된 파라미터를 이용하여 다수의 맵리듀스 프로그램을 실행시킬 수 있다(S350). 예를 들어, 다수의 맵리듀스 프로그램의 실행 순서에 따라 다수의 맵리듀스 프로그램을 순차적으로 실행시킬 수 있다.
도 4는 본 발명의 실시예에 따른 빅데이터 처리를 위한 맵리듀스 통합 장치에 의해 제공되는 사용자 인터페이스를 설명하기 위한 예시도이다.
도 4를 참조하여, 본 발명의 실시예에 따른 맵리듀스 통합 장치(100)가 제공하는 사용자 인터페이스를 설명한다.
맵리듀스 통합 장치(100)는 사용자가 다수의 맵리듀스 프로그램 및 분석 도구를 통합하여 사용자가 원하는 업무에 활용할 수 있는 사용자 인터페이스를 제공할 수 있다.
상세하게는, 맵리듀스 통합 장치(100)에 의해 제공되는 사용자 인터페이스는 사용자 편의를 위해 그래픽화하여 제공될 수 있다. 예를 들어, 맵리듀스 프로그램 및 분석 도구는 아이콘(노드)의 형태로 표현될 수 있고, 각각의 아이콘을 연결함으로써 프로그램을 연동시켜 실행시킬 수 있다. 또한, 각각의 아이콘(노드) 사이의 연결 관계는 연결선의 특성을 정의함으로써 설정할 수 있다.
예를 들어, 각각의 아이콘을 드래그 앤 드롭(Drag-and-drop) 방식으로 이동시켜 다수의 맵리듀스 프로그램 또는 분석 도구의 실행 순서를 결정할 수 있다.
상술한 본 발명의 실시예에 따른 빅데이터를 위한 맵리듀스 통합 장치(100) 및 방법은, 정형, 비정형, 반정형 등의 빅데이터를 분석 및 처리하는 맵리듀스 프로그램을 수정없이 빅데이터 플랫폼에 유연하게 통합하여 실행시킬 수 있다.
또한, 본 발명은 맵리듀스 프로그램을 통합하여 재활용할 수 있는 분석 도구를 제공함으로써, 빅데이터 플랫폼의 ROI(Return on Investment)를 극대화시킬 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 맵리듀스 통합 장치 110: 메타데이터 정의부
120: 연동부 130: 파라미터 처리부
140: 그래프 생성부 150: 실행부
160: 제어부
210: 제1 노드 220: 제2 노드
230: 제3 노드 240: 제4 노드

Claims (16)

  1. 빅데이터 처리를 위한 프로그램을 통합하는 장치에 있어서,
    적어도 하나의 맵리듀스 프로그램의 메타데이터를 로딩하는 메타데이터 정의부;
    상기 메타데이터에 기반하여 상기 적어도 하나의 맵리듀스 프로그램 상호 간에 상태 정보를 교환하도록 하는 연동부;
    미리 정의한 파라미터 규정에 기반하여 상기 적어도 하나의 맵리듀스 프로그램에 포함된 파라미터를 처리하는 파라미터 처리부를 포함하는, 빅데이터 처리를 위한 맵리듀스 통합 장치.
  2. 청구항 1에 있어서,
    상기 연동부에 의해 상호 연동하는 상기 적어도 하나의 맵리듀스 프로그램의 실행 순서를 결정하도록 하는 사용자 인터페이스를 제공하는 그래프 생성부를 더 포함하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 장치.
  3. 청구항 2에 있어서,
    상기 그래프 생성부는,
    상기 적어도 하나의 맵리듀스 프로그램의 실행 순서를 방향성을 가진 비순환적 플로우로 표시하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 장치.
  4. 청구항 3에 있어서,
    상기 그래프 생성부는,
    상기 적어도 하나의 맵리듀스 프로그램 각각을 노드(node)로 표시하고, 표시된 적어도 하나의 노드를 연결선으로 연결함으로써, 상기 비순환적 플로우를 생성하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 장치.
  5. 청구항 4에 있어서,
    상기 연결선에 의해 연결된 노드 사이의 관계는,
    상기 연결선의 특성을 정의하여 설정하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 장치.
  6. 청구항 2에 있어서,
    상기 파라미터 처리부에 의해 처리된 파라미터를 이용하여 상기 적어도 하나의 맵리듀스 프로그램을 실행시키는 실행부를 더 포함하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 장치.
  7. 청구항 6에 있어서,
    상기 실행부는,
    상기 실행 순서에 따라 상기 적어도 하나의 맵리듀스 프로그램을 실행시키는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 장치.
  8. 청구항 1에 있어서,
    상기 적어도 하나의 맵리듀스 프로그램을 관리하는 제어부를 더 포함하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 장치.
  9. 청구항 8에 있어서,
    상기 제어부는,
    상기 적어도 하나의 맵리듀스 프로그램에 대한 생성, 실행, 종료 및 삭제 중 적어도 하나를 수행함으로써, 상기 적어도 하나의 맵리듀스 프로그램을 관리하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 장치.
  10. 빅데이터 처리를 위한 프로그램을 통합하는 장치에 의해 수행되는 방법에 있어서,
    적어도 하나의 맵리듀스 프로그램의 메타데이터를 로딩하는 단계;
    상기 메타데이터에 기반하여 상기 적어도 하나의 맵리듀스 프로그램 상호 간에 상태 정보를 교환하도록 하여 상기 적어도 하나의 맵리듀스 프로그램을 상호 연동시키는 단계; 및
    미리 정의한 파라미터 규정에 기반하여 상기 적어도 하나의 맵리듀스 프로그램에 포함된 파라미터를 처리하는 단계를 포함하는, 빅데이터 처리를 위한 맵리듀스 통합 방법.
  11. 청구항 10에 있어서,
    상호 연동하는 상기 적어도 하나의 맵리듀스 프로그램의 실행 순서를 결정하도록 하는 사용자 인터페이스를 제공하는 단계를 더 포함하는, 빅데이터 처리를 위한 맵리듀스 통합 방법.
  12. 청구항 11에 있어서,
    상기 사용자 인터페이스를 제공하는 단계는,
    상기 적어도 하나의 맵리듀스 프로그램의 실행 순서를 방향성을 가진 비순환적 플로우로 표시하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 방법.
  13. 청구항 12에 있어서,
    상기 사용자 인터페이스를 제공하는 단계는,
    상기 적어도 하나의 맵리듀스 프로그램 각각을 노드(node)로 표시하고, 표시된 적어도 하나의 노드를 연결선으로 연결함으로써, 상기 비순환적 플로우를 생성하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 방법.
  14. 청구항 13에 있어서
    상기 연결선에 의해 연결된 노드 사이의 관계는,
    상기 연결선의 특성을 정의하여 설정하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 방법.
  15. 청구항 11에 있어서,
    상기 적어도 하나의 맵리듀스 프로그램에 포함된 파라미터를 처리하는 단계에서 처리된 파라미터를 이용하여 상기 적어도 하나의 맵리듀스 프로그램을 실행시키는 단계를 더 포함하는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 방법.
  16. 청구항 15에 있어서,
    상기 적어도 하나의 맵리듀스 프로그램을 실행시키는 단계는,
    상기 실행 순서에 따라 상기 적어도 하나의 맵리듀스 프로그램을 실행시키는 것을 특징으로 하는, 빅데이터 처리를 위한 맵리듀스 통합 방법.
KR1020140033864A 2014-03-24 2014-03-24 빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법 KR20150110063A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140033864A KR20150110063A (ko) 2014-03-24 2014-03-24 빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140033864A KR20150110063A (ko) 2014-03-24 2014-03-24 빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150110063A true KR20150110063A (ko) 2015-10-02

Family

ID=54341280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140033864A KR20150110063A (ko) 2014-03-24 2014-03-24 빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20150110063A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065416A (ko) * 2016-12-07 2018-06-18 (주)에스피파트너스 빅데이터 분석 프로세스 모델링을 위한 인터페이스 장치
KR20180080924A (ko) * 2017-01-05 2018-07-13 주식회사 엑셈 빅 데이터 처리 서버의 데이터 처리 결과를 모니터링 하기 위한 장치 및 방법
KR20210060829A (ko) * 2019-11-19 2021-05-27 주식회사 피씨엔 빅데이터 플랫폼 관리 방법 및 장치
KR20210060830A (ko) * 2019-11-19 2021-05-27 주식회사 피씨엔 빅데이터 지능형 수집 방법 및 장치
KR20220067820A (ko) * 2020-11-18 2022-05-25 주식회사 와이즈넛 이종 플랫폼 사이의 상호운용성을 증대하기 위한 빅데이터 통합처리 사용자 인터페이스 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065416A (ko) * 2016-12-07 2018-06-18 (주)에스피파트너스 빅데이터 분석 프로세스 모델링을 위한 인터페이스 장치
KR20180080924A (ko) * 2017-01-05 2018-07-13 주식회사 엑셈 빅 데이터 처리 서버의 데이터 처리 결과를 모니터링 하기 위한 장치 및 방법
KR20210060829A (ko) * 2019-11-19 2021-05-27 주식회사 피씨엔 빅데이터 플랫폼 관리 방법 및 장치
KR20210060830A (ko) * 2019-11-19 2021-05-27 주식회사 피씨엔 빅데이터 지능형 수집 방법 및 장치
KR20220067820A (ko) * 2020-11-18 2022-05-25 주식회사 와이즈넛 이종 플랫폼 사이의 상호운용성을 증대하기 위한 빅데이터 통합처리 사용자 인터페이스 방법

Similar Documents

Publication Publication Date Title
US10534773B2 (en) Intelligent query parameterization of database workloads
EP2738708B1 (en) Methods and Systems for Architecture-Centric Threat Modeling, Analysis and Visualization
JP2021180013A (ja) 実行可能データフローグラフの差分
US8856766B2 (en) Generating layouts for graphs of data flow applications
EP2096590A1 (en) Enhanced process query framework
US20120159312A1 (en) Representation of an interactive document as a graph of entities
US9471211B2 (en) Chaining applications
KR20150110063A (ko) 빅데이터 처리를 위한 맵리듀스를 통합하는 장치 및 방법
JP2009064469A (ja) シミュレーション・モデル内のオブジェクト・パラメータへアクセスする方法
US10152041B2 (en) Method and apparatus for enabling model driven navigation
CN107015791B (zh) 一种生成图表组件系统的处理方法、装置及系统
US20090063213A1 (en) Generalized parametric optimization architecture and framework
JP2007316905A (ja) アプリケーションプログラムを監視する計算機システム及びその方法
CN115392501A (zh) 数据采集方法、装置、电子设备及存储介质
US8066194B2 (en) System and method for managing information
KR101985491B1 (ko) 다이어그램 방식의 시각화 수식 작성을 통한 결과 생성 및 모니터링 장치
CN102968305A (zh) 逻辑处理方法、装置及测评系统
US20130246910A1 (en) Diagram layout patterns
US20180173601A1 (en) Energy consumption analysis based on telemetry data
KR102099362B1 (ko) 마이크로 서비스를 이용한 데이터 전처리 장치 및 방법
US10515330B2 (en) Real time visibility of process lifecycle
US8495033B2 (en) Data processing
CN111124393A (zh) 一种算法逻辑的编辑方法、平台、电子设备及存储介质
US9773085B2 (en) System design management
CN111767412B (zh) 用于知识图谱构建的数据映射方法及系统、电子设备

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application