KR101701224B1 - 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템 - Google Patents

객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템 Download PDF

Info

Publication number
KR101701224B1
KR101701224B1 KR1020150168876A KR20150168876A KR101701224B1 KR 101701224 B1 KR101701224 B1 KR 101701224B1 KR 1020150168876 A KR1020150168876 A KR 1020150168876A KR 20150168876 A KR20150168876 A KR 20150168876A KR 101701224 B1 KR101701224 B1 KR 101701224B1
Authority
KR
South Korea
Prior art keywords
model
stream data
distributed parallel
objects
parallel processing
Prior art date
Application number
KR1020150168876A
Other languages
English (en)
Inventor
정창성
김윤기
김도형
황두현
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020150168876A priority Critical patent/KR101701224B1/ko
Application granted granted Critical
Publication of KR101701224B1 publication Critical patent/KR101701224B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

본 발명은 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 프레임 워크에 관한 것으로, 스트림 데이터를 입력받아 기설정된 목적에 맞게 스트림 데이터를 분석하는 응용 프로그램 계층과, 객체를 정의하고 정의된 객체 간의 상호작용이 가능하도록 프로그래밍 환경을 제공하는 실시간 스트림 데이터 분산 처리 객체 모델 계층과, 병렬 처리를 수행하는 실시간 처리 모델을 적용시켜 객체로 정의된 단위작업을 분산 병렬 처리하는 분산 병렬 처리 실행 모델 계층 및 객체의 분산 병렬 작업을 위한 자원을 관리 및 제어하는 분산 병렬 처리 객체관리 모델 계층을 포함하고, 실시간 스트림 데이터 분산 처리 객체 모델 계층은, 단위 작업을 객체로 정의하고 작업의 흐름을 객체 간의 상호작용으로 정의해주는 사용자 객체 정의 모델과, 객체에 대한 작업 처리를 순차적으로 또는 비순차적으로 수행하여 프로그램의 병렬성을 확보하는 동기화 모델 및 객체 간에 일대일로 상호작용하는 통신방법과 객체를 그룹으로 묶어 상호작용하는 그룹 간의 통신방법을 지원하는 동시성(Concurrency) 모델을 포함하여 구성된다.
본 발명에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템에 의하면, 분산 병렬 프로그래밍을 쉽게 할 수 있도록 하는 객체 모델 기반 분산 병렬 프로그래밍 환경을 제공할 수 있으며, 분산 응용 프로그램의 병렬성을 최대한 사용하기 위해 순차 처리와 비 순차 처리의 동시 사용이 가능하여 분산 병렬 처리의 속도를 향상시키는 효과가 있다.

Description

객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템{DISTRIBUTED PARALLEL SYSTEM FOR REAL-TIME STREAM DATA BASED ON OBJECT MODEL}
본 발명은 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템에 관한 것으로, 더욱 상세하게는 실시간 스트림 데이터를 분석하여 각 분야에 맞는 객체 모델을 이용함으로써, 방대한 데이터를 분산 병렬 처리하는 시스템에 관한 것이다.
최근 기업이나 병원에서 발생하는 정보의 양이 증가함에 따라 데이터들이 대용량화 되고 있다. 따라서 이러한 데이터를 효율적으로 관리하고 저장할 수 있는 기술이 요구된다. 현재 이러한 대량의 데이터로부터 정보를 가공 처리하는 과정, 체계화된 정보의 저장 관리 및 유용한 정보를 추출하기 위한 분석 등에 빅데이터 분석 기술이 활용되고 있다.
빅데이터 분석 기술이란 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍쳐를 의미한다. 여기서 분석대상이 되는 데이터는 테라바이트나 페타바이트 규모의 방대한 양의 데이터이기에 이를 처리하기 위해 분산처리기술을 활용하고 있다.
대한민국 등록특허 제10-1276340호 (2013년 06월 12일)
본 발명은 상술한 분산처리 기술에 관한 것으로서, 다양한 실시간 데이터 처리 모델을 캡슐화 시킴으로써, 유저 입장에서 복잡한 내부 구조와는 상관없이, 단위 작업을 객체로 정의하고, 객체 간의 작업 흐름을 정의함으로써 하나의 가상 노드에서 객체 간의 상호작용을 통해, 분산 병렬 프로그래밍을 쉽게 할 수 있도록 하는 객체 모델 기반 분산 병렬 프로그래밍 환경을 제공하는 것에 그 목적이 있다.
또한 본 발명은 분산 병렬 처리의 속도를 향상시키기 위해 분산 응용 프로그램의 병렬성을 최대한 사용하기 위해 순차 처리와 비 순차 처리의 동시 사용 가능한 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템을 제공하는 것에 그 목적이 있다.
상기 목적을 달성하기 위해 본 발명은 스트림 데이터를 입력받아 기설정된 목적에 맞게 스트림 데이터를 분석하는 응용 프로그램 계층과, 객체를 정의하고 정의된 객체 간의 상호작용이 가능하도록 프로그래밍 환경을 제공하는 실시간 스트림 데이터 분산 처리 객체 모델 계층과, 병렬 처리를 수행하는 실시간 처리 모델을 적용시켜 객체로 정의된 단위작업을 분산 병렬 처리하는 분산 병렬 처리 실행 모델 계층 및 객체의 분산 병렬 작업을 위한 자원을 관리 및 제어하는 분산 병렬 처리 객체관리 모델 계층을 포함하고, 실시간 스트림 데이터 분산 처리 객체 모델 계층은, 단위 작업을 객체로 정의하고 작업의 흐름을 객체 간의 상호작용으로 정의해주는 사용자 객체 정의 모델과, 객체에 대한 작업 처리를 순차적으로 또는 비순차적으로 수행하여 프로그램의 병렬성을 확보하는 동기화 모델 및 객체 간에 일대일로 상호작용하는 통신방법과 객체를 그룹으로 묶어 상호작용하는 그룹 간의 통신방법을 지원하는 동시성(Concurrency) 모델을 포함하여 구성된다.
삭제
본 발명에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템에 있어서, 상기 분산 병렬 처리 실행 모델 계층은 단일 노드에서 공유 메모리를 통해 병렬 처리를 수행하는 메소드 호출(Method Invocation) 모델과, 다수의 노드들로 구성된 클러스터 상에서 단위 작업들이 서로 커뮤니케이션을 필요 시 수행되는 메시지 전달(Message Passing) 모델 및 기설정된 데이터 흐름 형태의 작업 흐름에 따라 작업을 처리하는 데이터 흐름(Data Flow) 모델을 포함하는 것을 특징으로 한다.
본 발명에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템에 있어서, 상기 분산 병렬 처리 객체관리 모델 계층은 상기 객체의 생성 또는 소멸에 대한 요청에 따라 상기 객체를 생성 또는 소멸시키는 객체 생명 주기 관리 모듈과, 상기 스트림 데이터의 변화량에 따라 자원을 추가적으로 요청하거나 필요 없는 자원에 대한 해제 요청을 하는 자원 관리 에이전트 및 상기 객체의 위치를 식별하기 위해 각 객체에 식별자인 이름을 할당하고 상기 각 객체의 생성에서 소멸까지 각 노드 상의 위치를 파악하며 상기 각 객체의 위치 요청 시 이를 알리는 객체 네이밍 서비스 모듈을 포함하는 것을 특징으로 한다.
본 발명에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템에 있어서, 상기 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템은 상기 스트림 데이터의 양에 따라 탄력적으로 가상의 노드를 추가 또는 삭제하기 위해 클라우드 인프라 스트럭처 상에서 수행되는 것을 특징으로 한다.
상기와 같이 구성된 본 발명에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템에 의하면, 다양한 실시간 데이터 처리 모델을 캡슐화 시킴으로써, 유저 입장에서 복잡한 내부 구조와는 상관없이, 단위 작업을 객체로 정의하고, 객체 간의 작업 흐름을 정의함으로써 하나의 가상 노드에서 객체 간의 상호작용을 통해, 분산 병렬 프로그래밍을 쉽게 할 수 있도록 하는 객체 모델 기반 분산 병렬 프로그래밍 환경을 제공할 수 있다.
또한 본 발명에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템에 의하면, 분산 응용 프로그램의 병렬성을 최대한 사용하기 위해 순차 처리와 비 순차 처리의 동시 사용이 가능하여 분산 병렬 처리의 속도를 향상시키는 효과가 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 응용 프로그램 계층의 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 실시간 스트림 데이터 분산 처리 객체 모델 계층의 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 분산 병렬 처리 실행 모델 계층의 구성을 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 분산 병렬 처리 객체 관리 모델 계층의 구성을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 객체기반 분산 병렬 처리 모델을 나타내는 도면이다.
본 발명은 다양한 변형 및 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 바람직한 실시 예를 첨부된 도면과 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리의 구성을 나타내는 도면이다. 도 1을 참조하면 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템(100)은 실시간 스트림 데이터(300)를 입력받으며, 클라우드 인프라 스트럭처(200)와 데이터 및 자원을 공유한다.
객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템(100)은 응용 프로그램 계층(110), 실시간 스트림 데이터 분산 처리 객체 모델 계층(120), 분산 병렬 처리 실행 모델 계층(130), 분산 병렬 처리 객체 관리 모델 계층(140)을 포함하여 구성된다.
여기서 응용 프로그램 계층(110)은 실시간 스트림 데이터(300)를 끊임없이 입력받아 사용자가 개발한 목적에 맞게 스트림 데이터를 분석하는 계층이다. 보다 구체적으로 도 2를 참조하여 설명하겠다.
도 2는 본 발명의 일 실시 예에 따른 응용 프로그램 계층의 구성을 나타내는 도면이다. 도 2를 참조하면 응용 프로그램 계층(110)은 다양한 응용 프로그램을 포함하고 있다. 즉, 실시간으로 상황을 분석하는 분야에 적합한 모든 분야에서 범용적으로 사용할 수 있으며, 예를 들면 재난 재해 응용프로그램(111), 헬스 케어 응용프로그램(112), 에너지 관리 응용프로그램(113), 국방 지휘 체계 응용프로그램(114) 등 다양한 분야에서 사용될 수 있다.
다음으로 다시 도 1로 돌아와 실시간 스트림 데이터 분산 처리 객체 모델 계층(120)은 사용자가 객체를 정의하고 객체 간의 상호작용을 할 수 있도록 하는 프로그래밍 환경을 제공하는 계층이다. 실시간 스트림 데이터 분산 처리 객체 모델 계층(120)에 대해서는 도 3을 참조하여 설명하겠다.
도 3은 본 발명의 일 실시 예에 따른 실시간 스트림 데이터 분산 처리 객체 모델 계층의 구성을 나타내는 도면이다. 도 3을 참조하면 실시간 스트림 데이터 분산 처리 객체 모델 계층(120)은 사용자 객체 정의 모델(121)과 동기화 모델(122) 및 동시성(Concurrency) 모델(123)을 포함하여 구성된다.
먼저, 사용자 객체 정의 모델(121)은 단위 작업을 객체로 정의하고 작업의 흐름을 객체 간의 상호작용으로 정의한다. 이로 인하여 데이터에 따라 최적화된 연산 방식을 적용하여 공유 메모리를 병렬 처리 및 분산 메모리를 이용한 분산처리를 동시 수행할 수 있도록 지원한다.
여기서 사용자 객체 정의 모델(121)은 객체를 정의 시 사용자로부터 입력받아 객체를 정의할 수 있다. 즉, 사용자가 단위 작업을 객체로 정의함으로써, 사용자의 의도에 따라 분산 병렬 처리를 수행할 수 있다.
다음으로 동기화 모델(122)은 프로그램의 병렬성을 확보하기 위해 필요에 따라 작업 처리를 순차적으로 또는 비순차적으로 수행할 수 있도록 동기화하며, 동시성 모델(123)은 객체간 일대일로 상호작용하며 통신하는 방식과, 객체를 그룹으로 묶어 상호작용하는 그룹간의 통신 방법을 지원한다.
여기서 동시성 모델(123)에서 제공하는 메소드 호출방식은 총 7가지가 있다. 먼저 객체간 일대일로 상호작용하여 통신하는 방식을 설명하자면, Synchrous call, Deferred synchronous call, Asynchrous call이 있다.
먼저, Synchrous call은 원격 메소드가 호출되면 호출자는 프로그램의 실행을 중지하고 원격 객체가 호출된 메소드의 실행을 끝낸 후 응답을 기다리는 방식을 의미하며, Deferred synchronous call은 호출자가 메소드 호출을 한 이후 블록하지 않고, 프로그램을 계속 수행하다가 임의의 시점에서 프로그램을 블록하여 원격 객체의 메소드 수행 응답을 기다리는 방식을 의미한다.
마지막으로, Asynchrous call은 호출자가 원격 메소드 호출시 upcall function 이라는 응답처리용 함수를 등록하게 한 후, 호출 후 호출자는 블록하지 않고 계속 프로그램을 수행하게 하고, 결과값에 대한 처리과정과의 동기화를 위해 호출자는 임의의 시점에서 프로그램 수행을 블록하고 대기할 수 있도록 한 후, upcall function의 종류에 의해 블록이 해제되도록 하는 방식을 의미한다.
다음으로 동시성 모델(123)에서 제공하는 메소드 호출방식 중 그룹간 동기화 방식은 Multicast / Select invocation, Multicast / Gather invocation, Scatter / Select invocation, Scatter / Gather invocation이 있다.
먼저, Multicast / Select invocation은 호출자가 호출한 메소드와 인가한 호출 파라메터를 그룹 객체 내의 모든 객체에게 전달한 후 결과값 처리를 위한 Select 연산을 등록하는 방식을 의미하고, Muticast / Gather invocation 은 인가된 동일 메소드 호출에 의해 그룹 내의 객체들이 생성한 결과값을 배열(Array) 형태로 호출자에게 모두 전달하는 방식을 의미한다.
또한, Scatter / Select invocation 은 메소드 호출시 그룹 내 객체들에게 각기 다른 파라메터를 인가할 수 있도록, 호출 시 파라메터를 배열로 작성하여 인가하는 방식을 의미하며, Scatter / Gather invocation 은 그룹 내의 객체들에게 각기 다른 호출 파라메터를 인가한 후 그 결과값을 배열 형태로 모아서 호출자에게 전달하는 방식을 의미한다.
이상으로 실시간 스트림 데이터 분산 처리 객체 모델 계층에 대해서 설명하였다. 다시 도 1로 돌아와 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템(100)에 대해서 설명하겠다.
분산 병렬 처리 실행 모델 계층(130)은 실제로 사용자가 객체로 정의한 단위 작업을 다수의 실시간 처리 모델을 적용하여 처리할 수 있도록 이를 실행하는 역할을 한다. 분산 병렬 처리 실행 모델 계층(130)에 대해서는 도 4를 참조하여 설명하겠다.
도 4는 본 발명의 일 실시 예에 따른 분산 병렬 처리 실행 모델 계층의 구성을 나타내는 도면이다. 도 4를 참조하면 분산 병렬 처리 실행 모델 계층(130)은 메소드 호출(Method Invocation) 모델(131), 데이터 전달(Message Passing) 모델(132), 데이터 흐름(Data Flow) 모델(133)을 포함하여 구성된다.
먼저 메소드 호출 모델(131)은 단일 노드에서 공유 메모리를 통해 병렬 처리를 수행하는 병렬 처리 모델을 의미하며, OpenMP, AMP, CUDA, SIMD 등의 데이터 처리 모델을 캡슐화시켜 사용자가 객체를 정의할 때, 바로 사용할 수 있도록 하는 작업 처리 모델이다.
다음으로 데이터 전달 모델(132)은 다수의 노드들로 구성된 클러스터 상에서 단위 작업들이 서로 커뮤니케이션을 필요로 하는 작업 처리 모델에서 수행되는데, MPI 데이터 처리 모델을 캡슐화시켜 사용자가 사용 가능하도록 제공하는 작업 처리 모델을 의미한다.
마지막으로 데이터 흐름 모델(133)은 사용자가 미리 정의해 놓은 데이터 흐름 형태의 작업 흐름에 따라 작업을 수행하며, 객체들 사이에서 서로 통신을 할 필요가 없는 단순한 작업에서 분산 노드를 활용한 대용량의 데이터 처리에 활용 가능하도록 하는 작업 처리 모델을 의미한다.
이상으로 분산 병렬 처리 실행 모델 계층에 대해서 설명하였다. 다시 도 1로 돌아와 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템(100)에 대해서 설명하겠다.
분산 병렬 처리 객체 관리 모델 계층(140)은 사용자가 정의한 분산 객체의 생성, 소멸 등의 객체 생명 주기를 관리하여, 객체가 효율적으로 상호 작용할 수 있도록 하고, 분산 병렬 작업을 위한 자원을 클라우드 상에서 관리할 수 있도록 제어하는 역할을 한다. 이러한 분산 병렬 처리 객체 관리 모델 계층(140)에 대해서는 도 5를 참조하여 자세하게 설명하겠다.
도 5는 본 발명의 일 실시 예에 따른 분산 병렬 처리 객체 관리 모델 계층의 구성을 나타내는 도면이다. 도 5를 참조하면 분산 병렬 처리 객체 관리 모델 계층(140)은 객체 생명주기 관리 모듈(141)과 자원 관리 에이전트(142) 및 객체 네이밍 서비스 모듈(143)을 포함하여 구성된다.
객체 생명주기 관리 모듈(141)은 객체의 생성 또는 소멸시키는 역할을 수행한다. 객체에 대한 생성 또는 소멸 요청을 받으면 객체의 위치를 파악하여 생성 및 소멸을 수행하게 된다. 또한 객체 생명주기 관리 모듈(141)은 불필요한 객체가 존재할 경우, 메모리 효율성을 위해 상제로 소멸시키는 역할도 수행할 수 있다.
자원 관리 에이전트(142)는 실시간 스트림 데이터의 변화량에 따라 자원을 추가적으로 요청하거나 필요 없는 자원에 대한 해제 요청을 수행한다. 여기서 자원 관리 에이전트(142)는 필요에 따라 클라우드 인프라 스트럭처에 자원을 추가적으로 요청할 수 있다.
객체 네이밍 서비스 모듈(143)은 객체의 위치를 식별하기 쉽도록 각 객체에 식별자인 이름을 할당하고, 각 객체의 생성에서부터 소멸까지 각 노드 상의 위치를 파악하며, 객체 간 상호작용을 위해 위치를 알아야 할 경우 이를 알리는 역할을 수행한다.
상기 설명한 바와 같이 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템의 각 계층에 대해서 자세하게 설명하였다. 이러한 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템은 도 6과 같이 스트림 데이터의 양에 따라 탄력적으로 가상의 노드를 추가 또는 삭제하기 위해 클라우드 인프라 스트럭처(200) 상에서 수행될 수 있다.
상기와 같이 구성된 본 발명에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템에 의하면, 다양한 실시간 데이터 처리 모델을 캡슐화 시킴으로써, 유저 입장에서 복잡한 내부 구조와는 상관없이, 단위 작업을 객체로 정의하고, 객체 간의 작업 흐름을 정의함으로써 하나의 가상 노드에서 객체 간의 상호작용을 통해, 분산 병렬 프로그래밍을 쉽게 할 수 있도록 하는 객체 모델 기반 분산 병렬 프로그래밍 환경을 제공할 수 있다.
또한 본 발명에 따른 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템에 의하면, 분산 응용 프로그램의 병렬성을 최대한 사용하기 위해 순차 처리와 비 순차 처리의 동시 사용이 가능하여 분산 병렬 처리의 속도를 향상시키는 효과가 있다.
본 명세서에 기재된 본 발명의 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 관한 것이고, 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 따라서 본 발명은 상술한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 권리범위 내에 있게 된다.
100: 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템
110: 응용 프로그램 계층
120: 실시간 스트림 데이터 분산 처리 객체 모델 계층
130: 분산 병렬 처리 실행 모델 계층
140: 분산 병렬 처리 객체 관리 모델 계층
200: 클라우드 인프라 스트럭쳐
300: 실시간 스트림 데이터

Claims (5)

  1. 스트림 데이터를 입력받아 기설정된 목적에 맞게 상기 스트림 데이터를 분석하는 응용 프로그램 계층;
    객체를 정의하고 정의된 상기 객체 간의 상호작용이 가능하도록 프로그래밍 환경을 제공하는 실시간 스트림 데이터 분산 처리 객체 모델 계층;
    병렬 처리를 수행하는 실시간 처리 모델을 적용시켜 상기 객체로 정의된 단위작업을 분산 병렬 처리하는 분산 병렬 처리 실행 모델 계층; 및
    상기 객체의 분산 병렬 작업을 위한 자원을 관리 및 제어하는 분산 병렬 처리 객체관리 모델 계층;을 포함하고,
    상기 실시간 스트림 데이터 분산 처리 객체 모델 계층은,
    단위 작업을 상기 객체로 정의하고 작업의 흐름을 상기 객체 간의 상호작용으로 정의해주는 사용자 객체 정의 모델;
    상기 객체에 대한 작업 처리를 순차적으로 또는 비순차적으로 수행하여 프로그램의 병렬성을 확보하는 동기화 모델; 및
    상기 객체 간에 일대일로 상호작용하는 통신방법과 상기 객체를 그룹으로 묶어 상호작용하는 그룹 간의 통신방법을 지원하는 동시성(Concurrency) 모델;을 포함하는 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 분산 병렬 처리 실행 모델 계층은,
    단일 노드에서 공유 메모리를 통해 병렬 처리를 수행하는 메소드 호출(Method Invocation) 모델;
    다수의 노드들로 구성된 클러스터 상에서 단위 작업들이 서로 커뮤니케이션을 필요 시 수행되는 메시지 전달(Message Passing) 모델; 및
    기설정된 데이터 흐름 형태의 작업 흐름에 따라 작업을 처리하는 데이터 흐름(Data Flow) 모델;을 포함하는 것을 특징으로 하는 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템.
  4. 제 1 항에 있어서,
    상기 분산 병렬 처리 객체관리 모델 계층은,
    상기 객체의 생성 또는 소멸에 대한 요청에 따라 상기 객체를 생성 또는 소멸시키는 객체 생명 주기 관리 모듈;
    상기 스트림 데이터의 변화량에 따라 자원을 추가적으로 요청하거나 필요 없는 자원에 대한 해제 요청을 하는 자원 관리 에이전트; 및
    상기 객체의 위치를 식별하기 위해 각 객체에 식별자인 이름을 할당하고 상기 각 객체의 생성에서 소멸까지 각 노드 상의 위치를 파악하며 상기 각 객체의 위치 요청 시 이를 알리는 객체 네이밍 서비스 모듈;을 포함하는 것을 특징으로 하는 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템.
  5. 제 1 항에 있어서,
    상기 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템은,
    상기 스트림 데이터의 양에 따라 탄력적으로 가상의 노드를 추가 또는 삭제하기 위해 클라우드 인프라 스트럭처 상에서 수행되는 것을 특징으로 하는 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템.
KR1020150168876A 2015-11-30 2015-11-30 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템 KR101701224B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150168876A KR101701224B1 (ko) 2015-11-30 2015-11-30 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150168876A KR101701224B1 (ko) 2015-11-30 2015-11-30 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템

Publications (1)

Publication Number Publication Date
KR101701224B1 true KR101701224B1 (ko) 2017-02-01

Family

ID=58109325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150168876A KR101701224B1 (ko) 2015-11-30 2015-11-30 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템

Country Status (1)

Country Link
KR (1) KR101701224B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2822871C2 (ru) * 2022-12-23 2024-07-15 Федеральное государственное бюджетное учреждение науки Институт проблем управления им. В.А. Трапезникова Российской академии наук Способ и система одновременного распределенного управления упорядочением взаимодействия объектов цифровых систем

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000027208A (ko) * 1998-10-27 2000-05-15 구자홍 분산 처리시스템에서의 멀티미디어 미들웨어
KR20000031566A (ko) * 1998-11-07 2000-06-05 구자홍 객체 지향 분산 처리시스템에서 멀티미디어 스트림 데이터의 제어 및 자원 할당을 위한 방법
KR101276340B1 (ko) 2009-09-22 2013-06-18 한국전자통신연구원 병렬 처리 시스템 및 그 방법
JP2014531092A (ja) * 2011-11-24 2014-11-20 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 分散データストリーム処理の方法及びシステム
KR20150092586A (ko) * 2014-02-05 2015-08-13 한국전자통신연구원 데이터 플로 기반 대규모 데이터 스트림 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000027208A (ko) * 1998-10-27 2000-05-15 구자홍 분산 처리시스템에서의 멀티미디어 미들웨어
KR20000031566A (ko) * 1998-11-07 2000-06-05 구자홍 객체 지향 분산 처리시스템에서 멀티미디어 스트림 데이터의 제어 및 자원 할당을 위한 방법
KR101276340B1 (ko) 2009-09-22 2013-06-18 한국전자통신연구원 병렬 처리 시스템 및 그 방법
JP2014531092A (ja) * 2011-11-24 2014-11-20 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 分散データストリーム処理の方法及びシステム
KR20150092586A (ko) * 2014-02-05 2015-08-13 한국전자통신연구원 데이터 플로 기반 대규모 데이터 스트림 처리 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2822871C2 (ru) * 2022-12-23 2024-07-15 Федеральное государственное бюджетное учреждение науки Институт проблем управления им. В.А. Трапезникова Российской академии наук Способ и система одновременного распределенного управления упорядочением взаимодействия объектов цифровых систем

Similar Documents

Publication Publication Date Title
Collier et al. Repast HPC: A Platform for Large‐Scale Agent‐Based Modeling
Xia et al. Microservice-based cloud robotics system for intelligent space
Wang et al. MapReduce across distributed clusters for data-intensive applications
CN104506620A (zh) 一种可扩展的自动化计算服务平台及其构建方法
Docan et al. Enabling high‐speed asynchronous data extraction and transfer using DART
US20150205888A1 (en) Simulation of high performance computing (hpc) application environment using virtual nodes
Zhang et al. Exploring cloud-based Web Processing Service: A case study on the implementation of CMAQ as a Service
CN113220431B (zh) 跨云的分布式数据任务调度方法、设备及存储介质
Chen et al. GPU-accelerated high-throughput online stream data processing
CN103593192A (zh) 一种基于slurm调度的算法集成与评测平台及方法
JP2017520058A5 (ko)
Shu-Qing et al. The improvement of PaaS platform
Wang et al. Transformer: a new paradigm for building data-parallel programming models
Altintas et al. Workflow-driven distributed machine learning in CHASE-CI: A cognitive hardware and software ecosystem community infrastructure
Jain et al. Charm++ and MPI: Combining the best of both worlds
Gorton et al. Exploring architecture options for a federated, cloud-based system biology knowledgebase
Voloshinov et al. Implementation and use of coarse-grained parallel branch-and-bound in Everest distributed environment
Rossant et al. Playdoh: a lightweight Python library for distributed computing and optimisation
Vo et al. HyperFlow: A Heterogeneous Dataflow Architecture.
KR101701224B1 (ko) 객체 모델 기반 실시간 스트림 데이터 분산 병렬 처리 시스템
Liu et al. BSPCloud: A hybrid distributed-memory and shared-memory programming model
Jakovits et al. Viability of the bulk synchronous parallel model for science on cloud
Azadbakht et al. Distributed network generation based on preferential attachment in ABS
Liu et al. Bspcloud: A programming model for cloud computing
Rana Performance management of mobile agent systems

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 4