KR101951527B1 - 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템 - Google Patents

메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템 Download PDF

Info

Publication number
KR101951527B1
KR101951527B1 KR1020160184308A KR20160184308A KR101951527B1 KR 101951527 B1 KR101951527 B1 KR 101951527B1 KR 1020160184308 A KR1020160184308 A KR 1020160184308A KR 20160184308 A KR20160184308 A KR 20160184308A KR 101951527 B1 KR101951527 B1 KR 101951527B1
Authority
KR
South Korea
Prior art keywords
data
port information
real
time processing
processing unit
Prior art date
Application number
KR1020160184308A
Other languages
English (en)
Other versions
KR20180078991A (ko
Inventor
양원모
Original Assignee
주식회사 포스코아이씨티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코아이씨티 filed Critical 주식회사 포스코아이씨티
Priority to KR1020160184308A priority Critical patent/KR101951527B1/ko
Publication of KR20180078991A publication Critical patent/KR20180078991A/ko
Application granted granted Critical
Publication of KR101951527B1 publication Critical patent/KR101951527B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

복수개의 공정이 연결되는 연속공정에서 발생된 데이터를 실시간으로 처리할 수 있는 본 발명의 일 측면에 따른 대용량 데이터 실시간 처리 시스템은, 연속공정으로부터 수집된 수집 데이터 간의 연계 처리를 위해 수집 데이터를 정렬하는 적어도 하나의 실시간 프로세싱부를 포함하는 실시간 프로세싱 서버, 정렬된 수집 데이터가 분산 저장되는 복수개의 메모리 캐시부를 포함하는 메모리 서버 및 정렬된 수집 데이터가 저장될 메모리 캐시부의 포트 정보, 및 수집 데이터의 정렬을 위해 읽어야 할 데이터가 저장된 메모리 캐시부의 포트 정보를 관리하고, 실시간 프로세싱부의 요청에 따라 데이터 저장 및 읽기를 위한 포트 정보를 제공하는 메모리 관리서버를 포함하는 것을 특징으로 한다.

Description

메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템{REAL TIME PROCESSING SYSTEM OF MASS DATA FOR MANAGING MEMORY CACHE AUTOMATICALLY}
본 발명은 공장 데이터 처리에 관한 것으로서, 보다 구체적으로는 연속공정용 대용량 데이터의 실시간 처리에 관한 것이다.
원재료를 이용하여 완제품을 생성하기 위한 복수개의 공정들이 연속적으로 수행되고, 각 공정의 산출물들이 서로 혼합되거나 특정 공정의 산출물의 상태가 변화하여 후속 공정으로 공급되는 것과 같이, 각 공정들이 서로 관련되어 있는 생산 방식을 연속공정 생산방식이라 한다. 철강산업, 에너지산업, 제지산업, 또는 정유산업 등이 연속공정 생산 방식이 적용되는 대표적인 산업들이다.
이러한 연속공정 생산방식이 적용되는 산업의 경우, 단일공정 생산방식이 적용되는 산업과 달리, 원재료 또는 중간재가 고속으로 이동하기 때문에 데이터 수집주기가 짧고 데이터의 양이 많을 뿐만 아니라, 소음, 먼지, 수분 등이 많은 공장 환경에서 제품이 생산되기 때문에 계측이상이 자주 발생하고, 작업 방법에 따라 중간재들이 서로 혼합되거나 소재의 위치가 이동한다는 특성이 있다.
이에 따라, 연속공정의 생산방식이 적용되는 산업의 경우 대용량의 데이터를 실시간으로 처리할 수 있고, 각 공정 별로 발생된 데이터들 간의 연관관계를 분석할 수 있는 시스템이 요구된다.
하지만, 대한민국 공개특허공보 제10-2015-0033847호(발명의 명칭: 실시간 공장상황을 반영한 디지털 팩토리 생산능력 관리 시스템, 2015.04.02. 공개) 등에 개시되어 있는 일반적인 공장 데이터 처리 시스템(예컨대, 철강 데이터 처리 시스템)은 단일 공정에서 발생하는 데이터의 처리 및 분석을 위한 것이기 때문에, 대용량의 데이터가 실시간으로 발생함에 따른 메모리 캐시의 부하 등을 고려하여 메모리 캐시를 효율적으로 관리하기 위한 기술에 대해서는 전혀 고려하고 있지 않다.
따라서, 연속공정에서 발생된 대용량의 데이터를 실시간으로 처리할 수 있도록 메모리 캐시를 자동으로 관리하는 기술에 대한 필요성이 증가하고 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 연속공정에서 발생된 대용량의 데이터를 실시간으로 처리하는 과정에서 발생되는 데이터들이 저장될 메모리 캐시의 포트 정보 및 실시간 처리를 위해 읽어야 할 데이터들이 저장된 메모리 캐시의 포트 정보를 관리할 수 있는 대용량 데이터 실시간 처리 시스템을 제공하는 것을 그 기술적 특징으로 한다.
또한, 본 발명은 데이터의 실시간 처리과정에서 참조되는 메모리 캐시부의 부하를 균등하게 조절할 수 있는 대용량 데이터 실시간 처리 시스템을 제공하는 것을 다른 기술적 특징으로 한다.
또한, 본 발명은 대용량 데이터의 실시간 처리과정에서 메모리 캐시부의 저장 용량 초과 발생시 자동으로 메모리 캐시의 인스턴스를 추가하고 인스턴스의 포트 정보를 새롭게 할당받을 수 있는 대용량 데이터 실시간 처리 시스템을 제공하는 것을 또 다른 기술적 특징으로 한다.
상기 목적을 달성하기 위해서, 본 발명의 일 측면에 따른 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템은, 연속공정으로부터 수집된 수집 데이터 간의 연계 처리를 위해 수집 데이터를 정렬하는 적어도 하나의 실시간 프로세싱부를 포함하는 실시간 프로세싱 서버, 정렬된 수집 데이터가 분산 저장되는 복수개의 메모리 캐시부를 포함하는 메모리 서버 및 정렬된 수집 데이터가 저장될 메모리 캐시부의 포트 정보, 및 수집 데이터의 정렬을 위해 읽어야 할 데이터가 저장된 메모리 캐시부의 포트 정보를 관리하고, 실시간 프로세싱부의 요청에 따라 데이터 저장 및 읽기를 위한 포트 정보를 제공하는 메모리 관리서버를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 연속공정에서 발생된 대용량의 데이터를 실시간으로 처리할 수 있다는 효과가 있다.
또한, 본 발명에 따르면 메모리 캐시부의 저장 용량 초과에 따라 메모리 캐시의 인스턴스를 추가하고 포트 정보를 새롭게 할당받음으로써 누락없이 실시간으로 발생하는 대용량의 데이터를 처리할 수 있다.
또한, 본 발명에 따르면 메모리 캐시부를 1개의 마스터 인스턴스 및 2개의 슬레이브 인스턴스로 3중화하여 구성함으로써, 마스터 인스턴스가 다운되더라도 2개의 슬레이브 인스턴스 중 어느 하나가 마스터로 절체되어 마스터-슬레이브 2중화 구조로의 동작이 가능하여 메모리 캐시부의 가용성을 극대화시킬 수 있다는 효과가 있다.
또한, 본 발명에 따르면 3중화된 메모리 캐시부의 슬레이브 인스턴스들 중에서 부하가 적은 슬레이브 인스턴스에 데이터를 저장하도록 함으로써 메모리 캐시부의 부하를 균등하게 조절할 수 있다.
도 1은 본 발명의 일 실시예에 따른 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템을 포함하는 스마트팩토리 아키텍처를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 대용량 데이터 실시간 처리 시스템의 구성을 구체적으로 나타내는 도면이다.
도 3은 메모리 관리서버의 저장 요청 처리부의 구성을 구체적으로 나타내는 도면이다.
도 4는 메모리 관리서버의 읽기 요청 처리부의 구성을 구체적으로 나타내는 도면이다.
이하, 첨부되는 도면을 참고하여 본 발명의 실시예들에 대해 상세히 설명한다.
본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수개의 표현을 포함하는 것으로 이해되어야 하고, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.
"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
도 1은 본 발명의 일 실시예에 따른 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템을 포함하는 스마트팩토리 아키텍처를 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 스마트팩토리 아키텍쳐는, 데이터 수집 장치(1), 네트워크(2), 스마트팩토리 플랫폼(1000), 및 어플리케이션 시스템(3)과 같은 계층으로 구성된다.
데이터 수집 장치(1)는 연속공정에서 발생되는 데이터를 수집한다. 일 실시예에 있어서, 연속공정이란 원재료를 이용하여 완제품을 생성하기 위한 복수개의 공정들이 연속적으로 수행되고, 각 공정의 산출물들이 서로 혼합되거나 특정 공정의 산출물의 상태가 변화하여 후속 공정으로 공급되는 방식의 공정을 의미한다. 철강공정이 이러한 연속공정의 대표적인 예에 해당한다. 이하에서는 설명의 편의를 위해, 연속공정이 철강공정인 것으로 가정하여 설명하기로 한다.
철강공정은 제선공정, 제강공정, 연주공정, 및 압연공정 등과 같은 다양한 공정으로 구성되므로, 데이터 수집 장치(10)는 제선공정, 제강공정, 연주공정, 및 압연공정 등과 같은 다양한 공정의 진행 과정에서 발생되는 마이크로 데이터(Micro Data)를 수집한다. 여기서, 마이크로 데이터는 다양한 센서 등을 통해 수집된 데이터 그 자체로서 원시 데이터(Raw Data)를 의미한다. 이하에서는, 설명의 편의를 위해 마이크로 데이터를 수집 데이터로 표기하기로 한다.
이를 위해, 데이터 수집 장치(1)는 마이크로 데이터를 수집하기 위한 다양한 계측기, 센서, 액츄에이터 등을 포함한다. 데이터 수집 장치(1)는 계측기, 센서, 액츄에이터 등에 의해 수집된 데이터를 통합하거나 제어하는 P/C, PLC(Programmable Logic Controller), DCS(Distributed Control System) 등을 더 포함할 수 있다.
네트워크(2)는 데이터 수집 장치(1)에서 수집된 대용량의 데이터를 스마트팩토리 플랫폼(1000)으로 전달한다. 일 실시예에 있어서, 본 발명에 따른 네트워크(2)는 네트워크 케이블, 게이트웨이, 라우터, 또는 무선 AP(Access Point) 등을 포함할 수 있으나 이에 한정되는 것은 아니다.
스마트팩토리 플랫폼(1000)은 데이터 수집 장치(1)에서 수집된 대용량의 마이크로 데이터를 네트워크(2)를 통해 수신한다. 스마트팩토리 플랫폼(1000)은 수신된 대용량의 마이크로 데이터를 실시간으로 가공한다. 또한, 스마트팩토리 플랫폼(1000)은 가공된 마이크로 데이터를 기초로 설비 또는 재료 등의 이상유무를 실시간으로 판단할 뿐만 아니라 빅데이터 분석을 위해 가공된 마이크로 데이터를 빅데이터 저장부(미도시)에 저장하며, 저장된 데이터에 대한 조회 및 분석 서비스를 제공한다.
일 실시예에 있어서, 본 발명에 따른 스마트팩토리 플랫폼(1000)은 도 1에 도시된 바와 같이, 인터페이스 시스템(100), 대용량 데이터 실시간 처리 시스템(200), 빅데이터 분석시스템(300)을 포함한다. 또한, 스마트팩토리 플랫폼(1000)은 서비스 시스템(400), 보안시스템(500), 및 관리시스템(600)을 더 포함할 수 있다.
인터페이스 시스템(100)은 Level 0 내지 Level 2의 이기종 장치들과 다양한 프로토콜을 통해 연결되기 위한 연결 수단을 제공하고 데이터 수집 장치(1)에서 수집된 마이크로 데이터를 전처리 하여 마이크로 데이터를 표준화한다.
본 발명의 실시예에 따른 인터페이스 시스템(100)은 연속공정으로부터 수집된, 측정값 및 측정값의 속성을 식별하기 위한 항목 ID를 포함하는 수집 데이터를 표준화할 수 있다. 인터페이스 시스템(100)은 하나 이상의 통신 방식을 이용하여 데이터 수집 장치(1)에 의해 수집된 수집 데이터를 수신하고, 미리 설정된 메시지 레이아웃에 따라 수집 데이터를 의미 있는 단위로 파싱하고, 파싱된 데이터를 미리 설정된 표준변환기준에 따라 표준화할 수 있다. 즉, 데이터 수집 장치(1)에 포함된 각각의 센서 또는 액츄에이터 등은 동일한 속성을 측정하더라도 이들이 생산된 업체나 이들이 포함된 공장의 특성에 따라 각각의 항목 ID가 서로 다른 형식을 가질 수 있으므로 본 발명의 실시예에서 인터페이스 시스템(100)은 동일한 속성을 측정한 데이터가 동일한 형식을 갖도록 표준화할 수 있다. 본 발명의 실시예에 따른 인터페이스 시스템(100)은 큐 저장부(120)를 포함하여 표준화된 데이터를 실시간 처리 전에 임시로 보관할 수 있다.
대용량 데이터 실시간 처리 시스템(200)은 인터페이스 시스템(100)에서 표준화된 표준화 데이터를 설비 또는 재료 단위로 가공한다. 또한, 대용량 데이터 실시간 처리 시스템(200)은 연속공정으로부터 수집된 수집 데이터의 연계 처리를 위해 표준화 데이터를 정렬할 수 있다. 또한, 대용량 데이터 실시간 처리 시스템(200)은 연속공정으로부터 수집된 수집 데이터 양이 증가함에 따른 메모리의 인스턴스 추가와 관리가 용이하도록 메모리 캐시의 포트 정보를 관리할 수 있다. 이를 위한 본 발명에 따른 대용량 데이터 실시간 처리 시스템(200)의 보다 구체적인 구성에 대해서는 후술하기로 한다.
빅데이터 분석 시스템(300)은 대용량 데이터 실시간 처리 시스템(200)에 의해 정렬된 데이터를 빅데이터 저장 공간에 저장한다. 또한, 빅데이터 분석 시스템(300)은 데이터 유실이 되지 않도록 관리하며 히스토리컬 데이터에 대한 조회 기능을 제공할 수 있다.
서비스 시스템(400)은 표준화된 처리 프로세스와 업무 기준을 서비스로 재활용하는 구조로, 비즈니스 노하우를 리포지터리(Repository)화하여 기능 단위로 정의된 서비스 간 연결을 통해 계획-실행-제어 간의 연계를 용이하게 하며, 재료나 제품에 대한 품질판정 모델 또는 이상 예측 모델을 포함하는 분석모델을 호출하고 실행하여 분석 결과를 진행할 수 있다.
보안시스템(500)은 사용자에 대한 인증, 인가, 접근제어를 수행하며 데이터 자체에 대한 보안 및 전송 통로에 대한 보안을 관리한다.
관리시스템(600)은 스마트팩토리 플랫폼(1000)에 속한 개별 구성에 대한 관리 및 UI/UX의 관리 데이터 수집을 위한 구성들에 대한 설정파일 관리, 각 구성의 개별 모니터링, 미리 설정된 설정값들 간의 연계정보 관리, 전체 시스템의 처리 성능 및 통합 모니터링 정보를 제공한다.
어플리케이션 시스템(3)은 스마트팩토리 플랫폼(1000)을 기반으로 사용자에게 필요한 화면과 데이터를 가공하여 제공한다.
이하에서는, 본 발명의 실시예에 따른 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템(200)에 대해서 구체적으로 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 대용량 데이터 실시간 처리 시스템의 구성을 구체적으로 나타내는 도면이다.
도 3은 메모리 관리서버의 저장 요청 처리부의 구성을 구체적으로 나타내는 도면이다.
도 4는 메모리 관리서버의 읽기 요청 처리부의 구성을 구체적으로 나타내는 도면이다.
도 2에 도시된 바와 같이, 본 발명에 따른 대용량 데이터 실시간 처리 시스템(200)은 실시간 프로세싱 서버(210), 메모리 서버(220), 및 메모리 관리서버(230)를 포함할 수 있다.
실시간 프로세싱 서버(210)는 인터페이스 시스템(100)에 의해 표준화된 데이터에 공정 식별자를 맵핑하여 맵핑 데이터를 생성하고, 조업-설비-품질 등 영역간 데이터를 연계분석할 수 있도록 맵핑 데이터를 정렬한다.
일 실시예에 있어서, 실시간 프로세싱 서버(210)는 복수개의 실시간 프로세싱부(211)를 포함하고, 복수개의 실시간 프로세싱부(211)는 상기 공정 식별자를 맵핑하고, 상기 맵핑 데이터를 정렬하는 동작 등을 분산 수행할 수 있다.
실시간 프로세싱 서버(210)는 인터페이스 시스템(100)의 큐 저장부(120)로부터 표준화된 데이터를 독출하여 메모리 서버(220)의 메모리 캐시부(221)에 저장한다. 일 실시예에 있어서, 실시간 프로세싱 서버(210)는 큐 저장부(120)에 대해서 이전에 데이터를 조회한 위치 정보를 기억함으로써, 이전까지 읽어 들인 데이터의 다음 데이터를 읽어 들일 수 있다.
전술한 바와 같이, 인터페이스 시스템(100)을 통해 수집 데이터가 표준화되기 때문에 대용량 데이터 실시간 처리 시스템(200)은 정형화된 구조를 갖는 표준화된 데이터에 설비 식별자와 재료 식별자를 맵핑할 수 있으므로 시간 지연 없이 대용량의 데이터를 실시간으로 처리할 수 있다.
또한, 본 발명의 실시예에 따른 대용량 데이터 실시간 처리 시스템(200)은 각 공정들간의 연계분석을 위해 표준화 데이터를 재료 단위로 정렬하는 한편, 수집 데이터 또는 정렬 데이터를 바탕으로 실시간으로 설비 또는 재료의 품질에 이상이 발생하는지 모니터링함으로써, 설비 고장을 미리 예측할 수 있다.
메모리 서버(220)는 실시간 프로세싱 서버(210)에서 생성되는 다양한 데이터를 저장한다.
본 발명의 다른 실시예에 있어서, 대용량 데이터 실시간 처리 시스템(200)의 실시간 프로세싱 서버(210)는 복수개의 실시간 프로세싱부(211)를 포함하고, 메모리 서버(220)는 복수개의 메모리 캐시부(221)를 포함하도록 구현될 수도 있다.
이 경우, 복수개의 실시간 프로세싱부(211)는 각각 페치, 로딩, 설비맵핑, 재료맵핑, 데이터 보정, 데이터 정렬 등과 같은 다양한 어플리케이션(application)을 분산하여 병렬처리함으로써, 단일의 실시간 프로세싱부(211)를 통해 모든 어플리케이션을 수행함에 따른 과부하 없이 인터페이스 시스템(100)으로부터 전달된 대용량의 데이터를 실시간으로 처리할 수 있다.
메모리 서버(220)에 포함된 복수개의 메모리 캐시부(221)에는 복수개의 실시간 프로세싱부(211)에서 처리된 데이터가 저장된다. 본 발명의 실시예에서는 처리 성능을 높이고 장애시 가용성을 보장하기 위해 복수개의 메모리 캐시부(221)가 클러스터링 구조를 가질 수 있다.
즉, 1대의 메모리 캐시부(221)에 데이터가 저장되면 다른 메모리 캐시부(221)에도 데이터가 복제되어 저장되므로, 특정 메모리 캐시부(221)에 장애가 발생하더라도 다른 메모리 캐시부(221)를 통해 서비스가 지속적으로 제공될 수 있다.
일 실시예에 있어서, 복수개의 메모리 캐시부(221)는 고가용성(High Availability; HA)을 위해 이중화 구조로 구비될 수 있다. 즉, 각각의 메모리 캐시부(221)는 마스터 인스턴스 및 슬레이브 인스턴스를 포함한다. 이 경우 제1메모리 캐시부(221)에 포함된 마스터 인스턴스과 제2메모리 캐시부(221)에 포함된 슬레이브 인스턴스가 한 쌍으로 동작하고, 제2메모리 캐시부(221)에 포함된 마스터 인스턴스와 제1메모리 캐시부(221)에 포함된 슬레이브 인스턴스가 한 쌍으로 동작하게 된다.
그리고, 제1메모리 캐시부(221)의 마스터 인스턴스에 정렬 데이터가 저장되면 제2메모리 캐시부(221)의 슬레이브 인스턴스에도 정렬 데이터가 복제되어 저장되고, 제2메모리 캐시부(221)의 마스터 인스턴스에 정렬 데이터가 저장되면 제1메모리 캐시부(221)의 슬레이브 인스턴스에도 정렬 데이터가 복제되어 저장된다. 따라서, 제1메모리 캐시부(221)에 포함된 마스터 인스턴스가 동작하다가 장애가 발생하는 경우 자동으로 제2메모리 캐시부(221)에 포함된 슬레이브 인스턴스가 활성화됨으로써 전술한 실시간 프로세싱부(211)의 다양한 기능이 중단되지 않고 연속적으로 구현될 수 있다.
일 실시예에 있어서, 각 메모리 캐시부(221)의 마스터 인스턴스 및 슬레이브 인스턴스는 싱글 스레드(Thread) 형태로 구성되고, 저장 및 읽기 동작 별로 인스턴스 및 포트가 분리되어 있다. 본 발명의 실시예에서 데이터 저장은 마스터 인스턴스에 대해 수행되고, 데이터 읽기는 슬레이브 인스턴스에 대해 수행되는 것으로 기재하겠으나, 본 발명은 이에 한정되지 않는다.
한편, 전술한 바와 같이, 복수개의 메모리 캐시부(221)가 이중화되어 구성됨으로써 제1메모리 캐시부(221)에 포함된 마스터 인스턴스와 제2메모리 캐시부(221)에 포함된 슬레이브 인스턴스가 한 쌍으로 동작하고, 제2메모리 캐시부(221)에 포함된 마스터 인스턴스와 제1메모리 캐시부(221)에 포함된 슬레이브 인스턴스가 한 쌍으로 동작할 경우, 마스터 인스턴스 및 슬레이브 인스턴스가 싱글 쓰레드로 구현되기 때문에, 제1메모리 캐시부(221)의 마스터 인스턴스가 다운되는 경우 제1메모리 캐시부(221)의 마스터 인스턴스가 정상화될 때까지의 다운타임 동안, 제2메모리 캐시부(221)의 슬레이브 인스턴스가 저장 및 읽기 동작을 모두 서비스할 수는 없다는 한계가 있다.
따라서, 본 발명의 다른 실시예에서 복수개의 메모리 캐시부(221)는 3중화 구조로 구현될 수 있다. 이 경우, 복수개의 메모리 캐시부(221) 각각은 마스터 인스턴스, 제1슬레이브 인스턴스, 및 제2슬레이브 인스턴스를 포함한다.
그리고, 어느 하나의 마스터 인스턴스에 데이터가 저장되면 해당 마스터 인스턴스와 쌍으로 동작하는 제1슬레이브 인스턴스 및 제2슬레이브 인스턴스에도 해당 데이터가 복제되어 저장된다.
따라서, 본 발명의 다른 실시예에서는 제1메모리 캐시부(221)의 마스터 인스턴스가 다운되는 경우 제2메모리 캐시부(221)의 슬레이브 인스턴스가 마스터 인스턴스로 동작하여 저장 동작을 서비스하고 제3메모리 캐시부(221)의 슬레이브 인스턴스가 읽기 동작을 서비스함으로써, 제1메모리 캐시부(221)의 마스터 인스턴스가 정상화될 때까지 데이터 누락이나 지연 없이 저장 및 읽기 동작을 서비스할 수 있다.
메모리 관리서버(230)는 실시간 프로세싱 서버(210)에 의해 처리된 데이터가 저장될 메모리 서버(220)의 포트 정보, 또는 실시간 프로세싱 서버(210)가 데이터를 읽는 대상이 되는 포트 정보를 관리한다. 구체적으로, 메모리 관리서버(230)는 실시간 프로세싱 서버(210)에 의해 실시간 처리되는 과정에서 발생하는 데이터가 저장될 메모리 서버(220)의 포터 정보, 및 실시간 처리를 위해 읽어야 할 데이터가 저장된 메모리 서버(220)의 포트 정보를 관리하고, 실시간 프로세싱 서버(210)의 요청에 따라 데이터 저장 및 읽기를 위한 포트 정보를 제공할 수 있다.
즉, 각각의 실시간 프로세싱부(211)에서 처리한 데이터를 저장할 마스터 인스턴스의 포트 정보와, 어플리케이션 수행을 위해 필요한 데이터를 읽어 올 슬레이브 인스턴스의 포트 정보가 미리 정의되어 있는 경우, 메모리 용량 부족 등으로 새로운 인스턴스를 추가할 때마다 추가된 인스턴스에 대해 새로운 포트 정보를 할당하고 해당 포트로 접근하여 데이터 저장 또는 읽기 동작을 수행하도록 어플리케이션이 구현되어야 한다. 따라서, 인스턴스 추가나 포트 분리가 필요한 상황이 발생하면 자원 변경에 대한 영향이 커지기 때문에 인스턴스를 추가하거나 포트를 분리하는 것이 제한될 수 있다.
따라서, 본 발명의 실시예에 따른 대용량 데이터 실시간 처리 시스템(200)은 메모리 관리 서버(230)를 통해 데이터 저장 위치에 대한 포트 정보를 자동으로 관리함으로써, 신규 인스턴스 추가나 포트 분리시의 관리를 용이하게 할 수 있다.
이를 위해, 메모리 관리서버(230)는 저장 요청 처리부(231), 및 읽기 요청 처리부(232)를 포함할 수 있다.
저장 요청 처리부(231)는 실시간 프로세싱 서버(210)로부터 수신되는 데이터 저장 요청에 따라 상기 데이터 저장 요청에 포함된 데이터 키에 맵핑된 포트 정보를 추출하여 실시간 프로세싱 서버(210)로 제공한다. 따라서 실시간 프로세싱 서버(210)는 저장 요청 처리부(231)로부터 수신되는 포트 정보에 기초하여 해당 포트가 할당된 메모리 서버(220)의 메모리 캐시부(221)에 데이터를 저장할 수 있다.
도 3을 참고하면, 저장 요청 처리부(231)는 저장 포트 요청 수신 모듈(231a), 테이블 검색 모듈(231b), 테이블 생성 모듈(231c), 마스터 인스턴스 포트 정보 검색 모듈(231d), 포트 할당 모듈(231e), 포트 생성 모듈(231f), 포트 정보 로딩 모듈(231g), 데이터 키-포트 맵핑 정보 저장 모듈(231h), 및 포트 정보 송신 모듈(231i) 중 적어도 하나를 포함할 수 있다.
저장 포트 요청 수신 모듈(231a)은 실시간 프로세싱 서버(210)로부터 데이터 저장을 위한 포트 요청을 수신한다. 실시간 프로세싱 서버(210)로부터 수신되는 데이터 저장 요청에는 어플리케이션 고유 ID, 테이블 ID, 및 데이터 키 중 적어도 하나의 정보가 포함될 수 있다.
이 때, 어플리케이션 고유 ID는 실시간 프로세싱 서버(210)에 포함된 복수개의 실시간 프로세싱부(211)에서 수행하는 어플리케이션을 식별하기 위한 ID를 의미할 수 있다. 즉, 전술한 바와 같이, 복수개의 실시간 프로세싱부(211)는 각각 페치, 로딩, 설비맵핑, 재료맵핑, 데이터 보정, 데이터 정렬 등과 같은 다양한 어플리케이션을 분산하여 병렬처리할 수 있으며, 어플리케이션 고유 ID는 각각의 실시간 프로세싱부(211)가 수행한 어플리케이션을 식별할 수 있는 값으로 설정되어 있다.
테이블 ID는 관련 있는 복수개의 포트 정보를 함께 관리하기 위한 테이블의 식별 ID를 의미할 수 있다. 구체적으로, 테이블은 조압연 공정(Roughing Mill; RM)이나 사상압연 공정(Finishing Mill; FM) 등과 같은 공정 단위나, 데이터 양을 반영한 업무 단위로 설정될 수 있으며, 공정이나 업무 단위로 구분된 메모리 캐시부의 마스터 인스턴스들과 슬레이브 인스턴스들, 및 해당 인스턴스들에 할당된 포트 정보들이 함께 저장될 수 있다. 테이블 ID는 미리 설정된 각각의 테이블을 식별하기 위한 ID를 의미한다.
데이터 키는 데이터가 생성된 공정이나 시간 등을 나타내기 위한 데이터의 대표값을 의미할 수 있다.
테이블 검색 모듈(231b)은 저장 포트 요청 수신 모듈(231a)로부터 실시간 프로세싱 서버(210)의 데이터 저장 요청을 전달받고, 데이터 저장 요청에 포함된 테이블 ID가 기 생성된 테이블 리스트에 존재하는지 검색한다. 즉, 실시간 프로세싱 서버(210)가 기존에 수행된 공정과 동일한 공정이나 업무를 수행하여 발생한 데이터를 저장하기 위해 데이터 저장 요청을 전송한 경우에는 해당 공정이나 업무에 따른 테이블 ID가 이미 생성되어 테이블 리스트에 존재하지만, 실시간 프로세싱 서버(210)가 기존에 수행된 바 없는 공정이나 업무를 수행하여 발생한 데이터를 저장하기 위해 데이터 저장 요청을 전송한 경우에는 해당 공정이나 업무에 따른 테이블 ID는 새로운 테이블 ID이기 때문에 테이블 리스트에 존재하지 않는다.
따라서, 테이블 검색 모듈(231b)은 실시간 프로세싱 서버(210)의 데이터 저장 요청에 따라 저장해야 할 데이터가 기존에 수행된 업무나 공정에 따른 데이터와 동일한지 확인하기 위해 테이블 ID가 테이블 리스트에 존재하는지 검색한다.
본 발명의 실시예에 따른 대용량 데이터 실시간 처리 시스템(200)은 메모리 관리서버(230)가 데이터 저장 및 읽기를 위한 포트 정보를 관리하는데 필요한 다양한 정보가 저장되는 메모리 정보 저장서버(240)를 더 포함할 수 있다. 이 때, 메모리 정보 저장서버(240)는 메모리 관리서버(230)와 분리되는 별개의 구성일 필요는 없으므로, 메모리 관리서버(230) 내에 포함되는 구성일 수도 있다.
이 경우, 테이블 검색 모듈(231b)은 메모리 정보 저장서버(240)의 테이블 리스트 저장부(241)에 저장된 테이블 리스트에 해당 테이블 ID가 존재하는지 검색할 수 있다. 즉, 테이블 리스트 저장부(241)에는 현재까지 생성된 테이블 ID들을 포함하는 테이블 리스트가 저장되어 있다.
테이블 생성 모듈(231c)은 테이블 검색 모듈(231b)의 요청에 따라 새로운 테이블을 생성하고, 데이터 저장 요청에 포함된 테이블 ID를 갖도록 상기 생성한 테이블을 어플리케이션 고유 ID와 함께 테이블 리스트에 저장한다. 따라서, 테이블 리스트는 어플리케이션 고유 ID 별로 관리가 가능하지만, 본 발명은 이에 한정되지 않으므로 테이블 ID만을 포함한 상태로 생성한 테이블을 테이블 리스트에 저장하는 것도 가능하다. 구체적으로, 데이터 저장 요청에 포함된 테이블 ID가 테이블 리스트에 존재하지 않으면, 테이블 검색 모듈(231b)은 테이블 생성 모듈(231c)로 새로운 테이블 생성을 요청한다. 본 발명의 실시예에 따른 대용량 데이터 실시간 처리 시스템(200)이 메모리 정보 저장서버(240)를 포함하는 경우, 테이블 생성 모듈(231c)은 어플리케이션 고유 ID를 포함하며 상기 테이블 ID를 갖는 새로운 테이블을 테이블 리스트 저장부(241)의 테이블 리스트에 추가할 수 있다.
마스터 인스턴스 포트 정보 검색 모듈(231d)은 테이블 검색 모듈(231b)의 검색 결과 테이블 ID가 테이블 리스트에 존재하면, 데이터 저장 요청에 포함된 데이터 키에 맵핑된 마스터 인스턴스 포트 정보를 검색한다. 구체적으로, 마스터 인스턴스 포트 정보 검색 모듈(231d)은 데이터 키에 맵핑된 마스터 인스턴스 포트 정보를 검색하여 데이터 종류에 따라 다르게 설정되어 있는 마스터 인스턴스의 포트 정보를 추출할 수 있다.
마스터 인스턴스 포트 정보 검색 모듈(231d)은 메모리 정보 저장서버(240)를 참조하여 상기 데이터 키에 맵핑된 마스터 인스턴스 포트 정보를 검색할 수 있다. 구체적으로, 메모리 정보 저장서버(240)는 어플리케이션 고유 ID별로 데이터 키와 이에 대한 마스터 인스턴스 포트의 맵핑 정보를 관리할 수 있고, 이 경우 마스터 인스턴스 포트 정보 검색 모듈(231d)은 데이터 저장 요청에 포함된 어플리케이션 고유 ID를 참조하여 메모리 정보 저장서버(240)로부터 데이터 키에 맵핑된 마스터 인스턴스 포트 정보를 검색할 수 있다. 즉, 특정 공정이나 업무를 수행하는 실시간 프로세싱부(211)에 따라서 생성하는 데이터 키의 체계가 상이할 수 있으므로, 본 발명의 실시예에서는 데이터 키-포트 정보의 맵핑 정보를 어플리케이션 고유 ID 별로 관리함으로써, 마스터 인스턴스 포트 정보 검색 모듈(231d)이 데이터 키에 맵핑된 마스터 인스턴스 포트 정보를 검색하는데 소요되는 시간을 줄일 수 있다.
또한, 마스터 인스턴스 포트 정보 검색 모듈(231d)은 테이블 검색 모듈(231b)의 검색 결과 테이블 ID가 테이블 리스트에 존재하지 않으면, 포트 할당 모듈(231e)로 해당 데이터 저장 요청의 대상이 되는 데이터를 저장할 마스터 인스턴스의 포트 할당을 요청한다. 즉, 전술한 바와 같이 테이블 ID가 테이블 리스트에 존재하지 않는 경우, 해당 데이터는 기존에 수행된 바 없는 공정이나 업무를 수행하여 발생한 데이터이므로 새롭게 저장할 마스터 인스턴스를 설정할 수 있도록 마스터 인스턴스 포트 정보 검색 모듈(231d)은 포트 할당 모듈(231e)로 새로운 포트 할당을 요청한다.
또한, 마스터 인스턴스 포트 정보 검색 모듈(231d)은 테이블 생성 모듈(231c)로부터 새롭게 생성된 테이블의 테이블 ID를 전달받고, 포트 할당 모듈(231e)로부터 새롭게 할당된 포트 정보를 전달받고, 해당 테이블 ID를 갖는 테이블에 새롭게 할당된 포트 정보를 맵핑하여 메모리 정보 저장서버(240)에 저장한다. 구체적으로, 마스터 인스턴스 포트 정보 검색 모듈(231d)은 메모리 정보 저장서버(240)에 포함된 테이블-포트 정보 맵핑 정보 저장부(242)에 테이블-포트 정보 맵핑 정보를 저장할 수 있다. 즉, 테이블-포트 정보 맵핑 정보 저장부(242)에는 현재까지 맵핑된 테이블과 포트 정보가 저장되어 있다. 구체적으로, 테이블-포트 정보 맵핑 정보 저장부(242)에는 테이블 id, 해당 테이블 id의 테이블에 포함되는 복수개의 마스터 인스턴스의 포트 정보, 및 해당 테이블 id의 테이블에 포함되는 복수개의 슬레이브 인스턴스의 포트 정보가 저장될 수 있다.
포트 할당 모듈(231e)은 마스터 인스턴스 포트 정보 검색 모듈(231d)의 요청에 따라 해당 데이터를 저장할 마스터 인스턴스를 결정하고, 결정된 마스터 인스턴스의 포트를 해당 데이터에 대해 새롭게 할당하여 마스터 인스턴스 포트 정보 검색 모듈(231d)로 전달한다. 포트 할당 모듈(231e)은 기존의 마스터 인스턴스 중에서 데이터 부하가 적으며 여유용량이 남아 있는 마스터 인스턴스를 해당 데이터를 저장할 마스터 인스턴스로 결정할 수 있다.
이 때, 모든 마스터 인스턴스의 용량이 할당된 상태로서 여유 용량이 없는 경우, 포트 할당 모듈(231e)은 포트 생성 모듈(231f)로 새로운 마스터 인스턴스 및 대응되는 포트 생성을 요청한다.
다만, 본 발명은 이에 한정되지 않는다. 즉, 시스템이 재기동될 경우에만 새로운 메모리 캐시부 생성 및 대응되는 포트 정보 생성이 반영될 수 있는 시스템에 있어서는 상기와 같은 요청으로 새로운 마스터 인스턴스 및 대응되는 포트가 실시간으로 생성되지 못할 수 있다.
따라서, 포트 할당 모듈(231e)은 특정 데이터에 대해 새롭게 할당할 마스터 인스턴스가 없는 경우, 타 데이터 키에 맵핑된 타 마스터 인스턴스의 포트 정보에 기초하여 타 마스터 인스턴스에 우선 특정 데이터를 저장하도록 할 수 있다. 이 때, 포트 할당 모듈(231e)은 특정 데이터를 타 마스터 인스턴스에 저장한 기록을 로그로 남김으로써 새로운 마스터 인스턴스 및 대응되는 포트가 나중에 생성되었을 때 해당 로그를 기초로 특정 데이터를 새로운 마스터 인스턴스에 옮겨 저장하고, 특정 데이터가 새로운 마스터 인스턴스의 포트 정보에 맵핑될 수 있도록 할 수 있다.
포트 생성 모듈(231f)은 포트 할당 모듈(231e)의 요청에 따라 포트 정보 설정 파일(235)을 생성하여 메모리 서버(220)로 전달함으로써, 메모리 서버(220)가 내부에 마스터 인스턴스와 슬레이브 인스턴스를 포함하는 물리적 메모리 저장소를 생성하도록 한다. 포트 생성 모듈(231f)은 메모리 서버(220)의 새로운 메모리 캐시부에 할당된 마스터 인스턴스의 포트 정보와 슬레이브 인스턴스의 포트 정보를 수신하여, 마스터 인스턴스 포트 정보 검색 모듈(231d) 및 포트 정보 로딩 모듈(231g)로 전달한다.
포트 정보 로딩 모듈(231g)은 메모리 정보 저장서버(240)로부터 데이터 키 리스트, 데이터 키-포트 정보 맵핑 정보, 및 포트 정보 리스트 중 적어도 하나의 정보를 로딩하여 마스터 인스턴스 포트 정보 검색 모듈(231d)로 제공한다. 구체적으로 포트 정보 로딩 모듈(231g)은 메모리 정보 저장서버(240)에 포함된 데이터 키 리스트 저장부(243)로부터 데이터 키 리스트를 로딩하고, 데이터 키-포트 정보 맵핑 정보 저장부(244)로부터 데이터 키-포트 정보 맵핑 정보를 로딩하고, 포트 정보 리스트 저장부(245)로부터 포트 정보 리스트를 로딩할 수 있다. 즉, 데이터 키 리스트 저장부(243)에는 현재까지 생성된 데이터 키들을 포함하는 데이터 키 리스트가 저장되어 있고, 포트 정보 리스트 저장부(245)에는 현재까지 데이터 키에 대응하여 생성된 포트 정보 리스트가 저장되어 있고, 데이터 키-포트 정보 맵핑 정보 저장부(244)에는 현재까지 맵핑된 데이터 키와 포트 정보가 저장되어 있다. 구체적으로 데이터 키-포트 정보 맵핑 정보 저장부(244)에는 데이터 키, 및 해당 데이터 키에 대응되는 마스터 인스턴스의 포트 정보와 슬레이브 인스턴스의 포트 정보가 모두 맵핑되어 저장될 수 있다.
포트 정보 로딩 모듈(231g)은 메모리 정보 저장서버(240)로부터 로딩한 데이터 키 리스트, 데이터 키-포트 정보 맵핑 정보, 및 포트 정보 리스트 중 적어도 하나의 정보를 마스터 인스턴스 포트 정보 검색 모듈(231d)로 전달한다. 즉, 마스터 인스턴스 포트 정보 검색 모듈(231d)은 메모리 정보 저장서버(240)를 직접 참조하거나 포트 정보 로딩 모듈(231g)을 참조하여 데이터 저장 요청에 포함된 데이터 키에 맵핑된 마스터 인스턴스의 포트 정보가 존재하는지 판단할 수 있다. 그리고, 마스터 인스턴스 포트 정보 검색 모듈(231d)은 데이터 키에 맵핑된 마스터 인스턴스의 포트 정보가 존재하는 경우, 맵핑된 마스터 인스턴스의 포트 정보를 포트 정보 송신 모듈(231i)로 전달한다.
또한, 포트 정보 로딩 모듈(231g)은 포트 생성 모듈(231f)에 의해 새롭게 생성된 마스터 인스턴스의 포트 정보와 슬레이브 인스턴스의 포트 정보를 전달받아 상기 로딩된 포트 정보를 수정하고, 메모리 정보 저장서버(240)의 포트 정보 리스트 저장부(245)에 저장한다.
데이터 키-포트 맵핑 정보 저장 모듈(231h)은 마스터 인스턴스 포트 정보 검색 모듈(231d)로부터 데이터 저장 요청에 포함된 데이터 키, 및 데이터 저장을 위해 새롭게 할당된 포트 정보를 전달받아 메모리 정보 저장서버(240)의 데이터 키 리스트 저장부(243), 및 데이터 키-포트 정보 맵핑 정보 저장부(244)에 저장한다. 즉, 전술한 바와 같이, 기존에 수행된 바 없는 공정이나 업무를 수행함에 따라 발생한 데이터에 대한 데이터 저장 요청이 수신되면 새롭게 해당 데이터를 저장할 마스터 인스턴스의 포트 정보를 할당하는데, 이후에 해당 공정이나 업무를 수행하여 발생한 데이터는 동일한 마스터 인스턴스에 저장할 수 있도록 해당 데이터 키와 포트 정보를 맵핑하여 저장해야 한다. 따라서, 데이터 키-포트 맵핑 정보 저장 모듈(231h)은 해당 정보를 수신하여 메모리 정보 저장서버(240)의 데이터 키 리스트 저장부(243), 및 데이터 키-포트 정보 맵핑 정보 저장부(244)에 에 각각 저장할 수 있다.
또한, 데이터 키-포트 맵핑 정보 저장 모듈(231h)은 데이터 키-포트 정보 맵핑 정보 저장부(244)에 저장한 데이터 키에 맵핑된 포트 정보를 포트 정보 송신 모듈(231i)로 전달한다.
포트 정보 송신 모듈(231i)은 마스터 인스턴스 포트 정보 검색 모듈(231d) 또는 데이터 키-포트 맵핑 정보 저장 모듈(231h)로부터 전달되는 포트 정보를 데이터 저장 요청을 송신한 실시간 프로세싱 서버(210)로 송신한다.
그리고, 데이터 저장 요청을 송신한 실시간 프로세싱 서버(210)는 메모리 서버(220)의 메모리 캐시부 중, 포트 정보 송신 모듈(231i)로부터 수신한 포트 정보가 할당된 메모리 캐시부의 마스터 인스턴스에 데이터를 저장한다.
이와 같이, 본 발명의 실시예에 따른 대용량 데이터 실시간 처리 시스템(200)은 실시간 프로세싱 서버(210)가 직접 데이터를 저장할 마스터 인스턴스의 포트 정보를 관리하지 않고 메모리 관리서버(230)로부터 수신하여 데이터를 저장하기 때문에, 메모리 서버(220)의 용량 초과에 따른 인스턴스의 추가와 관리가 용이하다.
읽기 요청 처리부(232)는 실시간 프로세싱 서버(210)로부터 수신되는 데이터 읽기 요청에 따라 상기 데이터 읽기 요청에 포함된 데이터 키에 맵핑된 포트 정보를 추출하여 실시간 프로세싱 서버(210)로 제공한다. 따라서, 실시간 프로세싱 서버(210)는 읽기 요청 처리부(232)로부터 수신되는 포트 정보에 기초하여 해당 포트가 할당된 메모리 서버(220)의 메모리 캐시부(221)로부터 데이터를 읽어올 수 있다.
도 4를 참고하면, 읽기 요청 처리부(232)는 읽기 포트 요청 수신 모듈(232a), 슬레이브 인스턴스 포트 정보 검색 모듈(232b), 포트 정보 로딩 모듈(231g), 및 포트 정보 송신 모듈(231i) 중 적어도 하나를 포함할 수 있다.
읽기 포트 요청 수신 모듈(232a)은 실시간 프로세싱 서버(210)로부터 데이터 읽기의 대상이 되는 슬레이브 인스턴스의 포트 정보를 요청하는 읽기 포트 요청을 수신한다. 실시간 프로세싱 서버(210)로부터 수신되는 데이터 읽기 요청에는 어플리케이션 고유 ID, 및 데이터 키 중 적어도 하나의 정보가 포함될 수 있다.
이 때, 어플리케이션 고유 ID는 실시간 프로세싱 서버(210)에 포함된 복수개의 실시간 프로세싱부(211)에서 수행하는 어플리케이션을 식별하기 위한 ID를 의미할 수 있다. 즉, 전술한 바와 같이, 복수개의 실시간 프로세싱부(211)는 각각 페치, 로딩, 설비맵핑, 재료맵핑, 데이터 보정, 데이터 정렬 등과 같은 다양한 어플리케이션을 분산하여 병렬처리할 수 있으며, 어플리케이션 고유 ID는 각각의 실시간 프로세싱부(211)가 수행한 어플리케이션을 식별할 수 있는 값으로 설정되어 있다.
데이터 키는 데이터가 생성된 공정이나 시간 등을 나타내기 위한 키를 의미할 수 있다.
또한, 읽기 포트 요청 수신 모듈(232a)은 데이터 읽기 요청에 포함된 데이터 키의 유효성을 검사한 후, 유효성이 검증된 데이터 키만을 슬레이브 인스턴스 포트 정보 검색 모듈(232b)로 전달할 수 있다.
구체적으로, 읽기 포트 요청 수신 모듈(232a)은 데이터 읽기 요청에 포함된 데이터 키의 길이나 형식과 같은 데이터 규격이 실시간 프로세싱 서버(210)와 미리 약속된 규격에 일치하는지 확인하는 방식으로 데이터 키의 유효성을 검증할 수 있다. 다만, 데이터 키의 유효성을 검증하는 방식은 상기의 예에 한정되지 않는다.
슬레이브 인스턴스 포트 정보 검색 모듈(232b)은 읽기 포트 요청 수신 모듈(232a)로부터 데이터 읽기 요청을 전달받고, 데이터 읽기 요청에 포함된 데이터 키에 맵핑된 슬레이브 인스턴스 포트 정보를 검색한다. 즉, 실시간 프로세싱 서버(210)가 읽기를 요청하는 데이터는 메모리 서버(220)에 이미 저장되어 있는 데이터이므로, 슬레이브 인스턴스 포트 정보 검색 모듈(232b)은 전달받은 데이터 읽기 요청에 포함된 데이터 키에 미리 맵핑되어 있는 슬레이브 인스턴스 포트 정보를 검색할 수 있다. 전술한 바와 같이, 메모리 정보 저장서버(240)는 어플리케이션 고유 ID별로 데이터 키와 이에 대한 슬레이브 인스턴스 포트의 맵핑 정보를 관리할 수 있으므로, 슬레이브 인스턴스 포트 정보 검색 모듈(232b)은 데이터 읽기 요청에 포함된 어플리케이션 고유 ID를 참조하여 메모리 정보 저장서버(240)로부터 데이터 키에 맵핑된 슬레이브 인스턴스 포트 정보를 검색할 수 있다.
전술한 바와 같이, 메모리 서버(220)가 3중화된 구성을 갖는 경우, 슬레이브 인스턴스 포트 정보 검색 모듈(232b)은 데이터 키에 맵핑된 2개의 슬레이브 인스턴스의 포트 정보를 후보군으로 추출하고, 추출한 후보군의 데이터 부하를 고려하여 어느 하나의 슬레이브 인스턴스 포트 정보만을 실시간 프로세싱 서버(210)로 제공할 포트 정보로 선택할 수 있다. 즉, 슬레이브 인스턴스 포트 정보 검색 모듈(232b)은 데이터 키에 맵핑된 2개의 슬레이브 인스턴스 중에서 데이터 부하가 상대적으로 낮은 슬레이브 인스턴스의 포트 정보를 선택함으로써, 특정 슬레이브 인스턴스에 과부하가 걸리는 것을 방지할 수 있다.
포트 정보 로딩 모듈(231g)은 메모리 정보 저장서버(240)로부터 데이터 키 리스트, 데이터 키-포트 정보 맵핑 정보, 및 포트 정보 리스트 중 적어도 하나의 정보를 로딩하여 슬레이브 인스턴스 포트 정보 검색 모듈(232b)로 제공한다. 구체적으로 포트 정보 로딩 모듈(231g)은 메모리 정보 저장서버(240)에 포함된 데이터 키 리스트 저장부(243)로부터 데이터 키 리스트를 로딩하고, 데이터 키-포트 정보 맵핑 정보 저장부(244)로부터 데이터 키-포트 정보 맵핑 정보를 로딩하고, 포트 정보 리스트 저장부(245)로부터 포트 정보 리스트를 로딩할 수 있다.
포트 정보 로딩 모듈(231g)은 메모리 정보 저장서버(240)로부터 로딩한 데이터 키 리스트, 데이터 키-포트 정보 맵핑 정보, 및 포트 정보 리스트 중 적어도 하나의 정보를 슬레이브 인스턴스 포트 정보 검색 모듈(232b)로 전달한다. 즉, 슬레이브 인스턴스 포트 정보 검색 모듈(232b)은 메모리 정보 저장서버(240)를 직접 참조하거나 포트 정보 로딩 모듈(231g)을 참조하여 데이터 저장 요청에 포함된 데이터 키에 맵핑된 슬레이브 인스턴스의 포트 정보가 존재하는지 판단할 수 있다. 그리고, 슬레이브 인스턴스 포트 정보 검색 모듈(232b)은 데이터 키에 맵핑된 슬레이브 인스턴스의 포트 정보가 존재하는 경우, 맵핑된 슬레이브 인스턴스의 포트 정보를 포트 정보 송신 모듈(231i)로 전달한다.
포트 정보 송신 모듈(231i)은 슬레이브 인스턴스 포트 정보 검색 모듈(232b)로부터 전달되는 포트 정보를 데이터 읽기 요청을 송신한 실시간 프로세싱 서버(210)로 송신한다.
그리고, 데이터 읽기 요청을 송신한 실시간 프로세싱 서버(210)는 메모리 서버(220)의 메모리 캐시부 중, 포트 정보 송신 모듈(231i)로부터 수신한 포트 정보가 할당된 메모리 캐시부의 슬레이브 인스턴스로부터 데이터를 읽는다.
이와 같이, 본 발명의 실시예에 따른 대용량 데이터 실시간 처리 시스템(200)은 실시간 프로세싱 서버(210)가 직접 데이터 키에 따라 데이터를 읽어 올 슬레이브 인스턴스의 포트 정보를 관리하지 않고 메모리 관리서버(230)로부터 수신하여 데이터를 읽기 때문에, 메모리 서버(220)의 용량 초과에 따른 인스턴스의 추가와 관리가 용이하다.
상기에서는 저장 요청 처리부(231)와 읽기 요청 처리부(232)가 동일한 포트 정보 로딩 모듈(231g) 및 포트 정보 송신 모듈(231i)을 포함하는 것으로 기재하였으나, 본 발명은 이에 한정되지 않는다. 즉, 저장 요청 처리부(231)와 읽기 요청 처리부(232)는 포트 정보 로딩 모듈(231g) 및 포트 정보 송신 모듈(231i)을 공유하는 것도 가능하지만, 별도의 구성으로서 포트 정보 로딩 모듈 및 포트 정보 송신 모듈을 개별적으로 포함하는 것도 가능하다.
도 2를 참고하면, 본 발명의 실시예에 따른 대용량 데이터 실시간 처리 시스템(200)의 메모리 관리서버(230)는 밸런싱부(233)를 더 포함할 수 있다.
밸런싱부(233)는 메모리 서버(220)에 포함된 복수개의 메모리 캐시부(221) 각각의 데이터 부하를 참조하여 데이터 부하가 높은 메모리 캐시부(221)의 데이터를 부하가 낮은 메모리 캐시부(221)로 이동시킨다. 밸런싱부(233)는 테이블 ID 별로 포함되어 맵핑되어 있는 어느 한 메모리 캐시부(221)의 데이터 부하가 높은 경우 동일한 테이블 ID에 맵핑된 복수개의 메모리 캐시부(221) 중에서 데이터를 이동시킬 메모리 캐시부(221)가 존재하는지 확인하여 데이터 부하가 낮은 메모리 캐시부(221)로 데이터를 이동시킨다.
구체적으로 테이블-포트 정보 맵핑 정보 저장부(242)에는 테이블 ID 별로 맵핑된 복수개의 메모리 캐시부(221) 각각의 마스터 인스턴스의 포트 정보, 및 슬레이브 인스턴스의 포트 정보가 저장되어 있으므로, 밸런싱부(233)는 동일 테이블 내에 포함된 특정 메모리 캐시부(221)의 데이터를 부하가 낮은 타 메모리 캐시부(221)로 이동시킨다. 그리고, 밸런싱부(233)는 데이터 이동에 따라 수정된, 데이터 키-포트 정보 맵핑 정보를 데이터 키-포트 정보 맵핑 정보 저장부(244)에 갱신하여 저장한다.
또한, 밸런싱부(233)는 동일 테이블에 포함되는 메모리 캐시부(221) 중에서 데이터를 이동시킬 메모리 캐시부(221)가 존재하지 않는 경우, 다른 테이블에 포함되는 메모리 캐시부(221) 중에서 데이터 부하가 낮은 메모리 캐시부(221)로 데이터를 이동시킨다. 그리고, 밸런싱부(233)는 데이터 이동에 따라 수정된, 데이터 키와 포트 정보가 맵핑된 데이터 키-포트 정보 맵핑 정보를 데이터 키-포트 정보 맵핑 정보 저장부(244)에 갱신하여 저장하고, 데이터 이동에 따라 수정된 테이블과 포트 정보가 맵핑된 테이블-포트 정보를 테이블-포트 정보 맵핑 정보 저장부(242)에 갱신하여 저장한다.
즉, 동일 테이블에 포함된 메모리 캐시부(221) 내에서 데이터를 이동시킬 경우테이블에 맵핑된 포트 정보는 유지되기 때문에 테이블-포트 정보를 갱신할 필요가 없지만, 다른 테이블에 포함된 메모리 캐시부(221)로 데이터를 이동시킬 경우 테이블에 맵핑된 포트 정보도 변경되기 때문에 새로 맵핑된 테이블-포트 정보를 테이블-포트 정보 맵핑 정보 저장부(242)에 저장한다.
전술한 바와 같이, 각 메모리 캐시부(221)의 마스터 인스턴스 및 슬레이브 인스턴스는 싱글 스레드 형태로 구성되기 때문에, 부하를 반영하여 데이터를 이동시킬 경우 해당 데이터의 데이터 키에 맵핑된 마스터 인스턴스의 포트 정보와 슬레이브 인스턴스의 포트 정보는 함께 갱신될 수 있다.
이를 위해, 메모리 정보 저장서버(240)는 부하 정보 저장부(246)를 더 포함할 수 있다.
부하 정보 저장부(246)에는 각 메모리 캐시부(221)의 마스터 인스턴스 및 슬레이브 인스턴스에 할당된 포트 별로 데이터 저장이나 읽기 동작시의 지연 시간을 주기적으로 기록한 부하 정보가 저장되어 있다.
따라서, 밸런싱부(233)는 부하 정보 저장부(246)를 참조하여 데이터 부하가 높은 메모리 캐시부(221)를 확인하고 데이터를 이동시킴으로써, 데이터 부하를 균일하게 분산시킬 수 있다.
본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 데이터 수집 장치 2: 네트워크
3: 어플리케이션 시스템 1000: 스마트팩토리 플랫폼
100: 인터페이스 시스템 200: 대용량 데이터 실시간 처리 시스템
210: 실시간 프로세싱 서버 220: 메모리 서버
230: 메모리 관리서버 240: 메모리 정보 저장서버
300: 빅데이터 분석 시스템

Claims (14)

  1. 복수개의 공정이 연결되는 연속공정에서 발생된 데이터를 처리하기 위한 대용량 데이터 실시간 처리 시스템에 있어서,
    상기 연속공정으로부터 수집된 수집 데이터 간의 연계 처리를 위해 상기 수집 데이터를 정렬하는 적어도 하나의 실시간 프로세싱부를 포함하는 실시간 프로세싱 서버;
    상기 정렬된 수집 데이터가 분산 저장되는 복수개의 메모리 캐시부를 포함하는 메모리 서버; 및
    상기 정렬된 수집 데이터가 저장될 메모리 캐시부의 포트 정보, 및 상기 수집 데이터의 정렬을 위해 읽어야 할 데이터가 저장된 메모리 캐시부의 포트 정보를 관리하고, 상기 실시간 프로세싱부의 요청에 따라 데이터 저장 및 읽기를 위한 포트 정보를 제공하는 메모리 관리서버를 포함하고,
    상기 메모리 관리서버는 상기 실시간 프로세싱부로부터 데이터 저장 요청이 수신되면 상기 복수개의 메모리 캐시부에 포함된 마스터 인스턴스의 포트 정보를 상기 실시간 프로세싱부로 제공하고, 상기 실시간 프로세싱부는 상기 포트 정보에 해당하는 마스터 인스턴스에 상기 데이터를 저장하고,
    상기 메모리 관리서버는 상기 실시간 프로세싱부로부터 데이터 읽기 요청이 수신되면 상기 복수개의 메모리 캐시부에 포함된 슬레이브 인스턴스의 포트 정보를 상기 실시간 프로세싱부로 제공하고, 상기 실시간 프로세싱부는 상기 포트 정보에 해당하는 슬레이브 인스턴스에서 상기 데이터를 읽어오는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  2. 제1항에 있어서,
    상기 메모리 관리서버는,
    상기 실시간 프로세싱부로부터 수신되는 데이터 저장 요청에 따라 상기 데이터 저장 요청에 포함된 데이터 키에 맵핑된 포트 정보를 추출하여 상기 실시간 프로세싱부로 제공하는 저장 요청 처리부; 및
    상기 실시간 프로세싱부로부터 수신되는 데이터 읽기 요청에 따라 상기 데이터 읽기 요청에 포함된 데이터 키에 맵핑된 포트 정보를 추출하여 상기 실시간 프로세싱부로 제공하는 읽기 요청 처리부를 포함하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  3. 제2항에 있어서,
    상기 저장 요청 처리부는, 상기 데이터 저장 요청에 포함된 데이터 키에 맵핑된 포트 정보가 존재하지 않으면 상기 데이터 키에 새로운 포트 정보를 할당하고, 상기 할당된 새로운 포트 정보를 상기 실시간 프로세싱부로 제공하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  4. 제3항에 있어서,
    상기 데이터 저장 요청은 어플리케이션 고유ID, 테이블 ID 및 데이터 키 중 적어도 하나의 정보를 포함하고,
    상기 저장 요청 처리부는, 상기 데이터 저장 요청에 포함된 테이블 ID가 기 생성된 테이블 리스트에 존재하지 않으면, 상기 데이터 저장 요청에 포함된 테이블 ID를 갖는 테이블을 생성하여 상기 어플리케이션 고유 ID와 함께 상기 테이블 리스트에 추가하고, 상기 데이터 키에 할당된 새로운 포트 정보를 상기 생성된 테이블에 맵핑하여 저장하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  5. 제3항에 있어서,
    상기 저장 요청 처리부는, 상기 데이터 저장 요청에 포함된 데이터 키에 맵핑된 포트 정보가 존재하지 않으면 상기 복수개의 메모리 캐시부의 부하 및 용량을 고려하여 상기 수집 데이터가 저장될 메모리 캐시부를 결정하고, 상기 결정된 메모리 캐시부의 포트 정보를 상기 수집 데이터에 새롭게 할당하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  6. 제5항에 있어서,
    상기 저장 요청 처리부는, 상기 복수개의 메모리 캐시부의 부하 및 용량을 고려한 결과 상기 수집 데이터가 저장될 메모리 캐시부가 존재하지 않으면, 상기 메모리 서버가 새로운 메모리 캐시부를 생성하고 포트 정보를 할당하도록 포트 정보 설정 파일을 생성하여 상기 메모리 서버로 전달하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  7. 제2항에 있어서,
    상기 읽기 요청 처리부는, 상기 데이터 읽기 요청에 포함된 데이터 키의 유효성을 검사한 후, 유효성이 검증된 데이터 키에 대해 맵핑된 포트 정보를 추출하여 상기 실시간 프로세싱부로 제공하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  8. 제7항에 있어서,
    상기 읽기 요청 처리부는, 상기 데이터 읽기 요청에 포함된 데이터 키의 길이 및 형식을 포함하는 데이터 규격이 상기 실시간 프로세싱부와 미리 약속된 규격에 일치하는지에 기초하여 상기 유효성을 검사하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  9. 복수개의 공정에서 수집된 수집 데이터 간의 연계 처리를 위해 상기 수집 데이터를 정렬하는 적어도 하나의 실시간 프로세싱부를 포함하는 실시간 프로세싱 서버;
    상기 정렬된 수집 데이터가 분산 저장되는 복수개의 메모리 캐시부를 포함하는 메모리 서버; 및
    상기 정렬된 수집 데이터가 저장될 메모리 캐시부의 포트 정보, 및 상기 수집 데이터의 정렬을 위해 읽어야 할 데이터가 저장된 메모리 캐시부의 포트 정보를 관리하고, 상기 실시간 프로세싱부의 요청에 따라 데이터 저장 및 읽기를 위한 포트 정보를 제공하는 메모리 관리서버를 포함하고,
    상기 메모리 관리서버는, 상기 실시간 프로세싱부로부터 수신되는 데이터 저장 요청에 따라 상기 데이터 저장 요청에 포함된 데이터 키에 맵핑된 포트 정보를 추출하여 상기 실시간 프로세싱부로 제공하는 저장 요청 처리부; 및 상기 실시간 프로세싱부로부터 수신되는 데이터 읽기 요청에 따라 상기 데이터 읽기 요청에 포함된 데이터 키에 맵핑된 포트 정보를 추출하여 상기 실시간 프로세싱부로 제공하는 읽기 요청 처리부를 포함하며,
    상기 복수개의 메모리 캐시부는, 마스터 인스턴스 및 슬레이브 인스턴스를 각각 포함하는 제1메모리 캐시부 및 제2메모리 캐시부를 포함하고,
    상기 저장 요청 처리부는, 상기 데이터 저장 요청에 포함된 데이터 키에 맵핑된 마스터 인스턴스의 포트 정보를 추출하고,
    상기 읽기 요청 처리부는, 상기 데이터 읽기 요청에 포함된 데이터 키에 맵핑된 슬레이브 인스턴스의 포트 정보를 추출하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  10. 제9항에 있어서,
    상기 제1메모리 캐시부의 마스터 인스턴스에 상기 수집 데이터가 저장되면 동일한 데이터가 상기 제2메모리 캐시부의 슬레이브 인스턴스에도 복제되고, 상기 제2메모리 캐시부의 마스터 인스턴스에 상기 수집 데이터가 저장되면 동일한 데이터가 상기 제1메모리 캐시부의 슬레이브 인스턴스에 복제되고,
    상기 제1메모리 캐시부 및 제2메모리 캐시부 중 어느 하나의 마스터 인스턴스에 오류가 발생하면 나머지 메모리 캐시부의 슬레이브 인스턴스가 마스터 인스턴스로 동작하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  11. 복수개의 공정이 연결되는 연속공정에서 발생된 데이터를 처리하기 위한 대용량 데이터 실시간 처리 시스템에 있어서,
    수집된 수집 데이터 간의 연계 처리를 위해 상기 수집 데이터를 정렬하는 적어도 하나의 실시간 프로세싱부를 포함하는 실시간 프로세싱 서버;
    상기 정렬된 수집 데이터가 분산 저장되는 복수개의 메모리 캐시부를 포함하는 메모리 서버; 및
    상기 정렬된 수집 데이터가 저장될 메모리 캐시부의 포트 정보, 및 상기 수집 데이터의 정렬을 위해 읽어야 할 데이터가 저장된 메모리 캐시부의 포트 정보를 관리하고, 상기 실시간 프로세싱부의 요청에 따라 데이터 저장 및 읽기를 위한 포트 정보를 제공하는 메모리 관리서버를 포함하고,
    상기 메모리 관리서버는, 상기 실시간 프로세싱부로부터 수신되는 데이터 저장 요청에 따라 상기 데이터 저장 요청에 포함된 데이터 키에 맵핑된 포트 정보를 추출하여 상기 실시간 프로세싱부로 제공하는 저장 요청 처리부; 및 상기 실시간 프로세싱부로부터 수신되는 데이터 읽기 요청에 따라 상기 데이터 읽기 요청에 포함된 데이터 키에 맵핑된 포트 정보를 추출하여 상기 실시간 프로세싱부로 제공하는 읽기 요청 처리부를 포함하며,
    상기 복수개의 메모리 캐시부는, 마스터 인스턴스, 제1슬레이브 인스턴스, 및 제2슬레이브 인스턴스를 각각 포함하는 제1메모리 캐시부, 제2메모리 캐시부, 및 제3메모리 캐시부를 포함하고,
    상기 저장 요청 처리부는, 상기 데이터 저장 요청에 포함된 데이터 키에 맵핑된 마스터 인스턴스의 포트 정보를 추출하고,
    상기 읽기 요청 처리부는, 상기 데이터 읽기 요청에 포함된 데이터 키에 맵핑된 제1슬레이브 인스턴스 및 제2슬레이브 인스턴스의 포트 정보를 추출하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  12. 제11항에 있어서,
    상기 읽기 요청 처리부는, 상기 제1슬레이브 인스턴스 및 상기 제2슬레이브 인스턴스의 부하량을 고려하여 어느 하나를 선택하고, 상기 선택된 슬레이브 인스턴스의 포트 정보를 상기 실시간 프로세싱부로 전달하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  13. 제1항에 있어서,
    상기 실시간 프로세싱부는,
    상기 수집 데이터에 상기 수집 데이터가 발생된 공정의 공정 식별자를 맵핑하고, 서로 다른 공정에서 수집된 수집 데이터간의 연계 처리를 위해 상기 맵핑된 수집 데이터를 정렬하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
  14. 제13항에 있어서,
    상기 실시간 프로세싱부가 복수개로 구성되는 경우, 상기 복수개의 실시간 프로세싱부는 상기 공정 식별자의 맵핑 및 상기 맵핑된 수집 데이터의 정렬을 분산 수행하는 것을 특징으로 하는 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템.
KR1020160184308A 2016-12-30 2016-12-30 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템 KR101951527B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160184308A KR101951527B1 (ko) 2016-12-30 2016-12-30 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160184308A KR101951527B1 (ko) 2016-12-30 2016-12-30 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템

Publications (2)

Publication Number Publication Date
KR20180078991A KR20180078991A (ko) 2018-07-10
KR101951527B1 true KR101951527B1 (ko) 2019-02-22

Family

ID=62915890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160184308A KR101951527B1 (ko) 2016-12-30 2016-12-30 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템

Country Status (1)

Country Link
KR (1) KR101951527B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102193969B1 (ko) 2019-03-29 2020-12-22 한국전자통신연구원 동적 데이터의 안전한 분산 데이터 관리를 위한 방법 및 시스템
KR102166036B1 (ko) * 2019-12-13 2020-10-15 (주)교림소프트 인공 지능 기반 캐시 관리 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100082131A1 (en) * 2008-09-30 2010-04-01 John Joseph Baier System and method for the automatic aggregation of industrial automation displays

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101622810B1 (ko) * 2013-11-29 2016-05-31 주식회사 포스코아이씨티 빅데이터 분산 시스템 및 방법
KR20150112357A (ko) * 2014-03-27 2015-10-07 (주)시엠아이코리아 센서 데이터 처리 시스템 및 방법
KR102233812B1 (ko) * 2014-07-30 2021-03-31 삼성전자주식회사 제조 공정에 있어서 설비로부터의 데이터를 처리하는 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100082131A1 (en) * 2008-09-30 2010-04-01 John Joseph Baier System and method for the automatic aggregation of industrial automation displays

Also Published As

Publication number Publication date
KR20180078991A (ko) 2018-07-10

Similar Documents

Publication Publication Date Title
KR102125219B1 (ko) 데이터 처리 방법, 장치, 시스템, 프로그램 및 컴퓨터 판독가능한 기록매체
KR102216311B1 (ko) Api 기반의 스마트팩토리 시스템
KR101892350B1 (ko) 연속공정용 대용량 데이터를 실시간으로 처리하기 위한 스마트팩토리 플랫폼
KR101892351B1 (ko) 스마트 팩토리를 위한 빅데이터 분석 시스템
KR101951526B1 (ko) 스마트팩토리 플랫폼을 위한 인터페이스 미들웨어 시스템 및 그 동작방법
CN107798460B (zh) 用于处理在连续工艺中获得的数据的智能工厂平台
EP2083336B1 (en) Self-organized distributed directory
US20080294872A1 (en) Defragmenting blocks in a clustered or distributed computing system
KR101938946B1 (ko) 대량의 데이터 수집을 위한 인터페이스 미들웨어 시스템 및 인터페이스 미들웨어 시스템의 데이터 수집 방법
KR101951527B1 (ko) 메모리 캐시 자동 관리를 위한 대용량 데이터 실시간 처리 시스템
US10091066B2 (en) Integration method and system
CN102339025B (zh) 用于启动机器或者机器系列中的机器的方法和规划系统
CN107071036A (zh) 一种下载驱动文件的方法、网络服务器及系统
KR20180026596A (ko) 연속공정용 데이터를 실시간으로 처리하는 분산병렬 처리시스템
EP3703342B1 (en) Dynamic load balancing in network centric process control systems
US20090313230A1 (en) Computing job information managing device, terminal, and computing job information managing system
CN102045203A (zh) 网络管理的方法、装置及网络管理系统
KR102312523B1 (ko) 대량의 데이터 수집을 위한 인터페이스 미들웨어 시스템
KR101892352B1 (ko) 연속공정용 데이터를 표준화하는 미들웨어 시스템
KR102026301B1 (ko) 데이터 유실 방지 기능을 구비한 분산 병렬 처리 시스템 및 방법
US20180173740A1 (en) Apparatus and Method for Sorting Time Series Data
KR20190040162A (ko) 연속공정용 데이터를 실시간으로 처리하는 분산병렬 처리시스템
JPWO2013121572A1 (ja) 分散システムにおける異種システムデータ提供方法
Fimmers et al. Asset Administration Shells in Tool Lifecycle Monitoring
CN110506261A (zh) 用于运行数据存储系统的方法、用于执行该方法的计算机程序和根据该方法工作的数据存储系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant