KR20220028875A - Distributed Processing Technique for Small-scale Distributed Resource Brokerage Platform - Google Patents

Distributed Processing Technique for Small-scale Distributed Resource Brokerage Platform Download PDF

Info

Publication number
KR20220028875A
KR20220028875A KR1020200110477A KR20200110477A KR20220028875A KR 20220028875 A KR20220028875 A KR 20220028875A KR 1020200110477 A KR1020200110477 A KR 1020200110477A KR 20200110477 A KR20200110477 A KR 20200110477A KR 20220028875 A KR20220028875 A KR 20220028875A
Authority
KR
South Korea
Prior art keywords
data
real
module
channel
small
Prior art date
Application number
KR1020200110477A
Other languages
Korean (ko)
Inventor
신화철
Original Assignee
주식회사 코어텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코어텍 filed Critical 주식회사 코어텍
Priority to KR1020200110477A priority Critical patent/KR20220028875A/en
Publication of KR20220028875A publication Critical patent/KR20220028875A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/35—Utilities, e.g. electricity, gas or water
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/30—Information sensed or collected by the things relating to resources, e.g. consumed power
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y30/00—IoT infrastructure
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring

Abstract

The present invention relates to a small-scale distribution resource brokerage transaction platform distribution processing technique and, more specifically, to a small-scale distribution resource brokerage transaction platform distribution processing technique which stores and processes multiple data such as energy IoT data, various sensor data, open data, and power plant energy data in one system to generate a parallel data structure to guarantee data access in the same environment as a single server and store it as big data.

Description

소규모 분산자원 중개거래 플랫폼 분산처리 기법{Distributed Processing Technique for Small-scale Distributed Resource Brokerage Platform}Distributed Processing Technique for Small-scale Distributed Resource Brokerage Platform

본 발명은 소규모 분산자원 중개거래 플랫폼 분산처리 기법에 관한 것으로, 보다 구체적으로는 에너지 IoT 데이터, 각종 센서 데이터 및 오픈 데이터, 발전소 에너지 데이터 등 여러 데이터를 하나의 시스템에서 저장, 가공하여 단일 서버와 동일한 환경에서 데이터 접근이 보장되도록 병렬 데이터 구조를 생성하여 빅데이터로 저장할 수 있는 소규모 분산자원 중개거래 플랫폼 분산처리 기법에 관한 것이다.The present invention relates to a distributed processing technique for a small-scale distributed resource brokerage transaction platform. More specifically, multiple data such as energy IoT data, various sensor data and open data, and power plant energy data are stored and processed in one system to be identical to a single server. It relates to a distributed processing technique for a small-scale distributed resource brokerage transaction platform that can create a parallel data structure and store it as big data to ensure data access in the environment.

IoT기반의 에너지 서비스는 대화형/사용자중심/실시간 데이터 분석을 통한 지능적인 서비스로 진화가 예상되며, 이를 원활히 지원하기 위해서는 초기 단계부터 정보의 효율적 수집?관리?분석을 위한 각 기술의 적용범위와 특징을 파악하여 에너지 IoT의 특성을 충분히 반영한 시스템 개발이 중요하다.The IoT-based energy service is expected to evolve into an intelligent service through interactive/user-centered/real-time data analysis. It is important to identify the characteristics and develop a system that fully reflects the characteristics of the energy IoT.

그러나, 현재 국내 전력 시스템은 폐쇄망으로 운영되고 있으며, 일부 스마트 그리드를 통해 진화하고 있으나 정형화된 서비스 중심의 인프라 구축 및 운영으로 인해 현재 정체되어 있는 상황이다.However, the current domestic power system is operated as a closed network, and although it is evolving through some smart grids, it is currently stagnant due to the establishment and operation of a standardized service-oriented infrastructure.

특히 초연결 사회를 지향하는 IoT 기술을 수용하기에는 어려움이 있는 전력 분야 연결망에 대한 근본적인 개선이 필요하다.In particular, it is necessary to fundamentally improve the power sector connection network, which is difficult to accommodate IoT technology that aims for a hyper-connected society.

또한, IoT 기술을 활용하여 낭비되는 에너지를 효율적으로 인식하는 대화형 에너지 IoT 기기개발을 위해서는 지능적 Energy Aware 기술, IoT 기술 기반의 에너지 절감을 통한 사용자 중심의 에너지 IoT 절감 시스템 구축, 다양한 IoT 엔티티에서 수집되는 빅데이터를 실시간/지능적으로 처리/분석하기 위한 IoT 에너지 빅데이터 분석 플랫폼, 다수의 IoT 엔티티를 에너지 효율적으로 운영하기 위한 IoT-Waste 절감 운용 기술의 개발이 핵심 사항이다.In addition, to develop an interactive energy IoT device that efficiently recognizes wasted energy using IoT technology, build a user-oriented IoT energy saving system through intelligent Energy Aware technology, IoT technology-based energy saving, and collect from various IoT entities The key issues are the IoT energy big data analysis platform for real-time/intelligent processing/analysis of big data, and the development of IoT-Waste reduction operation technology to energy-efficiently operate multiple IoT entities.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로 본 발명의 목적은 에너지 IoT 데이터, 각종 센서 데이터 및 오픈 데이터 등 여러 데이터를 하나의 시스템에서 저장, 가공하여 단일 서버와 동일한 환경에서 데이터 접근이 보장되도록 병렬 데이터 구조를 생성하여 빅데이터로 저장할 수 있는 소규모 분산자원 중개거래 플랫폼 분산처리 기법을 제공하는 것이다.The present invention has been devised to solve the above problems, and an object of the present invention is to store and process multiple data such as energy IoT data, various sensor data, and open data in one system to ensure data access in the same environment as a single server It is to provide a distributed processing technique for a small-scale distributed resource brokerage transaction platform that can create a parallel data structure and store it as big data.

상기의 목적을 달성하기 위하여 본 발명은 에너지 IoT 데이터, 센서 데이터 및 오픈 데이터들을 수신하여 MG 데이터 파일로 기록하는 데이터 수집모듈; 상기 MG 데이터 파일을 수신하여 Hbase 채널 또는 실시간 분석 채널에 기록하는 전처리 모듈; 상기 전처리 모듈로부터 상기 Hbase 채널의 MG 데이터를 전송받아 저장하는 데이터 저장 모듈; 및 상기 전처리 모듈로부터 상기 실시간 분석 채널의 MG 데이터를 전송받아 실시간 분석 메시지를 처리하는 실시간 모니터링 모듈;을 포함하는 소규모 분산자원 중개거래 플랫폼 분산처리 기법을 제공한다.In order to achieve the above object, the present invention provides a data collection module for receiving energy IoT data, sensor data and open data and recording it as an MG data file; a preprocessing module for receiving the MG data file and recording it in an Hbase channel or a real-time analysis channel; a data storage module for receiving and storing the MG data of the Hbase channel from the preprocessing module; and a real-time monitoring module that receives the MG data of the real-time analysis channel from the pre-processing module and processes the real-time analysis message.

바람직한 실시예에 있어서, 상기 데이터 수집모듈은, PDC와 통신하여, 수신된 센서 데이터들을 MG 데이터 파일에 기록하는 FEP(Front-End processor); MG 데이터를 저장하는 MG 데이터베이스; MG 데이터를 모니터링하고, 내용 변경시 변경내용을 수집하는 변경자료 수집기; 및 변경자료 수집기에서 전달 받은 데이터를 상기 전처리 모듈로 전송하는 MG 데이터 수집 에이전트;를 포함한다.In a preferred embodiment, the data collection module comprises: a front-end processor (FEP) that communicates with the PDC and records the received sensor data in an MG data file; MG database for storing MG data; a change data collector that monitors the MG data and collects the changes when the content is changed; and an MG data collection agent that transmits the data received from the change data collector to the pre-processing module.

바람직한 실시예에 있어서, 상기 전처리 모듈:은, 상기 MG 데이터 수집 에이전트로부터 MG 데이터 파일을 수신하여 상기 Hbase 채널 또는 상기 실시간 분석 채널에 기록하는 메시지 소스 수집기; 상기 Hbase 채널의 MG 데이터를 상기 데이터 저장 모듈에 저장하는 Hbase 저장기; 및 상기 실시간 분석 채널의 MG 데이터를 상기 실시간 모니터링 모듈에 전달하는 실시간 분석기 전달기;를 포함한다.In a preferred embodiment, the pre-processing module includes: a message source collector for receiving the MG data file from the MG data collection agent and recording it in the Hbase channel or the real-time analysis channel; an Hbase storage for storing the MG data of the Hbase channel in the data storage module; and a real-time analyzer transmitter that transmits the MG data of the real-time analysis channel to the real-time monitoring module.

본 발명은 다음과 같은 우수한 효과를 가진다.The present invention has the following excellent effects.

본 발명의 소규모 분산자원 중개거래 플랫폼 분산처리 기법에 의하면, 에너지 IoT 데이터, 각종 센서 데이터 및 오픈 데이터 등 여러 데이터를 하나의 시스템에서 저장, 가공하여 단일 서버와 동일한 환경에서 데이터 접근이 보장되도록 병렬 데이터 처리할 수 있는 장점이 있다.According to the distributed processing technique of the small-scale distributed resource brokerage transaction platform of the present invention, parallel data is stored and processed in one system, such as energy IoT data, various sensor data, and open data, to ensure data access in the same environment as a single server. There are advantages to handling.

도 1은 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법의 연결 환경을 보여주는 도면,
도 2는 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법의 구성도,
도 3은 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법의 데이터 수집 모듈의 구성도,
도 4는 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법의 전처리 모듈의 구성도이다.1 is a diagram showing a connection environment of a distributed processing technique of a small-scale distributed resource brokerage transaction platform according to an embodiment of the present invention;
2 is a block diagram of a small-scale distributed resource brokerage transaction platform distributed processing technique according to an embodiment of the present invention;
3 is a configuration diagram of a data collection module of a small-scale distributed resource brokerage transaction platform distributed processing technique according to an embodiment of the present invention;
4 is a block diagram of a pre-processing module of a distributed processing technique of a small-scale distributed resource brokerage transaction platform according to an embodiment of the present invention.

본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.As for the terms used in the present invention, general terms that are currently widely used are selected as possible, but in certain cases, there are also terms arbitrarily selected by the applicant. So the meaning should be understood.

이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.Hereinafter, the technical configuration of the present invention will be described in detail with reference to preferred embodiments shown in the accompanying drawings.

그러나 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Like reference numerals refer to like elements throughout.

본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법은 에너지 IoT 데이터, 센서 데이터 및 오픈 데이터들 등 여러 데이터들을 병렬 데이터 구조로 하나의 시스템에서 저장 가공하여 모니터링할 수 있는 기법이다.The distributed processing technique of a small-scale distributed resource brokerage transaction platform according to an embodiment of the present invention is a technique that can store and process multiple data such as energy IoT data, sensor data, and open data in a parallel data structure in one system and monitor it.

도 1은 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법의 연결 환경을 보여주는 도면, 도 2는 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법의 구성도, 도 3은 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법의 데이터 수집 모듈의 구성도, 도 4는 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법의 전처리 모듈의 구성도이다. 1 is a diagram showing a connection environment of a distributed processing technique of a small-scale distributed resource brokerage transaction platform according to an embodiment of the present invention , FIG. 3 is a configuration diagram of a data collection module of a small-scale distributed resource brokerage transaction platform distributed processing technique according to an embodiment of the present invention, and FIG. 4 is a small-scale distributed resource brokerage transaction platform distributed processing technique according to an embodiment of the present invention. This is the configuration diagram of the preprocessing module.

도 1을 참조하면, 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법(100)은 에너지 분야 서비스를 위해 각종 데이터를 수집하는 수집 노드들(10)과 연결되고, 상기 수집 노드들(10)로부터 IoT 데이터, 센서 데이터 및 오픈 데이터등 각종 데이터를 수신한다.Referring to FIG. 1 , a distributed processing technique 100 of a small-scale distributed resource intermediary transaction platform according to an embodiment of the present invention is connected to collection nodes 10 that collect various data for an energy field service, and the collection node Various data such as IoT data, sensor data, and open data are received from the devices 10 .

또한, 도 2를 참조하면, 상기 IoT TOC 플랫폼 분산처리 시스템(100)은 데이터 수집모듈(110), 전처리 모듈(120), 데이터 저장 모듈(130) 및 실시간 모니터링 모듈(140)을 포함하여 이루어진다.In addition, referring to FIG. 2 , the IoT TOC platform distributed processing system 100 includes a data collection module 110 , a preprocessing module 120 , a data storage module 130 , and a real-time monitoring module 140 .

상기 데이터 수집모듈(110)은 상기 수집 노드들(10)로부터 IoT 데이터, 센서 데이터 및 오픈 데이터를 수신하여 MG 데이터 파일로 기록한다.The data collection module 110 receives IoT data, sensor data, and open data from the collection nodes 10 and records it as an MG data file.

또한, 상기 데이터 수집모듈(110)은 수집대상을 각각 분배하여 각 노드 간 동일 테이블 이름 저장 및 서로 다른 테이블 이름 저장을 동시에 지원함으로써 병렬 데이터 질의 처리가 가능하다.In addition, the data collection module 110 supports parallel data query processing by simultaneously supporting storage of the same table name and storage of different table names between nodes by distributing collection targets to each other.

또한, 운영 중 병렬 노드를 추가하거나 다른 노드에서 특정 영역의 데이터 원천을 삭제하고 재구성할 수 있으며 특정 기간의 서머리를 수행하거나 검색을 수행할 때 각 노드에 맞게 정제된 형태로 질의가 수행되고 그 결과만을 전송할 수 있다.In addition, parallel nodes can be added during operation or data sources in a specific area can be deleted and reorganized from other nodes. can only be transmitted.

또한, 데이터 처리량 자체가 너무 많아 처리를 수행할 수 없는 경우와 누적된 데이터가 단일 서버의 물리적 확장 공간을 넘어서는 경우 사용자가 접속할 마스터 노드(쿼리 노드)를 논리적으로 설정하고 노드를 분산한다.In addition, when processing cannot be performed because the data throughput itself is too large, or when the accumulated data exceeds the physical expansion space of a single server, logically set the master node (query node) to which the user will connect and distribute the nodes.

또한, 도 3을 참조하여 더욱 자세하게 설명하면, 상기 데이터 수집모듈(110)은 FEP(111,Front-End processor), MG 데이터베이스(112), 변경자료 수집기(113) 및 MG 데이터 수집 에이전트(114)를 포함하여 이루어진다.3, the data collection module 110 includes a Front-End processor (FEP 111), an MG database 112, a change data collector 113, and an MG data collection agent 114. is made including

상기 데이터 수집모듈(110)은 PDC와 통신하여, 수신된 센서 데이터들을 MG 데이터 파일에 기록한다.The data collection module 110 communicates with the PDC and records the received sensor data in the MG data file.

또한, 상기 MG 데이터베이스(112)는 MG 데이터를 저장하는 저장소이다.In addition, the MG database 112 is a storage for storing MG data.

또한, 상기 변경자료 수집기(113)는 MG 데이터를 모니터링하고, 내용 변경시 변경내용을 수집하여, 상기 MG 데이터 수집 에이전트(114)로 전송한다.In addition, the change data collector 113 monitors MG data, collects changes when content is changed, and transmits it to the MG data collection agent 114 .

또한, 상기 MG 데이터 수집 에이전트(114)는 상기 변경자료 수집기(113)에서 전달받은 MG 데이터를 아래에서 설명할 전처리 모듈(120)로 전송한다.In addition, the MG data collection agent 114 transmits the MG data received from the change data collector 113 to the preprocessing module 120 to be described below.

상기 전처리 모듈(120)은 상기 데이터 수집모듈(110)로부터 MG 데이터 파일을 수신하여 Hbase 채널 또는 실시간 분석 채널에 기록한다.The pre-processing module 120 receives the MG data file from the data collection module 110 and records it in an Hbase channel or a real-time analysis channel.

또한, 도 4를 참조하면, 상기 전처리 모듈(120)은 메시지 소스 수집기(121), Hbase 채널(122), 실시간 분석 채널(123), Hbase 저장기(124) 및 실시간 분석기 전달기(125)를 포함하여 이루어진다.In addition, referring to FIG. 4 , the preprocessing module 120 includes a message source collector 121 , an Hbase channel 122 , a real-time analysis channel 123 , an Hbase store 124 and a real-time analyzer forwarder 125 . made including

상기 메시지 소스 수집기(121)는 상기 MG 데이터 수집 에이전트(114)로부터 MG 데이터 파일을 수신하여 상기 Hbase 채널(122) 또는 상기 실시간 분석 채널(123)에 기록한다.The message source collector 121 receives the MG data file from the MG data collection agent 114 and records it in the Hbase channel 122 or the real-time analysis channel 123 .

또한, 상기 Hbase 채널(122)은 저장이 필요한 MG 데이터 큐(Queue)이다.In addition, the Hbase channel 122 is an MG data queue that needs to be stored.

또한, 상기 실시간 분석 채널(123)은 실시간 분석이 필요한 MG 데이터 큐이다.Also, the real-time analysis channel 123 is an MG data queue requiring real-time analysis.

또한, 상기 Hbase 저장기(124)는 상기 Hbase 채널(122)에 저장된 데이터를 아래의 데이터 저장모듈로 전송하며, 다중 Row 트랜젝션을 보장한다.In addition, the Hbase storage 124 transmits the data stored in the Hbase channel 122 to the data storage module below, and guarantees multi-row transactions.

또한, 상기 실시간 분석기 전달기(125)는 상기 실시간 분석 채널(123)의 MG 데이터를 아래의 실시간 모니터링 모듈로 전달한다.In addition, the real-time analyzer transmitter 125 transmits the MG data of the real-time analysis channel 123 to the real-time monitoring module below.

상기 데이터 저장 모듈(130)은 상기 전처리 모듈(120)로부터 상기 Hbase 저장기(124)에 저장된 MG 데이터를 입력받아 빅데이터로 저장한다.The data storage module 130 receives the MG data stored in the Hbase storage 124 from the pre-processing module 120 and stores it as big data.

또한, 상기 MG 데이터는 큐를 접근하여 해당 토픽(Topic)의 데이터를 병렬로 처리하여 분산저장된다.In addition, the MG data is distributed and stored by processing the data of the corresponding topic in parallel by accessing the queue.

상기 실시간 모니터링 모듈(140)은 상기 전처리 모듈(120)로부터 상기 실시간 분석 채널(122)의 MG 데이터를 전송받아 실시간 분석 메시지를 처리한다.The real-time monitoring module 140 receives the MG data of the real-time analysis channel 122 from the pre-processing module 120 and processes the real-time analysis message.

따라서, 본 발명의 일 실시예에 따른 소규모 분산자원 중개거래 플랫폼 분산처리 기법에 의하면, 에너지 IoT 데이터, 각종 센서 데이터 및 오픈 데이터 등 여러 데이터를 하나의 시스템에서 저장, 가공하여 단일 서버와 동일한 환경에서 데이터 접근이 보장되도록 병렬 데이터 처리할 수 있는 장점이 있다.Therefore, according to the distributed processing technique of the small-scale distributed resource brokerage transaction platform according to an embodiment of the present invention, multiple data such as energy IoT data, various sensor data, and open data are stored and processed in one system in the same environment as a single server There is an advantage of parallel data processing to ensure data access.

이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.As described above, the present invention has been illustrated and described with reference to preferred embodiments, but it is not limited to the above-described embodiments, and those of ordinary skill in the art to which the present invention pertains within the scope not departing from the spirit of the present invention Various changes and modifications will be possible.

100:소규모 분산자원 중개거래 플랫폼 분산처리 기법
110:데이터 수집모듈 111:FEP(Front-End processor)
112:MG 데이터베이스 113:변경자료 수집기
114:MG 데이터 수집 에이전트 120:전처리 모듈
121:메시지 소스 수집기 122:Hbase 채널
123:실시간 분석 채널 124:Hbase 저장기
125:실시간 분석기 전달기 130:데이터 저장 모듈
140:실시간 모니터링 모듈100: Small-scale distributed resource brokerage transaction platform distributed processing technique
110: data acquisition module 111: FEP (Front-End processor)
112:MG database 113:change data collector
114:MG data collection agent 120:preprocessing module
121:Message Source Collector 122:Hbase Channel
123: Real-time analysis channel 124: Hbase storage
125: real-time analyzer transmitter 130: data storage module
140: real-time monitoring module

Claims (3)

에너지 IoT 데이터, 센서 데이터 및 오픈 데이터들을 수신하여 MG 데이터 파일로 기록하는 데이터 수집모듈;
상기 MG 데이터 파일을 수신하여 Hbase 채널 또는 실시간 분석 채널에 기록하는 전처리 모듈;
상기 전처리 모듈로부터 상기 Hbase 채널의 MG 데이터를 전송받아 저장하는 데이터 저장 모듈; 및
상기 전처리 모듈로부터 상기 실시간 분석 채널의 MG 데이터를 전송받아 실시간 분석 메시지를 처리하는 실시간 모니터링 모듈;을 포함하는 소규모 분산자원 중개거래 플랫폼 분산처리 기법.a data collection module that receives energy IoT data, sensor data, and open data and records it as an MG data file;
a preprocessing module for receiving the MG data file and recording it in an Hbase channel or a real-time analysis channel;
a data storage module for receiving and storing the MG data of the Hbase channel from the preprocessing module; and
A small-scale distributed resource brokerage transaction platform distributed processing technique including a; a real-time monitoring module that receives the MG data of the real-time analysis channel from the pre-processing module and processes the real-time analysis message. 제 1 항에 있어서,
상기 데이터 수집모듈은,
PDC와 통신하여, 수신된 센서 데이터들을 MG 데이터 파일에 기록하는 FEP(Front-End processor);
MG 데이터를 저장하는 MG 데이터베이스;
MG 데이터를 모니터링하고, 내용 변경시 변경내용을 수집하는 변경자료 수집기; 및
변경자료 수집기에서 전달 받은 데이터를 상기 전처리 모듈로 전송하는 MG 데이터 수집 에이전트;를 포함하는 것을 특징으로 하는 소규모 분산자원 중개거래 플랫폼 분산처리 기법.The method of claim 1,
The data collection module,
a front-end processor (FEP) that communicates with the PDC and writes the received sensor data to the MG data file;
MG database for storing MG data;
a change data collector that monitors the MG data and collects the changes when the content is changed; and
MG data collection agent that transmits the data received from the change data collector to the pre-processing module; A small-scale distributed resource brokerage transaction platform distributed processing technique comprising a. 제 2 항에 있어서,
상기 전처리 모듈:은,
상기 MG 데이터 수집 에이전트로부터 MG 데이터 파일을 수신하여 상기 Hbase 채널 또는 상기 실시간 분석 채널에 기록하는 메시지 소스 수집기;
상기 Hbase 채널의 MG 데이터를 상기 데이터 저장 모듈에 저장하는 Hbase 저장기; 및
상기 실시간 분석 채널의 MG 데이터를 상기 실시간 모니터링 모듈에 전달하는 실시간 분석기 전달기;를 포함하는 것을 특징으로 하는 소규모 분산자원 중개거래 플랫폼 분산처리 기법.3. The method of claim 2,
The pre-processing module: silver,
a message source collector for receiving the MG data file from the MG data collection agent and recording it in the Hbase channel or the real-time analysis channel;
an Hbase storage for storing the MG data of the Hbase channel in the data storage module; and
A small-scale distributed resource brokerage transaction platform distributed processing technique comprising a; a real-time analyzer transmitter that delivers the MG data of the real-time analysis channel to the real-time monitoring module.
KR1020200110477A 2020-08-31 2020-08-31 Distributed Processing Technique for Small-scale Distributed Resource Brokerage Platform KR20220028875A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200110477A KR20220028875A (en) 2020-08-31 2020-08-31 Distributed Processing Technique for Small-scale Distributed Resource Brokerage Platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200110477A KR20220028875A (en) 2020-08-31 2020-08-31 Distributed Processing Technique for Small-scale Distributed Resource Brokerage Platform

Publications (1)

Publication Number Publication Date
KR20220028875A true KR20220028875A (en) 2022-03-08

Family

ID=80813020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200110477A KR20220028875A (en) 2020-08-31 2020-08-31 Distributed Processing Technique for Small-scale Distributed Resource Brokerage Platform

Country Status (1)

Country Link
KR (1) KR20220028875A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497195A (en) * 2022-08-09 2022-12-20 重庆长安汽车股份有限公司 Data control system, method, device and medium for realizing driving record

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497195A (en) * 2022-08-09 2022-12-20 重庆长安汽车股份有限公司 Data control system, method, device and medium for realizing driving record

Similar Documents

Publication Publication Date Title
CN111077870A (en) Intelligent OPC data real-time acquisition and monitoring system and method based on stream calculation
CN202058147U (en) Distribution type real-time database management system
CN110022226A (en) A kind of data collection system and acquisition method based on object-oriented
CN110047014A (en) A kind of user's electricity data restorative procedure based on load curve and history electricity
CN106603958B (en) Distributed storage remote centralized monitoring system and method for transformer substation inspection robot
CN105224445A (en) Distributed tracking system
CN110147470B (en) Cross-machine-room data comparison system and method
CN113032379B (en) Distribution network operation and inspection-oriented multi-source data acquisition method
CN111913933B (en) Power grid historical data management method and system based on unified support platform
CN103117878A (en) Design method of Nagios-based distribution monitoring system
KR20220028875A (en) Distributed Processing Technique for Small-scale Distributed Resource Brokerage Platform
CA2479240A1 (en) Data aware clustered architecture for an image generator
CN114297290A (en) Electric power marketing data sharing application platform
CN113923540A (en) Hierarchical cluster processing method for Internet of things (IOT) collection based on NB-lot network
CN110515938B (en) Data aggregation storage method, equipment and storage medium based on KAFKA message bus
KR20190078745A (en) Energy IoT TOC platform distributed processing system
CN111049898A (en) Method and system for realizing cross-domain architecture of computing cluster resources
KR20220028881A (en) Power Data Pretreatment System
KR20230076627A (en) IoT Platform Distributed Processing System
KR20210065453A (en) Energy Data Preprocessing System
KR20230077038A (en) Smart Farm Energy Data Distributed Processing System
KR20210054674A (en) Distributed resource Brokerage platform distributed processing system
KR20210055166A (en) Energy TOC platform distributed processing system
KR20200058113A (en) Smart Energy Management Platform Distributed Processing System
CN113886472A (en) Data access system, access method, computer equipment and storage medium