KR20190078745A - 에너지 IoT TOC 플랫폼 분산처리 시스템 - Google Patents

에너지 IoT TOC 플랫폼 분산처리 시스템 Download PDF

Info

Publication number
KR20190078745A
KR20190078745A KR1020170180388A KR20170180388A KR20190078745A KR 20190078745 A KR20190078745 A KR 20190078745A KR 1020170180388 A KR1020170180388 A KR 1020170180388A KR 20170180388 A KR20170180388 A KR 20170180388A KR 20190078745 A KR20190078745 A KR 20190078745A
Authority
KR
South Korea
Prior art keywords
data
real
module
channel
iot
Prior art date
Application number
KR1020170180388A
Other languages
English (en)
Inventor
양수영
이우
Original Assignee
주식회사 엘시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘시스 filed Critical 주식회사 엘시스
Priority to KR1020170180388A priority Critical patent/KR20190078745A/ko
Publication of KR20190078745A publication Critical patent/KR20190078745A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 에너지 IoT TOC 플랫폼 분산처리 시스템에 관한 것으로, 보다 구체적으로는 에너지 IoT 데이터, 각종 센서 데이터 및 오픈 데이터 등 여러 데이터를 하나의 시스템에서 저장, 가공하여 단일 서버와 동일한 환경에서 데이터 접근이 보장되도록 병렬 데이터 구조를 생성하여 모니터링하고 빅데이터로 저장할 수 있는 에너지 IoT TOC 플랫폼 분산처리 시스템에 관한 것이다.

Description

에너지 IoT TOC 플랫폼 분산처리 시스템{Energy IoT TOC platform distributed processing system}
본 발명은 에너지 IoT TOC 플랫폼 분산처리 시스템에 관한 것으로, 보다 구체적으로는 에너지 IoT 데이터, 각종 센서 데이터 및 오픈 데이터 등 여러 데이터를 하나의 시스템에서 저장, 가공하여 단일 서버와 동일한 환경에서 데이터 접근이 보장되도록 병렬 데이터 구조를 생성하여 모니터링하고 빅데이터로 저장할 수 있는 에너지 IoT TOC 플랫폼 분산처리 시스템에 관한 것이다.
IoT기반의 에너지 서비스는 대화형/사용자중심/실시간 데이터 분석을 통한 지능적인 서비스로 진화가 예상되며, 이를 원활히 지원하기 위해서는 초기 단계부터 정보의 효율적 수집·관리·분석을 위한 각 기술의 적용범위와 특징을 파악하여 에너지 IoT의 특성을 충분히 반영한 시스템 개발이 중요하다.
그러나, 현재 국내 전력 시스템은 폐쇄망으로 운영되고 있으며, 일부 스마트 그리드를 통해 진화하고 있으나 정형화된 서비스 중심의 인프라 구축 및 운영으로 인해 현재 정체되어 있는 상황이다.
특히 초연결 사회를 지향하는 IoT 기술을 수용하기에는 어려움이 있는 전력 분야 연결망에 대한 근본적인 개선이 필요하다.
또한, IoT 기술을 활용하여 낭비되는 에너지를 효율적으로 인식하는 대화형 에너지 IoT 기기개발을 위해서는 지능적 Energy Aware 기술, IoT 기술 기반의 에너지 절감을 통한 사용자 중심의 에너지 IoT 절감 시스템 구축, 다양한 IoT 엔티티에서 수집되는 빅데이터를 실시간/지능적으로 처리/분석하기 위한 IoT 에너지 빅데이터 분석 플랫폼, 다수의 IoT 엔티티를 에너지 효율적으로 운영하기 위한 IoT-Waste 절감 운용 기술의 개발이 핵심 사항이다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로 본 발명의 목적은 에너지 IoT 데이터, 각종 센서 데이터 및 오픈 데이터 등 여러 데이터를 하나의 시스템에서 저장, 가공하여 단일 서버와 동일한 환경에서 데이터 접근이 보장되도록 병렬 데이터 구조를 생성하여 모니터링할 수 있게 하는 에너지 IoT TOC 플랫폼 분산처리 시스템을 제공하는 것이다.
상기의 목적을 달성하기 위하여 본 발명은 에너지 IoT 데이터, 센서 데이터 및 오픈 데이터들을 수신하여 MG 데이터 파일로 기록하는 데이터 수집모듈; 상기 MG 데이터 파일을 수신하여 Hbase 채널 또는 실시간 분석 채널에 기록하는 전처리 모듈; 상기 전처리 모듈로부터 상기 Hbase 채널의 MG 데이터를 전송받아 저장하는 데이터 저장 모듈; 및 상기 전처리 모듈로부터 상기 실시간 분석 채널의 MG 데이터를 전송받아 실시간 분석 메시지를 처리하는 실시간 모니터링 모듈;을 포함하는 에너지 IoT TOC 플랫폼 분산처리 시스템을 제공한다.
바람직한 실시예에 있어서, 상기 데이터 수집모듈은, PDC와 통신하여, 수신된 센서 데이터들을 MG 데이터 파일에 기록하는 FEP(Front-End processor); MG 데이터를 저장하는 MG 데이터베이스; MG 데이터를 모니터링하고, 내용 변경시 변경내용을 수집하는 변경자료 수집기; 및 변경자료 수집기에서 전달 받은 데이터를 상기 전처리 모듈로 전송하는 MG 데이터 수집 에이전트;를 포함한다.
바람직한 실시예에 있어서, 상기 전처리 모듈:은, 상기 MG 데이터 수집 에이전트로부터 MG 데이터 파일을 수신하여 상기 Hbase 채널 또는 상기 실시간 분석 채널에 기록하는 메시지 소스 수집기; 상기 Hbase 채널의 MG 데이터를 상기 데이터 저장 모듈에 저장하는 Hbase 저장기; 및 상기 실시간 분석 채널의 MG 데이터를 상기 실시간 모니터링 모듈에 전달하는 실시간 분석기 전달기;를 포함한다.
본 발명은 다음과 같은 우수한 효과를 가진다.
본 발명의 에너지 IoT TOC 플랫폼 분산처리 시스템에 의하면, 에너지 IoT 데이터, 각종 센서 데이터 및 오픈 데이터 등 여러 데이터를 하나의 시스템에서 저장, 가공하여 단일 서버와 동일한 환경에서 데이터 접근이 보장되도록 병렬 데이터 처리할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템의 연결 환경을 보여주는 도면,
도 2는 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템의 구성도,
도 3은 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템의 데이터 수집 모듈의 구성도,
도 4는 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템의 전처리 모듈의 구성도이다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템 에너지 IoT 데이터, 센서 데이터 및 오픈 데이터들 등 여러 데이터들을 병렬 데이터 구조로 하나의 시스템에서 저장 가공하여 모니터링할 수 있는 시스템이다.
도 1은 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템의 연결 환경을 보여주는 도면, 도 2는 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템의 구성도, 도 3은 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템의 데이터 수집 모듈의 구성도, 도 4는 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템의 전처리 모듈의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템(100)은 에너지 분야 서비스를 위해 각종 데이터를 수집하는 수집 노드들(10)과 연결되고, 상기 수집 노드들(10)로부터 IoT 데이터, 센서 데이터 및 오픈 데이터등 각종 데이터를 수신한다.
또한, 도 2를 참조하면, 상기 IoT TOC 플랫폼 분산처리 시스템(100)은 데이터 수집모듈(110), 전처리 모듈(120), 데이터 저장 모듈(130) 및 실시간 모니터링 모듈(140)을 포함하여 이루어진다.
상기 데이터 수집모듈(110)은 상기 수집 노드들(10)로부터 IoT 데이터, 센서 데이터 및 오픈 데이터를 수신하여 MG 데이터 파일로 기록한다.
또한, 상기 데이터 수집모듈(110)은 수집대상을 각각 분배하여 각 노드 간 동일 테이블 이름 저장 및 서로 다른 테이블 이름 저장을 동시에 지원함으로써 병렬 데이터 질의 처리가 가능하다.
또한, 운영 중 병렬 노드를 추가하거나 다른 노드에서 특정 영역의 데이터 원천을 삭제하고 재구성할 수 있으며 특정 기간의 서머리를 수행하거나 검색을 수행할 때 각 노드에 맞게 정제된 형태로 질의가 수행되고 그 결과만을 전송할 수 있다.
또한, 데이터 처리량 자체가 너무 많아 처리를 수행할 수 없는 경우와 누적된 데이터가 단일 서버의 물리적 확장 공간을 넘어서는 경우 사용자가 접속할 마스터 노드(쿼리 노드)를 논리적으로 설정하고 노드를 분산한다.
또한, 도 3을 참조하여 더욱 자세하게 설명하면, 상기 데이터 수집모듈(110)은 FEP(111,Front-End processor), MG 데이터베이스(112), 변경자료 수집기(113) 및 MG 데이터 수집 에이전트(114)를 포함하여 이루어진다.
상기 데이터 수집모듈(110)은 PDC와 통신하여, 수신된 센서 데이터들을 MG 데이터 파일에 기록한다.
또한, 상기 MG 데이터베이스(112)는 MG 데이터를 저장하는 저장소이다.
또한, 상기 변경자료 수집기(113)는 MG 데이터를 모니터링하고, 내용 변경시 변경내용을 수집하여, 상기 MG 데이터 수집 에이전트(114)로 전송한다.
또한, 상기 MG 데이터 수집 에이전트(114)는 상기 변경자료 수집기(113)에서 전달받은 MG 데이터를 아래에서 설명할 전처리 모듈(120)로 전송한다.
상기 전처리 모듈(120)은 상기 데이터 수집모듈(110)로부터 MG 데이터 파일을 수신하여 Hbase 채널 또는 실시간 분석 채널에 기록한다.
또한, 도 4를 참조하면, 상기 전처리 모듈(120)은 메시지 소스 수집기(121), Hbase 채널(122), 실시간 분석 채널(123), Hbase 저장기(124) 및 실시간 분석기 전달기(125)를 포함하여 이루어진다.
상기 메시지 소스 수집기(121)는 상기 MG 데이터 수집 에이전트(114)로부터 MG 데이터 파일을 수신하여 상기 Hbase 채널(122) 또는 상기 실시간 분석 채널(123)에 기록한다.
또한, 상기 Hbase 채널(122)은 저장이 필요한 MG 데이터 큐(Queue)이다.
또한, 상기 실시간 분석 채널(123)은 실시간 분석이 필요한 MG 데이터 큐이다.
또한, 상기 Hbase 저장기(124)는 상기 Hbase 채널(122)에 저장된 데이터를 아래의 데이터 저장모듈로 전송하며, 다중 Row 트랜젝션을 보장한다.
또한, 상기 실시간 분석기 전달기(125)는 상기 실시간 분석 채널(123)의 MG 데이터를 아래의 실시간 모니터링 모듈로 전달한다.
상기 데이터 저장 모듈(130)은 상기 전처리 모듈(120)로부터 상기 Hbase 저장기(124)에 저장된 MG 데이터를 입력받아 빅데이터로 저장한다.
또한, 상기 MG 데이터는 큐를 접근하여 해당 토픽(Topic)의 테이터를 병렬로 처리하여 분산저장된다.
상기 실시간 모니터링 모듈(140)은 상기 전처리 모듈(120)로부터 상기 실시간 분석 채널(122)의 MG 데이터를 전송받아 실시간 분석 메시지를 처리한다.
따라서, 본 발명의 일 실시예에 따른 에너지 IoT TOC 플랫폼 분산처리 시스템에 의하면, 에너지 IoT 데이터, 각종 센서 데이터 및 오픈 데이터 등 여러 데이터를 하나의 시스템에서 저장, 가공하여 단일 서버와 동일한 환경에서 데이터 접근이 보장되도록 병렬 데이터 처리할 수 있는 장점이 있다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
100:에너지 IoT TOC 플랫폼 분산처리 시스템
110:데이터 수집모듈 111:FEP(Front-End processor)
112:MG 데이터베이스 113:변경자료 수집기
114:MG 데이터 수집 에이전트 120:전처리 모듈
121:메시지 소스 수집기 122:Hbase 채널
123:실시간 분석 채널 124:Hbase 저장기
125:실시간 분석기 전달기 130:데이터 저장 모듈
140:실시간 모니터링 모듈

Claims (3)

  1. 에너지 IoT 데이터, 센서 데이터 및 오픈 데이터들을 수신하여 MG 데이터 파일로 기록하는 데이터 수집모듈;
    상기 MG 데이터 파일을 수신하여 Hbase 채널 또는 실시간 분석 채널에 기록하는 전처리 모듈;
    상기 전처리 모듈로부터 상기 Hbase 채널의 MG 데이터를 전송받아 저장하는 데이터 저장 모듈; 및
    상기 전처리 모듈로부터 상기 실시간 분석 채널의 MG 데이터를 전송받아 실시간 분석 메시지를 처리하는 실시간 모니터링 모듈;을 포함하는 에너지 IoT TOC 플랫폼 분산처리 시스템.
  2. 제 1 항에 있어서,
    상기 데이터 수집모듈은,
    PDC와 통신하여, 수신된 센서 데이터들을 MG 데이터 파일에 기록하는 FEP(Front-End processor);
    MG 데이터를 저장하는 MG 데이터베이스;
    MG 데이터를 모니터링하고, 내용 변경시 변경내용을 수집하는 변경자료 수집기; 및
    변경자료 수집기에서 전달 받은 데이터를 상기 전처리 모듈로 전송하는 MG 데이터 수집 에이전트;를 포함하는 것을 특징으로 하는 에너지 IoT TOC 플랫폼 분산처리 시스템.
  3. 제 2 항에 있어서,
    상기 전처리 모듈:은,
    상기 MG 데이터 수집 에이전트로부터 MG 데이터 파일을 수신하여 상기 Hbase 채널 또는 상기 실시간 분석 채널에 기록하는 메시지 소스 수집기;
    상기 Hbase 채널의 MG 데이터를 상기 데이터 저장 모듈에 저장하는 Hbase 저장기; 및
    상기 실시간 분석 채널의 MG 데이터를 상기 실시간 모니터링 모듈에 전달하는 실시간 분석기 전달기;를 포함하는 것을 특징으로 하는 에너지 IoT TOC 플랫폼 분산처리 시스템.
KR1020170180388A 2017-12-27 2017-12-27 에너지 IoT TOC 플랫폼 분산처리 시스템 KR20190078745A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170180388A KR20190078745A (ko) 2017-12-27 2017-12-27 에너지 IoT TOC 플랫폼 분산처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170180388A KR20190078745A (ko) 2017-12-27 2017-12-27 에너지 IoT TOC 플랫폼 분산처리 시스템

Publications (1)

Publication Number Publication Date
KR20190078745A true KR20190078745A (ko) 2019-07-05

Family

ID=67225510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170180388A KR20190078745A (ko) 2017-12-27 2017-12-27 에너지 IoT TOC 플랫폼 분산처리 시스템

Country Status (1)

Country Link
KR (1) KR20190078745A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143158A (zh) * 2019-12-04 2020-05-12 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN112860687A (zh) * 2019-11-27 2021-05-28 埃尔西斯株式会社 能源数据预处理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860687A (zh) * 2019-11-27 2021-05-28 埃尔西斯株式会社 能源数据预处理系统
CN111143158A (zh) * 2019-12-04 2020-05-12 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN111143158B (zh) * 2019-12-04 2023-05-16 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
EP3425524A1 (en) Cloud platform-based client application data calculation method and device
CN108471366A (zh) 一种面向云原生应用的立体监控系统
CN109460339B (zh) 日志的流式计算系统
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN103702053A (zh) 录像存储和检索方法及系统、监控系统
CN108632111A (zh) 一种基于日志的服务链路监控方法
CN115033657B (zh) 基于知识图谱的查询方法、装置、设备及存储介质
KR102067032B1 (ko) 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템
CN109086301A (zh) 一种基于云计算的数据管理平台
CN111314158B (zh) 大数据平台监控方法、装置及设备、介质
CN105069029B (zh) 一种实时etl系统及方法
CN113868248A (zh) 指标数据预聚合方法
KR20190078745A (ko) 에너지 IoT TOC 플랫폼 분산처리 시스템
Cejka et al. Java embedded storage for time series and meta data in Smart Grids
Weng et al. Kmon: An in-kernel transparent monitoring system for microservice systems with ebpf
CN112579552A (zh) 日志存储及调用方法、装置及系统
CN106412513A (zh) 视频处理系统及处理方法
Oprea et al. Internet of things, challenges for demand side management
CN101118514A (zh) 一种用于分析软件系统cpu占用率的方法及存储器
KR20210054674A (ko) 분산자원 중개거래 플랫폼 분산처리 시스템
CN107341249A (zh) 服务器信息的存储和提取方法及系统、提取装置
CN105677853A (zh) 一种基于大数据技术框架的数据存储方法及装置
KR20200058113A (ko) 스마트 에너지 관리 플랫폼 분산처리 시스템
CN113010385B (zh) 一种任务状态更新方法、装置、设备及介质
CN112860687A (zh) 能源数据预处理系统