KR20200007563A - 에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법 - Google Patents

에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법 Download PDF

Info

Publication number
KR20200007563A
KR20200007563A KR1020180081809A KR20180081809A KR20200007563A KR 20200007563 A KR20200007563 A KR 20200007563A KR 1020180081809 A KR1020180081809 A KR 1020180081809A KR 20180081809 A KR20180081809 A KR 20180081809A KR 20200007563 A KR20200007563 A KR 20200007563A
Authority
KR
South Korea
Prior art keywords
data
measurement data
machine learning
displayed
automatically
Prior art date
Application number
KR1020180081809A
Other languages
English (en)
Inventor
강정훈
유준재
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180081809A priority Critical patent/KR20200007563A/ko
Publication of KR20200007563A publication Critical patent/KR20200007563A/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법이 제공된다. 본 발명의 실시예에 따른 기계학습용 데이터셋 전처리 방법은, 측정 데이터를 표시하고, 표시된 측정 데이터에서 분석이 필요한 유의미한 구간들과 이벤트 데이터들을 자동으로 검색하며, 검색된 구간들과 데이터들을 태깅한다. 이에 의해, 기계학습용 데이터셋을 전처리함으로써, 데이터 확보율을 높이고, 손실/오류 데이터를 손쉽게 제거할 수 있어, 궁극적으로 분석 기능 향상에 의한 서비스 품질 향상을 도모할 수 있게 된다.

Description

에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법{Machine Learning Data Set Preprocessing Method for Energy Consumption Analysis}
본 발명은 데이터셋 전처리 기술에 관한 것으로, 더욱 상세하게는 건물, 공장 등에서 에너지 진단과 에너지 효율화 컨설팅에 필요한 에너지 소비 분석을 위한 기계학습용 데이터셋을 전처리하는 방법에 관한 것이다.
기계학습을 위한 입력 데이터셋은 시스템 성능과 서비스 품질에 있어 매우 중요한 요소이다. 입력 데이터와 정답의 매치가 확실하고, 수량이 많아야 기계학습이 잘 수행될 수 있다.
하지만, IoT를 통해 수집하는 데이터는 통신, 네트워크, 시스템 등에서의 오류로 인하여 데이터 확보가 완벽하지 못하다. 이에 따라, 현실적으로 80~90% 수준의 데이터만 수집이 가능할 뿐이다.
이에, 수집된 80~90% 데이터를 100% 가깝게 보완하면서, 최종적으로는 정답 정보를 효율적으로 레이블링하기 위한 방안의 모색이 요청된다.
나아가, 데이터가 손실된 부분, 오류에 의해 튀는 부분 등이 존재하는데, 이 부분은 수동으로 제거해야 한다. 하지만, 이는 많은 시간을 필요로하며, 완전하게 제거되지도 않아 문제이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 데이터 확보율을 높이고, 손실/오류 데이터를 간편하게 제거하기 위한 기계학습용 데이터셋 전처리 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 기계학습용 데이터셋 전처리 방법은, 측정 데이터를 표시하는 단계; 표시된 측정 데이터에서 분석이 필요한 유의미한 구간들과 이벤트 데이터들을 자동으로 검색하는 단계; 검색된 구간들과 데이터들을 태깅하는 단계;를 포함한다.
그리고, 본 발명의 일 실시예에 따른, 기계학습용 데이터셋 전처리 방법은, 표시된 측정 데이터에서 필요한 구간이나 이벤트 데이터를 지정하여, 수동으로 태깅하는 단계;를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른, 기계학습용 데이터셋 전처리 방법은, 태깅된 구간과 동일한 패턴의 구간과 태깅된 데이터와 동일한 또는 이를 벗어나는 값을 갖는 데이터에 대해, 자동으로 태깅하는 단계;를 더 포함할 수 있다.
그리고, 본 발명의 일 실시예에 따른, 기계학습용 데이터셋 전처리 방법은, 표시된 측정 데이터에 존재하는 아웃라이어를 자동으로 제거하는 단계;를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른, 기계학습용 데이터셋 전처리 방법은, 표시된 측정 데이터에서 아웃라이어를 지정하여, 수동으로 제거하는 단계;를 더 포함
그리고, 본 발명의 일 실시예에 따른, 기계학습용 데이터셋 전처리 방법은, 지정된 아웃라이어와 동일한 또는 이를 벗어나는 값을 갖는 데이터를 자동으로 제거하는 단계;를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른, 기계학습용 데이터셋 전처리 방법은, 건물에 설치된 전력량계에서 촬영된 전력량계 영상을 표시하는 단계; 표시된 전력량계 영상에서 일부 영역을 지정받는 단계; 지정된 영역에서 전력량 정보를 추출하는 측정 데이처를 획득하는 단계;를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 에너지 데이터 수집/분석 시스템은, 측정 데이터를 표시하는 사용자 단말; 및 표시된 측정 데이터에서 분석이 필요한 유의미한 구간들과 이벤트 데이터들을 자동으로 검색하고, 검색된 구간들과 데이터들을 태깅하는 서버;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, SW를 이용하여 기계학습용 데이터셋을 전처리함으로써, 데이터 확보율을 높이고, 손실/오류 데이터를 손쉽게 제거할 수 있어, 궁극적으로 분석 기능 향상에 의한 서비스 품질 향상을 도모할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 비전 IoT를 이용한 건물 에너지 정보 수집/분석 시스템을 도시한 도면,
도 2는 본 발명의 다른 실시예에 따른 전력량계 영상 전처리 방법의 설명에 제공되는 흐름도,
도 3은 전력량계 영상에서 사용자가 문자 인식 영역을 지정한 결과를 나타낸 도면,
도 4는 본 발명의 또 다른 실시예에 따른 측정 데이터 전처리 방법의 설명에 제공되는 흐름도, 그리고,
도 5에는 측정 데이터에 대해 자동 태깅과 수동 태깅이 수행된 결과를 나타낸 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 비전 IoT를 이용한 건물 에너지 정보 수집/분석 시스템을 도시한 도면이다.
본 발명의 실시예에 따른 건물 에너지 정보 수집/분석 시스템은, 중소형 건물에 대한 에너지 진단과 에너지 효율화 컨설팅을 위해 전력 측정 데이터를 수집하고 분석하는 시스템이다.
이를 위해, 본 발명의 실시예에 따른 건물 에너지 정보 수집/분석 시스템은, 무선 네트워크 기능을 이용하여 자동으로 측정 데이터를 수집하고, 인공지능 기능으로 측정 데이터를 분석한다.
에너지 진단 서비스 대상의 빌딩에는 다양한 전력미터가 설치되어 있으므로, 비전 IoT를 이용한 전력미터의 측정문자 인식의 정확도를 높이기 위해, 본 발명의 실시예에 따른 건물 에너지 정보 수집/분석 시스템에서는, 수집한 데이터를 기반으로 문자 인식 사전학습을 수행한다.
구체적으로, 데이터 수집 초기 과정에서, 비전 IoT 기법을 통해 획득한 전력미터 영상에서 인식하고자 영역을 사용자로 하여금 지정하고 사전학습 하여, 측정문자 인식의 정확도를 확보한다.
또한, 건물 에너지 정보 수집/분석 시스템은, 측정 데이터에서 유의미한 구간과 이벤트 데이터를 자동/수동으로 추출하며, 아웃라이어에 대해서는 자동/수동으로 제거한다.
이와 같은 기능을 수행하는 본 발명의 실시예에 따른 건물 에너지 정보 수집/분석 시스템은, 도 1에 도시된 바와 같이, IoT 측정기(100)와 서버(200)가 네트워크를 통해 상호 통신 가능하도록 연결되어 구축된다.
IoT 측정기(100)는 건물의 배전반에 위치한 전력량계를 촬영하여 전력량계 영상을 생성한다. 건물 내에 마련된 배전반의 개수에 따라 IoT 측정기(100)가 필요하다. 도 1에는 도시의 편의를 위해 하나만을 도시한 것임에 유념하여야 한다.
서버(200)는 IoT 측정기(100)가 촬영한 전력량계 영상에 대해 측정문자를 인식하여 전력량을 파악하고, 파악된 전력량들을 DB에 전력 사용 정보로 저장한다.
기계학습으로 데이터를 학습하기 위해서는 양질의 입력 데이터셋이 준비되어야 한다. 이에 따라, 서버(200)는 전력량계 영상에서 정확한 숫자 인식을 위해 전력량계 영상에 대해 전처리를 수행한다.
DB에 저장된 측정 데이터는 중소형 건물에 대한 에너지 진단과 에너지 효율화 컨설팅을 위해 분석된다. 이 과정에서, 서버(200)는 측정 데이터에서 유의미한 구간과 이벤트 데이터들을 자동/수동으로 레이블링하고, 아웃라이어들은 자동/수동으로 제거하는 전처리를 수행한다.
전력량계 영상의 전처리 과정에 대해 도 2를 참조하여 상세히 설명한다. 도 2는 본 발명의 다른 실시예에 따른 전력량계 영상 전처리 방법의 설명에 제공되는 흐름도이다. 전력량계 영상에 대한 전처리는, 전력량계 영상에서 학습하고 싶은 부분만 따로 설정하기 위해 필요한 절차이다.
도 2에 도시된 바와 같이, 먼저, 서버(200)는 IoT 측정기(100)의 카메라가 전력량계를 촬영하여 생성한 전력량계 영상을 사용자 단말에 전달하여, 사용자 단말에 전력량계 영상이 표시되도록 한다(S310).
그리고, S310단계에서 표시된 전력량계 영상에 대해 사용자가 문자 인식이 필요한 영역을 지정하도록 한다(S320). S320단계에서의 영역 지정은 마우스 등의 입력 수단으로 간편하게 할 수 있다.
도 3에는 전력량계 영상에서 사용자가 문자 인식 영역을 지정한 결과를 나타내었다.
또한, 사용자로 하여금 S320단계에서 지정한 영역에 대한 태그 정보를 입력할 수 있도록 한다(S330). S330단계에서의 태그 정보 입력은 영역 마다 이루어지며, 태그 정보가 없는 영역에 대해서는 입력이 생략된다.
이를 테면, 사용자가 지정한 영역은 1번 배전반에서 소모되는 전력량이라는 정보 및 이 영역에서의 값은 "0" ~ "10,000"의 범위라는 정보를 입력할 수 있다.
그러면, 서버(200)는 S320단계에서 지정된 영역에 대해, 잘라내기, 노이즈 제거, 콘트라스트 향상 등을 수행한다(S340).
다음, 서버(200)는 전처리된 영역에 대해 문자 인식을 수행하여, 전력량 정보를 추출한다.
한편, 서버(200)는 추출한 전력량 정보에 대해 S330단계에서 사용자가 입력한 태그 정보를 기초로 보정하는 것이 가능하다. 이를 테면, 추출한 전력량이 S330단계에서 입력된 범위를 벗어나는 경우, 전력량을 범위 내로 보정할 수 있다. 만약, 보정이 불가능한 경우에는 오류가 있음을 사용자에게 알린다.
서버(200)는 위 방법을 통해 확보한 전력량들을 DB에 저장하고, 합산하여 통계화하며, 전력 사용에 문제가 없는지 모니터링한다. 모니터링 결과는 측정 데이터를 그래프로 표시하는 것이 일반적이며, 측정 데이터의 그래프가 주된 분석 대상이 된다.
이하에서는, 측정 데이터의 전처리 과정에 대해 도 4를 참조하여 상세히 설명한다. 도 4는 본 발명의 또 다른 실시예에 따른 측정 데이터 전처리 방법의 설명에 제공되는 흐름도이다.
도 4에 도시된 바와 같이, 먼저, 서버(200)는 측정 데이터를 사용자 단말에 표시하고(S410), 측정 데이터에서 분석이 필요한 유의미한 구간들과 이벤트 데이터들을 자동으로 검색하여 태깅한다(S420).
다음, 서버(200)는 측정 데이터에 존재하는 아웃라이어를 자동으로 제거한다(S430).
한편, 사용자는 사용자 단말을 통해 S410단계에서 표시된 측정 데이터에서 필요한 구간이나 이벤트 데이터를 지정하여, 수동으로 태깅할 수 있다(S440). 마우스, 터치 패드, 키보드 등의 다양한 입력 수단을 통해 해당 구간이나 데이터를 지정할 수 있다.
S440단계에서 태깅된 구간과 동일한 패턴의 구간과 태깅된 데이터와 동일한 또는 이를 벗어나는 값을 갖는 데이터에 대해서는, 향후 S420단계에서 자동으로 태깅된다.
도 5에는 S410단계에서 표시된 측정 데이터에 대해 S420단계에서 자동 태깅이 수행되고, S440단계에서 수동 태깅이 수행된 결과를 나타내었다.
이후, 사용자는 사용자 단말을 통해 S410단계에서 표시된 측정 데이터에서 아웃라이어를 지정하여, 수동으로 제거할 수 있다(S450). 마우스, 터치 패드, 키보드 등의 다양한 입력 수단을 통해 아웃라이어를 지정할 수 있다.
S450단계에서 지정된 아웃라이어와 동일한 또는 이를 벗어나는 값을 갖는 데이터는, 향후 S430단계에서 자동으로 제거된다.
지금까지, 에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : IoT 측정기
200 : 서버

Claims (8)

  1. 측정 데이터를 표시하는 단계;
    표시된 측정 데이터에서 분석이 필요한 유의미한 구간들과 이벤트 데이터들을 자동으로 검색하는 단계;
    검색된 구간들과 데이터들을 태깅하는 단계;를 포함하는 것을 특징으로 하는 기계학습용 데이터셋 전처리 방법.
  2. 청구항 1에 있어서,
    표시된 측정 데이터에서 필요한 구간이나 이벤트 데이터를 지정하여, 수동으로 태깅하는 단계;를 더 포함하는 것을 특징으로 하는 기계학습용 데이터셋 전처리 방법.
  3. 청구항 2에 있어서,
    태깅된 구간과 동일한 패턴의 구간과 태깅된 데이터와 동일한 또는 이를 벗어나는 값을 갖는 데이터에 대해, 자동으로 태깅하는 단계;를 더 포함하는 것을 특징으로 하는 기계학습용 데이터셋 전처리 방법.
  4. 청구항 1에 있어서,
    표시된 측정 데이터에 존재하는 아웃라이어를 자동으로 제거하는 단계;를 더 포함하는 것을 특징으로 하는 기계학습용 데이터셋 전처리 방법.
  5. 청구항 4에 있어서,
    표시된 측정 데이터에서 아웃라이어를 지정하여, 수동으로 제거하는 단계;를 더 포함하는 것을 특징으로 하는 기계학습용 데이터셋 전처리 방법.
  6. 청구항 5에 있어서,
    지정된 아웃라이어와 동일한 또는 이를 벗어나는 값을 갖는 데이터를 자동으로 제거하는 단계;를 더 포함하는 것을 특징으로 하는 기계학습용 데이터셋 전처리 방법.
  7. 청구항 1에 있어서,
    건물에 설치된 전력량계에서 촬영된 전력량계 영상을 표시하는 단계;
    표시된 전력량계 영상에서 일부 영역을 지정받는 단계;
    지정된 영역에서 전력량 정보를 추출하는 측정 데이처를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 기계학습용 데이터셋 전처리 방법.
  8. 측정 데이터를 표시하는 사용자 단말; 및
    표시된 측정 데이터에서 분석이 필요한 유의미한 구간들과 이벤트 데이터들을 자동으로 검색하고, 검색된 구간들과 데이터들을 태깅하는 서버;를 포함하는 것을 특징으로 하는 에너지 데이터 수집/분석 시스템.
KR1020180081809A 2018-07-13 2018-07-13 에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법 KR20200007563A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180081809A KR20200007563A (ko) 2018-07-13 2018-07-13 에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180081809A KR20200007563A (ko) 2018-07-13 2018-07-13 에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법

Publications (1)

Publication Number Publication Date
KR20200007563A true KR20200007563A (ko) 2020-01-22

Family

ID=69368635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180081809A KR20200007563A (ko) 2018-07-13 2018-07-13 에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법

Country Status (1)

Country Link
KR (1) KR20200007563A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220128144A (ko) 2021-03-12 2022-09-20 주식회사 케이티 인공지능 기반으로 통신 시스템의 오류를 감지하는 서버, 방법 및 컴퓨터 프로그램
WO2023066662A1 (en) * 2021-10-20 2023-04-27 Nokia Technologies Oy Criteria-based measurement data reporting to a machine learning training entity

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220128144A (ko) 2021-03-12 2022-09-20 주식회사 케이티 인공지능 기반으로 통신 시스템의 오류를 감지하는 서버, 방법 및 컴퓨터 프로그램
WO2023066662A1 (en) * 2021-10-20 2023-04-27 Nokia Technologies Oy Criteria-based measurement data reporting to a machine learning training entity

Similar Documents

Publication Publication Date Title
CN106095866B (zh) 应用程序推荐方法、程序启动速度的优化方法和装置
US8078913B2 (en) Automated identification of performance crisis
CN111709361B (zh) 一种输电线路无人机巡检数据处理方法
CN109992484B (zh) 一种网络告警相关性分析方法、装置和介质
CN113347502B (zh) 视频回看方法、装置、电子设备及介质
CN110689148A (zh) 一种基于ar技术的计量设备故障检测方法
KR20200007563A (ko) 에너지 소비 분석을 위한 기계학습용 데이터셋 전처리 방법
CN114707363B (zh) 用于配网工程管理的问题数据处理方法及系统
CN116506196A (zh) 一种基于大数据的通信检测预警平台
CN111368824A (zh) 一种仪表识别方法、移动设备及存储介质
CN113139096B (zh) 一种视频数据集标注方法及装置
CN113837312A (zh) 一种氧化锌避雷器的运行状态评价方法及装置
CN112417996A (zh) 工业图纸的信息处理方法、装置、电子设备和存储介质
CN110719445A (zh) 一种基于图像识别的远程抄表系统及方法
CN107872352B (zh) 一种网管系统的性能测试方法、装置及系统
CN110348714A (zh) 基于代码日志对研发人员的产出水平评价的方法
KR20200013136A (ko) 비전 IoT를 이용한 전력량계 전력 측정문자 학습 방법
CN111353300B (zh) 一种数据集构建和相关信息获取方法及其装置
CN113516259A (zh) 一种继电保护差异化智能巡检和异常判别方法
CN115984756B (zh) 一种基于数据分析的农业电网线路巡查管理方法
CN117877100B (zh) 一种行为模式的确定方法、装置、电子设备及存储介质
CN116166889B (zh) 酒店产品筛选方法、装置、设备及存储介质
CN115293379B (zh) 一种基于知识图谱的在轨航天器设备异常检测方法
Agrawal et al. Meter reading using OCR for comfort and cost optimization
CN113283760B (zh) 案件流程分析报告生成方法及系统