KR20230159130A - Apparatus and method for converting data format - Google Patents

Apparatus and method for converting data format Download PDF

Info

Publication number
KR20230159130A
KR20230159130A KR1020220059100A KR20220059100A KR20230159130A KR 20230159130 A KR20230159130 A KR 20230159130A KR 1020220059100 A KR1020220059100 A KR 1020220059100A KR 20220059100 A KR20220059100 A KR 20220059100A KR 20230159130 A KR20230159130 A KR 20230159130A
Authority
KR
South Korea
Prior art keywords
data
standard
data format
conversion
real
Prior art date
Application number
KR1020220059100A
Other languages
Korean (ko)
Inventor
유해근
이준호
양아름
서주형
Original Assignee
한전케이디엔주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한전케이디엔주식회사 filed Critical 한전케이디엔주식회사
Priority to KR1020220059100A priority Critical patent/KR20230159130A/en
Publication of KR20230159130A publication Critical patent/KR20230159130A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명의 데이터 포맷 변환 장치는, 사용자의 선택정보에 의거하여, 데이터 포맷 변환을 위한 표준데이터 포맷을 설정하는 표준데이터 포맷 설정부; 상기 표준데이터 포맷 정보를 저장하는 표준데이터 저장수단; 과거에 수집된 다양한 과거 로(Raw) 데이터들을 저장/관리하는 빅데이터 저장수단; 상기 표준데이터 포맷에 의거하여 상기 빅데이터 저장수단에 저장된 과거 로(Raw) 데이터를 표준 로(Raw) 데이터로 변환하는, 표준화 처리를 수행하는, 표준화처리부; 적어도 하나의 사이트에서 수집되는 발전소 운영 데이터들을 실시간으로 수집하는 실시간 정보 수집부; 및 상기 표준 로(Raw) 데이터를 기준으로, 상기 표준화 처리 이후에 수집되는 실시간 데이터들을 변환하는 데이터 변환부를 포함함으로써, 하나의 표준데이터 포맷을 설정한 후 상기 표준데이터 포맷을 이용하여 변환 대상 데이터를 매핑함으로써, 데이터 분석을 위한 로(Raw) 데이터의 표준화가 가능하고, 이로 인해, 초기 표준화 이후에 수집되는 데이터를 신규 매핑된 로(Raw) 데이터로 실시간 변환할 수 있는 장점이 있다.The data format conversion device of the present invention includes a standard data format setting unit that sets a standard data format for data format conversion based on user selection information; Standard data storage means for storing the standard data format information; Big data storage means for storing/managing various past raw data collected in the past; a standardization processing unit that performs standardization processing to convert past raw data stored in the big data storage means into standard raw data based on the standard data format; A real-time information collection unit that collects power plant operation data collected from at least one site in real time; And a data conversion unit that converts real-time data collected after the standardization process based on the standard raw data, so that after setting one standard data format, the data to be converted is converted using the standard data format. By mapping, standardization of raw data for data analysis is possible, and this has the advantage of being able to convert data collected after initial standardization into new mapped raw data in real time.

Description

데이터 포맷 변환 장치 및 그 방법{APPARATUS AND METHOD FOR CONVERTING DATA FORMAT}Data format conversion device and method {APPARATUS AND METHOD FOR CONVERTING DATA FORMAT}

본 발명은 데이터 포맷 변환 장치 및 그 방법에 관한 것으로서, 보다 상세하게는, 서로 다른 포맷의 데이터들을 하나의 공통된 데이터 포맷으로 변환하기 위한 데이터 포맷 변환 장치 및 그 방법에 관한 것이다.The present invention relates to a data format conversion device and method, and more specifically, to a data format conversion device and method for converting data of different formats into one common data format.

일반적으로 빅데이터는 전 세계적으로 정보기술의 관심사로 급부상한 가운데 공공기관 및 민간 기업들이 지금까지 생성, 저장한 빅데이터를 통해 어떠한 가치를 창출할 것인지 관심이 집중되고 있다.In general, as big data has rapidly emerged as a topic of interest in information technology around the world, attention is focused on what value public institutions and private companies will create through the big data they have created and stored so far.

한편, 빅 데이터는, 웹로그(web logs), RFID(radio frequency identification), 소셜 네트워크(social network), 소셜 데이터, 인터넷 텍스트와 문서, 인터넷 검색 인덱싱(internet search indexing), 천문학, 기상학, 유전체학, 생물지구화학(biogeochemistry), 생물학, 군사 감시, 의료 기록, 사진 기록, 비디오 기록, 및 전자상거래 등, 매우 다양한 분야에 존재하며, 일반적으로 하둡(Hadoop)이라는 생태계를 기반으로 처리되고 있다.Meanwhile, big data includes web logs, RFID (radio frequency identification), social networks, social data, internet text and documents, internet search indexing, astronomy, meteorology, genomics, It exists in a wide variety of fields, including biogeochemistry, biology, military surveillance, medical records, photo records, video records, and e-commerce, and is generally processed based on an ecosystem called Hadoop.

하둡(Hadoop)은 너치(Nutch)의 분산처리를 지원하기 위해 개발된 것으로, 수백 기가바이트 내지 페타바이트 크기의 데이터를 처리할 수 있는 애플리케이션을 제작하고 운영할 수 있는 기반을 제공해 주는 데이터 처리 플랫폼이다. 하둡이 처리하는 데이터의 크기가 통상 최소 수백 기가바이트 수준이기 때문에 데이터는 하나의 컴퓨터에 저장되는 것이 아니라 여러 개의 블록으로 나누어져 여러개의 컴퓨터에 분산 저장된다. 따라서 하둡은 입력 데이터를 나누어 처리하는 하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System)을 구비하며, 여기서 분산 저장되는 대용량 데이터는 통상 클러스터 환경에서 병렬 처리하기 위해 개발된 맵리듀스(MapReduce)과정에 의해 처리된다.Hadoop was developed to support Nutch's distributed processing and is a data processing platform that provides a foundation for creating and operating applications that can process hundreds of gigabytes or petabytes of data. . Since the size of data processed by Hadoop is usually at least several hundred gigabytes, the data is not stored on one computer, but is divided into several blocks and stored distributed across multiple computers. Therefore, Hadoop is equipped with the Hadoop Distributed File System (HDFS), which divides and processes input data, where large amounts of distributed data are usually processed through the MapReduce process, which was developed for parallel processing in a cluster environment. It is processed.

맵리듀스(MapReduce)란, 함수형 언어의 맵(Map)과 리듀스(Reduce) 함수에서 유래되었으며, 하둡 분산 파일 시스템에 저장된 데이터를 읽고 분석한 후에 결과를 다시 하둡 분산 파일 시스템에 저장한다. 즉, 공통된 주제를 가진 사이트에서 수집되는 빅데이터를 통합하여 분석하기 위해서는 분석이 필요한 데이터를 맵리듀스(MapReduce)를 통해 정제하는 과정이 필요하다.MapReduce is derived from the Map and Reduce functions of functional language. It reads and analyzes data stored in the Hadoop distributed file system and then stores the results back in the Hadoop distributed file system. In other words, in order to integrate and analyze big data collected from sites with a common topic, a process of refining the data requiring analysis through MapReduce is necessary.

한국공개특허 제 10-2015-0077669 호에는 맵리듀스 방식을 이용한 데이터 분석 방법 및 시스템에 있어서, 입력 데이터와 유사도 군집을 통해 준비된 비교데이터 간의 사전 유사도를 분석하고, 사전 유사도 분석을 통해 유사도가 높은 제1 비교 데이터를 준비하는 유사도 판별부; 상기 유사도 판별부에서 선택된 제1비교데이터와 외부에서 입력되는 분산데이터를 가공하여 입력 스플릿을 생성하는 입력 스플릿 생성부; 상기 제1비교데이터를 토대로 상기 입력 스플릿 생성부로부터 입력되는 분석데이터의 패턴을 연산하고, 상기 분석데이터의 패턴 연산을 통해 유사패턴을 검출하고, 상기 유사패턴의 제1분석데이터를 리듀스 연산하고, 상기 리듀스 연산을 통해 출력 파일을 생성하는 패턴 분석부;를 포함하는 데이터 분석 시스템이 개시되어 있다.Korean Patent Publication No. 10-2015-0077669 discloses a data analysis method and system using the MapReduce method, which analyzes the prior similarity between input data and comparative data prepared through similarity clusters, and identifies products with high similarity through prior similarity analysis. 1 Similarity determination unit that prepares comparison data; an input split generator that generates an input split by processing the first comparison data selected by the similarity determination unit and distributed data input from an external source; Calculate a pattern of analysis data input from the input split generator based on the first comparison data, detect a similar pattern through pattern operation of the analysis data, and perform a reduce operation on the first analysis data of the similar pattern. A data analysis system including a pattern analysis unit that generates an output file through the reduce operation is disclosed.

상기 특허에 의하면, 맵리듀스 과정을 통하여 패턴 처리시의 불필요한 작업을 사전에 처리하여 필요한 부분만을 분석하고, 분석 시에 실제 패턴 연산을 적용하여 패턴 결과를 얻어냄으로써 처리 속도를 향상시킬 수 있는 효과가 있다.According to the patent, the MapReduce process has the effect of improving processing speed by processing unnecessary tasks in pattern processing in advance, analyzing only the necessary parts, and applying actual pattern operations during analysis to obtain pattern results. there is.

하지만, 상기와 같은 종래의 기술들은 사이트별로 수집되는 데이터의 포맷이 다르기 때문에, 데이터 분석을 위한 정제 과정이 사이트별로 반복적으로 소요되는 문제가 있었다.However, since the format of data collected in the conventional technologies above is different for each site, there is a problem that the purification process for data analysis is repeatedly required for each site.

또한, 데이터 분석의 목적에 따라서 데이터를 정제하는 기준이 달라지기 때문에, 새로운 데이터의 분석을 위해서는 각각의 데이터를 재정제하는 과정이 필요한 문제가 있었다.Additionally, because the standards for data purification vary depending on the purpose of data analysis, there was a problem that a process of re-refining each data was necessary to analyze new data.

한국공개특허 제 10-2015-0077669 호Korean Patent Publication No. 10-2015-0077669

따라서, 본 발명은 하나의 표준데이터 포맷을 설정한 후 상기 표준데이터 포맷을 이용하여 변환 대상 데이터를 매핑함으로써, 데이터 분석을 위한 로(Raw) 데이터의 표준화가 가능하고, 이로 인해, 초기 표준화 이후에 수집되는 데이터를 신규 매핑된 로(Raw) 데이터로 실시간 변환할 수 있는 데이터 포맷 변환 장치 및 그 방법을 제공하고자 한다.Therefore, the present invention enables standardization of raw data for data analysis by setting one standard data format and then mapping the data to be converted using the standard data format. As a result, after initial standardization, The aim is to provide a data format conversion device and method that can convert collected data into new mapped raw data in real time.

또한, 본 발명은 사이트별로 데이터 포맷이 다른 데이터들을 하나의 공통된 데이터 포맷으로 변환하여 관리함으로써, 데이터 정제 및 분석 시간을 단축할 수 있고, 공통된 주제를 가진 다양한 사이트에서 수집되는 빅 데이터들을 통합 분석할 수 있도록 하는 데이터 포맷 변환 장치 및 그 방법을 제공하고자 한다.In addition, the present invention can reduce data purification and analysis time by converting and managing data in different data formats for each site into one common data format, and can integrate and analyze big data collected from various sites with a common topic. The object is to provide a data format conversion device and method that enable data format conversion.

상기 목적을 달성하기 위해, 본 발명에서 제공하는 데이터 포맷 변환 장치는, 사용자의 선택정보에 의거하여, 데이터 포맷 변환을 위한 표준데이터 포맷을 설정하는 표준데이터 포맷 설정부; 상기 표준데이터 포맷 정보를 저장하는 표준데이터 저장수단; 과거에 수집된 다양한 과거 로(Raw) 데이터들을 저장/관리하는 빅데이터 저장수단; 상기 표준데이터 포맷에 의거하여 상기 빅데이터 저장수단에 저장된 과거 로(Raw) 데이터를 표준 로(Raw) 데이터로 변환하는, 표준화 처리를 수행하는, 표준화처리부; 적어도 하나의 사이트에서 수집되는 발전소 운영 데이터들을 실시간으로 수집하는 실시간 정보 수집부; 및 상기 표준 로(Raw) 데이터를 기준으로, 상기 표준화 처리 이후에 수집되는 실시간 데이터들을 변환하는 데이터 변환부를 포함하는 것을 특징으로 한다. In order to achieve the above object, the data format conversion device provided by the present invention includes a standard data format setting unit that sets a standard data format for data format conversion based on user selection information; Standard data storage means for storing the standard data format information; Big data storage means for storing/managing various past raw data collected in the past; a standardization processing unit that performs standardization processing to convert past raw data stored in the big data storage means into standard raw data based on the standard data format; A real-time information collection unit that collects power plant operation data collected from at least one site in real time; and a data conversion unit that converts real-time data collected after the standardization process based on the standard raw data.

한편, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 데이터 포맷 변환 방법은, 사용자의 선택정보에 의거하여, 데이터 포맷 변환을 위한 표준데이터 포맷을 설정하는 표준데이터 포맷 설정단계; 상기 표준데이터 포맷에 의거하여, 과거에 수집된 과거 로(Raw) 데이터를 표준 로(Raw) 데이터로 변환하는 표준화 단계; 적어도 하나의 사이트에서 수집되는 발전소 운영 데이터들을 실시간으로 수집하는 실시간 정보 수집단계; 및 상기 표준화 단계에서 표준화된 표준 로(Raw) 데이터를 기준으로, 상기 실시간 정보 수집단계에서 수집되는 상기 실시간 데이터들을 변환하는 실시간 데이터 변환 단계를 포함하는 것을 특징으로 한다. Meanwhile, in order to achieve the above object, the data format conversion method provided by the present invention includes a standard data format setting step of setting a standard data format for data format conversion based on user selection information; A standardization step of converting past raw data collected in the past into standard raw data based on the standard data format; A real-time information collection step of collecting power plant operation data collected from at least one site in real time; And a real-time data conversion step of converting the real-time data collected in the real-time information collection step based on standard raw data standardized in the standardization step.

상기와 같은 본 발명의 데이터 포맷 변환 장치 및 그 방법은 하나의 표준데이터 포맷을 설정한 후 상기 표준데이터 포맷을 이용하여 변환 대상 데이터를 매핑함으로써, 데이터 분석을 위한 로(Raw) 데이터의 표준화가 가능하고, 이로 인해, 초기 표준화 이후에 수집되는 데이터를 신규 매핑된 로(Raw) 데이터로 실시간 변환할 수 있는 장점이 있다.The data format conversion device and method of the present invention as described above enables standardization of raw data for data analysis by setting one standard data format and then mapping the data to be converted using the standard data format. This has the advantage of being able to convert data collected after initial standardization into new mapped raw data in real time.

또한, 본 발명은 사이트별로 데이터 포맷이 다른 데이터들을 하나의 공통된 데이터 포맷으로 변환하여 관리함으로써, 데이터 정제 및 분석 시간을 단축할 수 있고, 공통된 주제를 가진 다양한 사이트에서 수집되는 빅 데이터들을 통합 분석할 수 있도록 하는 장점이 있다.In addition, the present invention can reduce data purification and analysis time by converting and managing data in different data formats for each site into one common data format, and can integrate and analyze big data collected from various sites with a common topic. There is an advantage in allowing this.

도 1은 본 발명의 일 실시 예에 따른 데이터 포맷 변환 장치에 대한 개략적인 블록도이다.
도 2 내지 도 5는 본 발명의 일 실시 예에 따른 데이터 포맷 변환 방법에 대한 처리 흐름도들이다.
도 6 내지 도 11은 본 발명의 일 실시 예에 따른 데이터 포맷 변환 수행시 디스플레이장치에 표시되는 화면을 예한 도면들이다.1 is a schematic block diagram of a data format conversion device according to an embodiment of the present invention.
2 to 5 are processing flowcharts for a data format conversion method according to an embodiment of the present invention.
Figures 6 to 11 are diagrams illustrating examples of screens displayed on a display device when data format conversion is performed according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.Below, embodiments of the present invention will be described with reference to the attached drawings, and will be described in detail so that those skilled in the art can easily practice the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. Meanwhile, in order to clearly explain the present invention in the drawings, parts unrelated to the description are omitted, and similar parts are given similar reference numerals throughout the specification. In addition, descriptions of parts that can be easily understood by those skilled in the art are omitted even if detailed descriptions are omitted.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification and claims, when it is said that a part includes a certain component, this means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

도 1은 본 발명의 일 실시 예에 따른 데이터 포맷 변환 장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 데이터 포맷 변환 장치(100)는 표준 데이터 저장 DB(110), 빅데이터 저장 DB(120), 표준데이터 포맷 설정부(130), 표준화처리부(140), 데이터 변환부(150), 입력부(160), 제어부(170), 표시부(180), 및 실시간 정보 수집부(190)를 포함한다.1 is a schematic block diagram of a data format conversion device according to an embodiment of the present invention. Referring to FIG. 1, the data format conversion device 100 according to an embodiment of the present invention includes a standard data storage DB 110, a big data storage DB 120, a standard data format setting unit 130, and a standardization processing unit ( 140), a data conversion unit 150, an input unit 160, a control unit 170, a display unit 180, and a real-time information collection unit 190.

표준 데이터 저장 DB(110)는 표준데이터 포맷 정보를 저장/관리한다. 이 때, 상기 표준데이터 포맷은 서로 다른 포맷의 데이터들을 하나의 공통된 데이터 포맷으로 변환하기 위한 데이터 포맷으로서, 사용자의 선택정보에 의거하여 결정된 데이터 필드들을 포함할 수 있다. 상기 표준데이터 포맷은 후술될 표준데이터 포맷 설정부(130)에서 설정할 수 있다.The standard data storage DB 110 stores/manages standard data format information. At this time, the standard data format is a data format for converting data in different formats into one common data format, and may include data fields determined based on user selection information. The standard data format can be set in the standard data format setting unit 130, which will be described later.

빅데이터 저장 DB(120)는 과거에 수집된 다양한 과거 로(Raw) 데이터들을 저장/관리한다. 이를 위해, 빅데이터 저장 DB(120)는 하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System)으로 구현될 수 있다. 또한, 빅데이터 저장 DB(120)에는 과거(Raw) 데이터들 이외에도, 실시간으로 수집된 로(Raw) 데이터의 표준화 결과(즉, 표준데이터 포맷으로 변환한 결과), 및 표준화 이전의 원시데이터를 함께 저장할 수 있다.The big data storage DB 120 stores/manages various past raw data collected in the past. To this end, the big data storage DB 120 may be implemented with the Hadoop Distributed File System (HDFS). In addition, the big data storage DB 120 contains, in addition to historical (raw) data, the standardization results of raw data collected in real time (i.e., the results of conversion to a standard data format), and the raw data before standardization. You can save it.

표준데이터 포맷 설정부(130)는 사용자의 선택정보에 의거하여, 데이터 포맷 변환을 위한 표준데이터 포맷을 설정한다. 이를 위해, 표준데이터 포맷설정부(130)는 제어부(170)의 제어를 받아 동작하고, 제어부(170)는 입력부(160)를 통해 입력된 사용자의 선택정보에 의해 표준데이터 포맷 설정부(130)를 제어할 수 있다.The standard data format setting unit 130 sets a standard data format for data format conversion based on the user's selection information. To this end, the standard data format setting unit 130 operates under the control of the control unit 170, and the control unit 170 operates the standard data format setting unit 130 according to the user's selection information input through the input unit 160. can be controlled.

즉, 표준데이터 포맷 설정부(130)는 사용자의 선택정보에 의거하여, 데이터 변환 기준이 되는 표준 데이터 필드, 및 변환대상 데이터 파일의 데이터 필드인 변환대상 데이터 필드를 등록하고, 상기 표준 데이터 필드와 상기 변환대상 데이터 필드를 매핑하여 표준데이터 포맷인 데이터 필드 매핑 정보를 생성한 후, 표준데이터 저장 DB(110)에 저장한다. 이 때, 상기 표준 데이터 필드는 표준 데이터 정보 Code(예컨대, MGSTD01), 표준 데이터 정보(예컨대, 태양광 발전시스템 모니터링 데이터), 및 표준 데이터 필드 정보(예컨대, 연번, 수집시간, 패널전압, 패널전류, 접속반 DC전압, 및 접속반 DC전류 등)를 포함하고, 상기 변환대상 데이터 필드는 변환대상 데이터 사이트 Code(예컨대, MG0001), 변환대상 데이터 사이트 정보(예컨대, AAA 태양광 발전소 (500kw)), 및 데이터 필드 정보(예컨대, 연번, 수집시간, 전일전력량, 금일전력량, 패널전압, 패널전류, 접속반DC전압, 및 접속반DC전류 등)를 포함하고, 상기 데이터 필드 매핑정보는 변환대상 데이터 사이트 Code(예컨대, MG0001), 변환대상 데이터 사이트 정보(예컨대, AAA 태양광 발전소 (500kw)), 표준데이터 필드 명(예컨대, 연번, 수집시간, 패널전압, 패널전류, 접속반DC전압, 접속반DC전류 등), 및 변환대상 데이터 매핑 필드(예컨대, 연번, 수집시간, 패널전압, 패널전류, 접속반DC전압, 접속반DC전류 등)를 포함할 수 있다.That is, the standard data format setting unit 130 registers a standard data field that is a data conversion standard and a conversion target data field that is a data field of a conversion target data file, based on the user's selection information, and registers the standard data field and the conversion target data field. The data field to be converted is mapped to generate data field mapping information in a standard data format, and then stored in the standard data storage DB 110. At this time, the standard data field includes standard data information Code (e.g., MGSTD01), standard data information (e.g., solar power system monitoring data), and standard data field information (e.g., serial number, collection time, panel voltage, panel current). , connection panel DC voltage, and connection panel DC current, etc.), and the conversion target data field includes conversion target data site code (e.g., MG0001), conversion target data site information (e.g., AAA solar power plant (500kw)) , and data field information (e.g., serial number, collection time, previous day's power amount, today's power amount, panel voltage, panel current, connection panel DC voltage, and connection panel DC current, etc.), and the data field mapping information is the data to be converted. Site code (e.g., MG0001), conversion target data site information (e.g., AAA solar power plant (500kw)), standard data field name (e.g., serial number, collection time, panel voltage, panel current, connection panel DC voltage, connection panel DC current, etc.), and conversion target data mapping fields (e.g., serial number, collection time, panel voltage, panel current, connection panel DC voltage, connection panel DC current, etc.).

이 과정에서, 표준데이터 포맷 설정부(130)는, 기 저장된 로(Raw) 파일 샘플을 상기 생성된 데이터 필드 매핑 정보에 적용하여, 상기 데이터 필드 매핑 정보에 대한 유효성 검증을 수행한 후 표준데이터 저장 DB(110)에 저장할 수 있다.In this process, the standard data format setting unit 130 applies a previously stored raw file sample to the generated data field mapping information, performs validation of the data field mapping information, and then stores the standard data. It can be stored in DB (110).

또한, 표준데이터 포맷 설정부(130)는 상기 표준 데이터 필드와 상기 변환대상 데이터 필드를 등록하기 위한 화면, 및 상기 데이터 필드 매핑 정보에 포함된 필드 목록을 표시부(180)에 디스플레이하여, 상기 표준 데이터 필드, 상기 변환대상 데이터 필드, 및 상기 데이터 필드 매핑 정보의 생성 과정 및 생성 결과를 사용자가 시각적으로 확인하고, 각각의 유효성을 사전에 검증할 수 있도록 할 수 있다. 예를 들어, 상기 생성된 데이터 필드 매핑 정보에 포함된 필드 목록의 이상 여부를 사전에 검증할 수 있도록 한다. In addition, the standard data format setting unit 130 displays a screen for registering the standard data field and the data field to be converted, and a field list included in the data field mapping information on the display unit 180, and displays the standard data field. The user can visually check the creation process and creation results of the field, the data field to be converted, and the data field mapping information, and verify the validity of each in advance. For example, it is possible to verify in advance whether there are any abnormalities in the field list included in the generated data field mapping information.

이로 인해, 표준데이터 포맷 설정부(130)는 상기 검증결과에 의거하여, 유효성이 검증된 정보만을 표준데이터 저장 DB(110)에 저장하도록 할 수 있다. 또한, 상기 유효성 검증 결과 오류 발생시 사용자가 재등록함으로써, 오류를 해결하도록 할 수 있다.Because of this, the standard data format setting unit 130 can store only information whose validity has been verified in the standard data storage DB 110 based on the verification result. Additionally, if an error occurs as a result of the validation, the user can resolve the error by re-registering.

표준화처리부(140)는 상기 표준데이터 포맷에 의거하여 빅데이터 저장 DB(120)에 저장된 과거 로(Raw) 데이터를 표준 로(Raw) 데이터로 변환하는, 표준화 처리를 수행한다. 이를 위해, 표준화처리부(140)는 빅데이터 저장 DB(120)로부터 변환대상 데이터 파일을 업로드한 후, 표준데이터 저장 DB(110)로부터 상기 변환대상 데이터 파일이 참조할 매핑정보인 제1 데이터 필드 매핑정보를 검출하고, 상기 제1 데이터 필드 매핑정보에 의거하여 상기 업로드된 변환대상 데이터 파일을 변환하여 표준화한다. The standardization processing unit 140 performs standardization processing to convert past raw data stored in the big data storage DB 120 into standard raw data based on the standard data format. To this end, the standardization processing unit 140 uploads the data file to be converted from the big data storage DB 120, and then maps the first data field, which is mapping information to be referenced by the data file to be converted, from the standard data storage DB 110. Information is detected, and the uploaded data file to be converted is converted and standardized based on the first data field mapping information.

이 때, 업로드된 데이터 파일은 CSV 형태로, 각 구분 순서대로 데이터가 파싱되며, 해당 데이터는, 기 등록된 매핑정보를 활용하여 표준 데이터 필드 순서 및 형식에 맞추어 데이터가 변환되어 CSV 파일로 저장되며, 업로드된 데이터 파일, 데이터 필드 매핑정보, 및 데이터 표준화 결과의 예는 각각 다음과 같다.At this time, the uploaded data file is in CSV format, and the data is parsed in each classification order. The data is converted to the standard data field order and format using pre-registered mapping information and saved as a CSV file. , examples of uploaded data files, data field mapping information, and data standardization results are respectively as follows.

< 업로드된 데이터 파일 예시 ><Example of uploaded data file>

연번(1), 수집시간(2020-11-19 8:20:00 PM), 전일 전력량(67), 금일 전력량(39), 패널전압(13), 패널전류(88), 접속반DC전압(37), 접속반1DC전류(11) 등Serial number (1), collection time (2020-11-19 8:20:00 PM), previous day's power amount (67), today's power amount (39), panel voltage (13), panel current (88), connection panel DC voltage ( 37), connection panel 1DC current (11), etc.

< 데이터 필드 매핑정보 예시 ><Example of data field mapping information>

연번, 수집시간, 패널전압, 패널전류, 접속반DC전압, 접속반1DC전류 등Serial number, collection time, panel voltage, panel current, connection panel DC voltage, connection panel 1DC current, etc.

< 데이터 표준화 결과 ><Data standardization results>

연번(1), 수집시간(2020-11-19 8:20:00 PM), 패널전압(13), 패널전류(88), 접속반DC전압(37), 접속반1DC전류(11) 등Number (1), collection time (2020-11-19 8:20:00 PM), panel voltage (13), panel current (88), connection panel DC voltage (37), connection panel 1 DC current (11), etc.

한편, 표준화처리부(140)는 상기 업로드된 변환대상 데이터 파일에 대한 변환을 수행하기 전에, 상기 표준데이터 포맷을 이용한 샘플 검증을 먼저 수행하고, 상기 샘플 검증결과 오류가 발생하지 않은 경우에만 상기 업로드된 변환대상 데이터 파일에 대한 변환을 수행하도록 할 수 있다. 만약, 상기 샘플 검증시에 오류가 발생한 경우, 표준화처리부(140)는 상기 오류의 발생을 알리기 위한 알림 메시지(예컨대, 알람음, 또는 음성 안내 메시지 등)를 출력할 수 있다. Meanwhile, before performing conversion on the uploaded data file to be converted, the standardization processing unit 140 first performs sample verification using the standard data format, and only if no error occurs as a result of the sample verification, the uploaded data file is converted. You can perform conversion on the data file to be converted. If an error occurs during sample verification, the standardization processing unit 140 may output a notification message (eg, an alarm sound or a voice guidance message, etc.) to notify of the occurrence of the error.

데이터 변환부(150)는 상기 표준 로(Raw) 데이터를 기준으로, 표준화처리부(140)에서의 표준화 처리 이후에 수집되는 실시간 데이터들을 변환한다. 이를 위해, 데이터 변환부(150)는 실시간 정보 수집부(190)에서 실시간으로 수집된 데이터들을 업로드한 후, 표준데이터 저장 DB(110)로부터 상기 업로드된 실시간 데이터의 변환을 위해 참조할 매핑정보인 제2 데이터 필드 매핑정보를 검출하고, 상기 제2 데이터 필드 매핑정보에 의거하여 상기 실시간 데이터를 변환하고, 그 결과를 빅데이터 저장 DB(120)에 저장한다. The data conversion unit 150 converts real-time data collected after standardization in the standardization processing unit 140, based on the standard raw data. To this end, the data conversion unit 150 uploads the data collected in real time from the real-time information collection unit 190 and then retrieves mapping information to be referenced for conversion of the uploaded real-time data from the standard data storage DB 110. Second data field mapping information is detected, the real-time data is converted based on the second data field mapping information, and the result is stored in the big data storage DB 120.

이 때, 실시간 데이터 파일은 CSV 형태로 수집되어 각 구분 순서대로 데이터가 파싱되며, 해당 데이터는 기 등록된 매핑정보를 활용하여 표준 데이터 필드 순서 및 형식에 맞추어 데이터가 변환되어 CSV파일로 저장되며, 실시간 데이터 파일, 제2 데이터 필드 매핑 정보, 및 데이터 표준화 결과의 예는 각각 다음과 같다.At this time, real-time data files are collected in CSV format, the data is parsed in each classification order, and the data is converted to the standard data field order and format using pre-registered mapping information and saved as a CSV file. Examples of real-time data files, secondary data field mapping information, and data normalization results are respectively as follows.

< 실시간 데이터 파일><Real-time data file>

연번(1), 수집시간(2020-11-19 8:20:00 PM), 전일 전력량(67), 금일 전력량(39), 패널전압(13), 패널전류(88), 접속반DC전압(37), 접속반1DC전류(11) 등Serial number (1), collection time (2020-11-19 8:20:00 PM), previous day's power amount (67), today's power amount (39), panel voltage (13), panel current (88), connection panel DC voltage ( 37), connection panel 1DC current (11), etc.

< 제2 데이터 필드 매핑정보 ><Second data field mapping information>

연번, 수집시간, 패널전압, 패널전류, 접속반DC전압, 접속반1DC전류 등Serial number, collection time, panel voltage, panel current, connection panel DC voltage, connection panel 1DC current, etc.

< 데이터 표준화 결과 ><Data standardization results>

- 연번(1), 수집시간(2020-11-19 8:20:00 PM), 패널전압(13), 패널전류(88), 접속반DC전압(37), 접속반1DC전류(11) 등- Number (1), collection time (2020-11-19 8:20:00 PM), panel voltage (13), panel current (88), connection panel DC voltage (37), connection panel 1 DC current (11), etc.

또한, 데이터 변환부(150)는 실시간으로 수집되어 변환되기 이전인 원시 데이터를 빅데이터 저장 DB(120)에 함께 저장할 수 있다. 이는, 향후 빅데이터 분석을 위해 활용하기 위함이다.Additionally, the data conversion unit 150 can store raw data collected in real time and before conversion in the big data storage DB 120. This is to be used for future big data analysis.

입력부(160)는 사용자(즉, 담당자)의 선택정보를 입력받아 제어부(170)로 전달하고, 제어부(170)는 미리 설정된 제어 알고리즘에 의거하여 표준 데이터 포맷 설정부(130), 표준화 처리부(140), 데이터 변환부(150), 및 표시부(180) 각각의 동작을 제어한다. The input unit 160 receives the user's (i.e., person in charge) selection information and transmits it to the control unit 170, and the control unit 170 includes a standard data format setting unit 130 and a standardization processing unit 140 based on a preset control algorithm. ), the data conversion unit 150, and the display unit 180 each control their operations.

특히, 제어부(170)는 입력부(160)를 통해 입력된 사용자의 선택정보 또는 실시간 정보 수집부(190)를 통해 수집된 실시간 데이터에 의거하여, 상기 제어를 수행한다.In particular, the control unit 170 performs the control based on the user's selection information input through the input unit 160 or real-time data collected through the real-time information collection unit 190.

표시부(180)는 데이터 포맷 변환 장치(100)의 동작을 위해 필요한 정보를 표시한다. 예를 들어, 표시부(180)는 데이터 포맷 변환 장치(100)의 동작 중 사용자의 검증이 필요한 정보를 표시하고, 그 결과를 데이터 포맷 변환을 위한 처리 과정에 반영하도록 할 수 있다.The display unit 180 displays information necessary for the operation of the data format conversion device 100. For example, the display unit 180 may display information that requires verification by the user during operation of the data format conversion device 100 and reflect the results in the processing for data format conversion.

실시간 정보 수집부(190)는 실시간 정보를 수집하여, 제어부(170)로 전달한다. 예를 들어, 실시간 정보 수집부(190)는 적어도 하나의 사이트에서 수집되는 발전소 운영 데이터들을 실시간으로 수집하여 제어부(170)로 전달할 수 있다.The real-time information collection unit 190 collects real-time information and transmits it to the control unit 170. For example, the real-time information collection unit 190 may collect power plant operation data collected from at least one site in real time and transmit it to the control unit 170.

도 2 내지 도 5는 본 발명의 일 실시 예에 따른 데이터 포맷 변환 방법에 대한 처리 흐름도들이다. 도 1 내지 도 5를 참조하여, 본 발명의 일 실시 예에 따른 데이터 포맷 변환 장치를 이용한 데이터 포맷 변환 방법을 설명하면 다음과 같다.2 to 5 are processing flowcharts for a data format conversion method according to an embodiment of the present invention. With reference to FIGS. 1 to 5, a data format conversion method using a data format conversion device according to an embodiment of the present invention will be described as follows.

단계 S100에서는, 표준데이터 포맷 설정부(130)가 사용자의 선택정보에 의거하여, 데이터 포맷 변환을 위한 표준데이터 포맷을 설정한다. In step S100, the standard data format setting unit 130 sets a standard data format for data format conversion based on the user's selection information.

이를 위해, 표준데이터 포맷 설정부(130)는, 먼저, 단계 S110에서, 표준 데이터 필드를 등록한다. 즉, 사용자(담당자)가 입력부(160)를 통해 데이터 변환 기준이 되는 표준 데이터 필드를 입력하면, 제어부(170)는, 상기 표준 데이터 필드를 표준데이터 저장 DB(110)에 등록하도록 표준데이터 포맷 설정부(130)를 제어한다. To this end, the standard data format setting unit 130 first registers a standard data field in step S110. That is, when the user (person in charge) inputs a standard data field that serves as a data conversion standard through the input unit 160, the control unit 170 sets the standard data format to register the standard data field in the standard data storage DB 110. Controls unit 130.

단계 S120에서는, 표준데이터 포맷 설정부(130)가, 변환 대상 데이터 파일의 데이터 필드인 변환대상 데이터 필드를 등록한다. 즉, 사용자(담당자)가 입력부(160)를 통해 변환대상 데이터 파일을 업로드하면, 제어부(170)는, 그에 응답하여 상기 변환대상 데이터 파일의 필드와 데이터 형식을 정의하여 표준데이터 저장 DB(110)에 저장하도록 표준데이터 포맷 설정부(130)를 제어한다.In step S120, the standard data format setting unit 130 registers the conversion target data field, which is the data field of the conversion target data file. That is, when a user (person in charge) uploads a data file to be converted through the input unit 160, the control unit 170 defines the fields and data format of the data file to be converted in response to the standard data storage DB 110. Controls the standard data format setting unit 130 to store it in .

이 때, 표준데이터 포맷 설정부(130)는, 상기 표준 데이터 필드와 상기 변환대상 데이터 필드를 등록하기 위한 화면, 및 상기 데이터 필드 매핑 정보에 포함된 필드 목록을 표시부(180)에 디스플레이하여, 상기 표준 데이터 필드, 상기 변환대상 데이터 필드, 및 상기 데이터 필드 매핑 정보의 생성 과정 및 생성 결과를 사용자가 시각적으로 확인하고, 각각의 유효성을 사전에 검증할 수 있도록 할 수 있다. 예를 들어, 상기 생성된 데이터 필드 매핑 정보에 포함된 필드 목록의 이상 여부를 사전에 검증할 수 있도록 한다. At this time, the standard data format setting unit 130 displays a screen for registering the standard data field and the conversion target data field and a list of fields included in the data field mapping information on the display unit 180, The user can visually check the creation process and creation results of the standard data field, the conversion target data field, and the data field mapping information, and verify the validity of each in advance. For example, it is possible to verify in advance whether there are any abnormalities in the field list included in the generated data field mapping information.

이로 인해, 표준데이터 포맷 설정부(130)는 상기 검증결과에 의거하여, 유효성이 검증된 정보만을 표준데이터 저장 DB(110)에 저장할 수 있다. 또한, 상기 유효성 검증 결과 오류 발생시 사용자가 재등록함으로써, 오류를 해결하도록 할 수 있다.For this reason, the standard data format setting unit 130 can store only information whose validity has been verified in the standard data storage DB 110 based on the verification result. Additionally, if an error occurs as a result of the validation, the user can resolve the error by re-registering.

도 6은 단계 S110에서, 표준 데이터 필드를 등록하기 위한 화면을 예시하고, 도 7은 단계 S120에서, 변환 대상 데이터 필드를 등록하기 위한 화면을 예시한다. 도 6 및 도 7에 예시된 바와 같이, 사용자는 표준 데이터 필드 및 변환 대상 데이터 필드 각각을 시각적으로 확인하면서 등록하고, 그 결과를 또한 시각적으로 확인함으로써, 오류를 사전에 검증할 수 있다. 도 6 및 도 7을 참조하면, 상기 표준 데이터 필드 및 변환 대상 데이터 필드는 연번을 나타내는 필드(no), 수집 시간을 나타내는 필드(reg_data), 패널1의 전압을 나타내는 필드(pv1_vol), 패널1의 전류를 나타내는 필드(pv1_cmt), 패널2의 전압을 나타내는 필드(pv2_vol)를 포함할 수 있다.FIG. 6 illustrates a screen for registering a standard data field in step S110, and FIG. 7 illustrates a screen for registering a data field to be converted in step S120. As illustrated in Figures 6 and 7, the user can verify errors in advance by visually checking and registering each of the standard data field and the conversion target data field and visually checking the result. Referring to Figures 6 and 7, the standard data field and the data field to be converted are a field indicating the serial number (no), a field indicating the collection time (reg_data), a field indicating the voltage of panel 1 (pv1_vol), and a field indicating the voltage of panel 1. It may include a field representing the current (pv1_cmt) and a field representing the voltage of panel 2 (pv2_vol).

단계 S130에서는, 표준데이터 포맷 설정부(130)가 상기 표준 데이터 필드와, 상기 변환대상 데이터 필드를 매핑하여 표준데이터 포맷인 데이터 필드 매핑 정보를 생성한다. 이를 위해, 표준데이터 포맷 설정부(130)는 표준데이터 저장 DB(110)로부터 변환대상 데이터 필드를 읽어오고, 오픈-랩 표준 데이터 필드로부터 통합 데이터 모델 필드를 조회하여, 데이터 필드 매핑 작업을 진행한다. 즉, 사용자는 상기 통합 데이터 모델을 기준으로 상기 변환대상 데이터 필드 매핑 작업을 진행할 수 있다. 이 때, 오픈-랩 표준 데이터 필드는 ETOC 필드이고, 통합 데이터 모델 필드는 MG 필드이다.In step S130, the standard data format setting unit 130 maps the standard data field and the data field to be converted to generate data field mapping information in a standard data format. To this end, the standard data format setting unit 130 reads the data field to be converted from the standard data storage DB 110, searches the integrated data model field from the open-lab standard data field, and performs data field mapping work. . That is, the user can proceed with mapping the data field to be converted based on the integrated data model. At this time, the open-lab standard data field is the ETOC field, and the integrated data model field is the MG field.

이를 위한, 화면 예가 도 8에 예시되어 있다. 이 때, 상기 데이터 필드 매핑 작업은 변환대상 데이터 필드와 표준 데이터 필드를 매핑하는 작업이며, 향후 데이터 변환시 상기 변환대상 데이터 필드들 중 표준 데이터 필드와 매핑된 정보만 추출해서 데이터 변환을 수행하게 된다. For this purpose, an example screen is illustrated in Figure 8. At this time, the data field mapping task is a task of mapping a data field to be converted to a standard data field, and when converting data in the future, only information mapped to a standard data field among the data fields to be converted is extracted and data conversion is performed.

한편, 이와 같은 매핑 결과가 정상인지 여부를 확인하기 위해, 표준데이터 포맷 설정부(130)는, 유효성 검증 단계(미도시)를 더 수행할 수 있는데, 이를 위해, 표준데이터 포맷 설정부(130)는 기 저장된 로(Raw) 파일 샘플을 상기 생성된 데이터 필드 매핑 정보에 적용하여 상기 데이터 필드 매핑 정보에 대한 유효성을 검증할 수 있다. 즉, 표준데이터 포맷 설정부(130)는 기 저장된 로(Raw) 파일 샘플을 활용해서 매핑작업을 진행하고, 그 결과를 출력한다. 이 때, 출력된 화면 예가 도 9에 예시되어 있다. Meanwhile, in order to check whether such a mapping result is normal, the standard data format setting unit 130 may further perform a validation step (not shown). For this purpose, the standard data format setting unit 130 Can verify the validity of the data field mapping information by applying a previously stored raw file sample to the generated data field mapping information. That is, the standard data format setting unit 130 performs a mapping operation using a previously stored raw file sample and outputs the result. At this time, an example of the output screen is shown in Figure 9.

단계 S140에서는, 단계 S130에서 생성된 데이터 필드 매핑정보를 저장하되, 작업자는 도 9에 예시된 바와 같은 화면에 의해 유효성 검증 오류 여부를 확인하고, 유효성이 검증된 데이터 필드 매핑 결과만을 표준데이터 저장 DB(110)에 저장할 수 있다. 도 10은 이와 같이 저장된 데이터를 관리하기 위한 화면을 예시하고 있다. 즉, 표준데이터 포맷 설정부(130)는, 표준데이터 저장 DB(110)에 저장된 데이터 필드 매핑 결과에 대한 관리를 수행하되, 도 10에 예시된 바와 같은, 화면에 의거하여, 저장일자, 수정이력 관리, 및 매핑 데이터 수정, 삭제 등의 기능을 수행할 수 있다.In step S140, the data field mapping information generated in step S130 is stored, and the operator checks for validation errors through the screen as illustrated in FIG. 9, and stores only the validated data field mapping results in the standard data storage DB. It can be saved at (110). Figure 10 illustrates a screen for managing data stored in this way. That is, the standard data format setting unit 130 manages the data field mapping results stored in the standard data storage DB 110, and displays the storage date and modification history based on the screen as illustrated in FIG. 10. Functions such as management and mapping data modification and deletion can be performed.

한편, 상기 유효성 검증 결과, 오류 발생시 단계 S130의 매핑정보 생성 과정을 다시 수행하도록 할 수 있다. Meanwhile, if an error occurs as a result of the validation, the mapping information generation process in step S130 can be performed again.

단계 S200에서는, 표준화 처리부(140)가, 상기 표준데이터 포맷에 의거하여, 과거에 수집된 과거 로(Raw) 데이터를 표준 로(Raw) 데이터로 변환하는 표준화를 수행한다.In step S200, the standardization processing unit 140 performs standardization to convert past raw data collected in the past into standard raw data based on the standard data format.

이를 위해, 표준화 처리부(140)는, 단계 S210에서, 빅데이터 저장 DB(120)로부터 변환대상 데이터를 업로드하고, 단계 S220에서, 표준데이터 저장 DB(110)로부터 표준화를 위해 참조될 데이터 필드 매핑정보(이하, ‘제1 데이터 필드 매핑정보’라 칭함)를 검출한다.To this end, the standardization processing unit 140 uploads data to be converted from the big data storage DB 120 in step S210, and data field mapping information to be referenced for standardization from the standard data storage DB 110 in step S220. (hereinafter referred to as ‘first data field mapping information’) is detected.

또한, 단계 S230에서는, 표준화 처리부(140)가 상기 표준데이터 포맷을 이용하여 샘플 검증을 수행한다. 이를 위해, 표준화 처리부(140)는 기 저장된 로(Raw) 파일 샘플을 상기 제1 데이터 필드 매핑 정보에 적용하여 상기 제1 데이터 필드 매핑 정보에 대한 유효성을 검증할 수 있다. 즉, 표준화 처리부(140)는 기 저장된 로(Raw) 파일 샘플을 활용해서 매핑작업을 진행하고, 그 결과를 출력한다. 이 때, 출력된 화면 예가 도 11에 예시되어 있다. Additionally, in step S230, the standardization processing unit 140 performs sample verification using the standard data format. To this end, the standardization processor 140 may verify the validity of the first data field mapping information by applying a previously stored raw file sample to the first data field mapping information. That is, the standardization processing unit 140 performs a mapping operation using previously stored raw file samples and outputs the results. At this time, an example of the output screen is shown in Figure 11.

단계 S240에서는, 상기 샘플 검증 결과의 정상 여부를 결정하고, 상기 샘플 검증 결과가 정상인 경우, 단계 S250 및 단계 S260에서는, 상기 제1 데이터 필드 매핑정보에 의거하여 상기 업로드된 변환대상 데이터 파일을 변환한 후, 그 결과를 빅데이터 저장 DB(Hadoop)(120)에 저장한다. In step S240, it is determined whether the sample verification result is normal, and if the sample verification result is normal, in steps S250 and S260, the uploaded data file to be converted is converted based on the first data field mapping information. Then, the results are stored in the big data storage DB (Hadoop) 120.

단계 S270에서는, 상기 샘플 검증 결과가 정상이 아닌 경우, 이를 알리기 위한 오류 알림 메시지를 출력한다. In step S270, if the sample verification result is not normal, an error notification message is output to inform this.

단계 S300에서는, 실시간 데이터를 변환한다. 이를 위해, 데이터 변환부(150)는 실시간 정보 수집부(190)에서 실시간으로 수집된 데이터(즉, 적어도 하나의 사이트에서 수집되는 발전소 운영 데이터들)를, 제어부(170)를 통해, 전달받고, 단계 S200에서 표준화된 표준 로(Raw) 데이터를 기준으로, 상기 실시간 데이터들을 변환한다. In step S300, real-time data is converted. To this end, the data conversion unit 150 receives data collected in real time from the real-time information collection unit 190 (i.e., power plant operation data collected from at least one site) through the control unit 170, In step S200, the real-time data is converted based on standardized standard raw data.

이를 위해, 데이터 변환부(150)는, 단계 S310에서, 단계 S200 이후에 수집되는 실시간 데이터들을 업로드하고, 단계 S320에서는, 단계 S140에서 저장된 데이터 필드 매핑정보들 중 상기 업로드된 실시간 데이터의 변환을 위해 참조할 데이터 필드 매핑정보(이하, ‘제2 데이터 필드 매핑정보’라 칭함)를 표준 데이터 저장 DB(110)로부터 검출한다. To this end, in step S310, the data conversion unit 150 uploads real-time data collected after step S200, and in step S320, converts the uploaded real-time data among the data field mapping information stored in step S140. Data field mapping information to be referenced (hereinafter referred to as 'second data field mapping information') is detected from the standard data storage DB 110.

또한, 데이터 변환부(150)는, 단계 S330에서, 상기 제2 데이터 필드 매핑정보에 의거하여 상기 업로드된 실시간 데이터를 변환하고, 단계 S340에서, 상기 변환된 데이터를 빅데이터 저장 DB(Hadoop)(120)에 저장한다. 이 때, 데이터 변환부(150)는 상기 단계 S310에서 업로드된 후 변환되기 이전의 원시 데이터를 빅데이터 저장 DB(Hadoop)(120)에 함께 저장할 수 있다.In addition, the data conversion unit 150 converts the uploaded real-time data based on the second data field mapping information in step S330, and converts the converted data into a big data storage DB (Hadoop) in step S340. 120) and save it. At this time, the data conversion unit 150 may store the raw data uploaded in step S310 and before conversion together in the big data storage DB (Hadoop) 120.

이와 같이, 본 발명은, 하나의 표준데이터 포맷을 설정한 후 상기 표준데이터 포맷을 이용하여 변환 대상 데이터를 매핑함으로써, 데이터 분석을 위한 로(Raw) 데이터의 표준화가 가능하고, 이로 인해, 초기 표준화 이후에 수집되는 데이터를 신규 매핑된 로(Raw) 데이터로 실시간 변환할 수 있는 장점이 있다.As such, the present invention enables standardization of raw data for data analysis by setting one standard data format and then mapping the data to be converted using the standard data format, thereby enabling initial standardization. It has the advantage of being able to convert data collected later into new mapped raw data in real time.

또한, 본 발명은 사이트별로 데이터 포맷이 다른 데이터들을 하나의 공통된 데이터 포맷으로 변환하여 관리함으로써, 데이터 정제 및 분석 시간을 단축할 수 있고, 공통된 주제를 가진 다양한 사이트에서 수집되는 빅 데이터들을 통합 분석할 수 있도록 하는 장점이 있다.In addition, the present invention can reduce data purification and analysis time by converting and managing data in different data formats for each site into one common data format, and can integrate and analyze big data collected from various sites with a common topic. There is an advantage in allowing this.

이상에서는 본 발명의 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명이 실시 예로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.Although the embodiments of the present invention have been described above, the scope of the rights of the present invention is not limited thereto, and the present invention can be easily modified from the embodiments by those skilled in the art in the technical field to which the present invention belongs and is recognized as equivalent. Includes all changes and modifications to the extent permitted.

100: 데이터 포맷 변환 장치 110: 표준 데이터 저장 DB
120: 빅데이터 저장 DB(Hadoop) 130: 표준 데이터 포맷 설정부
140: 표준화처리부 150: 데이터 변환부
160: 입력부 170: 제어부
180: 표시부 190: 실시간 정보 수집부100: Data format conversion device 110: Standard data storage DB
120: Big data storage DB (Hadoop) 130: Standard data format setting unit
140: Standardization processing unit 150: Data conversion unit
160: input unit 170: control unit
180: display unit 190: real-time information collection unit

Claims (14)

데이터 포맷 변환 장치에 있어서,
사용자의 선택정보에 의거하여, 데이터 포맷 변환을 위한 표준데이터 포맷을 설정하는 표준데이터 포맷 설정부;
상기 표준데이터 포맷 정보를 저장하는 표준데이터 저장수단;
과거에 수집된 다양한 과거 로(Raw) 데이터들을 저장/관리하는 빅데이터 저장수단;
상기 표준데이터 포맷에 의거하여 상기 빅데이터 저장수단에 저장된 과거 로(Raw) 데이터를 표준 로(Raw) 데이터로 변환하는, 표준화 처리를 수행하는, 표준화처리부;
적어도 하나의 사이트에서 수집되는 발전소 운영 데이터들을 실시간으로 수집하는 실시간 정보 수집부; 및
상기 표준 로(Raw) 데이터를 기준으로, 상기 표준화 처리 이후에 수집되는 실시간 데이터들을 변환하는 데이터 변환부를 포함하는 것을 특징으로 하는 데이터 포맷 변환 장치.In the data format conversion device,
A standard data format setting unit that sets a standard data format for data format conversion based on the user's selection information;
Standard data storage means for storing the standard data format information;
Big data storage means for storing/managing various past raw data collected in the past;
a standardization processing unit that performs standardization processing to convert past raw data stored in the big data storage means into standard raw data based on the standard data format;
A real-time information collection unit that collects power plant operation data collected from at least one site in real time; and
A data format conversion device comprising a data conversion unit that converts real-time data collected after the standardization process based on the standard raw data. 제1항에 있어서, 상기 표준데이터 포맷 설정부는
사용자의 선택정보에 의거하여, 데이터 변환 기준이 되는 표준 데이터 필드 및 변환대상 데이터 파일의 데이터 필드인 변환대상 데이터 필드를 등록하고, 상기 표준 데이터 필드와, 상기 변환대상 데이터 필드를 매핑하여 표준데이터 포맷인 데이터 필드 매핑 정보를 생성하여 상기 표준데이터 저장수단에 저장하는 것을 특징으로 하는 데이터 포맷 변환 장치.The method of claim 1, wherein the standard data format setting unit
Based on the user's selection information, register the standard data field that is the standard for data conversion and the conversion target data field, which is the data field of the conversion target data file, and map the standard data field and the conversion target data field into a standard data format. A data format conversion device characterized in that it generates data field mapping information and stores it in the standard data storage means. 제2항에 있어서, 상기 표준데이터 포맷 설정부는
기 저장된 로(Raw) 파일 샘플을 상기 생성된 데이터 필드 매핑 정보에 적용하여 상기 데이터 필드 매핑 정보에 대한 유효성 검증을 수행한 후 상기 표준데이터 저장수단에 저장하는 것을 특징으로 하는 데이터 포맷 변환 장치.The method of claim 2, wherein the standard data format setting unit
A data format conversion device comprising applying a previously stored raw file sample to the generated data field mapping information, validating the data field mapping information, and then storing the data in the standard data storage means. 제2항에 있어서, 상기 표준화처리부는
상기 빅데이터 저장수단으로부터 변환대상 데이터 파일을 업로드한 후, 상기 표준데이터 저장수단으로부터 상기 변환대상 데이터 파일이 참조할 매핑정보인 제1 데이터 필드 매핑정보를 검출하고, 상기 제1 데이터 필드 매핑정보에 의거하여 상기 업로드된 변환대상 데이터 파일을 변환하여 표준화하는 것을 특징으로 하는 데이터 포맷 변환 장치.The method of claim 2, wherein the standardization processing unit
After uploading the data file to be converted from the big data storage means, first data field mapping information, which is mapping information to be referenced by the data file to be converted, is detected from the standard data storage means, and the first data field mapping information is stored in the first data field mapping information. A data format conversion device characterized in that it converts and standardizes the uploaded conversion target data file based on the data. 제4항에 있어서, 상기 표준화처리부는
상기 표준데이터 포맷을 이용하여 샘플 검증을 수행하고, 상기 샘플 검증결과 오류발생시 오류발생을 알리기 위한 알림 메시지를 출력하는 것을 특징으로 하는 데이터 포맷 변환 장치.The method of claim 4, wherein the standardization processing unit
A data format conversion device that performs sample verification using the standard data format and outputs a notification message to notify of the occurrence of an error when an error occurs as a result of the sample verification. 제4항에 있어서, 상기 데이터 변환부는
상기 실시간 정보 수집부에서 실시간으로 수집된 데이터들을 업로드한 후, 상기 표준데이터 저장수단으로부터 상기 업로드된 실시간 데이터의 변환을 위해 참조할 매핑정보인 제2 데이터 필드 매핑정보를 검출하고, 상기 제2 데이터 필드 매핑정보에 의거하여 상기 실시간 데이터를 변환하는 것을 특징으로 하는 데이터 포맷 변환 장치.The method of claim 4, wherein the data conversion unit
After uploading the data collected in real time by the real-time information collection unit, second data field mapping information, which is mapping information to be referenced for conversion of the uploaded real-time data, is detected from the standard data storage means, and the second data A data format conversion device that converts the real-time data based on field mapping information. 제6항에 있어서, 상기 데이터 변환부는
상기 실시간으로 수집되어 변환되기 이전인 원시 데이터를 상기 빅데이터 저장수단에 함께 저장하는 것을 특징으로 하는 데이터 포맷 변환 장치.The method of claim 6, wherein the data conversion unit
A data format conversion device, characterized in that the raw data collected in real time and before conversion is stored together in the big data storage means. 데이터 포맷 변환 방법에 있어서,
사용자의 선택정보에 의거하여, 데이터 포맷 변환을 위한 표준데이터 포맷을 설정하는 표준데이터 포맷 설정단계;
상기 표준데이터 포맷에 의거하여, 과거에 수집된 과거 로(Raw) 데이터를 표준 로(Raw) 데이터로 변환하는 표준화 단계;
적어도 하나의 사이트에서 수집되는 발전소 운영 데이터들을 실시간으로 수집하는 실시간 정보 수집단계; 및
상기 표준화 단계에서 표준화된 표준 로(Raw) 데이터를 기준으로, 상기 실시간 정보 수집단계에서 수집되는 상기 실시간 데이터들을 변환하는 실시간 데이터 변환 단계를 포함하는 것을 특징으로 하는 데이터 포맷 변환 방법.In the data format conversion method,
A standard data format setting step of setting a standard data format for data format conversion based on the user's selection information;
A standardization step of converting past raw data collected in the past into standard raw data based on the standard data format;
A real-time information collection step of collecting power plant operation data collected from at least one site in real time; and
A data format conversion method comprising a real-time data conversion step of converting the real-time data collected in the real-time information collection step based on standard raw data standardized in the standardization step. 제8항에 있어서, 상기 표준데이터 포맷 설정단계는
사용자의 선택정보에 의거하여 데이터 변환 기준이 되는 표준 데이터 필드를 등록하는 제1 데이터 필드 등록단계;
사용자의 선택정보에 의거하여 변환 대상 데이터 파일의 데이터 필드인 변환대상 데이터 필드를 등록하는 제2 데이터 필드 등록단계;
상기 표준 데이터 필드와, 상기 변환대상 데이터 필드를 매핑하여 표준데이터 포맷인 데이터 필드 매핑 정보를 생성하는 매핑단계; 및
상기 표준데이터 포맷인 데이터 필드 매핑 정보를 저장하는 제1 저장단계를 포함하는 것을 특징으로 하는 데이터 포맷 변환 방법.The method of claim 8, wherein the standard data format setting step is
A first data field registration step of registering a standard data field that serves as a data conversion standard based on the user's selection information;
A second data field registration step of registering a conversion target data field, which is a data field of a conversion target data file, based on the user's selection information;
A mapping step of mapping the standard data field and the conversion target data field to generate data field mapping information in a standard data format; and
A data format conversion method comprising a first storage step of storing data field mapping information in the standard data format. 제9항에 있어서, 상기 표준데이터 포맷 설정단계는
기 저장된 로(Raw) 파일 샘플을 상기 생성된 데이터 필드 매핑 정보에 적용하여 상기 데이터 필드 매핑 정보에 대한 유효성을 검증하는 유효성 검증 단계를 더 포함하는 것을 특징으로 하는 데이터 포맷 변환 방법.The method of claim 9, wherein the standard data format setting step is
A data format conversion method further comprising a validation step of verifying the validity of the data field mapping information by applying a previously stored raw file sample to the generated data field mapping information. 제10항에 있어서, 상기 표준화 단계는
다양한 과거의 수집 정보들을 저장/관리하는 빅데이터 저장수단으로부터 변환대상 데이터 파일을 업로드하는 제1 업로드 단계;
상기 제1 저장단계에서 저장된 데이터 필드 매핑정보들 중 상기 변환대상 데이터 파일을 표준화하기 위해 참조할 제1 데이터 필드 매핑정보를 검출하는 제1 검출단계; 및
상기 검출된 제1 데이터 필드 매핑정보에 의거하여 상기 업로드된 변환대상 데이터 파일을 변환하는 과거데이터 변환단계를 포함하는 것을 특징으로 하는 데이터 포맷 변환 방법.The method of claim 10, wherein the standardization step is
A first upload step of uploading a data file to be converted from a big data storage means that stores/manages various past collected information;
A first detection step of detecting first data field mapping information to be referred to for standardizing the data file to be converted from among the data field mapping information stored in the first storage step; and
A data format conversion method comprising a past data conversion step of converting the uploaded data file to be converted based on the detected first data field mapping information. 제11항에 있어서, 상기 표준화 단계는
상기 표준데이터 포맷을 이용하여 샘플 검증을 수행하는 샘플검증단계; 및
상기 샘플 검증결과 오류 발생시 알림 메시지를 출력하는 알림단계를 더 포함하는 것을 특징으로 하는 데이터 포맷 변환 방법.The method of claim 11, wherein the standardization step is
A sample verification step of performing sample verification using the standard data format; and
A data format conversion method further comprising a notification step of outputting a notification message when an error occurs as a result of the sample verification. 제12항에 있어서, 상기 실시간 데이터 변환 단계는
상기 표준화 단계 이후에 수집되는 실시간 데이터들을 업로드하는 제2 업로드 단계;
상기 제1 저장단계에서 저장된 데이터 필드 매핑정보들 중 상기 업로드된 실시간 데이터의 변환을 위해 참조할 제2 데이터 필드 매핑정보를 검출하는 제2 검출단계;
상기 검출된 제2 데이터 필드 매핑정보에 의거하여 상기 실시간 데이터를 변환하는 실시간 데이터 변환단계; 및
상기 변환된 데이터를 상기 빅데이터 저장수단에 저장하는 제2 저장단계를 포함하는 것을 특징으로 하는 데이터 포맷 변환 방법.The method of claim 12, wherein the real-time data conversion step is
A second upload step of uploading real-time data collected after the standardization step;
a second detection step of detecting second data field mapping information to be referred to for conversion of the uploaded real-time data from among the data field mapping information stored in the first storage step;
A real-time data conversion step of converting the real-time data based on the detected second data field mapping information; and
A data format conversion method comprising a second storage step of storing the converted data in the big data storage means. 제13항에 있어서, 상기 제2 저장단계는
상기 제2 업로드 단계에서 업로드된 후 변환되기 이전의 원시 데이터를 상기 빅데이터 저장수단에 함께 저장하는 것을 특징으로 하는 데이터 포맷 변환 방법.The method of claim 13, wherein the second storage step is
A data format conversion method characterized by storing the raw data uploaded in the second upload step and before conversion together in the big data storage means.
KR1020220059100A 2022-05-13 2022-05-13 Apparatus and method for converting data format KR20230159130A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220059100A KR20230159130A (en) 2022-05-13 2022-05-13 Apparatus and method for converting data format

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220059100A KR20230159130A (en) 2022-05-13 2022-05-13 Apparatus and method for converting data format

Publications (1)

Publication Number Publication Date
KR20230159130A true KR20230159130A (en) 2023-11-21

Family

ID=88982148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220059100A KR20230159130A (en) 2022-05-13 2022-05-13 Apparatus and method for converting data format

Country Status (1)

Country Link
KR (1) KR20230159130A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150077669A (en) 2013-12-30 2015-07-08 충남대학교산학협력단 Data Analysis Method and System Using MapReduce Approach

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150077669A (en) 2013-12-30 2015-07-08 충남대학교산학협력단 Data Analysis Method and System Using MapReduce Approach

Similar Documents

Publication Publication Date Title
CN108039959B (en) Data situation perception method, system and related device
JP2020527788A (en) Disease prediction methods and devices, computer devices and readable storage media
CN107566163A (en) A kind of alarm method and device of user behavior analysis association
CN110674360B (en) Tracing method and system for data
CN111949850B (en) Multi-source data acquisition method, device, equipment and storage medium
CN115086148B (en) Optical network alarm processing method, system, equipment and storage medium
CN114493255A (en) Enterprise abnormity monitoring method based on knowledge graph and related equipment thereof
CN111078512A (en) Alarm record generation method and device, alarm equipment and storage medium
CN111858236B (en) Knowledge graph monitoring method and device, computer equipment and storage medium
US11593700B1 (en) Network-accessible service for exploration of machine learning models and results
CN113138906A (en) Call chain data acquisition method, device, equipment and storage medium
CN111784176A (en) Data processing method, device, server and medium
KR20230159130A (en) Apparatus and method for converting data format
CN115643094A (en) Threat information fusion method and device, electronic equipment and storage medium
CN114298805A (en) Alarm information generation method and equipment
CN113052509B (en) Model evaluation method, model evaluation device, electronic apparatus, and storage medium
CN111107154B (en) Data reporting method and device
CN113656271B (en) Method, device, equipment and storage medium for processing abnormal behaviors of user
CN111862104B (en) Video cutting method and system based on large-scale urban night scenes
CN115238805B (en) Training method of abnormal data recognition model and related equipment
US11916857B2 (en) Hyperlink messages for machine-to-machine communication on a machine social media platform
CN115829763A (en) Data transmission method, device, computer equipment and storage medium
CN118295842A (en) Data processing method, device and server for transaction system abnormal event
CN118041977A (en) Method and device for processing micro-service component, computer equipment and storage medium
CN113934845A (en) Report analysis method, device, equipment and medium