KR102415572B1 - Apparatus for diagnosing electric power equipment based on autoencoder and learning method thereof - Google Patents

Apparatus for diagnosing electric power equipment based on autoencoder and learning method thereof Download PDF

Info

Publication number
KR102415572B1
KR102415572B1 KR1020200049191A KR20200049191A KR102415572B1 KR 102415572 B1 KR102415572 B1 KR 102415572B1 KR 1020200049191 A KR1020200049191 A KR 1020200049191A KR 20200049191 A KR20200049191 A KR 20200049191A KR 102415572 B1 KR102415572 B1 KR 102415572B1
Authority
KR
South Korea
Prior art keywords
image
unit
layer unit
learning
autoencoder
Prior art date
Application number
KR1020200049191A
Other languages
Korean (ko)
Other versions
KR20210130981A (en
Inventor
이동섭
김현진
류재철
Original Assignee
한국전력공사
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사, 충남대학교산학협력단 filed Critical 한국전력공사
Priority to KR1020200049191A priority Critical patent/KR102415572B1/en
Publication of KR20210130981A publication Critical patent/KR20210130981A/en
Application granted granted Critical
Publication of KR102415572B1 publication Critical patent/KR102415572B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 전처리부, 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 전처리부에서 변환된 이미지를 복원하는 오토인코더부, 및 오토인코더부에서 복원된 이미지를 학습 데이터로 이용하여 전력설비를 진단하기 위한 기계 학습을 수행하는 이미지 인식 모델부를 포함하는 것을 특징으로 한다.The present invention is a pre-processing unit that converts an image taken by the power facility into a preset format, an auto-encoder unit that restores the image converted in the pre-processing unit so that the modulation reflected in the image taken by the power facility can be removed, and an auto-encoder unit It characterized in that it comprises an image recognition model unit for performing machine learning for diagnosing power equipment by using the image restored in the learning data.

Description

오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법{APPARATUS FOR DIAGNOSING ELECTRIC POWER EQUIPMENT BASED ON AUTOENCODER AND LEARNING METHOD THEREOF}Autoencoder-based power equipment diagnosis device and its learning method

본 발명은 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법에 관한 것으로, 전력설비를 촬영한 이미지를 학습하여 전력설비를 진단하는 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법에 관한 것이다.The present invention relates to an autoencoder-based power facility diagnosis apparatus and a learning method thereof, and to an autoencoder-based power facility diagnosis apparatus and a learning method for diagnosing power facilities by learning an image taken of the power facility.

과거에는 사람이나 드론을 활용하여 전력설비를 촬영하고, 촬영된 이미지를 사람이 직접 분석하여 전력설비를 점검하는 방법이 주로 이용되었다. In the past, power facilities were photographed using people or drones, and the method of inspecting power facilities by directly analyzing the captured images was mainly used.

이러한 방법은 사람에 의해 수행되므로 시간이 많이 소요될 뿐만 아니라, 작업을 수행하는 사람의 부주의 또는 실수로 인해 정확성이 다소 떨어지는 문제점이 존재하였다.Since this method is performed by a person, it takes a lot of time, and there is a problem in that accuracy is somewhat lowered due to negligence or mistake of a person performing the work.

최근 전술한 문제점을 해결하기 위해 딥러닝 모델을 이용하여 전력설비를 촬영한 이미지를 자동으로 분석하는 방법이 이용되고 있다. Recently, in order to solve the above-mentioned problem, a method of automatically analyzing an image taken of a power facility using a deep learning model is used.

딥러닝 모델을 이용하여 전력설비를 촬영한 이미지를 자동으로 분석하는 방법은 전력설비를 촬영한 이미지 및 고장 발생 시 이미지에 나타나는 변화를 학습함으로써 신속하고 정확하게 전력설비를 진단하는 것이 가능하다.The method of automatically analyzing images taken of power facilities using a deep learning model makes it possible to quickly and accurately diagnose power facilities by learning the changes in the images of power facilities and images when a failure occurs.

이러한 딥러닝 모델의 경우, 입력된 학습 데이터에 맞는 출력 데이터를 찾도록 딥러닝 모델을 학습시키는 지도 학습이 필요하다.In the case of such a deep learning model, supervised learning is required to train the deep learning model to find output data that matches the input training data.

다만, 딥러닝 모델의 지도 학습 데이터로 입력되는 데이터에 노이즈 또는 변조 등이 발생한 경우, 딥러닝 모델이 노이즈 또는 변조가 발생된 데이터를 그대로 학습 데이터로 오학습하는 문제가 발생할 수 있다.However, when noise or modulation occurs in the data input as the supervised learning data of the deep learning model, there may be a problem in that the deep learning model mislearns the noise or modulation data as it is as the training data.

이러한 특성을 이용하여 악성 이미지 삽입 공격이 빈번히 발생하고 있다. 악성 이미지 삽입 공격의 대표적인 방법으로 이미지 조작 방법이 있다. 이미지 조작 방법은 학습 데이터로 입력되는 이미지 자체(예를 들면, RGB값)을 조작하는 방법이다. 이러한 방식은 레이블을 조작하는 방식보다 난이도는 높지만 관리자가 학습 이미지를 검사하였을 때 조작 여부를 판단하기 어렵다. Malicious image injection attacks are frequently occurring using these characteristics. An image manipulation method is a representative method of a malicious image insertion attack. The image manipulation method is a method of manipulating the image itself (eg, RGB values) input as training data. Although this method is more difficult than the method of manipulating the label, it is difficult to determine whether it is manipulated when the administrator inspects the training image.

이에 따라, 이미지 인식 모델의 학습 데이터에 악의적인 사용자가 이미지 변조 방식으로 삽입한 악성 이미지를 복구시킬 방법이 요구되고 있다.Accordingly, there is a need for a method of recovering a malicious image inserted by a malicious user into the training data of the image recognition model through an image modulation method.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2020-0001206호(2020.01.06.)의 '동영상 파일을 이용한 설비 학습 장치 및 방법'에 개시되어 있다.The background technology of the present invention is disclosed in 'equipment learning apparatus and method using a video file' of Korean Patent Application Laid-Open No. 10-2020-0001206 (2020.01.06.).

본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로, 본 발명의 일 측면에 따른 목적은 전력설비를 촬영한 이미지를 오토인코더를 통해 복원한 후 딥러닝 모델의 학습 데이터로 이용함으로써 악성 이미지 삽입으로 인한 공격에 대응할 수 있는 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법을 제공하는 것이다.The present invention was devised to solve the above problems, and an object according to an aspect of the present invention is to restore an image taken of a power facility through an autoencoder and then use it as training data for a deep learning model to insert a malicious image. It is to provide an auto-encoder-based power facility diagnosis device and a learning method capable of responding to attacks caused by the same.

본 발명의 일 측면에 따른 오토인코더 기반의 전력설비 진단 장치는 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 전처리부, 상기 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 상기 전처리부에서 변환된 이미지를 복원하는 오토인코더부, 및 상기 오토인코더부에서 상기 복원된 이미지를 학습 데이터로 이용하여 상기 전력설비를 진단하기 위한 기계 학습을 수행하는 이미지 인식 모델부를 포함하는 것을 특징으로 한다.An autoencoder-based power facility diagnosis apparatus according to an aspect of the present invention includes a pre-processing unit that converts an image captured by the power facility into a preset format, and the pre-processing unit so that the modulation reflected in the image taken by the power facility can be removed It characterized in that it comprises an image recognition model unit for performing machine learning for diagnosing the power equipment by using the auto-encoder unit to restore the image converted from, and the image restored by the auto-encoder unit as learning data.

본 발명에 있어 상기 전처리부는, 상기 전력설비가 촬영된 이미지를 3차원 numpy 배열로 변환하는 것을 특징으로 한다.In the present invention, the pre-processing unit is characterized in that the power facility converts the photographed image into a three-dimensional numpy array.

본 발명에 있어 상기 오토인코더부는, 상기 전처리부에서 변환된 이미지에서 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 변환된 이미지를 압축하는 인코더, 및 상기 추출된 특징을 기반하여 상기 압축된 이미지를 복원하는 디코더를 포함하는 것을 특징으로 한다.In the present invention, the autoencoder unit extracts a feature from the image converted by the preprocessor, an encoder that compresses the converted image based on the extracted feature, and the compressed image based on the extracted feature It is characterized in that it includes a decoder for reconstructing .

본 발명에 있어 상기 인코더는, 상기 전처리부에서 변환된 이미지를 입력받는 제1 입력 레이어부, 상기 제1 입력 레이어부를 통해 입력받은 이미지에서 상기 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 입력받은 이미지를 압축하는 제1 히든 레이어부, 및 상기 제1 히든 레이어부에서 압축된 이미지를 출력하는 제1 출력 레이어부를 포함하는 것을 특징으로 한다.In the present invention, the encoder extracts the feature from the image received through the first input layer unit receiving the image converted by the preprocessor and the first input layer unit, and based on the extracted feature, the input It characterized in that it comprises a first hidden layer unit for compressing the received image, and a first output layer unit for outputting the image compressed in the first hidden layer unit.

본 발명에 있어 상기 디코더는, 상기 제1 출력 레이어부에서 출력된 이미지를 입력받는 제2 입력 레이어부, 상기 제2 입력 레이어부를 통해 입력받은 이미지를 상기 추출된 특징에 기반하여 복원하는 제2 히든 레이어부, 및 상기 제2 히든 레이어부에서 복원된 이미지를 출력하는 제2 출력 레이어부를 포함하는 것을 특징으로 한다.In the present invention, the decoder includes a second input layer unit that receives the image output from the first output layer unit, and a second hidden second input layer unit that restores the image received through the second input layer unit based on the extracted features. It characterized in that it comprises a layer unit, and a second output layer unit for outputting the image restored by the second hidden layer unit.

본 발명에 있어 상기 제1 입력 레이어부의 크기는 상기 제2 출력 레이어부의 크기와 동일하고, 상기 제1 및 제2 히든 레이어부의 크기는 상기 제1 입력 레이어부의 크기보다 작은 것을 특징으로 한다.In the present invention, the size of the first input layer part is the same as the size of the second output layer part, and the sizes of the first and second hidden layer parts are smaller than the size of the first input layer part.

본 발명에 있어 정상적인 이미지를 사용하여 상기 오토인코더부를 학습시키는 초기 학습부를 더 포함하는 것을 특징으로 한다.In the present invention, it is characterized in that it further comprises an initial learning unit for learning the autoencoder unit using a normal image.

본 발명의 일 측면에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법은 초기 학습부가, 변조가 반영되지 않은 정상적인 이미지를 사용하여 오토인코더부를 학습시키는 단계, 전처리부가, 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 단계, 상기 오토인코더부가, 상기 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 상기 전처리부에서 변환된 이미지를 복원하는 단계, 및 이미지 인식 모델부가, 상기 오토인코더부에서 복원된 상기 이미지를 학습 데이터로 이용하여 상기 전력설비를 진단하기 위한 기계 학습을 수행하는 단계를 포함하는 것을 특징으로 한다.The learning method of the autoencoder-based power facility diagnosis apparatus according to an aspect of the present invention includes the steps of: an initial learning unit learning the autoencoder unit using a normal image that does not reflect modulation; a preprocessing unit; Converting to a preset format, restoring the image converted by the pre-processing unit so that the auto-encoder unit removes the modulation reflected in the image taken by the power facility, and the image recognition model unit, the auto-encoder unit and performing machine learning for diagnosing the power facility by using the image restored in the as learning data.

본 발명에 있어 상기 변환하는 단계에서, 상기 전처리부는, 상기 전력설비가 촬영된 이미지를 3차원 numpy 배열로 변환하는 것을 특징으로 한다.In the converting step in the present invention, the pre-processing unit, the power facility is characterized in that it converts the photographed image into a three-dimensional numpy array.

본 발명에 있어 상기 복원하는 단계는, 인코더가, 상기 전처리부에서 상기 변환된 이미지에서 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 변환된 이미지를 압축하는 단계, 및 디코더가, 상기 추출된 특징을 이용하여 상기 압축된 이미지를 복원하는 단계를 포함하는 것을 특징으로 한다.In the present invention, the restoring step includes, by the encoder, extracting a feature from the transformed image in the preprocessor, and compressing the transformed image based on the extracted feature, and a decoder, and restoring the compressed image using a feature.

본 발명에 있어 상기 압축하는 단계에서, 제1 입력 레이어부가, 상기 전처리부에서 변환된 이미지를 입력받는 단계, 제1 히든 레이어부가, 상기 제1 입력 레이어부를 통해 입력받은 이미지에서 상기 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 입력받은 이미지를 압축하는 단계, 및 제1 출력 레이어부가, 상기 제1 히든 레이어부에서 압축된 이미지를 출력하는 단계를 포함하는 것을 특징으로 한다.In the present invention, in the compressing step, the first input layer unit receives the image converted by the pre-processing unit, the first hidden layer unit extracts the feature from the image input through the first input layer unit, , compressing the input image based on the extracted features, and outputting, by a first output layer unit, the image compressed in the first hidden layer unit.

본 발명에 있어 상기 압축된 이미지를 복원하는 단계에서, 제2 입력 레이어부가, 상기 제1 출력 레이어부에서 출력된 이미지를 입력받는 단계, 제2 히든 레이어부가, 상기 제2 입력 레이어부를 통해 입력받은 이미지를 상기 추출된 특징에 기반하여 복원하는 단계, 및 제2 출력 레이어부가, 상기 제2 히든 레이어부에서 복원된 이미지를 출력하는 단계를 포함하는 것을 특징으로 한다.In the present invention, in the step of restoring the compressed image, the second input layer unit receives the image output from the first output layer unit, the second hidden layer unit receives the input through the second input layer unit Restoring an image based on the extracted features, and outputting, by a second output layer unit, the image restored from the second hidden layer unit.

본 발명에 있어 상기 제1 입력 레이어부의 크기는 상기 제2 출력 레이어부의 크기와 동일하고, 상기 제1 및 제2 히든 레이어부의 크기는 상기 제1 입력 레이어부의 크기보다 작은 것을 특징으로 한다.In the present invention, the size of the first input layer part is the same as the size of the second output layer part, and the sizes of the first and second hidden layer parts are smaller than the size of the first input layer part.

본 발명의 일 측면에 따르면, 오토인코더를 통해 악성 이미지를 복원하고, 복원된 이미지를 딥러닝 모델의 학습 데이터로 사용하므로 전력설비를 진단하기 위한 딥러닝 모델의 학습 정확성을 향상시키고, 악성 이미지 삽입 공격에 의한 오학습을 방지할 수 있다.According to one aspect of the present invention, a malicious image is restored through an autoencoder, and the restored image is used as training data of the deep learning model, so that the learning accuracy of the deep learning model for diagnosing power equipment is improved, and the malicious image is inserted It is possible to prevent erroneous learning due to attacks.

도 1은 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 오토인코더부를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 설명하기 위한 제1 순서도이다.
도 4는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 설명하기 위한 제2 순서도이다.
도 5는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 진단 방법을 설명하기 위한 순서도이다.1 is a block diagram illustrating an autoencoder-based power facility diagnosis apparatus according to an embodiment of the present invention.
2 is an exemplary diagram for explaining an auto-encoder unit of an auto-encoder-based power equipment diagnosis apparatus according to an embodiment of the present invention.
3 is a first flowchart for explaining a learning method of an autoencoder-based power facility diagnosis apparatus according to an embodiment of the present invention.
4 is a second flowchart for explaining a learning method of an autoencoder-based power facility diagnosis apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a diagnosis method of an autoencoder-based power equipment diagnosis apparatus according to an embodiment of the present invention.

이하에서는 본 발명의 실시예에 따른 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an autoencoder-based power facility diagnosis apparatus and a learning method thereof according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치를 설명하기 위한 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 오토인코더부를 설명하기 위한 예시도이다.1 is a block diagram illustrating an autoencoder-based power equipment diagnosis apparatus according to an embodiment of the present invention, and FIG. 2 is an autoencoder of an autoencoder-based power equipment diagnosis apparatus according to an embodiment of the present invention. It is an example diagram for explaining the wealth.

도 1을 참조하면, 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치는 전처리부(100), 오토인코더부(200) 및 이미지 인식 모델부(300)를 포함할 수 있다.Referring to FIG. 1 , an apparatus for diagnosing power equipment based on an autoencoder according to an embodiment of the present invention may include a preprocessing unit 100 , an autoencoder unit 200 , and an image recognition model unit 300 .

전처리부(100)는 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환할 수 있다.The preprocessor 100 may convert the image taken by the power facility into a preset format.

예를 들어, 전처리부(100)는 전력설비가 촬영된 이미지를 외부(예: 서버)로부터 입력받고, 입력받은 이미지를 오토인코더부(200)로 입력하기 위해 오토인코더부(200)에 대응되는 포맷으로 변환할 수 있다.For example, the pre-processing unit 100 receives an image captured by the power equipment from an external (eg, server), and corresponds to the auto-encoder unit 200 to input the received image to the auto-encoder unit 200 . format can be converted.

본 발명의 일 실시예에 따르면, 전처리부(100)는 입력받은 이미지를 3차원 numpy 배열로 변환할 수 있다.According to an embodiment of the present invention, the preprocessor 100 may convert the received image into a three-dimensional numpy array.

3차원 numpy 배열은 행렬이나 대규모 다차원 배열을 쉽게 처리할 수 있도록 지원하는 파이썬의 라이브러리이다. 파이썬은 프로그래밍 언어의 일종으로, 파이썬을 활용하여 오토인코더를 포함한 딥러닝 모델을 구현할 수 있다.3D numpy arrays is a Python library that supports easy handling of matrices or large multidimensional arrays. Python is a kind of programming language, and deep learning models including autoencoders can be implemented using Python.

따라서, 파이썬을 활용하여 오토인코더 및 딥러닝 모델이 구현된 경우, 입력받은 이미지를 3차원 numpy 배열로 변환함으로써 효율적으로 데이터를 처리할 수 있다.Therefore, if an autoencoder and deep learning model are implemented using Python, data can be efficiently processed by converting the input image into a three-dimensional numpy array.

3차원 numpy 배열은 데이터를 색의 종류, 가로 픽셀 및 세로 픽셀로 나타낸다. 색의 종류는 RGB 정보를 포함할 수 있고, 가로 픽셀과 세로 픽셀은 오토인코더부(200)에 대응되도록 설정될 수 있다.A three-dimensional numpy array represents data in terms of color, horizontal and vertical pixels. The color type may include RGB information, and horizontal pixels and vertical pixels may be set to correspond to the autoencoder unit 200 .

오토인코더부(200)는 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 전처리부(100)에서 변환된 이미지를 복원할 수 있다.The autoencoder unit 200 may restore the image converted by the preprocessor 100 so that the modulation reflected in the image taken by the power facility may be removed.

변조는 이미지의 RGB값을 조작하는 것과 같은 악성 이미지 삽입 공격을 포함할 수 있으며, 이미지에 데이터를 암호화하여 감추는 스테가노그래피가 변조에 해당할 수 있다.Modulation may include malicious image injection attacks such as manipulating the RGB values of an image, and steganography that encrypts and hides data in an image may correspond to tampering.

도 2를 참조하면, 오토인코더부(200)는 인코더(210) 및 디코더(220)를 포함할 수 있다.Referring to FIG. 2 , the autoencoder 200 may include an encoder 210 and a decoder 220 .

인코더(210)는 전처리부(100)에서 변환된 이미지에서 특징(피처-Feature)을 추출하고, 추출된 특징에 기반하여 변환된 이미지를 압축할 수 있다.The encoder 210 may extract a feature from the image transformed by the preprocessor 100 and compress the transformed image based on the extracted feature.

본 발명의 일 실시예에 따르면, 인코더(210)는 전처리부(100)에서 변환된 이미지를 입력받는 제1 입력 레이어부(211), 제1 입력 레이어부(211)를 통해 입력받은 이미지에서 특징을 추출하고, 추출된 특징을 이용하여 입력받은 이미지를 압축하는 제1 히든 레이어부(212), 및 제1 히든 레이어부(212)에서 압축된 이미지를 출력하는 제1 출력 레이어부(213)를 포함할 수 있다.According to an embodiment of the present invention, the encoder 210 includes a first input layer unit 211 receiving an image converted by the preprocessing unit 100, and features in the image input through the first input layer unit 211 and a first hidden layer unit 212 that compresses the input image using the extracted features, and a first output layer unit 213 that outputs the image compressed by the first hidden layer unit 212. may include

예를 들어, 입력받은 이미지에서 특징을 추출하고, 추출된 특징을 이용하여 입력받은 이미지를 변환하는 과정에서, 제1 히든 레이어부(212)는 제1 입력 레이어부(211)를 통해 입력받은 이미지를 특징을 유지한 채 추상화하여 압축할 수 있다. For example, in the process of extracting a feature from an input image and transforming the input image using the extracted feature, the first hidden layer unit 212 is an image input through the first input layer unit 211 . can be abstracted and compressed while maintaining the characteristics.

디코더(220)는 추출된 특징을 이용하여 압축된 이미지를 복원할 수 있다.The decoder 220 may reconstruct the compressed image by using the extracted features.

본 발명의 일 실시예에 따르면, 디코더(220)는 제1 출력 레이어부(213)에서 출력된 이미지를 입력받는 제2 입력 레이어부(221), 제2 입력 레이어부(221)를 통해 입력받은 이미지를 추출된 특징을 이용하여 복원하는 제2 히든 레이어부(222), 제2 히든 레이어부(222)에서 복원된 이미지를 출력하는 제2 출력 레이어부(223)를 포함할 수 있다.According to an embodiment of the present invention, the decoder 220 receives the image output from the first output layer unit 213 and receives the input through the second input layer unit 221 and the second input layer unit 221 . It may include a second hidden layer unit 222 that restores an image by using the extracted features, and a second output layer unit 223 that outputs an image restored by the second hidden layer unit 222 .

예를 들어, 입력받은 이미지를 추출된 특징을 이용하여 복원하는 과정에서, 제2 히든 레이어부(222)는 제2 입력 레이어부(221)를 통해 입력받은 이미지를 추출된 특징을 이용하여 본래의 이미지와 같은 크기(즉, 데이터 차원)로 복원할 수 있다.For example, in the process of restoring the input image using the extracted features, the second hidden layer unit 222 converts the image received through the second input layer unit 221 to the original image using the extracted features. It can be restored to the same size as the image (i.e. data dimension).

본 발명의 일 실시예에 따르면, 인코더(210)에 포함된 제1 입력 레이어부(211)의 크기(즉, 포함된 노드의 수)는 디코더(220)에 포함된 제2 출력 레이어부(223)와 동일하고, 제1 및 제2 히든 레이어부(212, 222)의 크기(즉, 포함된 노드의 수)는 제1 입력 레이어부(211)의 크기보다 작을 수 있다.According to an embodiment of the present invention, the size (ie, the number of included nodes) of the first input layer unit 211 included in the encoder 210 is determined by the second output layer unit 223 included in the decoder 220 . ), and the size (ie, the number of included nodes) of the first and second hidden layer units 212 and 222 may be smaller than the size of the first input layer unit 211 .

즉, 제1 히든 레이어부(212)의 크기가 제1 입력 레이어부(211)의 크기보다 작으므로, 제1 입력 레이어부(211)에서 입력된 이미지는 제1 히든 레이어부(212)에서 차원 축소가 이루어진다. 이후, 제2 출력 레이어부(223)의 크기가 제2 히든 레이어부(222)의 크기보다 크기 때문에, 제2 입력 레이어부(221)로 입력된 이미지는 제2 히든 레이어부(222)에서 다시 본래의 차원으로 복원된다.That is, since the size of the first hidden layer unit 212 is smaller than the size of the first input layer unit 211 , the image input from the first input layer unit 211 is dimensional in the first hidden layer unit 212 . reduction is made Thereafter, since the size of the second output layer unit 223 is larger than the size of the second hidden layer unit 222 , the image input to the second input layer unit 221 is returned to the second hidden layer unit 222 . restored to its original dimension.

전술한 바와 같이, 제1 히든 레이어부(212)의 크기(즉, 포함된 노드의 수)가 제1 입력 레이어부(211) 및 제2 출력 레이어부(213)의 크기(즉, 포함된 노드의 수) 보다 작으므로, 제1 히든 레이어부(212)에서는 더 작은 차원의 데이터로 원본 이미지의 특징들을 나타내야 한다. 제1 히든 레이어부(212)는 더 작은 차원의 데이터로 원본 이미지의 특징들을 표현하기 위해 원본 이미지에서 불필요한 특징(즉, 잉여 특징)들이 제거된 압축되는 특징들로 이미지를 나타낸다. 이 과정에서 원본 이미지에 포함된 노이즈 또는 악성 이미지 삽입 공격에 의한 이미지 변조는 불필요한 특징으로 취급되어 이미지에서 제거된다. 이후, 제2 히든 레이어부(222)는 압축된 이미지를 앞서 추출된 특징을 이용하여 복원하므로, 불필요한 특징으로 제거된 노이즈 또는 악성 이미지 삽입 공격에 의한 이미지 변조는 복원되지 않는다.As described above, the size of the first hidden layer unit 212 (ie, the number of included nodes) is determined by the size of the first input layer unit 211 and the second output layer unit 213 (ie, included nodes). ), so the first hidden layer unit 212 must represent the features of the original image with smaller-dimensional data. The first hidden layer unit 212 represents the image as compressed features in which unnecessary features (ie, redundant features) are removed from the original image in order to express the features of the original image with smaller-dimensional data. In this process, image tampering by noise or malicious image insertion attack included in the original image is treated as an unnecessary feature and removed from the image. Thereafter, since the second hidden layer unit 222 restores the compressed image by using the previously extracted features, noise removed as unnecessary features or image modulation by a malicious image insertion attack is not restored.

이미지 인식 모델부(300)는 오토인코더부(200)에서 복원된 이미지를 학습 데이터로 이용하여 전력설비를 진단하기 위한 기계 학습을 수행할 수 있다.The image recognition model unit 300 may perform machine learning for diagnosing power equipment by using the image restored by the autoencoder unit 200 as learning data.

이미지 인식 모델부(300)는 이미지를 학습하기 위해 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), FRCNN(Fast Region-based Convolutional Network), SVM(Support Vector Machine) 등의 알고리즘을 채용할 수 있으며, 전술한 내용에 한정되지 않고 이미지를 학습하기 위한 다양한 알고리즘이 채용될 수 있다.The image recognition model unit 300 may employ algorithms such as CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), FRCNN (Fast Region-based Convolutional Network), SVM (Support Vector Machine) to learn the image. In addition, various algorithms for learning an image may be employed without being limited to the above.

이미지 인식 모델부(300)의 학습 데이터로 이용되는 이미지는 오토인코더부(200)에 의해 노이즈 또는 악성 이미지 삽입 공격에 의한 이미지 변조가 제거된 이미지이므로, 이미지를 학습하는 과정에서 이미지 인식 모델부(300)가 악성 이미지 삽입 공격에 의해 변조된 이미지를 학습 데이터로 학습하는 것을 방지할 수 있다. Since the image used as the learning data of the image recognition model unit 300 is an image from which image modulation due to noise or malicious image insertion attack has been removed by the auto-encoder unit 200, in the process of learning the image, the image recognition model unit ( 300) can be prevented from learning the image modulated by the malicious image insertion attack as training data.

본 발명의 일 실시예에 따르면, 디코더(220)의 제2 출력 레이어부(223)의 크기(즉, 데이터 차원)는 이미지 인식 모델부(300)의 크기와 같거나 클 수 있다.According to an embodiment of the present invention, the size (ie, data dimension) of the second output layer unit 223 of the decoder 220 may be equal to or greater than the size of the image recognition model unit 300 .

디코더(220)의 제2 출력 레이어부(223)의 크기가 이미지 인식 모델부(300)의 차원보다 큰 경우, 제2 출력 레이어부(223)의 크기와 이미지 인식 모델부(300)의 크기를 일치시키기 위한 추가적인 전처리부(미도시)가 구비될 수 있다.When the size of the second output layer unit 223 of the decoder 220 is larger than the dimension of the image recognition model unit 300, the size of the second output layer unit 223 and the size of the image recognition model unit 300 are An additional preprocessor (not shown) for matching may be provided.

본 발명은 정상적인 이미지를 사용하여 오토인코더부(200)를 학습시키는 초기 학습부(400)를 더 포함할 수 있다.The present invention may further include an initial learning unit 400 for learning the autoencoder unit 200 using a normal image.

초기 학습부(400)는 노이즈 또는 악성 이미지 삽입 공격이 가해지지 않은 이미지를 선별하여 오토인코더부(200)의 학습 데이터로 입력함으로써 오토인코더부(200)가 입력된 이미지와 출력된 이미지 간의 차이를 최소화하는 특징을 추출하도록 학습시킬 수 있다.The initial learning unit 400 selects an image to which no noise or malicious image insertion attack has been applied and inputs it as the learning data of the auto-encoder unit 200 to determine the difference between the input image and the output image. It can be trained to extract features that are minimized.

본 발명의 일 실시예에 따르면, 공사 현장 사진 1000장을 이용하여 공사 현장에 있는 사람의 안전모의 착용 유무를 판단하도록 이미지 인식 모델을 학습시키는 과정에 150장의 변조된 이미지를 만들어 악성 이미지 삽입 공격을 수행하였을 경우, 오토인코더부(200)를 사용하지 않은 경우, 원본 이미지와 악성 이미지가 삽입된 이미지의 특징값의 거리는 평균 49226.76으로 계산된 반면, 오토인코더부(200)를 사용한 경우, 원본 이미지와 악성 이미지가 삽입된 이미지의 특징값의 거리는 평균 17.02로 측정되었다. 이를 통해, 오토인코더부(200)를 사용할 경우, 보다 원본에 가까운 이미지를 획득할 수 있음을 확인할 수 있다.According to an embodiment of the present invention, in the process of learning an image recognition model to determine whether a person at a construction site is wearing a hard hat using 1000 photos of a construction site, 150 modulated images are created in the process of training a malicious image insertion attack. When the auto-encoder unit 200 is not used, the distance between the feature values of the original image and the image in which the malicious image is inserted is calculated as 49226.76 on average, whereas when the auto-encoder unit 200 is used, the original image and the The average distance between the feature values of the image in which the malicious image was inserted was measured to be 17.02. Through this, it can be confirmed that, when the autoencoder unit 200 is used, an image closer to the original can be obtained.

도 3은 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 설명하기 위한 제1 순서도이고, 도 4는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 설명하기 위한 제2 순서도이다.3 is a first flowchart for explaining a learning method of an autoencoder-based power facility diagnosis apparatus according to an embodiment of the present invention, and FIG. 4 is an autoencoder-based power facility diagnosis apparatus according to an embodiment of the present invention. It is a second flowchart for explaining the learning method of

도 3을 참조하면, 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법은 초기 학습을 수행하는 단계(S100), 변환하는 단계(S200), 복원하는 단계(S300) 및 이미지 인식 모델부의 학습을 수행하는 단계(S400)를 포함할 수 있다.Referring to FIG. 3 , the learning method of an autoencoder-based power facility diagnosis apparatus according to an embodiment of the present invention includes performing initial learning (S100), converting (S200), restoring (S300) and It may include the step of performing the image recognition model unit learning (S400).

S100 단계에서, 초기 학습부(400)는 변조가 반영되지 않은 정상적인 이미지를 사용하여 오토인코더부(200)를 학습시킬 수 있다.In step S100 , the initial learning unit 400 may learn the autoencoder 200 using a normal image to which modulation is not reflected.

예를 들어, 초기 학습부(400)는 노이즈 또는 악성 이미지 삽입 공격이 가해지지 않은 이미지를 선별하여 오토인코더부(200)의 학습 데이터로 입력함으로써 오토인코더부(200)가 입력된 이미지와 출력된 이미지 간의 차이를 최소화하는 특징을 추출하도록 학습시킬 수 있다.For example, the initial learning unit 400 selects an image that is not subjected to noise or a malicious image insertion attack and inputs it as the learning data of the autoencoder unit 200. It can be trained to extract features that minimize the difference between images.

S200 단계에서, 전처리부(100)는 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환할 수 있다.In step S200, the preprocessor 100 may convert the image taken by the power facility into a preset format.

예를 들어, 전처리부(100)는 전력설비가 촬영된 이미지를 색의 종류, 가로 픽셀 및 세로 픽셀로 나타낸 3차원 numpy 배열로 변환할 수 있다.For example, the pre-processing unit 100 may convert an image photographed by the power facility into a three-dimensional numpy array represented by a color type, horizontal pixels, and vertical pixels.

S300 단계에서, 오토인코더부(200)는 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 전처리부(100)에서 변환된 이미지를 복원할 수 있다. In step S300 , the auto-encoder 200 may restore the image converted by the pre-processing unit 100 so that the modulation reflected in the image taken by the power facility may be removed.

도 4를 참조하면, S300 단계는 S310 단계 및 S320 단계를 포함할 수 있다.Referring to FIG. 4 , step S300 may include steps S310 and S320.

S310 단계에서, 인코더(210)는 전처리부(100)에서 변환된 이미지에서 특징을 추출하고, 추출된 특징에 기반하여 변환된 이미지를 압축할 수 있다.In step S310 , the encoder 210 may extract features from the image transformed by the preprocessor 100 and compress the transformed image based on the extracted features.

S310 단계는 제1 입력 레이어부(211)가 전처리부(100)에서 변환된 이미지를 입력받는 단계(S311), 제1 히든 레이어부(212)가 제1 입력 레이어부(211)를 통해 입력받은 이미지에서 특징을 추출하고, 추출된 특징에 기반하여 입력받은 이미지를 압축하는 단계(S312), 및 제1 출력 레이어부(213)가 제1 히든 레이어부(212)에서 압축된 이미지를 출력하는 단계(S313)를 포함할 수 있다.In step S310 , the first input layer unit 211 receives the image converted by the preprocessor 100 ( S311 ), and the first hidden layer unit 212 receives the input through the first input layer unit 211 . extracting features from the image, compressing the input image based on the extracted features (S312), and outputting the compressed image by the first output layer unit 213 by the first hidden layer unit 212 (S313) may be included.

S320 단계에서, 디코더(220)는 추출된 특징을 이용하여 압축된 이미지를 복원할 수 있다.In step S320 , the decoder 220 may reconstruct the compressed image using the extracted features.

S320 단계는 제2 입력 레이어부(221)가 제1 출력 레이어부(213)에서 출력된 이미지를 입력받는 단계(S321), 제2 히든 레이어부(222)가 제2 입력 레이어부(221)를 통해 입력받은 이미지를 앞서 추출된 특징에 기반하여 복원하는 단계(S322), 제2 출력 레이어부(223)가 제2 히든 레이어부(222)에서 복원된 이미지를 출력하는 단계(S323)를 포함할 수 있다.In step S320 , the second input layer unit 221 receives the image output from the first output layer unit 213 ( S321 ), and the second hidden layer unit 222 receives the second input layer unit 221 . Restoring the image input through the method based on the previously extracted features (S322), and the second output layer unit 223 outputting the image restored from the second hidden layer unit 222 (S323). can

본 발명의 일 실시예에 따르면, 제1 입력 레이어부(211)의 크기는 제2 출력 레이어부(223)의 크기와 동일하고, 제1 및 제2 히든 레이어부(212, 222)의 크기는 제1 입력 레이어부(211)의 크기보다 작을 수 있다.According to an embodiment of the present invention, the size of the first input layer unit 211 is the same as the size of the second output layer unit 223 , and the sizes of the first and second hidden layer units 212 and 222 are It may be smaller than the size of the first input layer unit 211 .

즉, 제1 히든 레이어부(212)의 크기가 제1 입력 레이어부(211)의 크기보다 작으므로, 제1 입력 레이어부(211)에서 입력된 이미지는 제1 히든 레이어부(212)에서 차원 축소가 이루어진다. 이후, 제2 출력 레이어부(223)의 크기가 제2 히든 레이어부(222)의 크기보다 크기 때문에, 제2 입력 레이어부(221)로 입력된 이미지는 제2 히든 레이어부(222)에서 다시 본래의 차원으로 복원된다.That is, since the size of the first hidden layer unit 212 is smaller than the size of the first input layer unit 211 , the image input from the first input layer unit 211 is dimensional in the first hidden layer unit 212 . reduction is made Thereafter, since the size of the second output layer unit 223 is larger than the size of the second hidden layer unit 222 , the image input to the second input layer unit 221 is returned to the second hidden layer unit 222 . restored to its original dimension.

다시 도 3을 참조하면, S400 단계에서, 이미지 인식 모델부(300)는 오토인코더부(200)에서 복원된 이미지를 학습 데이터로 이용하여 전력설비를 진단하기 위한 기계 학습을 수행할 수 있다.Referring back to FIG. 3 , in step S400 , the image recognition model unit 300 may perform machine learning for diagnosing power equipment by using the image restored by the autoencoder unit 200 as learning data.

이때, 이미지 인식 모델부(300)의 학습 데이터로 이용되는 이미지는 오토인코더부(200)에 의해 노이즈 또는 악성 이미지 삽입 공격에 의한 이미지 변조가 제거된 이미지이므로, 이미지를 학습하는 과정에서 이미지 인식 모델부(300)가 악성 이미지 삽입 공격에 의해 변조된 이미지를 학습 데이터로 학습하는 것을 방지할 수 있다. At this time, since the image used as the learning data of the image recognition model unit 300 is an image from which image modulation by noise or malicious image insertion attack is removed by the auto-encoder unit 200, the image recognition model in the process of learning the image It is possible to prevent the unit 300 from learning the image modulated by the malicious image insertion attack as training data.

도 5는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 진단 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating a diagnosis method of an autoencoder-based power equipment diagnosis apparatus according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 진단 방법은 변환하는 단계(S500) 및 진단하는 단계(S600)를 포함할 수 있다.Referring to FIG. 5 , the diagnostic method of an autoencoder-based power facility diagnostic apparatus according to an embodiment of the present invention may include converting ( S500 ) and diagnosing ( S600 ).

S500 단계에서, 전처리부(100)는 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환할 수 있다.In step S500, the preprocessor 100 may convert the image taken by the power facility into a preset format.

예를 들어, 전처리부(100)는 전력설비가 촬영된 이미지를 이미지 인식 모델부(300)에 대응되는 포맷으로 변환할 수 있다.For example, the pre-processing unit 100 may convert an image captured by the power facility into a format corresponding to the image recognition model unit 300 .

S600 단계에서, 이미지 인식 모델부(300)는 변환된 이미지에서 특징을 추출하고, 추출된 특징에 기반하여 전력설비를 진단할 수 있다.In step S600 , the image recognition model unit 300 may extract a feature from the converted image and diagnose the power facility based on the extracted feature.

이때, 이미지 인식 모델부(300)는 전술한 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 통한 기계 학습을 수행하였으므로, 입력된 이미지에서 고장을 판별하기 위한 특징을 추출하고, 추출된 특징에 기반하여 전력설비를 진단할 수 있다.At this time, since the image recognition model unit 300 performed machine learning through the learning method of the autoencoder-based power facility diagnosis device described above, extracts a feature for determining a failure from the input image, and based on the extracted feature This allows you to diagnose power equipment.

상술한 바와 같이, 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법은 오토인코더를 통해 악성 이미지를 복구하고, 복구된 이미지를 딥러닝 모델의 학습 데이터로 사용하므로 딥러닝 모델의 학습 정확성을 향상시키고, 악성 이미지 삽입 공격에 의한 오학습을 방지할 수 있다.As described above, the auto-encoder-based power facility diagnosis apparatus and the learning method according to an embodiment of the present invention recover a malicious image through an auto-encoder and use the restored image as training data for the deep learning model. It is possible to improve the learning accuracy of the learning model and prevent erroneous learning caused by malicious image insertion attacks.

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.Implementations described herein may be implemented in, for example, a method or process, an apparatus, a software program, a data stream, or a signal. Although discussed only in the context of a single form of implementation (eg, discussed only as a method), implementations of the discussed features may also be implemented in other forms (eg, as an apparatus or program). The apparatus may be implemented in suitable hardware, software and firmware, and the like. A method may be implemented in an apparatus such as, for example, a processor, which generally refers to a computer, a microprocessor, a processing device, including an integrated circuit or programmable logic device, and the like. Processors also include communication devices such as computers, cell phones, portable/personal digital assistants (“PDA”) and other devices that facilitate communication of information between end-users.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, this is merely exemplary, and it is understood that various modifications and equivalent other embodiments are possible by those of ordinary skill in the art. will understand Accordingly, the true technical protection scope of the present invention should be defined by the following claims.

100: 전처리부
200: 오토인코더부
300: 이미지 인식 모델부
400: 초기 학습부 100: preprocessor
200: auto encoder unit
300: image recognition model unit
400: early learning unit

Claims (13)

전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 전처리부;
상기 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 상기 전처리부에서 변환된 이미지를 복원하는 오토인코더부; 및
상기 오토인코더부에서 상기 복원된 이미지를 학습 데이터로 이용하여 상기 전력설비를 진단하기 위한 기계 학습을 수행하는 이미지 인식 모델부;를 포함하고,
상기 오토인코더부는,
상기 전처리부에서 변환된 이미지에서 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 변환된 이미지를 압축하는 인코더;를 포함하고,
상기 인코더는,
상기 전처리부에서 변환된 이미지를 입력받는 제1 입력 레이어부;
상기 제1 입력 레이어부를 통해 입력받은 이미지에서 상기 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 입력받은 이미지를 압축하는 제1 히든 레이어부; 및
상기 제1 히든 레이어부에서 압축된 이미지를 출력하는 제1 출력 레이어부;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
a pre-processing unit that converts the image taken by the power facility into a preset format;
an auto-encoder unit that restores the image converted by the pre-processing unit so that the modulation reflected in the image taken by the power facility can be removed; and
An image recognition model unit for performing machine learning for diagnosing the power equipment by using the image restored by the autoencoder unit as learning data;
The auto encoder unit,
Including; extracting features from the image transformed by the preprocessor, and compressing the transformed image based on the extracted features;
The encoder is
a first input layer unit receiving the image converted by the preprocessor;
a first hidden layer unit that extracts the feature from the image input through the first input layer unit and compresses the input image based on the extracted feature; and
Autoencoder-based power equipment diagnosis apparatus comprising a; a first output layer unit for outputting the image compressed in the first hidden layer unit.
 제 1항에 있어서,
상기 전처리부는,
상기 전력설비가 촬영된 이미지를 3차원 numpy 배열로 변환하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
The method of claim 1,
The preprocessor is
Autoencoder-based power facility diagnosis device, characterized in that the power facility converts the photographed image into a three-dimensional numpy array.
 제 1항에 있어서,
상기 오토인코더부는,
상기 추출된 특징을 기반하여 상기 압축된 이미지를 복원하는 디코더;를 더 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
The method of claim 1,
The auto encoder unit,
Autoencoder-based power equipment diagnosis apparatus further comprising; a decoder that restores the compressed image based on the extracted features.
 삭제delete 제 3항에 있어서,
상기 디코더는,
상기 제1 출력 레이어부에서 출력된 이미지를 입력받는 제2 입력 레이어부;
상기 제2 입력 레이어부를 통해 입력받은 이미지를 상기 추출된 특징에 기반하여 복원하는 제2 히든 레이어부; 및
상기 제2 히든 레이어부에서 복원된 이미지를 출력하는 제2 출력 레이어부;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
4. The method of claim 3,
The decoder is
a second input layer unit receiving the image output from the first output layer unit;
a second hidden layer unit that restores the image received through the second input layer unit based on the extracted features; and
and a second output layer unit for outputting the image restored from the second hidden layer unit.
 제 5항에 있어서,
상기 제1 입력 레이어부의 크기는 상기 제2 출력 레이어부의 크기와 동일하고, 상기 제1 및 제2 히든 레이어부의 크기는 상기 제1 입력 레이어부의 크기보다 작은 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
6. The method of claim 5,
The size of the first input layer unit is the same as the size of the second output layer unit, and the sizes of the first and second hidden layer units are smaller than the size of the first input layer unit. Device.
 제 1항에 있어서,
정상적인 이미지를 사용하여 상기 오토인코더부를 학습시키는 초기 학습부;를 더 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
The method of claim 1,
The auto-encoder-based power facility diagnosis apparatus further comprising a; an initial learning unit for learning the auto-encoder unit using a normal image.
 초기 학습부가, 변조가 반영되지 않은 정상적인 이미지를 사용하여 오토인코더부를 학습시키는 단계;
전처리부가, 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 단계;
상기 오토인코더부가, 상기 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 상기 전처리부에서 변환된 이미지를 복원하는 단계; 및
이미지 인식 모델부가, 상기 오토인코더부에서 복원된 상기 이미지를 학습 데이터로 이용하여 상기 전력설비를 진단하기 위한 기계 학습을 수행하는 단계;를 포함하고,
상기 복원하는 단계는,
인코더가, 상기 전처리부에서 상기 변환된 이미지에서 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 변환된 이미지를 압축하는 단계;를 포함하고,
상기 압축하는 단계는,
제1 입력 레이어부가, 상기 전처리부에서 변환된 이미지를 입력받는 단계;
제1 히든 레이어부가, 상기 제1 입력 레이어부를 통해 입력받은 이미지에서 상기 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 입력받은 이미지를 압축하는 단계; 및
제1 출력 레이어부가, 상기 제1 히든 레이어부에서 압축된 이미지를 출력하는 단계;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
Learning, by the initial learning unit, the autoencoder unit using a normal image to which modulation is not reflected;
converting, by the pre-processing unit, the image taken by the power facility into a preset format;
restoring, by the auto-encoder unit, the image converted by the pre-processing unit so that the modulation reflected in the image taken by the power facility may be removed; and
Including, by an image recognition model unit, machine learning for diagnosing the power equipment using the image restored by the autoencoder unit as learning data;
The restoration step is
Including, by the encoder, extracting a feature from the transformed image in the preprocessor, and compressing the transformed image based on the extracted feature,
The compressing step is
receiving, by the first input layer unit, the image converted by the preprocessor;
extracting, by a first hidden layer unit, the feature from the image received through the first input layer unit, and compressing the received image based on the extracted feature; and
The first output layer unit, the step of outputting the image compressed in the first hidden layer unit; Autoencoder-based learning method of the power facility diagnosis apparatus comprising: a.
 제 8항에 있어서,
상기 변환하는 단계에서,
상기 전처리부는, 상기 전력설비가 촬영된 이미지를 3차원 numpy 배열로 변환하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
9. The method of claim 8,
In the converting step,
The pre-processing unit, the autoencoder-based power facility diagnosis apparatus learning method, characterized in that the conversion of the image taken by the power facility into a three-dimensional numpy array.
 제 8항에 있어서,
상기 복원하는 단계는,
디코더가, 상기 추출된 특징을 이용하여 상기 압축된 이미지를 복원하는 단계;를 더 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
9. The method of claim 8,
The restoration step is
The method of learning, by a decoder, further comprising: restoring, by a decoder, the compressed image using the extracted features.
 삭제delete 제 10항에 있어서,
상기 압축된 이미지를 복원하는 단계는,
제2 입력 레이어부가, 상기 제1 출력 레이어부에서 출력된 이미지를 입력받는 단계;
제2 히든 레이어부가, 상기 제2 입력 레이어부를 통해 입력받은 이미지를 상기 추출된 특징에 기반하여 복원하는 단계; 및
제2 출력 레이어부가, 상기 제2 히든 레이어부에서 복원된 이미지를 출력하는 단계;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
11. The method of claim 10,
Restoring the compressed image comprises:
receiving, by a second input layer unit, an image output from the first output layer unit;
restoring, by a second hidden layer unit, an image input through the second input layer unit based on the extracted features; and
The second output layer unit, the step of outputting the image restored from the second hidden layer unit; Autoencoder-based learning method of the power facility diagnosis apparatus comprising: a.
 제 12항에 있어서,
상기 제1 입력 레이어부의 크기는 상기 제2 출력 레이어부의 크기와 동일하고, 상기 제1 및 제2 히든 레이어부의 크기는 상기 제1 입력 레이어부의 크기보다 작은 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.13. The method of claim 12,
The size of the first input layer unit is the same as the size of the second output layer unit, and the sizes of the first and second hidden layer units are smaller than the size of the first input layer unit. How the device learns.
KR1020200049191A 2020-04-23 2020-04-23 Apparatus for diagnosing electric power equipment based on autoencoder and learning method thereof KR102415572B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200049191A KR102415572B1 (en) 2020-04-23 2020-04-23 Apparatus for diagnosing electric power equipment based on autoencoder and learning method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200049191A KR102415572B1 (en) 2020-04-23 2020-04-23 Apparatus for diagnosing electric power equipment based on autoencoder and learning method thereof

Publications (2)

Publication Number Publication Date
KR20210130981A KR20210130981A (en) 2021-11-02
KR102415572B1 true KR102415572B1 (en) 2022-07-04

Family

ID=78476251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200049191A KR102415572B1 (en) 2020-04-23 2020-04-23 Apparatus for diagnosing electric power equipment based on autoencoder and learning method thereof

Country Status (1)

Country Link
KR (1) KR102415572B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071877A1 (en) 2018-10-05 2020-04-09 주식회사 딥바이오 System and method for searching for pathological image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101992970B1 (en) * 2017-10-16 2019-06-26 한국생산기술연구원 Apparatus And Method for Detecting A Surface Defect Using A Deep Neural Network And Noise Reduction
KR102179598B1 (en) * 2018-06-27 2020-11-18 한국전력공사 Apparatus and method for learning facilities using video file
KR102127151B1 (en) * 2018-08-20 2020-06-30 전북대학교병원 Lower extremities bone image processing apparatus and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071877A1 (en) 2018-10-05 2020-04-09 주식회사 딥바이오 System and method for searching for pathological image

Also Published As

Publication number Publication date
KR20210130981A (en) 2021-11-02

Similar Documents

Publication Publication Date Title
RU2770752C1 (en) Method and device for training a face recognition model and a device for determining the key point of the face
CN110222573B (en) Face recognition method, device, computer equipment and storage medium
WO2022033220A1 (en) Face liveness detection method, system and apparatus, computer device, and storage medium
CN112052831B (en) Method, device and computer storage medium for face detection
CN111696196B (en) Three-dimensional face model reconstruction method and device
CN112785660A (en) Method and apparatus for steganographic processing and compression of image data
CN110532746B (en) Face checking method, device, server and readable storage medium
CN113344826B (en) Image processing method, device, electronic equipment and storage medium
WO2022120843A1 (en) Three-dimensional human body reconstruction method and apparatus, and computer device and storage medium
CN110705353A (en) Method and device for identifying face to be shielded based on attention mechanism
WO2022227765A1 (en) Method for generating image inpainting model, and device, medium and program product
CN113570689B (en) Portrait cartoon method, device, medium and computing equipment
JP2022133378A (en) Face biological detection method, device, electronic apparatus, and storage medium
CN111488810A (en) Face recognition method and device, terminal equipment and computer readable medium
CN110909691B (en) Motion detection method, motion detection device, computer-readable storage medium, and computer device
CN109829475B (en) Image dark watermark processing method and device based on deep learning
JP2010176504A (en) Image processor, image processing method, and program
KR102415572B1 (en) Apparatus for diagnosing electric power equipment based on autoencoder and learning method thereof
CN112001285B (en) Method, device, terminal and medium for processing beauty images
CN112967216B (en) Method, device, equipment and storage medium for detecting key points of face image
WO2021125268A1 (en) Control device, control method, and program
CN114493971A (en) Media data conversion model training and digital watermark embedding method and device
Nataraj et al. Holistic image manipulation detection using pixel co-occurrence matrices
CN110889894A (en) Three-dimensional face reconstruction method and device and terminal equipment
TWM583989U (en) Serial number detection system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant