KR20210130981A - 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법 - Google Patents

오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법 Download PDF

Info

Publication number
KR20210130981A
KR20210130981A KR1020200049191A KR20200049191A KR20210130981A KR 20210130981 A KR20210130981 A KR 20210130981A KR 1020200049191 A KR1020200049191 A KR 1020200049191A KR 20200049191 A KR20200049191 A KR 20200049191A KR 20210130981 A KR20210130981 A KR 20210130981A
Authority
KR
South Korea
Prior art keywords
image
unit
layer unit
learning
power facility
Prior art date
Application number
KR1020200049191A
Other languages
English (en)
Other versions
KR102415572B1 (ko
Inventor
이동섭
김현진
류재철
Original Assignee
한국전력공사
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사, 충남대학교산학협력단 filed Critical 한국전력공사
Priority to KR1020200049191A priority Critical patent/KR102415572B1/ko
Publication of KR20210130981A publication Critical patent/KR20210130981A/ko
Application granted granted Critical
Publication of KR102415572B1 publication Critical patent/KR102415572B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 전처리부, 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 전처리부에서 변환된 이미지를 복원하는 오토인코더부, 및 오토인코더부에서 복원된 이미지를 학습 데이터로 이용하여 전력설비를 진단하기 위한 기계 학습을 수행하는 이미지 인식 모델부를 포함하는 것을 특징으로 한다.

Description

오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법{APPARATUS FOR DIAGNOSING ELECTRIC POWER EQUIPMENT BASED ON AUTOENCODER AND LEARNING METHOD THEREOF}
본 발명은 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법에 관한 것으로, 전력설비를 촬영한 이미지를 학습하여 전력설비를 진단하는 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법에 관한 것이다.
과거에는 사람이나 드론을 활용하여 전력설비를 촬영하고, 촬영된 이미지를 사람이 직접 분석하여 전력설비를 점검하는 방법이 주로 이용되었다.
이러한 방법은 사람에 의해 수행되므로 시간이 많이 소요될 뿐만 아니라, 작업을 수행하는 사람의 부주의 또는 실수로 인해 정확성이 다소 떨어지는 문제점이 존재하였다.
최근 전술한 문제점을 해결하기 위해 딥러닝 모델을 이용하여 전력설비를 촬영한 이미지를 자동으로 분석하는 방법이 이용되고 있다.
딥러닝 모델을 이용하여 전력설비를 촬영한 이미지를 자동으로 분석하는 방법은 전력설비를 촬영한 이미지 및 고장 발생 시 이미지에 나타나는 변화를 학습함으로써 신속하고 정확하게 전력설비를 진단하는 것이 가능하다.
이러한 딥러닝 모델의 경우, 입력된 학습 데이터에 맞는 출력 데이터를 찾도록 딥러닝 모델을 학습시키는 지도 학습이 필요하다.
다만, 딥러닝 모델의 지도 학습 데이터로 입력되는 데이터에 노이즈 또는 변조 등이 발생한 경우, 딥러닝 모델이 노이즈 또는 변조가 발생된 데이터를 그대로 학습 데이터로 오학습하는 문제가 발생할 수 있다.
이러한 특성을 이용하여 악성 이미지 삽입 공격이 빈번히 발생하고 있다. 악성 이미지 삽입 공격의 대표적인 방법으로 이미지 조작 방법이 있다. 이미지 조작 방법은 학습 데이터로 입력되는 이미지 자체(예를 들면, RGB값)을 조작하는 방법이다. 이러한 방식은 레이블을 조작하는 방식보다 난이도는 높지만 관리자가 학습 이미지를 검사하였을 때 조작 여부를 판단하기 어렵다.
이에 따라, 이미지 인식 모델의 학습 데이터에 악의적인 사용자가 이미지 변조 방식으로 삽입한 악성 이미지를 복구시킬 방법이 요구되고 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2020-0001206호(2020.01.06.)의 '동영상 파일을 이용한 설비 학습 장치 및 방법'에 개시되어 있다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로, 본 발명의 일 측면에 따른 목적은 전력설비를 촬영한 이미지를 오토인코더를 통해 복원한 후 딥러닝 모델의 학습 데이터로 이용함으로써 악성 이미지 삽입으로 인한 공격에 대응할 수 있는 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 오토인코더 기반의 전력설비 진단 장치는 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 전처리부, 상기 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 상기 전처리부에서 변환된 이미지를 복원하는 오토인코더부, 및 상기 오토인코더부에서 상기 복원된 이미지를 학습 데이터로 이용하여 상기 전력설비를 진단하기 위한 기계 학습을 수행하는 이미지 인식 모델부를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 전처리부는, 상기 전력설비가 촬영된 이미지를 3차원 numpy 배열로 변환하는 것을 특징으로 한다.
본 발명에 있어 상기 오토인코더부는, 상기 전처리부에서 변환된 이미지에서 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 변환된 이미지를 압축하는 인코더, 및 상기 추출된 특징을 기반하여 상기 압축된 이미지를 복원하는 디코더를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 인코더는, 상기 전처리부에서 변환된 이미지를 입력받는 제1 입력 레이어부, 상기 제1 입력 레이어부를 통해 입력받은 이미지에서 상기 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 입력받은 이미지를 압축하는 제1 히든 레이어부, 및 상기 제1 히든 레이어부에서 압축된 이미지를 출력하는 제1 출력 레이어부를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 디코더는, 상기 제1 출력 레이어부에서 출력된 이미지를 입력받는 제2 입력 레이어부, 상기 제2 입력 레이어부를 통해 입력받은 이미지를 상기 추출된 특징에 기반하여 복원하는 제2 히든 레이어부, 및 상기 제2 히든 레이어부에서 복원된 이미지를 출력하는 제2 출력 레이어부를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 제1 입력 레이어부의 크기는 상기 제2 출력 레이어부의 크기와 동일하고, 상기 제1 및 제2 히든 레이어부의 크기는 상기 제1 입력 레이어부의 크기보다 작은 것을 특징으로 한다.
본 발명에 있어 정상적인 이미지를 사용하여 상기 오토인코더부를 학습시키는 초기 학습부를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법은 초기 학습부가, 변조가 반영되지 않은 정상적인 이미지를 사용하여 오토인코더부를 학습시키는 단계, 전처리부가, 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 단계, 상기 오토인코더부가, 상기 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 상기 전처리부에서 변환된 이미지를 복원하는 단계, 및 이미지 인식 모델부가, 상기 오토인코더부에서 복원된 상기 이미지를 학습 데이터로 이용하여 상기 전력설비를 진단하기 위한 기계 학습을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 변환하는 단계에서, 상기 전처리부는, 상기 전력설비가 촬영된 이미지를 3차원 numpy 배열로 변환하는 것을 특징으로 한다.
본 발명에 있어 상기 복원하는 단계는, 인코더가, 상기 전처리부에서 상기 변환된 이미지에서 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 변환된 이미지를 압축하는 단계, 및 디코더가, 상기 추출된 특징을 이용하여 상기 압축된 이미지를 복원하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 압축하는 단계에서, 제1 입력 레이어부가, 상기 전처리부에서 변환된 이미지를 입력받는 단계, 제1 히든 레이어부가, 상기 제1 입력 레이어부를 통해 입력받은 이미지에서 상기 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 입력받은 이미지를 압축하는 단계, 및 제1 출력 레이어부가, 상기 제1 히든 레이어부에서 압축된 이미지를 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 압축된 이미지를 복원하는 단계에서, 제2 입력 레이어부가, 상기 제1 출력 레이어부에서 출력된 이미지를 입력받는 단계, 제2 히든 레이어부가, 상기 제2 입력 레이어부를 통해 입력받은 이미지를 상기 추출된 특징에 기반하여 복원하는 단계, 및 제2 출력 레이어부가, 상기 제2 히든 레이어부에서 복원된 이미지를 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 제1 입력 레이어부의 크기는 상기 제2 출력 레이어부의 크기와 동일하고, 상기 제1 및 제2 히든 레이어부의 크기는 상기 제1 입력 레이어부의 크기보다 작은 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 오토인코더를 통해 악성 이미지를 복원하고, 복원된 이미지를 딥러닝 모델의 학습 데이터로 사용하므로 전력설비를 진단하기 위한 딥러닝 모델의 학습 정확성을 향상시키고, 악성 이미지 삽입 공격에 의한 오학습을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 오토인코더부를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 설명하기 위한 제1 순서도이다.
도 4는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 설명하기 위한 제2 순서도이다.
도 5는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 진단 방법을 설명하기 위한 순서도이다.
이하에서는 본 발명의 실시예에 따른 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치를 설명하기 위한 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 오토인코더부를 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치는 전처리부(100), 오토인코더부(200) 및 이미지 인식 모델부(300)를 포함할 수 있다.
전처리부(100)는 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환할 수 있다.
예를 들어, 전처리부(100)는 전력설비가 촬영된 이미지를 외부(예: 서버)로부터 입력받고, 입력받은 이미지를 오토인코더부(200)로 입력하기 위해 오토인코더부(200)에 대응되는 포맷으로 변환할 수 있다.
본 발명의 일 실시예에 따르면, 전처리부(100)는 입력받은 이미지를 3차원 numpy 배열로 변환할 수 있다.
3차원 numpy 배열은 행렬이나 대규모 다차원 배열을 쉽게 처리할 수 있도록 지원하는 파이썬의 라이브러리이다. 파이썬은 프로그래밍 언어의 일종으로, 파이썬을 활용하여 오토인코더를 포함한 딥러닝 모델을 구현할 수 있다.
따라서, 파이썬을 활용하여 오토인코더 및 딥러닝 모델이 구현된 경우, 입력받은 이미지를 3차원 numpy 배열로 변환함으로써 효율적으로 데이터를 처리할 수 있다.
3차원 numpy 배열은 데이터를 색의 종류, 가로 픽셀 및 세로 픽셀로 나타낸다. 색의 종류는 RGB 정보를 포함할 수 있고, 가로 픽셀과 세로 픽셀은 오토인코더부(200)에 대응되도록 설정될 수 있다.
오토인코더부(200)는 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 전처리부(100)에서 변환된 이미지를 복원할 수 있다.
변조는 이미지의 RGB값을 조작하는 것과 같은 악성 이미지 삽입 공격을 포함할 수 있으며, 이미지에 데이터를 암호화하여 감추는 스테가노그래피가 변조에 해당할 수 있다.
도 2를 참조하면, 오토인코더부(200)는 인코더(210) 및 디코더(220)를 포함할 수 있다.
인코더(210)는 전처리부(100)에서 변환된 이미지에서 특징(피처-Feature)을 추출하고, 추출된 특징에 기반하여 변환된 이미지를 압축할 수 있다.
본 발명의 일 실시예에 따르면, 인코더(210)는 전처리부(100)에서 변환된 이미지를 입력받는 제1 입력 레이어부(211), 제1 입력 레이어부(211)를 통해 입력받은 이미지에서 특징을 추출하고, 추출된 특징을 이용하여 입력받은 이미지를 압축하는 제1 히든 레이어부(212), 및 제1 히든 레이어부(212)에서 압축된 이미지를 출력하는 제1 출력 레이어부(213)를 포함할 수 있다.
예를 들어, 입력받은 이미지에서 특징을 추출하고, 추출된 특징을 이용하여 입력받은 이미지를 변환하는 과정에서, 제1 히든 레이어부(212)는 제1 입력 레이어부(211)를 통해 입력받은 이미지를 특징을 유지한 채 추상화하여 압축할 수 있다.
디코더(220)는 추출된 특징을 이용하여 압축된 이미지를 복원할 수 있다.
본 발명의 일 실시예에 따르면, 디코더(220)는 제1 출력 레이어부(213)에서 출력된 이미지를 입력받는 제2 입력 레이어부(221), 제2 입력 레이어부(221)를 통해 입력받은 이미지를 추출된 특징을 이용하여 복원하는 제2 히든 레이어부(222), 제2 히든 레이어부(222)에서 복원된 이미지를 출력하는 제2 출력 레이어부(223)를 포함할 수 있다.
예를 들어, 입력받은 이미지를 추출된 특징을 이용하여 복원하는 과정에서, 제2 히든 레이어부(222)는 제2 입력 레이어부(221)를 통해 입력받은 이미지를 추출된 특징을 이용하여 본래의 이미지와 같은 크기(즉, 데이터 차원)로 복원할 수 있다.
본 발명의 일 실시예에 따르면, 인코더(210)에 포함된 제1 입력 레이어부(211)의 크기(즉, 포함된 노드의 수)는 디코더(220)에 포함된 제2 출력 레이어부(223)와 동일하고, 제1 및 제2 히든 레이어부(212, 222)의 크기(즉, 포함된 노드의 수)는 제1 입력 레이어부(211)의 크기보다 작을 수 있다.
즉, 제1 히든 레이어부(212)의 크기가 제1 입력 레이어부(211)의 크기보다 작으므로, 제1 입력 레이어부(211)에서 입력된 이미지는 제1 히든 레이어부(212)에서 차원 축소가 이루어진다. 이후, 제2 출력 레이어부(223)의 크기가 제2 히든 레이어부(222)의 크기보다 크기 때문에, 제2 입력 레이어부(221)로 입력된 이미지는 제2 히든 레이어부(222)에서 다시 본래의 차원으로 복원된다.
전술한 바와 같이, 제1 히든 레이어부(212)의 크기(즉, 포함된 노드의 수)가 제1 입력 레이어부(211) 및 제2 출력 레이어부(213)의 크기(즉, 포함된 노드의 수) 보다 작으므로, 제1 히든 레이어부(212)에서는 더 작은 차원의 데이터로 원본 이미지의 특징들을 나타내야 한다. 제1 히든 레이어부(212)는 더 작은 차원의 데이터로 원본 이미지의 특징들을 표현하기 위해 원본 이미지에서 불필요한 특징(즉, 잉여 특징)들이 제거된 압축되는 특징들로 이미지를 나타낸다. 이 과정에서 원본 이미지에 포함된 노이즈 또는 악성 이미지 삽입 공격에 의한 이미지 변조는 불필요한 특징으로 취급되어 이미지에서 제거된다. 이후, 제2 히든 레이어부(222)는 압축된 이미지를 앞서 추출된 특징을 이용하여 복원하므로, 불필요한 특징으로 제거된 노이즈 또는 악성 이미지 삽입 공격에 의한 이미지 변조는 복원되지 않는다.
이미지 인식 모델부(300)는 오토인코더부(200)에서 복원된 이미지를 학습 데이터로 이용하여 전력설비를 진단하기 위한 기계 학습을 수행할 수 있다.
이미지 인식 모델부(300)는 이미지를 학습하기 위해 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), FRCNN(Fast Region-based Convolutional Network), SVM(Support Vector Machine) 등의 알고리즘을 채용할 수 있으며, 전술한 내용에 한정되지 않고 이미지를 학습하기 위한 다양한 알고리즘이 채용될 수 있다.
이미지 인식 모델부(300)의 학습 데이터로 이용되는 이미지는 오토인코더부(200)에 의해 노이즈 또는 악성 이미지 삽입 공격에 의한 이미지 변조가 제거된 이미지이므로, 이미지를 학습하는 과정에서 이미지 인식 모델부(300)가 악성 이미지 삽입 공격에 의해 변조된 이미지를 학습 데이터로 학습하는 것을 방지할 수 있다.
본 발명의 일 실시예에 따르면, 디코더(220)의 제2 출력 레이어부(223)의 크기(즉, 데이터 차원)는 이미지 인식 모델부(300)의 크기와 같거나 클 수 있다.
디코더(220)의 제2 출력 레이어부(223)의 크기가 이미지 인식 모델부(300)의 차원보다 큰 경우, 제2 출력 레이어부(223)의 크기와 이미지 인식 모델부(300)의 크기를 일치시키기 위한 추가적인 전처리부(미도시)가 구비될 수 있다.
본 발명은 정상적인 이미지를 사용하여 오토인코더부(200)를 학습시키는 초기 학습부(400)를 더 포함할 수 있다.
초기 학습부(400)는 노이즈 또는 악성 이미지 삽입 공격이 가해지지 않은 이미지를 선별하여 오토인코더부(200)의 학습 데이터로 입력함으로써 오토인코더부(200)가 입력된 이미지와 출력된 이미지 간의 차이를 최소화하는 특징을 추출하도록 학습시킬 수 있다.
본 발명의 일 실시예에 따르면, 공사 현장 사진 1000장을 이용하여 공사 현장에 있는 사람의 안전모의 착용 유무를 판단하도록 이미지 인식 모델을 학습시키는 과정에 150장의 변조된 이미지를 만들어 악성 이미지 삽입 공격을 수행하였을 경우, 오토인코더부(200)를 사용하지 않은 경우, 원본 이미지와 악성 이미지가 삽입된 이미지의 특징값의 거리는 평균 49226.76으로 계산된 반면, 오토인코더부(200)를 사용한 경우, 원본 이미지와 악성 이미지가 삽입된 이미지의 특징값의 거리는 평균 17.02로 측정되었다. 이를 통해, 오토인코더부(200)를 사용할 경우, 보다 원본에 가까운 이미지를 획득할 수 있음을 확인할 수 있다.
도 3은 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 설명하기 위한 제1 순서도이고, 도 4는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 설명하기 위한 제2 순서도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 학습 방법은 초기 학습을 수행하는 단계(S100), 변환하는 단계(S200), 복원하는 단계(S300) 및 이미지 인식 모델부의 학습을 수행하는 단계(S400)를 포함할 수 있다.
S100 단계에서, 초기 학습부(400)는 변조가 반영되지 않은 정상적인 이미지를 사용하여 오토인코더부(200)를 학습시킬 수 있다.
예를 들어, 초기 학습부(400)는 노이즈 또는 악성 이미지 삽입 공격이 가해지지 않은 이미지를 선별하여 오토인코더부(200)의 학습 데이터로 입력함으로써 오토인코더부(200)가 입력된 이미지와 출력된 이미지 간의 차이를 최소화하는 특징을 추출하도록 학습시킬 수 있다.
S200 단계에서, 전처리부(100)는 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환할 수 있다.
예를 들어, 전처리부(100)는 전력설비가 촬영된 이미지를 색의 종류, 가로 픽셀 및 세로 픽셀로 나타낸 3차원 numpy 배열로 변환할 수 있다.
S300 단계에서, 오토인코더부(200)는 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 전처리부(100)에서 변환된 이미지를 복원할 수 있다.
도 4를 참조하면, S300 단계는 S310 단계 및 S320 단계를 포함할 수 있다.
S310 단계에서, 인코더(210)는 전처리부(100)에서 변환된 이미지에서 특징을 추출하고, 추출된 특징에 기반하여 변환된 이미지를 압축할 수 있다.
S310 단계는 제1 입력 레이어부(211)가 전처리부(100)에서 변환된 이미지를 입력받는 단계(S311), 제1 히든 레이어부(212)가 제1 입력 레이어부(211)를 통해 입력받은 이미지에서 특징을 추출하고, 추출된 특징에 기반하여 입력받은 이미지를 압축하는 단계(S312), 및 제1 출력 레이어부(213)가 제1 히든 레이어부(212)에서 압축된 이미지를 출력하는 단계(S313)를 포함할 수 있다.
S320 단계에서, 디코더(220)는 추출된 특징을 이용하여 압축된 이미지를 복원할 수 있다.
S320 단계는 제2 입력 레이어부(221)가 제1 출력 레이어부(213)에서 출력된 이미지를 입력받는 단계(S321), 제2 히든 레이어부(222)가 제2 입력 레이어부(221)를 통해 입력받은 이미지를 앞서 추출된 특징에 기반하여 복원하는 단계(S322), 제2 출력 레이어부(223)가 제2 히든 레이어부(222)에서 복원된 이미지를 출력하는 단계(S323)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 제1 입력 레이어부(211)의 크기는 제2 출력 레이어부(223)의 크기와 동일하고, 제1 및 제2 히든 레이어부(212, 222)의 크기는 제1 입력 레이어부(211)의 크기보다 작을 수 있다.
즉, 제1 히든 레이어부(212)의 크기가 제1 입력 레이어부(211)의 크기보다 작으므로, 제1 입력 레이어부(211)에서 입력된 이미지는 제1 히든 레이어부(212)에서 차원 축소가 이루어진다. 이후, 제2 출력 레이어부(223)의 크기가 제2 히든 레이어부(222)의 크기보다 크기 때문에, 제2 입력 레이어부(221)로 입력된 이미지는 제2 히든 레이어부(222)에서 다시 본래의 차원으로 복원된다.
다시 도 3을 참조하면, S400 단계에서, 이미지 인식 모델부(300)는 오토인코더부(200)에서 복원된 이미지를 학습 데이터로 이용하여 전력설비를 진단하기 위한 기계 학습을 수행할 수 있다.
이때, 이미지 인식 모델부(300)의 학습 데이터로 이용되는 이미지는 오토인코더부(200)에 의해 노이즈 또는 악성 이미지 삽입 공격에 의한 이미지 변조가 제거된 이미지이므로, 이미지를 학습하는 과정에서 이미지 인식 모델부(300)가 악성 이미지 삽입 공격에 의해 변조된 이미지를 학습 데이터로 학습하는 것을 방지할 수 있다.
도 5는 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 진단 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치의 진단 방법은 변환하는 단계(S500) 및 진단하는 단계(S600)를 포함할 수 있다.
S500 단계에서, 전처리부(100)는 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환할 수 있다.
예를 들어, 전처리부(100)는 전력설비가 촬영된 이미지를 이미지 인식 모델부(300)에 대응되는 포맷으로 변환할 수 있다.
S600 단계에서, 이미지 인식 모델부(300)는 변환된 이미지에서 특징을 추출하고, 추출된 특징에 기반하여 전력설비를 진단할 수 있다.
이때, 이미지 인식 모델부(300)는 전술한 오토인코더 기반의 전력설비 진단 장치의 학습 방법을 통한 기계 학습을 수행하였으므로, 입력된 이미지에서 고장을 판별하기 위한 특징을 추출하고, 추출된 특징에 기반하여 전력설비를 진단할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법은 오토인코더를 통해 악성 이미지를 복구하고, 복구된 이미지를 딥러닝 모델의 학습 데이터로 사용하므로 딥러닝 모델의 학습 정확성을 향상시키고, 악성 이미지 삽입 공격에 의한 오학습을 방지할 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 전처리부
200: 오토인코더부
300: 이미지 인식 모델부
400: 초기 학습부

Claims (13)

  1. 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 전처리부;
    상기 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 상기 전처리부에서 변환된 이미지를 복원하는 오토인코더부; 및
    상기 오토인코더부에서 상기 복원된 이미지를 학습 데이터로 이용하여 상기 전력설비를 진단하기 위한 기계 학습을 수행하는 이미지 인식 모델부;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
  2. 제 1항에 있어서,
    상기 전처리부는,
    상기 전력설비가 촬영된 이미지를 3차원 numpy 배열로 변환하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
  3. 제 1항에 있어서,
    상기 오토인코더부는,
    상기 전처리부에서 변환된 이미지에서 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 변환된 이미지를 압축하는 인코더; 및
    상기 추출된 특징을 기반하여 상기 압축된 이미지를 복원하는 디코더;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
  4. 제 3항에 있어서,
    상기 인코더는,
    상기 전처리부에서 변환된 이미지를 입력받는 제1 입력 레이어부;
    상기 제1 입력 레이어부를 통해 입력받은 이미지에서 상기 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 입력받은 이미지를 압축하는 제1 히든 레이어부; 및
    상기 제1 히든 레이어부에서 압축된 이미지를 출력하는 제1 출력 레이어부;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
  5. 제 4항에 있어서,
    상기 디코더는,
    상기 제1 출력 레이어부에서 출력된 이미지를 입력받는 제2 입력 레이어부;
    상기 제2 입력 레이어부를 통해 입력받은 이미지를 상기 추출된 특징에 기반하여 복원하는 제2 히든 레이어부; 및
    상기 제2 히든 레이어부에서 복원된 이미지를 출력하는 제2 출력 레이어부;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
  6. 제 5항에 있어서,
    상기 제1 입력 레이어부의 크기는 상기 제2 출력 레이어부의 크기와 동일하고, 상기 제1 및 제2 히든 레이어부의 크기는 상기 제1 입력 레이어부의 크기보다 작은 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
  7. 제 1항에 있어서,
    정상적인 이미지를 사용하여 상기 오토인코더부를 학습시키는 초기 학습부;를 더 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치.
  8. 초기 학습부가, 변조가 반영되지 않은 정상적인 이미지를 사용하여 오토인코더부를 학습시키는 단계;
    전처리부가, 전력설비가 촬영된 이미지를 기 설정된 포맷으로 변환하는 단계;
    상기 오토인코더부가, 상기 전력설비가 촬영된 이미지에 반영된 변조가 제거될 수 있도록 상기 전처리부에서 변환된 이미지를 복원하는 단계; 및
    이미지 인식 모델부가, 상기 오토인코더부에서 복원된 상기 이미지를 학습 데이터로 이용하여 상기 전력설비를 진단하기 위한 기계 학습을 수행하는 단계;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
  9. 제 8항에 있어서,
    상기 변환하는 단계에서,
    상기 전처리부는, 상기 전력설비가 촬영된 이미지를 3차원 numpy 배열로 변환하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
  10. 제 8항에 있어서,
    상기 복원하는 단계는,
    인코더가, 상기 전처리부에서 상기 변환된 이미지에서 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 변환된 이미지를 압축하는 단계; 및
    디코더가, 상기 추출된 특징을 이용하여 상기 압축된 이미지를 복원하는 단계;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
  11. 제 10항에 있어서,
    상기 압축하는 단계에서,
    제1 입력 레이어부가, 상기 전처리부에서 변환된 이미지를 입력받는 단계;
    제1 히든 레이어부가, 상기 제1 입력 레이어부를 통해 입력받은 이미지에서 상기 특징을 추출하고, 상기 추출된 특징에 기반하여 상기 입력받은 이미지를 압축하는 단계; 및
    제1 출력 레이어부가, 상기 제1 히든 레이어부에서 압축된 이미지를 출력하는 단계;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
  12. 제 11항에 있어서,
    상기 압축된 이미지를 복원하는 단계에서,
    제2 입력 레이어부가, 상기 제1 출력 레이어부에서 출력된 이미지를 입력받는 단계;
    제2 히든 레이어부가, 상기 제2 입력 레이어부를 통해 입력받은 이미지를 상기 추출된 특징에 기반하여 복원하는 단계; 및
    제2 출력 레이어부가, 상기 제2 히든 레이어부에서 복원된 이미지를 출력하는 단계;를 포함하는 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
  13. 제 12항에 있어서,
    상기 제1 입력 레이어부의 크기는 상기 제2 출력 레이어부의 크기와 동일하고, 상기 제1 및 제2 히든 레이어부의 크기는 상기 제1 입력 레이어부의 크기보다 작은 것을 특징으로 하는 오토인코더 기반의 전력설비 진단 장치의 학습 방법.
KR1020200049191A 2020-04-23 2020-04-23 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법 KR102415572B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200049191A KR102415572B1 (ko) 2020-04-23 2020-04-23 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200049191A KR102415572B1 (ko) 2020-04-23 2020-04-23 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법

Publications (2)

Publication Number Publication Date
KR20210130981A true KR20210130981A (ko) 2021-11-02
KR102415572B1 KR102415572B1 (ko) 2022-07-04

Family

ID=78476251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200049191A KR102415572B1 (ko) 2020-04-23 2020-04-23 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법

Country Status (1)

Country Link
KR (1) KR102415572B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190042384A (ko) * 2017-10-16 2019-04-24 한국생산기술연구원 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
KR20200001206A (ko) * 2018-06-27 2020-01-06 한국전력공사 동영상 파일을 이용한 설비 학습 장치 및 방법
KR20200021160A (ko) * 2018-08-20 2020-02-28 전북대학교병원 하지 뼈 영상 처리 장치 및 방법
WO2020071877A1 (ko) * 2018-10-05 2020-04-09 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190042384A (ko) * 2017-10-16 2019-04-24 한국생산기술연구원 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
KR20200001206A (ko) * 2018-06-27 2020-01-06 한국전력공사 동영상 파일을 이용한 설비 학습 장치 및 방법
KR20200021160A (ko) * 2018-08-20 2020-02-28 전북대학교병원 하지 뼈 영상 처리 장치 및 방법
WO2020071877A1 (ko) * 2018-10-05 2020-04-09 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법

Also Published As

Publication number Publication date
KR102415572B1 (ko) 2022-07-04

Similar Documents

Publication Publication Date Title
RU2770752C1 (ru) Способ и устройство для обучения модели распознавания лица и устройство для определения ключевой точки лица
D'Avino et al. Autoencoder with recurrent neural networks for video forgery detection
WO2022033220A1 (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN110532746B (zh) 人脸校验方法、装置、服务器及可读存储介质
CN113344826B (zh) 图像处理方法、装置、电子设备及存储介质
WO2022120843A1 (zh) 三维人体重建方法、装置、计算机设备和存储介质
CN113570689B (zh) 人像卡通化方法、装置、介质和计算设备
WO2022227765A1 (zh) 生成图像修复模型的方法、设备、介质及程序产品
JP2022133378A (ja) 顔生体検出方法、装置、電子機器、及び記憶媒体
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
US20140198177A1 (en) Realtime photo retouching of live video
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
CN109829475B (zh) 一种基于深度学习的图像暗水印处理方法及装置
JP2010176504A (ja) 画像処理装置、画像処理方法及びプログラム
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
KR102415572B1 (ko) 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법
CN117313364A (zh) 一种数字孪生三维场景构建方法及装置
SAHWAL et al. An Advance Approach of Looping Technique for Image Encryption Using in Commuted Concept of ECC
CN112307799A (zh) 姿态识别方法、装置、系统、存储介质及设备
CN112967216B (zh) 人脸图像关键点的检测方法、装置、设备以及存储介质
WO2021125268A1 (ja) 制御装置、制御方法、及びプログラム
Nataraj et al. Holistic image manipulation detection using pixel co-occurrence matrices

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant