KR20200064185A - 배전설비 검출장치 - Google Patents

배전설비 검출장치 Download PDF

Info

Publication number
KR20200064185A
KR20200064185A KR1020180142524A KR20180142524A KR20200064185A KR 20200064185 A KR20200064185 A KR 20200064185A KR 1020180142524 A KR1020180142524 A KR 1020180142524A KR 20180142524 A KR20180142524 A KR 20180142524A KR 20200064185 A KR20200064185 A KR 20200064185A
Authority
KR
South Korea
Prior art keywords
module
bounding box
region
area
criticism
Prior art date
Application number
KR1020180142524A
Other languages
English (en)
Other versions
KR102167545B1 (ko
Inventor
김준혁
노용만
김정욱
이병성
문상근
권정수
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Priority to KR1020180142524A priority Critical patent/KR102167545B1/ko
Publication of KR20200064185A publication Critical patent/KR20200064185A/ko
Application granted granted Critical
Publication of KR102167545B1 publication Critical patent/KR102167545B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 배전설비 검출장치가 개시된다. 본 발명의 배전설비 검출장치는, 배전설비를 촬영한 촬영영상을 입력받는 촬영영상 입력부; 촬영영상 입력부로부터 입력된 촬영영상에서 검출하고자 하는 객체 대한 정보를 인코딩하고 후보 관심영역을 추출하여 객체를 검출하고 학습하는 객체검출 프레임워크 모듈; 객체검출 프레임워크 모듈에서 검출된 객체에 대한 정보가 인코딩된 정보로부터 객체의 영역 및 가리움 영역을 예측하고 비평하는 예측 비평 모듈; 및 객체검출 프레임워크 모듈에서 검출한 객체를 출력하는 출력부;를 포함하는 것을 특징으로 한다.

Description

배전설비 검출장치{APPARATUS FOR DETECTING ELECTRIC SUPPLY EQUIPMENT}
본 발명은 배전설비 검출장치에 관한 것으로서, 보다 상세하게는 주행환경에서 촬영한 영상을 기반으로 배전설비를 검출할 때 도로 시설물에 의한 가리움 현상으로 인해 검출되지 않는 문제에 대해 딥러닝 기반으로 가리움 현상을 예측한 맵을 이용하여 가리움 현상에도 강건하게 배전설비를 검출할 수 있도록 한 배전설비 검출장치에 관한 것이다.
일반적으로, 배전선로는 배전 선로 주변의 환경 변화 또는 설비 불량에 따른 파손 등에 의해 안정성이 훼손될 수 있으므로, 지속적인 점검과 안전위해요소의 제거 및 설비 교체 등의 관리를 필요로 한다.
배전선로와 관련된 전력설비의 고장을 예방하기 위하여 다양한 방법의 순시 점검 방식이 이용되고 있는데, 배전 선로 순시원을 통해 육안으로 점검하는 배전 선로 순시 방법, 활선 상태에서 활선 버켓 트럭을 타고 활선 전력설비에 접근하여 육안 및 포크형 현수 애자 분담 전압 측정기를 사용하여 분담전압을 측정하는 활선 기별 점검 방법, 전력설비에서 열화가 진행될 때 발생되는 열을 측정하여 배전 선로의 고장을 예방하기 위한 열화상 카메라 측정 방법, RFI(RADIO FREQUENCY INTERFERENCE)를 이용한 순시 방법이 이용되고 있다.
그러나, 현실적으로 육안에 의한 방법은 전력설비가 가공에 존재하며 지상으로부터 10m 이상의 거리를 두고 있기 때문에 육안으로 설비의 이상을 측정하는 것은 불가능하다.
또한, 활선 기별점검 방법은 활선 작업자가 활선 버켓 트럭을 타고 점검을 하기 때문에 가까운 거리의 설비는 육안으로 보는 것은 가능하지만 애자와 애자 사이의 좁은 지역이나 점검자로부터 반대편에 존재하는 미세한 균열 등의 경우에는 점검하는 것이 매우 어렵다.
때문에, 부실 점검으로 인해 활선 기별 점검을 한 구역에서도 전력 사고가 일어나는 것이 현실이며, 또한 활선 기별점검은 점검에 많은 시간이 소요되며 상대적으로 더 많은 비용이 소모되므로 비효율적인 측면이 있다.
한편, 열화상 카메라 측정 방법은 배전선로 설비에서 열화가 진행될 때 발생되는 열을 측정하여 고장을 예방하는 것이기 때문에 열이 발생되지 않는 설비의 경우에는 적출이 불가능하다.
실제로 전력설비의 고압 선로에서는 대부분의 경우에 애자류의 균열에서 열이 발생되지 않는다.
또한, 이물의 접촉이나 볼트의 풀림의 경우에도 열이 발생되지 않으므로 효과적인 검출 방안이라고 말할 수 없다.
그리고, RFI를 이용한 순시 방법은 도심지나 공장이 밀집된 지역 등의 경우에는 주변의 주파수 잡음이 너무나 심하기 때문에 전력설비에서 나오는 노이즈와 구별이 어렵고 구별한다 하여도 고장 가능성이 있는 설비를 정확하게 구별하는 것이 불가능하다. 뿐만 아니라, 파형의 분석이 불가능하기 때문에 고장의 유형의 파악이나 정도의 파악도 어렵다.
따라서 이러한 문제를 해결하기 위해 전력설비로부터 발생하는 초음파 신호를 수신하여 불량을 점검하는 방법도 있으나 초음파 검출장치를 파지한 상태로 각도 조절해야 하므로 흔들림이 발생하여 정확한 측정작업이 어렵고, 방향을 설정할 때에도 작업자가 일일이 몸을 돌려 방향을 맞춰야 하므로 검출작업이 매우 번거롭고 힘들다는 단점이 내포되어 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제2011-0070969호(2011.06.27. 공개, 가공배전선로 전력설비의 불량 점검을 위한 초음파 검출장치)에 개시되어 있다.
최근에는 주행을 하면서 도로에서 보이는 배전설비를 촬영한 영상을 기반으로 객체검출을 통해 배전설비를 감시함으로써, 기존 순시자 및 순시자의 경험에 의존하는 감시 및 진단 방법을 탈피하여 객체검출을 통해 감시하고 진단하는 기술이 도입되고 있다.
객체검출(object detection) 분야는 컴퓨터 비전 분야에서 가장 활발히 연구되고 있는 분야 중 하나로써, 영상 내에서 찾고자 하는 객체의 종류를 자동으로 구분하고, 구분된 객체의 위치와 영역을 자동으로 바운딩 박스(bounding-box)로 표현할 수 있다.
그러나 주행환경에서 촬영된 영상을 기반으로 객체검출을 수행할 경우, 도로 환경에 따라 자동차, 보행자, 수목 등으로 인해 발생되는 가리움 현상(occlusion) 및 객체의 크기 변화(scale variance) 등의 문제가 발생한다.
특히, 가리움 현상으로 가려진 배전설비는 검출을 수행할 때 놓치는 경우가 빈번하게 발생하는 문제점이 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 주행환경에서 촬영한 영상을 기반으로 배전설비를 검출할 때 도로 시설물에 의한 가리움 현상으로 인해 검출되지 않는 문제에 대해 딥러닝 기반으로 가리움 현상을 예측한 맵을 이용하여 가리움 현상에도 강건하게 배전설비를 검출할 수 있도록 한 배전설비 검출장치를 제공하는 것이다.
본 발명의 일 측면에 따른 배전설비 검출장치는, 배전설비를 촬영한 촬영영상을 입력받는 촬영영상 입력부; 촬영영상 입력부로부터 입력된 촬영영상에서 검출하고자 하는 객체 대한 정보를 인코딩하고 후보 관심영역을 추출하여 객체를 검출하고 학습하는 객체검출 프레임워크 모듈; 객체검출 프레임워크 모듈에서 검출된 객체에 대한 정보가 인코딩된 정보로부터 객체의 영역 및 가리움 영역을 예측하고 비평하는 예측 비평 모듈; 및 객체검출 프레임워크 모듈에서 검출한 객체를 출력하는 출력부;를 포함하는 것을 특징으로 한다.
본 발명에서 객체검출 프레임워크 모듈은, 촬영영상으로부터 객체의 특징을 추출하는 특징점 인코딩 모듈; 특징점 인코딩 모듈에서 인코딩된 특징 맵으로부터 객체의 관심영역을 추출하는 관심영역 추출 모듈; 및 관심영역 추출 모듈에서 추출된 객체의 관심영역을 특징점 인코딩 모듈에 적용하여 객체의 종류와 영역을 예측하는 객체 예측 모듈을 포함하는 것을 특징으로 한다.
본 발명에서 관심영역 추출 모듈은, 관심영역을 바운딩 박스 형태로 추출하는 것을 특징으로 한다.
본 발명에서 예측 비평 모듈은, 특징점 인코딩 모듈에서 인코딩된 특징점의 공간적 분석을 통해 바운딩 박스 영역을 예측하고 바운딩 박스 영역의 가리움 영역을 예측하는 객체 바운딩 박스 예측 모듈; 및 객체 바운딩 박스 예측 모듈에서 예측된 바운딩 박스 영역에 대해 실제 정답 바운딩 박스 맵과 비교하여 판단하는 바운딩 박스 비평 모듈;을 포함하는 것을 특징으로 한다.
본 발명에서 객체 바운딩 박스 예측 모듈은, 특징점 인코딩 모듈에서 추출된 특징 맵을 이용하여 객체 바운딩 박스 영역을 예측하고 가리움 영역을 예측하는 전역 바운딩 박스 영역 예측 모듈; 및 관심영역 추출 모듈에서 추출된 관심영역의 특징점을 이용하여 한 객체의 바운딩 박스 영역을 예측하고 가리움 영역을 예측하는 지역 바운딩 박스 영역 예측 모듈;을 포함하는 것을 특징으로 한다.
본 발명에서 전역 바운딩 박스 영역 예측 모듈은, 컨벌루션 신경망(Convolutional Neural Network : CNN)와 Convolution Auto Encoder 중 어느 하나의 구조로 이루어진 것을 특징으로 한다.
본 발명에서 지역 바운딩 박스 영역 예측 모듈은, 컨벌루션 신경망(Convolutional Neural Network : CNN) 구조로 이루어진 것을 특징으로 한다.
본 발명에서 바운딩 박스 비평 모듈은, 전역 바운딩 박스 영역 예측 모듈에서 예측된 전역 바운딩 박스와 실제 전역 정답 맵을 비교하여 비평하는 전역 비평 모듈; 및 지역 바운딩 박스 영역 예측 모듈에서 예측된 지역 바운딩 박스와 실제 지역 정답 맵을 비교하여 비평하는 지역 비평 모듈;을 포함하는 것을 특징으로 한다.
본 발명에서 바운딩 박스 비평 모듈은, 컨벌루션 신경망(Convolutional Neural Network : CNN)와 Residual Network(ResNet) 중 어느 하나의 구조로 이루어진 것을 특징으로 한다.
본 발명은 객체검출 프레임워크 모듈은, 플러그-인 방식으로 예측 비평 모듈에 대해 적대적 학습(adversarial learning)을 수행하여 객체를 검출하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 배전설비 검출장치는 주행환경에서 촬영한 영상을 기반으로 배전설비를 검출할 때 도로 시설물에 의한 가리움 현상으로 인해 검출되지 않는 문제에 대해 딥러닝 기반으로 가리움 현상을 예측한 맵을 이용하여 가리움 현상에도 강건하게 배전설비를 검출할 수 있어 차량을 활용한 배전설비의 순시가 가능하도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 배전설비 검출장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 배전설비 검출장치를 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 배전설비 검출장치의 객체 검출 프레임워크 모듈을 나타낸 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 배전설비 검출장치의 예측 비평 모듈을 나타낸 블록 구성도이다.
도 5는 본 발명의 일 실시예에 따른 배전설비 검출장치를 설명하기 위한 바운딩 박스와 가리움 영역을 나타낸 예시도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 배전설비 검출장치를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 배전설비 검출장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 배전설비 검출장치를 설명하기 위한 개념도이며, 도 3은 본 발명의 일 실시예에 따른 배전설비 검출장치의 객체 검출 프레임워크 모듈을 나타낸 블록 구성도이고, 도 4는 본 발명의 일 실시예에 따른 배전설비 검출장치의 예측 비평 모듈을 나타낸 블록 구성도이며, 도 5는 본 발명의 일 실시예에 따른 배전설비 검출장치를 설명하기 위한 바운딩 박스와 가리움 영역을 나타낸 예시도이다.
도 1 및 도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 배전설비 검출장치는, 촬영영상 입력부(10), 객체검출 프레임워크 모듈(Object detection framework)(20), 예측 비평 모듈(Multiple OBB-Critic Network)(30) 및 출력부(40)를 포함할 수 있다.
촬영영상 입력부(10)는 주행환경에서 배전설비를 촬영한 촬영영상을 입력받아 객체검출 프레임워크 모듈(20)에 입력한다.
객체검출 프레임워크 모듈(20)은 촬영영상 입력부(10)로부터 입력된 촬영영상에서 검출하고자 하는 객체 대한 정보를 인코딩하고 후보 관심영역을 추출하여 객체를 검출하고 학습할 수 있다.
여기서 객체검출 프레임워크 모듈은 도 3에 도시된 바와 같이 특징점 인코딩 모듈(Feature Encoding)(210), 관심영역 추출 모듈(Region Proposal Network)(220) 및 객체 예측 모듈(230)을 포함할 수 있다.
특징점 인코딩 모듈(210)은 촬영영상으로부터 배전설비인 객체의 특징정보를 계층적으로 추출하는 딥 네트워크를 학습하여 객체의 특징을 추출할 수 있다. 즉, 촬영영상에서 검출하고자하는 객체의 영역을 활성화하도록 학습하고 객체의 특징을 추출할 수 있다.
관심영역 추출 모듈(220)은 특징점 인코딩 모듈(210)에서 인코딩된 특징 맵(Feature Map)으로부터 검출하고자 하는 객체의 관심영역을 추출하는 딥 네트워크를 학습한다. 즉, 배전설비가 존재할 것이라고 판단되는 위치를 딥 네트워크를 통해 분석하고, 관심영역의 위치를 바운딩 박스 형태로 특징을 추출하여 객체의 관심영역을 추출할 수 있다.
객체 예측 모듈(230)은 관심영역 추출 모듈(220)에서 추출된 객체의 관심영역을 특징점 인코딩 모듈(210)에 적용하여 배전설비인 객체의 종류를 분류(Classification)하고, 최종적으로 객체의 종류와 영역을 예측하는 딥 네트워크를 학습하고 분석하여 객체를 예측할 수 있다.
이와 같이 객체검출 프레임워크 모듈(20)은 딥 러닝 기반으로 촬영영상으로부터 각각의 객체의 종류와 영역을 딥 네트워크를 통해 분석하고 특징을 추출하여 객체를 검출할 수 있다.
예측 비평 모듈(30)은 객체검출 프레임워크 모듈(20)에서 검출된 객체에 대한 정보가 인코딩된 정보로부터 객체의 영역 및 가리움 영역을 예측하고 비평할 수 있다.
여기서 예측 비평 모듈(30)은 도 4에 도시된 바와 같이 객체 바운딩 박스 예측 모듈(310) 및 바운딩 박스 비평 모듈(320)을 포함할 수 있다.
객체 바운딩 박스 예측 모듈(310)은 특징점 인코딩 모듈(210)에서 인코딩된 특징점을 바탕으로 객체의 바운딩 박스 영역을 예측하고 객체의 종류를 분류하는 딥 네트워크를 학습하여, 특징점 인코딩 모듈(210)에서 인코딩된 특징점의 공간적 분석을 통해 바운딩 박스 영역을 예측하고 바운딩 박스 영역의 가리움 영역을 예측할 수 있다.
바운딩 박스 영역과 가리움 영역은 도 5에 도시된 바와 같이 촬영영상에서 한 객체의 바운딩 박스(bounding box)가 다른 객체의 바운딩 박스 영역이 겹치지 않는 영역을 각 바운딩 박스 맵에 1로 할당하고, 그렇지 않으면 0으로 할당한다. 그리고 객체의 바운딩 박스가 겹치는 영역을 가리움(occlusion) 영역으로 판단하고 1로 할당하고, 그렇지 않으면 0으로 할당한다.
또한, 바운딩 박스 비평 모듈(320)은 객체 바운딩 박스 예측 모듈(310)에서 예측된 바운딩 박스 영역에 대해 실제 정답(Ground Truth) 바운딩 박스 맵과 비교하여 바운딩 박스 맵에 가까운지 아닌지를 판단하는 딥 네트워크를 학습하여 실제 정답과 가까운 결과를 예측한다면 이것을 참(real)으로 판단하고, 그렇지 않으면 거짓(fake)으로 판단할 수 있다.
이후 바운딩 박스 비평 모듈(320)은 딥 러닝 기반의 객체 검출 프레임워크 모듈(20)에 "Plug-and-Play" 방식으로 추가되어 학습된다.
여기서 객체 바운딩 박스 예측 모듈(310)은 전역 바운딩 박스(Global Object Bounding Box) 영역 예측 모듈(312)과 지역 바운딩 박스(Local Object Bounding Box) 영역 예측 모듈(314)을 포함할 수 있다.
전역 바운딩 박스(Global Object Bounding Box) 영역 예측 모듈(312)은 특징점 인코딩 모듈(210)에서 추출된 특징 맵을 이용하여 객체 바운딩 박스 영역을 예측하고 가리움 영역을 예측하는 딥 네트워크로 구성될 수 있다.
이때 전역 바운딩 박스 영역 예측 모듈은 객체의 공간적인 정보 분석 및 특징 학습에 유용한 컨벌루션 신경망(Convolutional Neural Network ; CNN)과 Convolution Auto Encoder 중 어느 하나의 구조로 이루어질 수 있다.
또한, 지역 바운딩 박스(Local Object Bounding Box) 영역 예측 모듈(314)은 관심영역 추출 모듈(220)에서 추출된 관심영역의 특징점을 이용하여 한 객체의 바운딩 박스 영역을 예측하고 가리움 영역을 예측하는 딥 네트워크로 구성될 수 있다.
이때 지역 바운딩 박스 영역 예측 모듈(314)은 객체의 공간적인 정보 분석 및 특징 학습에 유용한 컨벌루션 신경망(Convolutional Neural Network ; CNN) 구조로 이루어질 수 있다.
한편, 바운딩 박스 비평 모듈(320)은 전역 비평 모듈(322)과 지역 비평 모듈(324)을 포함할 수 있다.
전역 비평 모듈(322)은 전역 바운딩 박스 영역 예측 모듈(312)에서 예측된 전역 바운딩 박스와 실제 전역 정답(Ground Truth) 맵을 비교하여 실제 정답인지 비평하는 딥 네트워크로 구성될 수 있다.
또한, 지역 비평 모듈(324)은 지역 바운딩 박스 영역 예측 모듈(314)에서 예측된 지역 바운딩 박스와 실제 지역 정답(Ground Truth) 맵을 비교하여 실제 정답인지 비평하는 딥 네트워크로 구성될 수 있다.
이때 바운딩 박스 비평 모듈(320)은 객체의 공간적인 정보 분석 및 특징 학습에 유용한 컨벌루션 신경망(Convolutional Neural Network : CNN)와 Residual Network(ResNet) 중 어느 하나의 구조로 이루어질 수 있다.
여기서, 객체검출 프레임워크 모듈(20)은 플러그-인 방식으로 예측 비평 모듈(30)에 대해 적대적 학습(Adversarial Learning)을 수행하여 객체를 검출할 수 있다.
먼저 바운딩 박스 비평 모듈(320)을 학습할 수 있다. 바운딩 박스 비평 모듈(320) 학습에 사용되는 손실함수는 수학식 1과 같이 나타낼 수 있다.
Figure pat00001
여기에서 LGlobal -Critic과 LLocal -Critic는 각각 전역 비평 모듈(322)과 지역 비평 모듈(324)을 의미하고, λGlobal -Critic과 λLocal -Critic는 전역 비평 모듈(322)과 지역 비평 모듈(324)의 hyper-parameter를 의미한다
또한, 전역 비평 모듈(322)과 지역 비평 모듈(324)의 손실함수는 각각 수학식 2와 수학식 3과 같이 나타낼 수 있다.
Figure pat00002
Figure pat00003
여기에서,
Figure pat00004
는 비평 네트워크의 binary logistic 손실함수이고, xi 는 i 번째 입력영상이고, yi Global 와 yi Local 는 i 번째 전역 및 지역 맵이다. 또한 St(xi)는 i 번째 전역 바운딩 박스를 의미하고, t 는 high layer 또는 low layer의 바운딩 박스 맵을 의미한다. 이 2개의 손실 함수를 최소화 하도록 전역 비평 모듈(322) 및 지역 비평 모듈(324)을 학습한다.
다음으로 객체 바운딩 박스 예측 모듈(310)을 학습하고, 객체검출 프레임워크 모듈(20)을 학습할 때 사용하는 손실함수는 수학식 4와 같이 나타낼 수 있다.
Figure pat00005
여기에서 LEstimator 는 객체 바운딩 박스 예측 모듈(310)을 의미하고, LOD 는 객체검출 프레임워크 모듈(20)을 의미한다. λOD 는 객체검출 프레임워크 모듈(20)의 hyper-parameter를 의미한다.
또한, 객체 바운딩 박스 예측 모듈(310)과 객체검출 프레임워크 모듈(20)의 손실함수는 각각 수학식 5와 수학식 6과 같이 나타낼 수 있다.
Figure pat00006
Figure pat00007
여기에서, LRPN - CLS 와 LRPN - REG 는 각각 관심영역 추출 모듈(220)의 분류 및 회귀 손실함수이다. LCLS와 LREG 는 각각 분류 및 영역을 예측하는 객체 예측 모듈(230)의 분류 및 회귀 손실함수이다. LGlobal와 LLocal 는 각각 전역 바운딩 박스 영역 예측 모듈(312) 및 지역 바운딩 박스 영역 예측 모듈(314)의 손실함수이다.
이때, 회귀 손실함수는 L1 손실함수를 사용하였고, 이외의 손실함수는 교차 엔트로피(cross-entropy) 손실함수를 사용하여 전역 바운딩 박스 영역 예측 모듈(312) 및 지역 바운딩 박스 영역 예측 모듈(314)과 객체검출 프레임워크 모듈(20)을 학습한다.
출력부(40)는 객체검출 프레임워크 모듈(20)에서 검출한 객체를 출력할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 배전설비 검출장치에 따르면, 주행환경에서 촬영한 영상을 기반으로 배전설비를 검출할 때 도로 시설물에 의한 가리움 현상으로 인해 검출되지 않는 문제에 대해 딥러닝 기반으로 가리움 현상을 예측한 맵을 이용하여 가리움 현상에도 강건하게 배전설비를 검출할 수 있어 차량을 활용한 배전설비의 순시가 가능하도록 할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 촬영영상 입력부 20 : 객체검출 프레임워크 모듈
30 : 예측 비평 모듈 40 : 출력부
210 : 특징점 인코딩 모듈 220 : 관심영역 추출 모듈
230 : 객체 예측 모듈 310 : 객체 바운딩 박스 예측 모듈
312 : 전역 바운딩 박스 영역 예측 모듈
314 : 지역 바운딩 박스 영역 예측 모듈
320 : 바운딩 박스 비평 모듈 322 : 전역 비평 모듈
324 : 지역 비평 모듈

Claims (10)

  1. 배전설비를 촬영한 촬영영상을 입력받는 촬영영상 입력부;
    상기 촬영영상 입력부로부터 입력된 상기 촬영영상에서 검출하고자 하는 객체 대한 정보를 인코딩하고 후보 관심영역을 추출하여 객체를 검출하고 학습하는 객체검출 프레임워크 모듈;
    상기 객체검출 프레임워크 모듈에서 검출된 객체에 대한 정보가 인코딩된 정보로부터 객체의 영역 및 가리움 영역을 예측하고 비평하는 예측 비평 모듈; 및
    상기 객체검출 프레임워크 모듈에서 검출한 객체를 출력하는 출력부;를 포함하는 것을 특징으로 하는 배전설비 검출장치.
  2. 제 1항에 있어서, 상기 객체검출 프레임워크 모듈은,
    상기 촬영영상으로부터 객체의 특징을 추출하는 특징점 인코딩 모듈;
    상기 특징점 인코딩 모듈에서 인코딩된 특징 맵으로부터 객체의 관심영역을 추출하는 관심영역 추출 모듈; 및
    상기 관심영역 추출 모듈에서 추출된 객체의 관심영역을 상기 특징점 인코딩 모듈에 적용하여 객체의 종류와 영역을 예측하는 객체 예측 모듈을 포함하는 것을 특징으로 하는 배전설비 검출장치.
  3. 제 2항에 있어서, 상기 관심영역 추출 모듈은, 상기 관심영역을 바운딩 박스 형태로 추출하는 것을 특징으로 하는 배전설비 검출장치.
  4. 제 2항에 있어서, 상기 예측 비평 모듈은,
    상기 특징점 인코딩 모듈에서 인코딩된 특징점의 공간적 분석을 통해 바운딩 박스 영역을 예측하고 상기 바운딩 박스 영역의 가리움 영역을 예측하는 객체 바운딩 박스 예측 모듈; 및
    상기 객체 바운딩 박스 예측 모듈에서 예측된 상기 바운딩 박스 영역에 대해 실제 정답 바운딩 박스 맵과 비교하여 판단하는 바운딩 박스 비평 모듈;을 포함하는 것을 특징으로 하는 배전설비 검출장치.
  5. 제 4항에 있어서, 상기 객체 바운딩 박스 예측 모듈은,
    상기 특징점 인코딩 모듈에서 추출된 특징 맵을 이용하여 상기 객체 바운딩 박스 영역을 예측하고 상기 가리움 영역을 예측하는 전역 바운딩 박스 영역 예측 모듈; 및
    상기 관심영역 추출 모듈에서 추출된 상기 관심영역의 특징점을 이용하여 한 객체의 상기 바운딩 박스 영역을 예측하고 상기 가리움 영역을 예측하는 지역 바운딩 박스 영역 예측 모듈;을 포함하는 것을 특징으로 하는 배전설비 검출장치.
  6. 제 5항에 있어서, 상기 전역 바운딩 박스 영역 예측 모듈은, 컨벌루션 신경망(Convolutional Neural Network : CNN)와 Convolution Auto Encoder 중 어느 하나의 구조로 이루어진 것을 특징으로 하는 배전설비 검출장치.
  7. 제 5항에 있어서, 상기 지역 바운딩 박스 영역 예측 모듈은, 컨벌루션 신경망(Convolutional Neural Network : CNN) 구조로 이루어진 것을 특징으로 하는 배전설비 검출장치.
  8. 제 4항에 있어서, 상기 바운딩 박스 비평 모듈은,
    상기 전역 바운딩 박스 영역 예측 모듈에서 예측된 전역 바운딩 박스와 실제 전역 정답 맵을 비교하여 비평하는 전역 비평 모듈; 및
    상기 지역 바운딩 박스 영역 예측 모듈에서 예측된 지역 바운딩 박스와 실제 지역 정답 맵을 비교하여 비평하는 지역 비평 모듈;을 포함하는 것을 특징으로 하는 배전설비 검출장치.
  9. 제 4항에 있어서, 상기 바운딩 박스 비평 모듈은, 컨벌루션 신경망(Convolutional Neural Network : CNN)와 Residual Network(ResNet) 중 어느 하나의 구조로 이루어진 것을 특징으로 하는 배전설비 검출장치.
  10. 제 1항에 있어서, 상기 객체검출 프레임워크 모듈은, 플러그-인 방식으로 상기 예측 비평 모듈에 대해 적대적 학습(adversarial learning)을 수행하여 객체를 검출하는 것을 특징으로 하는 배전설비 검출장치.
KR1020180142524A 2018-11-19 2018-11-19 배전설비 검출장치 KR102167545B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180142524A KR102167545B1 (ko) 2018-11-19 2018-11-19 배전설비 검출장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180142524A KR102167545B1 (ko) 2018-11-19 2018-11-19 배전설비 검출장치

Publications (2)

Publication Number Publication Date
KR20200064185A true KR20200064185A (ko) 2020-06-08
KR102167545B1 KR102167545B1 (ko) 2020-10-20

Family

ID=71089528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180142524A KR102167545B1 (ko) 2018-11-19 2018-11-19 배전설비 검출장치

Country Status (1)

Country Link
KR (1) KR102167545B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022234885A1 (ko) * 2021-05-04 2022-11-10 파킹클라우드 주식회사 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259575A (ja) * 2010-06-08 2011-12-22 Hitachi Ltd 配電設備劣化診断装置
KR20180107930A (ko) * 2017-03-23 2018-10-04 한국과학기술원 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259575A (ja) * 2010-06-08 2011-12-22 Hitachi Ltd 配電設備劣化診断装置
KR20180107930A (ko) * 2017-03-23 2018-10-04 한국과학기술원 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022234885A1 (ko) * 2021-05-04 2022-11-10 파킹클라우드 주식회사 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체
KR20220150568A (ko) * 2021-05-04 2022-11-11 파킹클라우드 주식회사 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체

Also Published As

Publication number Publication date
KR102167545B1 (ko) 2020-10-20

Similar Documents

Publication Publication Date Title
CN110261436B (zh) 基于红外热成像和计算机视觉的轨道故障检测方法及系统
Liu et al. A review of applications of visual inspection technology based on image processing in the railway industry
Anand et al. Crack-pot: Autonomous road crack and pothole detection
Singh et al. Autonomous rail track inspection using vision based system
Rizvi et al. Crack detection in railway track using image processing
US20220004818A1 (en) Systems and Methods for Evaluating Perception System Quality
Hadjidemetriou et al. Automated detection of pavement patches utilizing support vector machine classification
Karakose et al. A new approach for condition monitoring and detection of rail components and rail track in railway
Dubey et al. Maximally stable extremal region marking-based railway track surface defect sensing
CN105809679A (zh) 一种基于视觉分析的山区铁路边坡落石检测方法
CN113436157B (zh) 一种用于受电弓故障的车载图像识别方法
Shah et al. Real time identification of railway track surface faults using canny edge detector and 2D discrete wavelet transform
Karakose et al. Real-time condition monitoring approach of pantograph-catenary system using FPGA
Karaduman et al. Condition monitoring platform in railways based on IoT
Taştimur et al. Detection of rail faults using morphological feature extraction based image processing
Kim et al. Bi-directional convolutional recurrent reconstructive network for welding defect detection
KR102167545B1 (ko) 배전설비 검출장치
Hassan et al. Detecting patches on road pavement images acquired with 3D laser sensors using object detection and deep learning
Jenefa et al. Real-Time Rail Safety: A Deep Convolutional Neural Network Approach for Obstacle Detection on Tracks
Katsamenis et al. A Few-Shot Attention Recurrent Residual U-Net for Crack Segmentation
Radopoulou et al. Patch distress detection in asphalt pavement images
CN108805145A (zh) 一种地铁施工轨道车信号灯及环境亮度检测装置
Arjapure et al. Review on analysis techniques for road pothole detection
Saha et al. Road Rutting Detection using Deep Learning on Images
Di Summa et al. A review on deep learning techniques for railway infrastructure monitoring

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant