KR102221317B1

KR102221317B1 - 딥러닝을 이용한 시설물 결함 검측 장치 및 그 방법

Info

Publication number: KR102221317B1
Application number: KR1020190161867A
Authority: KR
Inventors: 백준기; 장진범; 신민우; 추연승; 임소희; 박종국; 김정연
Original assignee: 중앙대학교 산학협력단; 투아이시스(주)
Priority date: 2019-12-06
Filing date: 2019-12-06
Publication date: 2021-03-02

Abstract

딥러닝을 이용한 시설물 결함 검측 장치 및 그 방법이 개시된다. 딥러닝을 이용한 시설물 결함 검측 장치는, 시설물 영상을 촬영하는 라인 스캔 카메라; 상기 시설물 영상과 기준 영상의 위상 상관(phase correlation) 결과를 이용하여 상기 시설물 영상과 상기 기준 영상을 정합하는 영상 재구성부; 상기 정합된 시설물 영상 및 상기 기준 영상을 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출하는 시설물 검출부; 및 상기 시설물 영상 및 상기 기준 영상에서 검출된 두 시설물간의 호모그래피와 광량 흐름 추정을 통해 영상 변환을 수행하고, 상기 영상 변환된 두 시설물에 모폴로지 연산을 통해 잡음을 제거하여 결함 영역을 검출하는 변형 검사부를 포함한다.

Description

딥러닝을 이용한 시설물 결함 검측 장치 및 그 방법{Inspection apparatus and method based on deep learning}

본 발명은 딥러닝을 이용한 시설물 결함 검측 장치 및 그 방법에 관한 것이다.

다양한 시설물을 효율적으로 검출하기 위해 많은 나라에서 검측차를 운용하고 있다. 종래 기술은 육안에 의한 결함을 판단 및 분석하는 방법과 검측차를 이용하여 결함을 판단 및 분석하는 두 가지 방법이 존재한다.

육안에 의한 결함을 판단 및 분석하는 방법은 기존의 철도 검측 시스템은 시설물 검측 노동자의 육안에 의한 관측으로 판단되고 있으며, 시설물 검측 노동자의 피로에 의하여 따라 주요 시설물의 변형을 놓칠 수 있으며, 이는 철도 사고로 이어질 수 있는 문제점이 있다. 또한, 육안에 의한 검측은 철도 운행이 종료 이후 명일 운행 전까지 짧은 시간 동안 검사가 진행되므로 시간 효율적이지 못한 한계점을 가지고 있다.

또한, 종합검측차는 운행 중 시설물이 촬영된 영상을 수집할 수 있어 검측에 용이하지만, 육안에 의한 검측 방식과 마찬가지로 운송 업무가 종료된 새벽 시간에 운용되어야 하는 비효율성을 수반한다.

대부분의 검측 차량에 설치된 CCD 혹은 CMOS 센서를 사용하는 영역 기반 영상 촬영 장치들은 특정한 시야각 및 범위를 가지며, frame per second (fps) 기반으로 촬영된다. 즉, 50km 이상의 운행 길이를 가지는 철도 분야에서 시설물 검측을 수행하기 어려운 조건에서 영상을 수집하며, 지하부 상단 시설물과 차량 지붕 간의 거리가 매우 좁기 때문에 영상의 초점, 좁은 시야범위 등으로 인해 시설물이 온전하게 촬영되지 못하는 문제가 있다.

본 발명은 딥러닝을 이용한 시설물 결함 검측 장치 및 그 방법을 제공하기 위한 것이다.

또한, 본 발명은 도시철도 지하부의 상단에 설치된 시설물에 대해 운송 서비스를 수행하는 시간 동안 그 변형 및 마모를 자동으로 검측할 수 있는 딥러닝을 이용한 시설물 결함 검측 장치 및 그 방법을 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 딥러닝을 이용한 시설물 결함 검측 장치가 제공된다.

본 발명의 일 실시예에 따르면, 시설물 영상을 촬영하는 라인 스캔 카메라; 상기 시설물 영상과 기준 영상의 위상 상관(phase correlation) 결과를 이용하여 상기 시설물 영상과 상기 기준 영상을 정합하는 영상 재구성부; 상기 정합된 시설물 영상 및 상기 기준 영상을 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출하는 시설물 검출부; 및 상기 시설물 영상 및 상기 기준 영상에서 검출된 두 시설물간의 호모그래피와 광량 흐름 추정을 통해 영상 변환을 수행하고, 상기 영상 변환된 두 시설물에 모폴로지 연산을 통해 잡음을 제거하여 결함 영역을 검출하는 변형 검사부를 포함하는 시설물 결함 검측 장치가 제공될 수 있다.

상기 영상 재구성부는, 상기 시설물 영상과 기준 영상의 위상 상관(phase correlation)을 통해 모션 벡터를 도출하고, 상기 모션 벡터를 이용하여 상기 기준 영상의 시설물 위치를 상기 시설물 영상내의 시설물 위치와 근사하도록 상기 기준 영상을 이동시키는 영상 정합부; 및 상기 기준 영상의 이동에 따른 시설물의 손실 영역을 이전 구간에서 촬영된 영상을 이용하여 합성하는 영상 합성부를 포함할 수 있다.

상기 시설물 검출부는, 상기 기준 영상의 가로 및 세로 비율이 1:1이 되도록 복수의 영상으로 분할하는 영상 분할부; 상기 분할된 영상에서 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출을 검출하는 시설물 검출부; 상기 분할된 영상에서 검출된 시설물들을 상기 기준 영상에 매칭되도록 시설물을 합성하는 시설물 합성부; 및 상기 시설물 영상 및 상기 기준 영상에서 시설물을 각각 검출하고, 상기 합성된 시설물과의 위상 상관을 통해 상기 시설물 영상 및 상기 기준 영상의 시설물 위치를 매칭 및 정렬하는 시설물 정렬부를 포함할 수 있다.

상기 변형 검사부는, 상기 두 시설물간의 호모그래피 추정에 기반한 전역적 영상 변환 및 광량 흐름에 기반한 지역적 영상 변환을 통해 두 시설물의 위치를 보정하는 영상 와핑부; 상기 두 시설물간의 밝기를 매칭하는 히스토그램 매칭부; Weber 법칙을 이용하여 상기 두 시설물을 비교한 후 차분하여 결함 후보군을 검출하는 영상 비교부; 및 상기 결함 후보군에 대한 모폴로지 연산을 통해 잡음을 제거하여 최종 결함 영역을 검출하는 형태학 처리부를 포함할 수 있다.

상기 히스토그램 매칭부는, 상기 기준 영상과 상기 시설물 영상의 밝기 누적 분포를 도출한 결과를 이용하여 상기 기준 영상의 밝기를 상기 시설물 영상의 밝기 분포에 매칭시킬 수 있다.

상기 영상 비교부는, 상기 밝기 매칭된 두 시설물의 절대값 차분을 이용하여 상기 기준 영상과 상기 시설물 영상의 두 시설물에서 밝기 및 모양이 다른 부분을 검출하며, Weber 법칙과 상기 두 시설물의 에지 합의 역을 차분한 결과를 곱하여 최종 차분 결과를 도출하되, 상기 최종 차분 결과를 이용하여 결함 후보군을 검출할 수 있다.

상기 형태학 처리부는, 상기 결함 후보군에 모폴로지 연산을 수행하여 잡음을 제거하고, 닫힘 연산(closing operator)을 통해 최종 결함 영역을 획득할 수 있다.

상기 라인 스캔 카메라는 열차 상단부에 설치되어 구조물 상부를 촬영할 수 있다.

본 발명의 다른 측면에 따르면, 딥러닝을 이용한 시설물 결함 검측 방법이 제공된다.

본 발명의 일 실시예에 따르면, (a) 시설물 영상을 촬영하는 단계; (b) 상기 시설물 영상과 기준 영상의 위상 상관(phase correlation) 결과를 이용하여 상기 시설물 영상과 상기 기준 영상을 정합하는 단계; (c) 상기 정합된 시설물 영상 및 상기 기준 영상을 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출하는 단계; 및 (d) 상기 시설물 영상 및 상기 기준 영상에서 검출된 두 시설물간의 호모그래피와 광량 흐름 추정을 통해 영상 변환을 수행하고, 상기 영상 변환된 두 시설물에 모폴로지 연산을 통해 잡음을 제거하여 결함 영역을 검출하는 단계를 포함하는 시설물 결함 검측 방법이 제공될 수 있다.

상기 (b) 단계는, 상기 시설물 영상과 기준 영상의 위상 상관(phase correlation)을 통해 모션 벡터를 도출하고, 상기 모션 벡터를 이용하여 상기 기준 영상의 시설물 위치를 상기 시설물 영상내의 시설물 위치와 근사하도록 상기 기준 영상을 이동시키는 단계; 및 상기 기준 영상의 이동에 따른 손실 영역을 이전 구간에서 촬영된 영상을 이용하여 합성하는 단계를 포함할 수 있다.

상기 (c) 단계는, 상기 기준 영상의 가로 및 세로 비율이 1:1이 되도록 복수의 영상으로 분할하는 단계; 상기 분할된 영상에서 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출하는 단계; 상기 분할된 영상에서 검출된 시설물들을 상기 기준 영상에 매칭되도록 시설물을 합성하는 단계; 상기 시설물 영상 및 상기 기준 영상에서 시설물을 각각 검출하고, 상기 합성된 시설물과의 위상 상관을 통해 상기 시설물 영상 및 상기 기준 영상의 시설물 위치를 매칭 및 정렬하는 단계를 포함할 수 있다.

상기 (d) 단계는, 상기 두 시설물간의 호모그래피와 광량 흐름 추정에 기반한 영상 변환을 통해 두 시설물의 위치를 보정하는 단계; 상기 기준 영상과 상기 시설물 영상의 밝기 누적 분포를 도출한 결과를 이용하여 상기 기준 영상의 밝기를 상기 시설물 영상의 밝기 분포에 매칭시키는 단계; Weber 법칙을 이용하여 상기 두 시설물을 비교한 후 차분하여 결함 후보군을 검출하는 단계; 및 상기 결함 후보군에 대한 모폴로지 연산을 통해 잡음을 제거하여 최종 결함 영역을 검출하는 단계를 포함할 수 있다.

상기 결함 후보군을 검출하는 단계는, 상기 밝기 매칭된 두 시설물의 절대값 차분을 이용하여 상기 기준 영상과 상기 시설물 영상의 두 시설물에서 밝기 및 모양이 다른 부분을 검출하며, Weber 법칙과 상기 두 시설물의 에지 합의 역을 차분한 결과를 곱하여 최종 차분 결과를 도출하되, 상기 최종 차분 결과를 이용하여 결함 후보군을 검출할 수 있다.

본 발명의 일 실시예에 따른 딥러닝을 이용한 시설물 결함 검측 장치 및 그 방법을 제공함으로써, 도시철도 지하부의 상단에 설치된 시설물에 대해 운송 서비스를 수행하는 시간 동안 그 변형 및 마모를 자동으로 검측할 수 있다.

도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 시설물 결함 검측 장치의 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 카메라 부착 예를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 도시 철도 지하부 터널 상단에 설치된 시설물을 촬영하는 방법을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 영상 재구성부의 세부 구조를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 영상 정합 과정을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 영상 합성 과정을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 시설물 검출부의 상세 구조를 도시한 도면.
도 8 및 도 9는 본 발명의 일 실시예에 따른 SSD 기반한 시설물 검출 모델을 도시한 도면.
도 10은 본 발명의 일 실시예에 따른 변형 검사부의 상세 구조를 도시한 도면.
도 11은 본 발명의 일 실시예에 따른 영상 차분 결과를 설명하기 위해 도시한 도면.
도 12는 본 발명의 일 실시예에 따른 시설물 결함 검출 결과를 도시한 도면.
도 13은 본 발명의 일 실시예에 따른 시설물 결함 검측 방법을 나타낸 순서도.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 시설물 결함 검측 장치의 구성을 개략적으로 도시한 블록도이며, 도 2는 본 발명의 일 실시예에 따른 카메라 부착 예를 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 도시 철도 지하부 터널 상단에 설치된 시설물을 촬영하는 방법을 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 영상 재구성부의 세부 구조를 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 영상 정합 과정을 설명하기 위해 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 영상 합성 과정을 설명하기 위해 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 시설물 검출부의 상세 구조를 도시한 도면이고, 도 8 및 도 9는 본 발명의 일 실시예에 따른 SSD 기반한 시설물 검출 모델을 도시한 도면이며, 도 10은 본 발명의 일 실시예에 따른 변형 검사부의 상세 구조를 도시한 도면이고, 도 11은 본 발명의 일 실시예에 따른 영상 차분 결과를 설명하기 위해 도시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 시설물 결함 검출 결과를 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 딥러닝을 이용한 시설물 결함 검측 장치(100)는 카메라(110), 영상 재구성부(115), 시설물 검출부(120), 변형 검사부(125), 메모리(130) 및 프로세서(135)를 포함하여 구성된다.

카메라(110)는 시설물 영상을 촬영하기 위한 수단이다.

도 2는 열차 상단에 카메라(110)가 부착된 일 예가 도시한 도면이다. 도 2에서 보여지는 바와 같이, 카메라(110)는 열차 상단에 부착되며, 영상을 수집하기 위한 구간(예를 들어, 지하부 터널 상단)에 설치된 시설물을 촬영할 수 있다.

카메라(110)는 라인 카메라일 수 있다.

따라서, 도 2 및 도 3에 도시된 바와 같이, 열차 상단에 복수개 설치되어 터널 상단에 설치된 시설물을 라인 스캔(촬영)할 수 있다.

영상 재구성부(115)는 영상을 정합하기 위한 수단이다.

예를 들어, 촬영 시점에 따라 기준 영상과 현재 시점에 촬영된 영상에 포함된 시설물의 위치가 어긋날 수 있다.

따라서, 영상 재구성부(115)는 기준 영상과 현재 영상에 대한 위상 상관(phase correlation)을 통해 획득된 모션 벡터를 이용하여 영상 전체에 대한 정합을 수행하여 두 영상간의 시설물들의 위치를 일치시킬 수 있다.

이에 대해 보다 상세히 설명하기로 한다.

영상 재구성부(115)는 도 4에 도시된 바와 같이, 영상 정합부(410) 및 영상 합성부(415)를 포함하여 구성된다.

라인 스캔 카메라에 의해 같은 구간에서 수집된 기준 영상과 잠재적 결함 영상으로 구성된 영상 집합들은 카메라의 이동 속도 및 흔들림 등에 의해 발생되는 오차에 의해 도 5에 도시된 바와 같이 동일 시설물들의 위치가 어긋나도록 촬영될 수 있다.

본 발명의 일 실시예에서 기준 영상은 검사 이전에 촬영된 변형 및 마모가 없는 영상 집합(

으로 정의하기로 한다.

또한, 잠재적 결함 영상은 현재 촬영 중인 결함 대상 영상 집합(

)으로 정의하기로 한다.

영상 정합부(410)는 두 영상의 시설물 위치를 정렬하기 위해 위상 상관(phase correlatiobn)을 통해 모션 벡터를 도출한다.

예를 들어, 위상 상관은 수학식 1을 통해 수행될 수 있다.

여기서,

와

는 푸리에 변환 함수와 역함수를 나타내며,

는 위상 상관에 의해 도출된 모션 벡터를 나타낸다.

영상 정합부(410)는 위상 상관에 의해 도출된 모션 벡터를 이용하여 기준 영상을 잠재적 결함 영상의 시설물 위치와 근사하도록 영상을 이동시킨다. 이와 같이, 기준 영상을 모션 벡터를 기반으로 이동시키고 나면, 모션 벡터가 가지는 이동량만큼 영상 손실이 발생하게 된다.

따라서, 영상 합성부(415)는 정합된 두 영상에서 손실이 발생된 부분을 채우며, 획득된 영상의 왼쪽 가장자리 부분에서 손실이 발생한 시설물을 검사하기 위해 이전 구간에서 촬영된 영상의 일부를 가져와 합성한다(도 6 참조).

다시 도 1을 참조하면, 시설물 검출부(120)는 SSD(single shot multibox detector) 기반으로 객체를 검출한다.

이에 대해 도 7을 참조하여 보다 상세히 설명하기로 한다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 시설물 검출부(120)는 영상 분할부(710), 객체 검출부(715), 시설물 합성부(720) 및 시설물 정렬부(725)를 포함하여 구성된다.

본 발명의 일 실시예에 따르면, 시설물 검출부(120)는 SSD 기반으로 빠르고 정확하게 시설물을 검출할 수 있다.

영상 분할부(710)는 영상의 가로 및 세로 비율이 1:1에 가까워야 정확한 검출이 가능하기 때문에 가로 크기가 세로 크기보다 월등히 큰 입력 영상을 여러 장의 서브 영상으로 분할한다. 여기서, 서브 영상은 가로와 세로 비율이 1:1일 수 있다.

객체 검출부(715)는 영상 분할부(710)에 의해 분할된 영상을 이용하여 시설물을 검출하기 위한 수단이다.

객체 검출부(715)는 영상을 시설물 검출 모델에 입력하여 시설물을 검출할 수 있다. 여기서, 시설물 검출 모델은 convolutional neural network(CNN) 기반한 SSD(single -shot multibox detector) 기반 학습 모델이다. VGG 모델을 사용하는 경우 학습 및 검출에 필요한 메모리가 큰 단점이 있다.

또한, 종래 방법과 비슷하게 CNN 구조를 깊게 설계할 경우 학습 손실이 수렴하지 않거나 큰 값으로 발산하는 gradient vanishing 혹은 exploding 문제를 야기할 수 있다.

따라서, 본 발명의 일 실시예에서는 도 8과 같이 개선된 SSD 기반한 시설물 검출 모델을 이용하여 시설물을 검출할 수 있다. 도 8을 참조하여 이에 대해 간단히 설명하면, 도 8에 도시된 바와 같이, 블록 12까지는 종래의 SSD와 동일하나, 특징 채널(feature channel)의 개수를 종래 대비 1/4로 감소시킴으로써 gradient vanishing 및 exploding에 의해 반복 학습에 따라 결과가 수렴되지 않을 수 있는 문제를 해결하였다.

또한, 본 발명의 일 실시예에 따른 시설물 검출 모델은 도 9에서 보여지는 바와 같이, 도 8의 블록 13 이후에 deconvolutional single-shot detector(DSSD)를 개선하여 전체 네트워크 모델이 오토-인코더(auto-encoder) 모델이 되도록 구성하였다.

본 발명의 일 실시예에 따르면, 디코더 모델과 같이 이전 블록의 특징 채널 크기를 증가시키기 위해 업샘플링을 수행한 후 대응되는 인코더 모델과 합성(concatenation)을 수행한다.

이후 2번의 합성곱층(convolution layer)과 활성함수(activation function)을 통과한 결과를 검출 점수를 학습하기 위한 소프트맥스 함수의 입력으로 사용한다. 또한, 다음 디코더 단계에서 연산을 수행하기 위해 1 x 1 합성곱층을 통과하여 다음에 입력될 대응 인코더의 특징 채널수와 같도록 할 수 있다.

다시 정리하면, 본 발명의 일 실시예에 따른 시설물 검출부(120)는 SSD 기반 시설물 검출 모델을 이용하여 객체 검출을 수행할 수 있다. 시설물 영상은 흑백 영상이므로 영상의 채널 정보가 RGB 영상보다 부족한 문제가 있다. 따라서, 본 발명의 일 실시예에서는 도 8에서 보여지는 바와 같이, 특징 채널 개수를 1/4로 감소시켜 시설물 검출 및 분류를 수행할 수 있다.

시설물 합성부(720)는 SSD 기반 시설물 검출 모델에 영상을 적용하기 위해 독립한 분할 영상을 이용하였으므로, 분할 영상에 대해 검출된 시설물의 위치는 독립된 화소 공간에 대한 위치값을 가진다. 따라서, 시설물 합성부(720)는 원래 입력 영상 공간에 매칭하기 위해 분할 영상에 대한 검출 결과(검출된 시설물)을 합성하기 위한 수단이다.

시설물 정렬부(725)는 두 영상에서 시설물을 검출한 후 그 결과를 합성한 결과로부터 위상 상관을 이용하여 동일 시설물의 위치를 찾아 매칭 및 정렬한다.

위상 상관은 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

다시, 도 1을 참조하여, 변형 검사부(125)는 검출된 시설물의 변형을 검사하기 위한 수단이다.

변형 검사부(125)의 상세 구조는 도 10에 도시된 바와 같다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 변형 검사부(125)는 영상 와핑부(1010), 히스토그램 매칭부(1015), 영상 비교부(1020) 및 형태학 처리부(1025)를 포함하여 구성된다.

영상 와핑부(1010)는 시설물의 모양 및 위치가 미세하게 어긋나는 문제를 해결하기 위해 기준 영상 내 검출된 시설물 영역을 잠재적 결함 영상 내 시설물 모양으로 정합한다.

예를 들어, 영상 와핑부(1010)는 두 시설물 영역에서 A-KAZE 특징 추출 및 Hamming distance 매칭 알고리즘을 수행한 후 추출된 특징점들을 이용하여 기하학적 변환 관계인 호모그래피 행렬을 구한다.

도 11의 상단(b)은 호모그래피에 의해 변형된 기준 영상, 하단(f)은 변형된 기준 영상과 잠재적 결함 영상을 차분한 결과를 나타낸다.

호모그래피 기반의 영상 변형은 변환하고자 하는 영역 전체에 대해 선형적 변환을 수행하는 전역적 방법이므로, 기준 영상을 변환한 후 잠재적 결함 영상과 절대값 차분 영산을 수행할 경우 일부 영역에서 밝기 오차가 발생하는 문제점이 있다.

따라서, 본 발명의 일 실시에에서는 옵티컬 플로우 추정 방법을 이용하여 변환된 기준 영상과 잠재적 결함 영상을 이용하여 지역적 모션 벡터를 추정한 후 그 결과를 이용하여 기준 영상을 다시 변형하기 위해 영상 와핑을 수행한다.

도 11의 (c)는 와핑된 기준 영상을 나타내고, (g)는 와핑된 기준 영상과 잠재적 결함 영상을 차분한 결과를 나타낸다.

히스토그램 매칭부(1015)는 와핑된 기준 영상과 잠재적 결함 영상의 밝기 누적 분포(cumulative density function; CDF)를 구한 후 와핑된 기준 영상을 잠재적 결함 영상의 밝기 분포와 유사하도록 만들기 위해 두 분포를 이용하여 밝기 매칭을 수행한다.

기준 영상과 잠재적 결함 영상의 밝기 변화 함수를 각각

,

라고 가정하기로 한다. 두 영상 간의 지역적 밝기 변화를 고려하기 위해 수학식 2와 같은 조건에 의해 밝기 변화된 기준 영상을 획득한다.

여기서,

는 i번째 기준 영상 내 j번째 시설물 영상

의 밝기 변화된 결과를 나타내며,

와

는

,

의 역함수를 나타낸다.

도 11의 (d)는 밝기 매칭된 기준 영상을 나타내고, (h)는 밝기 매칭된 기준 영상과 잠재적 기준 영상을 차분한 결과를 나타낸다.

영상 비교부(1020)는 밝기 변화된 기준 영상내의 시설물 영역과 잠재적 결함 영상내의 시설물 영역간의 절대값 차분을 이용하여 두 영상간의 밝기 및 모양이 서로 다른 부분을 비교 검출하기 위한 수단이다.

도 11의 (h)와 같이 밝기 매칭된 기준 영상과 잠재적 기준 영상을 차분할 결과에서 잡음을 제거하면서 강인한 밝기 변화 영역을 찾기 위해, 시지각적 원리에 따른 변화 자극을 수식화한 Weber 법칙과 두 영상의 에지(edge) 합의 역(inverse)를 차분한 결과를 곱하여 최종 차분 결과를 획득할 수 있다.

이를 수학식으로 나타내면 수학식 3과 같다.

여기서,

는 최종 차분 결과를 나타내고,

와

는 각각 에지 합의 역과 Weber Contrast를 나타내며, 수학식 4 및 수학식 5와 같이 계산될 수 있다.

여기서,

와

는 각각 기준 영상과 잠재적 결함 영상에서 Prewitt mask를 이용하여 획득한 에지 영상을 나타내고,

는 가중치를 나타낸다.

영상 비교부(1020)는 최종 차분 결과가 임계치(T)보다 크면 결함 후보군으로 판단하여 검출한다.

이를 수학식으로 나타내면 수학식 6과 같다.

여기서,

는 결함 후보 추출 결과를 나타낸다.

형태학 처리부(1025)는 영상 비교부(1020)에 의해 검출된 결함 후보군에서 처리되지 못한 잡음 등을 제거하고 변형 영역을 보존하기 위해 형태학적 영상 처리(morphological image processing) 기술을 기반으로 검출된 결함 후보군에서 작은 영역을 제거하기 위한 수단이다.

예를 들어, 형태학 처리부(1025)는 결함 영상의 결함 후보군에서 형태학 처리를 이용하여 변형된 영역을 검출하며, 수학식 7과 같이 모폴로지 연산을 수행한다.

여기서,

는 잡음을 포함하는 작은 영역을 제외한 후보 영상을 나타내고,

는

을 만족하는

크기를 가지는 구조적 요소를 나타내며,

는 확장 연산(dilation operator)를 나타내고,

는 작은 영역으로 구성된 이진 영상으로 수학식 8과 같이 나타낼 수 있다.

수학식 8을 통해, 도 12(a)에 도시된 바와 같이, 매우 작은 영역들을 추출할 수 있으며, 이를 제거하여 상당수의 잡음이 제거됨을 확인할 수 있다.

또한, 형태학 처리부(1025)는 닫힘 연산(closing operator)을 이용하여 최종 변형 영역을 획득할 수 있다.

이를 수학식으로 나타내면 수학식 9와 같다.

여기서, q는 닫힘 연산에서 사용한 구조 요소의 크기를 나타내며,

는 수축 연산(erosion operator)를 나타낸다.

도 12의 (b)는 형태학 처리부(1025)를 통해 최종 처리된 결과를 나타내며, 도 12의 (c)는 두 영상에서 영사 비교부를 통해 검출해야 할 변형 구간을 나타낸다.

다시 도 1을 참조하여, 메모리(130)는 본 발명의 일 실시예에 따른 시설물 결함 검측 방법을 수행하기 위해 필요한 명령어들(프로그램 코드들), 이 과정에서 파생된 데이터 등을 저장한다.

프로세서(135)는 본 발명의 일 실시예에 따른 시설물 결함 검측 장치(100)의 내부 구성 요소들(예를 들어, 카메라(110), 영상 재구성부(115), 시설물 검출부(120), 변형 검사부(125), 메모리(130) 등)을 제어하기 위한 수단이다.

도 13은 본 발명의 일 실시예에 따른 시설물 결함 검측 방법을 나타낸 순서도이다.

단계 1310에서 시설물 결함 검측 장치(100)는 시설물 영상을 촬영하고, 수집한다.

단계 1315에서 시설물 결함 검측 장치(100)는 시설물 영상과 기준 영상의 위상 상관(phase correlation) 결과를 이용하여 상기 시설물 영상과 상기 기준 영상을 정합한다.

이에 대해서는 전술한 바와 같으므로 중복되는 설명은 생략하기로 한다.

단계 1320에서 시설물 결함 검측 장치(100)는 정합된 시설물 영상 및 상기 기준 영상을 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출한다.

예를 들어, 시설물 결함 검측 장치(100)는 기준 영상의 가로 및 세로 비율이 1:1이 되도록 복수의 영상으로 분할하고, 분할된 영상에서 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출한 후 분할된 영상에서 검출된 시설물들을 상기 기준 영상에 매칭되도록 시설물을 합성하고, 시설물 영상 및 상기 기준 영상에서 시설물을 각각 검출하고, 상기 합성된 시설물과의 위상 상관을 통해 상기 시설물 영상 및 상기 기준 영상의 시설물 위치를 매칭 및 정렬할 수 있다.

단계 1325에서 시설물 결함 검측 장치(100)는 시설물 영상 및 기준 영상에서 검출된 두 시설물간의 호모그래피 및 광량 흐름 추정을 통해 영상 변환을 수행하고, 영상 변환된 두 시설물에 모폴로지 연산을 통해 잡음을 제거하여 결함 영역을 검출한다.

예를 들어, 시설물 결함 검측 장치(100)는 두 시설물간의 호모그래피 추정에 기반한 전역적 영상 변환 및 광량 흐름에 기반한 지역적 영상 변환을 통해 두 시설물의 위치를 보정하고, 기준 영상과 시설물 영상의 밝기 누적 분포를 도출한 결과를 이용하여 기준 영상의 밝기를 상기 시설물 영상의 밝기 분포에 매칭시킬 수 있다. 이어, 시설물 결함 검측 장치(100)는 Weber 법칙을 이용하여 두 시설물을 비교한 후 차분하여 결함 후보군을 검출한 후 결함 후보군에 대한 모폴로지 연산을 통해 잡음을 제거하여 최종 결함 영역을 검출할 수 있다.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 시설물 결함 검측 장치
110: 카메라
115: 영상 재구성부
120: 시설물 검출부
125: 변형 검사부
130: 메모리
135: 프로세서

Claims

시설물 영상을 촬영하는 라인 스캔 카메라;
상기 시설물 영상과 기준 영상의 위상 상관(phase correlation) 결과를 이용하여 상기 시설물 영상과 상기 기준 영상을 정합하는 영상 재구성부;
상기 정합된 시설물 영상 및 상기 기준 영상을 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출하는 시설물 검출부; 및
상기 시설물 영상 및 상기 기준 영상에서 검출된 두 시설물간의 호모그래피와 광량 흐름 추정을 통해 영상 변환을 수행하고, 상기 영상 변환된 두 시설물에 모폴로지 연산을 통해 잡음을 제거하여 결함 영역을 검출하는 변형 검사부를 포함하되,
상기 변형 검사부는,
상기 두 시설물간의 호모그래피 및 광량 흐름 추정에 기반한 영상 변환을 통해 두 시설물의 위치를 보정하는 영상 와핑부;
상기 두 시설물간의 밝기를 매칭하는 히스토그램 매칭부;
Weber 법칙을 이용하여 상기 두 시설물을 비교한 후 차분하여 결함 후보군을 검출하는 영상 비교부; 및
상기 결함 후보군에 대한 모폴로지 연산을 통해 잡음을 제거하여 최종 결함 영역을 검출하는 형태학 처리부를 포함하는 것을 특징으로 하는 시설물 결함 검측 장치.
제1 항에 있어서,
상기 영상 재구성부는,
상기 시설물 영상과 기준 영상의 위상 상관(phase correlation)을 통해 모션 벡터를 도출하고, 상기 모션 벡터를 이용하여 상기 기준 영상의 시설물 위치를 상기 시설물 영상내의 시설물 위치와 근사하도록 상기 기준 영상을 이동시키는 영상 정합부; 및
상기 기준 영상의 이동에 따른 시설물의 손실 영역을 이전 구간에서 촬영된 영상을 이용하여 합성하는 영상 합성부를 포함하는 것을 특징으로 하는 시설물 결함 검측 장치.
제1 항에 있어서,
상기 시설물 검출부는,
상기 기준 영상의 가로 및 세로 비율이 1:1이 되도록 복수의 영상으로 분할하는 영상 분할부;
상기 분할된 영상에서 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출을 검출하는 시설물 검출부;
상기 분할된 영상에서 검출된 시설물들을 상기 기준 영상에 매칭되도록 시설물을 합성하는 시설물 합성부; 및
상기 시설물 영상 및 상기 기준 영상에서 시설물을 각각 검출하고, 상기 합성된 시설물과의 위상 상관을 통해 상기 시설물 영상 및 상기 기준 영상의 시설물 위치를 매칭 및 정렬하는 시설물 정렬부를 포함하는 것을 특징으로 하는 시설물 결함 검측 장치.
삭제
제1 항에 있어서,
상기 히스토그램 매칭부는,
상기 기준 영상과 상기 시설물 영상의 밝기 누적 분포를 도출한 결과를 이용하여 상기 기준 영상의 밝기를 상기 시설물 영상의 밝기 분포에 매칭시키는 것을 특징으로 하는 시설물 결함 검측 장치.
제1 항에 있어서,
상기 영상 비교부는,
상기 밝기 매칭된 두 시설물의 절대값 차분을 이용하여 상기 기준 영상과 상기 시설물 영상의 두 시설물에서 밝기 및 모양이 다른 부분을 검출하며, Weber 법칙과 상기 두 시설물의 에지 합의 역을 차분한 결과를 곱하여 최종 차분 결과를 도출하되,
상기 최종 차분 결과를 이용하여 결함 후보군을 검출하는 것을 특징으로 하는 시설물 결함 검측 장치.
제1 항에 있어서,
상기 형태학 처리부는,
상기 결함 후보군에 모폴로지 연산을 수행하여 잡음을 제거하고, 닫힘 연산(closing operator)을 통해 최종 결함 영역을 획득하는 것을 특징으로 하는 시설물 결함 검측 장치.
제1 항에 있어서,
상기 라인 스캔 카메라는 열차 상단부에 설치되어 구조물 상부를 촬영하는 것을 특징을 하는 시설물 결함 검측 장치.
(a) 시설물 영상을 촬영하는 단계;
(b) 상기 시설물 영상과 기준 영상의 위상 상관(phase correlation) 결과를 이용하여 상기 시설물 영상과 상기 기준 영상을 정합하는 단계;
(c) 상기 정합된 시설물 영상 및 상기 기준 영상을 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출하는 단계; 및
(d) 상기 시설물 영상 및 상기 기준 영상에서 검출된 두 시설물간의 호모그래피와 광량 흐름 추정을 통해 영상 변환을 수행하고, 상기 영상 변환된 두 시설물에 모폴로지 연산을 통해 잡음을 제거하여 결함 영역을 검출하는 단계를 포함하되,
상기 (d) 단계는,
상기 두 시설물간의 호모그래피와 광량 흐름 추정에 기반한 영상 변환을 통해 두 시설물의 위치를 보정하는 단계;
상기 기준 영상과 상기 시설물 영상의 밝기 누적 분포를 도출한 결과를 이용하여 상기 기준 영상의 밝기를 상기 시설물 영상의 밝기 분포에 매칭시키는 단계;
Weber 법칙을 이용하여 상기 두 시설물을 비교한 후 차분하여 결함 후보군을 검출하는 단계; 및
상기 결함 후보군에 대한 모폴로지 연산을 통해 잡음을 제거하여 최종 결함 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 시설물 결함 검측 방법.
제9 항에 있어서,
상기 (b) 단계는,
상기 시설물 영상과 기준 영상의 위상 상관(phase correlation)을 통해 모션 벡터를 도출하고, 상기 모션 벡터를 이용하여 상기 기준 영상의 시설물 위치를 상기 시설물 영상내의 시설물 위치와 근사하도록 상기 기준 영상을 이동시키는 단계; 및
상기 기준 영상의 이동에 따른 손실 영역을 이전 구간에서 촬영된 영상을 이용하여 합성하는 단계를 포함하는 것을 특징으로 하는 시설물 결함 검측 방법.
제9 항에 있어서,
상기 (c) 단계는,
상기 기준 영상의 가로 및 세로 비율이 1:1이 되도록 복수의 영상으로 분할하는 단계;
상기 분할된 영상에서 딥러닝 기반 시설물 검출 모델에 적용하여 시설물을 검출하는 단계;
상기 분할된 영상에서 검출된 시설물들을 상기 기준 영상에 매칭되도록 시설물을 합성하는 단계;
상기 시설물 영상 및 상기 기준 영상에서 시설물을 각각 검출하고, 상기 합성된 시설물과의 위상 상관을 통해 상기 시설물 영상 및 상기 기준 영상의 시설물 위치를 매칭 및 정렬하는 단계를 포함하는 것을 특징으로 하는 시설물 결함 검측 방법.
삭제
제9 항에 있어서,
상기 결함 후보군을 검출하는 단계는,
상기 밝기 매칭된 두 시설물의 절대값 차분을 이용하여 상기 기준 영상과 상기 시설물 영상의 두 시설물에서 밝기 및 모양이 다른 부분을 검출하며, Weber 법칙과 상기 두 시설물의 에지 합의 역을 차분한 결과를 곱하여 최종 차분 결과를 도출하되,
상기 최종 차분 결과를 이용하여 결함 후보군을 검출하는 것을 특징으로 하는 시설물 결함 검측 방법.
제9 항 내지 제11항 또는 제13항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.