KR102488651B1

KR102488651B1 - Ir 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치

Info

Publication number: KR102488651B1
Application number: KR1020200153112A
Authority: KR
Inventors: 김정엽; 선영광; 전문길
Original assignee: 주식회사 티허브
Priority date: 2020-11-16
Filing date: 2020-11-16
Publication date: 2023-01-13
Also published as: KR20220066748A

Abstract

본 발명은 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치에 관한 것으로서, 기계 객체를 촬영하여 상기 기계 객체에 대한 적외선 촬영 이미지를 획득하는 적어도 하나의 IR 카메라를 포함하는 카메라부와, 상기 적외선 촬영 이미지에 있어서 상기 기계 객체에 대응되는 객체 이미지 영역을 기설정된 영상 인식 기법에 따라 검출하는 객체 검출부와, 상기 객체 이미지 영역에 기설정된 색상 모델에 기초하여 기설정된 마스크를 적용하여 상기 객체 이미지 영역에 포함된 복수 개의 픽셀 조합에 대한 객체 온도값을 마스크 단위별로 각각 연산하는 온도 연산부와, 상기 기계 객체를 촬영하여 획득되는 복수 개의 적외선 촬영 이미지들에 대해 기설정된 온도 조건 범위에 따라 라벨링한 결과와 상기 온도 조건 범위에 대응되는 기준 상태값을 이용하여 합성곱 신경망에 따른 지도학습을 수행한 결과에 기초하여 상기 적외선 촬영 이미지에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 판별 상태값을 출력하는 학습 모듈과, 상기 연산된 객체 온도값과 상기 출력된 판별 상태값에 기초하여 상기 기계 객체의 정상상태 또는 이상상태 여부를 판단하는 상태 판단부를 포함하는 것을 특징으로 한다.
이에 따라, 관리자의 지속적인 모니터링 없이도 공장 내 기계설비의 이상 상태를 자동으로 감지함에 따라 작업자의 신속한 초기 대응이 가능한 효과가 있다.

Description

IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치{APPARATUS FOR DETERMINING ABNORMAL STATE BASED ON DEEP LEARNING USING IR CAMERA}

본 발명은 공장 내 기계설비를 촬영한 적외선 영상에 기초하여 해당 기계설비의 열화로 인한 이상상태를 자동으로 감지할 수 있도록 하는 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치에 관한 것이다.

최근 산업의 급속한 발전에 따라 설비가 대형화 및 자동화되고 있다. 설비의 상태는 작업자가 육안으로 판별하기 어려운 경우가 많다. 특히 자동화된 설비의 경우, 한 명의 작업자가 많은 수의 설비를 감시해야 하므로 설비에 이상이 발생한 것을 조기에 찾아내기 어려운 문제가 있다.

설비가 제 기능을 수행하고 있음에도 설비의 내부에 이상 반응이 일어나 설비의 온도가 상승한 경우에는 설비의 작동 상태가 정상인 것으로 오인하게 된다. 일반적으로 설비가 제 기능을 수행하는 경우에는 설비의 상태가 정상인 것으로 판단하기 때문이다. 그러나 설비 온도가 상승하고 있음에도 설비를 계속해서 가동하는 경우에는 설비가 폭발하거나 발화할 우려가 있다.

자동화된 공장의 경우 다양한 종류의 설비가 작업장 내에 설치되고 한 명의 작업자가 많은 종류의 설비를 담당하는 경우가 많다. 이 경우, 어느 하나의 설비에 이상이 발생하면 작업자가 해당 설비에 정확한 긴급 조치를 신속하게 시행하기 어려운 문제가 있다.

KR

10-1583692

B1

KR

10-2019-0030020

A

본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 공장 내 기계설비를 촬영한 적외선 영상에 기초하여 해당 기계설비의 열화로 인한 이상상태를 자동으로 감지할 수 있도록 하는 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치를 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치는, 기계 객체를 촬영하여 상기 기계 객체에 대한 적외선 촬영 이미지를 획득하는 적어도 하나의 IR 카메라를 포함하는 카메라부와, 상기 적외선 촬영 이미지에 있어서 상기 기계 객체에 대응되는 객체 이미지 영역을 기설정된 영상 인식 기법에 따라 검출하는 객체 검출부와, 상기 객체 이미지 영역에 기설정된 색상 모델에 기초하여 기설정된 마스크를 적용하여 상기 객체 이미지 영역에 포함된 복수 개의 픽셀 조합에 대한 객체 온도값을 마스크 단위별로 각각 연산하는 온도 연산부와, 상기 기계 객체를 촬영하여 획득되는 복수 개의 적외선 촬영 이미지들에 대해 기설정된 온도 조건 범위에 따라 라벨링한 결과와 상기 온도 조건 범위에 대응되는 기준 상태값을 이용하여 합성곱 신경망에 따른 지도학습을 수행한 결과에 기초하여 상기 적외선 촬영 이미지에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 판별 상태값을 출력하는 학습 모듈과, 상기 연산된 객체 온도값과 상기 출력된 판별 상태값에 기초하여 상기 기계 객체의 정상상태 또는 이상상태 여부를 판단하는 상태 판단부를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 객체 이미지 영역에 있어서 마스크 단위별로 연산된 객체 온도값과 기설정된 온도 편차에 기초하여 복수 개의 픽셀들을 온도별로 그룹화하여 상기 객체 이미지 영역을 온도에 따라 영역별로 분류함에 따른 복수 개의 온도별 이미지를 생성하여 출력하는 온도별 이미지 생성부를 더 포함하는 것을 특징으로 한다.

또한, 상기 상태 판단부가 상기 기계 객체가 이상상태에 해당하는 것으로 판단한 경우, 이상상태로 판단한 시점부터 기설정된 시간단위로 적어도 하나의 온도 또는 온도 범위에 대응되는 온도별 이미지의 시간의 흐름에 따른 변경 정도를 파악하여 온도별 이미지에 따른 상태 변경 정도에 따른 상태 변경값을 연산하는 상태 변경값 연산부와, 연산된 상기 상태 변경값이 가장 높거나 기설정된 임계값 이상을 가지는 시점에 대응되는 온도별 이미지 또는 적외선 촬영 이미지를 획득하는 최적 이미지 획득부를 더 포함하는 것을 특징으로 한다.

또한, 상기 상태 판단부가 이상상태로 판단한 시점과, 상기 상태 변경값 연산부에 의해 연산된 상기 상태 변경값이 가장 높거나 상기 임계값 이상을 가지는 시점을 각각 측정 기록하는 타이머부를 더 포함하는 것을 특징으로 한다.

바람직하게는, 복수 개의 작동 모드들 중 적어도 하나의 작동 모드를 선택함에 따른 설비 모드값을 입력받는 설비 모드값 입력부를 더 포함하며, 상기 상태 판단부는, 상기 입력된 설비 모드값과 상기 연산된 객체 온도값과 상기 출력된 판별 상태값에 기초하여 상기 기계 객체의 정상상태 또는 이상상태 여부를 판단하는 것을 특징으로 한다.

또한, 상기 학습 모듈은, 상기 복수 개의 작동 모드들 중 어느 하나로 동작되는 상기 기계 객체를 촬영하여 획득되는 복수 개의 적외선 촬영 이미지들에 대하여, 기설정된 온도 조건 범위를 초과하였는지에 따라 구분되는 정상상태 부분과 이상상태 부분 중 적어도 하나의 부분을 라벨링한 라벨링 이미지들과, 상기 온도 조건 범위에 대응되는 지도학습값으로서의 상기 기계 객체의 정상상태 또는 이상상태를 구분하기 위한 기준 상태값을 입력받으면, 복수 개의 콘볼루션 연산층을 포함하여 기설정된 학습모델에 따라 학습을 수행한 결과로서 도출되는 파라미터들에 기초하여 상기 적외선 촬영 이미지에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 판별 상태값을 출력하는 것을 특징으로 한다.

또한, 상기 학습 모듈은, 제1 작동 모드로 동작되는 상기 기계 객체를 사전에 촬영하여 획득되는 복수 개의 제1 적외선 촬영 이미지들에 대하여, 기설정된 제1 온도 조건 범위를 초과하였는지에 따라 구분되는 정상상태 부분과 이상상태 부분 중 적어도 하나의 부분을 라벨링함에 따라 생성되는 제1 라벨링 이미지들을 입력받는 제1 라벨링 이미지 입력부와, 상기 제1 작동 모드와 상이한 제2 작동 모드로 동작되는 상기 기계 객체를 사전에 촬영하여 획득되는 복수 개의 제2 적외선 촬영 이미지들에 대하여, 상기 제1 온도 조건 범위와는 상이한 기설정된 제2 온도 조건 범위를 초과하였는지에 따라 구분되는 정상상태 부분과 이상상태 부분 중 적어도 하나의 부분을 라벨링함에 따라 생성되는 제2 라벨링 이미지들을 입력받는 제2 라벨링 이미지 입력부와, 상기 제1 라벨링 이미지들과, 상기 제1 온도 조건 범위에 대응되는 지도학습값으로서의 상기 기계 객체의 정상상태 또는 이상상태를 구분하기 위한 제1 기준 상태값을 입력받아 상기 학습모델에 따라 학습을 수행하되, 학습된 결과로써 도출되는 파라미터들에 기초하여 상기 제1 적외선 촬영 이미지들에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 제1 판별 상태값을 출력하는 제1 학습부와, 상기 제2 라벨링 이미지들과, 상기 제2 온도 조건 범위에 대응되는 지도학습값으로서의 상기 기계 객체의 정상상태 또는 이상상태를 구분하기 위한 제2 기준 상태값을 입력받아 상기 학습 모델에 따른 학습을 수행하되, 학습된 결과로써 도출되는 파라미터들에 기초하여 상기 제2 적외선 촬영 이미지들에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 제2 판별 상태값을 출력하는 제2 학습부를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 공장 내 기계설비를 촬영한 적외선 영상에 기초한 딥러닝 기반의 이미지 학습을 통해 관리자의 지속적인 모니터링 없이도 해당 기계설비의 이상 상태를 자동으로 감지함에 따라 작업자의 신속한 초기 대응이 가능한 효과가 있다.

또한, 본 발명에 따르면, 복수 개의 작업 모드 중 어느 하나로 동작 가능한 기계설비에 대하여 작업 모드별로 상이한 온도 범위에 기초한 딥러닝 기반의 이미지 학습을 수행함에 따라 작업 설정 변경에 의해 고온으로 정상 동작하는 경우와 구분하여 해당 기계설비가 동작 중인 작업 모드를 기준으로 한 이상 상태를 감지 가능한 효과가 있다.

또한, 본 발명에 따르면, 기계설비에 대한 이상 상태가 감지되는 경우에 이상 상태가 감지된 시점을 기준으로 소정 기간 동안 해당 기계설비를 촬영한 적외선 이미지를 추후 해당 기계설비에 대한 이상 상태 감지를 위한 딥러닝 기반의 이미지 학습에 이용되도록 하여 학습 정확도를 높일 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치를 개략적으로 설명하기 위한 도면이고,
도 2는 본 발명의 일 실시예에 따른 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치의 구성을 나타낸 블록도이고,
도 3은 도 2의 온도 연산부에 의한 마스크 연산 과정을 설명하기 위한 도면이고,
도 4는 도 2의 학습 모듈에 의한 지도 학습 과정을 설명하기 위한 도면이고,
도 5는 도 2의 온도별 이미지 생성부에 의해 온도별 이미지를 생성하는 과정을 설명하기 위한 도면이고,
도 6은 도 2의 타이머부, 상태 판단부, 상태 변경값 연산부 및 최적 이미지 획득부 각각의 동작을 시간에 따라 설명하기 위한 도면이다.

이상과 같은 본 발명에 대한 해결하려는 과제, 과제의 해결수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 전술한 도면들을 참조하여 본 발명의 일 실시예에 따른 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치에 대해 설명하도록 한다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치는 크게 카메라부(10), 객체 검출부(20), 온도 연산부(30), 학습 모듈(40), 상태 판단부(50), 온도별 이미지 생성부(60), 상태 변경값 연산부(70), 최적 이미지 획득부(80), 타이머부(100) 및 설비 모드값 입력부(200)를 포함하여 구성된다.

카메라부(10)는 도 1에 도시된 바와 같이 기계 객체(2)를 촬영하여 상기 기계 객체에 대한 적외선 촬영 이미지(5)를 획득하는 적어도 하나의 IR 카메라(11)를 포함한다.

상기 기계 객체는 공장 등과 같은 실내의 소정 공간에 배치되어 작동하는 설비 및 기기에 해당하는 산업기계 설비를 포함할 수 있으며, 이러한 산업기계 설비의 크기나 종류는 한정되지 않는 것이 바람직하다.

상기 IR 카메라는 소정의 촬상각을 가지며 화면 프레임 내에 상기 기계 객체가 포함되도록 촬상 각도가 조정된 상태로 설치되어 상기 기계 객체를 촬상한 적외선 촬영 이미지를 실시간으로 획득한다.

또한, 상기 IR 카메라는 외부로부터 빛의 공급이 없이도 물체가 방사하는 복사 에너지를 모아 적절한 변환을 통해 가시화한 적외선 영상을 획득하는 열화상 카메라(Infrared Thermal Camera)를 포함할 수 있다.

객체 검출부(20)는 카메라부(10)에 의해 획득된 상기 적외선 촬영 이미지에 있어서 상기 기계 객체에 대응되는 객체 이미지 영역을 기설정된 영상 인식 기법에 따라 검출한다.

상기 기설정된 영상 인식 기법은 라플라시안(Laplacian) 연산을 이용한 2차 미분과 같은 일반적인 에지 검출 알고리즘을 이용하여 상기 적외선 촬영 이미지에서 상기 기계 객체에 대한 윤곽선, 즉, 상기 객체 이미지 영역을 검출하는 것을 포함할 수 있고, 이와 같은 에지 검출 알고리즘은 당업자에게는 자명한 사항이므로 별도의 설명은 생략하기로 한다.

온도 연산부(30)는 객체 검출부(20)에 의해 검출된 상기 객체 이미지 영역에 기설정된 색상 모델에 기초하여 기설정된 마스크를 적용하여 상기 객체 이미지 영역에 포함된 복수 개의 픽셀 조합에 대한 객체 온도값을 마스크 단위별로 각각 연산한다.

상기 기설정된 색상 모델은 빛의 삼원색인 빨간색(Red), 초록색(Green) 및 파란색(Blue)의 조합으로 색을 표현하는 RGB 모델과, 색상(Hue), 채도(Saturation) 및 명도(Value)의 3가지 성분으로 색을 표현하는 HSV 모델과, 상기 RGB 모델의 기본 색상인 RGB 색에서 밝기성분(Y)과 색차정보(Cb,Cr)를 분리하여 색을 표현하는 YCbCr 모델 중 적어도 하나를 포함할 수 있다.

상기 객체 온도값은 상기 기설정된 색상 모델에 기초하여 상기 기계 객체에 대한 온도 정보를 나타내는 것으로서 RGB 색상값, HSV 색상값, YCbCr 색상값 중 적어도 하나를 포함할 수 있다.

상기 기설정된 마스크는 'N×N'(가로픽셀×세로픽셀) 사이즈를 가지며 각각의 픽셀은 상기 색상 모델에 대응하는 소정의 좌표값을 가질 수 있다.

예컨대, 상기 기설정된 색상 모델이 RGB 모델인 경우, 상기 마스크 내 하나의 픽셀(m1)은 R,G,B 각각에 대응하여 3개의 좌표값(mr1,mg1,mb1)을 가지게 된다.

여기서, 온도 연산부(30)는 상기 객체 이미지 영역에 상기 마스크를 중첩되지 않도록 좌우 또는 위아래 방향으로 이동시키면서 상기 마스크의 현위치에 대응되는 영역에 포함된 복수 개의 픽셀들에 대한 콘볼루션 연산을 수행함으로써 상기 마스크에 대응하는 각각의 영역에 대한 객체 온도값을 결정할 수 있다.

예컨대, 도 3에 도시된 바와 같이 상기 마스크가 '2×2'의 사이즈를 가질 때, 상기 마스크가 상기 객체 이미지 영역 중에서 상기 마스크의 크기에 대응하는 소정의 객체영역에 위치하는 경우, 온도 연산부(30)는 상기 객체영역의 제1 픽셀(P11)의 RGB 좌표값(r1,g1,b1)과 상기 제1 픽셀(P11)의 위치에 대응하는 상기 마스크 내 픽셀(m1)의 RGB 좌표값(mr1,mg1,mb1)을 R,G,B별로 곱한 제1값(r1mr1,g1mg1,b1mb1)과, 상기 객체영역의 제2 픽셀(P12)의 RGB 좌표값(r2,g2,b2)과 상기 제2 픽셀(P12)의 위치에 대응하는 상기 마스크 내 픽셀(m2)의 RGB 좌표값(mr2,mg2,mb2)을 R,G,B별로 곱한 제2값(r2mr2,g2mg2,b2mb2)과, 상기 객체영역의 제3 픽셀(P21)의 RGB 좌표값(r3,g3,b3)과 상기 제3 픽셀(P21)의 위치에 대응하는 상기 마스크 내 픽셀(m3)의 RGB 좌표값(mr3,mg3,mb3)을 R,G,B별로 곱한 제3값(r3mr3,g3mg3,b3mb3)과, 상기 객체영역의 제4 픽셀(P22)의 RGB 좌표값(r4,g4,b4)과 상기 제4 픽셀(P22)의 위치에 대응하는 상기 마스크 내 픽셀(m4)의 RGB 좌표값(mr4,mg4,mb4)을 R,G,B별로 곱한 제4값(r4mr4,g4mg4,b4mb4)을 각각 연산한 후, 상기 제1값, 상기 제2값, 상기 제3값, 상기 제4값을 R,G,B별로 합한 값을 상기 객체영역에 대한 객체 온도값으로 결정할 수 있다.

설비 모드값 입력부(200)는 복수 개의 작동 모드들 중 적어도 하나의 작동 모드를 선택함에 따른 설비 모드값을 입력받는다.

상기 복수 개의 작동 모드들은 상기 기계 객체의 구동 시 설정 조건을 달리함에 따라 구분되는 것이고, 상기 복수 개의 작동 모드들 각각을 구분할 수 있도록 작동 모드별로 상이한 모드값이 기설정된 상태일 수 있다.

예컨대, 제1 작동 모드 및 제2 작동 모드 각각에 대응하는 제1 모드값 및 제2 모드값이 기설정된 경우엔 설비 모드값 입력부(200)에 의해 상기 제1 모드값과 상기 제2 모드값 중 어느 하나에 대응되는 값이 상기 설비 모드값으로 입력되게 된다.

학습 모듈(40)은 상기 기계 객체를 촬영하여 획득되는 복수 개의 적외선 촬영 이미지들에 대해 기설정된 온도 조건 범위에 따라 라벨링한 결과와 상기 온도 조건 범위에 대응되는 기준 상태값을 이용하여 합성곱 신경망에 따른 지도학습을 수행한 결과에 기초하여 상기 적외선 촬영 이미지에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 판별 상태값을 출력한다.

상기 지도학습은 2차원 또는 3차원 이미지 또는 영상을 이용한 학습에 이용되는 학습모델을 이용하여 수행될 수 있고, 상기 학습모델은 합성곱 신경망(Convolution Neural Networks; CNN)에 대한 알고리즘을 기반으로 소프트맥스(softmax) 함수를 이용하되, 콘볼루션 연산을 통해 입력 이미지를 변환하는 콘볼루션 계층(convolution layer)과 변환된 이미지에서 특정 영역에 있는 픽셀들을 묶어서 하나의 대표값으로 축소함에 따라 해당 이미지의 차원을 줄이는 풀링 계층(pooling layer)을 포함하는 구조를 가지는 것일 수 있다.

상기 판별 상태값은 전술한 상기 학습모델에 따라 학습을 수행한 결과로서 도출되는 파라미터들에 기초하여 상기 기계 객체를 사전에 촬영하여 획득되는 복수 개의 적외선 촬영 이미지들에서 각각 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따라 출력되는 것일 수 있다.

또한, 학습 모듈(40)은 만일 전술한 설비 모드값 입력부(200)에 의해 소정의 작동 모드를 선택함에 따른 설비 모드값을 입력받는 경우, 복수 개의 작동 모드들 중 어느 하나로 동작되는 상기 기계 객체에 대한 정상상태 또는 이상상태에 해당하는지 여부를 판별할 수 있다.

구체적으로, 학습 모듈(40)은 상기 복수 개의 작동 모드들 중 어느 하나로 동작되는 상기 기계 객체를 촬영하여 획득되는 복수 개의 적외선 촬영 이미지들에 대하여, 기설정된 온도 조건 범위를 초과하였는지에 따라 구분되는 정상상태 부분과 이상상태 부분 중 적어도 하나의 부분을 라벨링한 라벨링 이미지들과, 상기 온도 조건 범위에 대응되는 지도학습값으로서의 상기 기계 객체의 정상상태 또는 이상상태를 구분하기 위한 기준 상태값을 입력받으면, 복수 개의 콘볼루션 연산층을 포함하여 기설정된 학습모델에 따라 학습을 수행한 결과로서 도출되는 파라미터들에 기초하여 상기 적외선 촬영 이미지에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 판별 상태값을 출력할 수 있다.

이와 관련하여, 학습 모듈(40)은 도 2에 도시된 바와 같이 제1 라벨링 이미지 입력부(310), 제2 라벨링 이미지 입력부(320), 제1 학습부(410) 및 제2 학습부(420)를 포함할 수 있다.

제1 라벨링 이미지 입력부(310)는 제1 작동 모드로 동작되는 상기 기계 객체를 사전에 촬영하여 획득되는 복수 개의 제1 적외선 촬영 이미지들에 대하여, 기설정된 제1 온도 조건 범위를 초과하였는지에 따라 구분되는 정상상태 부분과 이상상태 부분 중 적어도 하나의 부분을 라벨링함에 따라 생성되는 제1 라벨링 이미지들을 입력받는 역할을 한다.

여기서, 상기 제1 작동 모드는 고이득(High Gain) 작동 모드일 수 있고, 상기 제1 온도 조건 범위는 섭씨 영하 10도 내지 영상 140도의 온도 범위일 수 있다.

제1 학습부(410)는 도 4에 도시된 바와 같이 제1 라벨링 이미지 입력부(310)에 의해 입력된 제1 라벨링 이미지들(L1)과, 상기 제1 온도 조건 범위에 대응되는 지도학습값으로서의 상기 기계 객체의 정상상태 또는 이상상태를 구분하기 위한 제1 기준 상태값(s1)을 입력받아 상기 학습모델에 따라 학습을 수행함에 따라, 학습된 결과로써 도출되는 파라미터들에 기초하여 카메라부(10)에 의해 실시간으로 획득된 상기 적외선 촬영 이미지에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 제1 판별 상태값(d1)을 출력한다.

제2 라벨링 이미지 입력부(320)는 상기 제1 작동 모드와 상이한 제2 작동 모드로 동작되는 상기 기계 객체를 사전에 촬영하여 획득되는 복수 개의 제2 적외선 촬영 이미지들에 대하여, 상기 제1 온도 조건 범위와는 상이한 기설정된 제2 온도 조건 범위를 초과하였는지에 따라 구분되는 정상상태 부분과 이상상태 부분 중 적어도 하나의 부분을 라벨링함에 따라 생성되는 제2 라벨링 이미지들을 입력받는 역할을 한다.

여기서, 상기 제2 작동 모드는 저이득(Low Gain) 작동 모드일 수 있고, 상기 제2 온도 조건 범위는 섭씨 영하 10도 내지 영상 450도의 온도 범위일 수 있다.

제2 학습부(420)는 도 4에 도시된 바와 같이 제2 라벨링 이미지 입력부(320)에 의해 입력된 제2 라벨링 이미지들(L2)과, 상기 제2 온도 조건 범위에 대응되는 지도학습값으로서의 상기 기계 객체의 정상상태 또는 이상상태를 구분하기 위한 제2 기준 상태값(s2)을 입력받아 상기 학습 모델에 따른 학습을 수행함에 따라, 학습된 결과로써 도출되는 파라미터들에 기초하여 카메라부(10)에 의해 실시간으로 획득된 상기 적외선 촬영 이미지에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 제2 판별 상태값(d2)을 출력한다.

여기서, 제1 학습부(410) 및 제2 학습부(420)는 전술한 합성곱 신경망(CNN) 알고리즘에 기초한 학습모델에서 각 클래스에 대한 확률을 추정하는 역할을 하는 소프트맥스(softmax) 함수를 이용하여 확률값을 산출한 결과에 기초하여 판별 상태값을 출력하는 것일 수 있다.

이때, 상기 클래스는 상기 확률값이 상기 제1 기준 상태값(s1) 이상인 경우인 제1 클래스와, 상기 제1 기준 상태값(s1) 미만인 경우인 제2 클래스와, 상기 제2 기준 상태값(s2) 이상인 경우인 제3 클래스와, 상기 제2 기준 상태값(s2) 미만인 경우인 제4 클래스를 포함하며, 제1 학습부(410) 및 제2 학습부(420)는 상기 제1 클래스 및 상기 제3 클래스는 이상 상태에 대응되는 판별 상태값을 출력하고, 상기 제2 클래스 및 상기 제4 클래스는 정상 상태에 대응되는 판별 상태값을 출력할 수 있다.

예컨대, 상기 판별 상태값은 이진화된 값으로서 정상 상태일 때와 이상 상태일 때 각각 '0'과 '1' 중 어느 하나의 값이 부여되는 것일 수 있다.

상태 판단부(50)는 온도 연산부(30)에 의해 연산된 객체 온도값과 학습 모듈(40)에 의해 출력된 판별 상태값에 기초하여 상기 기계 객체의 정상상태 또는 이상상태 여부를 판단한다.

또한, 상태 판단부(50)는 만일 전술한 설비 모드값 입력부(200)에 의해 소정의 작동 모드를 선택함에 따른 설비 모드값을 입력받는 경우, 설비 모드값 입력부(200)에 의해 입력된 설비 모드값과 온도 연산부(30)에 의해 연산된 객체 온도값과 학습 모듈(40)에 의해 출력된 판별 상태값에 기초하여 상기 기계 객체의 정상상태 또는 이상상태 여부를 판단한다.

이 경우, 복수 개의 작업 모드 중 어느 하나로 동작 가능한 기계설비에 대하여 작업 모드별로 상이한 온도 범위에 기초한 딥러닝 기반의 이미지 학습을 수행함에 따라 작업 설정 변경에 의해 고온으로 정상 동작하는 경우와 구분하여 해당 기계설비가 동작 중인 작업 모드를 기준으로 한 이상 상태를 감지할 수 있게 된다.

온도별 이미지 생성부(60)는 상기 객체 이미지 영역에 있어서 마스크 단위별로 연산된 객체 온도값과 기설정된 온도 편차에 기초하여 복수 개의 픽셀들을 온도별로 그룹화하여 상기 객체 이미지 영역을 온도에 따라 영역별로 분류함에 따른 복수 개의 온도별 이미지를 생성하여 출력한다.

상태 변경값 연산부(70)는 상태 판단부(50)가 상기 기계 객체가 이상상태에 해당하는 것으로 판단한 경우, 이상상태로 판단한 시점부터 기설정된 시간단위로 적어도 하나의 온도 또는 온도 범위에 대응되는 온도별 이미지의 시간의 흐름에 따른 변경 정도를 파악하여 온도별 이미지에 따른 상태 변경 정도에 따른 상태 변경값을 연산한다.

아래의 표 1은 도 5에 도시된 바와 같이 복수 개의 그룹으로 그룹화된 소정 온도 범위의 온도별 이미지에 대하여, 소정 시점에 해당 그룹에 속하는 영역과 일정 시간 경과 후 그룹별 영역수 변화량의 일례를 정리하여 나타낸 것이다.

온도그룹	온도 범위	t1일때 영역	t2일때 영역	영역수 변화량
G1	0≤ t <150	f1	f1,f2,f4	+2
G2	150≤ t <300	f2,f3	f3	-1
G3	300≤ t <450	f4	-	-1

여기서, 상기 온도그룹은 온도별 이미지 생성부(60)에 의해 기설정된 온도 범위에 따라 복수 개로 분류된 복수 개의 온도별 이미지를 그룹화한 것이고, 상기 온도 범위는 해당 온도그룹으로 분류된 온도별 이미지의 온도 범위를 나타낸 것이고, t1은 제1 시점을 나타낸 것이고, t2는 상기 제1 시점 이후의 제2 시점을 나타낸 것이고, 상기 영역수 변화량은 상기 제1 시점부터 상기 제2 시점까지의 시간 동안 각각의 온도그룹에 속하는 객체영역 개수의 변화량을 나타낸 것이다.

예컨대, 상기 표 1 및 도 5를 참조하여 온도별 이미지 생성부(60)에 의한 온도별 이미지 생성 과정과 상태 변경값 연산부(70)에 의한 상태 변경값 연산 과정을 설명하면 다음과 같다.

먼저, 온도별 이미지 생성부(60)는 카메라부(10)에 의해 획득된 상기 적외선 촬영 이미지와 이에 대응하는 상기 객체 이미지 영역에 있어서 온도 연산부(30)에 의해 마스크 단위별로 연산된 객체 온도값에 기초하여, 상기 객체 이미지 영역을 온도에 따라 영역별로 분류함에 따른 복수 개의 온도별 이미지를 생성한다.

다음으로, 온도별 이미지 생성부(60)는 상기 생성된 상기 복수 개의 온도별 이미지를 0도 이상 섭씨 150도 미만의 온도 범위를 갖는 복수 개의 온도별 이미지를 포함하는 제1 온도그룹(G1)과, 150도 이상 섭씨 300도 미만의 온도 범위를 갖는 복수 개의 온도별 이미지를 포함하는 제2 온도그룹(G2)과, 300도 이상 섭씨 450도 미만의 온도 범위를 갖는 복수 개의 온도별 이미지를 포함하는 제3 온도그룹(G3) 중 어느 하나로 분류한다.

이때, 제1 온도그룹(G1)은 제1 시점(t1)일 때 상기 객체 이미지 영역 중 제1 객체영역(f1)에 대응하는 온도별 이미지를 포함하고, 제2 온도그룹(G2)은 제1 시점(t1)일 때 상기 객체 이미지 영역 중 제2 객체영역(f2) 및 제3 객체영역(f3)에 대응하는 온도별 이미지를 포함하고, 제3 온도그룹(G3)은 제1 시점(t1)일 때 상기 객체 이미지 영역 중 제4 객체영역(f4)에 대응하는 온도별 이미지를 포함하는 상태이다.

이 경우, 상기 표 1에 기재된 바와 같이 제1 시점(t1)부터 제2 시점(t2)까지의 시간 동안 제1 온도그룹(G1)의 온도별 이미지에 대응되는 객체영역의 개수는 '2(개)'만큼 증가하고, 제2 온도그룹(G2)의 온도별 이미지에 대응되는 객체영역의 개수는 '1(개)'만큼 감소하고, 제3 온도그룹(G3)의 온도별 이미지에 대응되는 객체영역의 개수는 '1(개)'만큼 감소함에 기초하여, 상태 변경값 연산부(70)는 제1 시점(t1)부터 제2 시점(t2)까지의 시간이 경과함에 따른 제1 온도그룹(G1)에 대한 상태 변경값은 객체영역의 개수 변화량인 '2'에 대응되는 값으로 연산하고, 제1 시점(t1)부터 제2 시점(t2)까지의 시간이 경과함에 따른 제2 온도그룹(G2) 및 제3 온도그룹(G3)에 대한 상태 변경값은 각각 객체영역의 개수 변화량인 '1'에 대응되는 값으로 연산하게 된다.

타이머부(100)는 상태 판단부(50)가 이상상태로 판단한 시점과, 상태 변경값 연산부(70)에 의해 연산된 상기 상태 변경값이 가장 높거나 상기 임계값 이상을 가지는 시점을 각각 측정 기록한다.

여기서, 타이머부(100)는 일정 주기를 가지는 클럭 신호를 생성하는 것일 수 있으며, 상기 이상상태로 판단한 시점과 상기 연산된 상기 상태 변경값이 가장 높거나 상기 임계값 이상을 가지는 시점 각각에 대하여 시간상 가장 근접한 클럭 신호를 이용하여 측정 기록할 수 있다.

최적 이미지 획득부(80)는 상태 변경값 연산부(70)에 의해 연산된 상기 상태 변경값이 가장 높거나 기설정된 임계값 이상을 가지는 시점에 대응되는 온도별 이미지 또는 적외선 촬영 이미지를 획득한다.

예컨대, 도 6을 참조하여 타이머부(100), 상태 변경값 연산부(70) 및 최적 이미지 획득부(80) 각각에 의한 동작 과정을 자세히 설명하면 다음과 같다.

먼저, 타이머부(100)에 의해 기설정된 주기의 클럭 신호(101~104)가 생성되는 상태에서, 만일 상태 판단부(50)에 의한 상기 이상상태 판단 여부에 따라 제1 시점(Ts)에 이상상태로 판단되면(51), 타이머부(100)는 상기 제1 시점(Ts)과 가장 근접한 시간에 생성된 제2 클럭신호(102)를 상기 이상상태 판단 시점으로 하여 측정 기록하고, 상태 변경값 연산부(70)는 상기 제1 시점(Ts)부터 기설정된 시간단위(U)동안 제1 온도그룹(G1)에 대한 상태 변경값(71), 제2 온도그룹(G2)에 대한 상태 변경값(72), 제3 온도그룹(G3)에 대한 상태 변경값(73)을 연산한다.

다음으로, 최적 이미지 획득부(80)는 상기 상태변경값(71~73)이 가장 높은 값을 가지는 제2 시점(Te)과 상기 상태변경값이 상기 임계값(z) 이상의 값을 가지는 제3 시점(Tz)에 각각 대응하는 제1 온도그룹(G1)의 온도별 이미지를 최적 이미지로 획득하고, 타이머부(100)는 제2 시점(Te)과 제3 시점(Tz) 각각에 가장 근접한 시간에 생성된 제3 클럭신호(103) 및 제4 클럭신호(104)를 상기 최적 이미지의 획득 시점으로 하여 측정 기록하게 된다.

즉, 전술한 본 발명에 의하면, 기계설비에 대한 이상 상태가 감지되는 경우에 이상 상태가 감지된 시점을 기준으로 소정 기간 동안 해당 기계설비를 촬영한 적외선 이미지를 추후 해당 기계설비에 대한 이상 상태 감지를 위한 딥러닝 기반의 이미지 학습에 이용되도록 하여 학습 정확도를 높일 수 있는 효과가 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

특히, 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 수정의 기본으로써 즉시 사용될 수 있음이 해당 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.

또한, 상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 전술한 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10: 카메라부
20: 객체 검출부
30: 온도 연산부
40: 학습 모듈
50: 상태 판단부
60: 온도별 이미지 생성부
70: 상태 변경값 연산부
80: 최적 이미지 획득부
100: 타이머부
200: 설비 모드값 입력부
310: 제1 라벨링 이미지 입력부
320: 제2 라벨링 이미지 입력부
410: 제1 학습부
420: 제2 학습부

Claims

기계 객체를 촬영하여 상기 기계 객체에 대한 적외선 촬영 이미지를 획득하는 적어도 하나의 IR 카메라를 포함하는 카메라부;
상기 적외선 촬영 이미지에 있어서 상기 기계 객체에 대응되는 객체 이미지 영역을 기설정된 영상 인식 기법에 따라 검출하는 객체 검출부;
상기 객체 이미지 영역에 기설정된 색상 모델에 기초하여 기설정된 마스크를 적용하여 상기 객체 이미지 영역에 포함된 복수 개의 픽셀 조합에 대한 객체 온도값을 마스크 단위별로 각각 연산하는 온도 연산부;
상기 객체 이미지 영역에 있어서 마스크 단위별로 연산된 객체 온도값과 기설정된 온도 편차에 기초하여 복수 개의 픽셀들을 온도별로 그룹화하여 상기 객체 이미지 영역을 온도에 따라 영역별로 분류함에 따른 복수 개의 온도별 이미지를 생성하여 출력하는 온도별 이미지 생성부;
상기 기계 객체를 촬영하여 획득되는 복수 개의 적외선 촬영 이미지들에 대해 기설정된 온도 조건 범위에 따라 라벨링한 결과와 상기 온도 조건 범위에 대응되는 기준 상태값을 이용하여 합성곱 신경망에 따른 지도학습을 수행한 결과에 기초하여 상기 적외선 촬영 이미지에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 판별 상태값을 출력하는 학습 모듈;
연산된 상기 객체 온도값과 출력된 상기 판별 상태값에 기초하여 상기 기계 객체의 정상상태 또는 이상상태 여부를 판단하는 상태 판단부;
상기 상태 판단부가 상기 기계 객체가 이상상태에 해당하는 것으로 판단한 경우, 이상상태로 판단한 시점부터 기설정된 시간단위로 적어도 하나의 온도 또는 온도 범위에 대응되는 온도별 이미지의 시간의 흐름에 따른 변경 정도를 파악하여 온도별 이미지에 따른 상태 변경 정도에 따른 상태 변경값을 연산하는 상태 변경값 연산부; 및
연산된 상기 상태 변경값이 가장 높거나 기설정된 임계값 이상을 가지는 시점에 대응되는 온도별 이미지 또는 적외선 촬영 이미지를 획득하는 최적 이미지 획득부;를 포함하는 것을 특징으로 하는 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치.
삭제
삭제
제1항에 있어서,
상기 상태 판단부가 이상상태로 판단한 시점과, 상기 상태 변경값 연산부에 의해 연산된 상기 상태 변경값이 가장 높거나 상기 임계값 이상을 가지는 시점을 각각 측정 기록하는 타이머부;를 더 포함하는 것을 특징으로 하는 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치.
제1항 또는 제4항에 있어서,
복수 개의 작동 모드들 중 적어도 하나의 작동 모드를 선택함에 따른 설비 모드값을 입력받는 설비 모드값 입력부;를 더 포함하며,
상기 상태 판단부는,
입력된 상기 설비 모드값과 연산된 상기 객체 온도값과 출력된 상기 판별 상태값에 기초하여 상기 기계 객체의 정상상태 또는 이상상태 여부를 판단하는 것을 특징으로 하는 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치.
제5항에 있어서,
상기 학습 모듈은,
상기 복수 개의 작동 모드들 중 어느 하나로 동작되는 상기 기계 객체를 촬영하여 획득되는 복수 개의 적외선 촬영 이미지들에 대하여, 기설정된 온도 조건 범위를 초과하였는지에 따라 구분되는 정상상태 부분과 이상상태 부분 중 적어도 하나의 부분을 라벨링한 라벨링 이미지들과, 상기 온도 조건 범위에 대응되는 지도학습값으로서의 상기 기계 객체의 정상상태 또는 이상상태를 구분하기 위한 기준 상태값을 입력받으면, 복수 개의 콘볼루션 연산층을 포함하여 기설정된 학습모델에 따라 학습을 수행한 결과로서 도출되는 파라미터들에 기초하여 상기 적외선 촬영 이미지에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 판별 상태값을 출력하는 것을 특징으로 하는 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치.
제6항에 있어서,
상기 학습 모듈은,
제1 작동 모드로 동작되는 상기 기계 객체를 사전에 촬영하여 획득되는 복수 개의 제1 적외선 촬영 이미지들에 대하여, 기설정된 제1 온도 조건 범위를 초과하였는지에 따라 구분되는 정상상태 부분과 이상상태 부분 중 적어도 하나의 부분을 라벨링함에 따라 생성되는 제1 라벨링 이미지들을 입력받는 제1 라벨링 이미지 입력부;
상기 제1 작동 모드와 상이한 제2 작동 모드로 동작되는 상기 기계 객체를 사전에 촬영하여 획득되는 복수 개의 제2 적외선 촬영 이미지들에 대하여, 상기 제1 온도 조건 범위와는 상이한 기설정된 제2 온도 조건 범위를 초과하였는지에 따라 구분되는 정상상태 부분과 이상상태 부분 중 적어도 하나의 부분을 라벨링함에 따라 생성되는 제2 라벨링 이미지들을 입력받는 제2 라벨링 이미지 입력부;
상기 제1 라벨링 이미지들과, 상기 제1 온도 조건 범위에 대응되는 지도학습값으로서의 상기 기계 객체의 정상상태 또는 이상상태를 구분하기 위한 제1 기준 상태값을 입력받아 상기 학습모델에 따라 학습을 수행하되, 학습된 결과로써 도출되는 파라미터들에 기초하여 상기 제1 적외선 촬영 이미지들에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 제1 판별 상태값을 출력하는 제1 학습부; 및
상기 제2 라벨링 이미지들과, 상기 제2 온도 조건 범위에 대응되는 지도학습값으로서의 상기 기계 객체의 정상상태 또는 이상상태를 구분하기 위한 제2 기준 상태값을 입력받아 상기 학습 모델에 따른 학습을 수행하되, 학습된 결과로써 도출되는 파라미터들에 기초하여 상기 제2 적외선 촬영 이미지들에서 인식 가능한 기계 객체가 정상상태 또는 이상상태에 해당하는지 여부를 판별함에 따른 제2 판별 상태값을 출력하는 제2 학습부;를 포함하는 것을 특징으로 하는 IR 카메라를 이용한 딥러닝 기반의 이상상태 판단 장치.