KR102174444B1

KR102174444B1 - 가스감지모델 생성방법, 가스감지모델을 이용한 가스감지 시스템, 및 가스감지방법

Info

Publication number: KR102174444B1
Application number: KR1020180174206A
Authority: KR
Inventors: 김성욱
Original assignee: 주식회사 포스코아이씨티
Priority date: 2018-12-31
Filing date: 2018-12-31
Publication date: 2020-11-04
Also published as: KR20200087351A

Abstract

타겟영역에서 촬영된 타겟 이미지를 딥러닝 기반의 가스감지모델로 분석하여 타겟영역에서 가스발생여부를 감지할 수 있는 본 발명의 일 측면에 따른 가스감지모델을 이용한 가스감지 시스템은 타겟 영역을 촬영하여 타겟 이미지를 생성하는 촬영부; 가스감지모델에 상기 타겟 이미지를 입력하여 상기 가스감지모델로부터 상기 타겟 이미지 내에서 가스발생 추정영역의 좌표 및 가스발생 확률값을 획득하고, 상기 가스발생 확률값과 문턱값의 비교결과에 따라 가스 발생 여부를 판단하는 가스감지부; 및 상기 가스발생 추정영역의 좌표를 이용하여 상기 타겟영역 내에서 상기 가스발생 추정영역의 실제위치를 결정하는 위치결정부를 포함하는 것을 특징으로 한다.

Description

가스감지모델 생성방법, 가스감지모델을 이용한 가스감지 시스템, 및 가스감지방법 {Method for Gas Detection Model, System and Method for Detecting Gas Using Gas Detection Model}

본 발명은 가스 감지에 관한 것으로서, 보다 구체적으로 영상처리기법을 이용한 가스감지에 관한 것이다.

인간의 주변 생활 환경에는 많은 종류의 유해가스가 존재하고 있고, 이러한 유해가스로 인하여 가정, 업소, 산업 현장 등에서는 인명 피해가 발생될 수 있을 뿐만 아니라 유해가스로 인한 폭발 사고에 의해 재산적 피해도 발생할 수 있다.

따라서, 이러한 유해가스를 감지하기 위해 일반적으로 가스센서가 널리 이용되고 있다. 하지만, 가스센서의 경우 정밀도가 높아질수록 가격이 증가하기 때문에 일반적인 가정이나 업소 등에서는 고정밀도를 갖는 가스센서를 적용하기 어렵다는 문제점이 있다.

또한, 고가의 가스센서라 하더라도 일반적인 생활환경에서의 이용에는 문제가 없지만 고온이나 고압등과 같은 열악한 환경의 산업현장의 경우, 가스센서의 적용자체가 어렵거나 적용이 가능하다 하더라도 가스센서의 오작동할 가능성이 높아 센싱결과에 대한 신뢰도가 낮아질 수 밖에 없다는 문제점이 있다.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 타겟영역에서 촬영된 타겟 이미지를 딥러닝 기반의 가스감지모델로 분석하여 타겟영역에서 가스발생여부를 감지할 수 있는 가스감지모델 생성방법, 가스감지모델을 이용한 가스감지 시스템, 및 가스감지방법을 제공하는 것을 그 기술적 과제로 한다.

또한, 본 발명은 타겟영역 내에서 가스발생 추정영역의 실제위치를 정확하게 판단할 수 있는 가스감지모델 생성방법, 가스감지모델을 이용한 가스감지 시스템, 및 가스감지방법을 제공하는 것을 다른 기술적 과제로 한다.

또한, 본 발명은 다양한 타입의 학습 이미지를 이용하여 가스감지모델을 학습시킬 수 있는 가스감지모델 생성방법, 가스감지모델을 이용한 가스감지 시스템, 및 가스감지방법을 제공하는 것을 또 다른 기술적 과제로 한다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 가스감지모델을 이용한 가스감지 시스템은 타겟 영역을 촬영하여 타겟 이미지를 생성하는 촬영부; 가스감지모델에 상기 타겟 이미지를 입력하여 상기 가스감지모델로부터 상기 타겟 이미지 내에서 가스발생 추정영역의 좌표 및 가스발생 확률값을 획득하고, 상기 가스발생 확률값과 문턱값의 비교결과에 따라 가스 발생 여부를 판단하는 가스감지부; 및 상기 가스발생 추정영역의 좌표를 이용하여 상기 타겟영역 내에서 상기 가스발생 추정영역의 실제위치를 결정하는 위치결정부를 포함하는 것을 특징으로 한다.

또한 본 발명의 다른 측면에 따른 가스감지모델 생성방법은 복수개의 제1 타입 가스영상 이미지를 이용하여 딥러닝 기반의 영상인식 객체 알고리즘을 학습시키는 단계; 복수개의 제1 타입 가스 영상 이미지 내지 제3 타입 가스 영상 이미지 중 적어도 하나를　이용하여 상기 딥러닝 기반의 영상 인식 객체 알고리즘을 순차적으로 학습시켜 가스감지모델을 생성하는 단계를　포함하고 상기 제1 타입 가스 영상 이미지는 미리 정해진 바운딩 박스 내에서 가스 이미지 크기의 비율이 기준치 이상인 것을　특징으로 한다.

또한 본 발명의 또 다른 측면에 따른 가스감지모델을 이용한 가스감지방법은 타겟영역을 촬영하여 타겟 이미지를 획득하는 단계; 상기 타겟 이미지를 가스감지 모델에 입력하여 상기 타겟 이미지 내에서 가스발생 추정영역의 좌표 및 가스발생 확률값을 산출하는 단계; 상기 가스발생 확률값과 문턱값을 비교하여 상기 타겟영역에서 가스 발생 여부를 판단하는 단계; 및 상기 타겟영역에서 가스가 발생된 것으로 판단되면 상기 타겟영역 내에서 상기 가스발생 추정영역의 실제위치를 결정하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면 타겟영역에서 촬영된 타겟 이미지를 딥러닝 기반의 가스감지모델로 분석함으로써, 타겟영역에서 가스발생여부를 감지할 수 있어 가스발생감지 정확도를 향상시킬 수 있고, 별도의 가스센서가 요구되지 않기 때문에 일반적인 가정이나 업소뿐만 아니라 열악한 환경의 산업현장에서도 사용할 수 있다는 효과가 있다.

또한, 본 발명에 따르면 가스감지 시스템이 고온이나 고압 등에 의해 손상될 가능성이 없기 때문에 유지보수비용을 절감할 수 있다는 효과가 있다.

또한, 본 발명에 따르면 타겟 이미지 내에서 가스발생 추정영역의 실제위치를 정확하게 판단할 수 있어 가스발생시 가스발생 위치에서 가스를 신속하게 처리할 수 있다는 효과가 있다.

또한, 본 발명에 따르면 다양한 타입의 학습 이미지를 이용하여 가스감지모델을 학습시킴으로써 다양한 환경에서 촬영된 타겟 이미지에 대해서도 가스감지모델이 가스를 정확하게 감지할 수 있다는 효과가 있다.

도 1은 코크스 오븐공장을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가스감지모델을 이용한 가스감지 시스템의 구성을 보여주는 도면이다.
도 3은 Faster R-CNN 알고리즘의 구성을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 가스 감지 모델 학습부의 구성을 보여주는 도면이다.
도 5는 제1 타입 학습이미지 의 일 예를 보여주는 도면이다.
도 6a 및 6b는 제2 타입 학습이미지 의 일 예를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 가스감지모델을 이용한 가스 감지 방법을 보여주는 플로우차트이다.
도 8은 본 발명의 일실시예에 따른 가스 감지 시스템이 가스 감지 모델을 생성하는 방법을 보여주는 플로우 차트이다.

본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.

"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.

이하, 첨부되는 도면을 참고하여 본 발명의 실시예들에 대해 상세히 설명한다.

먼저, 본 발명의 일 실시예에 따른 가스감지모델을 이용한 가스감지시스템(이하, '가스감지시스템'이라 함)에 대해 구체적으로 설명하기에 앞서 본 발명에 따른 가스감지시스템이 적용되는 환경에 대해 간략히 설명한다.

본 발명에 따른 가스감지시스템은 가스가 발생될 수 있는 영역에 적용되어, 해당영역에서 가스가 발생되는지 여부를 판단하는 기능을 수행하는 것으로서, 본 발명에 따른 가스감지시스템은 별도의 가스센서 없이도 딥러닝 기반의 가스감지모델을 이용하여 가스발생여부를 감지할 수 있기 때문에 가스가 발생될 수 있는 영역이라면 그 종류에 관계없이 어떠한 장소에도 적용될 수 있다.

특히, 본 발명에 따른 가스감지시스템은 고온이나 고압 등과 같은 열악한 환경의 산업현장에도 제한없이 적용될 수 있다.

일 예로, 본 발명에 따른 가스감지시스템은 제철소에서 코크스를 가열하는 작업이 수행되는 코크스 오분 공장에도 적용될 수 있다. 구체적으로, 도 1에 도시된 바와 같이 코크스 오븐 공장에서는 수백개의 도어(110)를 통해 코크스가 장입되어 가열된 후, 가열된 코크스가 도어(110)를 통해 반출된다. 이러한 코크스의 장입과정 또는 반출과정에서 COG(Coke Oven Gas)가 도어(110)를 통해 누출될 수 있다.

가스센서를 이용하여 COG 발생여부를 센싱하는 방법을 고려해 볼 수 있지만, 코크스 오븐 공장은 외부에 위치하기 때문에 강풍이 불거나 비가 내리는 경우 가스센서로는 COG를 감지할 수 없을 뿐만 아니라, 코크스 오븐 공장은 수백 또는 수천도의 온도로 코크스를 가열하기 때문에 COG가 누출되는 도어(110) 주변은 고온일 수 밖에 없어 가스센서가 손상되거나 오작동될 가능성이 높다는 문제점이 있다.

따라서, 별도의 가스센서가 요구되지 않는 본 발명에 따른 가스감지시스템이 코크스 오븐 공장에 적용되는 경우 코크스 오븐 공장의 도어(110) 주위에서 COG의 발생여부를 정확하게 감지할 수 있게 된다.

이하, 본 발명에 따른 가스감지시스템의 구성을 도 2를 참조하여 구체적으로 설명한다.

도 2는 본 발명의 일 실시예에 따른 가스 감지 시스템(200)의 구성을 보여주는 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 가스 감지 시스템(200)은, 촬영부(210), 가스 감지 모델(220), 가스감지부(225), 위치결정부(230), 위치 매핑부(240), 위치정보 데이터베이스(250), 및 모니터링부(270)를 포함한다.

촬영부(210)는 가스 발생여부가 감지되어야 하는 타겟 영역을 촬영하여 타겟 이미지를 획득한다. 일 실시예에 있어서 촬영부(210)는 n(n은 1 이상의 자연수)개의 카메라로 구현될 수 있다. 이러한 실시예를 따르는 경우, 촬영부(210)는 n개의 카메라를 통해 n개의 타겟 영역을 촬영하여 n개의 타겟 이미지를 획득할 수 있다. 이때, n개의 카메라는 서로 다른 타겟영역을 촬영하도록 배치될 수 있다. 다른 실시예에 있어서, n(n이 2이상인 경우)개의 카메라는 서로 인접한 카메라에 의해 촬영되는 타겟영역 중 일부가 서로 중첩되도록 배치될 수 있다.

일례로, 가스감지시스템(200)이 코크스 오븐 공장에 적용되는 경우, n개의 카메라는 타겟 영역으로써 코크스 오븐공장에 설치된 복수개의 도어를 촬영할 수 있다. 이에 따라, n개의 카메라는 복수개의 도어를 각각 촬영하여 서로 다른 복수개의 도어가 포함된 n개의 타겟 이미지를 획득하거나, 복수개의 도어 중 일부 도어가 중첩된 n개의 타겟 이미지를 획득할 수도 있다.

일 실시예에 있어서, 촬영부(210)를 구성하는 n개의 카메라는 CCTV(Closed Circuit Television)일 수 있다.

가스 감지 모델(220)은 가스감지부(225)에 의해 타겟 이미지가 입력되면 타겟 이미지 내에서 가스발생 추정영역의 좌표 및 가스발생 확률값을 산출한다. 이때, 가스발생 추정영역에 대한 좌표는 타겟 이미지 내에서 가스발생 추정영역을 표시하는 바운딩 박스의 좌표일 수 있다. 예컨대, 가스발생 추정영역에 대한 좌표는 바운딩 박스의 왼쪽 상단 꼭지점의 좌표 및 우측 하단 꼭지점의 좌표를 포함하거나, 바운딩 박스의 우측 상단 꼭지점의 좌표 및 좌측 하단 꼭지점의 좌표를 포함할 수 있다.

일 실시예에 있어서, 가스감지모델(220)은 미리 정해진 학습 이미지를 이용하여 딥러닝 기반의 영상 인식 객체 알고리즘을 학습함에 의해 생성된 것일 수 있다. 이때 딥러닝 기반의 영상 인식 객체 알고리즘은 FASTER R-CNN알고리즘(Region Convolutional Neural Network)일 수 있고, 학습이미지는 가스영상 이미지일 수 있다.

Faster R-CNN 알고리즘은 도 3에 도시된 바와 같은 구성을 가질 수 있다. FASTER R-CNN알고리즘(Region Convolutional Neural Network)을 학습함에 의해 생성되는 가스감지모델(220) 또한 CNN(Convolutional Neural Network) 알고리즘(310), RPN(Region Proposal Network) 알고리즘(320), 및 BOX Regression/ Classification 알고리즘(330)을 포함할 수 있다.

이러한 경우 학습된 가스감지모델(220)을 구성하는 CNN 알고리즘(310)은 입력되는 타겟 이미지에 컨벌루션 필터들을 적용함으로써 타겟 이미지로부터 특징벡터를 추출한다.

학습된 가스감지모델(220)을 구성하는 RPN 알고리즘(320)은 CNN 알고리즘(310)에 의해 추출된 특징벡터들을 이용하여 가스로 추정되는 복수개의 후보 관심 영역(Region of Interest, ROI)을 생성한다. 여기서 후보 관심 영역은 타겟 이미지 내에서 가스로 추정되는 영역에 바운딩 박스를 표시한 것일 수 있다.

학습된 가스감지모델(220)을 구성하는 BOX Regression/Classification(330) 알고리즘은 CNN 알고리즘(310)에 의해 추출된 특징벡터와 RPN 알고리즘(320)에 의해 생성된 복수개의 후보 관심영역을 기반으로 후보 관심영역을 표시한 바운딩 박스의 크기와 위치를 조정하고, 바운딩 박스의 클래스를 분류하여 최종적으로 하나의 바운딩 박스의 좌표와 확률값을 반환한다. 여기서 클래스는 바운딩 박스내에 가스가 포함되어 있는지 또는 가스가 포함되어 있지 않은지로 분류할 수 있다.

다시 도 2를 참조하면, 가스감지부(225)는 촬영부(210)에 의해 촬영된 타겟 이미지를 가스감지모델(220)에 입력하고, 가스감지모델(220)로부터 출력되는 가스발생 추정영역에 대한 좌표 및 가스발생 확률값을 기초로 타겟 이미지 내에 가스발생 추정영역이 포함되어 있는지 여부를 판단한다. 일 실시예에 있어서, 가스감지부(225)는 산출된 가스발생 확률값과 문턱값을 비교하여 가스발생 확률값이 문턱값 이상이면 타겟 이미지에 가스발생 추정영역이 포함된 것으로 판단하고, 타겟영역 내에서 실제 가스가 발생된 것으로 판단한다.

가스감지부(225)는 타겟 이미지에 가스발생 추정영역이 포함된 것으로 판단되면 가스감지모델(220)로부터 출력된 가스발생 추정영역에 대한 좌표를 위치결정부(230)로 전달한다.

위치결정부(230)는 타겟영역 내에서 가스발생 추정영역의 실제위치를 결정한다. 구체적으로, 위치결정부(230)는 가스발생 추정영역에 대한 좌표를 위치 정보 데이터베이스(250)에 저장된 위치정보와 비교함으로써 타겟영역 내에서 가스발생 추정영역의 실제위치를 판단한다.

일례로, 코크스 오븐공장에 설치된 복수개의 도어 별로 각 도어의 위치정보가 위치정보 데이터베이스(250)에 저장되어있는 경우, 위치결정부(230)는 가스감지부(225)로부터 전달된 가스발생 추정영역에 대한 좌표를 위치정보 데이터 베이스(250)에 저장된 위치정보와 비교하여, 실제 가스가 발생된 도어번호를 판단하고, 해당 도어번호에 해당하는 영역이 가스발생 추정영역의 실제위치인 것으로 결정할 수 있다.

위치결정부(230)는 가스가 감지되면, 모니터링부(270)로 가스 감지 정보를 전송할 수 있다. 가스감지정보는 타겟 영역 중 가스발생 추정영역의 실제위치, 가스가 발생된 시간 등을 포함할 수 있다.

위치 매핑부(240)는 타겟영역을 미리 촬영한 기준 이미지 내에서 타겟영역을 복수개의 서브영역으로 분할하고, 각 서브영역 별로 위치정보를 매핑하여 위치정보를 생성한다. 일 실시예에 있어서, 타겟 영역이 코크스 오븐공장에 설치된 복수개의 도어인 경우 서브영역은 각 도어 별로 분할되어 설정될 수 있고, 각 도어의 도어번호를 해당 서브영역의 위치정보로 매핑할 수 있다.

예컨대, 위치매핑부(240)는 타겟영역에 포함된 각 도어 별로 수직에지 성분을 추출하고, 수직에지성분을 허프변환(Hough Transform)하여 도어간 경계 후보직선을 추출하고, 경계후보직선을 이용하여 타겟영역을 도어 별로 분할하여 서브영역을 생성할 수 있다. 이에 따라, 각 도어가 포함된 서브영역에 해당 도어의 도어번호가 위치정보로 매핑될 수 있다.

위치 매핑부(240)는 생성된 위치정보를 위치 정보 데이터베이스(250)에 저장한다.

모니터링부(270)는 위치 결정부(230)로부터 가스 감지 정보가 수신되는지 여부를 모니터링하고, 가스감지정보가 수신되면 가스감지정보에 포함된 위치정보를 사용자에게 출력한다. 이에 따라, 사용자는 미리 정해진 방식에 따라 해당 위치정보에 있는 작업자에게 가스유출에 대한 경보를 제공함으로써 작업자가 해당 영역으로부터 대피할 수 있도록 한다.

한편, 본 발명에 따른 가스감지시스템(200)은 가스감지모델(220)의 학습을 위해 도 2에 도시된 바와 같이 가스감지모델 학습부(280)를 더 포함할 수 있다.

가스 감지 모델 학습부(280)는 다양한 타입의 학습 이미지를 이용하여 가스 감지 모델(220)을 학습시킨다. 일 실시예에 있어서, 가스 감지 모델 학습부(280)는 서로 다른 타입의 학습 이미지로 가스감지모델(220)을 단계적으로 학습시킬 수 있다. 이때, 학습 이미지의 타입은 가스의 형태에 따라 분류되거나 학습 이미지에 포함된 배경의 종류에 의해 구분될 수 있다.

이하 도 4를 참조하여 본 발명에 따른 가스 감지 모델 학습부(280)에 대해 구체적으로 설명한다.

도 4는 본 발명의 일실시예에 따른 가스 감지 모델 학습부(280)의 구성을 보여주는 도면이다.

도 4에 도시된 바와 같이 가스 감지 모델 학습부(280)는 제1 학습부(410), 제2 학습부(420), 제3 학습부(430), 및 제4 학습부(440)를 포함한다.

도 4에서는 가스감지모델 학습부(280)가 제1 내지 제4 학습부(410-440)를 포함하는 것으로 도시하였으나, 이는 하나의 예일 뿐 가스감지모델 학습부(210)를 구성하는 학습부의 개수는 학습 이미지 타입의 개수에 따라 다양하게 가변될 수 있다. 이때 학습 이미지는 가스가 포함된 가스영상 이미지를 의미할 수 있다.

제1 학습부(410)는 제1 형태의 가스가 포함된 복수개의 제1 타입 학습이미지를 이용하여 가스감지모델(220)을 학습시킨다. 이때 제1 타입 학습이미지 는 미리 정해진 크기의 바운딩 박스 내에서 가스이미지가 차지하는 비율이 기준치 이상인 학습이미지를 의미한다.

일예로, 제1 학습부(410)는 도5에 도시된 바와 같이 바운딩 박스 크기 대비 가스이미지의 비율이 기준치 이상인 학습이미지를 제1 타입 학습이미지로 이용할 수 있다. 이때, 바운딩 박스의 종횡비는 1:1의 크기로 설정될 수 있다.

본 발명에 따른 제1 학습부(410)가 바운딩 박스 크기 대비 가스이미지의 비율이 기준치 이상인 학습이미지를 이용하여 가스감지모델(220)을 먼저 학습시키는 이유는, 이미지 내에서 가스이미지가 차지하는 비율이 큰 학습이미지로 가스감지모델을 학습함으로써, 가스의 고유한 특징이 활성화되도록 하기 위함이다.

다시 도 4을 참조하면, 제2 학습부(420)는 제1 학습부(410)에 의해 학습된 가스 감지 모델(220)을 제2 타입 학습이미지로 학습시킨다. 이때 제2 타입 학습이미지는 미리 정해진 크기의 바운딩 박스 내에서 가스이미지가 차지하는 비율이 기준치 미만인 학습이미지를 의미한다.

일례로, 제2 학습부(420)는 도 6a 및 6b에 도시된 바와 같이 제1 타입 학습이미지의 비교하여 바운딩 박스 대비 가스이미지의 비율이 기준치 미만인 제2 타입 학습이미지를 학습 이미지로 이용할 수 있다.

이에 따라 본 발명에 따른 제2 학습부(420)가 제2 타입 학습이미지로 가스 감지 모델(220)을 학습시킴으로써, 가스 감지 모델(220)이 다양한 형태의 가스에 대한 강건성을 확보할 수 있는 효과가 있다.

제3 학습부(430)는 제2 학습부(420)에 의해 학습된 가스 감지 모델(220)을 배경이 포함되어 있는 이미지들 중 바운딩 박스 내에서 가스 이미지 크기의 비율이 기준치 이상인 복수개의 제3 타입 학습이미지와 복수개의 제1 타입 학습이미지로 학습시킨다. 일 예로, 배경은 가스가 감지되는 코크스 오븐 공장의 도어, 주변 설비, 또는 작업자 등일 수 있다.

본 발명에서 배경이 포함되어 있는 학습 이미지들을 이용하여 가스감지모델을 추가로 학습시키는 이유는, 학습과정에서 가스 이미지가 아닌 다른 이미지의 특징이 활성화되는 것을 방지하기 위한 것이다. 이와 같이 제3 학습부(430)가 배경이 포함되어 있는 제3 타입 학습이미지로 가스 감지 모델(220)을 추가로 학습시킬 수 있어, 가스 감지 모델(220)은 가스가 감지되는 타겟 영역에 포함될 수 있는 다양한 환경에 대한 강건성을 확보할 수 있게 된다.

제4 학습부(440)는 제3 학습부(430)에 의해 학습된 가스 감지 모델(220)을 제1 내지 제3 타입 학습이미지 모두를 이용하여 학습시킨다. 제4 학습부(440)는 제1 내지 제3 학습부(430)에 의해 학습되었던 제1 내지 제3 타입 학습이미지를 가스 감지 모델(220)에 학습시켜 가스 감지 모델(220)을 최적화한다.

이때, 제2 학습부(420)는 제1 학습부(410)보다 학습률(Learning Rate)을 낮추어 학습을 진행할 수 있고, 제3 학습부(430)는 제2 학습부(420)보다 학습률을 낮추어 학습을 진행할 수 있으며, 제4 학습부(440)는 제3 학습부(430)보다 학습률을 낮추어 학습을 진행할 수 있다. 본 발명에서 제1 내지 제4 학습부(440)가 이전 학습부보다 학습률을 낮추어 가스감지모델에 대한 학습을 진행하는 이유는, 오버피팅(Overfitting)을 방지하기 위함이다.

상술한 바와 같이, 본 발명에 따르면 타겟영역에서 촬영된 타겟 이미지를 딥러닝 기반의 가스감지모델을 이용하여 분석함으로써, 타겟영역에서 가스발생여부를 감지할 수 있어 가스발생감지 정확도를 향상시킬 수 있고, 가스감지모델을 다양한 타입의 학습이미지로 학습시킴으로써 가스감지 정확도를 향상시킬 수 있게 된다.

이하, 도7 및 도 8을 참조하여 본 발명에 따른 딥러닝 기반의 가스감지모델을 이용한 가스 감지 방법에 대해 구체적으로 설명한다.

도 7은 본 발명의 일 실시예에 따른 딥러닝 기반의 가스감지모델을 이용한 가스 감지 방법을 보여주는 플로우차트이다. 도 7에 도시된 딥러닝 기반의 가스감지모델을 이용한 가스 감지 방법은 도 2에 도시된 가스 감지 시스템에 의해 수행될 수 있다.

가스 감지 시스템은 가스 발생여부가 감지되어야 하는 타겟 영역을 촬영하여 타겟 이미지를 획득한다(S710). 일 실시예에 있어서 가스 감지 시스템은 n개의 카메라를 통해 n개의 타겟 영역을 촬영하여 n개의 타겟 이미지를 획득할 수 있다.

이후, 가스 감지 시스템은 타겟 이미지를 가스 감지 모델에 입력하여, 타겟 이미지 내에서 가스발생 추정영역에 대한 좌표 및 가스발생 확률값을 산출한다(S720). 이때, 가스발생 추정영역에 대한 좌표는 가스이미지가 포함된 바운딩 박스의 좌표일 수 있다.

일 실시예에 있어서, 가스감지모델은 딥러닝 기반의 영상 인식 객체 알고리즘으로 구현될 수 있다. 일례로, 딥러닝 기반의 영상 인식 객체 알고리즘은 FASTER R-CNN알고리즘(Region Convolutional Neural Network)일 수 있다. 이때, Faster R-CNN 알고리즘은 상술한 도 3에 도시된 바와 같은 구성을 가질 수 있다.

이후, 가스 감지 시스템은 S720에서 산출된 가스발생 확률값과 문턱값을 비교한다(S722). S722의 비교결과, 가스발생 확률값이 문턱값 이상이면 가스 감지 시스템은 타겟 이미지에 가스발생 추정영역이 포함된 것으로 판단하고 S720 에서 산출된 가스발생 추정영역에 대한 좌표를 이용하여 타겟영역 내에서 가스발생 추정영역에 대응되는 영역의 실제위치를 산출한다(S730). 일 실시예에 있어서, 가스 감지 시스템이 코코스 오븐 공장에 적용되는 경우, 가스 감지 시스템은 타겟 이미지에 포함된 복수개의 도어들 중 가스발생 추정영역이 매핑되는 도어의 도어번호를 이용하여 타게영역 내에서 가스발생 추정영역의 실제위치를 산출할 수 있다.

이를 위해, 본 발명에 따른 가스 감지 시스템은 타겟영역을 미리 촬영한 이미지를 타겟 이미지에 포함된 복수개의 도어 이미지 별로 구분하고, 각 도어 이미지에 해당하는 서브영역에 각 도어의 도어번호를 매핑하여 저장할 수 있다.

이후, 가스 감지 시스템은 가스발생여부 및 가스발생 추정영역의 실제위치정보를 포함하는 가스 감지 정보를 출력한다(S740). 이에 따라, 미리 정해진 방식에 따라 해당 위치정보에 있는 작업자에게 가스유출에 대한 경보를 제공함으로써 작업자가 해당 영역으로부터 대피하도록 할 수 있다.

상술한 실시예에 있어서, 가스 감지 시스템은 가스감지 정확도를 향상시키기 위해 미리 정해진 복수개의 학습 이미지를 이용하여 가스감지모델을 학습시킬 수 있다. 일 실시예에 있어서, 가스 감지 시스템은 서로 다른 타입의 학습 이미지로 가스감지모델을 단계적으로 학습시킬 수 있다. 이때, 학습 이미지의 타입은 가스의 형태에 따라 분류되거나 학습 이미지에 포함된 배경의 종류에 의해 구분될 수 있다. 학습이미지는 가스가 포함된 가스영상 이미지일 수 있다.

이하, 본 발명에 따른 가스감지시스템이 가스감지모델을 학습시키는 방법을 도 8을 참조하여 구체적으로 설명한다.

도 8은 본 발명의 일 실시예에 따른 가스감지모델 생성방법을 보여주는 플로우차트이다.

먼저, 가스 감지 시스템은 제1 형태의 가스가 포함된 복수개의 제1 타입 학습이미지를 이용하여 가스감지모델을 학습시킨다(S810). 이때 제1 타입 학습이미지 는 미리 정해진 크기의 바운딩 박스 내에서 가스이미지가 차지하는 비율이 기준치 이상인 학습이미지를 의미한다. 본 발명에 따른 가스 감지 시스템이 바운딩 박스 크기 대비 가스이미지의 비율이 기준치 이상인 제1 타입 학습이미지를 이용하여 가스감지모델을 1차적으로 학습시키는 이유는, 이미지 내에서 가스이미지가 차지하는 비율이 큰 학습이미지로 가스감지모델을 학습시킴으로써, 가스의 고유한 특징을 활성화시킬 수 있기 때문이다.

이후, 가스 감지 시스템은 제1 타입 학습이미지를 이용하여 학습된 가스 감지 모델을 제2 타입 학습이미지로 학습시킨다(S820). 이때 제2 타입 학습이미지 는 제2 형태의 가스이미지가 포함된 학습이미지일 수 있다. 구체적으로, 제2 타입 학습 이미지는 미리 정해진 크기의 바운딩 박스 내에서 가스이미지가 차지하는 비율이 기준치 미만인 학습이미지를 의미한다.

이와 같이 본 발명에 따른 가스감지시스템이 제2 타입 학습이미지로 가스 감지 모델을 추가로 학습시킴으로써, 가스 감지 모델은 다양한 형태의 가스에 대한 강건성을 확보할 수 있게 된다.

이후, 가스 감지 시스템은 제2 타입 학습이미지로 학습된 가스 감지 모델을 복수개의 제1 타입 학습이미지 및 복수개의 제3 타입 학습 이미지를 이용하여 학습시킨다(S830). 이때, 제3 타입 학습이미지 는 배경이 포함되어 있는 이미지들 중 바운딩 박스 내에서 가스 이미지 크기의 비율이 기준치 이상인 학습 이미지를 의미한다. 일 예로, 배경은 가스가 감지되는 코크스 오븐 공장의 도어, 주변 설비, 또는 작업자 등일 수 있다.

본 발명에서 가스이미지 이외에 배경이 추가로 포함되어 있는 제3 타입 학습 이미지들을 이용하여 가스감지모델을 추가로 학습시키는 이유는, 학습과정에서 가스 이미지가 아닌 다른 이미지의 특징이 활성화되는 것을 방지하기 위한 것이다. 이와 같이 제3 타입 학습이미지로 가스 감지 모델을 추가로 학습시킴으로써 가스 감지 모델은 가스가 감지되는 타겟 영역에 포함될 수 있는 다양한 환경에 대한 강건성을 확보할 수 있게 된다.

이후, 가스 감지 시스템은 제1 및 제3 타입 학습이미지로 학습된 가스 감지 모델을 제1 내지 제3 타입 학습이미지 모두를 이용하여 추가로 학습시킴으로써 가스감지모델을 생성한다(S840). 가스 감지 시스템은 제1 및 제3 타입 학습이미지로 학습되었던 가스감지모델을 제1 내지 제3 타입 학습이미지 모두로 학습시킴에 의해 가스 감지 모델을 최적화할 수 있다.

본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.

예컨대, 도 7 및 도 8에 도시된 방법은 어플리케이션이나 에이전트와 같은 프로그램 형태로 구현되어 해당 프로그램을 리딩할 수 있는 매체에 탑재될 수 있을 것이다. 도 7 및 도 8에 도시된 방법이 프로그램으로 구현되는 경우, 도 7 및 도 8에 도시된 각 단계들이 코드로 구현되고, 특정 기능을 구현하기 위한 코드들이 하나의 프로그램으로 구현되거나, 복수개의 프로그램을 분할되어 구현될 수도 있을 것이다.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

200: 가스 감지 시스템 220: 가스 감지모델
210: 촬영부 225: 가스감지부
230: 위치결정부 240: 위치 매핑부
250: 위치정보 데이터베이스 270: 모니터링부
280: 가스 감지모델 학습부

Claims

타겟 영역을 촬영하여 타겟 이미지를 생성하는 촬영부;
가스감지모델에 상기 타겟 이미지를 입력하여 상기 가스감지모델로부터 상기 타겟 이미지 내에서 가스발생 추정영역의 좌표 및 가스발생 확률값을 획득하고, 상기 가스발생 확률값과 문턱값의 비교결과에 따라 가스 발생 여부를 판단하는 가스감지부;
상기 가스발생 추정영역의 좌표를 이용하여 상기 타겟 영역 내에서 상기 가스발생 추정영역의 실제위치를 결정하는 위치결정부; 및
미리 정해진 바운딩 박스 내에서 가스 이미지 크기의 비율이 서로 다른 복수개의 학습 이미지로 상기 가스감지모델을 학습시키고, 상기 학습된 가스감지모델을 배경이 포함되어 있는 복수개의 학습 이미지로 다시 학습 시키는 가스감지모델 학습부를 포함하는 것을 특징으로 하는 가스감지모델을 이용한 가스감지 시스템.
제1항에 있어서,
상기 타겟 영역을 미리 촬영하여 획득한 기준 이미지를 이용하여 상기 타겟 영역을 복수개의 서브영역으로 분할하고, 각 서브영역 별로 식별자를 매핑하는 위치 매핑부를 더 포함하고,
상기 가스감지부는 상기 가스가 감지되면, 상기 타겟 이미지 내에서 상기 가스발생 추정영역에 대응되는 서브영역을 검출하고, 검출된 서브영역의 식별자를 기초로 상기 가스발생 추정영역의 실제위치를 결정하는 것을 특징으로 하는 가스감지모델을 이용한 가스감지 시스템.
제2항에 있어서,
상기 타겟영역은 복수개의 도어가 설치되어 있고,
상기 위치 매핑부는,
상기 기준 이미지 내에서 상기 타겟영역을 각 도어 별로 분할하여 상기 도어 별로 서브영역을 생성하고, 각 도어의 실제번호를 상기 서브영역의 식별자로 매핑하는 것을 특징으로 하는 가스감지모델을 이용한 가스감지 시스템.
제1항에 있어서,
상기 타겟영역을 촬영하여 획득한 기준 이미지 내에 포함된 도어의 수직 에지 성분을 허프변환(Hough Transform)하여 각 도어 간 경계 후보직선을 추출하고, 상기 기준 이미지 내에서 상기 타겟영역을 상기 경계 후보직선을 기준으로 분할한 서브영역 별로 식별자를 매핑하는 위치 매핑부를 더 포함하는 것을 특징으로 하는 가스감지모델을 이용한 가스감지 시스템,
제1항에 있어서,
상기 가스감지모델 학습부는 상기 바운딩 박스 내에서 상기 가스 이미지의 크기가 기준치 이상인 복수개의 제1 타입 학습 이미지로 상기 가스감지모델을 1차 학습시키고, 1차 학습된 상기 가스감지모델을 상기 바운딩 박스 내에서 상기 가스 이미지의 크기가 상기 기준치 미만인 복수개의 제2 타입 학습 이미지로 2차 학습시키며, 2차 학습된 상기 가스감지모델을 상기 제1 타입 학습 이미지 및 상기 배경이 포함되어 있는 복수개의 제3 타입 학습 이미지로 3차 학습시키고, 상기 3차 학습된 가스감지모델을 상기 제1 타입 학습 이미지, 상기 제2 타입 학습 이미지, 및 상기 제3 타입 학습 이미지를 모두 이용하여 4차 학습시키는 것을 특징으로 하는 가스감지모델을 이용한 가스 감지 시스템.
제1항에 있어서,
상기 가스감지모델은 FASTER R-CNN(Region Convolutional Neural Network) 알고리즘을 상기 복수개의 학습 이미지로 학습함에 의해 생성되는 것을 특징으로 하는 가스감지모델을 이용한 가스 감지 시스템.
미리 정해진 바운딩 박스 내에서 가스 이미지 크기의 비율이 기준치 이상인 복수개의 제1 타입 가스영상 이미지를 이용하여 딥러닝 기반의 영상인식 객체 알고리즘을 학습시키는 단계; 및
상기 복수개의 제1 타입 가스 영상 이미지 및 배경이 포함되어 있고 상기 바운딩 박스 내에서 상기 가스 이미지 크기의 비율이 상기 기준치 이상인 복수개의 제3 타입 가스 영상 이미지 중 적어도 하나를　이용하여 상기 딥러닝 기반의 영상 인식 객체 알고리즘을 순차적으로 학습시켜 가스감지모델을 생성하는 단계를　포함하는 것을　특징으로 하는 가스감지모델 생성방법
제7항에 있어서,
상기 딥러닝 기반의 영상인식 객체 알고리즘은 FASTER R-CNN 알고리즘인 것을 특징으로 하는 가스감지모델 생성방법.
제7항에 있어서,
상기 가스감지모델을 생성하는 단계 이전에, 상기 바운딩 박스 내에서 가스 이미지 크기의 비율이 상기 기준치 미만인 복수개의 제2 타입 가스영상 이미지를 이용하여 상기 딥러닝 기반의 영상 인식 객체 알고리즘을 학습시키는 단계를 더 포함하는 것을 특징으로 하는 가스감지모델 생성방법.
제9항에 있어서,
상기 가스감지모델을 생성하는 단계는,
상기 제2 타입 가스영상 이미지로 학습된 딥러닝 기반의 영상인식 객체 알고리즘을 상기 제1 및 제3 타입 가스영상 이미지로 학습시키는 단계; 및
상기 제1 및 제3 타입 가스영상 이미지로 학습된 딥러닝 기반의 영상인식 객체 알고리즘을 상기 제1 타입 가스영상 이미지, 상기 제2 타입 가스영상 이미지, 및 상기 제3 타입 가스영상 이미지를 모두 이용하여 학습시키는 단계를 포함하는 것을 특징으로 하는 가스감지모델 생성방법.
제10항에 있어서,
n-1차(n은 2 이상의 자연수)차 학습의 학습률은 n 차 학습의 학습률보다 큰 값으로 설정되는 것을 특징으로 하는 가스감지모델 생성방법.
타겟영역을 촬영하여 타겟 이미지를 획득하는 단계;
상기 타겟 이미지를 가스감지모델에 입력하여 상기 타겟 이미지 내에서 가스발생 추정영역의 좌표 및 가스발생 확률값을 산출하는 단계;
상기 가스발생 확률값과 문턱값을 비교하여 상기 타겟영역에서 가스 발생 여부를 판단하는 단계; 및
상기 타겟영역에서 가스가 발생된 것으로 판단되면 상기 타겟영역 내에서 상기 가스발생 추정영역의 실제위치를 결정하는 단계를 포함하고,
상기 가스감지모델은 미리 정해진 바운딩 박스 내에서 가스 이미지 크기의 비율이 서로 다른 복수개의 학습 이미지로 학습된 이후, 배경이 포함되어 있는 복수개의 학습 이미지로 다시 학습되는 것을 특징으로 하는 가스감지모델을 이용한 가스감지 방법.
제12항에 있어서,
상기 타겟영역을 미리 촬영하여 획득한 기준 이미지 상에서 상기 타겟영역을 복수개의 서브영역으로 분할하고, 각 서브영역 별로 식별자를 매핑하는 단계를 더 포함하고,
상기 실제위치를 결정하는 단계는, 상기 가스발생 추정영역에 대응되는 서브영역을 검출하고, 검출된 서브영역의 식별자를 기초로 상기 가스발생 추정영역의 실제위치를 결정하는 것을 특징으로 하는 가스감지모델을 이용한 가스감지 방법.
제13항에 있어서,
상기 타겟영역은 복수개의 도어가 설치되어 있고,
상기 실제 위치를 결정하는 단계는,
상기 기준 이미지 내에서 상기 타겟영역을 각 도어 별로 분할하여 서브영역을 생성하고, 각 도어의 실제번호를 상기 서브영역의 식별자로 매핑하는 것을 특징으로 하는 가스감지모델을 이용한 가스감지 방법.
제12항에 있어서,
상기 가스감지모델은 상기 바운딩 박스 내에서 상기 가스 이미지의 크기가 기준치 이상인 복수개의 제1 타입 학습 이미지로 1차 학습되고, 1차 학습된 상기 가스감지모델은 상기 바운딩 박스 내에서 상기 가스 이미지의 크기가 상기 기준치 미만인 복수개의 제2 타입 학습 이미지로 2차 학습되며, 2차 학습된 상기 가스감지모델은 상기 복수개의 제1 타입 학습 이미지 및 상기 배경이 포함되어 있는 복수개의 제3 타입 학습 이미지로 3차 학습되고, 상기 3차 학습된 가스감지모델은 상기 제1 타입 학습 이미지, 상기 제2 타입 학습 이미지, 및 상기 제3 타입 학습 이미지를 모두 이용하여 4차 학습되는 것을 특징으로 하는 가스감지모델을 이용한 가스감지 방법.
삭제