KR101972055B1 - Cnn 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템 - Google Patents

Cnn 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템 Download PDF

Info

Publication number
KR101972055B1
KR101972055B1 KR1020180151962A KR20180151962A KR101972055B1 KR 101972055 B1 KR101972055 B1 KR 101972055B1 KR 1020180151962 A KR1020180151962 A KR 1020180151962A KR 20180151962 A KR20180151962 A KR 20180151962A KR 101972055 B1 KR101972055 B1 KR 101972055B1
Authority
KR
South Korea
Prior art keywords
image
cnn
area
infrared image
risk
Prior art date
Application number
KR1020180151962A
Other languages
English (en)
Inventor
오원식
이우귀연
오정석
이진한
조영도
문종삼
Original Assignee
한국가스안전공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국가스안전공사 filed Critical 한국가스안전공사
Priority to KR1020180151962A priority Critical patent/KR101972055B1/ko
Application granted granted Critical
Publication of KR101972055B1 publication Critical patent/KR101972055B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/00362—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 CNN(Convolutional Neural Networks) 알고리즘을 기반으로 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 시스템에 관한 것으로서, 위험 지역 내에 설치되어 작업자의 유무를 감지하는 인체감지센서; 상기 인체감지센서가 작업자를 감지하여 발생시키는 감지신호에 따라 위험 지역을 촬영하는 적외선카메라; 및, 상기 적외선카메라가 촬영한 적외선 이미지 화일(IR Image file)을 전송받아 CNN(Convolutional Neural Networks) 알고리즘 기반으로 분석하여 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 위험도 분석 서버;를 포함하여 구성되는 것을 특징으로 한다.

Description

CNN 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템{CNN based Workers and Risky Facilities Detection System on Infrared Thermal Image}
본 발명은 인경신경망 가운데 이미지 인식분야에 주로 사용되는 합성곱 신경망(CNN, Convolutional Neural Networks)을 적용하여 저해상도 적외선 이미지를 분석하고, 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 시스템에 관한 것이다.
일반적으로 산업단지 및 공장에서 위험 및 안전관리를 위해 주요 가스시설에 계측기기를 장착하여 중앙 컨트롤센터에서 측정인자를 실시간으로 모니터링하고 있다.
특히, 압력, 온도, 진동 등 개별적으로 위험인자를 측정하여 분석 및 검토를 수행하는 단순 분석 작업이 현업에선 주류를 이루고 있지만, 다수의 위험인자를 병렬적으로 입력받아 종합 분석하고, 이를 표현하는 방안에 관한 연구도 현재 수행되고 있다.
하지만, 위험 시설에서 근무하는 작업자에 대한 위험 관리 시스템은 체계적으로 구축되어 있지 않으며, 일반적으로 CCTV를 활용하여 작업자의 상태를 모니터링하는데, 이러한 종래의 모니터링 방식은 다음과 같은 문제점이 수반된다.
첫째, 작업자의 업무 상태를 여과 없이 관리자에게 보여주기 때문에 작업자들의 사생활 침해, 작업자 감시 문제 등을 초래한다는 문제점이 있다.
둘째, 별도의 모니터링 요원이 필요하기 때문에 인건비가 발생하며, 모니터링 화면이 1, 4, 6, 9개로 증가할 때마다 인식률이 각각 85%, 74%, 58%, 53% 로 감소되어 모니터링 효율이 저하된다는 문제점이 있다.
셋째, CCTV에서 촬영된 자연 이미지를 그대로 전송하기 때문에 전송량이 과도하게 크고, 이로 인하여 높은 전송 속도가 요구되고, 네트워크 상태가 좋지 않으면 영상이 끊기거나 오류를 일으킬 수 있다는 문제점이 있다.
넷째, 모니터링 장소를 그대로 보여주며, 특정 객체에 대한 인식 기능은 존재하지 않으며, 특히, 작업자를 감지하고 작업여부를 파악하는 것이 불가능하다는 한계가 있다.
다섯째, 모니터링 대상 시설 전체에 대한 위험도를 실시간으로 산출하기 위한 기술적 연계성이 존재하지 않으며, 어떠한 위험정보도 자동으로 검출하여 관리자에게 알리는 것이 불가능하다.
[선행기술문헌]
공개특허 제10-2015-0089313호
등록특허 제10-1652099호
등록특허 제10-1805713호
상기한 문제점을 해결하기 위하여 창작된 본 발명의 목적은 다음과 같다.
첫째, 가연성 물질이나 유해 물질을 취급하는 위험 지역에서 작업자들의 안전을 예측하기 위하여 지능형 알고리즘을 기반으로 작업자 및 위험시설을 식별할 수 있는 수단을 제공함을 본 발명의 목적으로 한다.
둘째, 저해상도의 적외선 카메라를 사용하여 작업자를 모니터링하는 방식을 선택함으로써 데이터 전송량을 최소화하여 비용 상승을 막고, 모니터링에 대한 작업자의 반감을 저감하는 것을 본 발명의 또 다른 목적으로 한다.
셋째, 위험 지역 내 물질의 온도가 변화하는 공정(가연성 가스 충전, 화공물질 반응)이 이루어지는 경우 위험 물질의 상태를 모니터링하여 작업자의 위험을 경고할 수 있는 수단을 제공함을 본 발명의 또 다른 목적으로 한다.
넷째, 기존 개발된 이미 개발된 위험지도(Risk Map)를 이용한 위험도 분석 시스템에 쉽게 접목시킬 수 있는 작업자 및 위험시설 식별 수단을 제공함을 본 발명의 또 다른 목적으로 한다.
상기한 목적을 달성하기 위하여 창작된 본 발명의 기술적 구성은 다음과 같다.
본 발명은 CNN(Convolutional Neural Networks) 알고리즘을 기반으로 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 시스템에 관한 것으로서, 위험 지역 내에 설치되어 작업자의 유무를 감지하는 인체감지센서; 상기 인체감지센서가 작업자를 감지하여 발생시키는 감지신호에 따라 위험 지역을 촬영하는 적외선카메라; 및, 상기 적외선카메라가 촬영한 적외선 이미지 화일(IR Image file)을 전송받아 CNN(Convolutional Neural Networks) 알고리즘 기반으로 분석하여 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 위험도 분석 서버;를 포함하여 구성되는 것을 특징으로 한다.
본 발명의 구성에 따른 기술적 효과는 다음과 같다.
첫째, 가연성 물질이나 유해 물질을 취급하는 위험 지역에서 작업자들의 안전을 예측하기 위하여 지능형 알고리즘을 기반으로 작업자 및 위험시설을 식별할 수 있다.
둘째, 저해상도의 적외선 카메라를 사용하여 작업자를 모니터링하는 방식을 선택함으로써 데이터 전송량을 최소화하여 비용 상승을 막고, 모니터링에 대한 작업자의 반감을 저감할 수 있다.
셋째, 위험 지역 내 물질의 온도가 변화하는 공정(가연성 가스 충전, 화공물질 반응)이 이루어지는 경우 위험 물질의 상태를 모니터링하여 작업자의 위험을 경고할 수 있다.
넷째, 별도의 모니터링 요원이 없더라도 위험 지역 내의 작업자 및 위험시설을 식별할 수 있고, 종래의 다른 모니터링 시스템에 비하여 비용을 절감할 수 있다.
다섯째, 기존 개발된 이미 개발된 위험지도(Risk Map)를 이용한 위험도 분석 시스템에 쉽게 접목시킬 수 있고, 본 발명을 위험지도(Risk Map)를 이용한 위험도 분석 시스템에 결합할 경우 해당 지역 내에 작업자가 식별되면 관련 작업의 휴먼에러 빈도값을 할당하여 해당 지역의 위험도 변화를 실시간으로 나타낼 수 있다.
도1은 본 발명에 따른 작업자 및 위험시설 식별 결과를 활용하여 작업자의 작업 위험도를 산출하는 과정을 도시하는 블록도이다.
도2는 본 발명의 위험도 분석 서버에서 CNN(Convolutional Neural Networks) 알고리즘에 따라 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 과정을 나타낸다.
도3은 적외선 이미지 내에서 작업자와 위험시설의 위치 인식 확률을 높이기 위해 이미지를 전처리하는 과정을 나타낸다.
도4는 본 발명에 따른 작업자 및 위험시설 식별 결과를 활용하여 작업자의 작업 위험도를 산출하는 구조를 나타낸다.
도5는 본 발명에 따른 작업자 및 위험시설 식별 결과를 이미 개발된 위험지도를 이용한 위험도 분석 시스템에 접목하여 각 구역별로 위험도를 시각적으로 나타낸다.
이하에서는 본 발명의 구체적 실시예를 첨부도면을 참조하여 보다 상세히 설명한다.
본 발명은 CNN(Convolutional Neural Networks) 알고리즘을 기반으로 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 시스템에 관한 것이다.
본 발명은 인체감지센서, 적외선카메라 및 위험도 분석 서버로 구성된다.
인체감지센서는 위험 지역 내에 설치되어 작업자의 유무를 감지하는 기능을 수행하는데, 인체에서 발생되는 적외선 센서나 움직임을 감지하는 센서 등이 선택될 수 있다.
적외선카메라는 인체감지센서가 작업자를 감지하여 발생시키는 감지신호에 따라 위험 지역을 촬영하는 기능을 수행한다. 즉 24시간 상시 촬영을 하는 것이 아니라 인체감지센서가 작업자를 감지할 경우에만 촬영을 시작하는데, 적외선카메라는 전송 수단이 구비되어 촬영한 적외선 이미지 화일(IR Image file)을 유선 또는 무선 통신수단을 통하여 위험도 분석 서버로 전송한다.
위험도 분석 서버는 적외선카메라가 촬영한 적외선 이미지 화일(IR Image file)을 전송받아 CNN(Convolutional Neural Networks) 알고리즘 기반으로 분석하여 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 기능을 수행한다.
이와 같이 위험도 분석 서버에서 작업자 및 위험시설을 식별하면 그 결과를 활용하여 도1에 도시된 것처럼 휴먼에러 빈도값을 할당(작업자가 없는 경우에는 휴먼에러 빈도값 '0(zero)'을 할당)하여 작업자의 유무에 따른 작업 위험도를 산출할 수 있다. 즉, 작업자가 없는 경우에는 위험시설의 고장빈도만을 고려한 위험도가 산출되며, 작업자가 감지되면 휴먼에러 빈도가 함께 고려되어 작업자가 감지되지 않은 경우보다 위험도가 상승하게 된다.
위험도 분석 서버는 도2에 도시된 것처럼 다음과 같은 과정으로 적외선 이미지 내에서 작업자 및 위험시설을 식별하게 된다.
(1) 이미지 입력 단계(Input Image)
적외선카메라가 촬영하여 전송한 적외선 이미지 화일을 전송받는 과정이다.
적외선카메라가 설치된 장소에 작업자가 출입하면 인체감지센서가 이를 감지하게 되고, 인체감지센서의 감지신호에 따라 적외선카메라는 촬영을 시작한다.
적외선카메라는 저해상도 적외선 이미지 파일을 생성함으로써 모니터링에 대한 작업자의 반감을 저하시키고, 데이터 전송량을 최소화할 수 있다.
(2) 이미지 전처리 단계(Preprocess)
전송된 적외선 이미지의 명암 차이를 강화하고, 노이즈를 제거한 후 배경으로 추정되는 영역을 제거하는 과정으로서, 저해상도 적외선 이미지의 객체 인식 효율을 높이기 위해 설계된다.
이러한 이미지 전처리 단계는 도3에 예시적으로 제시되어 있는데, 도4의 1번(좌측 상단)은 이미지 전처리 단계를 거치지 않은 적외선 이미지 원본이고, 도4의 2번(우측 상단)은 명암 차이를 강화하고 노이즈를 제거한 상태이고, 도4의 3(좌측 하단)은 배경을 제거한 상태이고, 도4의 4(우측 하단)은 이미지 전처리 단계 이후 객체 예상 단계에서 예상 객체의 좌표를 추출하는 과정이다.
이미지 전처리 단계를 살펴보면, 먼저 적외선 이미지 내에서 가장 밝은 점과 가장 어두운 점을 추출하여 두 점 사이의 명암 값 차이를 구하고, 구해진 명암 값 차이와 흑백 이미지가 가질 수 있는 최대 명암 차이(가장 밝은 색 백색(명암 값 255), 가장 어두운 색 검은색(명암 값 0), 255-0=255)의 비율을 구하고, 적외선 이미지 내의 모든 점들에 대하여 구해진 비율을 곱하여 명암 차이를 극대화하여 적외선 이미지 내의 형상들이 두드러지도록 가공한다.
이를 좀 더 자세히 설명하면, 적외선 이미지 내에서 가장 어두운 점과 가장 밝은 점 및 밝기가 중간인 중간 점을 추출하고, 가장 어두운 점은 0의 값을 부여하고, 가장 밝은 점은 255의 값을 부여하고, 중간 점은 그대로 두면 중간 점을 기준으로 가장 어두운 점이 0 으로 대치되는 비율에 따라서 중간 점 보다 어두운 점은 0에 가깝게 조정되고, 가장 밝은 점이 255로 대치되는 비율에 따라서 중간 점보다 밝은 점은 255에 가깝게 조정된다.
이와 같은 방법에 불구하고 식별 효과가 떨어질 경우, 전체 구성 색상에서 가장 밝은 점보다 30%까지 어두운 점을 255로 대치하고 가장 어두운 점보다 30%까지 밝은 점을 0으로 대치하여 상기 방법을 되풀이한다. 이때 30%와 같은 구체적인 수치는 적외선 이미지 특성을 고려하여 가장 적절한 비율을 찾아 입력한다.
그 다음 과정으로 Open CV 라이브러리를 이용하여 노이즈를 제거한다. Open CV 라이브러리는 영상 처리와 컴퓨터 비전 관련 오픈 소스 라이브러리로서 C/C++ 프로그래밍 언어로 개발되었는데, python, java, matlab등 다양한 개발환경을 지원하며, 2,500개 이상의 포괄적인 컴퓨터 비전과 머신러닝 알고리즘을 제공한다.
마지막 과정으로 적외선 이미지 내에서 객체가 존재할 수 없는 영역의 명암 값의 최대값과 최소값을 추출하여 배경 명암 영역을 결정한 후 이미지의 전체 영역에서 배경 명암 영역에 해당하는 위치를 검은색(명암 값=0)으로 표시하여 배경을 제거하는데, 배경을 제거함으로써 적외선 이미지 내 배경색과 객체가 가지는 명암의 차이가 작은 경우 객체 추출의 효율이 떨어지는 것을 효과적으로 방지할 수 있다.
(3) 객체 예상 단계(Edge Detection)
배경으로 처리된 영역을 제외한 나머지 영역에 대하여 객체(작업자 및 위험시설)로 예상하고 좌표를 추출하는 과정인데, 추출되는 좌표 내 영역의 면적이 미리 설정된 수치 이하가 되면 노이즈로 간주하여 좌표를 추출하지 않는다.
(4) 예상 객체 표시 단계(Bounding Box)
예상된 객체 좌표를 사각형의 형태로 연결하고, 이를 예상 객체 영역으로 규정하는 과정이다.
(5) 객체 영역 추가 선출 단계(Box Resize and Change Location)
예상 객체 영역을 중심으로 추가적으로 객체 영역을 더 산출하는 과정으로서, 이러한 과정이 포함되는 이유는 배경 제거를 통하여 검출된 예상 객체 영역보다 더 최적화된 영역이 존재할 수 있기 때문이다.
(6) 예상 객체 추출 단계(Image Crop)
예상 객체 영역을 CNN(Convolutional Neural Networks) 알고리즘에 입력하는 과정인데, 실제로 이미지를 잘라 저장하지는 않으며, 사각형 영역에 해당하는 좌표 정보를 CNN 알고리즘에 입력한다.
(7) 개체 분류 단계(Object Predict)
CNN(Convolutional Neural Networks) 알고리즘을 통하여 객체를 작업자, 위험시설, 및 기타의 3가지 종류로 분류하는 과정이다.
입력된 객체는 인공지능 딥러닝(Deep Learning) CNN 알렉스넷(AlexNet) 알고리즘을 적용하여 3가지 종류로 분류하게 되는데, 분류하는 방법은 활성화 함수의 일종인 ReLu 함수(Rectified Linear Unit function)를 통해 객체의 종류별로 각각의 적합 확률을 계산하고, 가장 높은 적합 확률을 가지는 종류가 해당 객체의 종류로 결정된다.
AlexNet은 2012년 Alex Krizhevsky가 제한한 CNN모델이다. 5개의 Convolution layer와 3개의 Fully-connected layer를 포함하여 총 8개의 레이어로 구성된다. 낮은 층은 이미지 상의 각 세부영역에서 저수준의 특징들(점, 선, 면, 위치)을 찾아낸다. 층이 증가하면서 높은 층에선 서로 가까운 것들끼리 조합되어 복잡도가 증가되어 패턴의 변화가 증가되어 고수준의 특징을 찾아내게 되며 추상적인 표현이 학습되며, 마지막 Convolution layer(Layer 5)에서 첫 번째 Fully-connected(Layer6) layer 층으로 올라가면서 합성곱 계층의 결과가 합쳐지며 완전연결 계층들을 거쳐 결과를 출력하게 된다.
VGG, GoogleNet, ResNet등 현재 AlexNet 보다 우수한 성능을 가진 딥러닝 모델들이 존재하고, CNN 모델을 평가해 보았을 때 Convolution 계층의 깊이가 깊을수록 이미지 분류의 정확도가 높으나 본 발명의 구체적 실시예에서 AlexNet의 적용 이유는 다른 모델보다 Convolution 계층이 적어 연산량이 적고, 학습속도가 빠르고, 다양한 이미지 인식문제에서 AlexNet만으로도 준수한 성능을 이끌어 낼 수 있기 때문이다.
활성화 함수의 일종인 ReLU 함수(Rectified Linear Unit Function)는,
f(x)=max(0,x)
이며, x ＞ 0 이면 기울기가 1인 직선, x ＜ 0이면 0을 출력한다.
ReLU 함수는 AlexNet과 같이 망의 크기가 큰 경우 sigmoid, tanh와 같은 함수는 학습속도에 큰 영향을 미친다. ReLU 함수는 포화가 되지 않는(non-saturated) 비선형 구조를 가지며, 포화되는(saturated) sigmoid, tanh 함수와 같은 비선형 구조보다 수 배 빠르게 수렴하며, 미분을 계산하는 비용이 들어가지 않아 학습속도가 빠르다는 장점이 있다.
(8) 객체 영역 결정 단계(Object Detection)
예상 객체 영역과 추가 선출된 객체 영역들에 대하여 CNN(Convolutional Neural Networks) 알고리즘을 통해 결정된 적합 확률을 비교하여 가장 높은 확률을 가지는 객체 영역을 해당 종류에 대한 객체 영역으로 결정하는 과정이다.
최종적으로 결정된 객체 영역은 작업자는 붉은색, 위험시설은 녹색의 사각형으로 원본 적외선 이미지 위에 표시될 수 있다.
도4는 본 발명에 따른 작업자 및 위험시설 식별 결과를 활용하여 작업자의 작업 위험도를 산출하는 구조를 나타내는 것이다.
도4를 참조하면, 좌측은 어떤 위험시설에 대한 Fault Tree에서 휴먼에러에 대한 노드가 추가된 것을 한 예시로 나타내며, 우측은 적외선 이미지 내에 작업자가 검출될 때 휴먼에러 노드에 해당 휴먼에러 빈도값이 할당되고, 작업자가 검출되지 않을 때 휴먼에러 노드의 휴먼에러 빈도값이 0으로 할당되는 것을 예시적으로 나타낸다.
도4의 좌측에 대하여 설명하면, 일반적으로 위험시설의 위험도를 산출하기 위해 Fault Tree Analysis 라는 논리 트리 기법을 이용하는데, 각 노드들은 특정 고장 사고(이벤트)나 휴먼에러 사고(이벤트)를 대표하며 서로 인과 관계로 연계되어 있다. 또한, 해당 사고에 대한 특정 발생 빈도값(고장 확률 또는 휴먼에러 발생 확률)을 가진다.
하위 노드들의 빈도값은 인과관계에 따라 최종 사고(최상위 노드) 발생 빈도에 영향을 미치며, 최하단에 추가된 휴먼에러 이벤트의 빈도값도 다른 노드들과 마찬가지로 영향을 미칠 수 있다.
도4의 우측에 대하여 설명하면, 휴먼에러 노드의 빈도값은 항상 할당될 필요가 없이 작업시에만 반영하고, 작업자가 감지되지 않으면 휴먼에러 빈도값으로 '0'을 할당하여 위험도를 낮추는 것을 뜻한다.
이와 같이 작업자의 감지 유무에 따라 휴먼에러 빈도값을 달리 적용하는 이유는 위험지역에서 일어나는 사고의 약 절반 이상이 휴먼에러에 의해 발생하기 때문에 작업자 작업시 집중적인 위험관리가 필요하고, 반대로 작업자가 없는 경우에는 휴먼에러에 의한 사고가 일어날 가능성이 없는 바 휴먼에러 빈도값을 '0'으로 할당하여 위험 관리에 필요한 인적, 물적 자원을 절약할 수 있기 때문이다.
도5는 본 발명을 이미 개발된 바 있는 위험지도(Risk Map)를 이용한 위험도 분석 시스템(등록특허 제10-1805713호)에 적용한 실시예를 나타내는 것인데, 도5를 참조하면, 위험지도의 위험지역 내에 설치된 적외선 카메라의 위치와 작업자가 감지된 화면이 표시되는 것을 확인할 수 있다.
부가적으로 설명하면, 위험지도(Risk Map)는 위험시설을 전문가와 관리자의 의견을 참조하여 구획하고, 각 구역별로 위험도를 표시하는 기술인데, 위험도는 위험 정도에 따라 붉은색, 주홍색, 황색, 녹색, 푸른색의 다섯 단계로 나누어 표시하며, 붉은색은 가장 위험한 지역, 푸른색은 가장 안전한 지역을 나타낸다.
이와 같이 이미 개발된 위험지도(Risk Map)를 이용한 위험도 분석 시스템에 본 발명인 CNN 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템을 쉽게 접목시킬 수 있다.
이와 같이 본 발명을 위험지도(Risk Map)를 이용한 위험도 분석 시스템에 결합할 경우 해당 지역 내에 작업자가 식별되면 관련 작업의 휴먼에러 빈도값을 할당하여 해당 지역의 위험도 변화를 실시간으로 나타낼 수 있는데, 위험도 변화는 위험도를 나타내는 색의 변화로 표시된다.
상기한 바와 같이 본 발명의 구체적 실시예를 첨부도면을 참조하여 설명하였으나 본 발명의 보호범위가 반드시 이러한 실시예에만 한정되는 것은 아니며, 본 발명의 기술적 요지를 변경하지 않는 범위 내에서 다양한 설계변경, 공지기술의 부가나 삭제, 단순한 수치한정 등의 경우에도 본 발명의 보호범위에 속함을 분명히 한다.

Claims (5)

  1. CNN(Convolutional Neural Networks) 알고리즘을 기반으로 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 시스템에 관한 것으로서,
    위험 지역 내에 설치되어 작업자의 유무를 감지하는 인체감지센서;
    상기 인체감지센서가 작업자를 감지하여 발생시키는 감지신호에 따라 위험 지역을 촬영하는 적외선카메라; 및,
    상기 적외선카메라가 촬영한 적외선 이미지 화일(IR Image file)을 전송받아 CNN(Convolutional Neural Networks) 알고리즘 기반으로 분석하여 적외선 이미지 내에서 작업자 및 위험시설을 식별하는 위험도 분석 서버;
    를 포함하여 구성되고,
    상기 위험도 분석 서버는,
    상기 적외선카메라가 촬영하여 전송한 적외선 이미지 화일을 전송받는 이미지 입력 단계;
    전송된 적외선 이미지의 명암 차이를 강화하고, 노이즈를 제거한 후 배경으로 추정되는 영역을 제거하는 이미지 전처리 단계;
    배경으로 처리된 영역을 제외한 나머지 영역에 대하여 객체(작업자 및 위험시설)로 예상하고 좌표를 추출하는 객체 예상 단계;
    예상된 객체 좌표를 사각형의 형태로 연결하고 예상 객체 영역으로 규정하는 예상 객체 표시 단계;
    예상 객체 영역을 중심으로 추가적으로 객체 영역을 더 산출하는 객체 영역 추가 선출 단계;
    예상 객체 영역을 CNN(Convolutional Neural Networks) 알고리즘에 입력하는 예상 객체 추출 단계;
    CNN(Convolutional Neural Networks) 알고리즘을 통하여 객체를 작업자, 위험시설, 및 기타의 3가지 종류로 분류하는 객체 분류 단계; 및,
    예상 객체 영역과 추가 선출된 객체 영역들에 대하여 CNN(Convolutional Neural Networks) 알고리즘을 통해 결정된 적합 확률을 비교하여 가장 높은 확률을 가지는 객체 영역을 해당 종류에 대한 객체 영역으로 결정하는 객체 영역 결정 단계;
    를 수행하는 것을 특징으로 하는 CNN 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템.
  2. 제1항에서,
    상기 위험도 분석 서버는 이미지 전처리 단계에서,
    적외선 이미지 내에서 명암이 가장 강한 점과 가장 높은 점을 추출하여 두 점 사이의 명암 값 차이를 구하고, 구해진 명암 값 차이와 흑백 이미지가 가질 수 있는 최대 명암 차이(255)의 비율을 구하고, 적외선 이미지 내의 모든 점들에 대하여 구해진 비율을 곱하여 명암 차이를 극대화하여 적외선 이미지 내의 형상들이 두드러지도록 가공하고,
    Open CV 라이브러리를 이용하여 노이즈를 제거하고,
    적외선 이미지 내에서 객체가 존재할 수 없는 영역의 명암 값의 최대값과 최소값을 추출하여 배경 명암 영역을 결정한 후 이미지의 전체 영역에서 배경 명암 영역에 해당하는 위치를 검은색(0)으로 표시하여 배경을 제거하는 것을 특징으로 하는 CNN 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템.
  3. 제2항에서,
    상기 위험도 분석 서버는 객체 예상 단계에서,
    배경으로 처리된 영역을 제외한 나머지 영역에 대하여 객체(작업자 및 위험시설)라고 예상하고 좌표를 추출하되, 좌표 내 영역의 면적이 미리 설정된 수치 이하가 되면 노이즈로 간주하여 좌표를 추출하지 않는 것을 특징으로 하는 CNN 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템.
  4. 제1항 내지 제3항 가운데 어느 한 항에서,
    상기 위험도 분석 서버의 CNN(Convolutional Neural Networks) 알고리즘은 알렉스넷(AlexNet)이 적용되는 것을 특징으로 하는 CNN 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템.
  5. 삭제
KR1020180151962A 2018-11-30 2018-11-30 Cnn 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템 KR101972055B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180151962A KR101972055B1 (ko) 2018-11-30 2018-11-30 Cnn 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180151962A KR101972055B1 (ko) 2018-11-30 2018-11-30 Cnn 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템

Publications (1)

Publication Number Publication Date
KR101972055B1 true KR101972055B1 (ko) 2019-04-24

Family

ID=66282075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180151962A KR101972055B1 (ko) 2018-11-30 2018-11-30 Cnn 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템

Country Status (1)

Country Link
KR (1) KR101972055B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110867045A (zh) * 2019-11-07 2020-03-06 武汉多谱多勒科技有限公司 一种消防现场使用的红外图像人体检测方法与装置
CN111462488A (zh) * 2020-04-01 2020-07-28 北京工业大学 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
CN116363600A (zh) * 2023-06-01 2023-06-30 深圳恒邦新创科技有限公司 一种动车组检修作业风险预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140096822A (ko) * 2013-01-29 2014-08-06 임승남 수중 탐색용 복합 모니터링 장치
KR20160081735A (ko) * 2014-12-31 2016-07-08 주식회사 포스코아이씨티 작업자 행동기반 안전 관리 시스템 및 방법
KR101845769B1 (ko) * 2017-03-21 2018-04-06 경남대학교 산학협력단 Cnn을 이용한 자동차 후면 검출 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140096822A (ko) * 2013-01-29 2014-08-06 임승남 수중 탐색용 복합 모니터링 장치
KR20160081735A (ko) * 2014-12-31 2016-07-08 주식회사 포스코아이씨티 작업자 행동기반 안전 관리 시스템 및 방법
KR101845769B1 (ko) * 2017-03-21 2018-04-06 경남대학교 산학협력단 Cnn을 이용한 자동차 후면 검출 시스템 및 그 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110867045A (zh) * 2019-11-07 2020-03-06 武汉多谱多勒科技有限公司 一种消防现场使用的红外图像人体检测方法与装置
CN111462488A (zh) * 2020-04-01 2020-07-28 北京工业大学 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
CN111462488B (zh) * 2020-04-01 2021-09-10 北京工业大学 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
CN116363600A (zh) * 2023-06-01 2023-06-30 深圳恒邦新创科技有限公司 一种动车组检修作业风险预测方法及系统
CN116363600B (zh) * 2023-06-01 2023-08-01 深圳恒邦新创科技有限公司 一种动车组检修作业风险预测方法及系统

Similar Documents

Publication Publication Date Title
CN110516609B (zh) 一种基于图像多特征融合的火灾视频检测及预警方法
KR101972055B1 (ko) Cnn 기반 적외선 이미지 내 작업자 및 위험시설 식별 시스템
KR101748121B1 (ko) 객체 인지 기반의 실시간 영상 검지 시스템 및 그 방법
Khalil et al. Fire detection using multi color space and background modeling
KR20180037164A (ko) Cctv 자동선별 모니터링 시스템, cctv 자동선별 모니터링 관리서버 및 관리방법
CN112131951B (zh) 一种自动化识别施工中违规使用梯子行为的系统
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN116385948B (zh) 一种预警铁路边坡异常的系统和方法
KR102330055B1 (ko) 드론을 이용한 구조물의 변화 검출 방법 및 시스템
CN115880598B (zh) 一种基于无人机的地面图像检测方法及相关装置
CN110057820B (zh) 在线检测氯化氢合成炉氯氢配比的方法、系统及存储介质
CN104883539A (zh) 一种用于关注区域防篡改的监控方法及系统
KR101581162B1 (ko) 실시간 영상 기반의 화염, 연기 및 물체 움직임 자동 감지 방법, 장치 및 시스템
Kumar et al. Computer vision-based early fire detection using machine learning
CN116403162B (zh) 一种机场场面目标行为识别方法、系统及电子设备
KR20220077404A (ko) 근로자 안전을 위한 다단계 작업현장 안전 관제 방법 및 시스템
CN114119531A (zh) 应用于校园智慧平台的火灾检测方法、装置及计算机设备
Kim et al. On-site safety management using image processing and fuzzy inference
CN114169623A (zh) 一种电力设备故障分析方法、装置、电子设备及存储介质
CN112967335A (zh) 气泡尺寸监测方法及装置
Rattadilok et al. Inferential measurements for situation awareness
CN115082865B (zh) 基于视觉图像识别的桥机入侵危险行为预警方法及系统
CN117523499B (zh) 基于北斗定位与感知的森林防火监测方法及系统
CN104168473B (zh) 一种视频图像的横波干扰的检测方法及装置
CN117455745B (zh) 基于多维融合数据分析的公共安全事件感知方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant