KR102548076B1 - 열화상 이미지 기반 실시간 사람 탐지 방법 - Google Patents

열화상 이미지 기반 실시간 사람 탐지 방법 Download PDF

Info

Publication number
KR102548076B1
KR102548076B1 KR1020220170656A KR20220170656A KR102548076B1 KR 102548076 B1 KR102548076 B1 KR 102548076B1 KR 1020220170656 A KR1020220170656 A KR 1020220170656A KR 20220170656 A KR20220170656 A KR 20220170656A KR 102548076 B1 KR102548076 B1 KR 102548076B1
Authority
KR
South Korea
Prior art keywords
thermal image
image data
virtual fence
danger zone
model
Prior art date
Application number
KR1020220170656A
Other languages
English (en)
Inventor
박정윤
정하일
박정현
Original Assignee
주식회사 인터엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인터엑스 filed Critical 주식회사 인터엑스
Priority to KR1020220170656A priority Critical patent/KR102548076B1/ko
Application granted granted Critical
Publication of KR102548076B1 publication Critical patent/KR102548076B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G08B7/066—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources guiding along a path, e.g. evacuation path lighting strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 AI모델을 이용하여 열화상 카메라가 촬영한 열화상 이미지 데이터로부터 실시간으로 사람을 탐지할 수 있는 열화상 이미지 기반 실시간 사람 탐지 방법에 관한 것으로, 본 발명의 일 실시예에 따른 열화상 이미지 기반 실시간 사람 탐지 방법은, a) 열화상 카메라가 위험구역이 포함된 작업 현장의 주변을 촬영하여 열화상 이미지 데이터를 실시간으로 획득하는 단계; b) 전처리부가 상기 열화상 카메라에서 획득된 열화상 이미지 데이터를 전처리하여 크기(Size)를 조절하는 단계; c) 증강부가 상기 전처리부로부터 수신하는 열화상 이미지 데이터를 증강시키는 단계; 및 d) 객체 탐지부가 학습 및 검증을 완료한 AI모델이 등록된 객체 탐지 알고리즘을 통해 상기 증강부로부터 수신하는 열화상 이미지 데이터로부터 객체에 대한 객체영역을 추출하는 것으로 객체를 탐지하는 단계;를 포함하고, 상기 증강부는, 상기 AI모델의 학습 및 검증 때, 상기 전처리부로부터 수신하는 열화상 이미지 데이터의 명암 조절 및 정규화를 통해 복수개의 열화상 이미지 데이터로 증강시킨 후 상기 AI모델로 송신하며, 상기 객체 탐지 알고리즘으로 송신될 열화상 이미지 데이터는 명암만 조절할 수 있다.

Description

열화상 이미지 기반 실시간 사람 탐지 방법{Detection method of thermal image based real time human}
본 발명은 열화상 이미지 기반 실시간 사람 탐지 방법에 관한 것으로, 보다 상세하게는 AI모델을 이용하여 열화상 카메라가 촬영한 열화상 이미지 데이터로부터 실시간으로 사람을 탐지할 수 있는 열화상 이미지 기반 실시간 사람 탐지 방법에 관한 것이다.
최근 중대재해처벌법 시행으로 인해, 사업 또는 사업장 종사자가 업무로 인하여 부상을 당하는 경우 7년 이하의 징역 또는 1억원 이하의 벌금, 사망자가 발생한 경우에는 1년 이상의 징역 또는 10억원 이하의 벌금을 사업주 또는 경영책임자에게 부과하게 되었다.
이러한 중대재해처벌법의 시행에 따라, 대한민국 공개특허 제10-2022-0059210호(발명의 명칭: 작업장 비전 관리 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체) 등과 같이 위험 설비 주변에 설치된 CCTV나 비전 카메라를 이용하여 위험 설비 주변의 작업자를 감시하는 것으로 작업자를 보호할 수 있다.
그러나 CCTV 및 비전 카메라 기반의 관리 시스템은 중대재해처벌법의 시행에 따라 현장 근로자의 개인정보 보호가 의무화되는 추세이나, 이를 역행하여 설치 목적의 달성과 운영과정에서 개인정보를 수집해야 하므로 개인정보 보호에 어려움이 있으며, 주변환경(낮/밤)에 민감하여 24시간동안 실시간 사람 탐지에 어려운 문제점이 있었다.
대한민국 공개특허 제10-2022-0059210호(2022.05.10 공개)
따라서, 본 발명은 종래 CCTV 및 비전 카메라 기반의 관리 시스템을 개선하기 위해 안출된 것으로서, 본 발명의 목적은 현장 근로자의 개인정보 보호와 함께 주변환경에 관계없이 열화상 카메라로부터 촬영된 열화상 이미지를 기반으로 실시간으로 사람을 탐지하여 24시간동안 다양한 작업 현장 및 공정에서 위험구역에 사람이 진입하는지 여부를 관리자에게 알릴 수 있는 열화상 이미지 기반 실시간 사람 탐지 방법을 제공함에 있다.
다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 열화상 이미지 기반 실시간 사람 탐지 방법은, a) 열화상 카메라가 위험구역이 포함된 작업 현장의 주변을 촬영하여 열화상 이미지 데이터를 실시간으로 획득하는 단계; b) 전처리부가 상기 열화상 카메라에서 획득된 열화상 이미지 데이터를 전처리하여 크기(Size)를 조절하는 단계; c) 증강부가 상기 전처리부로부터 수신하는 열화상 이미지 데이터를 증강시키는 단계; 및 d) 객체 탐지부가 학습 및 검증을 완료한 AI모델이 등록된 객체 탐지 알고리즘을 통해 상기 증강부로부터 수신하는 열화상 이미지 데이터로부터 객체에 대한 객체영역을 추출하는 것으로 객체를 탐지하는 단계;를 포함하고, 상기 증강부는, 상기 AI모델의 학습 및 검증 때, 상기 전처리부로부터 수신하는 열화상 이미지 데이터의 명암 조절 및 정규화를 통해 복수개의 열화상 이미지 데이터로 증강시킨 후 상기 AI모델로 송신하며, 상기 객체 탐지 알고리즘으로 송신될 열화상 이미지 데이터는 명암만 조절할 수 있다.
본 발명은 열화상 카메라 기반의 사람 탐지를 기반으로 종래 CCTV 및 비전 카메라 기반의 관리 시스템와 달리, 현장 근로자의 개인정보 보호와 함께 주변환경에 관계없이 사람 탐지를 통해 24시간동안 다양한 작업 현장 및 공정에서 위험구역에 사람이 진입하는지 여부를 관리자에게 알려 미연에 사고를 방지할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 열화상 이미지 기반 실시간 사람 탐지 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 AI모델이 증강된 열화상 이미지 데이터를 분류시키는 방식을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 탐지 알고리즘으로부터 탐지되는 객체영역을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 경광등에서 발생되는 신호의 종류를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 AI모델 학습 방법의 과정을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 열화상 이미지 기반 실시간 사람 탐지 방법의 과정을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 객체 탐지 알고리즘의 객체영역 추출 방식을 설명하기 위한 도면이다.
이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
실시간 사람 탐지 시스템
이하에서는, 본 발명의 일 실시예에 따른 열화상 이미지 기반 실시간 사람 탐지 시스템(100)에 대해 자세히 설명하도록 하겠다.
도 1은 본 발명의 일 실시예에 따른 열화상 이미지 기반 실시간 사람 탐지 시스템을 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 실시간 사람 탐지 시스템(100)은 열화상 카메라(110), 전처리부(120), 증강부(130), AI모델 학습부(140), 객체 탐지부(150) 및 경광등(160)을 포함한다.
열화상 카메라(110)는 관리자가 설정한 위험구역을 포함하는 작업 현장에 설치되며, 작업 현장의 주변에 위치한 사람인 객체(10)를 포함하는 주변 사물에서 방사되는 적외선을 센서로 감지해 온도값을 실시간으로 이미지화하여 열화상 이미지 데이터(115)를 생성한다.
일 실시예에서, 열화상 카메라(110)는 24시간동안 동작됨으로써, 24시간동안 촬영된 작업 현장의 주변에 대한 열화상 이미지 데이터(115)를 실시간으로 획득하는 것이 바람직하다.
또한, 열화상 카메라(110)는 제품, 공정, 설비 등 다양한 분야에서 적외선 특성상 육안으로 확인하기 어려운 발열 여부와 내부 상태를 측정 및 모니터링할 수 있으며, -80~3000 ℃까지의 온도범위와 0.02 ℃의 온도차까지 정확하게 측정할 수 있다.
전처리부(120)는 열화상 카메라(110)와 유/무선 방식으로 통신됨으로써, 열화상 카메라(110)가 작업 현장의 주변을 24시간동안 촬영하여 획득한 열화상 이미지 데이터(115)를 열화상 카메라(110)로부터 수신하고, 수신한 열화상 이미지 데이터(115)가 후술될 AI모델(145) 또는 객체 탐지 알고리즘(153)에 적용(또는 입력) 가능하도록 열화상 이미지 데이터(115)의 크기(Size)를 전처리(조절)한다.
일 실시예에서, 전처리부(120)는 AI모델(145)이 동일한 크기의 열화상 이미지 데이터(115)를 통해 학습되는 것과, 객체 탐지 알고리즘(153)이 동일한 크기의 열화상 이미지 데이터(115)를 이용하여 객체(10)를 탐지할 수 있도록, 맞추기(resize) 및/또는 자르기(crop)로 열화상 이미지 데이터(115)의 크기를 조절할 수 있다.
또한, 전처리부(120)는 열화상 이미지 데이터(115)의 전처리를 위해 열화상 이미지 데이터(115)의 맞추기 및 자르기를 구현하기 위한 전처리 알고리즘이 학습 및 검증이 완료된 상태로 탑재되는 것이 바람직하다.
증강부(130)는 전처리부(120)와 유/무선 방식으로 통신됨으로써, 전처리부(120)로부터 전처리된 열화상 이미지 데이터(115)를 전처리부(120)로부터 수신하고, 수신한 전처리된 열화상 이미지 데이터(115)의 명암 조절 및 정규화를 통해 전처리된 열화상 이미지 데이터(115)를 AI모델(145)의 학습 및 검증을 위한 복수개의 열화상 이미지 데이터(115)로 증강시킨다.
구체적인 일례로, 증강부(130)는 전처리된 열화상 이미지 데이터(115)의 명암 조절 및 정규화시켜 1개의 전처리된 열화상 이미지 데이터(115)를 밝기가 각각 다른 제1 열화상 이미지 데이터, 제2 열화상 이미지 데이터 및 제3 열화상 이미지 데이터로 증강시킬 수 있다.
일 실시예에서, 제1 열화상 이미지 데이터는 제2, 3 열화상 이미지 데이터보다 밝기가 밝은 열화상 이미지 데이터일 수 있고, 제2 열화상 이미지 데이터는 제3 열화상 이미지 데이터보다는 밝기가 밝은 열화상 이미지 데이터일 수 있으며, 제3 열화상 이미지 데이터는 제1, 2 열화상 이미지 데이터보다 밝기가 어두운 열화상 이미지 데이터일 수 있다.
일 실시예에서, 증강부(130)는 밝기를 하나의 변수(parameter)로 설정하며, 자르기(cropping) 및 회전(rotating)을 통해 전처리된 열화상 이미지 데이터(115)를 제1, 2, 3 열화상 이미지 데이터로 증강시킬 수 있다.
한편, 계절, 시간대 등 다양한 외부요인으로 온도는 수시로 변경되며, 열화상 카메라의 특성상 온도의 변경에 따라 객체의 열화상 이미지도 변경되는데, 특정시점에 촬영된 열화상 이미지를 일반적인 방법으로 증강시킬 경우 그 밝기는 변경되지 않아 특정 온도에 편향되어 학습될 수 있다. 이에 따라, 증강부(130)는 밝기를 하나의 변수로 설정하는 것이다.
이러한 증강부(130)는 전처리된 열화상 이미지 데이터(115)의 명암 조절 및 정규화를 구현하기 위한 증강 알고리즘이 학습 및 검증이 완료된 상태로 탑재되는 것이 바람직하다.
또한, 증강부(130)는 학습 및 검증이 완료된 AI모델(145)이 후술될 객체 탐지 알고리즘(153)에 등록(또는 탑재)되어 객체 탐지부(150)가 열화상 이미지 데이터(115)로부터 객체(10)를 탐지할 수 있게 되는 경우, 전처리부(120)로부터 전처리된 열화상 이미지 데이터(115)의 명암만을 조절한 후, 명암이 조절된 열화상 이미지 데이터(115)를 유/무선 방식의 통신에 기반하여 객체 탐지부(150)로 송신할 수 있다.
즉, 증강부(130)에 탑재된 증강 알고리즘은 AI모델(145)과 연계됨으로써, AI모델(145)의 검증 완료 여부에 따라 전처리부(120)로부터 수신하는 전처리된 열화상 이미지 데이터(115)를 다르게 처리하는 것이 바람직하다.
구체적인 일례로, 증강부(130)는 AI모델(145)에 송신될 전처리된 열화상 이미지 데이터(115)를 명암 조절 및 정규화시키며, 이와 달리 객체 탐지 알고리즘(153)에 송신될 전처리된 열화상 이미지 데이터(115)는 명암의 조절만 진행할 수 있다.
AI모델 학습부(140)는 객체 탐지부(150)에서 명암이 조절된 열화상 이미지 데이터(115)로부터 객체(10)를 탐지할 수 있도록, 객체 탐지 알고리즘(153)에 등록될 AI모델(145)의 학습을 진행한다.
일 실시예에서, AI모델(145)은 AI모델 학습부(140)가 증강부(130)로부터 수신한 증강된 열화상 이미지 데이터(115)를 이용하여 학습 및 검증되는 CNN(Convolutional Neural Network) 딥러닝 모델일 수 있고, 학습 후에 검증이 이루어지는 것이 바람직하다.
AI모델 학습부(140)는 AI모델(145)의 학습 및 검증을 위해, AI모델(145)의 학습 전에 증강부(130)로부터 수신하는 증강된 열화상 이미지 데이터(115)를 도 2에 도시된 바와 같이 분류할 수 있다.
도 2는 본 발명의 일 실시예에 따른 AI모델이 증강된 열화상 이미지 데이터를 분류시키는 방식을 설명하기 위한 도면이다.
도 2를 참조하면, AI모델 학습부(140)는 AI모델(140)의 학습 및 검증을 위해, 증강된 열화상 이미지 데이터(115)를 훈련 데이터(145a)와 검증 데이터(145b)로 분류할 수 있다.
일 실시예에서, AI모델 학습부(130)는 증강부(130)로부터 94,350장의 증강된 열화상 이미지 데이터(115)를 수신(수집)하는 경우, 이를 대략 8:1의 비율로 분류하여 80,000장의 훈련 데이터(145a)와 14,350장의 검증 데이터(145b)를 분류할 수 있다.
AI모델 학습부(140)가 AI모델(145)을 학습 및 검증시키는 과정은 후술될 AI모델 학습 및 검증 방법(S10)의 과정을 통해 자세히 설명하도록 하겠다.
객체 탐지부(150)는 가상의 위험구역인 가상펜스(151a)를 생성하기 위한 가상펜스 생성부(151)가 구비된다.
가상펜스 생성부(151)는 작업 현장의 관리자가 구비한 단말 또는 상기 단말이 액세스한 웹사이트를 통해 가상펜스(151a)의 생성 여부를 선택할 수 있으며, 단말 또는 웹사이트상에서 관리자가 설정한 적어도 3개 이상의 좌표를 연결하는 형태로 가상펜스(151a)를 생성한다.
일 실시예에서, 가상펜스 생성부(151)는 작업 현장 내 위험구역에 직선의 가상펜스(151a)를 생성하기 위해 도면에 미도시되었으나, 작업 현장 내 위험구역의 일측에 배치되어 전자기파를 송출하는 레이더(미도시)와, 상기 레이더와 일정 거리를 두고 직선상으로 배치되어 위험구역 내에서 전자기파를 반사하는 반사체(미도시)가 구비될 수 있다.
일 실시예에서, 가상펜스(151a)는 적어도 3개 이상의 레이더 및 반사체를 이용하여 복수개로 생성된 직선의 가상펜스(151a)를 연결함으로써, 다각형(예: 삼각형, 사각형, 오각형 등) 형태의 최종적인 가상펜스(151a)를 생성할 수 있다. 즉, 이하의 가상펜스(151a)는 다각형 형태의 최종적인 가상펜스(151a)로 이해하는 것이 바람직하다.
객체 탐지부(150)는 증강된 열화상 이미지 데이터(115)로부터 객체(10)를 탐지하기 위한 객체 탐지 알고리즘(153)이 구비된다.
객체 탐지 알고리즘(153)은 AI모델 학습부(140)가 정확성 및 신뢰도 검증을 통해 채택한 최적의 AI모델(145)이 등록될 때, 명암이 조절된 열화상 이미지 데이터(115)로부터 객체(10)를 탐지한다.
이러한 객체 탐지 알고리즘(153)은 가상펜스 생성부(151)로부터 가상펜스(151a)가 생성되는지 여부와 관계없이, 명암이 조절된 열화상 이미지 데이터(115) 내 객체(10)가 포함되는 경우에 객체영역(1000)을 추출하는 것으로 객체(10)의 탐지가 가능한데, 객체(10)의 탐지 목적은 가상펜스(151a)의 생성 여부에 따라 달라질 수 있다.
일 실시예에서, 객체영역(1000)은 객체 탐지 알고리즘(153)으로부터 명암이 조절된 열화상 이미지 데이터(115) 내 객체(10)를 감싸는 형태로 추출되며, 보다 구체적으로는 도 3에 도시된 바와 같이 제1 꼭지점(1000a), 제2 꼭지점(1000b), 제3 꼭지점(1000c) 및 제4 꼭지점(1000d)을 선으로 연결하는 형태일 수 있다.
일 실시예에서, 객체 탐지 알고리즘(153)은 가상펜스(151a)가 가상펜스 생성부(151)로부터 생성되지 않을 때, 객체(10)가 명암이 조절된 열화상 이미지 데이터(115) 내에 존재하는지 여부를 판단하기 위해 객체(10)를 탐지할 수 있다.
구체적인 일례로, 객체 탐지 알고리즘(153)은 명암이 조절된 열화상 이미지 데이터(115) 내 객체(10)가 하나 이상 존재하는 경우, 각각의 객체(10)를 감싸는 객체영역(1000)을 하나 이상 추출한 후, 상기 객체영역(1000)을 이루는 각 꼭지점(1000a, 1000b, 1000c, 1000d)의 좌표를 반환하는 것으로 상기 열화상 이미지 데이터(115)로부터 객체(10)를 탐지할 수 있다.
일 실시예에서, 객체 탐지 알고리즘(153)은 가상펜스(151a)가 가상펜스 생성부(151)로부터 생성되는 경우, 명암이 조절된 열화상 이미지 데이터(115) 내 객체(10)가 작업 현장의 위험구역으로 진입하는지 여부와, 위험구역으로 진입할 때 작업 현장 내 안전구역으로 객체(10)의 이동을 유도하기 위해 객체(10)를 탐지할 수 있다.
구체적인 일례로, 객체 탐지 알고리즘(153)은 명암이 조절된 열화상 이미지 데이터(115) 내 객체(10)가 하나 이상 존재하는 경우, 각각의 객체(10)를 감싸는 객체영역(1000)을 하나 이상 추출할 때, 상기 객체영역(1000)을 이루는 각 꼭지점(1000a, 1000b, 1000c, 1000d) 중 적어도 하나의 좌표가 가상펜스(151a) 내 포함되면, 상기 객체영역(1000)을 이루는 각 꼭지점(1000a, 1000b, 1000c, 1000d)의 좌표를 반환하여 작업 현장의 위험구역에 진입하는 객체(10)를 탐지할 수 있도록 함과 동시에 상기 객체(10)가 위험구역으로부터 작업 현장의 안전구역으로 이동하도록 경광등(160)에서 제1 신호(160a)가 발생되도록 하기 위한 동작신호를 경광등(160)으로 송신할 수 있다.
구체적인 다른예로, 객체 탐지 알고리즘(153)은 객체영역(1000)을 이루는 각 꼭지점(1000a, 1000b, 1000c, 1000d)의 좌표가 가상펜스(151a) 내에 포함되지 않는 경우, 동작신호의 송신 과정은 생략하되, 상기 객체영역(1000)을 이루는 각 꼭지점(1000a, 1000b, 1000c, 1000d)의 좌표를 반환하는 과정만 진행할 수 있다.
경광등(160)은 위험구역의 주변에 설치되며, 객체(10)가 작업 현장의 위험구역 내로 이동할 때, 이러한 객체(10)가 위험구역 내로 이동하였음을 작업 현장 주변에 위치한 작업자들 또는 관리자에게 알람과 동시에 시각 및 청각 기반의 신호를 발생시켜 객체(10)가 위험구역으로부터 작업 현장의 안전구역으로 이동할 수 있도록 유도하는 것이 가능하다.
일 실시예에서, 경광등(160)은 도 4에 도시된 바와 같이 신호를 발생시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 경광등에서 발생되는 신호의 종류를 설명하기 위한 도면이다.
도 4를 참조하면, 경광등(160)은 실시간 사람 탐지 시스템(100)의 운영 과정에서 상황에 따라 제1 신호(160a) 및 제2 신호(160b)를 발생시킨다.
제1 신호(160a)는 객체(10)가 작업 현장의 위험구역 내로 이동하였음을 작업 현장의 주변 작업자들 또는 관리자에게 알람과 동시에 객체(10)가 안전구역으로 이동할 수 있도록 유도하기 위한 신호이다.
일 실시예에서, 제1 신호(160a)는 경광등(160) 내 구비된 LED의 점멸 또는 점등에 의한 제1 색상의 빛과 객체(10)가 청각을 통해 인지할 수 있는 제1 알람을 포함할 수 있다.
한편, 관리자의 단말 또는 단말이 액세스한 웹사이트는 관리자가 장소의 제약없이 객체(10)가 작업 현장의 위험구역 내로 이동하였음과 제1 신호(160a)가 발생된 이유를 분석할 수 있도록, 제1 신호(160a)가 발생되는 동시에 객체 탐지부(150)로부터 경광등(160)에서 제1 신호(160a)가 발생되는 객체(10)가 위험구역에 진입한 시점의 명암이 조절된 열화상 이미지 데이터(115)와, 가상펜스(151a)의 좌표 및 형태에 대한 정보 등이 페어링된 페어링 정보를 객체 탐지부(150)로부터 수신하여 관리자에게 제공할 수 있다.
제2 신호(160b)는 객체(10)가 위험구역 내에서 작업이 이루어지는 것을 안전구역을 포함한 위험구역 외의 영역에서 확인할 수 있도록 유도하기 위한 신호이다.
일 실시예에서, 제2 신호(160b)는 경광등(160) 내 구비된 LED의 점멸 또는 점등에 의한 제2 색상의 빛과 객체(10)가 청각을 통해 인지할 수 있는 제2 알람을 포함할 수 있다.
일 실시예에서, 제2 색상의 빛은 제1 신호(160a)의 제1 색상의 빛과 다른 색상의 빛을 의미하며, 제2 알람은 제1 신호(160a)의 제1 알람과 다른 소리신호일 수 있다.
한편, 관리자의 단말 또는 단말이 액세스한 웹사이트는 관리자가 장소의 제약없이 위험구역 내 작업 상황을 모니터링할 수 있도록, 제2 신호(160b)가 발생되는 동시에 작업 현장 내 설치된 CCTV 또는 비전 카메라와 통신이 이루어지며, 이를 통해 관리자는 CCTV 또는 비전 카메라로부터 촬영된 위험구역 내 작업 상황을 모니터링하며, 단말을 이용하여 위험구역 내 작업자들에게 작업 상황을 지시할 수도 있다.
AI모델 학습 방법
이하에서는, 본 발명의 AI모델(145)을 학습시키기 위한 AI모델 학습 방법(S10)에 대해 자세히 설명하도록 하겠다.
도 5는 본 발명의 일 실시예에 따른 AI모델의 학습 방법의 과정을 나타내는 도면이다.
먼저, 전처리부(120)는 열화상 카메라(110)가 실시간으로 열화상 이미지 데이터(115)를 생성하는 경우, 열화상 카메라(110)로부터 열화상 이미지 데이터(115)를 수신한 후 AI모델(145)에 적용 가능하도록 크기를 조절하도록 학습될 수 있다(S11).
그 후, 증강부(130)는 전처리부(120)로부터 전처리된 열화상 이미지 데이터(115)를 수신하며, 명암 조절 및 정규화를 기반으로 전처리된 열화상 이미지 데이터(115)를 AI모델(145)의 학습 및 검증을 위한 복수개의 열화상 이미지 데이터(115)로 증강시키도록 학습될 수 있다(S12).
일 실시예에서, AI모델(145)은 CNN 딥러닝 모델일 수 있으며, CNN 딥러닝 모델은 합성곱(Convolution)을 이용하여 특징(feature)을 추출하는 레이어(Layer)로서, 특징 추출 영역(feature/learning)과 클래스 분류 영역(classification/learning)으로 나누어지고, 특징 추출 영역은 Convolution Layer와 Pooling Layer를 여러 겹 쌓는 형태로 구성된다.
더 나아가, AI모델(145)은 클래스 분류 영역에서 열화상 이미지 데이터(115)로부터 객체(10)의 탐지(검출)를 위해 Backbone-Neck-Head 구조로 이루어진 딥러닝 모델일 수 있다.
이에 따라, AI모델(145)은 Backbone 구조를 통해 증강부(130)에서 증강된 열화상 이미지 데이터(115)의 특징 맵(feature map)을 추출하도록 학습될 수 있다(S13).
일 실시예에서, AI모델(145)은 특징 맵으로부터 추출한 특징의 재사용과 기울기 정보가 중복으로 사용되는 것을 방지하기 위해 경량화 모델이 적용됨으로써, 특징 맵의 추출 정확도가 유지됨과 동시에 특징 맵을 추출하기 위한 연산량을 줄일 수 있다.
경량화 모델은 WRC(Weighted-Residual-Connections), CSP(Cross-Stage-Partial-Connections), CmBN(Cross mini-Batch Normalizations), SAT(Self-Adversarial-Training), Mish Activation, Mosaic Data Agumentation, Drop Block Regularization, CIOU Loss 중 적어도 하나의 딥러닝 기법이 적용된 모델일 수 있으나 이를 한정하는 것은 아니며, 바람직하게는 CSP 모델에 속하는 CSP-Darknet가 경량화 모델로 이용될 수 있다.
이러한 CSP-Darknet는 Backbone 구조에서 사용되는 통상적인 딥러닝 기법 기반의 모델이므로, 이에 대한 자세한 설명은 편의상 생략하도록 하겠다.
이러한 AI모델(145)은 3채널 이미지 데이터인 CCTV와 비전 카메라의 이미지 데이터로부터 객체의 색과 형태의 특징을 추출할 때와 비교하여, 1채널 이미지 데이터인 열화상 카메라(110)의 열화상 이미지 데이터(115)로부터 객체의 온도, 밝기 및 형태의 특징을 추출하여 형태에 민감함에 따라, 형태가 학습되지 않은 객체(10)를 탐지하는 것이 어려울 수 있으므로, 최대한 다양한 형태의 대용량 열화상 이미지 데이터셋이 사용될 필요가 있다.
AI모델(145)은 Backbone과 head 사이를 연결해주는 Neck 구조상에서 정제 모델을 이용하여 Backbone 구조를 통해 추출된 특징 맵을 정제하고 재구성하도록 학습될 수 있다(S14).
일 실시예에서 AI모델(145)은 특징 맵의 정제 및 재구성을 통해 객체(10)의 탐지 정확도를 향상시킬 수 있으며, 이를 위한 정제 모델은 FPN, PANet, Bi-FPN 중 적어도 하나일 수 있으나 이를 한정하는 것은 아니며, 바람직하게는 PANet이 정제 모델로서 이용될 수 있다.
이러한 PANet은 Neck 구조에서 사용되는 통상적인 딥러닝 기법 기반의 모델이므로, 이에 대한 자세한 설명은 편의상 생략하도록 하겠다.
AI모델(145)은 head 구조상에서 Backbone 구조를 통해 추출한 특징인 객체(10)의 클래스를 분류(classification) 및 위치 식별(Localization)한 후, 객체영역(1000)을 추출하는 것으로 객체(10)를 탐지하도록 학습될 수 있다(S15).
AI모델(145)은 이 과정에서 다중 스케일 예측을 위해 기설정된 3가지 크기(예: 제1 크기(18×18), 제2 크기(36×36), 제3 크기(72×72))의 특징 맵을 생성함으로써, 제 1, 2, 3 크기의 객체(10)를 탐지할 수 있도록 학습될 수 있고, 객체영역(1000)은 열화상 이미지 데이터(115)의 입력 사이즈로 크기 조절된 후에 추출될 수 있다.
AI모델 검증 방법
이하에서는, AI모델(145)의 검증 방법에 대해 자세히 설명하도록 하겠다.
본 발명의 AI모델(145)은 객체(10)의 탐지 정확성 및 신뢰도 향상을 위해 최적의 AI가 탑재될 필요가 있으며, 이를 위해 복수개의 AI에 대한 정확성 및 신뢰도 검증이 이하의 [표 1]과 같이 진행되었다.
Optimizer Precision Recall mAP@.5 mAP@
SGDP 0.974 0.958 0.986 0.8
복수개의 AI 중 AI모델(145)에 탑재될 조건은 정확성 및 신뢰도가 기설정된 정확성 및 신뢰도 이상(예: 95 %)이어야 한다. 즉, 상기 [표 1]에서는 'Precision(0.974)', 'Recall(0.958)', 'mAP@.5(0.986)' 중 적어도 하나의 AI가 AI모델(145)에 탑재될 수 있다.
그러나 나머지 AI인 'mAP@(0.8)은 정확성 및 신뢰도가 기설정된 정확성 및 신뢰도 미만이므로, 정확성 및 신뢰도의 향상을 위해 상기 AI모델 학습 방법(S10)의 과정을 거쳐 재차 학습될 수 있다.
실시간 사람 탐지 방법
이하에서는, 본 발명의 실시간 사람 탐지 시스템(100)에 수행되는 본 발명의 일 실시예에 따른 실시간 사람 탐지 방법(S1000)의 과정에 대해 자세히 설명하도록 하겠다.
도 6은 본 발명의 일 실시예에 따른 열화상 이미지 기반 실시간 사람 탐지 방법의 과정을 나타내는 흐름도이다.
도 6을 참조하면, 열화상 카메라(110)는 관리자가 설정한 위험구역을 포함하는 작업 현장에 설치된 상태로 작업 현장을 실시간으로 촬영하여 열화상 이미지 데이터(115)를 획득하며, 전처리부(120)에는 열화상 카메라(110)로부터 수신하는 열화상 이미지 데이터(115)가 입력될 수 있다(S1001).
그 후, 전처리부(120)는 열화상 이미지 데이터(115)의 크기를 맞추기(resize) 및/또는 자르기(crop)로 전처리하며, 증강부(130)는 전처리부(120)로부터 수신하는 전처리된 열화상 이미지 데이터(115)의 명암을 조절할 수 있다(S1002).
그 후, 객체 탐지부(150)는 AI모델 학습부(140)로부터 학습 및 검증을 완료된 AI모델(145)이 객체 탐지 알고리즘(153)에 등록되면, 상기 객체 탐지 알고리즘(153)을 이용하여 작업 현장 주변의 객체(10)를 탐지할 수 있다(S1003).
그 후, 객체 탐지 알고리즘(153)은 가상펜스 생성부(151)에서 가상펜스(151a)가 생성되는지 여부에 따라 명암이 조절된 열화상 이미지 데이터(115)로부터 특정 색상의 객체영역(1000)이 추출되도록 한다(S1004).
이때 만약, 가상펜스 생성부(151)에서 가상펜스(151a)가 생성되지 않는 경우(S1004-NO), 객체 탐지 알고리즘(153)은 명암이 조절된 열화상 이미지 데이터(115)에 포함된 각 객체(10)에 대한 객체영역(1000)을 제1 색으로 추출할 수 있다(S1006).
이와 달리 만약, 가상펜스 생성부(151)에서 가상펜스(151a)가 생성되는 경우(S1004-YES), 객체 탐지 알고리즘(153)은 추출한 객체영역(1000)을 이루는 복수개의 꼭지점 좌표 중 적어도 하나의 꼭지점 좌표가 가상펜스(151a) 내 포함되는지 판단할 수 있다(S1005).
이때 만약, 명암이 조절된 열화상 이미지 데이터(115)로부터 추출된 객체영역(1000)을 이루는 복수개의 꼭지점 좌표 중 적어도 하나의 꼭지점 좌표가 가상펜스(151a) 내 포함되지 않는 경우(S1005-NO), 객체 탐지 알고리즘(153)은 명암이 조절된 열화상 이미지 데이터(115)에 포함된 각 객체(10)에 대한 객체영역(1000)을 제1 색으로 추출할 수 있다(S1006).
일 실시예에서, 객체 탐지 알고리즘(153)은 관리자가 객체영역(1000)의 색상을 통해 객체(10)의 탐지 목적이 단순히 객체(10)를 탐지하기 위한 것임을 판단할 수 있도록, 객체영역 추출 단계(S1006)에서 명암이 조절된 열화상 이미지 데이터(115)로부터 제1 색의 객체영역(1000)을 추출하며, 제1 색은 객체(10)의 탐지 목적을 구분하기 위한 색(예: 초록색)일 수 있다.
이와 달리 만약, 명암이 조절된 열화상 이미지 데이터(115)로부터 추출된 객체영역(1000)을 이루는 복수개의 꼭지점 좌표 중 적어도 하나의 꼭지점 좌표가 가상펜스(151a) 내 포함되는 경우(S1005-YES), 객체 탐지 알고리즘(153)은 명암이 조절된 열화상 이미지 데이터(115)에 포함된 각 객체(10)에 대한 객체영역(1000)을 제2 색으로 추출할 수 있다(S1007).
일 실시예에서, 객체 탐지 알고리즘(153)은 관리자가 객체영역(1000)의 색상을 통해 객체(10)의 탐지 목적이 객체(10)가 위험구역 내 진입하는지 여부의 확인과 위험구역 내 객체(10)가 안전구역으로 이동되도록 유도하기 위한 것임을 판단할 수 있도록, 객체영역 추출 단계(S1007)에서 명암이 조절된 열화상 이미지 데이터(115)로부터 제2 색의 객체영역(1000)을 추출하며, 제2 색은 객체(10)의 탐지 목적을 구분하기 위한 색(예: 빨강색)일 수 있다.
또한, 객체 탐지 알고리즘(153)은 가상펜스(151a)가 생성될 때, 명암이 조절된 열화상 이미지 데이터(115)에 포함된 객체(10)의 위치에 따라 도 7에 도시된 바와 같이 제1, 2 색의 객체영역(1000)을 동시에 추출할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 객체 탐지 알고리즘의 객체영역 추출 방식을 설명하기 위한 도면이다.
도 7을 참조하면, 객체 탐지 알고리즘(153)은 관리자가 명암이 조절된 열화상 이미지 데이터(115)로부터 작업 현장 내 작업자들로 볼 수 있는 객체(10)의 위치를 명확히 판단할 수 있도록, 작업 현장의 위험구역을 둘러싸는 형태의 가상펜스(151a) 내가 아닌 안전구역에 위치된 제1 객체(10-1)에 대한 객체영역(1000)을 제1 색으로 추출하며, 가상펜스(151a) 내 진입한 제2 객체(10-2)에 대한 객체영역(1000)을 제1 색과 다른 제2 색으로 추출할 수 있다.
다시 도 6을 참조하면, 객체 탐지 알고리즘(153)은 제2 색의 객체영역(1000)을 추출하는 동시에, 제2 색의 객체영역(1000)으로 추출된 객체(10)가 위험구역 내로 진입하는 것을 작업 현장 주변의 작업자들에게 알리기 위한 경광등(160)의 동작신호를 경광등(160)으로 송신하여 경광등(160)에서 제1 신호(160a)가 발생되도록 한다(S1008).
객체 탐지부(150)가 객체 탐지 알고리즘(153)을 통해 명암이 조절된 열화상 이미지 데이터(115)로부터 객체영역(1000)의 추출을 완료하는 경우, 관리자가 구비한 단말 또는 단말이 액세스한 웹사이트는 객체 탐지부(150)로부터 객체영역(1000)이 표시된 열화상 이미지 데이터(115)를 수신한 후 출력하여 관리자에게 제공할 수 있다(S1009).
일 실시예에서, 객체영역(1000)이 표시된 열화상 이미지 데이터(115)는 단말 또는 웹사이트상에서 출력되기 전에, 객체 탐지부(150)로부터 객체 탐지 알고리즘(153)에 의해 생성된 객체영역(1000)이 표시된 열화상 이미지 데이터(115)와, 가상펜스(151a)의 좌표 및 형태, 가상펜스(151a) 내 진입한 객체(10) 또는 객체영역(1000)의 개수가 페어링된 페어링 정보를 의미할 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 기술적 사상 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
10: 객체, 100: 실시간 사람 탐지 시스템,
110: 열화상 카메라, 115: 열화상 이미지 데이터,
120: 전처리부, 130: 증강부,
140: AI모델 학습부, 145: AI 모델,
145a: 훈련 데이터, 145b: 검증 데이터,
150: 사람 탐지부, 151: 가상펜스 생성부,
151a: 가상펜스, 153: 사람 탐지 알고리즘,
160: 경광등, 160a: 제1 신호,
160b: 제2 신호, 1000: 객체영역.

Claims (7)

  1. a) 열화상 카메라가 위험구역이 포함된 작업 현장의 주변을 촬영하여 열화상 이미지 데이터를 실시간으로 획득하는 단계;
    b) 전처리부가 상기 열화상 카메라에서 획득된 열화상 이미지 데이터를 전처리하여 크기(Size)를 조절하는 단계;
    c) 증강부가 상기 전처리부로부터 수신하는 열화상 이미지 데이터를 증강시키는 단계; 및
    d) 객체 탐지부가 학습 및 검증을 완료한 AI모델이 등록된 객체 탐지 알고리즘을 통해 상기 증강부로부터 수신하는 열화상 이미지 데이터로부터 객체에 대한 객체영역을 추출하는 것으로 객체를 탐지하는 단계;를 포함하고,
    상기 증강부는,
    상기 AI모델의 학습 및 검증 때, 상기 전처리부로부터 수신하는 열화상 이미지 데이터의 명암 조절 및 정규화를 통해 복수개의 열화상 이미지 데이터로 증강시킨 후 상기 AI모델로 송신하며, 상기 객체 탐지 알고리즘으로 송신될 열화상 이미지 데이터는 명암만 조절하고,
    상기 d) 단계는,
    d-1) 가상펜스 생성부가 가상의 위험구역인 가상펜스의 생성 여부를 선택하는 단계; 및
    d-2) 상기 객체 탐지 알고리즘이 상기 증강부로부터 수신하는 명암이 조절된 열화상 이미지 데이터로부터 객체영역을 추출하는 것으로 객체를 탐지하는 단계;를 포함하며,
    상기 d-2) 단계는,
    상기 가상펜스 생성부에서 상기 가상펜스가 미생성되는 경우, 상기 객체 탐지 알고리즘이 상기 명암이 조절된 열화상 이미지 데이터에 포함된 각 객체에 대한 객체영역을 제1 색으로 추출하고,
    상기 가상펜스 생성부에서 상기 가상펜스가 생성되는 경우, 상기 객체 탐지 알고리즘이 객체영역을 이루는 복수개의 꼭지점 좌표 중 적어도 하나의 꼭지점 좌표가 가상펜스 내 포함되는지 판단하며,
    상기 객체 탐지 알고리즘이 객체영역을 이루는 복수개의 꼭지점 좌표 중 적어도 하나의 꼭지점 좌표가 가상펜스 내 포함되는 경우, 상기 명암이 조절된 열화상 이미지 데이터에 포함된 각 객체에 대한 객체영역을 제2 색으로 추출하고,
    상기 객체 탐지 알고리즘은,
    상기 객체영역을 제2 색으로 추출하는 동시에 상기 위험구역의 주변에 설치된 경광등을 동작시키기 위한 동작신호를 상기 경광등에 송신하며,
    상기 경광등은,
    상기 객체 탐지 알고리즘으로부터 수신하는 동작신호에 따라 제1 신호 및 제2 신호를 발생시키고,
    상기 제1 신호는,
    상기 객체가 상기 위험구역 내로 이동하였음을 알람과 동시에 상기 객체가 안전구역으로 이동할 수 있도록 유도하기 위한 신호로서, 상기 경광등 내 구비된 LED의 점멸 또는 점등에 의한 제1 색상의 빛과 상기 객체가 청각을 통해 인지 가능한 제1 알람이며,
    상기 제2 신호는,
    상기 객체가 위험구역 내에서 작업이 이루어지는 것을 안전구역을 포함한 위험구역 외의 영역에서 확인할 수 있도록 유도하기 위한 신호로서, 상기 경광등 내 구비된 LED의 점멸 또는 점등에 의한 제2 색상의 빛과 상기 객체가 청각을 통해 인지 가능한 제2 알람이고,
    상기 가상펜스 생성부는,
    상기 관리자의 단말 또는 상기 단말이 액세스한 웹사이트를 통해 가상펜스의 생성 여부를 선택하는 것이 가능하며,
    상기 작업 현장 내 위험구역에 직선의 가상펜스를 생성하기 위해 상기 작업 현장 내 위험구역의 일측에 배치되어 전자기파를 송출하는 레이더와, 상기 레이더와 일정 거리를 두고 직선상으로 배치되어 위험구역 내에서 전자기파를 반사하는 반사체가 구비되고,
    상기 가상펜스는,
    적어도 3개 이상의 상기 레이더 및 반사체를 이용하여 복수개로 생성된 직선의 가상펜스를 연결하는 것으로 생성되며,
    상기 관리자 단말 또는 상기 단말이 액세스한 웹사이트는,
    상기 객체가 상기 작업 현장의 위험구역 내로 이동하였음과 상기 제1 신호가 발생된 이유를 상기 관리자가 분석할 수 있도록, 상기 제1 신호가 발생되는 동시에 상기 객체 탐지부로부터 상기 경광등에서 제1 신호가 발생되는 객체가 위험구역에 진입한 시점의 명암이 조절된 열화상 이미지 데이터, 상기 가상펜스의 좌표 및 형태, 상기 가상펜스 내 진입한 객체 또는 객체영역의 개수가 페어링된 페어링 정보를 상기 객체 탐지부로부터 수신하여 관리자에게 제공하고,
    상기 작업 현장 내 CCTV 또는 비전 카메라로부터 촬영된 위험구역 내 작업 상황을 모니터링 및 상기 위험구역 내 작업자들에게 작업 상황을 상기 관리자가 지시할 수 있도록, 상기 제2 신호가 발생되는 동시에 상기 작업 현장 내 CCTV 또는 비전 카메라와 통신이 이루어지는 것을 특징으로 하는 열화상 이미지 기반 실시간 사람 탐지 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 d-1) 단계는,
    상기 가상펜스 생성부가 상기 관리자의 단말 또는 웹사이트상에서 관리자가 설정한 적어도 3개 이상의 좌표를 연결하여 다각형 형태의 가상펜스를 생성하는 것을 특징으로 하는 열화상 이미지 기반 실시간 사람 탐지 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 b) 단계는,
    상기 전처리부가 상기 열화상 카메라에서 획득된 열화상 이미지 데이터의 크기를 맞추기 및/또는 자르기로 조절하는 것을 특징으로 하는 열화상 이미지 기반 실시간 사람 탐지 방법.
KR1020220170656A 2022-12-08 2022-12-08 열화상 이미지 기반 실시간 사람 탐지 방법 KR102548076B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220170656A KR102548076B1 (ko) 2022-12-08 2022-12-08 열화상 이미지 기반 실시간 사람 탐지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220170656A KR102548076B1 (ko) 2022-12-08 2022-12-08 열화상 이미지 기반 실시간 사람 탐지 방법

Publications (1)

Publication Number Publication Date
KR102548076B1 true KR102548076B1 (ko) 2023-06-29

Family

ID=86945980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220170656A KR102548076B1 (ko) 2022-12-08 2022-12-08 열화상 이미지 기반 실시간 사람 탐지 방법

Country Status (1)

Country Link
KR (1) KR102548076B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116959191A (zh) * 2023-07-13 2023-10-27 煤炭科学技术研究院有限公司 基于多源信息融合的用户接近防护方法、装置和设备
CN118379837A (zh) * 2024-06-21 2024-07-23 山西煤矿物资装备有限责任公司 应用于矿山危险区域的人员接近感知预警系统及运行方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858396B1 (ko) * 2017-05-23 2018-05-15 순천대학교 산학협력단 지능형 침입 탐지 시스템
KR20200091650A (ko) * 2019-01-23 2020-07-31 주식회사 솔크로스 고속도로 무단침입 방지 장치
KR20210116904A (ko) * 2020-03-18 2021-09-28 주식회사 아이엔지시스템 은닉 카메라 탐지 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR20220059210A (ko) 2020-11-02 2022-05-10 대우조선해양 주식회사 작업장 비전 관리 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858396B1 (ko) * 2017-05-23 2018-05-15 순천대학교 산학협력단 지능형 침입 탐지 시스템
KR20200091650A (ko) * 2019-01-23 2020-07-31 주식회사 솔크로스 고속도로 무단침입 방지 장치
KR20210116904A (ko) * 2020-03-18 2021-09-28 주식회사 아이엔지시스템 은닉 카메라 탐지 시스템, 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR20220059210A (ko) 2020-11-02 2022-05-10 대우조선해양 주식회사 작업장 비전 관리 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116959191A (zh) * 2023-07-13 2023-10-27 煤炭科学技术研究院有限公司 基于多源信息融合的用户接近防护方法、装置和设备
CN118379837A (zh) * 2024-06-21 2024-07-23 山西煤矿物资装备有限责任公司 应用于矿山危险区域的人员接近感知预警系统及运行方法

Similar Documents

Publication Publication Date Title
KR102548076B1 (ko) 열화상 이미지 기반 실시간 사람 탐지 방법
CN111611977B (zh) 基于光谱与多波段融合的人脸识别监控系统及识别方法
CA3004029C (en) Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems
US11132536B2 (en) Living body detection device, living body detection method, and recording medium
US6469734B1 (en) Video safety detector with shadow elimination
US7167575B1 (en) Video safety detector with projected pattern
US5956122A (en) Iris recognition apparatus and method
CN110309719A (zh) 一种电网作业人员安全帽佩戴管理控制方法和系统
CN105893510A (zh) 一种视频结构化系统及其目标搜索方法
CN104881632A (zh) 高光谱人脸识别方法
CN106372601A (zh) 一种基于红外可见双目图像的活体检测方法及装置
KR101858396B1 (ko) 지능형 침입 탐지 시스템
KR101036947B1 (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
CN112365669A (zh) 双波段远红外融叠成像及火灾预警方法及系统
KR101625573B1 (ko) 차량 번호판 인식과 차량 하부 검색을 동시에 이용한 입출차 보안 시스템
WO2019163212A1 (ja) 監視システムおよび監視システムの制御方法
CN107662871A (zh) 用于乘客运输装置的移动扶手监测系统、乘客运输装置及其监测方法
KR102092552B1 (ko) 지능형 전천후 영상 표출 카메라 시스템
WO2019163211A1 (ja) 監視システムおよび監視システムの制御方法
CN106599879A (zh) 基于云端的安防控制方法及终端
KR20160108740A (ko) 작업 현장 영상 데이터 내의 작업자 인식 방법
US7869043B2 (en) Automated passive skin detection system through spectral measurement
CN108710844A (zh) 对面部进行检测的认证方法和装置
KR102614494B1 (ko) 비동일 카메라 기반 영상 처리 장치
KR102265291B1 (ko) 실시간 화재 감지 시스템 및 화재 감지 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant