KR20240040530A - 딥러닝 기반 감염병 예방 시스템 - Google Patents

딥러닝 기반 감염병 예방 시스템 Download PDF

Info

Publication number
KR20240040530A
KR20240040530A KR1020220119600A KR20220119600A KR20240040530A KR 20240040530 A KR20240040530 A KR 20240040530A KR 1020220119600 A KR1020220119600 A KR 1020220119600A KR 20220119600 A KR20220119600 A KR 20220119600A KR 20240040530 A KR20240040530 A KR 20240040530A
Authority
KR
South Korea
Prior art keywords
deep learning
construction site
infectious disease
disease prevention
workers
Prior art date
Application number
KR1020220119600A
Other languages
English (en)
Inventor
류한국
강경수
Original Assignee
삼육대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼육대학교산학협력단 filed Critical 삼육대학교산학협력단
Priority to KR1020220119600A priority Critical patent/KR20240040530A/ko
Publication of KR20240040530A publication Critical patent/KR20240040530A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

본 발명은 딥러닝 기반 감염병 예방 시스템에 관한 것이다.
본 발명의 일 실시예에 따른 딥러닝 기반 감염병 예방 시스템은, 건설현장의 학습 데이터를 저장하고, 건설현장을 출입하는 다수의 작업자 이미지를 포함하는 건설현장 영상을 촬영하며, 건설현장 영상을 저장하고, 학습 데이터를 이용하여 미리 학습된 딥러닝 알고리즘을 통해, 건설현장 영상으로부터 다수의 작업자 이미지를 각각 식별하여 식별 번호를 부여하며, 건설현장 영상의 픽셀들을 이용하여 상기 건설현장 영상을 미터 단위로 환산하고, 2차원 공간에 투영된 다수의 작업자 이미지를 이용하여 다수의 작업자들 간의 거리를 산출한다.

Description

딥러닝 기반 감염병 예방 시스템{SYSTEM FOR INFECTIOUS DISEASE PREVENTION BASED ON DEEP LEARNING}
본 발명은 딥러닝 기반 감염병 예방 시스템에 관한 것으로, 보다 상세하게는 딥러닝 모형에 의해 건설현장 영상을 분석하여 실시간으로 작업자와 작업자 간의 밀집도를 분석하여 사회적 거리두기에 대한 경고를 발생하는 딥러닝 기반 감염병 예방 시스템에 관한 것이다.
신종 코로나 바이러스 감염증(corona virus disease 2019, COVID-19)은 2019년 11월 중국 우한에서 처음 발생한 이후, 전 세계로 확산하여 2022년 4월 14일 기준으로 5.02억 명의 확진자가 발생하고 619만 명이 사망해 많은 인명과 재산 그리고 산업에 손해를 끼치고 있다.
COVID-19의 높은 전파력의 이유는 감염자가 숨 쉴 때 바이러스가 포함된 미세 입자나 비말로 인하여 근접한 거리에 위치한 사람들이 쉽게 감염되기 때문이다. 이러한 감염병의 특징으로 노동 집약적인 건설 현장에서 많은 수의 감염자가 발생해, 건설업의 시장 전망을 나타내는 건설기업 경기실사지수(construction business survey index, CBSI)가 2020년 3월, 60선 아래로 떨어지면서 2008년 글로벌 금융위기 사태와 비슷한 수준으로 침체하였다.
건설 현장에서 감염병이 확산하면 공사가 중단되어 늘어난 공사 기간만큼 비용이 증가하거나 확진자가 숙련공일 경우 인력 수급이 힘들다. 이에 현장에서 감염병을 예방하기 위해 사회적 거리두기, 마스크 착용 등과 같은 다양한 조치가 시행되었다.
하지만, 건설 현장은 작업자 주변에 중장비, 가 시설물, 자재 등 위험하고 복잡해 안전관리가 매우 힘든 작업 환경에 COVID-19로 인한 방역지침으로 안전 관리자의 업무가 더욱 가중되었다.
넓은 현장에서 분포된 여러 작업장에서 동시에 공사가 진행되기 때문에 안전 관리자가 일괄적으로 감염병이나 산업재해의 위험요인을 실시간으로 감시하고 조치하기엔 매우 어려운 실정이다.
다행스럽게도 건설 현장 진흥법에 따라 2020년부터 대규모 건설 현장부터 CCTV 설치 의무화가 진행되었고, 2021년 서울시 중/소형 민간공사장에도 CCTV 설치가 의무화되어 안전 관리자들이 직접 작업장을 원격으로 모니터링하고 있다.
안전 관리자가 원격으로 여러 현장을 모니터링하는 것은 현장을 직접 순찰하는 것보다 효율적이다. 그러나 수많은 CCTV 카메라에서 실시간으로 송출되는 여러 현장을 인간의 인지 능력으로 동시에 관찰하기 어려운 문제점이 있다.
국회 입법조사처의 연구 보고서에 따르면 감시자가 연속적으로 영상을 감시한 지 12분을 넘으면, 감시자는 현장의 움직임을 45%까지 놓치며, 22분을 넘으면 95%까지 현장의 움직임을 놓친다고 조사하였다.
기존 안전관리 업무에 더해 감염병 예방을 위한 여러 조치까지 동시에 파악해야 한다. 예를 들어, 작업자들의 거리두기와 마스크 착용 여부 등을 실시간으로 여러 현장을 감시하기엔 관제 업무의 높은 피로도를 호소하고 있다.
하지만 최근 딥러닝 기술의 발전으로 영상에서 사물을 탐지하는 기술이 상당히 발전하였다. 이를 CCTV 시스템에 적용하면 건설 현장에서 산업 재해뿐만 아니라 감염병 또한 적은 수의 인력으로도 효율적으로 예방할 수 있다.
우리나라는 COVID-19 확진자 수가 감소하여 위드(with) 코로나를 시행하고 있지만, 미국의 경우 올해 여름을 기점으로 겨울에 다시 확진자가 치솟아 1억 명의 감염자가 발생할 것으로 바이든 행정부에서 발표하였다.
또한, 확진자 수가 안정되더라도 수년 이내에 다른 감염병이 창궐할 수 있다는 예측 전망이 나오고 있다.
한국 등록특허공보 제10-2263946호 (건설 현장 실시간 환경 유해요소 통합 모니터링 시스템, 2021.6.14. 공고)
본 발명의 목적은 건설 현장에 설치되어 있는 CCTV의 영상으로 실시간 객체 탐지 기술을 적용해 작업자 간의 거리두기를 효율적으로 감지할 수 있는 딥러닝 기반 감염병 예방 시스템을 제공하는데 있다.
구체적으로, 본 발명의 일 실시예에 따른 딥러닝 기반 감염병 예방 시스템은 딥러닝 기반 객체 탐지(object detection)를 사용해 작업자의 위치 정보를 추출하고 다중 객체 추적(multiple object tracking, MOT) 알고리즘으로 작업자를 구분한 뒤, 작업자 간의 거리를 측정하여 일정 거리 이상 가까워지면 안전 관리자에게 알람을 전달하여 현장을 통제할 수 있는 딥러닝 기반 감염병 예방 시스템을 제공할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 감염병 예방 시스템은, 건설현장의 학습 데이터를 저장하는 제1 데이터베이스; 상기 건설현장을 출입하는 다수의 작업자 이미지를 포함하는 건설현장 영상을 촬영하는 카메라;
상기 건설현장 영상을 저장하는 제2 데이터베이스;
상기 학습 데이터를 이용하여 미리 학습된 딥러닝 알고리즘인 제1 알고리즘을 통해, 상기 건설현장 영상으로부터 상기 다수의 작업자 이미지를 각각 식별하여 식별 번호를 부여하는 딥러닝 모델부; 및
상기 건설현장 영상의 픽셀들을 이용하여 상기 건설현장 영상을 미터 단위로 환산하고, 2차원 공간에 투영된 상기 다수의 작업자 이미지를 이용하여 상기 다수의 작업자들 간의 거리를 산출하는 제2 알고리즘에 의해 실행되는 제어부를 포함한다.
여기서, 상기 딥러닝 모델부는, 다중 객체 추적 SORT(simple online and real time tracking)를 적용하여 상기 다수의 작업자 이미지 각각을 식별하여 식별 번호를 부여할 수 있다.
이때, 상기 딥러닝 모델부는, 칼만 필터(Karman filter)와 헝가리안 알고리즘(Hungarian algorithm)을 사용하여 상기 다수의 작업자 이미지 각각을 식별하여 식별 번호를 부여할 수 있다.
또한, 상기 딥러닝 모델부는, 상기 학습 데이터를 레이블링(labeling)하여 레이블링 데이터를 형성하고, 객체 탐지 모형을 이용하여 상기 레이블링 데이터의 기계 학습을 수행할 수 있다.
여기서, 상기 딥러닝 모델부는, 상기 객체 탐지 모형으로 YOLOv4를 이용하여 상기 기계 학습을 수행할 수 있다.
또한, 상기 딥러닝 모델부는, 레이블미(labelme) 소프트웨어를 이용하여 상기 레이블링 데이터를 형성할 수 있다.
또한, 상기 제어부는, 역 원근 변환(inverse perspective transform)을 이용하여 상기 건설현장 영상을 미터 단위로 환산할 수 있다.
또한, 상기 제어부는, 상기 다수의 작업자들 간의 거리가 임계값 이하인 경우 경고 정보를 형성할 수 있다.
본 발명의 실시예들에 따르면, 건설 현장 내에서 사회적 거리두기가 지켜지지 않는 작업자에게 경고를 부여하여 감염병 확산을 효과적으로 예방할 수 있고, 기존 전문 인력이 필요했던 건설 현장 안전 모니터링 시스템과 비교했을 때 이전보다 현장 안전 관리자의 관제 업무의 부담을 줄일 수 있는 효과를 얻을 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 감염병 예방 방법의 개략적인 구성도이다.
도 2는 본 발명의 실시예에 따른 PTZ 카메라 특성을 고려한 자체 데이터셋을 시각화한 결과물의 예시도이다.
도 3은 본 발명의 실시예에 따른 역 원근 변환을 이용한 이미지 변환을 보이는 예시도이다.
도 4는 본 발명의 실시예에 따른 딥러닝 기반 감염병 예방 시스템의 구성을 보이는 예시도이다.
도 5는 본 발명의 실시예에 따른 딥러닝 기반 감염병 예방 시스템을 검증하기 위한 시각화 예시도이다.
도 6은 본 발명의 실시예에 따른 제1 알고리즘의 절차를 보이는 흐름도이다.
도 7은 본 발명의 실시예에 따른 객체 탐지 모형을 설명하기 위한 예시도이다.
도 8은 본 발명의 실시예에 따른 제2 알고리즘의 절차를 보이는 흐름도이다.
본 발명의 실시예들은 본 발명의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 발명에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적인 설명으로 한정되는 것은 아니다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지 않는다.
최근 다양한 산업군에서 딥러닝 기반 컴퓨터 비전, 자연어 처리, 강화학습 등을 적용한 연구나 개발이 활발하게 이루어지고 있다. 특히, 건설 분야는 딥러닝 기반 컴퓨터 비전 모형을 이용해 이미지로부터 다양한 정보를 추출하여 BIM(building information modeling), 안전, 검사 등을 위한 자동화 시스템 연구가 한창이다.
그중 현재 건설업에 많은 관심을 받는 분야는 작업자의 개인안전보호구(personal protective equipment, PPE), 중장비, 균열 탐지(crack detection) 등으로 분야마다 적용할 수 있는 비전 모형이 있다.
현장에 컴퓨터 비전을 적용할 수 있는 다양한 모형 중 대표적인 접근방법으로 객체 탐지(object detection)가 주로 적용되고 있다. 객체 탐지는 단순한 이미지 분류(image classification)보다 영상 내 여러 사물의 위치를 동시에 탐지하고 해당 사물의 존재가 무엇인지 분류하는 모형이다.
작업자의 산업재해를 예방하기 위한 여러 요인 중 PPE를 탐지하는 연구들은 다음과 같다.
Nath et al.은 객체 탐지 모형인 YOLOv3을 이용해 작업자와 PPE를 탐지하고 작업자가 PPE를 정상 착용했는지 판단하는 시스템을 제안한다.
Truong et al.은 건설 현장에서 작업자의 PPE를 인스턴스 세그먼테이션(instance segmentation) 모형인 Mask R-CNN을 이용해 탐지할 수 있는 방법을 연구한다. 딥러닝 모형이 PPE를 탐지해내는 성능을 향상시키기 위해 오픈이미지(OpenImage)와 딥페션(DeepFashion) 데이터셋에서 옷과 장신구 등의 클래스만을 추출해 특징 추출기(feature extractor)만 전이 학습(transfer learning)을 사용하여 가중치를 고정하고 나머지 부분을 추가로 학습시킨다.
Fang et al.은 작업자들의 안전모 착용 여부를 중점으로 건설 현장의 다양한 환경 변화에 학습된 탐지기가 잘 동작하는지 실험한다. 사용된 탐지기는 Faster R-CNN으로 카메라에서부터 객체 간의 거리, 날씨, 조도, 작업자의 자세 등에 따라 성능 변화를 측정한다.
이러한 환경에 따라 탐지기의 성능 변화를 실험한 연구들도 진행되고 있다. 　작업자가 PPE 간 관계를 분석하는 연구들이 다방면으로 수행되고 있다.
건설 현장에서 중장비를 탐지하는 연구는 다음과 같다.
Arabi et al.은 실시간으로 작동되는 모니터링 솔루션을 배포하기 위한 가장 중요한 요인인 추론 속도를 실험하고 개발하기 위해 원스테이지(one-stage) 모형인 경량화된 SSD를 적용한 중장비 탐지 임베디드 시스템(embedded system)을 제안한다.
Kim et al.은 적은 데이터로 중장비 객체 탐지 모형을 학습할 수 있는 액티브 러닝(active learning)을 적용하여 기존 모형들을 실험한다.
작업자가 위험구역에 있는지 판단하기 위한 시스템 연구는 다음과 같다.
Yang et al.은 건설 현장에서 타워크레인의 훅(hook)으로 인한 산업재해를 예방하기 위한 시스템을 개발한다. 타워크레인에서 현장을 내려다보는 탑뷰(top-view) 시점에서 타워크레인의 훅과 훅이 내려오는 위험 지역을 설정하고 지상에 있는 작업자들과의 거리를 측정하는 방식이다.
Shim and Choi는 중장비 운전자와 주변 작업자 간의 작업 상황을 공유하는 기술을 개발한다. 작업자와 주변 사물을 탐지하기 위해 YOLOv3 모형을 사용하였고 시스템이 위험 상황을 판단할 수 있도록 알고리즘을 개발한다.
Khan et al.은 이동식 비계에서 작업하는 작업자의 안전을 고려해 예측된 바운딩 박스의 겹침 정도를 분석하여 감시하는 시스템을 제안한다.
마지막으로 본 연구와 같이 감염병을 예방하기 위해 다양한 연구가 진행된다.
안경희 et al.은 컴퓨터 비전 모형인 DenseNet을 이용하여 흉부 X선 영상으로 코로나에 걸렸는지 판단하는 연구를 수행한다.
배진수 et al.은 랜덤 포레스트(random forests), 그래디언트 부스팅(gradient boosting), LSTM(long short-term memory model)을 이용하여 코로나 신규 확진자 추세를 예측하는 연구를 한다.
COVID-19와 관련된 다수의 연구는 의학 관련이다. 이처럼 최근 많은 연구가 현장과 감염병 관련 컴퓨터 비전을 적용하고 있으며 꾸준히 진행되고 있다. 하지만 건설 현장에 COVID-19 관련한 연구가 적다.
따라서 본 발명은 방역 규칙에 따른 건설 현장 내 사회적 거리두기를 딥러닝 기반 탐지기를 통해 실험하고자 한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 감염병 예방 방법의 개략적인 구성도이다.
도 1에 도시한 바와 같이, 첫째, 현장에 설치된 PTZ 카메라, 웹 크롤링, 직접 촬영한 영상으로 건설 현장 데이터셋을 구축한다. 둘째, 수집한 데이터를 레이블링(labeling)하고 객체 탐지 모형인 YOLOv4로 학습한다. 셋째, 학습된 탐지기는 다중 객체 추적 SORT(simple online and real time tracking)를 적용하여 각 작업자를 식별하고 개별 번호를 부여한다. 넷째, 역 원근 변환(inverse perspective transform)으로 영상의 높이와 너비를 픽셀(pixel)이 아닌 미터(meter)로 환산한다. 마지막으로 2차원 공간에 투영된 객체 탐지 결과와 추적된 작업자들의 결과물을 이용해 작업자들의 거리를 측정한다.
<건설 현장 특화 PTZ 카메라 기반 영상 데이터셋>
건설 현장에 존재하는 객체(작업자, 중장비 등) 관련되어 온라인에 공개된 데이터셋들은 ACID(alberta construction image dataset)와 MOCS(moving objects in construction sites) 데이터셋이 있다. 하지만 공개된 데이터셋은 본 발명에 직접 적용하는 것은 적합하지 않은데 이는 CCTV의 탑뷰(top view) 시점과 작업자 안전 보호구 등 객체가 없기 때문이다.
또한, MS COCO와 같은 대규모 데이터셋으로는 숄더뷰 이상 시점에서 사람의 예측이 낮으므로 자체 데이터셋을 구축한다.
PTZ 카메라의 특징 중 줌인아웃(zoom in-out)은 동일한 객체지만 크기가 변할 수 있고, 카메라의 각도 변화로 다양한 시점을 고려해야 한다. 이를 위해 다양한 장면들을 웹 크롤링, PTZ 카메라로 기록된 현장과 직접 촬영한 영상을 labelme 소프트웨어로 레이블링 작업을 수행한다. 객체 탐지기를 학습할 자체 데이터셋의 구성은 4,899장의 학습 데이터, 검증을 위한 1,225장의 데이터로 총 6,124장의 이미지이며 클래스별 객체 수와 이미지 개수는 표 1에 요약한다.
Class name Number of objects (%) Number of Images (%)
Worker 15,569 (0.377) 3,300 (0.246)
Hardhat 11,661 (0.282) 2,959 (0.220)
Safety vest 4,224 (0.102) 1,623 (0.121)
Excavator 3,025 (0.073) 2,263 (0.169)
Dump truck 4,858 (0.118) 2,213 (0.165)
Concrete mixer truck 1,376 (0.033) 597 (0.044)
Concrete pump truck 258 (0.006) 182 (0.014)
Loader 193 (0.005) 167 (0.012)
Forklift 133 (0.003) 118 (0.009)
　도 2는 본 발명의 실시예에 따른 PTZ 카메라 특성을 고려한 자체 데이터셋을 시각화한 결과물의 예시도이다.
<딥러닝 기반 객체 탐지기: YOLOv4>
객체 탐지란 영상에서 객체의 위치와 종류를 동시에 탐지하는 분야이다. 객체 탐지 모형은 학습 데이터에 구성된 클래스 개수만큼 위치를 경계 상자(bounding box)로 추출하고 경계 상자에 어떤 종류의 객체가 있는지 분류하는 방식이다. 객체 탐지는 모형을 설계하는 방식에 원스테이지(one-stage) 방식과 투스테이지(two-stage) 방식으로 나뉜다. 투스테이지 탐지기는 2015년에 발표한 R-CNN으로 영상 내 객체의 위치와 존재 여부를 제안하는 지역 제안(region proposal) 과정과 다시 이를 학습하여 객체의 위치를 예측하고 종류를 분류하는 학습 단계, 즉 두 단계로 진행한다. 하지만 투스테이지 방식은 정확도는 높지만, 추론 속도가 느리다는 단점이 있다.
YOLO는 Redmon et al.가 제안한 객체 탐지기로 대표적인 원스테이지 모형이다. YOLO는 빠른 추론 속도로 객체 탐지의 실시간 추론의 가능성을 보여주었다. Bochkovskiy et al.가 제안한 YOLOv4는 탐지의 성능을 향상하기 위해 YOLOv3을 기반으로 기존의 다양한 접근방법론과 실험을 통해 최적의 방법론들이 조합된 모형이다.
YOLOv4의 백본(backbone)은 특징 추출기(feature extractor)로 탐지기의 수용 영역(receptive field)을 확장하기 위해 합성곱 신경망(convolutional neural networks, CNN)으로 구성된 CSPDarknet53(cross stage partial darknet53)을 사용한다. 넥(neck)은 다양한 객체의 크기를 탐지할 수 있도록 사용하며 보통 FPN(feature pyramid networks)을 많이 채용하지만, YOLOv4에서는 SPP(spatial pyramid pooling)와 PAN(path aggregation network)을 사용한다.
FPN 구조는 하위 계층 정보가 상위 계층으로 전달되려면 많은 계층(layer)을 거쳐 연산하는 단점이 있지만, PAN은 하위 계층 정보를 상위 계층으로 전달하는데 소수의 계층만으로도 하위 계층의 정보를 탐지기에 전달할 수 있다. 대부분 모형은 같은 크기의 이미지를 묶어 학습하지만, 영상 내 비율이나 크기가 변경되면 특징의 왜곡이 발생할 수 있다. 이는 학습한 모형의 추론 단계에서 변형된 데이터를 사용했기 때문에 모형의 정확도가 감소한다. SPP는 탐지기가 학습할 때 입력 데이터의 특징 훼손 없이 왜곡하지 않고 학습할 수 있게 해주는 풀링(pooling) 방법이다.
YOLOv4 연구팀은 탐지기의 일반화와 성능을 높이기 위해 데이터 어그멘테이션(data augmentation) 방법으로 모자이크(mosaic)를 제안한다. 모자이크 어그멘테이션은 네 장의 이미지를 고정된 크기의 이미지 한 장으로 만들어 준다. 네 장의 이미지가 한 장으로 합쳐지면 이미지 내의 객체 크기는 작아지고 경계 상자의 크기도 작아진다. 따라서 한 장의 이미지가 네 개의 묶음 효과를 내주어 적은 배치로도 효율적으로 학습할 수 있고 일반화 성능과 작은 객체를 탐지하는 성능도 상승하는 효과를 얻을 수 있다.
<다중 객체 추적 알고리즘: SORT>
다중 객체 추적은 연속된 흐름을 가진 영상에서 객체에 고유 식별 ID를 부여하고 추적하는 분야로 자율주행, 스포츠 경기분석 등에 사용하고 있다. 다중 객체 추적의 방식은 온라인 추적과 오프라인 추적 방식으로 구분할 수 있는데 온라인 방식은 현재 프레임과 바로 직전 프레임을 이용하여 실시간으로 추적하는 방식이고, 오프라인 방식은 실시간이 아닌 전체 영상의 프레임을 이용하여 추적하는 방식이다.
본 발명에서는 작업자의 실시간 모니터링을 위해 온라인 추적 기법을 사용하였으며 학습한 YOLOv4 탐지기의 결과물인 객체의 위치 정보를 토대로 SORT 알고리즘을 적용하여 고유 식별 ID를 부여하고 탐지기가 객체의 위치를 추정하지 못할 때 SORT가 이를 보완해주기 때문에 시스템의 연속성을 유지하기 위한 용도로도 사용한다.
SORT 알고리즘은 칼만 필터(Kalman filter)와 헝가리안 알고리즘(Hungarian algorithm)을 사용하여 작업자의 다음 프레임 위치를 예측하고 작업자마다 고유 식별하여 추적한다. 칼만 필터란 로봇, 미사일 등의 위치를 확률적으로 추정하기 위해 사용하는 대표적인 기법이다. 헝가리안 알고리즘이란 작업자의 ID를 예측하여 매칭시켜 준다. SORT는 탐지기로부터 추출한 객체의 위치를 중심 좌표, 경계 상자의 영역, 종횡비로 변환하고 현재 프레임에서 모형의 예측한 경계 상자와 칼만 필터가 예측한 경계 상자의 값을 IoU(Intersection over Union)를 비교하여 비용 행렬(cost matrix)로 변환하여 헝가리안 알고리즘으로 할당하여 작업자의 ID를 부여한다.
<작업자 간 거리 측정 알고리즘>
도 3은 본 발명의 실시예에 따른 역 원근 변환을 이용한 이미지 변환을 보이는 예시도이다.
도 3에 도시한 바와 같이, 작업자 간 사회적 거리두기 모니터링을 구현하기 위해 현장의 CCTV 영상을 모니터링 시스템과 연결하여 학습된 YOLOv4 모형이 작업자를 예측하고, SORT를 통해 추적한다. 또한, 역 원근 변환을 사용하여 원본 영상(도 3. a)을 버드아이뷰(Bird's Eye View) 영상(도 3(b))으로 변환한다. 변환된 버드아이뷰 영상은 원근감이 제거되어 정확한 거리를 측정할 수 있다. 사회적 거리두기 측정을 위해 작업자의 중심점(cx, cy)좌표를 찾아 작업자 간의 픽셀 간 거리를 계산하고 현실 거리로 변환하여 작업자들의 거리가 안전하게 유지되고 있는지 확인한다. 모니터링 시스템의 절차는 다음과 같다.
단계 1: 건설현장에 설치된 PTZ 카메라를 통해 스트리밍 되는 영상에서 거리두기를 관찰할 관심 영역을 지정하여 역 원근 변환하여 2차원 평면도로 투사한다.
단계 2: 자체 구축한　데이터셋으로 학습한 YOLOv4 모형을 이용하여 영상에서 실시간으로 작업자 및 관련 객체들의 위치 정보를 추론한다.
단계 3: 탐지기가 예측한 작업자의 경계 상자 정보를 SORT 알고리즘 입력 데이터로 변환하고 관심 영역 내 작업자의 고유 식별 번호를 부여한다.
단계 4:　2차원으로 투영된 버드아이뷰와 고유 식별번호를 기준으로 주변 작업자들과 유클리디안 거리로 계산하여 소정 임계값(예를 들어, 2m) 이내 작업자가 있는지 확인한다.
단계 5: 프레임마다 단계 2로 돌아가 현재 프레임과 이전 프레임으로 추론을 반복한다.
단계 6: 작업자 간의 거리가 임계값 이하 일시 CCTV 관제 업무 중인 안전 관리자에게 경고 알람을 보낸다.
<모델 성능 평가 방법>
본 발명에서 객체 탐지 모형의 성능 평가를 위해 MS COCO의 평가지표를 사용한다. COCO 데이터셋은 33만 장의 이미지와 80개의 클래스로 구성되어 있고, COCO 데이터셋을 학습시킨 모형의 성능을 평가하는 COCO 평가지표는 객체 탐지 모형, 시멘틱 세그멘테이션 모형, 인스턴스 세그멘테이션 모형, 키포인트 모형 등 다양한 컴퓨터 비전의 모형의 성능을 평가하는 지표로 사용되고 있다. COCO 평가지표는 IoU 임계값에 따라 AP50:95, AP50, AP7를 사용하며, AP50:95는 IoU 임계값을 0.5부터 0.95까지 0.05씩 10번 증가시켜 평균한 값이다. 또한, COCO 평가지표는 객체의 크기에 따라 APS, APM, APL을 사용하며 S, M, L의 크기는 각각 area < , < area < , area > 이다. 하지만 자체 학습한 건설 현장 데이터셋의 객체의 크기가 COCO 데이터셋에 비해 커서 S, M, L의 크기를 area < , < area < , area > 로 2배 늘려 평가한다.
본 발명에서는 객체 추적의 성능 평가를 위해 MOT의 평가지표를 사용한다. MOT Challenge는 카메라를 고정해 촬영한 데이터와 카메라를 이동시켜 다양한 앵글 높이로 촬영한 데이터들을 제공하고, 다중 객체 추적의 성능을 평가하기 위해 MOT 평가지표를 제공한다. 본 발명에서 사용된 평가지표의 구성은 MOTA, MOTP, FP, FN, Recall, Precision, MT, GT, IDs로 구성한다. MOTA(Multi Object Tracking Accuracy)는 다중 객체 추적 정확도이며, MOTP(Multi Object Tracking Precision)는 다중 객체 추적 정밀도, FP는 잘못 예측한 대상의 수, FN은 예측하지 못한 대상의 수, Precision은 모델이 제대로 감지한 비율, Recall은 총 GT 상자 수에 대한 올바른 감지 비율, MT는 대부분 추적한 객체의 수, GT는 원본 영상에서의 정답 객체 수, IDs는 객체의 아이디가 변경된 횟수이다.
이하, 첨부된 도면을 참조로 전술한 특징을 갖는 본 발명의 실시예를 더욱 상세히 설명하고자 한다.
도 4는 본 발명의 일 실시예에 따른 딥러닝 기반 감염병 예방 시스템의 구성을 보이는 예시도이다.
도 4에 도시한 바와 같이, 딥러닝 기반 감염병 예방 시스템(100)은, 카메라(110), 제1 데이터베이스(120), 제2 데이터베이스(130), 제1 알고리즘(140), 딥러닝 모델부(150), 제2 알고리즘(160) 및 제어부(170)를 포함할 수 있다. 일 실시예에 따르면, 카메라(110), 제1 데이터베이스(120), 제2 데이터베이스(130), 제1 알고리즘(140), 딥러닝 모델부(150), 제2 알고리즘(160) 및 제어부(170)는 시스템 버스 등을 통하여 상호간 통신 가능하도록 연결될 수 있다.
카메라(110)는 건설현장을 출입하는 다수의 작업자 및 건설현장의 하늘 이미지를 포함하는 건설현장 영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라(110)는 건설현장을 하이앵글(high angle or top view)에서 촬영하는 PTZ 카메라(pan tilt zoom camera), CCTV(Closed Circuit Television) 등을 포함할 수 있지만, 이에 한정되지 않는다.
또는, 다른 실시예에 따르면, 카메라(110)는 왼쪽 오른쪽으로 패닝하거나, 위/아래로 틸트하거나 확대 및 축소가 가능하여 건설현장 전체를 유연하게 촬영할 수 있는 카메라로서, 무선 또는 유선 네트워크로 연결된 카메라(110)를 포함할 수 있다.
제1 데이터베이스(120)는 건설현장의 학습 데이터를 저장할 수 있다. 일 실시예에 따르면, 제1 데이터베이스(120)는 딥러닝 모델부(150)에서의 기계 학습의 수행을 위한 학습 데이터를 저장할 수 있다. 예를 들어, 제1 데이터베이스(120)는 카메라(110)와 무선 또는 유선 네트워크로 연결된 DVR(Digital Video Recorder), NVR(Network Video Recorder), ROM(Read Only Memory), RAM(Random Access Memory), CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등을 포함할 수 있지만, 이에 한정되지 않는다.
제2 데이터베이스(130)는 카메라(110)에서 촬영된 건설현장 영상을 저장할 수 있다. 일 실시예에 따르면, 제2 데이터베이스(130)는 카메라(110)에서 촬영된 건설현장 이미지 중 건설현장을 출입하는 다수의 작업자 및 건설현장의 하늘 이미지를 포함하는 건설현장 영상을 저장할 수 있다. 예를 들어, 제2 데이터베이스(130)는 카메라(110)와 무선 또는 유선 네트워크로 연결된 DVR(Digital Video Recorder), NVR(Network Video Recorder), ROM(Read Only Memory), RAM(Random Access Memory), CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등을 포함할 수 있지만, 이에 한정되지 않는다.
딥러닝 모델부(130)는 제1 데이터베이스(120)에 저장된 학습 데이터를 이용하여 미리 학습된 딥러닝 알고리즘(제1 알고리즘(140))을 통해, 건설현장 영상으로부터 다수의 작업자 이미지를 각각 식별하여 식별 번호를 부여할 수 있다.
일 실시예에 따르면, 제1 알고리즘(140)은 배경이 포함된 아이뷰 이미지(eye-level viewpoint)로 구성된 제2 데이터베이스(130)의 이미지를 버드아이뷰 이미지(bird's eye-level viewpoint)로 변환해 카메라(110)로 촬영된 건설현장 영상과 유사하게 변환시켜, 카메라(110) 기반의 영상에서 작업자의 객체를 굳건하게 탐지할 수 있다.
일 실시예에 따르면, 딥러닝 모델부(150)는 다중 객체 추적 SORT(simple online and real time tracking)를 적용하여 다수의 작업자 이미지 각각을 식별하여 식별 번호를 부여할 수 있다. 예를 들어, 딥러닝 모델부(150)는 칼만 필터(Karman filter)와 헝가리안 알고리즘(Hungarian algorithm)을 사용하여 다수의 작업자 이미지 각각을 식별하여 식별 번호를 부여할 수 있다.
일 실시예에 따르면, 딥러닝 모델부(150)는 학습 데이터를 레이블링(labeling)하여 레이블링 데이터를 형성하고, 객체 탐지 모형을 이용하여 레이블링 데이터의 기계 학습을 수행할 수 있다. 예를 들어, 딥러닝 모델부(150)는 객체 탐지 모형으로 YOLOv4를 이용하여 기계 학습을 수행할 수 있다.
또는, 다른 실시예에 따르면, 딥러닝 모델부(130)는 레이블미(labelme) 소프트웨어를 이용하여 레이블링 데이터를 형성할 수 있다.
일 실시예에 따르면, 딥러닝 모델부(150)는 경량화된 객체 탐지 모형으로서, 객체 탐지 모형은 영상의 각 프레임에서 객체가 어떤 클래스에 속하는지와 객체의 위치를 사각형의 경계 박스로 예측할 수 있다. 또한 객체 탐지 모형으로는 YOLOv7을 사용할 수도 있다.
제어부(170)는 건설현장 영상의 픽셀들을 이용하여 건설현장 영상을 미터 단위로 환산하고, 2차원 공간에 투영된 다수의 작업자 이미지를 이용하여 다수의 작업자들 간의 거리를 산출할 수 있다. 일 실시예에 따르면, 제어부(170)는 역 원근 변환(inverse perspective transform)을 이용하여 건설현장 영상을 미터 단위로 환산할 수 있다.
제어부(170)는 다수의 작업자들 간의 거리가 임계값 이하인 경우 경고 정보를 형성할 수 있다. 일 실시예에 따르면, 제어부(170)는 건설현장에 설치된 카메라(110)를 통해 스트리밍되는 영상에서 거리두기를 관찰할 관심 영역을 지정하여 역 원근 변환하여 2차원 평면도로 투사하고(제1 단계), 자체 구축한 학습 데이터로 학습한 YOLOv4 모형을 이용하여 건설현장 영상에서 실시간으로 다수의 작업자 및 관련 객체들의 위치 정보를 추론할 수 있다(제2 단계). 또한, 제어부(170)는 객체 탐지기가 예측한 다수의 작업자들의 경계 상자 정보를 SORT 알고리즘 입력 데이터로 변환하고 관심 영역 내 다수의 작업자들의 고유 식별 번호를 부여하고(제3 단계), 2차원으로 투영된 버드아이뷰 영상과 고유 식별 번호를 기준으로 주변 작업자들과 유클리디안 거리로 계산하여 소정 거리 예를 들면, 2m 이내 작업자가 있는지 확인할 수 있다(제4 단계). 아울러, 제어부(170)는 프레임마다 제2 단계로 돌아가 현재 프레임과 이전 프레임으로 추론을 반복하고, 작업자 간의 거리가 소정 거리 이하일 경우 관제 업무중인 안전 관리자에게 경고 정보를 송신할 수 있다.
본 발명의 실시예에 따른 딥러닝 기반 감염병 예방 시스템(100)은 건설현장 내 작업자들 간 거리를 측정하기 위해 탐지기로 YOLOv4 모형, 작업자 식별과 연속성을 보완하기 위해 SORT, 그리고 거리 측정 알고리즘을 적용한다.
딥러닝 학습은 Ubuntu 20.04과 NVIDIA V100(32GB) 4대로 학습했으며, 평가는 Windows 11과 NVIDIA RTX 3060으로 평가한다. 객체 탐지 모형은 YOLOv4 모형을 사용한다. 학습을 위해 미니 배치 크기는 64, 학습률은 2e-4, 에폭은 80으로 설정한다. YOLOv4 모형을 학습하면서 실시간으로 학습의 진행을 검증하기 위해 Tensorboard를 사용하여 학습 곡선과 추론 곡선을 시각화해 과적합 되지 않은 적절한 에폭을 찾았으며 객체 검출 모형의 대표적인 성능 평가 지표인 MS COCO의 표준 지표를 사용한다. 입력 이미지 크기에 따른 모형의 성능 비교를 위해 이미지 입력 크기로 학습한다.
표 2는 이미지 크기로 학습시킨 모형의 성능의 결과표로 IoU의 임계값 0.5로 계산한 AP50이 가장 성능이 높았으며, 객체의 크기를 기준으로 계산하였을 때 APL의 예측 성능이 높다. 학습 데이터에 Concrete pump truck, Loader, Forklift의 클래스의 APS의 객체가 없어 검증하지 못하였고, Forklift 클래스 객체가 학습 데이터에 하나밖에 존재하지 않아 정확한 평가를 하지 못하였다.
Class AP50:95 AP50 AP75 APS APM APL
Worker 0.686 0.822 0.756 0.453 0.779 0.886
Hardhat 0.669 0.774 0.774 0.535 0.910 0.933
Dump truck 0.735 0.771 0.771 0.370 0.742 0.942
Safety vest 0.564 0.632 0.632 0.376 0.588 0.943
Excavator 0.659 0.711 0.692 0.225 0.596 0.891
Concrete mixer truck 0.687 0.767 0.704 0.328 0.553 0.856
Concrete pump truck 0.602 0.774 0.561 0.000 0.607 0.646
Loader 0.881 0.921 0.921 0.000 0.900 0.974
Forklift 0.941 1.000 1.000 0.000 0.000 0.941
　표 3은 건설현장에서 작업자만 SORT 알고리즘을 적용해 두 개의 영상에서 추적 성능 결과이다. 실시간 거리두기 모니터링 시스템을 위하여 9개의 클래스로 라벨링된 학습 데이터를 사용하여 학습하였지만, 본 발명에서는 작업자의 사회적 거리두기 측정을 위한 시스템으로 작업자의 객체 추적만 필요하므로 다른 클래스의 객체 추적을 진행하지 않았으며 건설 현장의 영상 2개로 평가한다.첫 번째 영상은 MOTA 0.689, MOTP, 0.869, MT는 3(2), IDs는 3번 일어났다. 두 번째 영상은 MOTA 0.980, MOTP, 0.783, MT는 6(6), IDs는 1번 일어났다. 작업자가 가려지지 않은 상황에서는 좋은 성능을 보여주었지만, 작업자가 작거나 가려져 탐지기가 탐지하지 못했을 경우는 ID의 스위치가 변경된다.
Video MOTA MOTP FP FN Recall Precision MT (GT) IDs*
#1 0.689 0.869 200 250 0.827 0.857 3 (2) 3
#2 0.980 0.783 24 12 0.993 0.987 6 (6) 1
*IDs stands for switching ID
도 5는 본 발명의 일 실시예에 따른 딥러닝 기반 감염병 예방 시스템을 검증하기 위한 시각화 예시도이다.도 5(a)는 건설현장 내 PTZ기반 카메라(110)로 작업자들을 촬영한 영상의 사진이며, 도 5(b) 및 (c) 딥러닝 기반 감염병 예방 시스템(100)을 통해 출력된 영상의 사진이다. 도 5(b)는 YOLOv4 모형이 예측한 작업자들의 경계 상자와 SORT 알고리즘이 추적한 작업자의 고유 ID를 확인할 수 있고, 도 5(c)는 안전 관리자가 관심 영역으로 지정한 영역을 흰색 바탕의 캔버스에 역 원근 변환하여 2차원 평면도로 투사해 작업자들의 거리가 소정 임계값(예를 들어, 2m) 이내가 될 경우 캔버스에 거리 유지가 되고 있지 않은 작업자들끼리 빨간 선으로 연결해 거리 유지가 되고 있지 않음을 보여준다.
도 6은 본 발명의 일 실시예에 따른 제1 알고리즘의 절차를 보이는 흐름도이다. 도 6의 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.
도 6에 도시한 바와 같이, 단계(S610)에서, 배경이 포함된 이미지가 수집된다. 예를 들어, 도 1 내지 도 5를 참조하면, 수집된 이미지들은, 딥러닝 기반 감염병 예방 시스템(100)의 카메라(110)로 촬영하여 수집한 이미지, 웹크롤링을 이용해 수집한 이미지 등을 포함할 수 있다.
일 실시예에 따르면, 수집된 이미지들은 하늘 배경이 포함되어 있거나, 아이뷰(eye-level viewpoint) 또는 웜아이뷰(worm's eye-level viewpoint)로 레이블링된 이미지를 포함할 수 있다.
단계(S620)에서, 작업자 객체 이미지가 삭제된다. 예를 들어, 도 1 내지 도 5를 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 딥러닝 모델부(150)는 단계(S610)에서 수집된 이미지에서 레이블링된 작업자 객체의 경계 박스(bounding box)의 좌표 정보를 이용해 수집된 이미지에서 작업자 객체 이미지를 제거할 수 있다.
단계(S630)에서, 색상 히스토그램이 적용된다. 예를 들어, 도 1 내지 도 6을 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 딥러닝 모델부(150)는 수집된 이미지에서 삭제된 작업자 객체 부분의 영역을 주변 픽셀 값과 비슷한 수치로 채워 자연스러운 이미지를 만들기 위하여 이미지 전체 픽셀의 색상값을 추출하여 색상 히스토그램을 만들고, 히스토그램의 중간 값을 추출하여 이미지 내 삭제된 영역을 채울 수 있다.
단계(S640)에서, 이미지 원근 변환이 수행된다. 예를 들어, 도 1 내지 도 5를 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 딥러닝 모델부(150)는 이미지 내 작업자의 좌표 중 가장 상단의 y좌표를 기준값으로 지정하여 이미지를 자르고, 원근 변환 과정을 적용하여 이미지 내 작업자의 이미지는 보존하면서 배경을 제거할 수 있다.
단계(S650)에서, 삭제된 작업자 영역 스무딩이 수행된다. 예를 들어, 도 1 내지 도 5를 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 딥러닝 모델부(150)는 이미지 내 작업자 객체의 경계 박스의 크기를 계산해 중간값으로 스무딩 한다.
단계(S660)에서, 작업자 객체 재배치가 수행된다. 예를 들어, 도 1 내지 도 5를 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 딥러닝 모델부(150)는 스무딩 된 작업자 객체를 원근 변환된 이미지에 랜덤하게 재배치할 수 있다. 일 실시예에 따르면, 객체의 크기가 클수록 이미지의 하단에 배치할 수 있다.
도 7은 본 발명의 일 실시예에 따른 객체 탐지 모형을 설명하기 위한 예시도이다.
도 7에 도시한 바와 같이, YOLOv7 모듈(S210)은 Conv 레이어(S220), RepConv 레이어(S230) 및 SPPCSPC 레이어(S240)를 포함할 수 있다. 입력된 영상 프레임의 특징을 추출하기 위한 YOLOv7의 특징 추출기(S250)는 Conv 레이어(S220), MaxPool 레이어, Concat 레이어로 구성되어 있다. 입력된 영상 프레임이 특징 추출기를 통과하면 추출된 특징들이 머리(S260)로 전달된다. 머리(S260)는 객체의 종류와 위치를 탐지하는 곳으로 YOLOv7에서는 Conv 레이어(S220), RepConv 레이어 (S230), SPPCSPC 레이어(S240), MaxPool 레이어, Concat 레이어, Upsample 레이어로 이루어져 있고, 머리(S260)을 통과하면 최종적으로 객체 탐지 모형인 YOLOv7가 예측한 작업자 객체의 경계 박스를 얻을 수 있다.
도 8은 본 발명의 실시예에 따른 제2 알고리즘의 절차를 보이는 흐름도이다.
도 8에 도시한 바와 같이, 딥러닝 기반 감염병 예방 시스템(100)의 제2 알고리즘(160)은 딥러닝 모델부(150)에 의해 작업자가 검출된 이미지에 역 원근 변환(Inverse perspective transform) 알고리즘을 적용하여 2차원 평면으로 투영된 이미지 내에서 작업자 간의 물리적 거리를 측정하여 작업장 내에서 사회적 거리두기가 정상적으로 시행되고 있는지 여부를 판단할 수 있다.
또한, 역 원근 변환을 활용한 작업장 제2 알고리즘(160)은 딥러닝 모델부(150)에 의해 검출된 작업자 간의 물리적 거리를 측정하여 사회적 거리두기 시행 여부를 판단할 수 있다. 일 실시예에 따르면, “안전”은 건설현장 영상 내에 작업자가 2020년도 질병 관리청에서 지정한 개인간 2m 거리두기를 정상적으로 시행하고 있는 상태이고, “경고”는 건설현장 영상 내에 작업자간 2m 거리두기가 지켜지지 않은 상태임을 나타낸다.
단계(S810)에서, 작업자 객체 위치가 검출된다. 예를 들어, 도 1 내지 도 7을 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 제2 알고리즘(160)은 카메라(110)에서 촬영된 건설현장 영상에 객체 탐지 모형을 적용하여 실시간으로 작업자 객체의 위치 정보를 추론할 수 있다.
단계(S820)에서, 영상 2차원 평면 투영이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 제2 알고리즘(160)은 카메라(110)에서 촬영된 건설현장 영상을 2차원 평면으로 투영하는 과정을 수행할 수 있다.
단계(S830)에서, 미터 단위 매핑이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 제2 알고리즘(160)은 단계(S820)에서 2차원 평면으로 투영된 영상의 픽셀값을 미터 단위로 매핑하여 작업자의 중심점 위치를 갱신할 수 있다.
단계(S840)에서, 거리 측정이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 제2 알고리즘(160)은 단계(S830)에서 갱신된 작업자 객체의 중심점을 기준으로 유클리드 거리 측정을 수행할 수 있다.
단계(S850)에서, 거리두기 여부 판단이 수행된다. 예를 들어, 도 1 내지 도 7을 참조하면, 딥러닝 기반 감염병 예방 시스템(100)의 제2 알고리즘(160)은 단계(S840)의 거리 측정을 바탕으로 건설현장 내에서 작업자간 사회적 거리두기 여부를 자동으로 판단하는 알고리즘을 사용하여 위험 상태의 작업자에게 실시간으로 경고 메시지를 전달할 수 있는 건설현장 내 감염병 예방 시스템을 구축할 수 있다. 또한, 딥러닝 기반 감염병 예방 시스템(100)은 작업자간 사회적 거리두기 시행 여부에 따라 현장 관리자 또는 해당 작업자에게 직접 경고를 전달하는 작업을 수행할 수 있다.
본 발명에서는 건설현장에 설치된 CCTV를 통해 COVID-19와 같은 감염병 예방을 위해 작업자 간 사회적 거리두기를 효율적으로 관리할 수 있는 딥러닝 기반 컴퓨터 비전 시스템을 제안한다. 건설현장 CCTV는 대부분 숄더뷰 이상으로 촬영하기 때문에 해당 시점의 데이터가 부족하여 대규모 벤치마크 또는 건설현장 오픈 데이터셋으로 학습하지 않고 웹 크롤링, 직접 촬영한 영상으로 자체 건설현장 데이터셋을 제작한다.
작업자들의 위치 정보를 실시간으로 파악하기 위해 실시간 추론이 가능한 객체 탐지 모형 YOLOv4를 사용하고, 또한 작업자들을 추적 및 고유 ID를 부여하기 위해 다중 객체 탐지 알고리즘인 SORT를 적용한다. 자체 제작한 데이터셋은 작업자뿐만 아니라 건설장비들도 있어 YOLOv4 모형에서 건설 장비 클래스도 예측되지만, 작업자의 위치 정보만 필요하여 작업자 클래스에만 SORT를 적용하여 추적한다. 또한 작업자의 사회적 거리두기 계산을 위해 역 원근 변환을 사용한다. 역 원근 변환을 적용한 건설현장 영상에서의 픽셀 간의 거리로 작업자 간의 실제 거리를 계산해 작업자 간의 거리가 2m 이하가 됐을 경우 알림을 보내는 모니터링을 시스템을 구축한다.
본 발명은 건설 현장 진흥법에 따라 건설 현장에 설치된 CCTV를 통하여 현장 안전 관리자의 관제 업무의 부담을 줄이는 감염병 예방을 위한 사회적 거리두기 모니터링 시스템을 제안하였고, 이를 건설 현장에 적용하면 효과적으로 감염병을 예방할 수 있다.
상기 방법은 특정 실시예들을 통하여 설명되었지만, 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상, 본 발명을 도면에 도시된 실시예를 참조하여 설명하였다. 그러나, 본 발명은 이에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명과 균등한 범위에 속하는 다양한 변형예 또는 다른 실시예가 가능하다. 따라서, 본 발명의 진정한 보호범위는 이어지는 특허청구범위에 의해 정해져야 할 것이다.
100: 딥러닝 기반 감염병 예방 시스템
110: 카메라 120: 제1 데이터베이스
130: 제2 데이터베이스 140: 제1 알고리즘
150: 딥러닝 모델부 160: 제2 알고리즘
170: 제어부

Claims (8)

  1. 건설현장의 학습 데이터를 저장하는 제1 데이터베이스;
    상기 건설현장을 출입하는 다수의 작업자 이미지를 포함하는 건설현장 영상을 촬영하는 카메라;
    상기 건설현장 영상을 저장하는 제2 데이터베이스;
    상기 학습 데이터를 이용하여 미리 학습된 딥러닝 알고리즘인 제1 알고리즘을 통해, 상기 건설현장 영상으로부터 상기 다수의 작업자 이미지를 각각 식별하여 식별 번호를 부여하는 딥러닝 모델부; 및
    상기 건설현장 영상의 픽셀들을 이용하여 상기 건설현장 영상을 미터 단위로 환산하고, 2차원 공간에 투영된 상기 다수의 작업자 이미지를 이용하여 상기 다수의 작업자들 간의 거리를 산출하는 제2 알고리즘에 의해 실행되는 제어부를 포함하는,
    딥러닝 기반 감염병 예방 시스템.
  2. 제 1 항에 있어서,
    상기 딥러닝 모델부는,
    다중 객체 추적 SORT(simple online and real time tracking)를 적용하여 상기 다수의 작업자 이미지 각각을 식별하여 식별 번호를 부여하는 것을 특징으로 하는,
    딥러닝 기반 감염병 예방 시스템.
  3. 제 2 항에 있어서,
    상기 딥러닝 모델부는,
    칼만 필터(Karman filter)와 헝가리안 알고리즘(Hungarian algorithm)을 사용하여 상기 다수의 작업자 이미지 각각을 식별하여 식별 번호를 부여하는 것을 특징으로 하는,
    딥러닝 기반 감염병 예방 시스템.
  4. 제 1 항에 있어서,
    상기 딥러닝 모델부는,
    상기 학습 데이터를 레이블링(labeling)하여 레이블링 데이터를 형성하고, 객체 탐지 모형을 이용하여 상기 레이블링 데이터의 기계 학습을 수행하는 것을 특징으로 하는,
    딥러닝 기반 감염병 예방 시스템.
  5. 제 4 항에 있어서,
    상기 딥러닝 모델부는,
    상기 객체 탐지 모형으로 YOLOv4를 이용하여 상기 기계 학습을 수행하는 것을 특징으로 하는,
    딥러닝 기반 감염병 예방 시스템.
  6. 제 4 항에 있어서,
    상기 딥러닝 모델부는,
    레이블미(labelme) 소프트웨어를 이용하여 상기 레이블링 데이터를 형성하는 것을 특징으로 하는,
    딥러닝 기반 감염병 예방 시스템.
  7. 제 1 항에 있어서,
    상기 제어부는,
    역 원근 변환(inverse perspective transform)을 이용하여 상기 건설현장 영상을 미터 단위로 환산하는 것을 특징으로 하는,
    딥러닝 기반 감염병 예방 시스템.
  8. 제 1 항에 있어서,
    상기 제어부는,
    상기 다수의 작업자들 간의 거리가 임계값 이하인 경우 경고 정보를 형성하는 것을 특징으로 하는,
    딥러닝 기반 감염병 예방 시스템.
KR1020220119600A 2022-09-21 2022-09-21 딥러닝 기반 감염병 예방 시스템 KR20240040530A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220119600A KR20240040530A (ko) 2022-09-21 2022-09-21 딥러닝 기반 감염병 예방 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220119600A KR20240040530A (ko) 2022-09-21 2022-09-21 딥러닝 기반 감염병 예방 시스템

Publications (1)

Publication Number Publication Date
KR20240040530A true KR20240040530A (ko) 2024-03-28

Family

ID=90482957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220119600A KR20240040530A (ko) 2022-09-21 2022-09-21 딥러닝 기반 감염병 예방 시스템

Country Status (1)

Country Link
KR (1) KR20240040530A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102263946B1 (ko) 2019-12-10 2021-06-14 경북대학교 산학협력단 건설 현장 실시간 환경 유해요소 통합 모니터링 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102263946B1 (ko) 2019-12-10 2021-06-14 경북대학교 산학협력단 건설 현장 실시간 환경 유해요소 통합 모니터링 시스템

Similar Documents

Publication Publication Date Title
CN110502965B (zh) 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
Park et al. Hardhat-wearing detection for enhancing on-site safety of construction workers
CN110263686A (zh) 一种基于深度学习的施工工地图像安全帽检测方法
CN111241959A (zh) 一种通过工地视频流检测未佩戴安全帽人员的方法
CN111275923B (zh) 施工现场的人机碰撞预警方法及系统
CN110602449A (zh) 一种基于视觉的大场景下施工安全智能监控系统方法
US11917333B2 (en) Systems and methods for personnel location at a drilling site
CN109448326B (zh) 一种基于快速图像识别的地质灾害智能群防监测系统
CN111079722A (zh) 一种吊装过程人员安全监测方法及系统
CN115797864A (zh) 一种应用于智慧社区的安全管理系统
CN102970514A (zh) 映像监视装置、映像监视方法以及程序
CN113011280A (zh) 人员接触距离的检测方法、装置、计算机设备和存储介质
Mei et al. Human intrusion detection in static hazardous areas at construction sites: Deep learning–based method
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
Konstantinidis et al. AROWA: An autonomous robot framework for Warehouse 4.0 health and safety inspection operations
CN116206255A (zh) 基于机器视觉的危险区域人员监控方法与装置
CN115019254A (zh) 一种输电区域异物入侵检测方法、装置、终端及存储介质
CN109670391B (zh) 基于机器视觉的智慧照明装置及动态识别数据处理方法
Chern et al. Context-aware safety assessment system for far-field monitoring
KR20240040530A (ko) 딥러닝 기반 감염병 예방 시스템
KR20240040532A (ko) 딥러닝 기반 감염병 예방 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
CN113743380B (zh) 一种基于视频图像动态监测的主动跟踪方法
CN113420726B (zh) 基于俯视图像的区域去重客流统计方法
JP2005284652A (ja) 動きベクトルを用いた映像監視方法及び装置
Rong et al. A joint faster RCNN and stereovision algorithm for vegetation encroachment detection in power line corridors