KR20240001617A - 작업현장의 위험요소를 탐지하는 방법 및 장치 - Google Patents

작업현장의 위험요소를 탐지하는 방법 및 장치 Download PDF

Info

Publication number
KR20240001617A
KR20240001617A KR1020220078514A KR20220078514A KR20240001617A KR 20240001617 A KR20240001617 A KR 20240001617A KR 1020220078514 A KR1020220078514 A KR 1020220078514A KR 20220078514 A KR20220078514 A KR 20220078514A KR 20240001617 A KR20240001617 A KR 20240001617A
Authority
KR
South Korea
Prior art keywords
work
work site
worker
learning
paragraph
Prior art date
Application number
KR1020220078514A
Other languages
English (en)
Inventor
김하영
박정은
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020220078514A priority Critical patent/KR20240001617A/ko
Publication of KR20240001617A publication Critical patent/KR20240001617A/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

인공지능을 이용한 공사현장의 다중 위험요소를 탐지하는 방법은 분석장치가 작업현장의 영상을 획득하는 단계; 분석장치가 상기 획득한 영상을 탐지모델에 입력하는 단계; 및 분석장치가 상기 탐지모델이 출력하는 값에 따라 상기 작업현장의 적어도 하나의 위험요소를 탐지하는 단계;를 포함하되 상기 영상을 획득하는 단계는 상기 작업현장의 작업자의 행동을 인식해야 영상을 획득하는 단계이고, 상기 탐지모델은 학습데이터로 작업현장의 영상을 이용하여, 상기 작업현장에서 발생할 수 있는 적어도 하나의 위험요소에 대한 정보를 출력하도록 학습된 학습모델인 것을 포함한다.

Description

작업현장의 위험요소를 탐지하는 방법 및 장치 {METHOD AND DEVICE FOR DETECTING RISK FACTORS IN A WORK PLACE}
이하 설명하는 기술은 인공지능을 이용하여 공사현장에서 발생할 수 있는 여러 위험요소를 탐지하고 이를 작업자들에게 알려주는 방법 및 장치에 대한 것이다.
작업현장에서는 여러가지 위험요소들이 있다. 이러한 위험요소로 인하여 작업현장에서 사고가 발생하는 경우 많은 인명피해와 물적피해가 발생할 수 있다. 이를 방지하기 위하여 기존에는 안전지도요원이나 전문가들이 현장에 배치되어 일어날 수 있는 사고에 대해 방지하고 있었으나, 최근에는 딥러닝 기술을 이용해서 작업현장에서 일어날 수 있는 위험에 대해 파악하려 하고 있다.
한국 특허출원 : 10-2018-0081144
기존 작업현장에서 위험을 알려주는 방법들은 담당자나 기술지도 요원에 의해 수동 및 육안으로 체크되는 경우가 많았다. 이에 담당자나 기술지도 요원이 현장이 없는 경우 작업현장에 작업자가 위험을 탐지하기는 상당히 어려웠다.
특히 작업현장에는 단순히 하나의 위험만이 아니라 여러 위험이 도사리고 있다. 이에 단순히 작업현장에서 하나의 위험요소만 판단할 수 있는 것 뿐만 아니라, 여러가지 위험요소를 판단할 필요성이 있다. 또한 작업현장에는 여러가지의 이벤트가 발생하나, 모든 이벤트에 대해서 위험요소가 있는지 판단할 필요성은 적고, 특정한 경우만 위험요소가 있는지 판단할 필요성이 있다.
이하 설명하는 발명은 위와 같은 과제를 해결하기 위해서 필요한 경우에만 인공지능을 이용해 작업현장에서 위험요소를 판단할 수 있게 하는 방법을 제공한다.
작업현장의 위험요소를 탐지하는 방법 및 장치는 분석장치가 '영상획득 시작신호'를 수신하는 단계; 상기 분석장치가 상기 '영상획득 시작신호'를 수신한 경우, 작업현장의 영상을 획득하는 단계; 상기 분석장치가 상기 획득한 영상을 탐지모델에 입력하는 단계; 및 상기 분석장치가 상기 탐지모델이 출력하는 값에 따라 상기 작업현장의 적어도 하나의 위험요소를 분석하는 단계;를 포함하되 상기 탐지모델은 학습데이터로 작업현장의 영상을 이용하여, 상기 작업현장에서 발생할 수 있는 적어도 하나의 위험요소에 대한 정보를 출력하도록 학습된 학습모델인 것을 특징으로 한다.
상기 '영상획득 시작신호'는 통신데이터로 전송된 신호인 것일 수도 있다.
상기 통신데이터는 이동통신, 위성통신, 레이더, 안테나, RFID(Radio Frequency Identification), 광케이블, NFC(Near Field communication), 블루투스 및 와이파이 중 적어도 하나를 이용한 통신에 의한 데이터일 수도 있다.
상기 '영상획득 시작신호'는 상기 작업현장에서 작업자의 행동으로부터 얻은 신호인것일 수도 있다.
상기 작업자의 행동으로부터 얻은 신호는 ‘작업자가 윙크하는 행위', '작업자가 손을 흔드는 행위', '작업자가 박수를 치는 행위', '안전모를 착용하는 행위' 및 '작업자가 사다리를 설치하는 행위' 중 적어도 하나를 포함하는 것일 수도 있다.
상기 탐지모델은 작업현장의 영상 및 상기 작업현장의 영상에 포함된 다수의 위험요소에 대한 정보가 멀티-라벨링(multi labeling)된 학습데이터를 이용하여 학습된것일 수도 있다.
상기 멀티-라벨링된 학습데이터를 이용하여 학습하는 것은 상기 분석장치와는 별도의 학습장치를 이용해서 학습하는 것일 수도 있다.
상기 작업현장의 영상을 획득하는 단계는 CCTV(Closed-circuit television), 무인비행장치에 부착된 카메라, 액션캠 및 360도 카메라 중 적어도 하나를 이용하여 상기 작업현장의 영상을 획득하는 것을 포함하는 것일 수도 있다.
상기 위험요소에 대한 정보는 ‘인적 위험요소' 및 '물적 위험요소'에 대한 정보 중 적어도 하나를 포함하는 것일 수도 있다.
상기 적어도 하나의 위험요소에 대한 정보를 출력하는 단계는 상기 위험요소(들)에 대한 대처법에 대한 정보도 함께 출력하는 것을 포함하는 것일수도 있다.
상기 위험요소(들)에 대한 대처법에 대한 정보는 ‘작업자가 안전모를 미착용하는 경우 안전모를 착용하라는 것', '작업자가 뛰어다니는 경우 뛰어다니지 말라는 것', '단체작업에서 단독으로 작업하는 경우 단체로 작업하라는 것', '사다리의 안전장치를 미설치 하는 경우 안전장치를 설치하라는 것' 및 '미끄러운 물체를 방치하는 경우 해당 물체를 치우라는 것' 중 적어도 하나를 포함하는 것일 수도 있다.
상기 하나의 위험요소에 대한 정보를 출력하는 단계는 '소리를 통하여 작업자에게 경고음을 출력하는 것', '통신장치를 이용해 상기 작업자의 단말기에 문자를 통보하는 것' 및 '안전관리자에게 위험요소에 대해 통지하는 것 중 적어도 하나를 포함하는 것 일 수도 있다.
이하 설명하는 발명을 통하여 작업자는 개인 디바이스를 활용하여 언제든지 위험요소에 대해 체크받을 수 있다. 이를 통해 담당자나 기술지도 요원이 현장에 있지 않아도, 원격으로 언제든지 탐지 가능하며 안전관리자 책임자의 역할수행에 부담감을 줄일 수 있으며, 소규모 작업장등에서도 유용하게 활용할 수 있다.
이하 설명하는 발명을 통하여 하나의 영상에 대해서도 복합적인 위험요소 모두를 탐지할 수 있다. 또 이를 위하여 다중 레이블링(multi labeling)을 할 수 있는 인터페이스를 제공하여 누구든지 손쉽게 영상에 대하여 위험요소가 무엇이 있는지 레이블링 할 수 있다.
이하 설명하는 발명을 통해 기술지도나 위험여부를 체크하고 싶은 순간에만 장치가 영상을 촬영할 수 있게 하여, 장치나 서버 등의 부하가 적게 걸릴 수 있다.
도1은 위험요소를 탐지하는 방법에 대한 전체적인 과정을 도시한 것이다.
도2는 학습장치가 탐지모델을 학습시키는 과정에 대해 도시한 것이다.
도3는 학습장치가 학습데이터를 생성하는 실시예를 도시한 것이다.
도4는 분석장치가 분석한 실시예를 도시한 것이다.
도5는 분석장치의 구성에 대해서 도시한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어 들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함 하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술을 설명하는데 필요한 용어에 대해 설명한다.
이하 설명하는 기술에서 작업현장이란 공사현장, 공장내의 현장, 기타 작업등이 일어나는 현장 등이 포함될 수 있다.
이하 설명하는 기술에서 위험요소란 사고가 발생될 수 있는 원인을 제공하는 요소를 포함한다.
이하 설명하는 기술에서 멀티라벨링(multi labeling)은 하나의 데이터에 여러 개의 객체가 있어 각 객체가 어떠한 클래스에 속하는지 분류하는 것을 말한다. 이는 하나의 데이터를 여러 개 클래스 중에 하나로 분류하는 멀티 클래스(multi class)와 비교 된다.
이하 설명하는 기술에서 학습모델이란 기계학습(merchine learning) 모델을 말하며, 기계 학습모델은 다양한 유형의 모델을 포함할 수 있다. 예컨데 기계 학습모델은 결정 트리, RF(random forest), KNN(K-nearest neighbor), 나이브 베이즈(Naive Bayes), SVM(support vector machine), ANN(artificial neural network) 등이 포함될 수도 있다.
상기 ANN은 DNN(Deep Neural Network)가 될 수 있으며, 이는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network) 및 GAN(Generative Adversarial Network), RL(Relation Networks) 을 포함할 수 있다.
상기 CNN모델은 컨볼루션 층(Convolution layer), 풀링 층(Pooling layer), 드랍 층(Drop layer), 정규화 층(Nomalization layer), 평탄화 층(Flatten layer)와 완전한 연결 층(fully connected layer, 또는 dense layer) 및 전역 평균 풀링층(Global Average pooling) 중 적어도 하나를 포함할 수 있다.
상기 컨볼루션 층(Convolution layer)은 입력된 정보에서 특징을 추출하고 이로 부터 특성 맵(feature map)을 만든다. 상기 풀링 층(Pooling layer)은 컨볼루션층에서 만든 특성맵의 크기를 줄이거나 특정 데이터를 강조하기 위하여 특징 맵의 값중 가장 큰 값을 추출하거나(맥스 풀링 층, Max Pooling layer) 평균 값을 추출한다(평균 풀링 층, Average Pooling Layer). 상기 드랍 층(Drop layer)은 딥 러닝 모델에서 과적합(Overfitting)을 방지하기 위하여 훈련과정 중에 신경망모델의 일부분만 이용한다. 상기 정규화층(Nomalization layer)는 데이터를 샘플 혹은 특성 단위로 정규화 한다. 상기 플래튼 층(Flatten layer)은 추출한 데이터의 특징을 하나의 차원으로 만든다. 상기 완전한 연결 층은(fully connected layer)는 각 layer의 노드(node) 모두 연결해주며, 최종적으로 입력데이터가 어떤 분류에 속하는 것인지 판단 할 수 있다. 상기 전역 평균 풀링층(Global Average Pooling)은 같은 채널의 특징을 모두 평균내어 채널의 개수만큼의 차원을 가지는 벡터로 만들어 줄 수 있다.
상기 CNN모델은 활성함수로 Sigmoid, Tanh, Softmax, ReLU, Leaky RELU, Parametric RELU, ELU등의 활성함수가 이용될 수도 있다.
먼저 인공지능을 이용한 작업현장의 위험요소를 탐지하는 방법에 대한 전체적인 과정에 대해 설명한다.
도1은 위험요소를 탐지하는 방법에 대한 전체적인 과정을 도시한 것이다.
분석장치(200)는 '영상획득 시작신호'를 수신할 수 있다. 분석장치(200)는 촬영장치(100)을 이용하여 작업현장의 영상을 획득할 수 있다. 상기 분석장치(200)는 상기 획득한 이미지를 작업현장에서 위험요소를 탐지할 수 있는 탐지모델에 입력할 수 있다. 상기 분석장치(200)는 상기 탐지모델이 출력한 값을 기초로 상기 작업현장에서의 적어도 하나의 위험요소에 대해 분석할 수 있다. 상기 분석장치(200)는 상기 분석한 위험요소를 출력장치(300)를 통하여 출력할 수 있다.
도1에서 분석장치(200)가 촬영장치(100)을 이용해 작업현장의 영상을 획득하는 것은, '영상획득 시작신호'를 수신함으로써 수행될 수 있다.
상기 '영상획득 시작신호'는 통신데이터로 전송된 신호일 수도 있다. 예를 들어 상기 통신데이터는 광케이블, NFC, WIFI, 블루투스, 인공위성을 이용한 통신등에 의한 데이터 일 수 있다.
또는 상기 '영상획득 시작신호'는 상기 작업현장 작업자의 행동으로부터 얻은 신호일 수도 있다. 상기 작업자의 행동으로부터 얻은 신호란 영상장치가 촬영을 시작하기 위해 하는 행동을 포함한다. 예를 들어 "윙크하는 행위", "손을 흔드는 행위", "박수치는 행위" , "사다리를 설치하는 행위", "카드를 영상장치에 가져다 대는 행위" 및 "안전모를 착용하는 행위" 중 적어도 하나가 포함되어 있을 수도 있다. 이를 통해 작업현장의 모든 영상을 획득하는 것이 아닌, 특정행동을 기준 이전 또는 이후의 영상만을 획득할 수도 있다. 그러한 경우 모든 영상을 저장할 필요가 없어 저장용량 부담을 줄일 수 있다.
상기 분석장치(200)는 상기 작업자의 행동 중 어떠한 행동이 '영상획득 시작신호'가 될 것인지 미리 정해 놓을 수도 있다.
상기 분석장치(200)는 작업자의 행동을 인식하기 위해서 사람의 행동을 인식하는 인식모델을 이용할 수도 있다. 상기 인식모델은 기존 사람의 행동을 촬영한 영상을 학습데이터로 하여, 상기 사람의 행동이 무엇인지 인식하는 학습모델일 수도 있다.
상기 분석장치(200)는 작업현장의 영상을 프레임 단위로 분리해서 획득할 수 있다. 예를 들어 작업현장의 영상을 촬영하더라도 작업현장의 위험요소가 포함되어 있는 영상의 프레임만을 선택해서 획득할 수도 있다. 또는 상기 작업자의 특정행동을 기준으로 그 이전 또는 그 이전의 영상의 프레임만을 분리해서 획득할 수도 있다.
도1에서 영장장치(100)는 작업현장의 영상을 촬영할 수 있는 장치를 포함한다. 예를 들어 타워크레인에 부착된 CCTV, 드론에 부착된 카메라, 작업자에게 부착된 액션캠, 360도 카메라, 위성카메라 및 현장에 존재하는 영상송신이 가능한 surveillance system 중 적어도 하나가 포함될 수도 있다.
상기 영상장치(100)가 촬영하는 작엽현장의 영상에는 적어도 하나의 위험요소가 포함되어 있을 수가 있다.
상기 위험요소는 작업현장에서 사고가 발생될 수 있는 원인을 포함한다.
상기 위험요소에는 '인적 위험요소' 및 '물적 위험요소' 중 적어도 하나가 포함되어 있을 수 있다.
상기 '인적 위험요소'는 작업자의 행동으로 인하여 사고가 발생될 수 있는 것을 포함한다. 예를 들어 안전장비(안전모, 안전화, 안전벨트, 안전장갑, 안전복, 안전안경 등) 미 착용', '작업물 끝 단에서 작업하는 행위' '뛰어다니는 행위' 및 '단체작업에서 단독으로 작업하는 행위' 중 적어도 하나가 포함되어 있을 수 있다.
상기 '물적 위험요소'는 작업자의 행동이 아닌 물건등에 의하여 사고가 발생할 수 있는 것을 포함한한다. 예를 들어 '기준에 맞지 아니한 안전모착용', '통로에 얼음과 같은 미끄러운 물체를 방치하는 것', '안전통로를 미 설치', '날카로운 물체 방치' 및 '아웃트리거 미 설치' 중 적어도 하나가 포함되어 있을 수 있다.
도1에서 분석장치(200)는 탐지모델을 이용해서 작업현장의 영상으로부터 위험요소가 무엇이 있는지 탐지 할 수 있다. 이때 작업현장에 다수의 위험요소를 탐지하여 멀티라벨링하여 분석할 수도 있다.
상기 탐지모델은 기존에 존재하는 작업현장의 영상을 학습데이터로 하여 위험요소가 무엇이 있는지 탐지해주도록 학습된 학습모델일 수도 있다. 상기 학습을 위한 학습데이터로 멀티 라벨링(multi-labeling)된 데이터를 이용할 수도 있다. 상기 학습을 위하여 학습장치(400)가 이용될 수도 있다. 구체적인 내용은 이하에서 설명한다.
상기 탐지모델은 CNN과 같은 딥러닝 모델로 구현될 수도 있으며, 멀티레이블링을 위하여 활성함수으로 sigmoid 함수가 이용될 수도 있다.
도1에서 출력장치(300)는 분석장치(200)가 분석한 작업현장의 위험요소에 대해 출력할 수 있다.
상기 출력장치(300)는 상기 작업현장의 위험요소와 함께 그 대책에 대해서도 함께 출력할 수 있다. 예를 들어 '안전모를 미착용' 위험요인을 탐지하는 경우 그에 대한 대책으로 '안전모를 착용하라'는 대책에 대해서도 함께 출력할 수 있다.
상기 출력장치(300)는 작업현장의 작업자에게 소리등을 이용해서 탐지한 위험요소에 대해 알려줄 수도 있다. 예를 들어 '안전모 미착용' 위험요소가 발견된 경우 작업자에게 강한 경고음을 발생시켜 안전모를 미착용했다고 알려 줄 수도 있다.
상기 출력장치(300)는 작업현장의 작업자에게 문자메세지와 같은 통신장치를 이용해서 탐지한 위험요소에 대해 알려 줄 수도 있다. 예를 들어 '안전모 미착용' 위험요소를 탐지한 경우, 상기 작업현장의 작업자에게 문자메세지로 '안전모를 미착용하였다'는 것을 알려 줄 수 있다.
이하 도2을 통하여 상기 탐지모델을 학습시키는 과정에 대하여 구체적으로 설명한다.
도2는 학습장치(도1의 400)가 탐지모델을 학습시키는 과정에 대해 도시한 것이다.
학습장치는 '영상획득 시작신호'를 수신한다.(S410). 상기 작업자의 행동을 감지하면 작업현장의 영상을 촬영하기 시작한다(S420). 학습장치는 상기 작업현장의 위험요소에 정보를 획득한다(S430). 학습장치는 상기 촬영한 작업현장 영상과 위험요소에 대한 정보를 이용해서 학습데이터를 만든다(S440). 학습장치는 상기 학습데이터를 이용해서 탐지모델을 학습시킨다(S450).
도2에서 학습장치가 '영상획득 시작신호'를 수신하는 단계(S410)는 통신데이터로 전송된 '영상획득 시작신호'를 수신하는 단계를 포함할 수도 있다.
상기 통신데이터는 이동통신, 위성통신, 레이더, 안테나, RFID(Radio Frequency Identification), 광케이블, NFC(Near Field communication), 블루투스 및 와이파이 중 적어도 하나를 이용한 통신에 의한 데이터일 수도 있다.
도2에서 학습장치가 '영상획득 시작신호'를 수신하는 단계는(S410), 학습데이터에 이용될 영상을 획득하기 위해서 작업자의 특정행동을 인식하는 것을 포함한다.
상기 학습장치는 상기 작업자의 행동 중 어떠한 행동을 인식해야 상기 작업현장의 영상을 획득할 것인지 미리 정해 놓을 수도 있다. 예를 들어 학습장치는 '작업자의 박수치는 행위'를 인식하면 작업현장의 영상을 획득하도록 미리 정해 놓을 수도 있다.
상기 학습장치는 작업자의 특정행동을 인식하기 위해서 사람의 행동을 인식하는 인식모델을 이용할 수도 있다. 상기 인식모델은 기존 사람의 행동을 촬영한 영상을 학습데이터로 하여, 상기 사람의 행동이 무엇인지 인식하는 학습모델일 수도 있다.
도2에서 학습장치가 작업영상을 촬영하는 단계(S420)는 촬영장치를 이용해서 할 수 있다. 예를 들어 상기 촬영장치에는 타워크레인에 부착된 CCTV, 드론에 부착된 카메라, 작업자에게 부착된 액션캠, 360도 카메라 및 위성카메라 중 적어도 하나가 포함될 수도 있다.
상기 학습장치가 촬영(S420)하는 작업영상에는 적어도 하나의 위험요소가 포함되어 있을 수가 있다.
상기 위험요소는 작업현장에서 사고가 발생될 수 있는 원인을 포함한다.
상기 위험요소에는 '인적 위험요소' 및 '물적 위험요소' 중 적어도 하나가 포함되어 있을 수 있다.
상기 '인적 위험요소'는 작업자의 행동으로 인하여 사고가 발생될 수 있는 것을 포함한다. 예를 들어 '안전장비(안전모, 안전화, 안전벨트, 안전장갑, 안전복, 안전안경 등) 미 착용' '작업물 끝단에서 작업하는 행위', '뛰어다니는 행위' 및 '단체작업에서 단독으로 작업하는 행위' 중 적어도 하나가 포함되어 있을 수 있다.
상기 '물적 위험요소'는 작업자의 행동이 아닌 물건등에 의하여 사고가 발생할 수 있는 것을 포함한한다. 예를 들어 '기준에 맞지 아니한 안전모착용', '통로에 얼음과 같은 미끄러운 물체를 방치하는 것', '안전통로를 미 설치', '날카로운 물체 방치' 및 '아웃트리거 미 설치' 중 적어도 하나가 포함되어 있을 수 있다.
도2에서 작업현장에서 발생할 수 있는 위험요소 정보를 획득하는 과정(S430)은 작업자가 입력하는 정보를 기초로 할 수 있다. 예를 들어 작업자는 작업현장에 대한 영상에 대해서 '안전모를 미 착용하였다', '날카로운 물체를 그냥 방치하였다'는 정보를 상기 학습장치에 입력하면, 상기 학습장치는 위험요소에 대한 정보를 획득할 수 있다.
도2에서 학습데이터를 생성하는 과정(S440)는 상기 획득한 영상과 상기 입력받은 위험요소에 대한 정보를 합하여 학습데이터를 만드는 과정을 포함한다. 예를 들어 상기 획득한 영상에서 '안전모를 미 착용하였다'는 위험요소 정보를 획득한 경우, 학습모델은 상기 영상에서의 행동과 같은 경우 '안전모를 미착용 한 것이다'라는 학습데이터를 만들 수 있다.
상기 학습데이터를 생성하는 과정(S440)은 멀티 라벨링(multi labeling)과정이 포함되어 있을 수도 있다. 예를 들어 하나의 영상에 '안전모를 미 착용하였다' , '안전장치 없이 사다리를 설치하였다' 등과 같은 위험요소가 여러 개 있는 경우, 이와 같은 정보를 합쳐서 학습데이터를 만들 수 있다.
도2에서 상기 학습데이터를 이용하여 탐지모델을 학습시키는 과정(S450)은 손실함수로 크로스 엔트로피 함수(cross-entropy loss function)가 이용될 수도 있다. 또한 상기 탐지모델은 그 활성함수로 Sigmoid, Tanh, Softmax, ReLU, Leaky RELU, Parametric RELU, ELU등을 이용할 수 있다.
이하 도3을 통하여 학습장치(도1의 400)가 학습데이터를 생성하는 실시예에 대해 설명한다(S440).
도3는 학습장치가 학습데이터를 생성하는 실시예를 도시한 것이다.
도3에서 왼쪽의 영상(441)은 학습장치가 촬영한 영상이며, 오른쪽의 항목들(442, 카테고리 위험요소)은 상기 영상에 대한 위험요소에 대한 정보이다.
상기 왼쪽의 영상(441)은 도2에서 학습장치가 작업영상을 촬영하는 단계(S420)을 통하여 획득한 영상을 포함한다.
상기 오른쪽의 항목들(442)은 도2에서 위험요소정보를 획득하는 단계(S430)을 통하여 획득하는 위험요소 정보를 포함한다. 상기 위험요소를 획득하는 정보는 카테고리별로 구분하여 획득할 수도 있다. 예를 들어 도3에서 보이는 것과 같이 위험요소에 대해 크게 인적요인, 물적요인의 카테고리로 나눈 뒤 물적요인 분류에서는 어떠한 물체(A형 사다리)때문에 위험요소가 있을 수 있다고 선택한뒤 그 사유로 "아웃트리거 미 설치" 가 있다고 기재하고, 인적요인 분류에서는 "2인1조 작업 미실시', "안전모 미착용", "안전대 미착용"등의 사유가 있다고 기재하여 위험요소에 대한 정보를 획득할 수도 있다.
학습장치는 촬영장치를 통해 획득한 영상(441)과 사용자로부터 받은 위험요소 정보(442)를 통합하여 학습데이터를 만들 수 있다. 학습장치는 하나의 영상에 다수의 위험요소에 대한 정보를 입력 받은 뒤 학습데이터를 만드는 멀티라벨링(multi labeling)을 할 수도 있다. 예를 들어 도3에서 보는 것과 같이 작업자가 사다리를 타고 있는 영상(441)에 대하여 '2인 1조 작업 미실시', '아웃트리거 미설치', '안전모 미착용', '안전대 미착용'이라는 위험요소가 있다고 라벨링할 수 있다.
이하 도4을 통해서 상기 분석장치가 작업현장의 영상을 분석해 작업현장의 위험요소에 대해 분석한 결과에 대해 설명한다.
도4는 분석장치가 분석한 실시예를 도시한 것이다.
도4에서 전체 영상의 사진(310)은 상기 분석장치가 획득한 작업현장의 영상을 말하며, 아래쪽에 '안전모 미착용' 등의 표시는 분석장치가 상기 작업현장에서 탐지한 위험요소(320)에 대한 결과값을 보여준다.
상기 분석장치는 획득한 작업현장의 영상에서 위험요소가 무엇인지 판단할 수 있다. 예를 들어 도4에서 본 것과 같이 작업현장 영상으로부터 상기 작업현장에 '2인1조 작업 미 실시', '아웃 트리거 미설치', '안전대 미착용', '안전대 미착용'과 같은 위험요소가 있다고 파악할 수 있다.
상기 분석장치는 획득한 작업현장 영상으로부터 여러 개의 위험요소가 있는 경우, 이를 멀티라벨링(multi-labeling)하여 분석할 수도 있다. 예를 들어 전술한바와 같이 하나의 영상에 4개의 위험요소가 있다고 파악할 수도 있다.
이하 도5을 통하여 작업현장의 영상으로부터 위험요소를 알려주는 분석장치의 구성에 대해 설명한다.
도5는 분석장치(600)의 구성에 대해서 도시한 예이다.
상기 분석장치(600)는 전술한 분석장치(도1의 200)에 해당한다.
상기 분석장치(600)는 PC, 노트북, 스마트기기, 서버, 또는 데이터처리 전용 칩셋등과 물리적으로 다양한 형태로 구현될 수도 있다.
상기 분석장치(600)는 입력장치(610) 저장장치(620), 연산장치(630)을 포함할 수도 있다. 상기 분석장치는 출력장치(640)을 더 포함할 수도 있다.
도5의 입력장치(610)는 작업현장의 영상을 입력받는 장치를 포함할 수도 있다. 이는 전술한 도1의 영상장치(도1의 100)가 될 수도 있다.
상기 입력장치(610)는 작업현장의 영상을 유선 또는 무선 네트워크를 통해 수신받는 통신장치를 포함할 수도 있다.
상기 입력장치(610)는 별도의 저장장치(USB,CD,하드디스크 등)을 통하여 정보를 입력받는 구성을 포함할 수도 있다.
상기 입력장치(610)는 입력받는 데이터를 별도의 측정장치를 통하여 입력받거나, 별도의 DB을 통하여 입력받을 수도 있다.
상기 입력장치(610)는 적어도 하나의 위험요소를 포함하는 작업현장의 영상을 입력받을 수도 있다.
상기 입력장치는 '영상획득 시작신호'를 수신하는 수신장치를 포함할 수도 있다.
도5의 저장장치(620)는 상기 입력장치(610)로부터 온 정보를 저장할 수도 있다.
상기 저장장치(620)는 작업현장의 영상으로부터 위험요소를 탐지해주는 탐지모델을 저장할 수도 있다.
상기 저장장치(620)는 상기 탐지모델이 출력하는 결과값에 대해 저장할 수도 있다.
상기 저장장치(620)는 탐지모델을 학습할 때 이용하는 학습데이터를 저장할 수도 있다.
도5의 연산장치(630)는 상기 입력장치(610)로부터 획득한 영상을 탐지모델에 입력한 뒤 그 출력값을 기준으로 상기 영상으로부터 위험요소를 분석할 수 있다.
도5의 출력장치(640)는 일정한 정보를 출력하는 장치가 될 수도 있다.
상기 출력장치(640)은 데이터 과정에 필요한 인터페이스, 입력된 데이터, 분석결과 등을 출력할 수도 있다.
상기 출력장치(640)은 디스플레이어, 문서를 출력하는 장치, 통신장치 등과 같이 물리적으로 다양한 형태로 구현될 수도 있다.

Claims (14)

  1. 분석장치가 '영상획득 시작신호'를 수신하는 단계;
    상기 분석장치가 상기 '영상획득 시작신호'를 수신한 경우, 작업현장의 영상을 획득하는 단계;
    상기 분석장치가 상기 획득한 영상을 탐지모델에 입력하는 단계; 및
    상기 분석장치가 상기 탐지모델이 출력하는 값에 따라 상기 작업현장의 적어도 하나의 위험요소를 분석하는 단계;를 포함하되
    상기 탐지모델은 학습데이터로 작업현장의 영상을 이용하여, 상기 작업현장에서 발생할 수 있는 적어도 하나의 위험요소에 대한 정보를 출력하도록 학습된 학습모델인
    작업현장의 위험요소를 탐지하는 방법.
  2. 제1항에 있어서
    상기 '영상획득 시작신호'는
    통신데이터로 전송된 신호인 것인
    작업현장의 위험요소를 탐지하는 방법.
  3. 제2항에 있어서
    상기 통신데이터는
    이동통신, 위성통신, 레이더, 안테나, RFID(Radio Frequency Identification), 광케이블, NFC(Near Field communication), 블루투스 및 와이파이 중 적어도 하나를 이용한 통신에 의한 데이터인
    작업현장의 위험요소를 탐지하는 방법.
  4. 제1항에 있어서
    상기 '영상획득 시작신호'는
    상기 작업현장에서 작업자의 행동으로부터 얻은 신호인
    작업현장의 위험요소를 탐지하는 방법.
  5. 제4항에 있어서
    상기 작업자의 행동으로부터 얻은 신호는
    ‘작업자가 윙크하는 행위', '작업자가 손을 흔드는 행위', '작업자가 박수를 치는 행위', '안전모를 착용하는 행위' 및 '작업자가 사다리를 설치하는 행위' 중 적어도 하나를 포함하는
    작업현장의 위험요소를 탐지하는 방법.
  6. 제1항에 있어서
    상기 탐지모델은
    작업현장의 영상 및 상기 작업현장의 영상에 포함된 다수의 위험요소에 대한 정보가 멀티-라벨링(multi labeling)된 학습데이터를 이용하여 학습된 것인
    작업현장의 위험요소를 탐지하는 방법.
  7. 제6항에 있어서
    상기 멀티-라벨링된 학습데이터를 이용하여 학습하는 것은
    상기 분석장치와는 별도의 학습장치를 이용해서 학습하는 것인
    작업현장의 위험요소를 탐지하는 방법.
  8. 제1항에 있어서
    상기 작업현장의 영상을 획득하는 단계는
    CCTV(Closed-circuit television), 무인비행장치에 부착된 카메라, 액션캠 및 360도 카메라 중 적어도 하나를 이용하여 상기 작업현장의 영상을 획득하는 것을 포함하는
    작업현장의 위험요소를 탐지하는 방법
  9. 제1항에 있어서
    상기 위험요소에 대한 정보는
    '인적 위험요소' 및 '물적 위험요소'에 대한 정보 중 적어도 하나를 포함하는
    작업현장의 위험요소를 탐지하는 방법.
  10. 제1항에 있어서
    상기 적어도 하나의 위험요소에 대한 정보를 출력하는 단계는
    상기 위험요소(들)에 대한 대처법에 대한 정보도 함께 출력하는 것을 포함하는
    작업현장의 위험요소를 탐지하는 방법.
  11. 제10항에 있어서
    상기 위험요소(들)에 대한 대처법에 대한 정보는
    ‘작업자가 안전장비를 미착용하는 경우 안전장비를 착용하라는 것', '작업자가 뛰어다니는 경우 뛰어다니지 말라는 것', '단체작업에서 단독으로 작업하는 경우 단체로 작업하라는 것', '작업물 끝단에서 작업하는 경우 거기서 벗어라나는 것', '사다리의 안전장치를 미설치 하는 경우 안전장치를 설치하라는 것' 및 '미끄러운 물체를 방치하는 경우 해당 물체를 치우라는 것' 중 적어도 하나를 포함하는
    작업현장의 위험요소를 탐지하는 방법.
  12. 제1항에 있어서
    상기 하나의 위험요소에 대한 정보를 출력하는 단계는
    '소리를 통하여 작업자에게 경고음을 출력하는 것', '통신장치를 이용해 상기 작업자의 단말기에 문자를 통보하는 것' 및 '안전관리자에게 위험요소에 대해 통지하는 것 중 적어도 하나를 포함하는
    작업현장의 위험요소를 탐지하는 방법.
  13. 제1항에 있어서
    상기 작업현장의 적어도 하나의 위험요소를 분석하는 단계는
    상기 작업현장에 포함된 적어도 하나의 위험요소를 분석하여 멀티라벨링하는 것을 포함하는
    작업현장의 위험요소를 탐지하는 방법.
  14. ‘영상획득 시작신호'를 수신하는 수신장치;
    상기 수신장치가 '영상획득 시작신호'를 수신하면 작업현장의 영상을 획득하는 입력장치;
    상기 입력장치가 획득한 영상을 탐지모델에 입력하고, 상기 탐지모델이 출력하는 값에 따라 상기 작업현장의 적어도 하나의 위험요소를 분석하는 연산장치; 및
    상기 연산장치가 분석한 적어도 하나의 위험요소를 출력하는 출력장치;를 포함하되
    상기 탐지모델은 학습데이터로 작업현장의 영상을 이용하여, 상기 작업현장에서 발생할 수 있는 적어도 하나의 위험요소에 대한 정보를 출력하도록 학습된 학습모델인
    작업현장의 위험요소를 탐지하는 장치
KR1020220078514A 2022-06-27 2022-06-27 작업현장의 위험요소를 탐지하는 방법 및 장치 KR20240001617A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220078514A KR20240001617A (ko) 2022-06-27 2022-06-27 작업현장의 위험요소를 탐지하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220078514A KR20240001617A (ko) 2022-06-27 2022-06-27 작업현장의 위험요소를 탐지하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240001617A true KR20240001617A (ko) 2024-01-03

Family

ID=89539224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220078514A KR20240001617A (ko) 2022-06-27 2022-06-27 작업현장의 위험요소를 탐지하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20240001617A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180081144A (ko) 2015-12-30 2018-07-13 레이던 컴퍼니 이득 적응 가능한 유닛 셀

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180081144A (ko) 2015-12-30 2018-07-13 레이던 컴퍼니 이득 적응 가능한 유닛 셀

Similar Documents

Publication Publication Date Title
US11080533B2 (en) Surveillance system with human behavior prediction by human action recognition
KR101942808B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
Seshadri et al. Driver cell phone usage detection on strategic highway research program (SHRP2) face view videos
US11587264B2 (en) Method and device for generating an augmented image
US20170132468A1 (en) Systems and methods for object tracking and classification
US11055872B1 (en) Real-time object recognition using cascaded features, deep learning and multi-target tracking
Perera et al. A multiviewpoint outdoor dataset for human action recognition
EP2919153A1 (en) Event detection apparatus and event detection method
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN106412501A (zh) 一种视频的施工安全行为智能监控系统及其监控方法
US10521704B2 (en) Method and apparatus for distributed edge learning
US9965687B2 (en) System and method for detecting potential mugging event via trajectory-based analysis
WO2020084467A1 (en) Operator behavior recognition system
US20180211113A1 (en) System and method for detecting potential drive-up drug deal activity via trajectory-based analysis
Caputo et al. Human detection in drone images using yolo for search-and-rescue operations
US20230186634A1 (en) Vision-based monitoring of site safety compliance based on worker re-identification and personal protective equipment classification
Gallo et al. A smart system for personal protective equipment detection in industrial environments based on deep learning
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
CN114997279A (zh) 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法
Phule et al. Abnormal activities detection for security purpose unattainded bag and crowding detection by using image processing
Othman et al. Challenges and Limitations in Human Action Recognition on Unmanned Aerial Vehicles: A Comprehensive Survey.
Siddique et al. Analysis of real-time hostile activitiy detection from spatiotemporal features using time distributed deep CNNs, RNNs and attention-based mechanisms
Byukusenge et al. Life detection based on uavs-thermal images in search and rescue operation
Ramzan et al. Automatic Unusual Activities Recognition Using Deep Learning in Academia.
KR20240001617A (ko) 작업현장의 위험요소를 탐지하는 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal