KR20240024471A - 객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법 - Google Patents

객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법 Download PDF

Info

Publication number
KR20240024471A
KR20240024471A KR1020220102470A KR20220102470A KR20240024471A KR 20240024471 A KR20240024471 A KR 20240024471A KR 1020220102470 A KR1020220102470 A KR 1020220102470A KR 20220102470 A KR20220102470 A KR 20220102470A KR 20240024471 A KR20240024471 A KR 20240024471A
Authority
KR
South Korea
Prior art keywords
objects
object detection
collision
safety management
unit
Prior art date
Application number
KR1020220102470A
Other languages
English (en)
Inventor
정회경
이태준
Original Assignee
배재대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배재대학교 산학협력단 filed Critical 배재대학교 산학협력단
Priority to KR1020220102470A priority Critical patent/KR20240024471A/ko
Publication of KR20240024471A publication Critical patent/KR20240024471A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 제조업이나 건설업의 산업 현장에서 작업자, 지게차, 트럭 등과 같은 이동 객체를 탐지하고 이들의 충돌 여부를 판단하여 근로자의 충돌 안전을 관리하기 위한 객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법에 관한 것으로, 이의 시스템은, 촬영수단으로부터 수집한 영상파일에, 영상에 대한 부가설명이 포함된 텍스트를 추가하여 라벨링하는 데이터셋(dataset) 구축부와, 데이터셋 구축부를 통해 라벨링된 영상파일에서 이미지 인식 기술을 이용하여 객체들을 탐지하고 탐지된 객체들에 대한 바운딩 박스 정보 및 객체들을 대상으로 한 충돌 상황인지 아닌지 정보를 라벨링하여 학습시키는 객체 탐지 모델부, 객체 탐지 모델부를 통해 탐지된 객체들에 대하여 이동 객체와의 충돌 여부를 판단하여 위험상황을 판정하는 위험상황 판정부를 포함할 수 있다.

Description

객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법{WORKER COLLISION SAFETY MANAGEMENT SYSTEM AND METHOD USING OBJECT DETECTION}
본 발명은 작업자의 안전 사고 예방 시스템에 관한 것으로, 더욱 상세하게는 제조업이나 건설업의 산업 현장에서 작업자, 지게차, 트럭 등과 같은 이동 객체를 탐지하고 이들의 충돌 여부를 판단하여 근로자의 충돌 안전을 관리하기 위한 객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법에 관한 것이다.
최근 인공지능(AI), 빅데이터(Big data), 사물인터넷(IoT) 기술이 안전사고 예방을 위한 솔루션 및 플랫폼 분야에서 활용되고 있다. 산업 분야뿐만 아니라 일반 소비자 분야에서도 적극적으로 활용되고 있으며, 화재 감지나 가스, 미세먼지와 같은 유해물질 감지 등에서도 활용되고 있다.
특히, 이중에서 산업 재해는 제조업이나 건설업 등과 같은 산업 분야에서 종사하는 근로자가 업무와 관련하여 작업을 하다가 사망이나 상해, 질병을 얻는 것을 말한다. 아래 [표 1]은 고용노동부에서 2021년에 발간한 산업재해 발생 현황 중 2021년과 2020년을 비교한 것이다.
2020년도에 비해 최근 2021년도에는 사고율이 증가하였으며, 사고로 인한 피해자 및 사망자의 수가 증가하였다.
이러한 산업 재해를 줄이기 위한 노력은 법률적, 사회적, 개인적으로도 꾸준히 강조되고 있으며, 특히 2021년 정부에서는 "중대재해 처벌 등에 관한 법률"을 제정하여 사업자가 사망자가 1명 이상 발생하는 중대재해를 방지하기 위한 제도적 장치를 강화하는 추세이다. 제도적 장치는 이미 일부 사업장에서 안전관리 책임자를 두도록 법으로 강제하였으나, 법의 사각지대에 있는 소규모 사업장에서는 높은 비율로 사고가 발생하고 있다.
이로 인하여 대부분 사업장에서 CCTV를 설치해 현장을 녹화하고 현장 관리자를 두어 안전관리에 큰 노력을 기울이고 있지만, 산업 재해로 인한 사회적 이슈는 꾸준히 제기되고 있다.
본 출원인은, 상기와 같은 문제점을 해결하기 위하여 본 발명을 제안하게 되었다.
한국공개특허 제10-2018-0060860호 (2018. 06. 07 공개) 한국공개특허 제10-2015-0110283호 (2015.10.02 공개) 한국등록특허 제10-1432727호 (2014.08.14 등록) 한국공개특허 제10-2022-0097682호 (2022.07.08 공개) 한국공개특허 제10-2022-0110894호 (2022.08.09 공개)
본 발명은 CCTV로 촬영한 영상정보로부터 작업자, 지게차, 트럭 등과 같은 이동 객체를 탐지하고 이동 객체의 이동 방향을 고려하여 객체간 충돌 여부를 판단함으로써 근로자의 충돌 안전을 관리하기 위한 객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법을 제공하고자 한다.
특히, 본 발명은 CCTV를 통해 촬영된 원본 영상을 직접 수집하여 이를 관리하고 원본 영상으로부터 시나리오를 도출하여 산업현장에서의 이동 객체와 작업자가 충돌하는 위험한 상황을 판정하는 모델을 설계하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 실시예에 의한 객체 탐지를 활용한 근로자 안전 관리 시스템은, 촬영수단으로부터 수집한 영상파일에, 영상에 대한 부가설명이 포함된 텍스트를 추가하여 라벨링하는 데이터셋(dataset) 구축부; 상기 데이터셋 구축부를 통해 라벨링된 영상파일에서 이미지 인식 기술을 이용하여 객체들을 탐지하고 탐지된 객체들에 대한 바운딩 박스 정보 및 객체들을 대상으로 한 충돌 상황인지 아닌지 정보를 라벨링하여 학습시키는 객체 탐지 모델부; 및 상기 객체 탐지 모델부를 통해 탐지된 객체들에 대하여 이동 객체와의 충돌 여부를 판단하여 위험상황을 판정하는 위험상황 판정부;를 포함할 수 있다.
이때, 상기 위험상황 판정부는, 위험상황 판정모델을 이용하여 상기 객체 탐지 모델부에서 탐지된 객체들을 대상으로 객체간 겹치는 비율값(IoU; Intersection over Union)을 산출하고, 상기 객체간 겹치는 비율값이 임계값(α)을 초과하면 객체간 충돌 위험 상황임을 판정할 수 있다.
상기 위험 상황 판정모델은, 하기 수학식을 이용하여 객체간 겹치는 비율값을 산출할 수 있다.
[수학식]
(단, Bgt는 실제 객체의 바운딩 박스, Bpred는 모델이 예측한 바운딩 박스임)
또한, 상기 위험상황 판정부는, 상기 객체가 이동 객체인 경우, 이전 프레임에서 상기 이동 객체에 대한 중심점을 인식하고, 상기 이전 프레임에서의 객체 중심점과 현 프레임에서의 객체 중심점간 차이(offset)를 분석하여 좌표 상에서 왼쪽, 오른쪽, 위, 또는 아래로 이동한 이동 방향을 분석할 수 있다.
이때, 상기 위험상황 판정부는, 상기 객체간 겹치는 비율값이 임계값을 초과하면서, 동시에 상기 중심점 좌표의 이동방향이 대응되는 다른 객체의 중심점 좌표의 이동방향과 동일하지 않은 경우, 충돌 위험 상황임을 판정할 수 있다.
상기 데이터셋 구축부는, 촬영수단으로부터 수집한 원본 영상파일에 파일이름, 크기, 길이, 초당 프레임정보, 촬영시작에 관한 정보를 라벨링하고, 상기 원본 영상파일을 분할한 영상파일에는 분할 영상의 시작 프레임 번호와 종료 프레임 번호, 해당 프레임 내에 있는 객체 ID와 클래스 이름에 관한 정보를 라벨링할 수 있다.
상기 객체 탐지 모델부는, 상기 데이터셋 구축부를 통해 라벨링된 영상파일으로부터 YOLO 알고리즘을 통해 객체들을 탐지하고, 탐지된 객체들의 이름, 위치 및 크기(w, h, x, y)를 포함한 데이터와 이에 따른 바운딩 박스를 라벨링하며, 라벨링된 객체들을 다양한 크기, 각도에서의 객체 인식이 가능하도록 YOLO 학습을 수행할 수 있다.
한편, 본 발명의 실시예에 의한 객체 탐지를 활용한 근로자 안전 관리 방법은, 시스템의 데이터셋(dataset) 구축부가, 촬영수단을 통해 녹화한 영상파일을 수집하고, 상기 영상파일에 영상에 대한 부가설명이 포함된 텍스트를 추가하여 라벨링하는 단계; 상기 시스템의 객체 탐지 모델부가, 상기 데이터셋 구축부를 통해 라벨링된 영상파일에서 이미지 인식 기술을 이용하여 객체들을 탐지하는 단계; 상기 시스템의 객체 탐지 모델부가, 탐지된 객체들에 대한 바운딩 박스 정보 및 객체들을 대상으로 한 충돌 상황인지 아닌지 정보를 라벨링하여 학습시키는 단계; 상기 시스템의 위험상황 판정부가, 상기 객체 탐지 모델부를 통해 탐지된 객체들에 대하여 이동 객체간 충돌 여부를 판단하여 위험상황을 판정하는 단계;를 포함할 수 있다.
구체적으로, 상기 위험상황을 판정하는 단계는, 상기 객체 탐지 모델부에서 탐지된 객체들을 대상으로 객체간 겹치는 비율값(IoU; Intersection over Union)을 산출하고, 상기 객체간 겹치는 비율값이 임계값(α)을 초과하면 객체간 충돌 위험 상황임을 판정할 수 있다.
이러한 본 발명의 실시예에 따르면, CCTV를 통해 촬영된 영상으로부터 이동 객체와 작업자간 충돌을 분석 및 예측함으로써 근로자의 안전을 관리할 수 있다.
또한, 본 발명의 시스템을 통해 산업현장에서 발생하는 안전사고를 사전에 분석하는 지능형 플랫폼 연구에 활용이 가능할 것이다. 또한, 이를 제공하는 애플리케이션으로 확장하여 소규모 사업장에서도 용이하게 사용할 수 있게 제공 가능할 것이다.
예를 들어, 건설분야의 산업 재해를 방지하기 위한 연구 중 건설 장비의 이동 방향을 고려하여 안전지역과 위험지역을 구분하고 위험지역에 있는 작업자를 객체 탐지 모델과 주변 상황을 판정하는 알고리즘을 혼합한 연구에 활용할 수 있다.
또한, 본 발명의 시스템을 이용하여, 최근 코로나바이러스(COVID-19) 확산 및 방지에 대응한 사회적 거리두기를 위해 제조업 현장에서 작업자를 객체 인식을 통해 파악하고 거리를 예측하는 연구로 활용할 수 있다.
도 1은 본 발명의 실시예에 따른 객체 탐지를 활용한 근로자 안전 관리 시스템의 구성을 나타낸 도면이다.
도 2는 사업장의 실내 및 실외에서 발생하는 충돌 영상을 보여주는 예시도이다.
도 3은 본 발명의 실시예에 따른 시스템의 객체 탐지 모델부에서 수행하는 동작 과정을 설명하기 위한 순서도이다.
도 4 및 도 5는 본 발명의 실시예에 따른 시스템의 객체 탐지 모델부에서 JSON 형태로 합친 샘플 일부와 이를 테이블 형태로 변환한 예를 보여주는 도면이다.
도 6은 본 발명의 실시예에 따른 시스템에서 실내와 실외 손실 그래프를 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 시스템에서 작업자와 충돌위험 객체가 실체 충돌 위험을 감지하는 영상 출력을 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 시스템의 위험상황 판정부에서 수행하는 동작 과정을 설명하기 위한 순서도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 객체 탐지를 활용한 근로자 안전 관리 시스템(10)의 구성을 나타낸 도면이다.
본 발명의 실시예에 따른 객체 탐지를 활용한 근로자 안전 관리 시스템(10, 이하 '근로자 안전 관리 시스템'이라 함)은 기본적으로 데이터셋(dataset) 구축부(100), 객체 탐지 모델부(200) 및 위험상황 판정부(300)를 포함할 수 있다.
데이터셋 구축부(100)는 촬영수단을 통해 촬영 또는 녹화한 영상파일에서 객체를 탐지하기 위해 학습데이터를 수집 또는 샘플링하는 기능을 포함할 수 있다.
도 1에 도시된 바와 같이, 데이터셋 구축부(100)는 영상정보 수집부(110) 및 영상정보 라벨링부(120)를 포함할 수 있으며, 촬영수단으로부터 수집한 영상파일에, 영상에 대한 부가설명이 포함된 텍스트를 추가하여 라벨링할 수 있다. 구체적으로 설명하면, 영상정보 수집부(110)는 CCTV를 포함하는 촬영수단을 통해 촬영 또는 녹화된 원본 영상파일을 수집하고, 영상정보 라벨링부(120)는 수집한 원본 영상파일에 대한 정보와 원본 영상 전체를 한번에 라벨링하기에는 용량이 크고 여러 사람이 라벨링하기에 작업 속도가 더디므로, 수집한 원본 영상파일을 분할하고 분할된 영상파일에 라벨링을 수행할 수 있다.
원본 영상파일에는 영상파일 이름, 가로/세로 크기, 길이, 초당 프레임정보, 촬영장소, 촬영된 시각, 영상지원 포맷 등에 관한 정보를 라벨링할 수 있다. 본 실시예에서는 JSON 포맷을 이용한다.
분할 영상파일에는 이를 식별하기 위한 ID, 분할 영상의 시작 프레임 번호와 종료 프레임 번호, 해당 프레임 내에 존재하는 객체 ID와 클래스 이름(작업, 지게차, 트럭 등), YOLO 포맷 좌표와 너비 및 높이 정보, 해당 프레임에 위험 상황 이벤트가 있는 경우 이를 식별하기 위한 이벤트ID 등에 관한 정보를 라벨링할 수 있다.
여기서, 이벤트는 발생할 수 있는 충돌 위험 상황을 사전에 정의해두고, 임의 프레임에 사전에 정의해 둔 이벤트가 발생된 것으로 판단되면 해당 이벤트ID를 라벨링할 수 있다.
도 2는 사업장의 실내(도 2의 (a) 참조) 및 실외(도 2의 (b) 참조)에서 작업자가 지게차 또는 카트와 충돌하는 영상을 보여주는 예시도인데, 본 발명의 실시예에 따른 근로자 안전 관리 시스템(10)의 데이터셋 구축부(100)는 학습데이터로서 도 2와 같은 영상을 이용할 수 있다.
이때, 학습데이터는 실제 작업현장에서 촬영한 영상을 기초로 수행할 수도 있지만, 도 2의 (a) 및 (b)와 같이 충돌하는 위험 상황을 연출하여 임의로 촬영한 영상을 수집하여 수행할 수 있다.
상기한 바와 같이, 본 발명의 실시예에 따른 근로자 안전 관리 시스템(10)의 데이터셋 구축부(100)는, 수집한 원본 영상에 대한 정보(video) 와 원본 영상 전체를 한 번에 라벨링하기에는 용량이 크고 여러 사람이 라벨링하기에 작업 속도가 더디므로 영상을 자른 영상(partition) 정보로 분할하여 사용할 수 있다.
본 발명의 실시예에 따른 근로자 안전 관리 시스템(10)의 데이터셋 구축부(100)는 원본 영상에 대한 정보는 NIA(한국지능정보사회진흥원)에서 권고한 영상 파일 이름과 가로/세로 크기, 길이, 초당 프레임 정보, 영상 지원 포맷, 촬영장소, 영상이 실제 촬영된 시각을 넣는다. 분할 영상 정보의 경우에는 식별하기 위한 ID, 분할 영상의 시작 프레임과 종료 프레임 번호, 해당 프레임에 위험 상황 이벤트가 있는 경우 이를 식별하기 위한 이벤트 ID와 이벤트 정보를 넣는다. 아울러, 프레임 안에 있는 객체 ID와 클래스 이름(작업자, 지게차 등), YOLO 포맷 좌표와 너비와 높이(총 4가지)도 넣는다.
본 발명의 실시예에 따른 근로자 안전 관리 시스템(10)에서는 JSON 포맷을 사용하며, 사용한 이벤트는 [표 2]에 나타낸 바와 같이 총 9가지이다.
본 발명의 실시예에 따른 근로자 안전 관리 시스템(10)에서는 [표 2]에 나열한 9가지 시나리오를 바탕으로 데이터를 구축하여 이동 객체에 관한 실내외 위험 상황을 판정하므로 이벤트 3번과 6번에 대해 실험을 진행하였다.
객체 탐지 모델부(200)는 데이터셋 구축부(100)를 통해 라벨링된 영상파일에서 이미지 인식 기술을 이용하여 객체들을 탐지할 수 있다. 그리고, 탐지된 객체들에 대한 바운딩 박스 정보 및 객체들을 대상으로 한 충돌 상황인지 아닌지 정보를 라벨링하여 학습시킴으로써, 다양한 크기, 각도에서의 객체 인식이 가능하도록 제공할 수 있다.
본 실시예에 따른 근로자 안전 관리 시스템(10)은 이미지 인식 기술로 YOLO 알고리즘을 적용하며, 이에 따라 객체 탐지 모듈부(200)는 YOLO포맷 변환부(210) 및 YOLO 학습부(220)를 포함할 수 있다. 이에 대하여 도 3에 도시한 과정을 참조하여 구체적으로 설명한다.
즉, YOLO 포맷 변환부(210)는 데이터셋 구축부(100)를 통해 라벨링된 JSON 포맷의 영상파일을 YOLO 포맷에 맞게 변환할 수 있다(S200).
YOLO 학습부(220)는 포맷이 변환된 영상파일로부터 YOLO 알고리즘을 통해 객체들을 탐지하고(S210), 탐지된 객체들의 이름, 위치 및 크기(w, h, x, y)를 포함한 데이터와 이에 따른 바운딩 박스(bounding box)를 라벨링하고 객체 탐지 정보 DB에 저장할 수 있다(S220). 여기서, (x, y)는 바운딩 박스의 중심점을 의미하며, grid cell 의 범위에 대한 상대값과 대응되어 저장될 수 있다. (w, h)는 전체 영상의 폭(width), 높이(height)에 대한 상대값과 대응되어 저장될 수 있다.
YOLO 학습을 통해 객체 인식이 이루어지면 객체 인식에 관한 결과로 정확도(accuracy), 정밀도(precision), 재현율(recall)을 검출할 수 있다. 정확도, 정밀도, 재현율은 객체 탐지 모델로서 YOLO 알고리즘에 대한 성능 지표가 된다.
이후, YOLO 학습부(220)는 해당 프레임이 위험한지 아닌지에 관한 라벨링 데이터를 추가하여 저장할 수 있다(S230).
그리고, YOLO 학습부(220)는 라벨링된 영상파일을 원래의 JSON 포맷으로 합치고, 위험판정 모델을 학습할 수 있다(S240).
한편, 위험상황 판정부(300)는 위험상황 판정모델(310)을 위해서는 해당 영상(혹은 프레임)이 위험한 상황인지 아닌지에 관한 정보를 모델에 알려주는 지도학습(supervised learning) 모델로 구축해야 한다. 지도학습을 위해서는 해당 영상 프레임 정보와 위험한지 아닌지에 관한 라벨링 데이터가 하나의 행으로 구성된 테이블 형태로 되어야 하며, 이러한 정보를 본 실시예에 따른 근로자 안전 관리 시스템(10)에서는 JSON 형태로 구축한다. 이러한 형태는 관련 연구의 NIA의 데이터 구축과 품질 가이드라인을 참고한다.
위험상황 판정모델(310)의 데이터 흐름을 설명하면, 먼저 해당 영상에 대해 라벨링한 파일을 YOLO 포맷에 맞게 변경하여 YOLO 학습을 진행해야 한다. YOLO 학습을 통해 객체 인식이 이뤄지면 객체 인식에 관한 결과인 정확도(accuracy), 정밀도(precision), 재현율(recall)이 결과로 나오게 된다. 이후 해당 프레임이 위험한지 아닌지에 관한 라벨링 데이터를 추가하여 JSON 형태로 합치고 최종 위험판정 모델을 학습한다. 이 모델에서 나온 최종 결과 지표를 통해 성능을 확인한다. 도 4는 JSON 포맷으로 합쳐진 샘플 일부를 보여주는 도면이고, 도 5는 이를 테이블 형태로 변환한 결과를 보여주고 있다.
본 실시예에서 적용한 YOLOv4는 YOLOv3에서 사용한 Darknet53 백본 네트워크와 CSP(Cross-Stage-Partial-connections)를 혼합하여 학습 비용을 높이면서 추론 속도를 유지하기 위한 다양한 기법을 추가한 모델이다. CSP는 여러 채널에서 나온 특징맵의 반만 기존 ResNet의 잔차(residual)학습 모듈을 통과하도록 하여 병목 현상을 줄이는 기법이다.
다시 도 1 및 도 3을 참조하여, 위험상황 판정부(300)는 객체 탐지 모델부(200)를 통해 탐지된 객체들에 대하여 객체간 충돌 여부를 판단하여 위험상황을 판정할 수 있다.
특히, 위험상황 판정부(300)는 위험상황 판정모델(310)을 이용하여 객체 탐지 모델부(200)에서 탐지된 객체들을 대상으로 객체간 겹치는 비율값(IoU; Intersection over Union)을 산출하고, 객체간 겹치는 비율값이 임계값(α)을 초과하면 객체간 충돌 위험 상황인 것으로 판정할 수 있다.
이때, 위험 상황 판정모델(310)은, 하기 [수학식 1]을 이용하여 객체간 겹치는 비율값을 산출할 수 있다.
위 [수학식 1]은 실제 객체의 바운딩 박스(Bgt)와 모델이 예측한 바운딩 박스(Bpred)간에 자카드 지수(Jaccard index)에 관한 수식으로, 본 실시예에 따른 위험 상황 판정모델(310)은 위 [수학식 1]을 토대로 두 객체 예를 들어, 작업자와 트럭의 IoU를 계산하여 작업자와 트럭간 겹치는 정도를 산출하는 것이다.
IoU값이 일정 임계값(α)을 초과하면 작업자와 충돌위험 객체(예를 들면, 트럭, 지게차, 카트)가 가까이 있는 것으로 판정할 수 있다. 그런데, 카트를 끌고 가는 작업자의 경우, 작업자와 카트간 겹치는 IoU값이 임계값이 α를 넘을 수 있으므로 충돌하지 않았는데도 충돌했다고 판정할 수 있다. 따라서, 위험 상황 판정모델(310)은 이동하는 객체가 어느 방향으로 가고 있는지를 판단해야 한다.
즉, 위험 상황 판정모델(310)은 객체의 중심점 x, y좌표를 이용하여 중심점의 이동 여부를 파악할 수 있다. 이전 프레임에서 이동 객체에 대한 중심점을 인식하고, 이전 프레임에서의 객체 중심점과 현 프레임에서의 객체 중심점간 차이(offset)를 분석하여 좌표 상에서 왼쪽, 오른쪽, 위, 또는 아래로 이동한 이동 방향을 분석할 수 있다.
이에 따라, 위험상황 판정부(300)는, IoU값이 일정 임계값(α)을 초과하면서, 이와 동시에 임의 객체의 중심점 이동방향이 이와 대응되는 다른 객체의 중심점 이동방향과 동일하지 않은 경우, 충돌 위험 상황임을 판정할 수 있다. 또는, 임의 객체의 중심점 좌표의 이동방향이 이와 대응되는 다른 객체의 중심점 좌표로 향하는 경우, 충돌 위험 상황인 것으로 판정할 수 있다. 또는, 임의 객체의 중심점 좌표의 이동방향이 이와 대응되는 다른 객체의 중심점 좌표의 이동방향과 동일한 경우, 충돌 위험 상황의 판정을 보류한다. 이에 관한 순서도는 도 8과 같다.
한편, 본 발명의 실시예에 따른 근로자 안전 관리 시스템(10)을 구현하기 위해 객체 탐지 모델과 위험상황 판정모델을 학습한 결과 그 성능을 측정해 보았다.
YOLOv4의 경우 배치 크기는 32, 가로와 세로 크기는 416으로 정의하고, 나머지 학습률, IoU 손실 등은 모두 기존 YOLOv4와 동일하게 진행하였다. 확률값에 대한 임계값은 0.25로 설정하고 탐지 객체는 작업자, 트럭, 지게차, 카트 4가지 객체를 대상으로 학습시켰다.
또한, YOLOv4에서 학습한 가중치 파일을 기반으로 YOLOv4에서 객체를 예측한 확률은 50% 이상이 나온 객체를 대상으로 이동 객체 충돌 판정을 진행했으며, IoU의 임계값은 0.05로 설정하였다.
이를 토대로 YOLOv4의 객체 탐지 모델과 위험상황 판정모델의 경우 정확도(accuracy), 정밀도(precision), 재현율(recall)을 산출하는 수식은 하기 [수학식 2], [수학식 3] 및 [수학식 4]와 같다.
여기서, TP(True Positive)는 positive로 예측(양성예측)했는데 실제로도 positive(양성클래스)라는 의미이며, TN(True Negative)는 negative로 예측(음성예측)했는데 실제로도 negative(음성클래스), FP(False Positive)는 양성예측 했으나 실제는 음성클래스, FN(False Negative)는 음성예측 했으나 실제는 양성클래스를 의미한다.
YOLOv4 객체 검출 모델은 추가로 AP(Average Precision)와 mAP(mean AP)를 사용하였으며 AP는 위 [수학식 3]과 [수학식 4]에 의해 얻어진 정밀도-재현율 그래프(Precision-Recall Curve)에서 곡선 아래 넓이(Area Under the Curve)를 쉽게 구하기 위해, 재현율 레벨(R)에서 재현율 값이 R보다 큰, 최대 정밀도 Pinterpol(R)로 보간(interpolation)하여 넓이를 구한 것이다. 이를 수식으로 표현하면 [수학식 5]와 같다.
학습데이터로서 실내 영상 130,255프레임, 실외 영상 75,339 프레임을 사용하고, 데이터 증강(data augmentation) 기법을 활용하여 학습하였다. 객체 검출을 위해 학습한 결과, 실내 영상에서 정밀도는 0.95, 재현율 1.0의 결과를 얻었으며, 실외 영상에서는 정밀도 0.96, 재현율 1.0의 결과를 얻었다. 전체적으로 학습 결과는 아래 [표 3]과 같으며, 도 6은 실내와 실외 손실(loss)을 그래프로 표현한 것이다. 도 6의 (a)는 YOLOv4에 의해 학습된 실내 영상(video) 손실 그래프이고, 도 6의 (b)는 YOLOv4에 의해 학습된 실외 영상(video) 손실 그래프이다.
또한, 작업자와 충돌 위험 객체(예를 들면, 트럭, 지게차, 카트)가 충돌하는 상황을 판단하는 모델 학습에 관한 결과는 아래 [표 4]와 같으며, 실제 충돌 위험을 감지하는 영상 출력은 도 7과 같다. 도 7의 (a)는 실내에서 작업자가 카트와 충돌하는 영상이고, 도 7의 (b)는 실외에서 작업자가 지게차와 충돌하는 영상이다.
실내 영상이 실외 영상과 비교하면 정확도는 떨어지지만, 재현율에서는 더 좋은 결과를 보였다. 반면, 실외 영상에서는 정확도는 높지만, 정밀도와 재현율이 실내 영상과 비교하면 떨어지는데, 이는 실내 영상보다 더 적은 프레임을 학습에 이용한 이유로 보인다. 또한, FP(False Positive), 위험하지 않은 상황인데 위험하다고 판정한 부분은 실내 영상에서 많이 관측되었으며, 실외 영상에서는 이와 반대로 FN(False Negative), 위험한 상황인데 위험하지 않다고 판정한 부분이 많이 관측되었다는 점에서도 이유가 될 수 있겠다.
이상에서 설명된 시스템 내지 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이하에서는, 본 발명의 실시예에 따른 객체 탐지를 활용한 근로자 안전 관리 방법을 살펴보기로 한다. 이하에서 설명하는 본 발명의 실시예에 따른 객체 탐지를 활용한 근로자 안전 관리 방법은 상기에서 설명한 본 발명의 실시예에 따른 객체 탐지를 활용한 근로자 안전 관리 시스템(10)을 이용한 객체 탐지를 활용한 근로자 안전 관리 방법이다.
본 발명의 실시예에 따른 근로자 안전 관리 시스템(10)을 이용한 근로자 안전 관리 방법은, 처음 데이터셋을 구축하기 위한 과정으로서, 근로자 안전 관리 시스템(10)의 데이터셋(dataset) 구축부(100)가, 촬영수단을 통해 녹화한 영상파일을 수집하고, 영상파일에 영상에 대한 부가설명이 포함된 텍스트를 추가하여 라벨링할 수 있다.
다음, 근로자 안전 관리 시스템(10)의 객체 탐지 모델부(200)가, 데이터셋 구축부(100)를 통해 라벨링된 영상파일에서 이미지 인식 기술을 이용하여 객체들을 탐지하는 과정을 수행할 수 있다.
이후, 근로자 안전 관리 시스템(10)의 객체 탐지 모델부(200)가, 탐지된 객체들에 대한 바운딩 박스 정보 및 객체들을 대상으로 한 충돌 상황인지 아닌지 정보를 라벨링하여 학습시킬 수 있다.
이후, 근로자 안전 관리 시스템(10)의 위험상황 판정부(300)가, 객체 탐지 모델부(200)를 통해 탐지된 객체들에 대하여 이동 객체간 충돌 여부를 판단하여 위험상황을 판정할 수 있다.
판정을 통해 근로자 안전 관리 시스템(10)은 충돌 위험을 사전 분석 및 예측이 가능하므로, 근로자의 안전을 관리할 수 있고, 또는 사후 사고 원인을 정확하게 판단하는 데 활용할 수 있다. 또는, 안전지역과 위험지역을 구분하고 위험지역에 있는 작업자를 객체 탐지 모델과 주변 상황을 판정하여 안전사고를 미연에 방지하는 데 활용할 수 있다.
특히, 본 발명의 실시예에서 위험상황을 판정하는 과정은, 도 8에 도시한 바와 같이, 객체 탐지 모델부(200)에서 충돌 위험 가능성이 있는 객체가 탐지되었으면(S300), 먼저 객체들을 분리할 수 있다(S310). 예컨대, 지게차와 카트 등과 같은 이동 객체와 작업자를 분리할 수 있다. 또는 지게차와 트럭, 두 이동객체를 분리할 수 있다.
이때, 객체가 이동 객체인 경우, 근로자 안전 관리 시스템(10)의 위험상황 판정부(300)가, 이전 프레임에서 이동 객체를 탐지하고 탐지한 이동 객체의 중심점을 파악할 수 있다(S370). 그리고 이전 프레임에서의 이동 객체의 중심점 좌표와 현 프레임에서의 이동 객체의 중심점 좌표 차이(offset)를 분석할 수 있다(S380). 이후, 좌표 상에서 왼쪽, 오른쪽, 위, 또는 아래로 이동한 이동 방향을 분석할 수 있다(S390).
한편, 본 발명의 실시예에 따른 근로자 안전 관리 시스템(10)은 위 S310 단계 이후, 두 객체들을 대상으로 객체간 겹치는 비율값(IoU; Intersection over Union)을 산출할 수 있다(S320).
이후, IoU값이 일정 임계값(α)을 초과하는지 확인할 수 있다(S330).
확인 결과, IoU값이 일정 임계값(α)을 초과하면 객체간 충돌 위험 상황인지를 더 체크하고(S340), IoU값이 일정 임계값(α)을 초과하지 않으면 정상 상태(normal)로 판정할 수 있다(S360).
충돌 위험 상황인지 체크하는 과정(S340)은 실제 충돌하지 않았는데 객체간 겹침으로 충돌한 것으로 판단하는 오류를 방지하기 위한 과정이다.
충돌 위험 상황인지 체크하는 과정(S340)에서, 본 발명의 실시예에 따른 근로자 안전 관리 시스템(10)은 S390 단계와 연동하여, 이동 방향에 따라 충돌 위험 상황이 맞는지 판단할 수 있다.
예컨대, 이동 객체의 중심점 이동방향이 작업자의 중심점 이동방향과 동일하지 않으면 충돌 위험 상황으로 판정한다.
이동 객체의 중심점 이동방향이 작업자의 중심점 이동방향과 동일하면 충돌 상황이 아닌, 정상 상태(normal)로 판정한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
이상에서 본 발명들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
10: 객체 탐지를 활용한 근로자 안전 관리 시스템
100: 데이터셋 구축부 110: 영상정보 수집부
120: 영상정보 라벨링부 200: 객체 탐지 모델부
210: YOLO 포맷 변환부 220: YOLO 학습부
300: 위험 상황 판정부 310: 위험 상황 판정모델

Claims (10)

  1. 촬영수단으로부터 수집한 영상파일에, 영상에 대한 부가설명이 포함된 텍스트를 추가하여 라벨링하는 데이터셋(dataset) 구축부;
    상기 데이터셋 구축부를 통해 라벨링된 영상파일에서 이미지 인식 기술을 이용하여 객체들을 탐지하고 탐지된 객체들에 대한 바운딩 박스 정보 및 객체들을 대상으로 한 충돌 상황인지 아닌지 정보를 라벨링하여 학습시키는 객체 탐지 모델부; 및
    상기 객체 탐지 모델부를 통해 탐지된 객체들에 대하여 이동 객체와의 충돌 여부를 판단하여 위험상황을 판정하는 위험상황 판정부;
    를 포함하는 객체 탐지를 활용한 근로자 안전 관리 시스템.
  2. 제1항에 있어서,
    상기 위험상황 판정부는,
    위험상황 판정모델을 이용하여 상기 객체 탐지 모델부에서 탐지된 객체들을 대상으로 객체간 겹치는 비율값(IoU; Intersection over Union)을 산출하고,
    상기 객체간 겹치는 비율값이 임계값(α)을 초과하면 객체간 충돌 위험 상황임을 판정하는 것을 특징으로 하는 객체 탐지를 활용한 근로자 안전 관리 시스템.
  3. 제2항에 있어서,
    상기 위험 상황 판정모델은,
    하기 수학식을 이용하여 객체간 겹치는 비율값을 산출하는 것을 특징으로 하는 객체 탐지를 활용한 근로자 안전 관리 시스템.
    [수학식]

    (단, Bgt는 실제 객체의 바운딩 박스, Bpred는 모델이 예측한 바운딩 박스임)
  4. 제2항에 있어서,
    상기 위험상황 판정부는,
    상기 객체가 이동 객체인 경우,
    이전 프레임에서 상기 이동 객체에 대한 중심점을 인식하고, 상기 이전 프레임에서의 객체 중심점과 현 프레임에서의 객체 중심점간 차이(offset)를 분석하여 좌표 상에서 왼쪽, 오른쪽, 위, 또는 아래로 이동한 이동 방향을 분석하는 것을 특징으로 하는 객체 탐지를 활용한 근로자 안전 관리 시스템.
  5. 제4항에 있어서,
    상기 위험상황 판정부는,
    상기 객체간 겹치는 비율값이 임계값을 초과하면서, 동시에 상기 중심점 좌표의 이동방향이 대응되는 다른 객체의 중심점 좌표의 이동방향과 동일하지 않은 경우, 충돌 위험 상황임을 판정하는 것을 특징으로 하는 객체 탐지를 활용한 근로자 안전 관리 시스템.
  6. 제1항에 있어서,
    상기 데이터셋 구축부는,
    촬영수단으로부터 수집한 원본 영상파일에 파일이름, 크기, 길이, 초당 프레임정보, 촬영시작에 관한 정보를 라벨링하고,
    상기 원본 영상파일을 분할한 영상파일에는 분할 영상의 시작 프레임 번호와 종료 프레임 번호, 해당 프레임 내에 있는 객체 ID와 클래스 이름에 관한 정보를 라벨링하는 것을 특징으로 하는 객체 탐지를 활용한 근로자 안전 관리 시스템.
  7. 제1항에 있어서,
    상기 객체 탐지 모델부는,
    상기 데이터셋 구축부를 통해 라벨링된 영상파일으로부터 YOLO 알고리즘을 통해 객체들을 탐지하고, 탐지된 객체들의 이름, 위치 및 크기(w, h, x, y)를 포함한 데이터와 이에 따른 바운딩 박스를 라벨링하며,
    라벨링된 객체들을 다양한 크기, 각도에서의 객체 인식이 가능하도록 YOLO 학습을 수행하는 것을 특징으로 하는 객체 탐지를 활용한 근로자 안전 관리 시스템.
  8. 시스템의 데이터셋(dataset) 구축부가, 촬영수단을 통해 녹화한 영상파일을 수집하고, 상기 영상파일에 영상에 대한 부가설명이 포함된 텍스트를 추가하여 라벨링하는 단계;
    상기 시스템의 객체 탐지 모델부가, 상기 데이터셋 구축부를 통해 라벨링된 영상파일에서 이미지 인식 기술을 이용하여 객체들을 탐지하는 단계;
    상기 시스템의 객체 탐지 모델부가, 탐지된 객체들에 대한 바운딩 박스 정보 및 객체들을 대상으로 한 충돌 상황인지 아닌지 정보를 라벨링하여 학습시키는 단계;
    상기 시스템의 위험상황 판정부가, 상기 객체 탐지 모델부를 통해 탐지된 객체들에 대하여 이동 객체간 충돌 여부를 판단하여 위험상황을 판정하는 단계;
    를 포함하는 객체 탐지를 활용한 근로자 안전 관리 방법.
  9. 제8항에 있어서,
    상기 위험상황을 판정하는 단계는,
    상기 객체 탐지 모델부에서 탐지된 객체들을 대상으로 객체간 겹치는 비율값(IoU; Intersection over Union)을 산출하고,
    상기 객체간 겹치는 비율값이 임계값(α)을 초과하면 객체간 충돌 위험 상황임을 판정하는 것을 특징으로 하는 객체 탐지를 활용한 근로자 안전 관리 방법.
  10. 제9항에 있어서,
    상기 위험상황을 판정하는 단계는,
    상기 객체가 이동 객체인 경우, 이전 프레임에서 상기 이동 객체에 대한 중심점을 인식하고, 상기 이전 프레임에서의 객체 중심점과 현 프레임에서의 객체 중심점간 차이를 분석하여 좌표 상에서 왼쪽, 오른쪽, 위, 또는 아래로 이동한 이동 방향을 분석하는 한편,
    상기 객체간 겹치는 비율값과 상기 이동 방향에 기초하여 객체간 충돌 위험 상황임을 판정하는 특징으로 하는 객체 탐지를 활용한 근로자 안전 관리 방법.
KR1020220102470A 2022-08-17 2022-08-17 객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법 KR20240024471A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220102470A KR20240024471A (ko) 2022-08-17 2022-08-17 객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220102470A KR20240024471A (ko) 2022-08-17 2022-08-17 객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240024471A true KR20240024471A (ko) 2024-02-26

Family

ID=90058119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220102470A KR20240024471A (ko) 2022-08-17 2022-08-17 객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20240024471A (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101432727B1 (ko) 2012-12-31 2014-08-26 인하대학교 산학협력단 차량과 객체의 충돌을 방지하기 위한 헤드라이트 빔 패턴을 이용한 이동객체 검출 장치 및 이를 이용한 이동객체 검출 방법
KR20150110283A (ko) 2014-03-21 2015-10-02 삼성전자주식회사 객체들 사이의 충돌을 방지하는 방법 및 장치.
KR20180060860A (ko) 2016-11-29 2018-06-07 삼성전자주식회사 객체들 간의 충돌을 방지하는 충돌 방지 장치 및 방법
KR20220097682A (ko) 2020-12-30 2022-07-08 인하대학교 산학협력단 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템 및 방법
KR20220110894A (ko) 2021-02-01 2022-08-09 주식회사 엔에스텍 안전사고 방지를 위한 에지컴퓨팅 기반 지능형 영상분석 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101432727B1 (ko) 2012-12-31 2014-08-26 인하대학교 산학협력단 차량과 객체의 충돌을 방지하기 위한 헤드라이트 빔 패턴을 이용한 이동객체 검출 장치 및 이를 이용한 이동객체 검출 방법
KR20150110283A (ko) 2014-03-21 2015-10-02 삼성전자주식회사 객체들 사이의 충돌을 방지하는 방법 및 장치.
KR20180060860A (ko) 2016-11-29 2018-06-07 삼성전자주식회사 객체들 간의 충돌을 방지하는 충돌 방지 장치 및 방법
KR20220097682A (ko) 2020-12-30 2022-07-08 인하대학교 산학협력단 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템 및 방법
KR20220110894A (ko) 2021-02-01 2022-08-09 주식회사 엔에스텍 안전사고 방지를 위한 에지컴퓨팅 기반 지능형 영상분석 시스템

Similar Documents

Publication Publication Date Title
KR20200018612A (ko) 물체 검출을 위한 방법, 장치 및 기기
Ghahremannezhad et al. Real-time accident detection in traffic surveillance using deep learning
Chian et al. Dynamic identification of crane load fall zone: A computer vision approach
CN104254873A (zh) 视频监控系统中的警报量归一化
KR102356666B1 (ko) 다중로그 데이터 기반의 공공안전 위험상황 감지, 예측, 대응 방법 및 장치
CN112383756B (zh) 一种视频监控报警处理方法和装置
KR101598343B1 (ko) 정체 시공간 패턴 자동인식 시스템 및 그 방법
CN108898083A (zh) 一种施工远程监控与管理系统及管理方法
Zhang et al. Vision and trajectory–based dynamic collision prewarning mechanism for tower cranes
KR20210074541A (ko) 디지털 트윈 기반 Automotive Intelligence 지식베이스를 이용한 오류 탐지 및 형상화 방법
CN210666820U (zh) 一种基于dsp边缘计算的行人异常行为检测系统
CN112580470A (zh) 城市视觉感知方法、装置、电子设备和存储介质
CN117455745B (zh) 基于多维融合数据分析的公共安全事件感知方法及系统
CN102789645B (zh) 一种用于周界防范的多目标快速跟踪方法
Kim et al. Real-time struck-by hazards detection system for small-and medium-sized construction sites based on computer vision using far-field surveillance videos
KR20240024471A (ko) 객체 탐지를 활용한 근로자 충돌 안전 관리 시스템 및 방법
KR102635902B1 (ko) Ai 로봇을 이용한 건설 현장의 작업 공정별 상황 인식 및 안전 관리 시스템
CN117237935A (zh) 一种空间物体的识别方法、装置、电子设备及存储介质
CN112434901B (zh) 无人机交通巡逻方案的智能重决策方法和系统
CN113869116A (zh) 一种用于架空输电线路的施工机械预警方法、装置及介质
CN114445786A (zh) 道路拥堵检测方法、装置、电子设备及存储介质
CN115474441A (zh) 障碍物检测方法、装置、设备和计算机存储介质
Wang et al. A Forewarning Method for Falling Hazard from Hole Based on Instance Segmentation and Regional Invasion Detection
CN113095306B (zh) 一种安防报警方法和芯片
CN115146686B (zh) 一种确定目标对象安装位置的方法、装置、设备及介质