KR102519875B1 - Collision warning system for industrial site - Google Patents

Collision warning system for industrial site Download PDF

Info

Publication number
KR102519875B1
KR102519875B1 KR1020200174190A KR20200174190A KR102519875B1 KR 102519875 B1 KR102519875 B1 KR 102519875B1 KR 1020200174190 A KR1020200174190 A KR 1020200174190A KR 20200174190 A KR20200174190 A KR 20200174190A KR 102519875 B1 KR102519875 B1 KR 102519875B1
Authority
KR
South Korea
Prior art keywords
collision
unit
heavy equipment
risk
collision risk
Prior art date
Application number
KR1020200174190A
Other languages
Korean (ko)
Other versions
KR20220084580A (en
Inventor
김성용
최동희
서동윤
Original Assignee
소프트온넷(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소프트온넷(주) filed Critical 소프트온넷(주)
Priority to KR1020200174190A priority Critical patent/KR102519875B1/en
Publication of KR20220084580A publication Critical patent/KR20220084580A/en
Application granted granted Critical
Publication of KR102519875B1 publication Critical patent/KR102519875B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Geology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 산업 현장의 충돌 경보 시스템에 관한 것으로, 특정 이동형 중장비에 설치되고, 제 1 카메라 및 제 2 카메라를 구비하는 3D 카메라를 적어도 하나 이상 포함하는 영상 촬영부; 상기 영상 촬영부의 상기 3D 카메라 개별 개소에서 촬영되는 영상을 분석하여 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하고, 상기 3D 카메라 개별 개소에서 식별된 객체까지의 개별 거리를 계산하여 소정의 값 미만인 경우 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험이 있는 것으로 판단하여 제 1 충돌 위험 신호를 송신하는 충돌 위험 판단 제어부; 및 상기 충돌 위험 판단 제어부로부터 제 1 충돌 위험 신호를 수신하여 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험 경고 알람을 출력하는 충돌 위험 알람부;를 포함하여 구성됨으로써, 보다 정확하게 특정 이동형 중장비와 주변 객체의 충돌 위험 여부 및 주변 객체 간 충돌 위험 여부를 판단하여 충돌 위험성을 경고함으로써 산업 현장의 작업 안정성을 향상시킨다.The present invention relates to a collision warning system at an industrial site, which is installed in a specific mobile heavy equipment, and includes an image capturing unit including at least one 3D camera including a first camera and a second camera; Analyzing images captured at individual locations of the 3D camera of the image capture unit to identify human body objects, mobile heavy equipment objects, vehicle objects, and obstacle objects, and calculating individual distances from individual locations of the 3D camera to the identified objects to obtain a predetermined If less than the value, a collision risk determination control unit determining that there is a risk of collision between the specific mobile heavy equipment and the corresponding object and transmitting a first collision risk signal; And a collision risk alarm unit that receives the first collision risk signal from the collision risk determination control unit and outputs a collision risk warning alarm between the specific mobile heavy equipment and the corresponding object; It determines whether there is a risk of collision and whether there is a risk of collision between nearby objects and warns of the risk of collision, thereby improving work safety in the industrial site.

Description

산업 현장의 충돌 경보 시스템 {COLLISION WARNING SYSTEM FOR INDUSTRIAL SITE}Collision warning system for industrial sites {COLLISION WARNING SYSTEM FOR INDUSTRIAL SITE}

본 발명은 산업 현장의 충돌 경보 시스템에 관한 것으로, 더욱 상세하게는 특정 이동형 중장비에 설치되는 3D 카메라에서 촬영되는 영상을 분석하여 특정 이동형 중장비 주변의 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하고 보다 정확하게 특정 이동형 중장비와 주변 객체의 충돌 위험 여부를 판단하여 충돌 위험성을 경고함으로써 산업 현장의 작업 안정성을 향상시키는 산업 현장의 충돌 경보 시스템에 관한 것이다.The present invention relates to a collision warning system at an industrial site, and more particularly, by analyzing an image captured by a 3D camera installed in a specific mobile heavy equipment, a human body object, a mobile heavy equipment object, a vehicle object, and an obstacle object around a specific mobile heavy equipment are analyzed. It relates to a collision warning system in an industrial field that improves work safety in an industrial field by identifying and more accurately determining whether or not there is a risk of collision between a specific mobile heavy equipment and a surrounding object and warning of the risk of collision.

일반적으로 각종 산업 현장에는 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체가 존재한다.In general, human body objects, movable heavy equipment objects, vehicle objects, and obstacle objects exist in various industrial sites.

여기서, 산업 현장이라 함은 공사장, 물류센터 등을 의미하고, 인체 객체는 해당 산업 현장에 있는 사람을 의미하고, 이동형 중장비(작업 중에는 위치 고정될 수도 있음)는 산업 현장에서 작업을 위해 사용되는 지게차, 트랙터, 굴삭기 등을 의미하고, 차량 객체는 산업 현장에 출입하는 승용차, 자재 운반 트럭 등을 의미하고, 장애물 객체는 산업 현장에 존재하는 벽체, 쌓아놓은 자재, 구조물 등을 의미한다.Here, the industrial site means a construction site, a logistics center, etc., the human body object means a person in the industrial site, and the mobile heavy equipment (which may be fixed during work) is a forklift used for work in the industrial site , tractors, excavators, etc., vehicle objects mean cars entering and exiting industrial sites, material transport trucks, etc., and obstacle objects mean walls, stacked materials, and structures existing in industrial sites.

이 경우, 산업 현장에서는, 특정 이동형 중장비를 기준으로 할 때, 특정 이동형 중장비와 주변의 인체 객체의 충돌 위험, 특정 이동형 중장비와 주변의 이동형 중장비 객체의 충돌 위험, 특정 이동형 중장비와 주변의 차량 객체의 충돌 위험, 및 특정 이동형 중장비와 주변의 장애물 객체의 충돌 위험이 존재한다.In this case, in industrial sites, the risk of collision between a specific movable heavy equipment and nearby human body objects, the risk of collision between a specific movable heavy equipment and surrounding movable heavy equipment objects, and the risk of collision between a specific movable heavy equipment and surrounding vehicle objects based on a specific mobile heavy equipment There is a risk of collision, and a risk of collision between a specific mobile heavy equipment and surrounding obstacle objects.

실제로 산업 현장에서의 충돌 사고로 인하여, 매년 다수의 사상자를 발생시키고 있을 뿐만 아니라, 고가의 위험물이 파손되는 인적 물적 손해가 발생하고 있다.In fact, due to collision accidents at industrial sites, not only a large number of casualties occur every year, but also human and material damages caused by damage of expensive dangerous goods.

이러한 문제점을 해결하고자, 산업 현장의 충돌 경보 시스템과 관련된 선행기술로서, 한국등록특허공보 제10-1736158호(특허문헌 1), 한국등록특허공보 제10-1695904호(특허문헌 2), 및 한국공개특허공보 제10-2016-0127881호(특허문헌 3) 등이 개시된 바 있다.In order to solve this problem, as prior art related to the collision warning system in the industrial field, Korean Patent Registration No. 10-1736158 (Patent Document 1), Korean Patent Registration No. 10-1695904 (Patent Document 2), and Korea Publication No. 10-2016-0127881 (Patent Document 3) and the like have been disclosed.

그러나, 특허문헌 1 내지 특허문헌 3을 포함하는 종래의 산업 현장의 충돌 경보 시스템은 비콘 신호의 신호도착시간(TOA; Time of arrival), 신호도착시간차이(TDOA; Time difference of arrival), 또는 수신신호강도(RSSI; Received signal strength indicator) 중 적어도 어느 하나의 거리 측정 방법을 이용하여 위험물과 작업자 간 거리를 측정하여 충돌 위험 여부를 판단하지만, 비콘의 프로토콜 특성 상 정확한 거리 측정이 힘든 한계가 있다.However, the conventional industrial field collision warning system including Patent Document 1 to Patent Document 3 is a beacon signal time of arrival (TOA), signal time difference of arrival (TDOA), or reception Although the risk of collision is determined by measuring the distance between a dangerous object and a worker using at least one distance measurement method among Received signal strength indicators (RSSI), there is a limit in that it is difficult to accurately measure the distance due to the characteristics of the beacon protocol.

아울러, 종래의 산업 현장의 충돌 경보 시스템은 특정 객체를 기준으로 특정 객체와 다른 객체의 충돌 위험성 만을 경고할 수 있는 한계가 있다.In addition, conventional industrial collision warning systems have limitations in being able to warn only the risk of collision between a specific object and another object based on a specific object.

한국등록특허공보 제10-1736158호(2017.05.17. 공고)Korean Registered Patent Publication No. 10-1736158 (Announced on May 17, 2017) 한국등록특허공보 제10-1695904호(2017.01.16. 공고)Korean Registered Patent Publication No. 10-1695904 (Announced on January 16, 2017) 한국공개특허공보 제10-2016-0127881호(2016.11.07. 공개)Korean Patent Publication No. 10-2016-0127881 (published on November 7, 2016)

전술한 문제점을 해소함에 있어, 본 발명의 목적은 특정 이동형 중장비에 설치되는 3D 카메라에서 촬영되는 영상을 분석하여 특정 이동형 중장비 주변의 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하고 보다 정확하게 특정 이동형 중장비와 주변 객체의 충돌 위험 여부를 판단하여 충돌 위험성을 경고함으로써 산업 현장의 작업 안정성을 향상시키는 산업 현장의 충돌 경보 시스템을 제공함에 있다.In solving the above problems, an object of the present invention is to analyze an image taken by a 3D camera installed in a specific mobile heavy equipment to identify a human body object, a mobile heavy equipment object, a vehicle object and an obstacle object around a specific mobile heavy equipment and more accurately It is an object of the present invention to provide an industrial collision warning system that improves work stability in an industrial field by determining whether there is a risk of collision between a specific mobile heavy equipment and a nearby object and warning the risk of collision.

또한, 본 발명의 목적은 특정 이동형 중장비에 설치되는 3D 카메라에서 촬영되는 영상을 분석하여 특정 이동형 중장비 주변의 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하고 주변 객체 간의 충돌 위험 여부를 더 판단하여 충돌 위험성을 경고함으로써 산업 현장의 작업 안정성을 더욱 향상시키는 산업 현장의 충돌 경보 시스템을 제공함에 있다.In addition, an object of the present invention is to analyze an image taken by a 3D camera installed in a specific mobile heavy equipment to identify a human body object, a mobile heavy equipment object, a vehicle object, and an obstacle object around a specific mobile heavy equipment, and to further determine whether there is a risk of collision between surrounding objects. An object of the present invention is to provide an industrial collision warning system that further improves industrial safety by determining and warning the risk of collision.

본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템은, 특정 이동형 중장비에 설치되고, 제 1 카메라 및 제 2 카메라를 구비하는 3D 카메라를 적어도 하나 이상 포함하는 영상 촬영부; 상기 영상 촬영부의 상기 3D 카메라 개별 개소에서 촬영되는 영상을 분석하여 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하고, 상기 3D 카메라 개별 개소에서 식별된 객체까지의 개별 거리를 계산하여 소정의 값 미만인 경우 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험이 있는 것으로 판단하여 제 1 충돌 위험 신호를 송신하는 충돌 위험 판단 제어부; 및 상기 충돌 위험 판단 제어부로부터 제 1 충돌 위험 신호를 수신하여 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험 경고 알람을 출력하는 충돌 위험 알람부;를 포함하여 구성된다.An industrial field collision warning system according to an embodiment of the present invention is installed in a specific mobile heavy equipment, and includes an image capture unit including at least one 3D camera having a first camera and a second camera; Analyzing images captured at individual locations of the 3D camera of the image capture unit to identify human body objects, mobile heavy equipment objects, vehicle objects, and obstacle objects, and calculating individual distances from individual locations of the 3D camera to the identified objects to obtain a predetermined If less than the value, a collision risk determination control unit determining that there is a risk of collision between the specific mobile heavy equipment and the corresponding object and transmitting a first collision risk signal; and a collision risk alarm unit receiving a first collision risk signal from the collision risk determination control unit and outputting a collision risk warning alarm between the specific mobile heavy equipment and the corresponding object.

이 경우, 상기 충돌 위험 판단 제어부는, 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태에 관한 딥러닝 학습을 통해 객체 형태 관련 인공신경망을 생성하는 인공지능부; 상기 인공지능부의 인공신경망을 토대로 상기 영상 촬영부의 상기 3D 카메라 개별 개소에서 촬영되는 영상을 분석하여 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하는 객체 식별부; 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체까지의 개별 거리를 계산하는 객체 별 거리 계산부; 및 상기 객체 별 거리 계산부에서 계산된 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체까지의 개별 거리가 소정의 값 미만인 경우 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험이 있는 것으로 판단하여 상기 충돌 위험 알람부로 제 1 충돌 위험 신호를 송신하는 충돌 위험 판단부;를 포함하여 구성되는 것이 바람직하다.In this case, the collision risk determination control unit includes an artificial intelligence unit for generating an artificial neural network related to an object shape through deep learning learning on a human body object shape, a mobile heavy equipment object shape, a vehicle object shape, and an obstacle object shape; an object identification unit for identifying a human body object, a movable heavy equipment object, a vehicle object, and an obstacle object by analyzing images captured at individual locations of the 3D camera of the image capturing unit based on the artificial neural network of the artificial intelligence unit; a distance calculation unit for each object that calculates an individual distance from the individual location of the 3D camera to the object identified by the object identification unit; And if the individual distance from the individual point of the 3D camera calculated by the distance calculation unit to the object identified by the object identification unit is less than a predetermined value, it is determined that there is a risk of collision between the specific mobile heavy equipment and the corresponding object It is preferable to include; a collision risk determination unit for transmitting a first collision risk signal to the collision risk alarm unit.

이때, 상기 객체 별 거리 계산부는, 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체의 위상 차이 정보를 입력받아 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체까지의 개별 거리를 계산하도록 구성되는 것이 바람직하다.At this time, the distance calculation unit for each object receives phase difference information of the object identified by the object identification unit at the individual location of the 3D camera, and calculates an individual distance from the individual location of the 3D camera to the object identified by the object identification unit. It is preferable to be configured to do so.

한편, 상기 충돌 위험 판단 제어부는, 식별된 객체 간 거리를 더 계산하여 소정의 값 미만인 경우 해당 객체 간 충돌 위험이 있는 것으로 판단하여 제 2 충돌 위험 신호를 송신하도록 구성되고, 상기 충돌 위험 알람부는, 상기 충돌 위험 판단 제어부로부터 제 2 충돌 위험 신호를 수신하여 해당 객체 간의 충돌 위험 경고 알람을 출력하도록 구성되는 것이 바람직하다.On the other hand, the collision risk determination control unit is configured to further calculate the distance between the identified objects and determine that there is a risk of collision between the objects when it is less than a predetermined value and transmit a second collision risk signal, the collision risk alarm unit, Preferably configured to receive a second collision risk signal from the collision risk determination control unit and output a collision risk warning alarm between corresponding objects.

이 경우, 상기 충돌 위험 판단 제어부는, 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태에 관한 딥러닝 학습을 통해 객체 형태 관련 인공신경망을 생성하는 인공지능부; 상기 인공지능부의 인공신경망을 토대로 상기 영상 촬영부의 상기 3D 카메라 개별 개소에서 촬영되는 영상을 분석하여 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하는 객체 식별부; 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체까지의 개별 거리를 계산하는 객체 별 거리 계산부; 상기 객체 식별부에서 식별된 객체 간 거리를 계산하는 객체 간 거리 계산부; 및 상기 객체 별 거리 계산부에서 계산된 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체까지의 개별 거리가 소정의 값 미만인 경우 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험이 있는 것으로 판단하고 상기 충돌 위험 알람부로 제 1 충돌 위험 신호를 송신하고, 상기 객체 간 거리 계산부에서 계산된 상기 객체 식별부에서 식별된 객체 간 거리가 소정의 값 미만인 경우 해당 객체 간 충돌 위험이 있는 것으로 판단하여 상기 충돌 위험 알람부로 제 2 충돌 위험 신호를 송신하는 충돌 위험 판단부;를 포함하여 구성되는 것이 바람직하다.In this case, the collision risk determination control unit includes an artificial intelligence unit for generating an artificial neural network related to an object shape through deep learning learning on a human body object shape, a mobile heavy equipment object shape, a vehicle object shape, and an obstacle object shape; an object identification unit for identifying a human body object, a movable heavy equipment object, a vehicle object, and an obstacle object by analyzing images captured at individual locations of the 3D camera of the image capturing unit based on the artificial neural network of the artificial intelligence unit; a distance calculation unit for each object that calculates an individual distance from the individual location of the 3D camera to the object identified by the object identification unit; an inter-object distance calculation unit for calculating a distance between objects identified by the object identification unit; And if the individual distance from the individual point of the 3D camera calculated by the distance calculation unit to the object identified by the object identification unit is less than a predetermined value, it is determined that there is a risk of collision between the specific mobile heavy equipment and the corresponding object; A first collision risk signal is transmitted to the collision risk alarm unit, and when the distance between objects identified by the object identification unit calculated by the distance calculation unit between objects is less than a predetermined value, it is determined that there is a risk of collision between the corresponding objects. It is preferable to include; a collision risk determination unit for transmitting a second collision risk signal to the collision risk alarm unit.

이때, 상기 객체 별 거리 계산부는, 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체의 위상 차이 정보를 입력받아 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체까지의 개별 거리를 계산하도록 구성되고, 상기 객체 간 거리 계산부는, 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체 별 공간 좌표 값 정보를 입력받아 상기 객체 식별부에서 식별된 객체 간 거리를 계산하도록 구성되는 것이 바람직하다.At this time, the distance calculation unit for each object receives phase difference information of the object identified by the object identification unit at the individual location of the 3D camera, and calculates an individual distance from the individual location of the 3D camera to the object identified by the object identification unit. Preferably, the inter-object distance calculation unit is configured to calculate the distance between objects identified by the object identification unit by receiving spatial coordinate value information for each object identified by the object identification unit at each location of the 3D camera. do.

또한, 상기 충돌 위험 알람부는, 경고음을 발산 출력하는 스피커부; 및 경고빛을 발광 출력하는 램프부;를 포함하여 구성되고, 상기 충돌 위험 판단부로부터 수신하는 제 1 충돌 위험 신호와 제 2 충돌 위험 신호를 서로 구분되는 방식으로 출력하도록 구성되는 것이 바람직하다.In addition, the collision risk alarm unit, a speaker unit for emitting and outputting a warning sound; and a lamp unit configured to emit and output a warning light, and configured to output the first collision risk signal and the second collision risk signal received from the collision risk determination unit in a manner that is distinguished from each other.

한편, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템은, 상기 충돌 위험 판단 제어부에서 수행되는 객체 식별 기능, 거리 계산 기능, 위험 판단 기능의 결과를 상기 영상 촬영부의 상기 3D 카메라 개별 개소에서 촬영되는 영상 위에 표시하여 시각적으로 디스플레이하는 디스플레이부;를 더 포함하여 구성될 수 있다.On the other hand, in the industrial field collision warning system according to an embodiment of the present invention, the results of the object identification function, the distance calculation function, and the risk determination function performed by the collision risk determination control unit are photographed at individual locations of the 3D camera of the image capture unit It may be configured to further include; a display unit for visually displaying by displaying on the image to be.

한편, 상기 영상 촬영부는, 상기 특정 이동형 중장비 주변의 전 방위를 촬영 가능하도록 상기 3D 카메라를 복수개 포함하고, 복수개의 상기 3D 카메라가 상기 특정 이동형 중장비 상측에 지면에 대해 방사상 형태로 배치되는 것이 바람직하다.On the other hand, it is preferable that the image capture unit includes a plurality of 3D cameras so as to capture all directions around the specific mobile heavy equipment, and the plurality of 3D cameras are disposed in a radial form with respect to the ground above the specific mobile heavy equipment. .

한편, 제1항에 있어서, 상기 영상 촬영부, 상기 충돌 위험 판단 제어부, 상기 충돌 위험 알람부 및 상기 디스플레이부는 하나의 임베디드 장치로 설치되는 것이 바람직하다.Meanwhile, according to claim 1, it is preferable that the image capture unit, the collision risk determination control unit, the collision risk alarm unit, and the display unit are installed as one embedded device.

상술한 바와 같이, 본 발명에 의한 산업 현장의 충돌 경보 시스템은 특정 이동형 중장비에 설치되는 3D 카메라에서 촬영되는 영상을 분석하여 특정 이동형 중장비 주변의 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하고 보다 정확하게 특정 이동형 중장비와 주변 객체의 충돌 위험 여부를 판단하여 충돌 위험성을 경고함으로써 산업 현장의 작업 안정성을 향상시킨다.As described above, the collision warning system at the industrial site according to the present invention analyzes an image taken by a 3D camera installed in a specific mobile heavy equipment to identify a human body object, a mobile heavy equipment object, a vehicle object, and an obstacle object around a specific mobile heavy equipment and more accurately determines whether there is a risk of collision between a specific mobile heavy equipment and a nearby object, and warns the risk of collision, thereby improving work safety in the industrial field.

아울러, 본 발명에 의한 산업 현장의 충돌 경보 시스템은 특정 이동형 중장비에 설치되는 3D 카메라에서 촬영되는 영상을 분석하여 특정 이동형 중장비 주변의 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하고 주변 객체 간의 충돌 위험 여부를 더 판단하여 충돌 위험성을 경고함으로써 산업 현장의 작업 안정성을 더욱 향상시킨다.In addition, the industrial site collision warning system according to the present invention analyzes images taken by a 3D camera installed in a specific mobile heavy equipment to identify a human body object, a mobile heavy equipment object, a vehicle object, and an obstacle object around a specific mobile heavy equipment, and the surrounding objects It further improves work safety in industrial sites by warning the risk of collision by further determining whether there is a risk of collision between the robots.

도 1은 산업 현장에서의 충돌 위험을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템을 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템의 일 동작예를 설명하기 위한 순서 흐름도이다.1 is a conceptual diagram for explaining the risk of collision in an industrial field.
Figure 2 is a block diagram for explaining the collision warning system of the industrial site according to an embodiment of the present invention.
3 is a flow chart illustrating an example of an operation of an industrial collision warning system according to an embodiment of the present invention.

본 발명에 있어 첨부된 도면은 종래 기술과의 차별성 및 명료성, 그리고 기술 파악의 편의를 위해 과장된 표현으로 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어로써, 작업자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 기술적 내용을 토대로 내려져야 할 것이다. 한편, 실시예는 본 발명의 청구범위에 제시된 구성요소의 예시적 사항에 불과하고, 본 발명의 권리범위를 한정하는 것이 아니며, 권리범위는 본 발명의 명세서 전반에 걸친 기술적 사상을 토대로 해석되어야 한다.In the present invention, the accompanying drawings may be shown in exaggerated expressions for differentiation and clarity from the prior art, and convenience of understanding the technology. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, and may vary according to the intention or custom of a worker or operator, so the definitions of these terms should be made based on the technical content throughout this specification. will be. On the other hand, the embodiments are only exemplary of the components presented in the claims of the present invention, do not limit the scope of the present invention, and the scope of rights should be interpreted based on the technical spirit throughout the specification of the present invention. .

도 1은 산업 현장에서의 충돌 위험을 설명하기 위한 개념도이고, 도 2는 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템을 설명하기 위한 블록 구성도이며, 도 3은 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템의 일 동작예를 설명하기 위한 순서 흐름도이다.1 is a conceptual diagram for explaining the risk of collision at an industrial site, FIG. 2 is a block configuration diagram for explaining a collision warning system at an industrial site according to an embodiment of the present invention, and FIG. It is a sequence flow chart for explaining an example of an operation of an industrial field collision warning system according to the present invention.

먼저, 도 1을 참조하면, 산업 현장에서는, 특정 이동형 중장비(10)를 기준으로 할 때, 그 주변에 인체 객체(20), 이동형 중장비 객체(30), 차량 객체(40) 및 장애물 객체(50)가 존재할 수 있는 영역이 존재한다.First, referring to FIG. 1 , in an industrial site, based on a specific mobile heavy equipment 10, a human body object 20, a mobile heavy equipment object 30, a vehicle object 40, and an obstacle object 50 are around it. ) exists.

전술한 바와 같이, 산업 현장이라 함은 공사장, 물류센터 등을 의미하고, 인체 객체(20)는 해당 산업 현장에 있는 사람을 의미하고, 이동형 중장비(특정 이동형 중장비(10) 및 이동형 중장비 객체(30) / 작업 중에는 위치 고정될 수도 있음)는 산업 현장에서 작업을 위해 사용되는 지게차, 트랙터, 굴삭기 등을 의미하고, 차량 객체(40)는 산업 현장에 출입하는 승용차, 자재 운반 트럭 등을 의미하고, 장애물 객체(50)는 산업 현장에 존재하는 벽체, 쌓아놓은 자재, 구조물 등을 의미한다.As described above, the industrial site means a construction site, a logistics center, etc., the human body object 20 means a person in the industrial site, and mobile heavy equipment (specific mobile heavy equipment 10 and mobile heavy equipment object 30). ) / position may be fixed during work) means forklifts, tractors, excavators, etc. used for work at industrial sites, and the vehicle object 40 means cars, material transport trucks, etc. that enter and exit industrial sites, The obstacle object 50 refers to walls, stacked materials, structures, etc. existing in industrial sites.

이 경우, 산업 현장에서는, 상기 특정 이동형 중장비(10)를 기준으로 할 때, 상기 특정 이동형 중장비(10)와 주변의 인체 객체(20)의 충돌 위험, 상기 특정 이동형 중장비(10)와 주변의 이동형 중장비 객체(30)의 충돌 위험, 상기 특정 이동형 중장비(10)와 주변의 차량 객체(40)의 충돌 위험, 및 상기 특정 이동형 중장비(10)와 주변의 장애물 객체(50)의 충돌 위험이 존재한다.(도 1의 파란색 화살표 참조)In this case, in the industrial site, based on the specific mobile heavy equipment 10, the risk of collision between the specific mobile heavy equipment 10 and the surrounding human body object 20, the specific mobile heavy equipment 10 and the surrounding mobile type There is a risk of collision of the heavy equipment object 30, a risk of collision between the specific mobile heavy equipment 10 and the surrounding vehicle object 40, and a risk of collision between the specific mobile heavy equipment 10 and the surrounding obstacle object 50 .(see blue arrow in Figure 1)

아울러, 산업 현장에서는, 상기 특정 이동형 중장비(10) 주변의 객체(20, 30, 40, 50) 간의 10가지 종류의 충돌 위험도 존재한다. 즉, 산업 현장에서는, 상기 특정 이동형 중장비(10) 주변의 인체 객체(20) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 이동형 중장비 객체(30) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 차량 객체(40) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 장애물 객체(50) 간의 충돌 위험(예: 장애물 객체(40)의 위치를 옮길 때), 상기 특정 이동형 중장비(10) 주변의 인체 객체(20)와 이동형 중장비 객체(30) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 인체 객체(20)와 차량 객체(40) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 인체 객체(20)와 장애물 객체(50) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 이동형 중장비 객체(30)와 차량 객체(40) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 이동형 중장비 객체(30)와 장애물 객체(50) 간의 충돌 위험, 및 상기 특정 이동형 중장비(10) 주변의 차량 객체(40)와 장애물 객체(50) 간의 충돌 위험이 존재한다. (도 1의 빨간색 화살표 참조)In addition, in an industrial site, there are 10 types of collision risks between objects 20, 30, 40, and 50 around the specific mobile heavy equipment 10. That is, in the industrial field, the risk of collision between the human body objects 20 around the specific mobile heavy equipment 10, the risk of collision between the mobile heavy equipment objects 30 around the specific mobile heavy equipment 10, the specific mobile heavy equipment 10 Risk of collision between vehicle objects 40 in the vicinity, risk of collision between obstacle objects 50 around the specific mobile heavy equipment 10 (eg, when the position of the obstacle object 40 is moved), the specific mobile heavy equipment 10 Risk of collision between the surrounding human body object 20 and the mobile heavy equipment object 30, risk of collision between the human body object 20 and the vehicle object 40 around the specific mobile heavy equipment 10, around the specific mobile heavy equipment 10 The risk of collision between the human body object 20 and the obstacle object 50, the risk of collision between the mobile heavy equipment object 30 and the vehicle object 40 around the specific mobile heavy equipment 10, the risk of collision around the specific mobile heavy equipment 10 There is a risk of collision between the mobile heavy equipment object 30 and the obstacle object 50, and a collision risk between the vehicle object 40 and the obstacle object 50 around the specific mobile heavy equipment 10. (See the red arrow in Fig. 1)

본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)은 이러한 충돌 위험을 경고하기 위한 시스템으로, 이하, 도 1 및 도 3을 참조하여 상술한다.An industrial collision warning system 1000 according to an embodiment of the present invention is a system for warning such a risk of collision, and will be described in detail with reference to FIGS. 1 and 3 below.

도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)은, 영상 촬영부(1100), 충돌 위험 판단 제어부(1200) 및 충돌 위험 알람부(1300)를 포함하여 구성된다. 이때, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템은, 디스플레이부(1400)를 더 포함하여 구성될 수 있다.1 to 3, the industrial field collision warning system 1000 according to an embodiment of the present invention includes an image capture unit 1100, a collision risk determination control unit 1200, and a collision risk alarm unit 1300. consists of including In this case, the collision warning system of the industrial site according to the embodiment of the present invention may further include a display unit 1400.

상기 영상 촬영부(1100)는, 상기 특정 이동형 중장비(10)에 설치되고, 제 1 카메라(1111) 및 제 2 카메라(1112)를 구비하는 3D 카메라(1110)를 적어도 하나 이상 포함하는 구성이다.The image capture unit 1100 is installed in the specific mobile heavy equipment 10 and includes at least one 3D camera 1110 including a first camera 1111 and a second camera 1112.

한편, 상기 영상 촬영부(1100)는, 상기 특정 이동형 중장비(10) 주변의 전 방위를 촬영 가능하도록 상기 3D 카메라(1110)를 복수개 포함하고, 복수개의 상기 3D 카메라(1110)가 상기 특정 이동형 중장비(10) 상측에 지면에 대해 방사상 형태로 배치되는 것이 바람직하다. 즉, 상기 영상 촬영부(1100)는, 상기 특정 이동형 중장비(10)의 이동 중 주변의 전 방위 영상을 촬영할 수 있도록 구성되는 것이 바람직하다.On the other hand, the image capture unit 1100 includes a plurality of 3D cameras 1110 to capture all directions around the specific mobile heavy equipment 10, and the plurality of 3D cameras 1110 are used to capture the specific mobile heavy equipment 10 (10) It is preferable to arrange in a radial form with respect to the ground on the upper side. That is, it is preferable that the image capture unit 1100 is configured to capture an omnidirectional image of the surroundings while the specific mobile heavy equipment 10 is moving.

상기 영상 촬영부(1100)는, 이외에도, 촬영 영상을 처리하는 VMS(Video Management System, 비디오 관리 시스템)부(1120), 촬영 영상을 저장하는 영상 데이터베이스부(1130), 촬영 영상 정보를 상기 충돌 위험 판단 제어부(1200)에 송신할 수 있도록 구성되는 통신부(1140)를 더 포함하여 구성될 수 있다.The video capture unit 1100, in addition to the video management system (VMS) unit 1120 for processing the captured image, the image database unit 1130 for storing the captured image, and the captured image information for the collision risk It may be configured to further include a communication unit 1140 configured to be able to transmit to the determination control unit 1200.

상기 영상 촬영부(1100)는, 상기 충돌 위험 판단 제어부(1200)로 객체 별 위상 차이 정보 및 공간 좌표 값 정보를 제공할 수 있도록 구성될 수 있다.The image capture unit 1100 may be configured to provide phase difference information and space coordinate value information for each object to the collision risk determination control unit 1200 .

상기 충돌 위험 판단 제어부(1200)는, 상기 영상 촬영부(1100)의 상기 3D 카메라(1110) 개별 개소에서 촬영되는 영상을 분석하여 인체 객체(20), 이동형 중장비 객체(30), 차량 객체(40) 및 장애물 객체(50)를 식별하고, 상기 3D 카메라(1110) 개별 개소에서 식별된 객체까지의 개별 거리를 계산하여 소정의 값 미만인 경우 상기 특정 이동형 중장비(10)와 해당 객체와의 충돌 위험이 있는 것으로 판단하여 상기 충돌 위험 알람부(1300)로 제 1 충돌 위험 신호를 송신하는 구성이다.The collision risk determination control unit 1200 analyzes images captured at individual locations of the 3D camera 1110 of the image capture unit 1100 to determine the human body object 20, the mobile heavy equipment object 30, and the vehicle object 40. ) and the obstacle object 50 are identified, and individual distances from individual locations of the 3D camera 1110 to the identified object are calculated, and if the distance is less than a predetermined value, the risk of collision between the specific mobile heavy equipment 10 and the corresponding object is increased. This is a configuration for determining that there is a collision risk and transmitting a first collision risk signal to the collision risk alarm unit 1300 .

이 경우, 상기 충돌 위험 판단 제어부(1200)는, 식별된 객체 간 거리를 더 계산하여 소정의 값 미만인 경우 해당 객체 간 충돌 위험이 있는 것으로 판단하여 상기 충돌 위험 알람부(1300)로 제 2 충돌 위험 신호를 송신하도록 구성되는 것이 바람직하다. In this case, the collision risk determination control unit 1200 further calculates the distance between the identified objects, determines that there is a risk of collision between the corresponding objects when the distance is less than a predetermined value, and sends a second collision risk to the collision risk alarm unit 1300. It is preferably configured to transmit a signal.

이 때, 상기 충돌 위험 판단 제어부(1200)는, 이러한 객체 식별 기능, 거리 계산 기능, 위험 판단 기능을 수행하기 위하여, 인공지능부(1210), 객체 식별부(1220), 객체 별 거리 계산부(1230), 객체 간 거리 계산부(1240) 및 충돌 위험 판단부(1250)를 포함하여 구성될 수 있다.At this time, in order to perform the object identification function, the distance calculation function, and the risk determination function, the collision risk determination control unit 1200 includes an artificial intelligence unit 1210, an object identification unit 1220, and a distance calculation unit for each object ( 1230), an inter-object distance calculation unit 1240, and a collision risk determination unit 1250.

상기 인공지능부(1210)는, 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태에 관한 딥러닝 학습을 통해 객체 형태 관련 인공신경망을 생성하는 구성이다.The artificial intelligence unit 1210 is a component that generates an artificial neural network related to an object shape through deep learning learning on a human body object shape, a mobile heavy equipment object shape, a vehicle object shape, and an obstacle object shape.

보다 구체적으로, 상기 인공지능부(1210)는, 외부 소스(인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태에 관한 공지된 오픈 이미지 자료 제공처) 및 상기 영상 촬영부(1100)로부터 다양한 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태에 관한 이미지 정보를 입력받을 수 있도록 구성될 수 있다. 이때, 상기 인공지능부(1210)는, 외부 소스 및 상기 영상 촬영부(1100)로부터 입력되는 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태에 관한 이미지 정보를 활용하여 산업 현장에서 예상 가능한 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태를 모델화하여 복수의 학습 형태 데이터를 생성 및 축적하는 학습 전 형태 준비부(1211)와, 상기 학습 전 형태 준비부(1211)에서 생성되는 학습 형태 데이터에 대해 외부 소스 또는 상기 영상 촬영부(1100)로부터 입력되는 이미지 정보를 이용하여 산업 현장에서 발생할 수 있는 날씨 변화, 주변 물체 변화, 시간에 기초한 색상 또는 음영 변화와 같은 환경 변화를 반영하고 모델화하여 학습 복합 데이터 세트를 생성 및 축적하는 학습 전 환경 준비부(1212)와, 상기 학습 전 형태 준비부(1211)에서 생성되는 학습 형태 데이터 및 상기 학습 전 환경 준비부(1212)에서 생성되는 학습 복합 데이터 세트를 기초로 학습을 통해 산업 현장에서의 인체 객체 여부, 이동형 중장비 객체 여부, 차량 객체 여부, 및 장애물 객체 여부를 결정하는 학습된 인공신경망을 생성하여 제공하는 객체 형태 학습부(1213)를 포함하여 구성될 수 있다.More specifically, the artificial intelligence unit 1210 receives information from an external source (a known open image data provider for human body object shape, mobile heavy equipment object shape, vehicle object shape, and obstacle object shape) and the image capturing unit 1100. It may be configured to receive image information about various human body object shapes, mobile heavy equipment object shapes, vehicle object shapes, and obstacle object shapes. At this time, the artificial intelligence unit 1210 utilizes image information about the human body object shape, the mobile heavy equipment object shape, the vehicle object shape, and the obstacle object shape input from the external source and the image capture unit 1100 at the industrial site. A pre-learning shape preparation unit 1211 that models predictable human body object shapes, mobile heavy equipment object shapes, vehicle object shapes, and obstacle object shapes to generate and accumulate a plurality of learning shape data, and the pre-learning shape preparation unit 1211 Environmental changes such as weather changes, surrounding object changes, and time-based color or shade changes that may occur at industrial sites using image information input from an external source or the image capture unit 1100 for the learning type data generated in In the pre-learning environment preparation unit 1212 that generates and accumulates a learning complex data set by reflecting and modeling, the learning form data generated by the pre-learning form preparation unit 1211 and the pre-learning environment preparation unit 1212 Object shape learning unit that creates and provides a learned artificial neural network that determines whether there is a human body object, a mobile heavy equipment object, a vehicle object, and an obstacle object in an industrial field through learning based on the generated learning complex data set ( 1213) may be configured.

이러한 딥러닝 기술과 관련하여는, 본 출원인의 선출원에 의한 한국등록특허 제10-2019031호 등 다수의 기술이 공지되어 있는 바, 본 발명의 간명한 설명을 위하여 자세한 설명을 생략한다. Regarding such deep learning technology, a number of technologies such as Korean Registered Patent No. 10-2019031 filed by the applicant of the present application are known, and detailed descriptions thereof are omitted for concise description of the present invention.

상기 객체 식별부(1220)는, 상기 인공지능부(1210)의 인공신경망을 토대로 상기 영상 촬영부(1100)의 상기 3D 카메라(1110) 개별 개소에서 촬영되는 영상을 분석하여 인체 객체(20), 이동형 중장비 객체(30), 차량 객체(40) 및 장애물 객체(50)를 식별하는 구성이다.The object identification unit 1220 analyzes images captured at individual locations of the 3D camera 1110 of the image capturing unit 1100 based on the artificial neural network of the artificial intelligence unit 1210 to determine the human body object 20, It is a configuration for identifying a mobile heavy equipment object 30, a vehicle object 40, and an obstacle object 50.

상기 객체 별 거리 계산부(1230)는, 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별부(1220)에서 식별된 객체까지의 개별 거리를 계산하는 구성이다.The distance calculation unit 1230 for each object is a component that calculates an individual distance from an individual location of the 3D camera 1110 to an object identified by the object identification unit 1220 .

이때, 상기 객체 별 거리 계산부(1230)는, 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별부(1220)에서 식별된 객체의 위상 차이 정보(상기 제 1 카메라(1111)와 상기 제 2 카메라(1112)의 위치 차이에 기인함)를 입력받아 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별부(1220)에서 식별된 객체까지의 개별 거리를 계산하도록 구성되는 것이 바람직하다.At this time, the distance calculation unit 1230 for each object determines the phase difference information (the first camera 1111 and the second camera It is preferable to be configured to calculate an individual distance from an individual location of the 3D camera 1110 to an object identified by the object identification unit 1220 by receiving an input of (due to the positional difference of 1112).

이러한 상기 객체 별 거리 계산부(1230)는, 산업 현장에서 상기 특정 이동형 중장비(10)를 기준으로 할 때, 상기 특정 이동형 중장비(10)와 주변의 인체 객체(20)의 충돌 위험, 상기 특정 이동형 중장비(10)와 주변의 이동형 중장비 객체(30)의 충돌 위험, 상기 특정 이동형 중장비(10)와 주변의 차량 객체(40)의 충돌 위험, 및 상기 특정 이동형 중장비(10)와 주변의 장애물 객체(50)의 충돌 위험을 판단하기 위하여 거리 계산을 수행하도록 구성된다.The distance calculation unit 1230 for each object determines the risk of collision between the specific mobile heavy equipment 10 and the surrounding human body object 20, the specific mobile heavy equipment 10 based on the specific mobile heavy equipment 10 at the industrial site. The risk of collision between the heavy equipment 10 and the nearby movable heavy equipment object 30, the risk of collision between the specific movable heavy equipment 10 and the surrounding vehicle object 40, and the specific movable heavy equipment 10 and the surrounding obstacle objects ( 50) to perform distance calculation to determine the risk of collision.

상기 객체 간 거리 계산부(1240)는, 상기 객체 식별부(1220)에서 식별된 객체 간 거리를 계산하는 구성이다.The distance calculation unit 1240 between objects is a component that calculates the distance between objects identified by the object identification unit 1220 .

이때, 상기 객체 간 거리 계산부(1240)는, 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별부(1220)에서 식별된 객체 별 공간 좌표 값 정보를 입력받아 상기 객체 식별부(1220)에서 식별된 객체 간 거리를 계산하도록 구성되는 것이 바람직하다.At this time, the inter-object distance calculation unit 1240 receives spatial coordinate value information for each object identified by the object identification unit 1220 at an individual location of the 3D camera 1110 and identifies it in the object identification unit 1220. It is preferably configured to calculate the distance between the objects.

이러한 상기 객체 간 거리 계산부(1240)는, 산업 현장에서 상기 특정 이동형 중장비(10)를 기준으로 할 때, 상기 특정 이동형 중장비(10) 주변의 인체 객체(20) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 이동형 중장비 객체(30) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 차량 객체(40) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 장애물 객체(50) 간의 충돌 위험(예: 장애물 객체(40)의 위치를 옮길 때), 상기 특정 이동형 중장비(10) 주변의 인체 객체(20)와 이동형 중장비 객체(30) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 인체 객체(20)와 차량 객체(40) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 인체 객체(20)와 장애물 객체(50) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 이동형 중장비 객체(30)와 차량 객체(40) 간의 충돌 위험, 상기 특정 이동형 중장비(10) 주변의 이동형 중장비 객체(30)와 장애물 객체(50) 간의 충돌 위험, 및 상기 특정 이동형 중장비(10) 주변의 차량 객체(40)와 장애물 객체(50) 간의 충돌 위험을 판단하기 위하여 거리 계산을 수행하도록 구성된다.The inter-object distance calculation unit 1240 determines the risk of collision between the human body objects 20 around the specific mobile heavy equipment 10 and the specific mobile heavy equipment 10 based on the specific mobile heavy equipment 10 at the industrial site. (10) Risk of collision between nearby movable heavy equipment objects 30, risk of collision between vehicle objects 40 around the specific movable heavy equipment 10, and risk of collision between obstacle objects 50 around the specific movable heavy equipment 10 (Example: when moving the position of the obstacle object 40), the risk of collision between the human body object 20 and the movable heavy equipment object 30 around the specific movable heavy equipment 10, the human body around the specific movable heavy equipment 10 Risk of collision between object 20 and vehicle object 40, risk of collision between human body object 20 and obstacle object 50 around the specific mobile heavy equipment 10, mobile heavy equipment object around the specific mobile heavy equipment 10 The risk of collision between the vehicle object 30 and the vehicle object 40, the risk of collision between the mobile heavy equipment object 30 and the obstacle object 50 around the specific mobile heavy equipment 10, and the vehicle object around the specific mobile heavy equipment 10 It is configured to perform a distance calculation to determine the risk of collision between the obstacle object (50) and (40).

상기 충돌 위험 판단부(1250)는, 상기 객체 별 거리 계산부(1230)에서 계산된 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별부(1220)에서 식별된 객체까지의 개별 거리가 소정의 값 미만인 경우 상기 특정 이동형 중장비(10)와 해당 객체와의 충돌 위험이 있는 것으로 판단하여 상기 충돌 위험 알람부(1300)로 제 1 충돌 위험 신호를 송신하고, 상기 객체 간 거리 계산부(1240)에서 계산된 상기 객체 식별부(1220)에서 식별된 객체 간 거리가 소정의 값 미만인 경우 해당 객체 간 충돌 위험이 있는 것으로 판단하여 상기 충돌 위험 알람부(1300)로 제 2 충돌 위험 신호를 송신하는 구성이다.The collision risk determination unit 1250 determines that the individual distance from the individual location of the 3D camera 1110 calculated by the distance calculation unit 1230 to the object identified by the object identification unit 1220 is a predetermined value. If it is less than, it is determined that there is a risk of collision between the specific mobile heavy equipment 10 and the corresponding object, the first collision risk signal is transmitted to the collision risk alarm unit 1300, and the distance calculation unit 1240 calculates the distance between the objects When the distance between the objects identified by the object identification unit 1220 is less than a predetermined value, it is determined that there is a risk of collision between the corresponding objects and a second collision risk signal is transmitted to the collision risk alarm unit 1300.

상기 충돌 위험 판단 제어부(1200)는, 이외에도, 외부 소스, 상기 영상 촬영부(1100), 상기 충돌 위험 알람부(1300), 상기 디스플레이부(1400)와 통신 가능한 통신부(1260)와, 상기 충돌 위험 판단 제어부(1200)에서 수행되는 상기 인공지능부(1210)(별도의 데이터베이스부를 가질 수도 있다.)의 데이터, 객체 식별 결과 데이터, 거리 계산 결과 데이터, 위험 판단 결과 데이터 등을 저장하는 데이터베이스부(1270)를 더 포함하여 구성될 수 있다.The collision risk determination control unit 1200, in addition to the external source, the image capture unit 1100, the collision risk alarm unit 1300, the communication unit 1260 capable of communicating with the display unit 1400, the collision risk A database unit 1270 for storing data of the artificial intelligence unit 1210 (which may have a separate database unit), object identification result data, distance calculation result data, risk determination result data, etc. performed by the decision control unit 1200 ) may be further included.

상기 충돌 위험 알람부(1300)는, 상기 충돌 위험 판단 제어부(1200)로부터 제 1 충돌 위험 신호를 수신하여 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험 경고 알람을 출력하고, 상기 충돌 위험 판단 제어부(1200)로부터 제 2 충돌 위험 신호를 수신하여 해당 객체 간의 충돌 위험 경고 알람을 출력하는 구성이다.The collision risk alarm unit 1300 receives a first collision risk signal from the collision risk determination control unit 1200 and outputs a collision risk warning alarm between the specific mobile heavy equipment and the corresponding object, and the collision risk determination control unit ( 1200) for receiving the second collision risk signal and outputting a collision risk warning alarm between corresponding objects.

상기 충돌 위험 알람부(1300)는, 경고음을 발산 출력하는 스피커부(1310) 및 경고빛을 발광 출력하는 램프부(1320)를 포함하여 구성될 수 있다.The collision risk alarm unit 1300 may include a speaker unit 1310 that emits and outputs a warning sound and a lamp unit 1320 that emits and outputs a warning light.

상기 충돌 위험 알람부(1300)는, 상기 특정 이동형 중장비(10)에 설치될 수 있다. The collision risk alarm unit 1300 may be installed in the specific mobile heavy equipment 10 .

상기 스피커부(1310)는 음성 또는 기계음 형태로 경고음을 다양한 방식(예: 경고음을 패턴화시키는 방식 등) 발산 출력하도록 구성될 수 있고, 상기 램프부(1320)(예: 산업 현장에 흔히 사용되는 경광등 일 수 있다.)는 경고빛을 다양한 방식(예: 점멸 패턴화시키는 방식, 색 변화 패턴화시키는 방식 등)으로 발광 출력하도록 구성될 수 있다.The speaker unit 1310 may be configured to emit and output a warning sound in the form of voice or mechanical sound in various ways (eg, a warning sound patterning method, etc.), and the lamp unit 1320 (eg, a warning light commonly used in industrial settings) may be.) may be configured to output light emission in various ways (eg, blinking patterning, color change patterning, etc.).

상기 충돌 위험 알람부(1300)는, 상기 충돌 위험 판단 제어부(1200)로부터 수신하는 제 1 충돌 위험 신호와 제 2 충돌 위험 신호를 서로 구분되는 방식(예: "충돌 위험!"과 "다른 물체와 충돌 위험!"으로 나래이션 구분, 상이한 경고음 패턴으로 구분 등)으로 출력하도록 구성되는 것이 바람직하다. 즉, 상기 충돌 위험 알람부(1300)는, 제 1 충돌 위험 신호가 상기 특정 이동형 중장비(10)와 다른 객체의 충돌 위험을 의미하고, 제 2 충돌 위험 신호가 다른 객체 간의 충돌 위험을 의미하기 때문에 서로 구분되는 방식으로 출력하도록 구성되는 것이 바람직하다. 더 나아가, 상기 특정 이동형 중장비(10)와 복수개의 객체의 충돌 위험이 감지되어 제 1 충돌 위험 신호가 복수개 입력되거나, 다른 객체 간의 복수개의 충돌 위험이 감지되어 제 2 충돌 위험 신호가 복수개 입력된 경우, 복수개의 제 1 충돌 위험 신호 간에 또는 복수개의 제 2 충돌 위험 신호 간에 서로 구분되는 방식으로 출력하도록 구성되는 것이 더욱 바람직하다.The collision risk alarm unit 1300 distinguishes the first collision risk signal and the second collision risk signal received from the collision risk determination control unit 1200 (eg, "collision risk!" and "with another object"). Collision danger!”, divided into different warning tone patterns, etc.). That is, the collision risk alarm unit 1300 is configured because the first collision risk signal means a risk of collision between the specific mobile heavy equipment 10 and another object, and the second collision risk signal means a risk of collision between other objects. It is preferable to be configured to output in a way that is distinguished from each other. Furthermore, when a risk of collision between the specific mobile heavy equipment 10 and a plurality of objects is detected and a plurality of first collision risk signals are input, or a plurality of collision risks between different objects is detected and a plurality of second collision risk signals are input , It is more preferable to be configured to output a plurality of first collision risk signals or a plurality of second collision risk signals in a manner that is distinguished from each other.

상기 충돌 위험 알람부(1300)에 대해서는 기 공지된 다양한 기술을 채용할 수 있을 것이다.For the collision risk alarm unit 1300, various previously known technologies may be employed.

상기 충돌 위험 알람부(1300)는, 이외에도, 상기 충돌 위험 판단 제어부(1200)와 통신 가능한 통신부(1330)를 더 포함하여 구성될 수 있다.In addition, the collision risk alarm unit 1300 may further include a communication unit 1330 capable of communicating with the collision risk determination control unit 1200.

상기 디스플레이부(1400)는, 상기 충돌 위험 판단 제어부(1200)에서 수행되는 객체 식별 기능, 거리 계산 기능, 위험 판단 기능의 결과를 상기 영상 촬영부(1100)의 상기 3D 카메라(1110) 개별 개소에서 촬영되는 영상 위에 표시하여 시각적으로 디스플레이하는 구성이다.The display unit 1400 displays the results of the object identification function, the distance calculation function, and the risk determination function performed by the collision risk determination control unit 1200 at individual locations of the 3D camera 1110 of the image capturing unit 1100. It is a configuration for visually displaying by displaying on the captured image.

상기 디스플레이부(1400)는, 산업 현장 통제실의 모니터일 수 있고(이때, 통제실 컴퓨터에는 충돌 위험 판단 제어부(1200)의 정보를 출력하는 소프트웨어가 설치될 수 있다.), 상기 특정 이동형 중장비(10)의 특정 부분(예: 운전석이 있는 경우의 핸들 옆 부분)에 설치된 모니터링 디스플레이기일 수 있으며, 이 밖에도 기 공지된 모니터링 디스플레이기 기술을 채용하여 다양한 방식으로 구현될 수 있을 것이다.The display unit 1400 may be a monitor of an industrial site control room (at this time, software for outputting information of the collision risk determination control unit 1200 may be installed in the control room computer), and the specific mobile heavy equipment 10 It may be a monitoring display installed in a specific part (eg, a part next to the steering wheel when there is a driver's seat), and in addition, it may be implemented in various ways by employing well-known monitoring display technology.

상기 디스플레이부(1400)는, 이외에도, 상기 충돌 위험 판단 제어부(1200)와 통신 가능한 통신부(1410)를 더 포함하여 구성될 수 있다.In addition, the display unit 1400 may further include a communication unit 1410 capable of communicating with the collision risk determination control unit 1200.

한편, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템에서, 상기 영상 촬영부(1100), 상기 충돌 위험 판단 제어부(1200), 상기 충돌 위험 알람부(1300) 및 상기 디스플레이부(1400)는 하나의 임베디드 장치(Embedded device)로 설치될 수 있다.Meanwhile, in the collision warning system at an industrial site according to an embodiment of the present invention, the image capture unit 1100, the collision risk determination control unit 1200, the collision risk alarm unit 1300, and the display unit 1400 It can be installed as an embedded device.

이때, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)은 기존의 이동형 중장비에 장착 탑재 설치하여 사용될 수 있다.At this time, the industrial field collision warning system 1000 according to an embodiment of the present invention can be used by mounting and installing on existing mobile heavy equipment.

한편, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)에서, 상기 통신부(1140, 1260, 1330, 1410) 간에는 유선 또는 무선 통신 방식(와이파이(Wife) 방식, 지그비(Zigbee) 방식, 지웨이브(Z-Wave) 방식, 블루투스(Bluetooth) 방식, 엔에프씨(NFC) 방식 등)의 적용이 가능하며, 각 구성에 인가되는 전원 공급 구성에 대해서는 다수의 공지된 기술을 적용할 수 있으므로 자세한 설명을 생략한다.Meanwhile, in the industrial field collision warning system 1000 according to an embodiment of the present invention, a wired or wireless communication method (Wi-Fi method, Zigbee method, Z-Wave method, Bluetooth method, NFC method, etc.) can be applied, and a number of well-known technologies can be applied to the power supply configuration applied to each configuration. omit the explanation.

이하, 특히 도 3을 참조하여 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)의 일 동작예를 설명한다.Hereinafter, an operation example of the collision warning system 1000 at an industrial site according to an embodiment of the present invention will be described with reference to FIG. 3 .

먼저, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)은, 산업 현장에서의 인체 객체 여부, 이동형 중장비 객체 여부, 차량 객체 여부, 및 장애물 객체 여부를 결정하는 학습된 인공신경망을 생성하는 인공신경망 생성 단계(S10)를 수행(S1)한다. First, the industrial site collision warning system 1000 according to an embodiment of the present invention generates a learned artificial neural network that determines whether there is a human body object, a mobile heavy equipment object, a vehicle object, and an obstacle object in the industrial site. The artificial neural network generating step (S10) is performed (S1).

보다 구체적으로, 인공신경망 생성 단계(S10)는, 상기 인공지능부(1210)의 학습 전 형태 준비부(1211)가 외부 소스 또는 상기 영상 촬영부(1100)로부터 입력되는 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태에 관한 이미지 정보를 활용하여 산업 현장에서 예상 가능한 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태를 모델화하여 복수의 학습 형태 데이터를 생성 및 축적하고, 상기 학습 전 환경 준비부(1212)가 상기 학습 전 형태 준비부(1211)에서 생성되는 학습 형태 데이터에 대해 외부 소스 또는 상기 영상 촬영부(1100)로부터 입력되는 이미지 정보를 이용하여 산업 현장에서 발생할 수 있는 날씨 변화, 주변 물체 변화, 시간에 기초한 색상 또는 음영 변화와 같은 환경 변화를 반영하고 모델화하여 학습 복합 데이터 세트를 생성 및 축적한 후, 상기 객체 형태 학습부(1213)가 상기 학습 전 형태 준비부(1211)에서 생성되는 학습 형태 데이터 및 상기 학습 전 환경 준비부(1212)에서 생성되는 학습 복합 데이터 세트를 기초로 학습을 통해 산업 현장에서의 인체 객체 여부, 이동형 중장비 객체 여부, 차량 객체 여부, 및 장애물 객체 여부를 결정하는 학습된 인공신경망을 생성하여 제공하는 방식으로 수행될 수 있다.More specifically, in the artificial neural network generation step (S10), the pre-learning form preparation unit 1211 of the artificial intelligence unit 1210 inputs from an external source or the image capture unit 1100 a human body object shape, a mobile heavy equipment object By using image information on shapes, vehicle object shapes, and obstacle object shapes, a plurality of learning shape data is created and accumulated by modeling human body object shapes, mobile heavy equipment object shapes, vehicle object shapes, and obstacle object shapes that can be expected in industrial sites. , The pre-learning environment preparation unit 1212 uses image information input from an external source or the image capture unit 1100 for the learning form data generated by the pre-learning form preparation unit 1211 to occur in the industrial field. After generating and accumulating a learning complex data set by reflecting and modeling environmental changes such as possible weather changes, changes in surrounding objects, and changes in color or shade based on time, the object shape learning unit 1213 prepares the shape before learning. Based on the learning type data generated in the unit 1211 and the learning composite data set generated in the pre-learning environment preparation unit 1212, whether a human body object in an industrial site, whether a mobile heavy equipment object, whether a vehicle object, and a method of generating and providing a learned artificial neural network that determines whether or not an obstacle is an object.

이어, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)은, 상기 영상 촬영부(1100)의 상기 3D 카메라(1110) 개별 개소에서 촬영되는 영상을 분석하여 인체 객체(20), 이동형 중장비 객체(30), 차량 객체(40) 및 장애물 객체(50)를 식별하는 객체 식별 단계(S20)를 수행한다.Subsequently, the industrial field collision warning system 1000 according to an embodiment of the present invention analyzes the image captured at the individual location of the 3D camera 1110 of the image capture unit 1100, and the human body object 20, mobile type An object identification step (S20) of identifying the heavy equipment object 30, the vehicle object 40, and the obstacle object 50 is performed.

보다 구체적으로, 상기 객체 식별 단계(S20)는, 상기 객체 식별부(1220)가 인공신경망 생성 단계(S10)에서 생성된 인공신경망을 토대로 상기 영상 촬영부(1100)의 상기 3D 카메라(1110) 개별 개소에서 촬영되는 영상을 분석하여 인체 객체(20), 이동형 중장비 객체(30), 차량 객체(40) 및 장애물 객체(50)를 식별하는 방식으로 수행될 수 있다.More specifically, in the object identification step (S20), the object identification unit 1220 separates the 3D camera 1110 of the image capture unit 1100 based on the artificial neural network generated in the artificial neural network generation step (S10). It may be performed in a manner of identifying the human body object 20, the movable heavy equipment object 30, the vehicle object 40, and the obstacle object 50 by analyzing an image captured at the location.

이어, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)은, 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별 단계(S20)에서 식별된 객체까지의 개별 거리를 계산하는 객체 별 거리 계산 단계(S30)를 수행한다.Subsequently, the industrial site collision warning system 1000 according to an embodiment of the present invention calculates the individual distance from the individual location of the 3D camera 1110 to the object identified in the object identification step (S20). A calculation step (S30) is performed.

보다 구체적으로, 상기 객체 별 거리 계산 단계(S30)는, 상기 객체 별 거리 계산부(1230)가 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별 단계(S20)에서 식별된 객체의 위상 차이 정보(상기 제 1 카메라(1111)와 상기 제 2 카메라(1112)의 위치 차이에 기인함)를 입력받아 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별 단계(S20)에서 식별된 객체까지의 개별 거리를 계산하는 방식으로 수행될 수 있다.More specifically, in the distance calculation step for each object (S30), the distance calculation unit 1230 for each object identifies phase difference information ( The individual distance from the individual location of the 3D camera 1110 to the object identified in the object identification step (S20) by receiving the input (due to the positional difference between the first camera 1111 and the second camera 1112) It can be done in a computational way.

이어, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)은, 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별 단계(S20)에서 식별된 객체 간 거리를 계산하는 객체 간 거리 계산 단계(S40)를 수행한다.Subsequently, the industrial site collision warning system 1000 according to an embodiment of the present invention includes a distance calculation step between objects identified in the object identification step (S20) at individual locations of the 3D camera 1110. (S40) is performed.

보다 구체적으로, 상기 객체 간 거리 계산 단계(S40)는, 상기 객체 간 거리 계산부(1240)가 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별 단계(S20)에서 식별된 객체 별 공간 좌표 값 정보를 입력받아 상기 객체 식별 단계(S20)에서 식별된 객체 간 거리를 계산하는 방식으로 수행될 수 있다.More specifically, in the inter-object distance calculation step (S40), the inter-object distance calculation unit 1240 identifies spatial coordinate value information for each object identified in the object identification step (S20) at the individual location of the 3D camera 1110 It may be performed in a manner of receiving input and calculating the distance between the objects identified in the object identification step (S20).

이어, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)은, 상기 객체 별 거리 계산 단계(S30)에서 계산된 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별부(1220)에서 식별된 객체까지의 개별 거리와 상기 객체 간 거리 계산 단계(S40)에서 계산된 상기 객체 식별부(1220)에서 식별된 객체 간 거리를 토대로 충돌 위험 여부를 판단하여 충돌 위험 신호를 송신하는 충돌 위험 판단 단계(S50)을 수행한다.Subsequently, the industrial field collision warning system 1000 according to an embodiment of the present invention identifies in the object identification unit 1220 at the individual location of the 3D camera 1110 calculated in the distance calculation step (S30) for each object. A collision risk determination step of transmitting a collision risk signal by determining whether there is a collision risk based on the individual distance to the determined object and the distance between objects identified by the object identification unit 1220 calculated in the distance calculation step (S40). (S50) is performed.

보다 구체적으로, 상기 충돌 위험 판단 단계(S50)는, 상기 충돌 위험 판단부(1250)가 상기 객체 별 거리 계산 단계(S30)에서 계산된 상기 3D 카메라(1110) 개별 개소에서 상기 객체 식별 단계(S20)에서 식별된 객체까지의 개별 거리가 소정의 값 미만인 경우 상기 특정 이동형 중장비(10)와 해당 객체와의 충돌 위험이 있는 것으로 판단하여 상기 충돌 위험 알람부(1300)로 제 1 충돌 위험 신호를 송신하고, 상기 객체 간 거리 계산 단계(S40)에서 계산된 상기 객체 식별 단계(S20)에서 식별된 객체 간 거리가 소정의 값 미만인 경우 해당 객체 간 충돌 위험이 있는 것으로 판단하여 상기 충돌 위험 알람부(1300)로 제 2 충돌 위험 신호를 송신하는 방식으로 수행될 수 있다.More specifically, in the collision risk determination step (S50), the collision risk determination unit 1250 identifies the object at an individual location of the 3D camera 1110 calculated in the distance calculation step (S30) for each object (S20). If the individual distance to the object identified in ) is less than a predetermined value, it is determined that there is a risk of collision between the specific mobile heavy equipment 10 and the object, and the first collision risk signal is transmitted to the collision risk alarm unit 1300 And, if the distance between objects identified in the object identification step (S20) calculated in the distance calculation step (S40) is less than a predetermined value, it is determined that there is a risk of collision between the corresponding objects, and the collision risk alarm unit (1300) ), the second collision danger signal may be transmitted.

이어, 본 발명의 실시예에 따른 산업 현장의 충돌 경보 시스템(1000)은, 상기 충돌 위험 판단 단계(S50)에서 송신되는 충돌 위험 신호를 토대로 충돌 위험 경고 알람을 출력하는 충돌 위험 경고 알람 출력 단계(S60)를 수행한다.Subsequently, the collision risk warning system 1000 of the industrial site according to an embodiment of the present invention outputs a collision risk warning alarm based on the collision risk signal transmitted in the collision risk determination step (S50) ( S60) is performed.

보다 상세하게는, 상기 충돌 위험 경고 알람 출력 단계(S60)는, 상기 충돌 위험 알람부(1300)가 충돌 위험 판단 단계(S50)에서 제 1 충돌 위험 신호를 수신하여 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험 경고 알람을 출력하고, 충돌 위험 판단 단계(S50)에서 제 2 충돌 위험 신호를 수신하여 해당 객체 간의 충돌 위험 경고 알람을 출력하는 방식으로 수행될 수 있다. 이때, 전술한 바와 같이, 상기 충돌 위험 알람부(1300)는, 상기 충돌 위험 판단 제어부(1200)로부터 수신하는 제 1 충돌 위험 신호와 제 2 충돌 위험 신호를 서로 구분되는 방식으로 출력하도록 구성되는 것이 바람직하다.More specifically, in the collision risk warning alarm output step (S60), the collision risk alarm unit 1300 receives the first collision risk signal in the collision risk determination step (S50), and the specific mobile heavy equipment and the corresponding object It may be performed in such a way that a collision risk warning alarm is output, and a collision risk warning alarm between corresponding objects is output by receiving the second collision risk signal in the collision risk determination step (S50). At this time, as described above, the collision risk alarm unit 1300 is configured to output the first collision risk signal and the second collision risk signal received from the collision risk determination control unit 1200 in a manner that is distinguished from each other. desirable.

이상에서와 같이, 본 발명에 의한 산업 현장의 충돌 경보 시스템은 특정 이동형 중장비에 설치되는 3D 카메라에서 촬영되는 영상을 분석하여 특정 이동형 중장비 주변의 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하고 보다 정확하게 특정 이동형 중장비와 주변 객체의 충돌 위험 여부를 판단하여 충돌 위험성을 경고함으로써 산업 현장의 작업 안정성을 향상시키고, 주변 객체 간의 충돌 위험 여부를 더 판단하여 충돌 위험성을 경고함으로써 산업 현장의 작업 안정성을 더욱 향상시킨다.As described above, the collision warning system of the industrial site according to the present invention analyzes the image taken by the 3D camera installed in the specific mobile heavy equipment to identify human body objects, mobile heavy equipment objects, vehicle objects and obstacle objects around the specific mobile heavy equipment and more accurately determine whether or not there is a risk of collision between a specific movable heavy equipment and nearby objects to warn of the risk of collision, thereby improving work safety at the industrial site, and further determining whether there is a risk of collision between nearby objects and warning of the risk of collision, thereby improving work safety at the industrial site. further improve

상술한 바와 같이, 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 기초로 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해해야 한다. 따라서 본 발명의 진정한 기술적 보호범위는 이하 기술할 청구범위에 의하며, 상술한 발명의 구체적 내용을 토대로 정해져야 할 것이다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, but this is only exemplary, and various modifications and equivalent other embodiments are possible based on common knowledge in the field to which the technology belongs. should understand Therefore, the true technical protection scope of the present invention is based on the claims to be described below, and should be determined based on the specific contents of the above-described invention.

본 발명은 산업 현장의 충돌 경보 시스템에 관한 것으로, 산업 현장의 안전과 관련된 산업 분야에 이용 가능하다.The present invention relates to an industrial collision warning system, and can be used in industrial fields related to industrial safety.

10: 특정 이동형 중장비
20: 인체 객체
30: 이동형 중장비 객체
40: 차량 객체
50: 장애물 객체
1000: 산업 현장의 충돌 경보 시스템
1100: 영상 촬영부
1110: 3D 카메라
1111: 제 1 카메라
1112: 제 2 카메라
1120: VMS부
1130: 영상 데이터베이부
1140: 통신부
1200: 충돌 위험 판단 제어부
1210: 인공지능부
1211: 학습 전 형태 준비부
1212: 학습 전 환경 준비부
1213: 객체 형태 학습부
1220: 객체 식별부
1230: 객체 별 거리 계산부
1240: 객체 간 거리 계산부
1250: 충돌 위험 판단부
1260: 통신부
1270: 데이터베이스부
1300: 충돌 위험 알람부
1310: 스피커부
1320: 램프부
1330: 통신부
1400: 디스플레이부
1410: 통신부10: Certain mobile heavy equipment
20: human body object
30: mobile heavy equipment object
40: vehicle object
50: obstacle object
1000: Collision warning systems in industrial settings
1100: video recording unit
1110: 3D camera
1111 First camera
1112 Second camera
1120: VMS unit
1130: image database unit
1140: communication department
1200: collision risk determination control unit
1210: artificial intelligence department
1211: pre-learning form preparation unit
1212: pre-learning environment preparation department
1213: object shape learning unit
1220: object identification unit
1230: distance calculation unit for each object
1240: distance calculation unit between objects
1250: collision risk determination unit
1260: communication department
1270: database unit
1300: collision danger alarm unit
1310: speaker unit
1320: lamp unit
1330: communication department
1400: display unit
1410: communication department

Claims (10)

특정 이동형 중장비에 설치되고, 제 1 카메라 및 제 2 카메라를 구비하는 3D 카메라를 적어도 하나 이상 포함하는 영상 촬영부;
상기 영상 촬영부의 상기 3D 카메라 개별 개소에서 촬영되는 영상을 분석하여 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하고, 상기 3D 카메라 개별 개소에서 식별된 객체까지의 개별 거리를 계산하여 소정의 값 미만인 경우 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험이 있는 것으로 판단하여 제 1 충돌 위험 신호를 송신하는 충돌 위험 판단 제어부; 및
상기 충돌 위험 판단 제어부로부터 제 1 충돌 위험 신호를 수신하여 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험 경고 알람을 출력하는 충돌 위험 알람부;
를 포함하고,
상기 충돌 위험 판단 제어부는,
식별된 객체 간 거리를 더 계산하여 소정의 값 미만인 경우 해당 객체 간 충돌 위험이 있는 것으로 판단하여 제 2 충돌 위험 신호를 송신하도록 구성되고,
상기 충돌 위험 알람부는,
상기 충돌 위험 판단 제어부로부터 제 2 충돌 위험 신호를 수신하여 해당 객체 간의 충돌 위험 경고 알람을 출력하도록 구성되고,
상기 충돌 위험 판단 제어부는,
인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태에 관한 딥러닝 학습을 통해 객체 형태 관련 인공신경망을 생성하는 인공지능부;
상기 인공지능부의 인공신경망을 토대로 상기 영상 촬영부의 상기 3D 카메라 개별 개소에서 촬영되는 영상을 분석하여 인체 객체, 이동형 중장비 객체, 차량 객체 및 장애물 객체를 식별하는 객체 식별부;
상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체까지의 개별 거리를 계산하는 객체 별 거리 계산부;
상기 객체 식별부에서 식별된 객체 간 거리를 계산하는 객체 간 거리 계산부; 및
상기 객체 별 거리 계산부에서 계산된 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체까지의 개별 거리가 소정의 값 미만인 경우 상기 특정 이동형 중장비와 해당 객체와의 충돌 위험이 있는 것으로 판단하고 상기 충돌 위험 알람부로 제 1 충돌 위험 신호를 송신하고, 상기 객체 간 거리 계산부에서 계산된 상기 객체 식별부에서 식별된 객체 간 거리가 소정의 값 미만인 경우 해당 객체 간 충돌 위험이 있는 것으로 판단하여 상기 충돌 위험 알람부로 제 2 충돌 위험 신호를 송신하는 충돌 위험 판단부;
를 포함하고,
상기 객체 별 거리 계산부는,
상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체의 위상 차이 정보를 입력받아 상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체까지의 개별 거리를 계산하도록 구성되고,
상기 객체 간 거리 계산부는,
상기 3D 카메라 개별 개소에서 상기 객체 식별부에서 식별된 객체 별 공간 좌표 값 정보를 입력받아 상기 객체 식별부에서 식별된 객체 간 거리를 계산하도록 구성되고,
상기 영상 촬영부는,
상기 특정 이동형 중장비 주변의 전 방위를 촬영 가능하도록 상기 3D 카메라를 복수개 포함하고, 복수개의 상기 3D 카메라가 상기 특정 이동형 중장비 상측에 지면에 대해 방사상 형태로 배치되고,
상기 인공지능부는,
외부 소스 및 상기 영상 촬영부로부터 입력되는 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태에 관한 이미지 정보를 활용하여 산업 현장에서 예상 가능한 인체 객체 형태, 이동형 중장비 객체 형태, 차량 객체 형태 및 장애물 객체 형태를 모델화하여 복수의 학습 형태 데이터를 생성 및 축적하고, 학습 형태 데이터에 대해 외부 소스 및 상기 영상 촬영부로부터 입력되는 이미지 정보를 이용하여 산업 현장에서 발생할 수 있는 환경 변화를 반영하고 모델화하여 학습 복합 데이터 세트를 생성 및 축적하고, 학습 형태 데이터 및 학습 복합 데이터 세트를 기초로 학습을 통해 산업 현장에서의 인체 객체 여부, 이동형 중장비 객체 여부, 차량 객체 여부, 및 장애물 객체 여부를 결정하는 학습된 인공신경망을 생성하여 제공하는 것을 특징으로 하는 산업 현장의 충돌 경보 시스템.
An image capture unit including at least one 3D camera installed in a specific mobile heavy equipment and having a first camera and a second camera;
Analyzing images captured at individual locations of the 3D camera of the image capture unit to identify human body objects, mobile heavy equipment objects, vehicle objects, and obstacle objects, and calculating individual distances from individual locations of the 3D camera to the identified objects to obtain a predetermined If less than the value, a collision risk determination control unit determining that there is a risk of collision between the specific mobile heavy equipment and the corresponding object and transmitting a first collision risk signal; and
a collision risk alarm unit receiving a first collision risk signal from the collision risk determination control unit and outputting a collision risk warning alarm between the specific mobile heavy equipment and a corresponding object;
including,
The collision risk determination control unit,
Further calculating the distance between the identified objects and determining that there is a risk of collision between the corresponding objects when it is less than a predetermined value and transmitting a second collision risk signal;
The collision risk alarm unit,
configured to receive a second collision risk signal from the collision risk determination control unit and output a collision risk warning alarm between corresponding objects;
The collision risk determination control unit,
an artificial intelligence unit that generates an artificial neural network related to an object shape through deep learning on a human body object shape, a mobile heavy equipment object shape, a vehicle object shape, and an obstacle object shape;
an object identification unit for identifying a human body object, a movable heavy equipment object, a vehicle object, and an obstacle object by analyzing images captured at individual locations of the 3D camera of the image capturing unit based on the artificial neural network of the artificial intelligence unit;
a distance calculation unit for each object that calculates an individual distance from the individual location of the 3D camera to the object identified by the object identification unit;
an inter-object distance calculation unit for calculating a distance between objects identified by the object identification unit; and
If the individual distance from the individual point of the 3D camera calculated by the distance calculation unit to the object identified by the object identification unit is less than a predetermined value, it is determined that there is a risk of collision between the specific mobile heavy equipment and the corresponding object, and the A first collision risk signal is transmitted to the collision risk alarm unit, and when the distance between objects identified by the object identification unit calculated by the distance calculation unit between objects is less than a predetermined value, it is determined that there is a risk of collision between the corresponding objects, and the collision a collision risk determination unit for transmitting a second collision risk signal to the danger alarm unit;
including,
The distance calculation unit for each object,
It is configured to receive phase difference information of an object identified by the object identification unit at the individual location of the 3D camera and calculate an individual distance from the individual location of the 3D camera to an object identified by the object identification unit,
The inter-object distance calculation unit,
configured to calculate a distance between objects identified by the object identification unit by receiving spatial coordinate value information for each object identified by the object identification unit at each location of the 3D camera;
The video recording unit,
A plurality of 3D cameras are included to capture all directions around the specific mobile heavy equipment, and the plurality of 3D cameras are disposed in a radial form with respect to the ground above the specific mobile heavy equipment,
The artificial intelligence department,
Human body object shape, mobile heavy equipment object shape, and vehicle object shape that can be predicted in industrial sites by using image information on human body object shape, mobile heavy equipment object shape, vehicle object shape, and obstacle object shape input from an external source and the image capture unit And creating and accumulating a plurality of learning type data by modeling the obstacle object shape, and reflecting and modeling environmental changes that may occur in industrial sites by using image information input from an external source and the image capture unit for the learning type data. Learning to create and accumulate a learning complex data set, and to determine whether a human body object, a mobile heavy equipment object, a vehicle object, and an obstacle object are present in an industrial site through learning based on the learning form data and the learning composite data set An industrial collision warning system characterized by generating and providing an artificial neural network.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 충돌 위험 알람부는,
경고음을 발산 출력하는 스피커부; 및
경고빛을 발광 출력하는 램프부;
를 포함하여 구성되고,
상기 충돌 위험 판단부로부터 수신하는 제 1 충돌 위험 신호와 제 2 충돌 위험 신호를 서로 구분되는 방식으로 출력하도록 구성되는 것을 특징으로 하는 산업 현장의 충돌 경보 시스템.
The method of claim 1, wherein the collision risk alarm unit,
A speaker unit for emitting and outputting a warning sound; and
A lamp unit for emitting and outputting warning light;
It is composed of,
An industrial site collision warning system, characterized in that configured to output the first collision risk signal and the second collision risk signal received from the collision risk determination unit in a manner that is distinguished from each other.
 제1항에 있어서,
상기 충돌 위험 판단 제어부에서 수행되는 객체 식별 기능, 거리 계산 기능, 위험 판단 기능의 결과를 상기 영상 촬영부의 상기 3D 카메라 개별 개소에서 촬영되는 영상 위에 표시하여 시각적으로 디스플레이하는 디스플레이부;
를 더 포함하는 것을 특징으로 하는 산업 현장의 충돌 경보 시스템.
According to claim 1,
a display unit for visually displaying results of the object identification function, the distance calculation function, and the risk determination function performed by the collision risk determination control unit on an image captured at an individual location of the 3D camera of the image capturing unit;
Collision warning system of the industrial site, characterized in that it further comprises.
 삭제delete 제8항에 있어서,
상기 영상 촬영부, 상기 충돌 위험 판단 제어부, 상기 충돌 위험 알람부 및 상기 디스플레이부는 하나의 임베디드 장치로 설치되는 것을 특징으로 하는 산업 현장의 충돌 경보 시스템.According to claim 8,
The image capturing unit, the collision risk determination control unit, the collision risk alarm unit, and the display unit are installed as one embedded device.
KR1020200174190A 2020-12-14 2020-12-14 Collision warning system for industrial site KR102519875B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200174190A KR102519875B1 (en) 2020-12-14 2020-12-14 Collision warning system for industrial site

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174190A KR102519875B1 (en) 2020-12-14 2020-12-14 Collision warning system for industrial site

Publications (2)

Publication Number Publication Date
KR20220084580A KR20220084580A (en) 2022-06-21
KR102519875B1 true KR102519875B1 (en) 2023-04-11

Family

ID=82221450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174190A KR102519875B1 (en) 2020-12-14 2020-12-14 Collision warning system for industrial site

Country Status (1)

Country Link
KR (1) KR102519875B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102497610B1 (en) * 2022-07-27 2023-02-08 장승환 Device for safety aid using a image
DE102022130297A1 (en) * 2022-11-16 2024-05-16 Still Gesellschaft Mit Beschränkter Haftung Industrial truck and method for operating an industrial truck

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101736158B1 (en) 2015-04-22 2017-05-17 (주)대우건설 Safety management system using smart information-transmission device in construction sites and method performing thereof
KR20160127881A (en) 2015-04-27 2016-11-07 현대중공업 주식회사 A managing system for working machine and a method for the same
KR101695904B1 (en) 2016-03-16 2017-01-16 부산대학교산학협력단 System for tracking location of construction equipments using beacon and receiver, and method for the same
KR101967049B1 (en) * 2017-06-28 2019-04-09 경성대학교 산학협력단 Apparatus for providing object information for heavy machinery using lidar and camera
KR102111957B1 (en) * 2018-03-29 2020-05-18 주식회사 호서텔넷 Object realization device for avoiding collision

Also Published As

Publication number Publication date
KR20220084580A (en) 2022-06-21

Similar Documents

Publication Publication Date Title
CN109313829B (en) Indirect electronic badge tracking
KR102298820B1 (en) Electronic badges for authenticating and tracking industrial vehicle operators
KR102519875B1 (en) Collision warning system for industrial site
Hwang Ultra-wide band technology experiments for real-time prevention of tower crane collisions
CN109311649B (en) Application of electronic badge in aisle overtaking action
KR102325652B1 (en) System for preventing collision of forklift using UWB
CN109416774B (en) Electronic badge as a conversation marker
KR20230103002A (en) System for managing safety in industrial site
US20210295460A1 (en) Construction site safety management apparatus
Price et al. Multisensor-driven real-time crane monitoring system for blind lift operations: Lessons learned from a case study
US11927682B2 (en) Sound source visualization device and method
US10679504B2 (en) Applications of a plurality of safety laser scanners combined with a camera or mobile computer
KR102031348B1 (en) Autonomous Working System, Method and Computer Readable Recording Medium
US20210158674A1 (en) Worksite classification system and method
JP7361441B2 (en) Work vehicle safety system
JP7450618B2 (en) System and method for identifying defined objects and alerting users
Garcia-Carrillo et al. Ad-hoc collision avoidance system for industrial iot
KR102575009B1 (en) Smart safety administration system for forklift truck and mehtod thereof
US20210407298A1 (en) Mine collision detection and avoidance
KR20230122959A (en) Dangerous situstion monitoring apparatus and mehtod for preventing safety accidents
JP2024048263A (en) Contact prevention support method, contact prevention support system, and contact prevention support device
KR20230087783A (en) Safety education system based on digital twin
CA3182241A1 (en) Collision detection and avoidance inside a mine
Shirazi et al. Development of a Rule-Based Safety Checking System for Autonomous Heavy Construction Equipment
KR101937581B1 (en) Safety System for Heavy Equipment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant