KR20230103002A - System for managing safety in industrial site - Google Patents
System for managing safety in industrial site Download PDFInfo
- Publication number
- KR20230103002A KR20230103002A KR1020210193537A KR20210193537A KR20230103002A KR 20230103002 A KR20230103002 A KR 20230103002A KR 1020210193537 A KR1020210193537 A KR 1020210193537A KR 20210193537 A KR20210193537 A KR 20210193537A KR 20230103002 A KR20230103002 A KR 20230103002A
- Authority
- KR
- South Korea
- Prior art keywords
- safety management
- unit
- industrial site
- risk
- objects
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 claims description 52
- 230000033001 locomotion Effects 0.000 claims description 46
- 238000013473 artificial intelligence Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002087 whitening effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000000059 patterning Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
본 발명은 산업 현장의 안전 관리 시스템에 관한 것으로, 제 1 카메라 및 제 2 카메라를 구비하는 스테레오 카메라를 적어도 하나 이상 포함하는 영상 촬영부; 상기 영상 촬영부에서 촬영되는 영상을 분석하여 가상 좌표 평면을 포함한 가상 좌표 공간을 생성하고, 상기 영상 촬영부에서 촬영되는 영상에서 객체를 식별하여 상기 가상 좌표 공간 상에 배치한 후, 배치된 객체 간의 거리를 계산하여 계산된 값이 미리 결정된 소정 거리값 미만이면 해당 객체 간에 사고 위험이 있는 것으로 판단하여 사고 위험 신호를 송신하는 안전 관리 제어부; 및 상기 안전 관리 제어부로부터 사고 위험 신호를 수신하면, 사고 위험 경고 알람을 출력하는 위험 알람부;를 포함함으로써, 산업 현장에서의 사고 위험 여부를 다양한 관점으로 예측할 수 있어 산업 현장의 작업 안정성을 향상시킨다The present invention relates to a safety management system in an industrial site, comprising: an image capture unit including at least one stereo camera including a first camera and a second camera; An image captured by the image capturing unit is analyzed to create a virtual coordinate space including a virtual coordinate plane, objects are identified in the image captured by the image capturing unit, and objects are placed on the virtual coordinate space, and then the arranged objects are separated. A safety management control unit that calculates the distance and transmits an accident risk signal by determining that there is an accident risk between corresponding objects when the calculated value is less than a predetermined distance value; And when receiving an accident danger signal from the safety management control unit, a danger alarm unit outputting an accident risk warning alarm; by including, it is possible to predict the risk of an accident in the industrial field from various perspectives, thereby improving work safety at the industrial site.
Description
본 발명은 산업 현장의 안전 관리 시스템에 관한 것으로, 더욱 상세하게는 산업 현장에 설치된 카메라에서 촬영된 영상을 분석하여 사고 위험을 감지 및 예측하여 산업 현장에서 발생될 수 있는 위험으로부터 산업 현장의 작업 안정성을 확보하게 하는 동시에 산업 현장의 전반적인 재해를 예방하는 통합 관제가 가능하게 하는 산업 현장의 안전 관리 시스템에 관한 것이다.The present invention relates to a safety management system in an industrial site, and more particularly, by analyzing an image captured by a camera installed in an industrial site to detect and predict the risk of an accident, thereby preventing the risk of occurrence in the industrial site and preventing work safety in the industrial site. It is about a safety management system at industrial sites that enables integrated control to prevent overall disasters at industrial sites while ensuring safety.
일반적으로 각종 산업 현장에는 인체 객체, 이동형 중장비 객체, 고정형 중장비 객체, 차량 객체 및 장애물 객체가 존재한다.In general, human body objects, movable heavy equipment objects, stationary heavy equipment objects, vehicle objects, and obstacle objects exist in various industrial sites.
여기서, 산업 현장이라 함은 사람, 물류, 자재, 중장비 등이 이동하거나 운용되는 현장을 의미하고, 예를 들어, 창고, 물류 센터를 포함하고, 건설, 토목, 및 플랜트 등에 관련된 공사장을 포함할 수 있다.Here, the industrial site means a site where people, logistics, materials, heavy equipment, etc. are moved or operated, and may include, for example, warehouses, logistics centers, and construction sites related to construction, civil engineering, and plants. there is.
인체 객체는 해당 산업 현장에 있는 사람을 포함하고, 이동형 중장비(작업 중에는 위치가 고정될 수 있음) 객체는 산업 현장에서 작업을 위해 사용되는 지게차, 트랙터, 굴삭기, 레미콘, 이동형 크레인, 특수차량 등을 포함하고, 고정형 중장비 객체는 대형 크레인 등을 포함할 수 있다. 차량 객체는 산업 현장에 출입하는 승용차, 자재 운반 트럭 등을 의미하고, 장애물 객체는 산업 현장에 존재하는 벽체, 구조물, 자재, 장비, 물품 등을 포함할 수 있다.The human body object includes a person at the corresponding industrial site, and the mobile heavy equipment (position may be fixed during work) object includes forklifts, tractors, excavators, ready-mixed concrete, mobile cranes, and special vehicles used for work at the industrial site. Including, the fixed heavy equipment object may include a large crane. The vehicle object means a car, material transport truck, etc. entering and exiting the industrial site, and the obstacle object may include a wall, structure, material, equipment, article, etc. existing in the industrial site.
산업 현장에서는 인체 객체, 이동형 중장비 객체, 고정형 중장비 객체, 차량 객체 및 장애물 객체가 이동하거나 운용 중인 상황에서 다양한 사고 위험에 노출될 수 있다. 예를 들어, 특정 이동형 중장비를 기준으로 살펴보더라도, 특정 이동형 중장비와 주변의 인체 객체의 충돌 위험, 특정 이동형 중장비와 주변의 이동형 중장비 객체의 충돌 위험, 특정 이동형 중장비와 주변의 고정형 중장비 객체의 충돌 위험, 특정 이동형 중장비와 주변의 차량 객체의 충돌 위험, 및 특정 이동형 중장비와 주변의 장애물 객체의 충돌 위험이 존재한다.In industrial sites, a human body object, a mobile heavy equipment object, a fixed heavy equipment object, a vehicle object, and an obstacle object may be exposed to various accident risks in a moving or operating situation. For example, even when looking at a specific mobile heavy equipment, the risk of collision between a specific mobile heavy equipment and a nearby human body object, the risk of a collision between a specific mobile heavy equipment and a nearby mobile heavy equipment object, and the risk of collision between a specific mobile heavy equipment and a nearby fixed heavy equipment object , There is a risk of collision between specific mobile heavy equipment and surrounding vehicle objects, and a risk of collision between specific mobile heavy equipment and nearby obstacle objects.
실제로 산업 현장에서의 다양한 사고로 인하여, 매년 다수의 사상자를 발생시키고 있을 뿐만 아니라, 고가의 장비, 자재, 구조물 등이 파손되는 인적/물적 손해가 발생하고 있다.In fact, due to various accidents at industrial sites, not only a large number of casualties occur every year, but also human/material damages caused by damage to expensive equipment, materials, and structures.
이러한 문제점을 해결하고자, 산업 현장의 안전 관리 시스템과 관련된 선행기술로서, 한국등록특허공보 제10-1736158호(특허문헌 1), 한국등록특허공보 제10-1695904호(특허문헌 2), 및 한국공개특허공보 제10-2016-027881호(특허문헌 3) 등이 개시된 바 있다.In order to solve these problems, as prior art related to safety management systems in industrial settings, Korean Patent Registration No. 10-1736158 (Patent Document 1), Korean Patent Registration No. 10-1695904 (Patent Document 2), and Korea Publication No. 10-2016-027881 (Patent Document 3) and the like have been disclosed.
그러나, 특허문헌 1 내지 특허문헌 3을 포함하는 종래의 산업 현장의 안전 관리 시스템은 비콘 신호의 신호도착시간(TOA: Time of arrival), 신호도착시간차이(TDOA: Time difference of arrival), 또는 수신신호강도(RSSI: Received signal strength indicator) 중 적어도 어느 하나의 거리 측정 방법을 이용하여 위험물과 작업자 간 거리를 측정하여 충돌 위험 여부를 판단하여 산업 현장의 안전을 관리하고자 하지만, 비콘의 프로토콜 특성 상 정확한 거리 측정이 힘든 한계가 있다.However, the conventional industrial site safety management system including
아울러, 종래의 산업 현장의 안전 관리 시스템은 특정 객체를 기준으로 특정 객체와 다른 객체와의 충돌 위험성 만을 경고할 수 있는 한계가 있다.In addition, the safety management system of the conventional industrial site has a limitation in being able to warn only the risk of collision between a specific object and another object based on a specific object.
전술한 문제점을 해소함에 있어, 본 발명의 목적은 산업 현장에 설치된 카메라에서 촬영된 영상을 분석하여 획득된 객체를 가상 좌표 평면 상에 배치하여 이동형 중장비 객체, 고정형 중장비 객체, 인체 객체, 차량 객체, 및 장애물 객체 간의 사고 위험 여부를 예측하거나 판단하여 사고 위험을 경고함으로써 산업 현장의 작업 안정성을 향상시키는 산업 현장의 안전 관리 시스템을 제공함에 있다.In solving the above problems, an object of the present invention is to analyze an image captured by a camera installed in an industrial site and place an object obtained on a virtual coordinate plane to obtain a mobile heavy equipment object, a fixed heavy equipment object, a human body object, a vehicle object, And to provide an industrial site safety management system that improves work safety in the industrial site by predicting or determining whether there is an accident risk between obstacle objects and warning the risk of an accident.
또한, 본 발명의 목적은 산업 현장에서 획득된 다양한 정보를 사용하여 객체의 이동 동선과 작업 상태를 사고 위험 예측에 활용하고, 인공신경망 모델을 활용하여 사고 위험 여부를 다양한 관점으로 예측할 수 있어 산업 현장의 작업 안정성을 더욱 향상시키는 산업 현장의 안전 관리 시스템을 제공함에 있다.In addition, an object of the present invention is to use various information obtained from the industrial site to utilize the movement line and work state of the object to predict the risk of an accident, and to predict the risk of an accident from various perspectives by using an artificial neural network model. It is to provide a safety management system in the industrial field that further improves the safety of work.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 것에 한정되지 않으며, 언급되지 아니한 다른 해결하고자 하는 과제는 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 기술을 가지는 사람에 의하여 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by a person having ordinary skill in the art to which the present invention belongs from the following description. There will be.
본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템은, 제 1 카메라 및 제 2 카메라를 구비하는 스테레오 카메라를 적어도 하나 이상 포함하는 영상 촬영부; 상기 영상 촬영부에서 촬영되는 영상을 분석하여 가상 좌표 평면을 포함한 가상 좌표 공간을 생성하고, 상기 영상 촬영부에서 촬영되는 영상에서 객체를 식별하여 상기 가상 좌표 공간 상에 배치한 후, 배치된 객체 간의 거리를 계산하여 계산된 값이 미리 결정된 소정 거리값 미만이면 해당 객체 간에 사고 위험이 있는 것으로 판단하여 사고 위험 신호를 송신하는 안전 관리 제어부; 및 상기 안전 관리 제어부로부터 사고 위험 신호를 수신하면, 사고 위험 경고 알람을 출력하는 위험 알람부;를 포함한다.An industrial site safety management system according to an embodiment of the present invention includes a first camera and a second camera including at least one stereo camera including an image capturing unit; An image captured by the image capturing unit is analyzed to create a virtual coordinate space including a virtual coordinate plane, objects are identified in the image captured by the image capturing unit, and objects are placed on the virtual coordinate space, and then the arranged objects are separated. A safety management control unit that calculates the distance and transmits an accident risk signal by determining that there is an accident risk between corresponding objects when the calculated value is less than a predetermined distance value; and a danger alarm unit configured to output an accident risk warning alarm when receiving an accident danger signal from the safety management control unit.
이 경우, 상기 안전 관리 제어부는, 객체 별 이동 동선을 예측하고 객체 별 작업 상태를 확인하여 사고 위험 상황을 예측하고, 사고 위험 상황을 예측하면 사고 위험 알람 신호를 송신할 수 있다.In this case, the safety management control unit may predict an accident risk situation by predicting a movement line for each object and confirming a work state for each object, and may transmit an accident risk alarm signal when the accident risk situation is predicted.
이때, 상기 안전 관리 제어부는, 인공신경망 모델에 기초하여 객체 간에 사고 위험을 판단하고 사고 위험 상황을 예측할 수 있다.In this case, the safety management control unit may determine an accident risk between objects and predict an accident risk situation based on an artificial neural network model.
이 경우, 상기 안전 관리 제어부는, 제 1 인공신경망에 기초하여 산업 현장 내 객체를 식별하고, 객체들 간의 거리를 계산하는 인공지능 판단부; 제 2 인공신경망에 기초하여 이동 동선과 작업 상태의 흐름을 분석하여 사고 위험을 예측하는 인공지능 예측부; 및 상기 제 1 인공신경망을 객체 학습 데이터 세트에 기반하여 생성하고, 상기 제 2 인공신경망을 행동 데이터 세트에 기반하여 생성하는 인공지능 학습부;를 포함할 수 있다.In this case, the safety management control unit includes: an artificial intelligence determination unit that identifies objects in the industrial site based on the first artificial neural network and calculates a distance between the objects; An artificial intelligence predictor for predicting the risk of an accident by analyzing the flow of movement and work conditions based on the second artificial neural network; and an artificial intelligence learning unit configured to generate the first artificial neural network based on an object learning data set and the second artificial neural network based on a behavioral data set.
이때, 상기 제 1 인공신경망은, 객체 형태를 분석할 수 있는 합성곱신경망(CNN) 기반의 인공신경망일 수 있다.In this case, the first artificial neural network may be an artificial neural network based on a convolutional neural network (CNN) capable of analyzing an object shape.
또한, 상기 제 2 인공신경망은, 객체의 이동 동선 및 작업 상태를 분석하여 예측값을 도출하는 트랜스포머(Transformer) 기반의 인공신경망일 수 있다.In addition, the second artificial neural network may be a transformer-based artificial neural network that derives a predicted value by analyzing the movement line and work state of the object.
한편, 상기 안전 관리 제어부는, 가상 좌표 공간 상에 산업 현장의 위험 구역을 설정하고 객체가 위험 구역에 객체 접근하거나 위치하면 사고 위험 알람 신호를 송신할 수 있다.On the other hand, the safety management control unit may set a risk zone of the industrial site on the virtual coordinate space and transmit an accident risk alarm signal when an object approaches or is located in the danger zone.
한편, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템은, 이동형 중장비 객체, 다른 이동형 중장비 객체, 고정형 중장비 객체 및 차량 객체 중 적어도 어느 하나에 구비되어 상기 안전 관리 제어부로부터 사고 위험 알람 신호를 수신하면 해당 객체의 구동 동작 또는 작업 동작을 중단시키는 장비 제어부;를 더 포함할 수 있다.On the other hand, the industrial site safety management system according to an embodiment of the present invention is provided in at least one of a mobile heavy equipment object, another mobile heavy equipment object, a fixed heavy equipment object, and a vehicle object to receive an accident risk alarm signal from the safety management control unit. It may further include; an equipment control unit for stopping a driving operation or a working operation of the corresponding object.
한편, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템은, 상기 안전 관리 제어부에서 수행되는 기능의 결과를 상기 영상 촬영부에서 촬영되는 영상 위에 표시하여 시각적으로 디스플레이하는 디스플레이부;를 더 포함할 수 있다.On the other hand, the industrial site safety management system according to an embodiment of the present invention, the display unit for visually displaying the result of the function performed by the safety management control unit by displaying it on the image taken by the image capture unit; may further include can
한편, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템은, 상기 위험 알람부는, 경고음을 발산 출력하는 스피커부; 및 경고빛을 발광 출력하는 램프부; 중 적어도 어느 하나 이상을 포함할 수 있다.On the other hand, the safety management system of the industrial site according to an embodiment of the present invention, the danger alarm unit, a speaker unit for emitting and outputting a warning sound; And a lamp unit for emitting and outputting a warning light; It may include at least any one or more of them.
상술한 바와 같이, 본 발명에 의한 산업 현장의 안전 관리 시스템은 산업 현장에 설치된 카메라에서 촬영된 영상을 분석하여 획득된 객체를 가상 좌표 평면 상에 배치하여 이동형 중장비 객체, 고정형 중장비 객체, 인체 객체, 차량 객체, 및 장애물 객체 간의 사고 위험 여부를 예측하거나 판단하여 사고 위험을 경고함으로써 산업 현장의 작업 안정성을 향상시킨다.As described above, the safety management system of the industrial site according to the present invention analyzes the image taken by the camera installed in the industrial site and arranges the acquired object on the virtual coordinate plane to obtain a mobile heavy equipment object, a fixed heavy equipment object, a human body object, Work safety in industrial sites is improved by warning of the risk of an accident by predicting or determining whether there is a risk of an accident between a vehicle object and an obstacle object.
또한, 본 발명에 의한 산업 현장의 안전 관리 시스템은 산업 현장에서 획득된 다양한 정보를 사용하여 객체의 이동 동선과 작업 상태를 사고 위험 예측에 활용하고, 인공신경망 모델을 활용하여 사고 위험 여부를 다양한 관점으로 예측할 수 있어 산업 현장의 작업 안정성을 더욱 향상시킨다.In addition, the industrial site safety management system according to the present invention uses various information obtained from the industrial site to use the moving line and work state of the object to predict the risk of an accident, and uses an artificial neural network model to determine whether or not there is an accident risk from various perspectives. can be predicted, further improving work stability in the industrial field.
본 발명의 효과는 이상에서 언급한 것에 한정되지 않으며, 언급되지 아니한 다른 효과는 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 기술을 가지는 사람에 의하여 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 산업 현장에서 이동형 중장비 객체와 타 객체 간의 사고 위험을 설명하기 위한 개념도이다.
도 2는 이동형 중장비 객체를 제외한 타 객체 간의 사고 위험을 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 영상 촬영부를 설명하기 위한 블록도이다.
도 5는 본 발명의 실시예에 따른 안전 관리 제어부를 설명하기 위한 블록도이다.
도 6은 본 발명의 실시예에 따른 위험 알람부를 설명하기 위한 블록도이다.
도 7은 본 발명의 실시예에 따른 디스플레이부를 설명하기 위한 블록도이다.
도 8은 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템에 의해 수행되는 안전 관리 동작의 일 예를 설명하기 위한 순서도이다.
도 9는 본 발명의 실시예에 따른 인공신경망 모델 생성 동작의 일 예를 설명하기 위한 순서도이다.
도 10은 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템의 안전 관리 동작의 일 예를 설명하기 위한 개념도이다.1 is a conceptual diagram for explaining the risk of an accident between a mobile heavy equipment object and another object in an industrial site.
2 is a conceptual diagram for explaining the risk of an accident between other objects other than a mobile heavy equipment object.
3 is a block diagram for explaining a safety management system of an industrial site according to an embodiment of the present invention.
4 is a block diagram for explaining an image capture unit according to an embodiment of the present invention.
5 is a block diagram for explaining a safety management control unit according to an embodiment of the present invention.
6 is a block diagram for explaining a danger alarm unit according to an embodiment of the present invention.
7 is a block diagram for explaining a display unit according to an embodiment of the present invention.
8 is a flowchart illustrating an example of a safety management operation performed by an industrial site safety management system according to an embodiment of the present invention.
9 is a flowchart illustrating an example of an artificial neural network model generation operation according to an embodiment of the present invention.
10 is a conceptual diagram for explaining an example of a safety management operation of an industrial site safety management system according to an embodiment of the present invention.
본 발명에 있어 첨부된 도면은 종래 기술과의 차별성 및 명료성, 그리고 기술 파악의 편의를 위해 과장된 표현으로 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어로써, 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 기술적 내용을 토대로 내려져야 할 것이다. 한편, 실시예는 본 발명의 청구범위에 제시된 구성요소의 예시적 사항에 불과하고, 본 발명의 권리범위를 한정하는 것이 아니며, 권리범위는 본 발명의 명세서 전반에 걸친 기술적 사상을 토대로 해석되어야 한다.In the present invention, the accompanying drawings may be shown in an exaggerated expression for distinction and clarity from the prior art, and convenience of understanding the technology. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, and may vary according to the intention or custom of the user or operator, so the definitions of these terms should be made based on the technical content throughout this specification. will be. On the other hand, the embodiments are only exemplary of the components presented in the claims of the present invention, do not limit the scope of the present invention, and the scope of rights should be interpreted based on the technical spirit throughout the specification of the present invention. .
명세서 전체에서, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.Throughout the specification, when a certain component is said to "include" a certain component, it means that other components may be further included without excluding other components unless otherwise specified.
또한, 어떤 구성이 다른 구성에 "연결", "접속" 또는 "결합"되어 있다고 할 때, 이는 '직접적으로 연결', '직접적으로 접속' 또는 '직접적으로 결합'되어 있는 경우 만이 아니라, '그 중간에 다른 구성을 개재한 채로 연결', '그 중간에 다른 구성을 개재한 채로 접속' 또는 '그 중간에 다른 구성을 개재한 채로 결합'되는 경우도 있을 수 있음을 의미한다. In addition, when a component is said to be "connected", "connected" or "coupled" to another component, it is not only 'directly connected', 'directly connected' or 'directly coupled', but also 'the It means that there may be a case of 'connection through another structure in the middle', 'connection through another structure in the middle', or 'combined through another structure in the middle'.
본 발명의 실시예의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예가 속하는 기술분야에서 통상의 지식을 가지는 사람에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하기로 한다. 그리고, 도면에서 실시예와 설명과 관계없는 부분에 대한 자세한 설명은 생략하기로 한다.In order to more clearly describe the characteristics of the embodiments of the present invention, detailed descriptions of matters widely known to those skilled in the art to which the following embodiments belong will be omitted. In addition, detailed descriptions of parts unrelated to the embodiments and descriptions in the drawings will be omitted.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 산업 현장에서 이동형 중장비 객체와 타 객체 간의 사고 위험을 설명하기 위한 개념도이고, 도 2는 이동형 중장비 객체를 제외한 타 객체 간의 사고 위험을 설명하기 위한 개념도이고, 도 3은 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템을 설명하기 위한 블록도이고, 도 4는 본 발명의 실시예에 따른 영상 촬영부를 설명하기 위한 블록도이고, 도 5는 본 발명의 실시예에 따른 안전 관리 제어부를 설명하기 위한 블록도이고, 도 6은 본 발명의 실시예에 따른 위험 알람부를 설명하기 위한 블록도이고, 도 7은 본 발명의 실시예에 따른 디스플레이부를 설명하기 위한 블록도이고, 도 8은 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템에 의해 수행되는 안전 관리 동작의 일 예를 설명하기 위한 순서도이고, 도 9는 본 발명의 실시예에 따른 인공신경망 모델 생성 동작의 일 예를 설명하기 위한 순서도이며, 도 10은 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템의 안전 관리 동작의 일 예를 설명하기 위한 개념도이다.1 is a conceptual diagram for explaining the risk of an accident between a mobile heavy equipment object and another object in an industrial site, FIG. 2 is a conceptual diagram for explaining the risk of an accident between other objects except for a mobile heavy equipment object, and FIG. 3 is an embodiment of the present invention. It is a block diagram for explaining a safety management system of an industrial site according to, Figure 4 is a block diagram for explaining an image capturing unit according to an embodiment of the present invention, Figure 5 is a safety management control unit according to an embodiment of the present invention 6 is a block diagram for explaining a danger alarm unit according to an embodiment of the present invention, FIG. 7 is a block diagram for explaining a display unit according to an embodiment of the present invention, and FIG. 8 is a block diagram for explaining the present invention. A flowchart for explaining an example of a safety management operation performed by a safety management system at an industrial site according to an embodiment of the present invention, and FIG. 10 is a conceptual diagram for explaining an example of a safety management operation of an industrial site safety management system according to an embodiment of the present invention.
도 1은 산업 현장에서 이동형 중장비 객체와 타 객체 간의 사고 위험을 설명하기 위한 개념도이고, 도 2는 이동형 중장비 객체를 제외한 타 객체 간의 사고 위험을 설명하기 위한 개념도이다.1 is a conceptual diagram for explaining the risk of an accident between a movable heavy equipment object and other objects in an industrial site, and FIG. 2 is a conceptual diagram for explaining the risk of an accident between other objects excluding a movable heavy equipment object.
도 1을 참조하면, 산업 현장에서는, 특정 이동형 중장비 객체(10)를 기준으로 할 때, 그 주변에 인체 객체(20), 이동형 중장비 객체(30), 고정형 중장비 객체(40), 차량 객체(50) 및 장애물 객체(60)가 존재할 수 있는 영역이 존재한다.Referring to FIG. 1 , in an industrial site, based on a specific mobile
전술한 바와 같이, 산업 현장이라 함은 사람, 물류, 자재, 중장비 등이 이동하거나 운용되는 현장을 의미하고, 예를 들어, 창고, 물류 센터를 포함하고, 건설, 토목, 및 플랜트 등에 관련된 공사장을 포함할 수 있다.As described above, an industrial site means a site where people, logistics, materials, heavy equipment, etc. are moved or operated, and includes, for example, warehouses and distribution centers, and construction sites related to construction, civil engineering, and plants. can include
인체 객체(20)는 해당 산업 현장에 있는 사람을 포함하고, 이동형 중장비 객체(작업 중에는 위치가 고정될 수도 있음)(30)는 산업 현장에서 작업을 위해 사용되는 지게차, 트랙터, 굴삭기, 레미콘, 이동형 크레인, 특수차량 등을 포함하고, 고정형 중장비 객체(40)는 대형 크레인 등을 포함할 수 있다. 차량 객체(50)는 산업 현장에 출입하는 승용차, 자재 운반 트럭 등을 의미하고, 장애물 객체(60)는 산업 현장에 존재하는 벽체, 구조물, 자재, 장비, 물품 등을 포함할 수 있다.The
이 경우, 산업 현장에서는, 특정 이동형 중장비 객체(10)를 기준으로 특정 이동형 중장비 객체(10)와 주변의 인체 객체(20)의 충돌 위험, 특정 이동형 중장비 객체(10)와 주변의 이동형 중장비 객체(30)의 충돌 위험, 특정 이동형 중장비 객체(10)와 주변의 고정형 중장비 객체(40)의 충돌 위험, 특정 이동형 중장비 객체 (10)와 주변의 차량 객체(50)의 충돌 위험, 및 특정 이동형 중장비 객체(10)와 주변의 장애물 객체(60)의 충돌 위험이 존재한다(도 1의 실선 화살표 참조).In this case, in the industrial site, the risk of collision between the specific movable
도 2를 참조하면, 산업 현장에서는, 특정 이동형 중장비 객체(10) 주변의 객체(20, 30, 40, 50, 60) 간의 15가지 종류의 충돌 위험도 존재한다. 즉, 산업 현장에서는, 특정 이동형 중장비 객체(10) 주변의 인체 객체(20) 간의 충돌 위험, 특정 이동형 중장비 객체 (10) 주변의 이동형 중장비 객체(30) 간의 충돌 위험, 특정 이동형 중장비 객체 (10) 주변의 고정형 중장비 객체(40) 간의 충돌 위험 특정 이동형 중장비 객체 (10) 주변의 차량 객체(50) 간의 충돌 위험, 특정 이동형 중장비 객체(10) 주변의 장애물 객체(60) 간의 충돌 위험(예: 장애물 객체(60)의 위치를 옮길 때), 특정 이동형 중장비 객체(10) 주변의 인체 객체(20)와 다른 이동형 중장비 객체(30) 간의 충돌 위험, 특정 이동형 중장비 객체(10) 주변의 인체 객체(20)와 다른 고정형 중장비 객체(40) 간의 충돌 위험, 특정 이동형 중장비 객체(10) 주변의 인체 객체(20)와 차량 객체(50) 간의 충돌 위험, 특정 이동형 중장비 객체(10) 주변의 인체 객체(20)와 장애물 객체(60) 간의 충돌 위험, 특정 이동형 중장비 객체(10) 주변의 이동형 중장비 객체(30)와 고정형 중장비 객체(40) 간의 충돌 위험, 특정 이동형 중장비 객체(10) 주변의 이동형 중장비 객체(30)와 차량 객체(50) 간의 충돌 위험, 특정 이동형 중장비 객체(10) 주변의 이동형 중장비 객체(30)와 장애물 객체(60) 간의 충돌 위험, 특정 이동형 중장비 객체(10) 주변의 고정형 중장비 객체(40)와 차량 객체(50) 간의 충돌 위험, 특정 이동형 중장비 객체(10) 주변의 고정형 중장비 객체(40)와 장애물 객체(60) 간의 충돌 위험, 및 특정 이동형 중장비 객체(10) 주변의 차량 객체(50)와 장애물 객체(60) 간의 충돌 위험이 존재한다(도 1의 점선 화살표 참조).Referring to FIG. 2 , in an industrial field, 15 types of collision risks exist between
본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 이러한 충돌 등의 사고 위험을 예측하여 경고하기 위한 시스템으로 이하 도 3 내지 도 10을 참조하여 자세하게 설명하기로 한다.The industrial site
도 3은 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템을 설명하기 위한 블록도이다.3 is a block diagram for explaining a safety management system of an industrial site according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 영상 촬영부(1100), 안전 관리 제어부(1200), 위험 알람부(1400)를 포함할 수 있다. 이때, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 장비 제어부(1300) 및/또는 디스플레이부(1500)를 더 포함할 수 있다. 여기서, 장비 제어부(1300)는 특정 이동형 중장비 객체(10), 다른 이동형 중장비 객체(30), 고정형 중장비 객체(40) 및 차량 객체(50) 중 적어도 어느 하나에 구비되어 안전 관리 제어부(1200)로부터 사고 위험 알람 신호를 수신하면 해당 객체의 구동 동작 또는 작업 동작을 중단시키는 구성이다.Referring to FIG. 3 , an industrial site
도 4는 본 발명의 실시예에 따른 영상 촬영부를 설명하기 위한 블록도이다.4 is a block diagram for explaining an image capture unit according to an embodiment of the present invention.
도 4를 참조하면, 영상 촬영부(1100)는 스테레오 카메라(1110), 영상 처리부(1120), 데이터베이스부(1130) 및 통신부(1140)를 포함할 수 있다.Referring to FIG. 4 , the
영상 촬영부(1100)는 산업 현장에 위치한 이동형 중장비 객체(10, 30) 또는 고정형 중장비 객체(40)에 설치 또는 부착될 수 있다. 더 나아가, 필요에 따라 영상 촬영부(1100)는 인체 객체(20), 차량 객체(50) 또는 장애물 객체(60)에 설치 또는 부착될 수 있고, 산업 현장의 구조물(벽체, 기둥, 천정) 등에 설치 또는 부착될 수도 있을 것이다.The
스테레오 카메라(1110)는 제 1 카메라(1111)와 제 2 카메라(1112)를 구비하는 구성이다. 제 1 카메라(1111)와 제 2 카메라(1112)는 소정 간격 이격되어 위치할 수 있으며, 입체 영상을 획득할 수 있다. 영상 촬영부(1100)는, 설치 위치를 기준으로 전 방위 촬영이 가능하도록 스테레오 카메라(1110)를 복수개 포함하거나 스테레오 카메라(1110)를 회전시키는 구동 장치를 추가로 포함할 수 있다.The
예를 들어, 영상 촬영부(1100)는 특정 이동형 중장비 객체(10)에 설치되는 경우, 특정 이동형 중장비 객체(10) 주변의 전 방위를 촬영 가능하도록 스테레오 카메라(1110)를 복수개 포함하고, 복수개의 스테레오 카메라(1110)가 특정 이동형 중장비 객체(10) 상측의 지면에 대해 방사상 형태로 배치될 수 있다. 즉, 영상 촬영부(1100)는 특정 이동형 중장비 객체(10)의 이동 중 주변의 전 방위 영상을 촬영할 수 있도록 구성될 수 있다.For example, when the
영상 처리부(1120)(예: VMS(Video Management System, 비디오 관리 시스템)는 촬영 영상을 수집하고 처리하는 구성이다.The image processing unit 1120 (eg, a video management system (VMS)) is a component that collects and processes captured images.
데이터베이스부(1130)는 촬영 영상 또는 영상 처리부(1120)에서 처리된 영상을 저장하는 구성이다.The
통신부(1140)는 촬영 영상을 안전 관리 제어부(1200)에 송신하는 구성이다. 물론, 통신부(1140)는 안전 관리 제어부(1200)의 촬영 요청 신호 등을 수신할 수도 있을 것이다.The
영상 촬영부(1100)는 안전 관리 제어부(1200)로 객체 별 위상 차이 정보 및 공간 좌표 값 정보를 제공할 수 있다.The
도 5는 본 발명의 실시예에 따른 안전 관리 제어부를 설명하기 위한 블록도이다.5 is a block diagram for explaining a safety management control unit according to an embodiment of the present invention.
도 5를 참조하면, 안전 관리 제어부(1200)는 위험 관리 제어부(1210), 인공지능부(1220), 데이터베이스부(1230) 및 통신부(1240)를 포함할 수 있다.Referring to FIG. 5 , the safety
먼저, 안전 관리 제어부(1200)는 영상 촬영부(1100)의 스테레오 카메라(1110) 개별 개소에서 촬영되는 영상을 분석하여 가상 좌표 평면을 포함한 가상 좌표 공간을 생성할 수 있다. 또한, 안전 관리 제어부(1200)는 영상 촬영부(1100)의 스테레오 카메라(1110) 개별 개소에서 촬영되는 영상을 분석하여 특정 이동형 중장비 객체(10)(만일, 스테레오 카메라(1110)가 특정 이동형 중장비 객체(10)에 부착된 경우 해당 객체는 식별 객체에서 제외됨, 다른 객체의 경우도 마찬가지임), 인체 객체(20), 이동형 중장비 객체(30), 고정형 중장비 객체(40), 차량 객체(50), 및 장애물 객체(60)를 식별하여 가상 좌표 평면 상에 배치할 수 있다.First, the
이 경우, 안전 관리 제어부(1200)는 가상 좌표 평면 상에 배치된 객체 간의 거리를 계산하고, 계산된 값이 미리 결정된 소정 거리값 미만이면 해당 객체 간에 사고 위험이 있는 것으로 판단하여 장비 제어부(1300)로 해당 객체의 동작을 중단시키는 제어 신호를 송신하거나 위험 알람부(1400)로 사고 위험 신호를 송신할 수 있다.In this case, the safety
더 나아가, 안전 관리 제어부(1200)는 가상 좌표 평면 상에 객체들을 배치할 때, 객체의 위치, 이동 방향, 이동 속도 등을 식별할 수 있으며, 식별된 정보로 객체 별 이동 동선을 예측하여 사고 위험을 사전에 예측할 수도 있다. 안전 관리 제어부(1200)는 객체의 작업 프로세스, 작업 순서, 작업 동선 데이터를 이용하여 객체 별 작업 상태를 확인하여 예측된 이동 동선을 함께 이용하여 사고 위험을 사전에 예측할 수도 있다. 이와 같이, 안전 관리 제어부(1200)는 사고 위험을 예측하면, 장비 제어부(1300)로 해당 객체의 동작을 중단시키는 제어 신호를 송신하거나 위험 알람부(1400)로 사고 위험 신호를 송신할 수 있다.Furthermore, when arranging objects on the virtual coordinate plane, the safety
위험 관리 제어부(1210), 인공지능부(1220), 데이터베이스부(1230) 및 통신부(1240)는 이러한 안전 관리 제어부(1200)의 가상 좌표 평면 생성 기능, 객체 식별 기능, 거리 계산 기능, 위험 예측 기능, 위험 판단 기능 등을 수행하기 위한 구성이다.The risk
위험 관리 제어부(1210)는 가상 공간 관리부(2100), 영상 관리부(2200) 및 위험 조치부(2300)를 포함할 수 있다.The
가상 공간 관리부(2100)는 카메라 좌표 계산부(2110), 좌표 평면 관리부(2120), 객체 관리부(2130), 위험 판단부(2140), 및 위험 구역 판단부(2150)를 포함할 수 있다.The virtual
카메라 좌표 계산부(2110)는 스테레오 카메라(1110)의 위치 좌표를 계산할 수 있다. 카메라 좌표 계산부(2110)는 스테레오 카메라(1110)가 설치된 객체의 이동 시 이동 동선에 따라 스테레오 카메라(1110)의 위치 좌표를 추적하여 계산할 수 있다. 하지만, 카메라 좌표 계산부(2110)는 스테레오 카메라(1110)의 설치 위치가 고정인 경우, 카메라의 위치 좌표를 추적할 필요가 없으며, 스테레오 카메라(1110)의 설치 위치를 위치 좌표로 사용할 수 있다.The camera coordinate
좌표 평면 관리부(2120)는 가상 좌표 평면을 관리할 수 있다. 여기서, 가상 좌표 평면은 산업 현장을 맵과 같은 형태로 도식화 한 것으로, 가상 좌표 평면을 3개 이용하는 경우 산업 현장 내 위치한 객체들을 배치할 수 있는 3차원 가상 좌표 공간으로 확장해서 관리할 수도 있고, 가상 좌표 공간을 복수개 생성하여 산업 현장의 공간을 입체적으로 관리할 수도 있다.The coordinate
객체 관리부(2130)는 영상으로부터 인식된 객체를 가상 좌표 평면 상(가상 좌표 공간 상일 수 있고, 이하 동일하다.)에 매칭시켜 위치시키고, 객체의 동선을 가상 좌표 평면 상에서 관리한다. 객체 관리부(2130)는 객체의 위치 변화를 추적하여 가상 좌표 평면 상에서 객체의 이동 위치를 실시간으로 표시할 수 있다.The
위험 판단부(2140)는 가상 좌표 평면 상에서 객체 간의 거리가 소정 거리 이내로 위치하게 되거나 객체 간의 거리가 소정 거리 이내로 예측되는 경우 사고 위험을 판단할 수 있다. 이와 달리, 위험 판단부(2140)는 촬영된 영상으로부터 직접 객체 간의 거리 측정이 가능한 경우, 가상 좌표 평면을 활용하지 않고도 객체 간의 거리를 측정하여 사고 위험을 판단할 수도 있다.The
또한, 위험 판단부(2140)는 가상 좌표 평면 상에서 객체의 이동 동선에 위험 구역이 존재하면, 사고 위험으로 판단할 수 있다.In addition, the
위험 구역 판단부(2150)는 위험 구역을 판단할 수 있으며, 가상 좌표 평면 상에서 위험 구역을 설정할 수 있다. 위험 구역은 객체의 진입을 차단해야 하는 구역, 예를 들어, 객체의 이동이 빈번한 진출입로, 위험물 보관 지역, 타 객체의 작업 구역 등을 의미할 수 있다. 따라서, 위험 구역 판단부(2150)는 산업 현장 내 위험 구역을 판단하고, 위험 구역을 가상 좌표 평면 상에 배치되도록 할 수 있다.The danger
또한, 위험 구역 판단부(2150)는 객체의 진입이 불가능한 지역을 위험 구역으로 설정할 수도 있고, 위험 구역의 경계면 외곽 부근이나 객체의 진입 또는 작업이 가능하나 주의가 필요한 경고 구역을 설정할 수도 있다. 이와 같이, 위험 구역 판단부(2150)는 위험 구역, 경고 구역 등과 같이 작업의 주의가 필요한 구역을 여러 개로 등급을 나누어 관리할 수도 있다. 예를 들어, 위험 구역은 경고 구역 대비 사고 위험의 발생 확률이 높은 등급을 갖는 구역일 수 있으며, 위험 구역을 복수개의 구역으로 세분화하여 구분하거나 경고 구역을 복수의 구역으로 세분화하여 구분할 수도 있다.In addition, the danger
영상 관리부(2200)는 영상 화이트닝부(2210) 및 영상 후처리부(2220)를 포함한다.The
영상 화이트닝부(2210)는 촬영 영상에 포함된 노이즈를 제거하고, 사고 위험 감지를 위해 필요한 객체 등을 제외한 영상 내 불필요한 나머지 데이터를 제거(예를 들어, 불필요한 데이터를 화이트 데이터로 처리)할 수 있다.The
영상 후처리부(2220)는 영상 처리를 위해 영상을 객체 등을 기준으로 동일 객체 또는 유사 객체들을 포함한 영상을 모아 분배할 수 있으며, 분배된 영상을 기준으로 영상 후처리(예: 외곽 윤곽만 추출하여 표현 처리)를 수행할 수 있다. 영상 후처리부(2220)는 후 처리된 영상을 인공신경망 모델 생성을 위해 인공지능부(1220)로 제공할 수 있다.The
위험 조치부(2300)는 장비 구동 제어부(2310) 및 알람 장비 제어부(2320)를 포함할 수 있다.The
장비 구동 제어부(2310)는 객체 간 사고 위험을 판단하거나 사고 위험이 예측된 경우, 이동형 중장비 객체(10, 30), 차량 객체(50) 등의 이동 동작 내지는 작업 동작을 중단시킬 수 있도록 하는 제어 신호를 해당 객체의 장비 제어부(1300)로 송신할 수 있다. 장비 구동 제어부(2310)는 산업 현장에 위치한 객체의 동작을 제어하기 위한 객체(중장비, 차량 등) 제어 권한을 사전에 부여받을 수 있으며, 객체와 통신하여 사고 위험을 판단하거나 사고 위험의 예측 시 즉각적인 동작 중단 등의 비상 조치를 가능하게 한다.The equipment
알람 장비 제어부(2320)는 객체의 사고 위험을 판단하거나 사고 위험이 예측된 경우, 위험 알람부(1400)로 사고 위험 신호를 송신할 수 있다. 이를 통해, 알람 장비 제어부(2320)는 산업 현장 내의 객체 또는 객체의 운용자에게 사고 위험을 알람할 수 있다.The alarm
인공지능부(1220)는 인공지능 판단부(3100), 인공지능 예측부(3200), 및 인공지능 학습부(3300)를 포함할 수 있다.The
인공지능 판단부(3100)는 객체 식별부(3110), 객체 추적부(3120), 거리 계산부(3130) 및 객체 위치 판단부(3140)를 포함할 수 있다. The artificial
인공지능 판단부(3100)는 제 1 인공신경망에 기초하여 산업 현장 내 객체를 식별하고, 객체 간의 거리를 계산할 수 있다. 이 경우, 인공지능 판단부(3100)는 객체 형태를 분석할 수 있는 합성곱신경망(CNN: Convolution Neural Network) 기반의 제 1 인공신경망을 이용할 수 있다.The artificial
객체 식별부(3110)는 제 1 인공신경망을 토대로 영상 촬영부(1100)의 스테레오 카메라(1110) 개별 개소에서 촬영되는 영상을 분석하여 인체 객체, 이동형 중장비 객체, 고정형 중장비 객체, 차량 객체, 및 장애물 객체를 식별할 수 있다.The
객체 추적부(3120)는 식별된 인체 객체, 이동형 중장비 객체, 고정형 중장비 객체, 차량 객체, 및 장애물 객체를 시간의 흐름에 따른 위치 변화에 기초하여 이동 동선을 추적할 수 있다. 객체 추적부(3120)는 이동 동선 추적을 위해 각 객체의 위치, 이동 방향, 및 이동 속도를 계산하여 객체들 각각의 이동 동선에 대한 데이터를 획득할 수 있다.The
거리 계산부(3130)는 가상 좌표 평면 상에서 객체 식별부(3110)에서 식별된 객체의 위치에 기초하여 객체 간의 상대적인 거리를 가상 좌표 평면 상에서 계산할 수 있다.The
이 경우, 거리 계산부(3130)는 스테레오 카메라(1110) 개별 개소에서 객체 식별부(3110)에서 식별된 객체의 위상 차이 정보(제 1 카메라(1111)와 제 2 카메라(1112)의 위치 차이에 기인함)를 입력받아 스테레오 카메라(1110) 개별 개소에서 객체 식별부(3110)에서 식별된 객체까지의 개별 거리를 계산하거나, 가상 좌표 평면 상에서의 상대적인 거리 계산에 위상 차이 정보를 더 활용하여 개별 거리를 계산할 수 있다.In this case, the
인공지능 예측부(3200)는 경로 예측부(3210)와 위험 예측부(3220)를 포함한다. 이때, 인공지능 예측부(3200)는 제 2 인공신경망에 기초하여 이동 동선과 작업 상태의 흐름을 분석하여 사고 위험을 예측할 수 있다. 이러한, 인공지능 예측부(3200)는 객체의 이동 동선 및 작업 상태를 분석하여 예측값을 도출하는 트랜스포머(Transformer) 기반의 제 2 인공신경망을 이용할 수 있다. 보다 구체적으로, 제 2 인공신경망은 가상 좌표 평면 상의 객체의 이동 동선 및 작업 상태를 분석한 후, 이전 작업 히스토리와 주요 사고 발생 시점의 작업 환경을 분석한 결과를 토대로 예측값을 도출할 수 있다.The artificial
경로 예측부(3210)는 객체의 이동 동선을 예측할 수 있다. 이를 위해, 경로 예측부(3120)는 이동 동선의 확인을 위해 객체의 위치 정보, 객체의 이동 속도, 및 객체의 이동 방향을 이용할 수 있다. The
위험 예측부(3220)는 복수의 객체들 각각에 대해 예측된 이동 동선을 이용하여 충돌 등과 같은 사고 위험을 예측할 수 있다. 위험 예측부(3220)는 사고 위험을 예측하면 위험 조치부(2300)를 매개로 하여 사고 위험을 알람할 수 있다.The
인공지능 학습부(3300)는 학습 데이터 생성부(3310), 인공지능 모델 학습부(3320) 및 인공지능 모델 생성부(3330)를 포함할 수 있다. The artificial
인공지능 학습부(3300)는 사고 위험 예측을 위해 사용되는 모델, 예를 들어 시간 관계를 저장할 수 있는 트랜스포머(Transformer) 모델을 활용하여 산업 현장에서 수집된 데이터에 기초하여 사고 위험이 존재하는 상황을 예측하는 모델을 만들고 학습시키는 기능을 수행할 수 있다. 인공지능 학습부(3330)는 제 1 인공신경망을 객체 학습 데이터 세트에 기반하여 생성하고, 제 2 인공신경망을 행동 데이터 세트에 기반하여 생성할 수 있다. 여기서, 행동 데이터 세트는 시간에 대한 정보를 포함한다.The artificial
학습 데이터 생성부(3310)는 외부 소스 또는 영상 촬영부(1100)로부터 입력되는 인체 객체 형태, 이동형 중장비 객체 형태, 고정형 중장비 객체 형태, 차량 객체 형태, 및 장애물 형태에 관한 이미지 정보를 활용하여 산업 현장에서 예상 가능한 인체 객체 형태, 이동형 중장비 객체 형태, 고정형 중장비 객체 형태, 차량 객체 형태, 및 장애물 객체 형태를 모델화하여 복수의 학습 형태 데이터를 생성 및 축적할 수 있다.The learning
또한, 학습 데이터 생성부(3310)는 객체별 작업 동선, 이동 동선, 이동 속도 등의 정보를 활용하여 인체 객체의 이동 동선, 이동형 중장비 객체의 이동 동선, 고정형 중장비 객체의 이동 동선, 차량 객체의 이동 동선, 및 장애물 객체의 이동 동선을 모델화하여 복수의 학습 이동 동선 데이터를 생성 및 축적할 수 있다.In addition, the learning
인공지능 모델 학습부(3320)는 복수의 학습 형태 데이터와 복수의 학습 이동 동선 데이터에 대해 영상 촬영부(1100)를 통해 입력되는 이미지 정보를 이용하여 산업 현장에서 발생할 수 있는 날씨 변화, 주변 물체 변화, 시간에 기초한 색상 또는 음영 변화, 시간에 기초한 작업 현황과 같은 환경 변화를 반영하고 모델화하여 학습 복합 데이터 세트를 생성 및 축적할 수 있다.The artificial intelligence
인공지능 모델 생성부(3330)는 학습 데이터 생성부(3310)에서 생성된 학습 형태 데이터 및 학습 이동 동선 데이터와 인공지능 모델 학습부(3320)에서 생성된 학습 복합 데이터 세트를 기초로 학습하여 산업 현장에서 인체 객체 여부, 이동형 중장비 객체 여부, 고정형 중장비 객체 여부, 차량 객체 여부, 및 장애물 객체 여부를 결정하고, 인체 객체의 이동 동선, 이동형 중장비 객체의 이동 동선, 고정형 중장비 객체의 이동 동선, 차량 객체의 이동 동선, 및 장애물 객체의 이동 동선을 결정할 수 있는 학습된 이동 신경망을 생성하여 제공할 수 있다. 인공지능 모델 생성부(3330)는 인공지능 신경망인 합성곱신경망(CNN: Convolution Neural Network)과 순환신경망(RNN: Recurrent Neural Network)이 조합된 인공신경망 모델(인공지능형 판별 모델)을 생성할 수 있다.The artificial intelligence
이러한 딥러닝 기술과 관련해서는, 본 출원인의 선출원에 의한 한국등록특허 제10-2019031호 등 다수의 기술이 공지되어 있는 바, 본 발명의 간명한 설명을 위하여 자세한 설명은 생략하기로 한다.Regarding such deep learning technology, a number of technologies such as Korean Registered Patent No. 10-2019031 filed by the applicant of the present application are known, and detailed descriptions thereof will be omitted for concise description of the present invention.
데이터베이스부(1230)는 안전 관리 제어부(1200)가 수신하거나 안전 관리 제어부(1200)에서 생성되는 각종 데이터를 저장하는 구성이다.The
통신부(1240)는 안전 관리 제어부(1200)가 영상 촬영부(1100), 장비 제어부(1300), 위험알림부(1400) 또는 디스플레이부(1500)와 신호를 송수신하는 구성이다.The
도 6은 본 발명의 실시예에 따른 위험 알람부를 설명하기 위한 블록도이다.6 is a block diagram for explaining a danger alarm unit according to an embodiment of the present invention.
도 6을 참조하면, 위험 알람부(1400)는 스피커부(1410), 램프부(1420), 및 통신부(1430)를 포함한다.Referring to FIG. 6 , the
위험 알람부(1400)는 안전 관리 제어부(1200)로부터 사고 위험 신호를 수신하면, 사고 위험 경고 알람을 출력하는 구성이다.The
위험 알람부(1400)는 산업 현장에 위치한 이동형 중장비 객체(10, 30) 또는 고정형 중장비 객체(40)에 설치 또는 부착될 수 있다. 더 나아가, 필요에 따라 위험 알람부(1400)는 인체 객체(20), 차량 객체(50) 또는 장애물 객체(60)에 설치 또는 부착될 수 있고, 산업 현장의 구조물(벽체, 기둥, 천정) 등에 설치 또는 부착될 수도 있을 것이다.The
스피커부(1410)는 음성 또는 기계음 형태로 경고음을 다양한 방식(예: 경고음을 패턴화시키는 방식 등)으로 발산 출력하도록 구성될 수 있다.The
램프부(1420)는 경고빛을 다양한 방식(예: 점멸 패턴화시키는 방식, 색 변화 패턴화시키는 방식 등)으로 발광 출력하도록 구성될 수 있다. 예를 들어, 램프부(1420)는 산업 현장에 흔히 사용되는 경광등일 수도 있다.The
통신부(1430)는 안전 관리 제어부(1200)와 통신 가능하며, 사고 위험 판단 또는 사고 위험 예측 시 알람 송출을 제어하는 신호를 안전 관리 제어부(1200)로부터 수신할 수 있다.The
도 7은 본 발명의 실시예에 따른 디스플레이부를 설명하기 위한 블록도이다.7 is a block diagram for explaining a display unit according to an embodiment of the present invention.
도 7을 참조하면, 디스플레이부(1400)는 실시간 화면 표시부(1510), 이벤트 화면 표시부(1520), 통신부(1530)을 포함할 수 있다.Referring to FIG. 7 , the
디스플레이부(1400)는 안전 관리 제어부(1200)에서 수행되는 가상 좌표 평면 생성 기능, 객체 식별 기능, 거리 계산 기능, 위험 예측 기능, 위험 판단 기능 등의 결과를 상기 영상 촬영부(1100)의 스테레오 카메라(1110) 개별 개소에서 촬영되는 영상 위에 표시하여 시각적으로 디스플레이하는 구성이다. The
실시간 화면 표시부(1510)는 영상 촬영부(1100)의 스테레오 카메라(1110) 개별 개소에서 촬영되는 영상을 표시할 수 있다.The real-time
이벤트 화면 표시부(1520)는 안전 관리 제어부(1200)에서 수행되는 기능들의 결과를 표시할 수 있다.The event
통신부(1530)는 안전 관리 제어부(1200)와 통신 가능하며, 스테레오 카메라(1110)의 영상과 안전 관리 제어부(1200)에 수행되는 기능들의 결과 이벤트 영상을 안전 관리 제어부(1200)로부터 수신할 수 있다.The
디스플레이부(1400)는 산업 현장 통제실의 모니터일 수 있고(이때, 통제실 컴퓨터에는 안전 관리 제어부(1200)의 정보를 출력하는 소프트웨어가 설치될 수 있다.), 특정 이동형 중장비 객체(10)의 특정 부분(예: 운전석이 있는 경우의 핸들 옆 부분)에 설치된 모니터링 디스플레이기일 수도 있고, 다른 객체들에 설치된 모니터링 디스플레이기일 수도 있으며, 이밖에도 기 공지된 모니터링 디스플레이기 기술을 채용하여 다양한 방식으로 구현될 수 있을 것이다.The
한편, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)에서, 영상 촬영부(1100), 안전 관리 제어부(1200), 위험 알람부(1400), 및 디스플레이부(1500)는 하나의 임베디드 장치(Embedded device)로 설치될 수도 있을 것이다.On the other hand, in the industrial site
한편, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)에서, 통신부(1140, 1240, 1430, 1530) 간에는 유선 또는 무선 통신 방식(와이파이(Wife) 방식, 지그비(Zigbee) 방식, 지웨이브(Z-Wave) 방식, 블루투스(Bluetooth) 방식, 엔에프씨(NFC) 방식 등)이 적용될 수 있을 것이다.Meanwhile, in the industrial site
한편, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)의 각 구성에 인가되는 전원 공급에 대해서는 다수의 공지된 기술을 적용할 수 있으므로 자세한 설명을 생략한다.On the other hand, since a number of well-known techniques can be applied to the power supply applied to each component of the industrial site
도 8은 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템에 의해 수행되는 안전 관리 동작의 일 예를 설명하기 위한 순서도이고, 도 9는 본 발명의 실시예에 따른 인공신경망 모델 생성 동작의 일 예를 설명하기 위한 순서도이다. 전술한 바와 동일한 내용은 생략하고, 전체적인 동작 흐름을 간명하게 설명하기로 한다.8 is a flowchart illustrating an example of a safety management operation performed by an industrial site safety management system according to an embodiment of the present invention, and FIG. 9 is an artificial neural network model generation operation according to an embodiment of the present invention. It is a flow chart to explain an example. The same content as described above will be omitted, and the overall operation flow will be briefly described.
도 8 및 도 9를 참조하면, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 산업 현장에서 인체 객체 여부, 이동형 중장비 객체 여부, 고정형 중장비 객체 여부, 차량 객체 여부, 및 장애물 객체 여부 등의 객체 여부를 결정하고, 인체 객체의 이동 동선, 이동형 중장비 객체의 이동 동선, 고정형 중장비 객체의 이동 동선, 차량 객체의 이동 동선, 및 장애물 객체의 이동 동선을 결정하고, 인체 객체의 작업 상태, 이동형 중장비 객체의 작업 상태, 고정형 중장비 객체의 작업 상태, 차량 객체의 작업 상태의 작업 상태를 결정할 수 있도록 학습된 인공신경망(전술한 제 1 인공신경망 및 제 2 인공신경망을 포함)을 생성하는 단계(S111)를 수행한다.8 and 9, the industrial site
특히, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 인공신경망을 이용하여 객체뿐만 아니라 객체들의 이동 동선까지 확인할 수 있으므로, 사고 위험의 예측에까지 활용할 수 있다.In particular, the industrial site
보다 구체적으로, 도 9를 참조하여 S111 단계를 상세히 설명한다.More specifically, step S111 will be described in detail with reference to FIG. 9 .
본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 인공신경망 모델을 준비하는 단계(S210)를 수행할 수 있다.The industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 인공신경망 학습을 준비하는 단계를 수행(S220)할 수 있다.Subsequently, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 작업 프로세스, 작업 순서, 작업 동선 데이터를 입력받는 단계(S230)를 수행할 수 있다.Subsequently, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 노이즈를 제거하기 위한 데이터 화이트닝 단계(S240)를 수행할 수 있다.Subsequently, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 인공신경망 데이터로 인공신경망을 학습시키는 단계(S250)를 수행할 수 있다. 즉, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 입력된 데이터로 인공신경망 학습 동작을 반복하여 수행할 수 있다.Subsequently, the industrial site
본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 소정 기준 시간 또는 소정 기준량의 인공신경망 데이터로 인공신경망의 학습이 완료되면, 인공신경망의 생성을 완료하는 단계(S260)를 수행할 수 있다.The
S111 단계에 이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 산업 현장을 맵 형태로 도식화한 가상 좌표 평면을 생성하는 단계(S113)를 수행할 수 있다. 여기서, 가상 좌표 평면은 산업 현장에 배치된 객체의 배치를 위한 공간이다.Following step S111, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 스테레오 카메라(1110)의 촬영 영상 및 객체들의 각종 센싱갑을 수집하는 단계(S115)를 수행할 수 있다.Next, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 영상 정보를 화이트닝하는 단계(S117)를 수행할 수 있다. S117 단계는 영상 내에서 객체와 같이 사고 감지를 위해 필요한 데이터를 추출하고, 나머지 불필요한 데이터를 제거하는 단계이다.Next, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 영상으로부터 객체 위치, 이동 방향, 및 이동 속도를 식별하는 단계(S119)를 수행할 수 있다. 이동하는 객체의 경우, 소정 시간 구간 동안 촬영된 영상을 분석하면, 이동 중인 객체의 위치, 이동 방향, 및 이동 속도를 정확히 확인할 수 있다.Subsequently, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 가상 좌표 평면에 촬영된 영상으로부터 식별된 객체를 배치하는 단계(S121)를 수행할 수 있다. 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 가상 좌표 평면에 배치된 객체들로부터 객체 간의 거리를 확인할 수 있다. 또한, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 가상 좌표 평면 상에서 시간의 흐름에 따라 촬영된 영상을 이용하면, 산업 현장에 있는 객체의 이동 동작 및 작업 동작을 확인할 수도 있다.Subsequently, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 가상 공간 좌표 상의 객체 간의 거리를 계산하여 위험 판단을 수행할지 확인하는 단계(S123)를 수행할 수 있다. Subsequently, the
S123단계의 확인 결과, 위험 판단을 수행하도록 판단한 경우, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 객체별 거리 계산을 위해 S125단계로 진행할 수 있다.As a result of the confirmation in step S123, if it is determined to perform the risk determination, the industrial site
이때, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 가상 좌표 평면 상에서 객체 별로 위치한 위치 좌표를 확인하고, 객체 간 거리를 계산하는 단계(S125)를 수행할 수 있다.At this time, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 객체들이 소정 거리 이내에 위치한 경우, 충돌 등의 사고 위험이 존재하는지 판단(S127)할 수 있으며, 위험이 판단된 경우, 위험을 경고하는 단계(S135)를 수행할 수 있다.Next, the industrial site
S123단계의 확인 결과, 위험 판단을 수행하도록 판단하지 않은 경우, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 이동 동선과 작업 상태에 기초하여 위험 예측을 위해 S129단계로 진행할 수 있다.As a result of the confirmation in step S123, if it is not determined to perform the risk determination, the industrial site
이때, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 객체들 각각의 작업 프로세스를 분석하는 단계(S127)를 수행할 수 있다. 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 산업 현장에서의 객체 별 작업 기록을 분석할 수 있다.At this time, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 객체들 각각의 이동 동선을 예측하는 단계(S131)를 수행할 수 있다. 이때, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 인공신경망 모델 학습 등을 통해 생성된 인공신경망을 이용할 수 있다. 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 객체 별 이동 동선과 작업 상태의 분석을 통해 사고 위험을 예측할 수 있다. 즉, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 객체들 각각의 위치, 이동 방향, 이동 속도 등을 종합적으로 분석하여 다음 시간대에 이루어지는 이동 동선 내지는 작업 상황을 미리 예측할 수 있다.Subsequently, the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 사고 위험을 예측하면, 위험을 경고하는 단계(S135)를 수행할 수 있다.Next, if the industrial site
이어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 동작을 종료할지 판단하는 단계(S137)를 수행할 수 있다. S137단계의 판단결과, 동작을 종료하지 않는 경우, 안전 관리 시스템(1000)은 S115단계로 진행하고, 동작을 종료하는 경우, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 동작을 종료할 수 있다.Subsequently, the industrial site
도 10은 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템의 안전 관리 동작의 일 예를 설명하기 위한 개념도이다. 전술한 바와 동일한 내용은 생략하고, 전체적인 동작 관계를 간명하게 설명하기로 한다.10 is a conceptual diagram for explaining an example of a safety management operation of an industrial site safety management system according to an embodiment of the present invention. The same contents as described above will be omitted, and the overall operational relationship will be briefly described.
도 10을 참조하면, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템 (1000)은 가상 좌표 평면을 포함한 가상 좌표 공간(100)을 생성할 수 있다.Referring to FIG. 10 , the industrial site
본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 영상 촬영부(1100)에서 촬영된 영상을 이용하여 가상 좌표 공간(100)에 이동형 중장비 객체(110, 120, 130), 고정형 중장비 객체(140), 차량 객체(150), 및 인체 객체(160, 170)를 배치할 수 있다.The
예를 들어, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 인공신경망을 이용하여 이동형 중장비 객체(110)인 불도저의 이동 동선(111)을 예측할 수 있고, 사람 객체(160)의 이동 동선(161)을 예측할 수 있다. 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 이동형 중장비 객체(110)와 사람 객체(160)의 이동 동선(111, 161)이 소정 시간 이내에 겹쳐져 사고 위험을 예측하면, 사고 위험 알람 신호를 이용하여 사고 위험을 이동형 중장비 객체(110)의 운전자 또는 사람 객체(160)로 안내할 수 있다. 또한, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 이동형 중장비 객체(110)의 구동 동작 또는 작업 동작을 일시적으로 정지하도록 이동형 중장비 객체(110)의 구동 모듈 또는 작업 모듈을 직접 제어할 수도 있다.For example, the
한편, 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 고정형 중장비 객체(140)를 기준으로 하는 작업 반경을 낙하물 등이 발생할 수 있는 위험 구역(141)으로 설정할 수 있다. 본 발명의 실시예에 따른 산업 현장의 안전 관리 시스템(1000)은 이동형 중장비 객체(110, 120, 130), 차량 객체(150), 및 사람 객체(160, 170)가 위험 구역(141) 내에 접근하거나 위치하면, 사고 위험 알람 신호를 송신할 수도 있다.Meanwhile, the industrial site
이상에서와 같이, 본 발명에 의한 산업 현장의 안전 관리 시스템은 산업 현장에 설치된 카메라에서 촬영된 영상을 분석하여 획득된 객체를 가상 좌표 평면 상에 배치하여 이동형 중장비 객체, 고정형 중장비 객체, 인체 객체, 차량 객체, 및 장애물 객체 간의 사고 위험 여부를 예측하거나 판단하여 사고 위험을 경고함으로써 산업 현장의 작업 안정성을 향상시키고, 산업 현장에서 획득된 다양한 정보를 사용하여 객체의 이동 동선과 작업 상태를 사고 위험 예측에 활용하고 인공신경망을 활용하여 사고 위험 여부를 다양한 관점으로 예측할 수 있어 산업 현장의 작업 안정성을 더욱 향상시킨다As described above, the safety management system of the industrial site according to the present invention analyzes the image taken by the camera installed in the industrial site and arranges the acquired object on the virtual coordinate plane to obtain a mobile heavy equipment object, a fixed heavy equipment object, a human body object, It predicts or determines whether there is an accident risk between a vehicle object and an obstacle object, warns of the risk of an accident, improves work safety in the industrial site, and predicts the movement of objects and work conditions by using various information obtained from the industrial site. Using artificial neural networks, it is possible to predict the risk of accidents from various perspectives, further improving work stability in industrial sites.
상술한 바와 같이, 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 기초로 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해해야 한다. 따라서 본 발명의 진정한 기술적 보호범위는 이하 기술할 청구범위에 의하며, 상술한 발명의 구체적 내용을 토대로 정해져야 할 것이다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, but this is only exemplary, and various modifications and equivalent other embodiments are possible based on common knowledge in the field to which the technology belongs. should understand Therefore, the true technical protection scope of the present invention is based on the claims to be described below, and should be determined based on the specific contents of the above-described invention.
본 발명은 산업 현장의 안전 관리 시스템에 관한 것으로, 산업 현장의 안전과 관련된 산업 분야에 이용 가능하다.The present invention relates to a safety management system in an industrial site, and can be used in industrial fields related to safety in an industrial site.
10, 30, 110, 120, 130: 이동형 중장비 객체
20, 160, 170: 인체 객체
40, 140: 고정형 중장비 객체
50, 150: 차량 객체
60: 장애물 객체
100: 가상 좌표 공간
1000: 산업 현장의 안전 관리 시스템
1100: 영상 촬영부 1110: 스테레오 카메라
1111: 제 1 카메라 1112: 제 2 카메라
1120: 영상 처리부 1130: 데이터베이스부
1140: 통신부
1200: 안전 관리 제어부 1210: 위험 관리 제어부
1220: 인공지능부 1230: 데이터베이스부
1240: 통신부
1300: 장비 제어부
1400: 위험 알람부 1410: 스피커부
1420: 램프부 1430: 통신부
1500: 디스플레이부 1510: 실시간 화면 처리부
1520: 이벤트 화면 처리부 1530: 통신부
2100: 가상 공간 관리부 2110: 카메라 좌표 계산부
2120: 좌표 평면 관리부 2130: 객체 관리부
2140: 위험 판단부 2150: 위험 구역 판단부
2200: 영상 관리부 2210: 영상 화이트닝부
2220: 영상 후처리부
2300: 위험 조치부 2310: 장비 구동 제어부
2320: 알람 장비 제어부
3100: 인공지능 판단부 3110: 객체 식별부
3120: 객체 추적부 3130: 거리 계산부
3200: 인공지능 예측부 3210: 경로 예측부
3220: 위험 예측부
3300: 인공지능 학습부 3310: 학습 데이터 생성부
3320: 인공지능 모델 학습부 3330: 인공지능 모델 생성부10, 30, 110, 120, 130: mobile heavy equipment object
20, 160, 170: human body object
40, 140: fixed heavy equipment object
50, 150: vehicle object
60: obstacle object
100: virtual coordinate space
1000: Safety management system in industrial sites
1100: video recording unit 1110: stereo camera
1111: first camera 1112: second camera
1120: image processing unit 1130: database unit
1140: communication department
1200: safety management control unit 1210: risk management control unit
1220: artificial intelligence unit 1230: database unit
1240: communication department
1300: equipment control unit
1400: danger alarm unit 1410: speaker unit
1420: lamp unit 1430: communication unit
1500: display unit 1510: real-time screen processing unit
1520: event screen processing unit 1530: communication unit
2100: virtual space management unit 2110: camera coordinate calculation unit
2120: coordinate plane management unit 2130: object management unit
2140: risk determination unit 2150: danger zone determination unit
2200: image management unit 2210: image whitening unit
2220: image post-processing unit
2300: risk management unit 2310: equipment driving control unit
2320: alarm equipment control unit
3100: artificial intelligence determination unit 3110: object identification unit
3120: object tracking unit 3130: distance calculation unit
3200: artificial intelligence prediction unit 3210: path prediction unit
3220: risk prediction unit
3300: artificial intelligence learning unit 3310: learning data generation unit
3320: artificial intelligence model learning unit 3330: artificial intelligence model generation unit
Claims (10)
상기 영상 촬영부에서 촬영되는 영상을 분석하여 가상 좌표 평면을 포함한 가상 좌표 공간을 생성하고, 상기 영상 촬영부에서 촬영되는 영상에서 객체를 식별하여 상기 가상 좌표 공간 상에 배치한 후, 배치된 객체 간의 거리를 계산하여 계산된 값이 미리 결정된 소정 거리값 미만이면 해당 객체 간에 사고 위험이 있는 것으로 판단하여 사고 위험 신호를 송신하는 안전 관리 제어부; 및
상기 안전 관리 제어부로부터 사고 위험 신호를 수신하면, 사고 위험 경고 알람을 출력하는 위험 알람부;
를 포함하는 산업 현장의 안전 관리 시스템.
An image capture unit including at least one stereo camera including a first camera and a second camera;
An image captured by the image capturing unit is analyzed to create a virtual coordinate space including a virtual coordinate plane, objects are identified in the image captured by the image capturing unit, and objects are placed on the virtual coordinate space, and then the arranged objects are separated. A safety management control unit that calculates the distance and transmits an accident risk signal by determining that there is an accident risk between corresponding objects when the calculated value is less than a predetermined distance value; and
a danger alarm unit outputting an accident danger warning alarm when receiving an accident danger signal from the safety management control unit;
A safety management system for industrial sites that includes a.
객체 별 이동 동선을 예측하고 객체 별 작업 상태를 확인하여 사고 위험 상황을 예측하고, 사고 위험 상황을 예측하면 사고 위험 알람 신호를 송신하는 것을 특징으로 하는 산업 현장의 안전 관리 시스템.
The method of claim 1, wherein the safety management control unit,
A safety management system at an industrial site, characterized in that it predicts the moving line of each object, checks the work status of each object, predicts an accident risk situation, and transmits an accident risk alarm signal when the accident risk situation is predicted.
인공신경망 모델에 기초하여 객체 간에 사고 위험을 판단하고 사고 위험 상황을 예측하는 것을 특징으로 하는 산업 현장의 안전 관리 시스템.
The method of claim 2, wherein the safety management control unit,
An industrial safety management system characterized in that it determines the risk of an accident between objects and predicts an accident risk situation based on an artificial neural network model.
제 1 인공신경망에 기초하여 산업 현장 내 객체를 식별하고, 객체들 간의 거리를 계산하는 인공지능 판단부;
제 2 인공신경망에 기초하여 이동 동선과 작업 상태의 흐름을 분석하여 사고 위험을 예측하는 인공지능 예측부; 및
상기 제 1 인공신경망을 객체 학습 데이터 세트에 기반하여 생성하고, 상기 제 2 인공신경망을 행동 데이터 세트에 기반하여 생성하는 인공지능 학습부;
를 포함하는 것을 특징으로 하는 산업 현장의 안전 관리 시스템.
The method of claim 3, wherein the safety management control unit,
An artificial intelligence determination unit for identifying objects in the industrial site based on the first artificial neural network and calculating a distance between the objects;
An artificial intelligence predictor for predicting the risk of an accident by analyzing the flow of movement and work conditions based on the second artificial neural network; and
an artificial intelligence learning unit generating the first artificial neural network based on an object learning data set and generating the second artificial neural network based on a behavioral data set;
Industrial site safety management system comprising a.
객체 형태를 분석할 수 있는 합성곱신경망(CNN) 기반의 인공신경망인 것을 특징으로 하는 산업 현장의 안전 관리 시스템.
The method of claim 4, wherein the first artificial neural network,
An industrial site safety management system, characterized in that it is a convolutional neural network (CNN)-based artificial neural network capable of analyzing object shapes.
객체의 이동 동선 및 작업 상태를 분석하여 예측값을 도출하는 트랜스포머(Transformer) 기반의 인공신경망인 것을 특징으로 하는 산업 현장의 안전 관리 시스템.
The method of claim 4, wherein the second artificial neural network,
An industrial site safety management system characterized in that it is a transformer-based artificial neural network that derives a predicted value by analyzing the moving line and work state of an object.
가상 좌표 공간 상에 산업 현장의 위험 구역을 설정하고 객체가 위험 구역에 객체 접근하거나 위치하면 사고 위험 알람 신호를 송신하는 것을 특징으로 하는 산업 현장의 안전 관리 시스템.
The method of claim 1, wherein the safety management control unit,
A safety management system for an industrial site, characterized in that it sets a danger zone of the industrial site on a virtual coordinate space and transmits an accident risk alarm signal when an object approaches or is located in the danger zone.
이동형 중장비 객체, 다른 이동형 중장비 객체, 고정형 중장비 객체 및 차량 객체 중 적어도 어느 하나에 구비되어 상기 안전 관리 제어부로부터 사고 위험 알람 신호를 수신하면 해당 객체의 구동 동작 또는 작업 동작을 중단시키는 장비 제어부;
를 더 포함하는 것을 특징으로 하는 산업 현장의 안전 관리 시스템.
According to claim 1,
An equipment controller that is provided in at least one of a mobile heavy equipment object, another mobile heavy equipment object, a fixed heavy equipment object, and a vehicle object to stop a driving operation or work operation of the corresponding object when an accident risk alarm signal is received from the safety management control unit;
Safety management system of the industrial site, characterized in that it further comprises.
상기 안전 관리 제어부에서 수행되는 기능의 결과를 상기 영상 촬영부에서 촬영되는 영상 위에 표시하여 시각적으로 디스플레이하는 디스플레이부;
를 더 포함하는 것을 특징으로 하는 산업 현장의 안전 관리 시스템.
According to claim 1,
a display unit for visually displaying the result of the function performed by the safety management control unit by displaying it on the image captured by the image capturing unit;
Safety management system of the industrial site, characterized in that it further comprises.
경고음을 발산 출력하는 스피커부; 및
경고빛을 발광 출력하는 램프부;
중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 산업 현장의 안전 관리 시스템.The method of claim 1, wherein the danger alarm unit,
A speaker unit for emitting and outputting a warning sound; and
A lamp unit for emitting and outputting warning light;
Industrial site safety management system, characterized in that it comprises at least one or more of.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210193537A KR20230103002A (en) | 2021-12-30 | 2021-12-30 | System for managing safety in industrial site |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210193537A KR20230103002A (en) | 2021-12-30 | 2021-12-30 | System for managing safety in industrial site |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230103002A true KR20230103002A (en) | 2023-07-07 |
Family
ID=87154055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210193537A KR20230103002A (en) | 2021-12-30 | 2021-12-30 | System for managing safety in industrial site |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230103002A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797031A (en) * | 2023-08-25 | 2023-09-22 | 深圳市易图资讯股份有限公司 | Safety production management method and system based on data acquisition |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160127881A (en) | 2015-04-27 | 2016-11-07 | 현대중공업 주식회사 | A managing system for working machine and a method for the same |
| KR101695904B1 (en) | 2016-03-16 | 2017-01-16 | 부산대학교산학협력단 | System for tracking location of construction equipments using beacon and receiver, and method for the same |
| KR101736158B1 (en) | 2015-04-22 | 2017-05-17 | (주)대우건설 | Safety management system using smart information-transmission device in construction sites and method performing thereof |
-
2021
- 2021-12-30 KR KR1020210193537A patent/KR20230103002A/en not_active Application Discontinuation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101736158B1 (en) | 2015-04-22 | 2017-05-17 | (주)대우건설 | Safety management system using smart information-transmission device in construction sites and method performing thereof |
| KR20160127881A (en) | 2015-04-27 | 2016-11-07 | 현대중공업 주식회사 | A managing system for working machine and a method for the same |
| KR101695904B1 (en) | 2016-03-16 | 2017-01-16 | 부산대학교산학협력단 | System for tracking location of construction equipments using beacon and receiver, and method for the same |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797031A (en) * | 2023-08-25 | 2023-09-22 | 深圳市易图资讯股份有限公司 | Safety production management method and system based on data acquisition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109313829B (en) | Indirect electronic badge tracking | |
| CN109311650B (en) | Electronic badge for authenticating and tracking industrial vehicle operator | |
| JP6898394B2 (en) | Vehicle automatic driving control assist method, vehicle automatic driving control assist device, equipment, computer readable storage medium and lane cooperation system | |
| CN109311649B (en) | Application of electronic badge in aisle overtaking action | |
| Hwang | Ultra-wide band technology experiments for real-time prevention of tower crane collisions | |
| US11748836B2 (en) | Construction site safety management apparatus | |
| CN109416774B (en) | Electronic badge as a conversation marker | |
| JP2018152056A (en) | Risk-based driver assistance for approaching intersections with limited visibility | |
| JP2019109879A (en) | Multisensor safety route system for autonomous vehicles | |
| KR20130094533A (en) | Collision prevention system of mobile robot in unknown environment and method thereof | |
| US11410526B2 (en) | Dynamic rollover zone detection system for mobile machinery | |
| Golovina et al. | Towards autonomous cloud-based close call data management for construction equipment safety | |
| Wang et al. | Two 4D models effective in reducing false alarms for struck-by-equipment hazard prevention | |
| KR20210139297A (en) | Construction machinery, support system | |
| KR20230103002A (en) | System for managing safety in industrial site | |
| KR102519875B1 (en) | Collision warning system for industrial site | |
| US20210407298A1 (en) | Mine collision detection and avoidance | |
| WO2022003064A1 (en) | Collision detection and avoidance inside a mine | |
| CN114572243A (en) | Target object detection device and vehicle equipped with the same | |
| Dersten et al. | Analysis of the information needs of an autonomous hauler in a quarry site | |
| JP2024049991A (en) | Underground work safety management system | |
| Liu et al. | Check for updates Edge Computing-Based Real-Time Blind Spot Monitoring System for Tower Cranes in Construction | |
| JP7369375B1 (en) | Management support system for buildings or civil engineering structures | |
| EP3933530A1 (en) | Collision detection and avoidance inside a mine | |
| TW202232448A (en) | Information processing system, and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |