KR102512792B1 - Black box system for industrial sites - Google Patents

Black box system for industrial sites Download PDF

Info

Publication number
KR102512792B1
KR102512792B1 KR1020210182430A KR20210182430A KR102512792B1 KR 102512792 B1 KR102512792 B1 KR 102512792B1 KR 1020210182430 A KR1020210182430 A KR 1020210182430A KR 20210182430 A KR20210182430 A KR 20210182430A KR 102512792 B1 KR102512792 B1 KR 102512792B1
Authority
KR
South Korea
Prior art keywords
data
unit
risk
facility
reproduction
Prior art date
Application number
KR1020210182430A
Other languages
Korean (ko)
Inventor
손명준
Original Assignee
손명준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 손명준 filed Critical 손명준
Priority to KR1020210182430A priority Critical patent/KR102512792B1/en
Application granted granted Critical
Publication of KR102512792B1 publication Critical patent/KR102512792B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

The present invention relates to an industrial black box system which comprises: a data collection unit for collecting data; a data storage unit for storing the collected data; a black box including a real-time risk detection unit that compares the data stored in the data storage unit with a risk behavior detection model provided from the outside to stop a facility operation of an industrial site or issues a risk warning according to a comparison result; and a reproduction simulation processing unit for mapping and displaying a result of modeling a facility of an industrial site and the data stored in the data storage unit of the black box in one-to-one correspondence with the black box.

Description

산업용 블랙박스 시스템{Black box system for industrial sites}Industrial black box system {Black box system for industrial sites}

본 발명은 산업용 블랙박스 시스템에 관한 것으로, 더 상세하게는 산업 현장에서 안전사고를 예방 및 분석할 수 있는 산업용 블랙박스 시스템에 관한 것이다.The present invention relates to an industrial black box system, and more particularly, to an industrial black box system capable of preventing and analyzing safety accidents at industrial sites.

일반적으로, 제조 현장에서는 보호 설비의 미비 또는 작업자의 부주의에 의해 안전사고가 매우 잦은 빈도로 발생하고 있다.In general, safety accidents occur with a very high frequency at manufacturing sites due to insufficient protection facilities or carelessness of workers.

이와 같은 제조 현장에서의 안전 사고의 발생을 감시 및 예방하기 위한 기술들이 제안되었다.Technologies for monitoring and preventing the occurrence of safety accidents at manufacturing sites have been proposed.

산업 현장에서 안전 사고 발생의 감시 및 예방을 위한 대부분의 종래 기술들은 등록특허 10-0846829호(2008년 7월 10일 등록, 제조업의 산업안전재해 감시 시스템)와 같이 작업자의 생체 신호를 검출하는 휴대용 감지수단을 사용하는 방식을 사용한다.Most of the conventional technologies for monitoring and preventing safety accidents at industrial sites are portable devices that detect workers' vital signs, such as Registered Patent No. 10-0846829 (registered on July 10, 2008, Industrial Safety and Hazard Monitoring System for Manufacturing). A method using detection means is used.

좀 더 구체적으로 휴대용 감지수단에서 검출된 생체신호나 주변의 환경정보를 제어수단으로 제공하고, 제어수단에서 수신된 정보들을 이용하여 분석하여 안전사고 발생 위험을 경고하는 방식을 취하고 있다.More specifically, the biosignal detected by the portable sensing means or the surrounding environment information is provided to the control means, and the information received from the control means is analyzed to warn of the risk of safety accidents.

그러나 이러한 종래 방식들은 반드시 휴대용 감지수단이 필요하기 때문에 휴대용 감지수단(예를 들어 스마트폰 등 개인휴대단말)의 전원 관리, 상태 관리가 요구된다.However, since these conventional methods necessarily require portable sensing means, power management and state management of portable sensing means (for example, personal portable terminals such as smart phones) are required.

즉, 작업자 개인이 휴대하는 휴대용 감지수단이 사용 불가능한 경우에는 전체 시스템을 운영할 수 없다는 문제점이 발생하게 된다.That is, when the portable sensing means carried by the individual worker is unusable, a problem arises in that the entire system cannot be operated.

또한, 개인 휴대용 감지수단을 사용하기 때문에 개인의 위치정보나 기타 개인정보가 유출될 수 있으며, 따라서 개인 정보 보호가 가능한 새로운 시스템이 요구되고 있다.In addition, since personal portable sensing means are used, personal location information or other personal information may be leaked, and thus a new system capable of protecting personal information is required.

상기와 같은 문제점을 감안한 본 발명의 목적은, 개인 정보 보호가 가능한 산업용 블랙박스 시스템을 제공함에 있다. An object of the present invention in view of the above problems is to provide an industrial black box system capable of protecting personal information.

또한, 본 발명의 다른 목적은 작업자에 대한 안전사고의 발생을 예방할 뿐만 아니라 산업 현장의 설비들의 상태를 감시하고, 사고 발생 당시의 상황을 그대로 재현할 수 있는 산업용 블랙박스 시스템을 제공함에 있다.In addition, another object of the present invention is to provide an industrial black box system capable of preventing safety accidents to workers, monitoring the state of facilities at industrial sites, and reproducing the situation at the time of an accident as it is.

상기와 같은 기술적 과제를 해결하기 위한 본 발명 산업용 블랙박스 시스템은, 데이터를 수집하는 데이터 수집부와, 수집된 데이터를 저장하는 데이터 저장부와, 상기 데이터 저장부에 저장된 데이터와 외부에서 제공되는 위험 행동 감지 모델을 비교하여, 비교 결과에 따라 산업 현장의 설비 가동을 중단시키거나 위험 경고를 수행하는 실시간 위험 감지부를 포함하는 블랙박스와, 상기 블랙박스와 일대일 대응하여, 산업 현장의 설비를 모델링한 결과와 상기 블랙박스의 데이터 저장부에 저장된 데이터를 매핑하여 표시하는 재현 시뮬레이션 처리부를 포함한다.The industrial black box system of the present invention for solving the above technical problem is a data collection unit for collecting data, a data storage unit for storing the collected data, and the data stored in the data storage unit and the risk provided from the outside. A black box including a real-time risk detection unit that compares behavior detection models and stops the operation of industrial facilities or warns of danger according to the comparison result, and models industrial facilities in one-to-one correspondence with the black box. and a reproduction simulation processing unit for mapping and displaying the result and the data stored in the data storage unit of the black box.

본 발명의 실시예에서, 상기 위험 행동 감지 모델은, 위험 행동 빅데이터를 이용하여 학습을 수행하고, 검증하는 감지 모델 생성부에서 생성된 것으로 할 수 있다.In an embodiment of the present invention, the risk behavior detection model may be generated by a detection model generation unit that performs learning and verification using risk behavior big data.

본 발명의 실시예에서, 상기 감지 모델 생성부는, 행동 영상 빅데이터에서 위험 행동을 추출하여, 학습용 데이터와 평가용 데이터를 생성하고, 상기 학습용 데이터로 학습하여 위험 행동 감지 모델을 생성한 후, 평가용 데이터를 이용하여 위험 행동 감지 모델을 평가하여, 평가 결과가 기준값 이상인 위험 행동 감지 모델을 선정할 수 있다.In an embodiment of the present invention, the detection model generation unit extracts risky behaviors from behavioral image big data, generates learning data and evaluation data, learns with the learning data to create a risky behavior detection model, and evaluates A risk behavior detection model may be evaluated using the data for risk behavior detection, and a risk behavior detection model having an evaluation result of a reference value or higher may be selected.

본 발명의 실시예에서, 위험 행동 감지 모델은 영상 모델이며, 상기 데이터 저장부에 저장된 영상 데이터와 비교하여, 영상 데이터와 위험 행동 감지 모델의 유사도를 구하고, 유사도에 따라 위험 정도를 판단할 수 있다.In an embodiment of the present invention, the risk behavior detection model is an image model, and the similarity between the image data and the risk behavior detection model is obtained by comparing with the image data stored in the data storage unit, and the degree of risk can be determined based on the similarity. .

본 발명의 실시예에서, 상기 데이터 수집부에서 수집되는 데이터는, 설비 가동 정보 데이터, 영상 정보 데이터 및 음향 정보 데이터이며, 설비 가동 정보 데이터는, PLC, 설비의 제어패널, 관리를 위한 컴퓨팅 장치 또는 모니터링 장치와 통신하여 수집할 수 있다.In an embodiment of the present invention, the data collected by the data collection unit is facility operation information data, video information data, and sound information data, and the facility operation information data is a PLC, a control panel of facilities, a computing device for management, or It can be collected by communicating with the monitoring device.

본 발명의 실시예에서, 상기 데이터 수집부에서 수집되는 데이터는, 설비 가동 정보 데이터, 영상 정보 데이터 및 음향 정보 데이터이며, 영상 정보 데이터와 음향 정보 데이터는, 산업 현장의 요소마다 설치된 카메라와 마이크를 통해 수집할 수 있다.In an embodiment of the present invention, the data collected by the data collection unit is equipment operation information data, video information data, and sound information data, and the video information data and sound information data include cameras and microphones installed for each element of the industrial site. can be collected through

본 발명의 실시예에서, 상기 블랙박스는, 상기 데이터 저장부에 저장된 데이터 중 저장 기간이 경과한 데이터를 삭제하는 데이터 처리부를 더 포함할 수 있다.In an embodiment of the present invention, the black box may further include a data processor for deleting data whose storage period has elapsed among data stored in the data storage unit.

본 발명의 실시예에서, 상기 실시간 위험 감지부는, 위험 행동 기준값을 설정하는 위험 행동 기준값 설정부와, 상기 데이터 저장부에 저장된 영상 데이터와 상기 위험 행동 감지 모델을 비교한 결과가 상기 위험 행동 기준값 이상인 경우 위험 행동 검출된 것으로 판단하는 위험 행동 판단부를 포함할 수 있다.In an embodiment of the present invention, the real-time risk detection unit compares the risk behavior reference value setting unit for setting the risk behavior reference value with the image data stored in the data storage unit and the risk behavior detection model. may include a risk behavior determination unit that determines that a risk behavior has been detected.

본 발명의 실시예에서, 상기 실시간 위험 감지부는, 상기 위험 행동 판단부의 판단결과 위험 행동으로 판단되면, 경광등을 제어하는 경광등 출력부를 더 포함할 수 있다.In an embodiment of the present invention, the real-time risk detection unit may further include a warning light output unit for controlling a warning light when the dangerous behavior is determined as a risky behavior as a result of the determination of the risk behavior determining unit.

본 발명의 실시예에서, 상기 위험 행동 기준값은, 위험 기준값과 경고 기준값을 포함하며, 상기 경광등 출력부는 위험 기준값을 초과하는 위험 행동이 있는 경우와 상기 위험 기준값보다 작고 경고 기준값 이상인 경우 표시되는 경광등의 색상을 다르게 제어할 수 있다.In an embodiment of the present invention, the risk behavior reference value includes a risk reference value and a warning reference value, and the warning light output unit outputs a warning light displayed when there is a risk behavior exceeding the risk reference value and when the risk behavior is less than the risk reference value and is greater than the warning reference value. Colors can be controlled differently.

본 발명의 실시예에서, 상기 실시간 위험 감지부는, 영상 데이터와 위험 행동 감지 모델을 비교한 결과가 위험 기준값을 초과하는 경우, 설비를 정지시키는 설비 정지 명령 출력부를 더 포함할 수 있다.In an embodiment of the present invention, the real-time risk detection unit may further include a facility stop command output unit for stopping the facility when a result of comparing the image data and the risk behavior detection model exceeds a risk reference value.

본 발명의 실시예에서, 재현 시뮬레이션 처리부는, 설비 재현 모델을 생성하여 저장하는 설비 재현 모델 편집부와, 설비 상황을 화면에 재현하는 설비 상황 재현부를 포함할 수 있다.In an embodiment of the present invention, the reproduction simulation processing unit may include a facility reproduction model editing unit for generating and storing a facility reproduction model, and a facility situation reproduction unit for reproducing equipment conditions on a screen.

본 발명은, 영상 센서 및 음향 센서들을 사용하여 제조 현장의 요소들에 대한 영상 및 음향 데이터를 취득함과 아울러 당시 설비의 동작 상태를 취득하여 저장하되, 저장된 데이터를 이용한 재현시 작업자의 영상 및 음성을 시뮬레이션 영상으로 대체하여 개인 정보의 유출을 방지할 수 있는 효과가 있다.The present invention acquires video and audio data for elements of a manufacturing site using image sensors and acoustic sensors, acquires and stores the operational state of equipment at the time, and reproduces the video and audio of workers using the stored data. is replaced with a simulation image to prevent leakage of personal information.

또한, 이전의 사고 발생 데이터를 학습하고, 현재 취득되는 영상, 음향 데이터 및 설비 상태 데이터를 비교하여 사고 발생 위험을 판단하고, 경고함으로써, 안전 사고의 발생을 방지할 수 있는 효과가 있다.In addition, there is an effect of preventing the occurrence of safety accidents by learning previous accident occurrence data, comparing currently acquired video, audio data, and facility state data to determine the risk of an accident and giving a warning.

도 1은 본 발명의 바람직한 실시예에 따른 산업용 블랙박스 시스템의 구성도이다.
도 2는 본 발명의 블랙박스를 이용한 위험 알림 방법의 순서도이다.
도 3은 데이터 처리부의 처리 순서도이다.
도 4는 재현 시뮬레이션 처리부의 상세 구성도이다.
도 5는 매핑 과정 설명을 위한 예시도이다.
도 6은 본 발명의 설비 재현 모델 편집부의 동작 순서도이다.
도 7은 설비 상황을 재현하는 과정의 순서도이다.
도 8은 재현 화면의 예시도이다.
1 is a block diagram of an industrial black box system according to a preferred embodiment of the present invention.
2 is a flowchart of a risk notification method using a black box of the present invention.
3 is a processing flow chart of a data processing unit.
4 is a detailed configuration diagram of a reproduction simulation processing unit.
5 is an exemplary diagram for explaining a mapping process.
6 is an operational flowchart of the facility reproduction model editing unit of the present invention.
7 is a flow chart of a process of reproducing a facility situation.
8 is an exemplary diagram of a reproduction screen.

본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라, 여러가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 단지, 본 실시예에 대한 설명은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다. 첨부된 도면에서 구성요소는 설명의 편의를 위하여 그 크기를 실제보다 확대하여 도시한 것이며, 각 구성요소의 비율은 과장되거나 축소될 수 있다.In order to fully understand the configuration and effects of the present invention, preferred embodiments of the present invention will be described with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, and may be implemented in various forms and various changes may be made. However, the description of the present embodiment is provided to complete the disclosure of the present invention and to completely inform those skilled in the art of the scope of the invention to which the present invention belongs. In the accompanying drawings, the size of the components is enlarged from the actual size for convenience of description, and the ratio of each component may be exaggerated or reduced.

'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.Terms such as 'first' and 'second' may be used to describe various elements, but the elements should not be limited by the above terms. The above terms may only be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a 'first element' may be named a 'second element', and similarly, a 'second element' may also be named a 'first element'. can Also, singular expressions include plural expressions unless the context clearly indicates otherwise. Terms used in the embodiments of the present invention may be interpreted as meanings commonly known to those skilled in the art unless otherwise defined.

도 1은 본 발명의 바람직한 실시예에 따른 산업용 블랙박스 시스템의 블록 구성도이다.1 is a block diagram of an industrial black box system according to a preferred embodiment of the present invention.

도 1을 참조하면 본 발명은, 위험 행동에 대한 다양한 영상 데이터를 이용하여 학습하고, 사고 발생 조건에서 위험 행동 패턴을 분석하여 위험 행동 감지 모델을 생성하는 감지 모델 생성부(200)와, 영상, 음향, 설비 가동에 대한 정보 데이터를 수집하고 저장하며, 상기 위험 행동 감지 모델과 저장된 영상 데이터를 비교하여 실시간 위험 행동을 감지하고 처리하는 블랙박스(100)와, 사용자 조작에 따라 상기 블랙박스(100)에 저장된 데이터를 이용하여 특정 시점에서의 상황을 시뮬레이션 처리하여 표시하는 재현 시뮬레이션 처리부(300)를 포함할 수 있다.Referring to FIG. 1 , the present invention includes a detection model generation unit 200 for learning risk behavior using various image data and analyzing risk behavior patterns under accident conditions to generate a risk behavior detection model; The black box 100 collects and stores information data on sound and facility operation, compares the risk behavior detection model with the stored image data, detects and processes risk behavior in real time, and the black box 100 according to user manipulation. ) may include a reproduction simulation processing unit 300 that simulates and displays a situation at a specific point in time using data stored in .

상기 블랙박스(100)는, 정보 데이터를 수집하는 데이터 수집부(110)와, 상기 데이터 수집부(110)에서 수집된 정보 데이터를 저장하는 데이터 저장부(130)와, 상기 데이터 저장부(130)에 저장된 정보 데이터 중 과거 데이터 삭제 기준에 따라 과거 데이터를 삭제 처리하는 데이터 처리부(120)와, 상기 데이터 저장부(130)에 저장된 정보 데이터와 상기 감지 모델 생성부(200)에서 생성한 위험 행동 감지 모델과 비교하여 일치 정도에 따라 실시간 위험 상황을 감지하고, 그에 따른 처리를 수행하는 실시간 위험 감지부(140)를 포함한다.The black box 100 includes a data collection unit 110 that collects information data, a data storage unit 130 that stores information data collected by the data collection unit 110, and the data storage unit 130. ) of information data stored in the data processing unit 120 for deleting past data according to past data deletion standards, and risk behaviors generated by the information data stored in the data storage unit 130 and the detection model generation unit 200. A real-time danger detection unit 140 detects a real-time danger situation according to the matching degree compared with the detection model and performs processing accordingly.

이하, 상기와 같이 구성되는 본 발명의 바람직한 실시예에 따른 산업용 블랙박스 시스템의 구성과 작용에 대하여 보다 상세히 설명한다.Hereinafter, the configuration and operation of the industrial black box system according to a preferred embodiment of the present invention configured as described above will be described in more detail.

먼저, 블랙박스(100)는 산업 현장의 요소 별로 설치된 수집장치들을 사용하여 정보 데이터를 수집한다. 이때 수집되는 정보 데이터는 영상 정보, 음향 정보를 포함하며, 산업 현장 내의 설비의 가동 정보를 포함하는 것으로 한다.First, the black box 100 collects information data using collection devices installed for each element of an industrial site. The information data collected at this time includes image information and sound information, and includes operation information of facilities in an industrial site.

실제 발생 사고는 작업자의 과실에 기인한 사고도 있으나, 고장이나 폭발 등 설비 자체의 이상에 의한 사고를 포함하기 때문이다.Actual accidents include accidents caused by the fault of workers, but also accidents caused by abnormalities in the equipment itself, such as breakdowns or explosions.

이를 위하여 데이터 수집부(110)는 설비 각각에 투입된 원재료 정보, 공급된 전력 정보, 가동 조건 정보를 수집하는 설비 가동 정보 수집부(111)와, 산업 현장의 요소마다 설치된 카메라 등 영상 정보 센서를 통해 영상 데이터를 수집하는 영상 데이터 수집부(112)와, 산업 현장의 요소마다 설치된 마이크 등의 음향 수집 센서를 통해 음향 데이터를 수집하는 음향 데이터 수집부(113)를 포함하여 구성될 수 있다.To this end, the data collection unit 110 uses a facility operation information collection unit 111 that collects raw material information input to each facility, supplied power information, and operating condition information, and an image information sensor such as a camera installed for each element of the industrial site. It may be configured to include an image data collection unit 112 that collects image data and a sound data collection unit 113 that collects sound data through a sound collection sensor such as a microphone installed for each element of an industrial site.

앞서 설명한 바와 같이 설비 가동 정보 수집부(111)는 설비들의 현재 가동 정보를 수집하며, 이때 설비 가동 정보는 PLC, 설비의 제어패널과 통신하여 수집될 수 있으며, 생산 관리를 위한 프로그램이 설치된 별도의 컴퓨팅 장치 또는 모니터링 장치와 통신하여 수집될 수 있다.As described above, the facility operation information collection unit 111 collects current operation information of facilities, and at this time, facility operation information can be collected by communicating with a PLC and a control panel of facilities, and a separate program for production management is installed. It may be collected by communicating with a computing device or monitoring device.

이와 같은 구성의 데이터 수집부(110)를 통해 수집된 데이터는 데이터 저장부(130)에 저장된다. 이때 데이터 저장부(130)에 저장된 데이터는 외부의 다른 단말을 통해 접근할 수 없도록 하며, 저장된 데이터를 직접 재생하거나 별도의 서버로 송신하여 저장할 수 없는 것으로 한다.Data collected through the data collection unit 110 having such a configuration is stored in the data storage unit 130 . At this time, the data stored in the data storage unit 130 is not accessible through other external terminals, and the stored data cannot be directly reproduced or transmitted to a separate server and stored.

상기 데이터 저장부(130)에 저장된 데이터는 보안 및 개인정보 보호를 위하여 설정된 시간이 경과하면 데이터 처리부(120)의 처리에 의해 삭제되는 것으로 한다.It is assumed that the data stored in the data storage unit 130 is deleted by the processing of the data processing unit 120 when the time set for security and personal information protection has elapsed.

예를 들어 데이터 처리부(120)는 과거 데이터 처리 기준 설정부(121)에서 설정된 기간이 경과하면, 과거 데이터 처리부(122)에서 설정된 기간이 경과한 데이터만 선택적으로 삭제할 수 있다.For example, the data processing unit 120 may selectively delete only data for which the period set by the past data processing unit 122 has elapsed when the period set by the past data processing criterion setting unit 121 has elapsed.

상기 데이터 처리부(120)는 데이터 삭제 처리를 위한 소프트웨어를 탑재한 모듈인 것으로 할 수 있다.The data processing unit 120 may be a module loaded with software for data deletion processing.

감지 모델 생성부(200)는 다양한 위험 행동과 관련된 영상 데이터를 학습하여 위험 행동을 감지하기 위한 위험 행동 감지 모델을 생성한다. The detection model generation unit 200 learns image data related to various risky behaviors and generates risky behavior detection models for detecting risky behaviors.

감지 모델 생성부(200)는 행동 영상 빅데이터로부터 행동 데이터 정제를 통해 위험한 행동으로 판단되는 영상 데이터를 추출하여, 학습용 데이터와 평가용 데이터를 생성한다. The detection model generating unit 200 extracts image data determined to be dangerous behavior through behavioral data purification from behavioral image big data, and generates training data and evaluation data.

이때 감지 모델 생성부(200)는 실제 산업 현장에서 획득되어 데이터 저장부(130)에 저장된 영상 데이터는 사용하지 않는 것으로 한다. 이는 산업 현장에서 획득된 데이터는 블랙박스(100) 내의 데이터 저장부(130) 이외에는 저장될 수 없도록 하여 작업자의 영상 등 개인정보가 유출되는 것을 방지하기 위한 것이다.In this case, the detection model generation unit 200 assumes that image data obtained from an actual industrial site and stored in the data storage unit 130 is not used. This is to prevent leakage of personal information, such as a worker's image, by preventing data obtained from an industrial site from being stored outside the data storage unit 130 in the black box 100 .

그 다음, 생성된 학습용 데이터를 학습하여 위험 행동 감지를 위한 모델을 생성하고, 평가용 데이터를 이용하여 위험 행동 감지가 원활하게 이루어지는지 확인한 후, 평가 기준 이상으로 평가되어 실제 적용할 위험 행동 감지 모델을 설정한다.Next, a model for risk behavior detection is created by learning the generated learning data, and after verifying that risk behavior detection is smoothly performed using the evaluation data, the risk behavior detection model to be evaluated beyond the evaluation standard and applied in practice. set

그 다음, 실시간 위험 감지부(140)는 상기 감지 모델 생성부(200)의 위험 행동 감지 모델과 상기 데이터 저장부(130)에 저장되는 영상 데이터를 비교하여 위험 행동이 검출되는지 확인한다.Next, the real-time risk detection unit 140 compares the risk behavior detection model of the detection model generator 200 with the image data stored in the data storage unit 130 to determine whether a risk behavior is detected.

실시간 위험 감지부(140)는 위험 행동 기준값 설정부(141), 위험 행동 판단부(142), 경광등 출력부(143), 설비 정지 명령 출력부(144)를 포함한다.The real-time risk detection unit 140 includes a risk behavior reference value setting unit 141, a risk behavior determination unit 142, a warning light output unit 143, and a facility stop command output unit 144.

상기 위험 행동 판단부(142)는 데이터 저장부(130)의 영상 데이터와 위험 행동 감지 모델을 비교하여 위험 행동이 있는 것으로 판단되면, 경광등 출력부(143)를 통해 경광등을 동작시켜 위험 행동이 있음을 알린다.The risk behavior determination unit 142 compares the image data of the data storage unit 130 with the risk behavior detection model, and if it is determined that there is a risk behavior, the warning light is operated through the warning light output unit 143 so that there is a risk behavior. inform

이때, 위험 행동 판단부(142)는 설비 가동 정보 데이터를 확인하여, 위험 행동이 발생한 위치 주변의 설비들의 동작 여부를 확인하고, 동작하는 경우에만 경광등을 동작시킬 수 있다.At this time, the risky behavior determining unit 142 may check facility operation information data, check whether facilities around the location where the dangerous behavior is operating, and operate the warning light only when operating.

또한, 위험 행동 기준값 설정부(141)는 음향 데이터와 설비 가동 정보 데이터에 대한 위험 기준값을 설정하고, 음향 데이터와 설비 가동 정보를 위험 기준값과 비교하여 검출된 음향과 설비 가동 정보가 위험 수준인지 판단할 수 있다.In addition, the risk behavior reference value setting unit 141 sets a risk reference value for the sound data and facility operation information data, compares the sound data and facility operation information with the risk reference value, and determines whether the detected sound and facility operation information are at a risk level. can do.

이때 검출된 음향 데이터가 음향 위험 기준값보다 큰 경우 경광등 출력부(143)를 통해 경광등을 동작시킬 수 있다. In this case, when the detected sound data is greater than the sound risk reference value, the warning light may be operated through the warning light output unit 143 .

또한, 검출된 설비 가동 정보가 위험 수준인 경우, 설비 정지 명령 출력부(144)를 통해 설비의 동작을 강제로 정지시킬 수 있다.In addition, when the detected facility operation information is at a dangerous level, the operation of the facility may be forcibly stopped through the facility stop command output unit 144 .

예를 들어, 설비 정지 명령 출력부(144)는 설비의 제어패널과 통신하여 설비 운전을 중지시킬 수 있다.For example, the facility stop command output unit 144 may stop facility operation by communicating with a control panel of the facility.

도 2는 본 발명의 블랙박스를 이용한 위험 알림 방법의 순서도이다.2 is a flowchart of a risk notification method using a black box of the present invention.

도 2를 참조하면, 데이터 수집부(110)에서 설비 가동 정보, 영상 정보, 음향 정보 데이터를 수집하는 단계(S21)와, 수집된 데이터를 데이터 저장부(130)에 저장하는 단계(S22)와, 실시간 위험 감지부(140)에서 설비 가동 정보 데이터를 확인하여 현재 설비가 가동 중인지 확인하는 단계(S23)와, 설비가 가동 중이면 위험 행동 판단부(142)에서 위험 행동 감지 모델과 영상 데이터를 비교하여 위험 행동 확률을 산출하는 단계(S24)와, 산출된 확률값이 위험 기준값에 비해 더 큰지 판단하는 단계(S25)와, 위험 기준값에 비하여 더 크면, 설비 정지 명령 출력부(144)를 통해 설비 정지를 실행하는 단계(S26)와, 설비 정지와 함께 경광등 출력부(143)를 통해 적색 경광등을 출력하는 단계(S27)와, 상기 S25단계의 판단결과 산출된 확률값이 경고기준값 이상인지 확인하는 단계(S28)와, 경고 기준값 이상이면 경광등 출력부(143)를 통해 황색 경광등을 출력하는 단계(S29)를 포함한다.Referring to FIG. 2, the data collection unit 110 collects facility operation information, image information, and sound information data (S21), and stores the collected data in the data storage unit 130 (S22). In step S23, the real-time risk detection unit 140 checks the facility operation information data to determine whether the facility is currently in operation (S23), and if the facility is in operation, the risk behavior determination unit 142 determines the risk behavior detection model and image data. Comparing and calculating a risk behavior probability (S24), determining whether the calculated probability value is greater than the risk reference value (S25), and if greater than the risk reference value, the facility stop command output unit 144 through the facility The step of executing the stop (S26), the step of outputting a red warning light through the warning light output unit 143 together with the equipment stop (S27), and the step of confirming whether the probability value calculated as a result of the determination in the step S25 is equal to or greater than the warning reference value. (S28) and a step (S29) of outputting a yellow warning light through the warning light output unit 143 if it is equal to or greater than the warning reference value.

이와 같은 본 발명의 블랙박스 시스템을 이용하여 산업 현장의 위험을 알리는 방법의 구체적인 구성과 작용을 보다 상세히 설명하면 다음과 같다.The specific configuration and operation of the method for notifying the risk of an industrial site using the black box system of the present invention will be described in more detail as follows.

먼저, S21단계와 같이 데이터 수집부(110)에서 설비 가동 정보, 영상 정보, 음향 정보 데이터를 수집한다.First, as in step S21, the data collection unit 110 collects facility operation information, image information, and sound information data.

설비 가동 정보는 PLC, 설비의 제어패널, 생산 관리를 위한 프로그램이 설치된 별도의 컴퓨팅 장치 또는 모니터링 장치와 통신을 통해 수집할 수 있다.Facility operation information can be collected through communication with a PLC, a facility control panel, a separate computing device in which a program for production management is installed, or a monitoring device.

또한 영상 정보와 음향 정보 데이터는 산업 현장의 요소마다 설치된 카메라 및 마이크를 통해 수집할 수 있다.In addition, video information and sound information data can be collected through cameras and microphones installed for each element of the industrial site.

이처럼 수집된 정보 데이터들은 S22단계와 같이 데이터 저장부(130)에 저장된다. The collected information data is stored in the data storage unit 130 as in step S22.

이때 데이터 저장부(130)에 저장된 정보 데이터는 설정된 시간이 경과되면, 데이터 처리부(120)에 의해 삭제된다.At this time, the information data stored in the data storage unit 130 is deleted by the data processing unit 120 when the set time elapses.

도 3은 데이터 처리부(120)의 처리 순서도이다.3 is a processing flow chart of the data processing unit 120 .

도 3을 참조하면, 데이터 처리부(120)는 삭제 기준값을 읽고(S31), 상기 데이터 처리부(120)에 저장된 데이터 중 저장 시각이 삭제 기준값 이전인 데이터를 삭제한다(S32).Referring to FIG. 3 , the data processing unit 120 reads the deletion reference value (S31) and deletes data whose storage time is before the deletion reference value among the data stored in the data processing unit 120 (S32).

상기 데이터 저장부(130)에 저장된 정보 데이터는 실시간 위험 감지부(140)에서 읽어 사용한다.The information data stored in the data storage unit 130 is read and used by the real-time risk detection unit 140 .

특히 S23단계와 같이 실시간 위험 감지부(140)는 설비 가동 정보 데이터를 확인하여 현재 설비가 가동 중인지 확인한다.In particular, as in step S23, the real-time risk detection unit 140 checks the facility operation information data to determine whether the facility is currently in operation.

그 다음, S24단계와 같이 실시간 위험 감지부(140)는 설비가 가동 중이면 위험 행동 판단부(142)에서 위험 행동 감지 모델과 영상 데이터를 비교하여 위험 행동 확률을 산출한다.Next, in step S24, if the facility is in operation, the real-time risk detection unit 140 compares the risk behavior detection model with the image data in the risk behavior determination unit 142 to calculate a risk behavior probability.

이때의 위험 행동 확률은 검출된 영상 데이터와 위험 행동 감지 모델의 유사도를 기준으로 산출된다. 영상 데이터와 위험 행동 감지 모델에서의 작업자의 행동이 완전히 일치하는 경우, 위험 행동 확률은 100%가 된다.The risk behavior probability at this time is calculated based on the similarity between the detected image data and the risk behavior detection model. If the image data and the worker's behavior in the risky behavior detection model completely match, the risky behavior probability becomes 100%.

그 다음, S25단계와 같이 산출된 확률값이 위험 기준값에 비해 더 큰지 판단한다. 이때의 위험 기준값은 70%, 80% 등으로 필요에 따라 설정할 수 있다.Next, it is determined whether the probability value calculated as in step S25 is greater than the risk reference value. At this time, the risk reference value may be set as necessary, such as 70% or 80%.

그 다음, S26단계에서 산출된 확률값이 위험 기준값에 비하여 더 크면, 설비 정지 명령 출력부(144)를 통해 설비를 강제 정지시킨다.Then, if the probability value calculated in step S26 is greater than the risk reference value, the facility is forcibly stopped through the facility stop command output unit 144.

또한, S27단계와 같이 경광등 출력부(143)를 통해 적색 경광등을 출력하는 명령을 출력할 수 있다.In addition, as in step S27, a command for outputting a red warning light may be output through the warning light output unit 143.

상기 S26단계와 S27단계는 동시에 수행될 수 있다.Steps S26 and S27 may be performed simultaneously.

그 다음, S28단계에서는 상기 S25단계의 판단결과 산출된 확률값이 경고 기준값 이상인지 확인한다.Next, in step S28, it is checked whether the probability value calculated as a result of the determination in step S25 is greater than or equal to the warning reference value.

이때 경고 기준값은 앞서 설명한 위험 기준값보다 낮은 값으로 하며, 예를 들어 50%, 60%로 설정할 수 있다.At this time, the warning reference value is set to a value lower than the risk reference value described above, and may be set to, for example, 50% or 60%.

S28단계의 판단결과 경고 기준값 미만이면, 판단을 종료한다.If the determination result of step S28 is less than the warning reference value, the determination is terminated.

그 다음, S29단계는 상기 S28단계의 판단 결과 경고 기준값 이상이면 경광등 출력부(143)를 통해 황색 경광등을 제어하는 신호를 출력한다.Next, in step S29, if the result of the determination in step S28 is equal to or greater than the warning reference value, a signal for controlling the yellow warning light is output through the warning light output unit 143.

이처럼 본 발명은 영상의 비교를 통해 사고 발생 위험이 있는지 판단하고, 그 위험 정도에 따라 적절한 제어를 수행할 수 있다.As such, the present invention can determine whether there is a risk of an accident through comparison of images, and perform appropriate control according to the degree of risk.

도 4는 재현 시뮬레이션 처리부(300)의 상세 구성도이다.4 is a detailed configuration diagram of the reproduction simulation processing unit 300 .

재현 시뮬레이션 처리부(300)는 설비 재현 모델 편집부(310)와, 설비 상황 재현부(320)를 포함한다.The reproduction simulation processing unit 300 includes a facility reproduction model editing unit 310 and a facility situation reproduction unit 320 .

설비 재현 모델 편집부(310)는 설비 재현 항목 관리부(311), 설비 객체 디자인부(312), 데이터 매핑부(313)와, 가동 현황 재현 모델 저장부(314)를 포함한다.The facility reproduction model editing unit 310 includes a facility reproduction item management unit 311, a facility object design unit 312, a data mapping unit 313, and an operation status reproduction model storage unit 314.

또한, 설비 상황 재현부(320)는 선택부(321), 영상 데이터 재생부(322), 음향 데이터 재생부(323), 설비 가동 데이터 재생부(324)를 포함한다.In addition, the facility situation reproducing unit 320 includes a selecting unit 321, a video data reproducing unit 322, a sound data reproducing unit 323, and a facility operation data reproducing unit 324.

이처럼 재현 시뮬레이션 처리부(300)는 블랙박스(100)와 1:1로 연결될 뿐이며, 외부와의 통신은 불가능한 컴퓨팅 장치인 것으로 한다.As such, it is assumed that the reproduction simulation processing unit 300 is a computing device that is only connected to the black box 100 on a 1:1 basis and cannot communicate with the outside.

이와 같이 구성되는 본 발명에 적용되는 재현 시뮬레이션 처리부(300)의 구성과 작용에 대하여 보다 상세히 설명한다.The configuration and operation of the reproduction simulation processing unit 300 applied to the present invention configured as described above will be described in more detail.

먼저, 설비 재현 항목 관리부(311)는 사용자의 선택에 의해 설비를 운전하기 위한 세팅 항목, 동작 항목, 품질 관련 항목, 영상 항목, 음향 항목을 코드화하여 설정한다.First, the facility reproduction item management unit 311 codes and sets setting items, operation items, quality-related items, video items, and sound items for operating the equipment according to the user's selection.

이러한 코드의 입력은 데이터 매핑부(313)를 통해 실행되며, 설비 객체 디자인부(312)에서 디자인된 설비 재현 모델에 직접 드래그앤드랍 방식으로 매핑할 수 있다.Input of such code is executed through the data mapping unit 313, and can be directly mapped to the facility reproduction model designed in the facility object design unit 312 using a drag-and-drop method.

이를 도 5에 도시하였다.This is shown in Figure 5.

가동 현황 재현 모델 저장부(314)는 도면과 설비 데이터가 매핑된 결과물인 설비 재현 모델을 저장한다.The operational status reproduction model storage unit 314 stores a facility reproduction model, which is a result of mapping drawings and equipment data.

이와 같은 상태에서 설비 상황 재현부(320)를 통해 특정 일자의 재현 모듈을 선택하고, 모델링된 영상 데이터, 음향 데이터, 설비 가동 데이터를 필요에 따라 재현 모듈에 결합하여 재현한다.In this state, a reproduction module of a specific date is selected through the facility situation reproducing unit 320, and the modeled video data, sound data, and facility operation data are combined and reproduced with the reproducing module as necessary.

설비 상황 재현부(320)의 선택부(321)는 가동 현황 재현 모델 저장부(314)에 저장된 모델과 특정한 시간을 선택할 수 있다. 이와 같이 선택된 모델은 화면에 표시된다.The selection unit 321 of the facility situation reproducing unit 320 may select a model stored in the operating status reproducing model storage unit 314 and a specific time. The selected model is displayed on the screen.

또한, 선택부(321)는 화면상에서 재현할 시작과 종료 시점을 설정할 수 있으며, 재현의 배속을 설정할 수 있다.In addition, the selector 321 may set start and end points of reproduction on the screen, and set speed of reproduction.

이처럼 선택부(321)에 의해 재현 시작, 종료 시점 및 배속이 설정되면, 영상 데이터 재생부(322), 음향 데이터 재생부(323), 설비 가동 데이터 재생부(324)는 각각 블랙박스(100)의 데이터 저장부(130)에 저장된 영상 데이터, 음향 데이터 및 설비 가동 데이터를 읽어들여 데이터를 재생한다.When reproduction start, end time and speed are set by the selector 321 as described above, the video data reproducer 322, the sound data reproducer 323, and the equipment operation data reproducer 324 each perform the black box 100. The video data, sound data, and equipment operation data stored in the data storage unit 130 of the are read and the data are reproduced.

이때 설비 가동 데이터에 의해 설비 재현 모델이 동작하며, 영상 데이터를 재생하고, 음향 데이터를 재생하게 된다. 이때 영상 데이터에서 작업자 영역은 작업자 개인을 확인할 수 없도록 이미지화된 작업자 개체를 사용하여 시뮬레이션 할 수 있다.At this time, the facility reproduction model operates based on the facility operation data, and reproduces image data and sound data. At this time, the worker area in the image data can be simulated using an imaged worker object so that the individual worker cannot be identified.

도 6은 본 발명의 설비 재현 모델 편집부(310)의 동작 순서도이다.6 is an operation flowchart of the equipment reproduction model editing unit 310 of the present invention.

이를 참조하면, S61단계에서는 설비 재현 항목 관리부(311)에 의해 도 5에 도시한 바와 같이 설비를 운전하기 위한 세팅 항목 등을 코드화하여 설비 재현 항목을 설정한다.Referring to this, in step S61, as shown in FIG. 5 by the equipment reproduction item management unit 311, setting items for operating equipment are coded to set equipment reproduction items.

구체적으로, 설비 재현 항목 관리부(311)는 사용자의 선택에 의해 설비를 운전하기 위한 세팅 항목, 동작 항목, 품질 관련 항목, 영상 항목, 음향 항목을 코드화하여 설정할 수 있다.Specifically, the facility reproduction item management unit 311 may code and set setting items, operation items, quality-related items, video items, and sound items for operating the equipment according to the user's selection.

S62단계는 설비 객체를 설정한다. 이때 설비 객체의 설정은 설비 객체 디자인부(312)를 통해 수행될 수 있다. 이때의 설비 객체 디자인은 설비의 형태나 동작을 화면상에서 인지할 수 있도록 도면 형식으로 모델링된다.Step S62 sets a facility object. At this time, the facility object setting may be performed through the facility object design unit 312 . At this time, the facility object design is modeled in a drawing format so that the shape or operation of the facility can be recognized on the screen.

그 다음, S63단계와 같이 화면상에 설정된 설비의 객체와 코드화된 설비 재현 항목을 상호 매핑하고, S64단계와 같이 가동 현황 재현 모델 저장부(314)에 저장한다.Next, as in step S63, the facility object set on the screen and the coded equipment reproduction item are mutually mapped, and stored in the operation status reproduction model storage unit 314 as in step S64.

도 7은 설비 상황을 재현하는 과정의 순서도이다.7 is a flow chart of a process of reproducing a facility situation.

도 7을 참조하면, S71단계와 같이 설비 상황 재현부(320)의 선택부(321)를 통해 가동 현황 재현 모델 저장부(314)에 저장된 재현 모델을 선택한다. Referring to FIG. 7 , as in step S71 , a reproduction model stored in the operation state reproduction model storage unit 314 is selected through the selection unit 321 of the equipment situation reproduction unit 320 .

또한, S72단계와 같이 선택된 재현 모델을 구성하는 설비 객체를 화면에 표시한다. 이때 설비 객체는 앞서 설비 객체 디자인부(312)를 통해 디자인된 것으로 한다.In addition, as in step S72, facility objects constituting the selected reproduction model are displayed on the screen. At this time, it is assumed that the facility object was previously designed through the facility object design unit 312 .

그 다음, S73단계와 같이 선택부(321)에서 화면상에 재현할 시작 및 종료 점 각각을 시각으로 설정한다.Then, as in step S73, the selection unit 321 sets each of the start and end points to be reproduced on the screen as times.

그 다음, S74단계와 같이 블랙박스(100)의 데이터 저장부(130)에 저장된 정보 데이터 중 S73단계에서 설정된 시작 및 종료 점 사이에 해당하는 시간 정보를 포함하는 데이터를 수신한다. Next, as in step S74, among the information data stored in the data storage unit 130 of the black box 100, data including time information corresponding to the start and end points set in step S73 is received.

이때의 데이터는 영상 데이터, 음향 데이터, 설비 가동 데이터를 포함한다.The data at this time includes video data, sound data, and facility operation data.

그 다음, S75단계와 같이 재현할 시뮬레이션 재생 속도를 결정한다. 예를 들어 0.5 배속, 1.0 배속, 1.5 배속 등을 선택할 수 있다.Then, as in step S75, a simulation reproduction speed to be reproduced is determined. For example, you can select 0.5x speed, 1.0x speed, 1.5x speed, etc.

재현 시작 버튼을 선택하면, S76단계와 같이 선택된 재생 속도에 따라 시뮬레이션 결과가 화면에 재현된다.When the reproduction start button is selected, simulation results are reproduced on the screen according to the selected reproduction speed as in step S76.

재현 화면의 예를 도 8에 도시하였다. 설비 가동 데이터를 이용하여 도시된 설비 모델들이 가동되는 것으로 하며, 영상 데이터 및 음향 데이터를 재생할 수 있다.An example of the reproduction screen is shown in FIG. 8 . It is assumed that the illustrated facility models are operated using the facility operation data, and video data and sound data can be reproduced.

이때 영상 데이터에서 사람으로 분류되는 영역은 이미지 처리를 통해 작업자의 개인 정보가 노출되는 것을 방지할 수 있다.At this time, in the region classified as a person in the image data, it is possible to prevent exposure of worker's personal information through image processing.

재현이 종료되거나, 재현 정지를 선택하면 위의 재현 화면 재생을 종료한다.When replay ends or select stop replay, the above replay screen replay ends.

이와 같이 본 발명은 촬영된 영상 데이터의 유출을 방지함과 아울러 재현시에도 작업자의 구체적 영상이 노출되는 것을 방지하여, 개인 정보를 보호할 수 있다.In this way, the present invention can protect personal information by preventing leakage of captured image data and preventing specific images of workers from being exposed even during reproduction.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 청구범위에 의해서 정해져야 할 것이다.Embodiments according to the present invention have been described above, but these are merely examples, and those skilled in the art will understand that various modifications and embodiments of equivalent range are possible therefrom. Therefore, the true technical protection scope of the present invention should be defined by the following claims.

100:블랙박스 110:데이터 수집부
120:데이터 처리부 130:데이터 저장부
140:실시간 위험 감지부 200:감지 모델 생성부
300:재현 시뮬레이션 처리부
100: black box 110: data collection unit
120: data processing unit 130: data storage unit
140: real-time risk detection unit 200: detection model generation unit
300: reproduction simulation processing unit

Claims (12)

작업자의 행동을 촬영한 영상 데이터인 행동 영상 빅데이터에서 위험 행동을 추출하여, 학습용 데이터와 평가용 데이터를 생성하고, 상기 학습용 데이터로 학습하여 영상 모델인 위험 행동 감지 모델을 생성한 후, 평가용 데이터를 이용하여 위험 행동 감지 모델을 평가하여, 평가 결과가 기준값 이상인 위험 행동 감지 모델을 선정하는 감지 모델 생성부;
데이터를 수집하는 데이터 수집부와, 수집된 데이터를 저장하는 데이터 저장부와, 상기 데이터 저장부에 저장된 영상 데이터와 상기 위험 행동 감지 모델을 비교하여, 영상 데이터와 위험 행동 감지 모델의 유사도를 구하고, 유사도에 따라 위험 정도를 판단하여, 위험 정도에 따라 산업 현장의 설비 가동을 중단시키거나 위험 경고를 수행하는 실시간 위험 감지부를 포함하는 블랙박스; 및
상기 블랙박스와 일대일 대응하여, 산업 현장의 설비를 모델링한 결과와 상기 블랙박스의 데이터 저장부에 저장된 데이터를 매핑하여 표시하는 재현 시뮬레이션 처리부를 포함하되,
상기 실시간 위험 감지부는,
위험 행동 기준값을 설정하는 위험 행동 기준값 설정부;
상기 데이터 저장부에 저장된 영상 데이터와 상기 위험 행동 감지 모델을 비교한 결과가 상기 위험 행동 기준값 이상인 경우 위험 행동 검출된 것으로 판단하는 위험 행동 판단부; 및
상기 위험 행동 판단부의 판단결과 위험 행동으로 판단되면, 경광등을 제어하는 경광등 출력부를 포함하고,
상기 재현 시뮬레이션 처리부는,
설비 재현 모델을 디자인 하는 설비 객체 디자인부와, 사용자의 선택에 의해 설비를 운전하기 위한 세팅 항목, 동작 항목, 품질 관련 항목, 영상 항목, 음향 항목을 코드화하여 설정하는 설비 재현 항목 관리부와, 상기 설비 재현 항목 관리부의 설정을 상기 설비 재현 모델에 직접 드래그앤드랍 방식으로 매핑하는 데이터 매핑부와, 도면과 설비 데이터가 매핑된 결과물인 설비 재현 모델을 저장하는 가동 현황 재현 모델 저장부를 포함하는 설비 재현 모델 편집부; 및
가동 현황 재현 모델 저장부에 저장된 모델과 특정한 시간을 선택하여 화면에 표시하며, 화면상에서 재현할 시작과 종료 시점을 설정하고, 재현 배속을 설정하는 선택부와, 상기 블랙박스의 상기 데이터 저장부에 저장된 영상 데이터를 호출하여 재생하는 영상 데이터 재생부와, 상기 데이터 저장부에 저장된 음향 데이터를 호출하여 재생하는 음향 데이터 재생부와, 상기 데이터 저장부에 저장된 설비 가동 데이터를 호출하여 재생하는 설비 가동 데이터 재생부를 포함하여, 설비 재현 모델을 동작시키고, 영상 데이터를 재생하고, 음향 데이터를 재생하되, 영상 데이터에서 작업자 영역은 작업자 개인을 확인할 수 없도록 이미지화된 작업자 개체를 사용하여 시뮬레이션하는 설비 상황 재현부를 포함하는 산업용 블랙박스 시스템.
Risky behaviors are extracted from behavioral image big data, which is image data that captures worker behaviors, and training data and evaluation data are generated, and a risky behavior detection model, which is an image model, is created by learning with the learning data, and then used for evaluation. a detection model generating unit that evaluates risk behavior detection models using the data and selects risk behavior detection models whose evaluation results are greater than or equal to a reference value;
A data collection unit that collects data, a data storage unit that stores the collected data, and image data stored in the data storage unit are compared with the risk behavior detection model to obtain a similarity between the video data and the risk behavior detection model; A black box including a real-time risk detection unit that judges the degree of risk according to the degree of similarity and stops the operation of industrial facilities or warns of danger according to the degree of risk; and
In one-to-one correspondence with the black box, a reproduction simulation processing unit for mapping and displaying a result of modeling industrial facilities and data stored in a data storage unit of the black box,
The real-time risk detection unit,
a risk behavior reference value setting unit configured to set a risk behavior reference value;
a risky behavior determination unit determining that a dangerous behavior has been detected when a result of comparing the image data stored in the data storage unit with the risky behavior detection model is greater than or equal to the risky behavior reference value; and
A warning light output unit for controlling a warning light when the dangerous behavior is determined as a risky behavior as a result of the determination of the risk behavior determining unit;
The reproduction simulation processing unit,
A facility object design unit that designs a facility reproduction model, a facility reproduction item management unit that codes and sets setting items, operation items, quality-related items, video items, and sound items for operating the equipment selected by the user; A facility reproduction model including a data mapping unit for directly mapping the settings of the reproduction item management unit to the equipment reproduction model by drag-and-drop method, and an operation status reproduction model storage unit for storing a facility reproduction model, which is a result of mapping drawings and equipment data. editorial department; and
Selecting a model stored in the operating status reproduction model storage unit and a specific time to be displayed on the screen; An image data reproducing unit that calls and reproduces stored video data, an audio data reproducing unit that calls and reproduces the audio data stored in the data storage unit, and a facility operation data that calls and reproduces facility operation data stored in the data storage unit. Including a reproduction unit, including a facility situation reproduction unit that operates a facility reproduction model, reproduces video data, and reproduces sound data, and simulates using a worker object imaged so that the worker area in the image data cannot be identified. industrial black box system.
삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 데이터 수집부에서 수집되는 데이터는,
설비 가동 정보 데이터, 영상 정보 데이터 및 음향 정보 데이터이며,
설비 가동 정보 데이터는,
PLC, 설비의 제어패널, 관리를 위한 컴퓨팅 장치 또는 모니터링 장치와 통신하여 수집하는 것을 특징으로 하는 산업용 블랙박스 시스템.
According to claim 1,
The data collected by the data collection unit is
Facility operation information data, video information data, and sound information data,
Facility operation information data,
An industrial black box system characterized in that it collects by communicating with a PLC, a control panel of a facility, a computing device for management or a monitoring device.
제1항에 있어서,
상기 데이터 수집부에서 수집되는 데이터는,
설비 가동 정보 데이터, 영상 정보 데이터 및 음향 정보 데이터이며,
영상 정보 데이터와 음향 정보 데이터는,
산업 현장의 요소마다 설치된 카메라와 마이크를 통해 수집하는 것을 특징으로 하는 산업용 블랙박스 시스템.
According to claim 1,
The data collected by the data collection unit is
Facility operation information data, video information data, and sound information data,
The video information data and the sound information data,
An industrial black box system characterized by collecting through cameras and microphones installed for each element of the industrial site.
제1항에 있어서,
상기 블랙박스는,
상기 데이터 저장부에 저장된 데이터 중 저장 기간이 경과한 데이터를 삭제하는 데이터 처리부를 더 포함하는 산업용 블랙박스 시스템.
According to claim 1,
The black box,
Industrial black box system further comprising a data processing unit for deleting data for which the storage period has elapsed among the data stored in the data storage unit.
삭제delete 삭제delete 제1항에 있어서,
상기 위험 행동 기준값은,
위험 기준값과 경고 기준값을 포함하며,
상기 경광등 출력부는 위험 기준값을 초과하는 위험 행동이 있는 경우와 상기 위험 기준값보다 작고 경고 기준값 이상인 경우 표시되는 경광등의 색상을 다르게 제어하는 것을 특징으로 하는 산업용 블랙박스 시스템.
According to claim 1,
The risk behavior reference value is,
Includes risk threshold and warning threshold,
The warning light output unit controls the color of the warning light displayed differently when there is a risk action exceeding the risk reference value and when the risk value is smaller than the risk reference value and exceeds the warning reference value.
제10항에 있어서,
상기 실시간 위험 감지부는,
영상 데이터와 위험 행동 감지 모델을 비교한 결과가 위험 기준값을 초과하는 경우,
설비를 정지시키는 설비 정지 명령 출력부를 더 포함하는 산업용 블랙박스 시스템.
According to claim 10,
The real-time risk detection unit,
If the result of comparing the image data and the risk behavior detection model exceeds the risk reference value,
An industrial black box system further comprising a facility stop command output unit for stopping the facility.
삭제delete
KR1020210182430A 2021-12-20 2021-12-20 Black box system for industrial sites KR102512792B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210182430A KR102512792B1 (en) 2021-12-20 2021-12-20 Black box system for industrial sites

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210182430A KR102512792B1 (en) 2021-12-20 2021-12-20 Black box system for industrial sites

Publications (1)

Publication Number Publication Date
KR102512792B1 true KR102512792B1 (en) 2023-03-21

Family

ID=85801466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210182430A KR102512792B1 (en) 2021-12-20 2021-12-20 Black box system for industrial sites

Country Status (1)

Country Link
KR (1) KR102512792B1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244521A (en) * 1996-03-05 1997-09-19 Hitachi Ltd Simulator
JP2000200026A (en) * 1999-01-04 2000-07-18 Hitachi Ltd Simulator for plant operation training
KR101257859B1 (en) * 2011-10-19 2013-04-24 주식회사 제일엔지니어링종합건축사사무소 Road conditions information control system and thereof warning indicator
JP2015095876A (en) * 2013-11-14 2015-05-18 株式会社日立製作所 Plant-monitoring control system
KR20150109525A (en) * 2014-03-19 2015-10-02 (유)대진엔지니어링 System for managing electric power equipment
KR101730450B1 (en) * 2016-09-08 2017-04-26 진이진 System for monitoring spot equipment using active black box and method therefor
KR20180095346A (en) * 2017-02-17 2018-08-27 타이아(주) System for monitoring spot equipment using local active black box and method therefor
KR102244978B1 (en) * 2020-12-23 2021-04-28 주식회사 케이씨씨건설 Method, apparatus and computer program for training artificial intelligence model that judges danger in work site
KR20210105223A (en) * 2020-02-18 2021-08-26 한국산업기술대학교산학협력단 Method and system for controlling factory safety matters using autonomous control and working process simulation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244521A (en) * 1996-03-05 1997-09-19 Hitachi Ltd Simulator
JP2000200026A (en) * 1999-01-04 2000-07-18 Hitachi Ltd Simulator for plant operation training
KR101257859B1 (en) * 2011-10-19 2013-04-24 주식회사 제일엔지니어링종합건축사사무소 Road conditions information control system and thereof warning indicator
JP2015095876A (en) * 2013-11-14 2015-05-18 株式会社日立製作所 Plant-monitoring control system
KR20150109525A (en) * 2014-03-19 2015-10-02 (유)대진엔지니어링 System for managing electric power equipment
KR101730450B1 (en) * 2016-09-08 2017-04-26 진이진 System for monitoring spot equipment using active black box and method therefor
KR20180095346A (en) * 2017-02-17 2018-08-27 타이아(주) System for monitoring spot equipment using local active black box and method therefor
KR20210105223A (en) * 2020-02-18 2021-08-26 한국산업기술대학교산학협력단 Method and system for controlling factory safety matters using autonomous control and working process simulation
KR102244978B1 (en) * 2020-12-23 2021-04-28 주식회사 케이씨씨건설 Method, apparatus and computer program for training artificial intelligence model that judges danger in work site
KR102322644B1 (en) * 2020-12-23 2021-11-09 주식회사 케이씨씨건설 System for providing safety guide of work site using artificial intelligence

Similar Documents

Publication Publication Date Title
CN106355811A (en) Electrical fire monitoring system
KR102058452B1 (en) IoT Convergence Intelligent Video Analysis Platform System
CN110837011A (en) Abnormal data processing method and device, intelligent projector and storage medium
CN102859565A (en) Method and system for security system tampering detection
CN109544870B (en) Alarm judgment method for intelligent monitoring system and intelligent monitoring system
KR101988596B1 (en) Apparatus for Monitoring Production Equipment and Driving Method Thereof
KR102407327B1 (en) Apparatus for Monitoring Fire And System having the same
KR102442496B1 (en) Industrial equipment monitoring and alarm apparatus and its method
CN114237087A (en) Early warning method and device for monitoring system and computer readable storage medium
CN110147762A (en) A kind of embedded type fire control wrong report elimination system
CN107122743A (en) Security-protecting and monitoring method, device and electronic equipment
CN111652185A (en) Safety construction method, system, device and storage medium based on violation behavior recognition
WO2023061239A1 (en) Intelligent power distribution room safety management system
CN111553305B (en) System and method for identifying illegal videos
KR102129771B1 (en) Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof
CN115567690A (en) Intelligent monitoring system capable of automatically identifying dangerous points of field operation
KR102512792B1 (en) Black box system for industrial sites
CN114727069A (en) Charging station maintenance method, device, equipment and computer readable medium
CN213457742U (en) Welding operation monitoring system
CN113554364A (en) Disaster emergency management method, device, equipment and computer storage medium
CN116310521A (en) Abnormality detection method, abnormality detection device, abnormality detection storage medium, abnormality detection electronic device, abnormality detection system, abnormality detection program, and recording medium
KR102503532B1 (en) Switchboard monitoring amn management system having image photographing device
CN109856999A (en) Determine the method and system whether status information relevant to equipment is executed is tampered
CN111353465A (en) Transformer substation personnel behavior analysis method and system based on deep learning technology
CN109841140A (en) Teaching machine and its operating method, computing device and computer-readable medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant