KR102033118B1 - Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method - Google Patents

Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method Download PDF

Info

Publication number
KR102033118B1
KR102033118B1 KR1020180062482A KR20180062482A KR102033118B1 KR 102033118 B1 KR102033118 B1 KR 102033118B1 KR 1020180062482 A KR1020180062482 A KR 1020180062482A KR 20180062482 A KR20180062482 A KR 20180062482A KR 102033118 B1 KR102033118 B1 KR 102033118B1
Authority
KR
South Korea
Prior art keywords
image
warning
layer
unit
worker device
Prior art date
Application number
KR1020180062482A
Other languages
Korean (ko)
Inventor
유무영
유성근
함남혁
Original Assignee
(주)엠디자인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠디자인 filed Critical (주)엠디자인
Priority to KR1020180062482A priority Critical patent/KR102033118B1/en
Application granted granted Critical
Publication of KR102033118B1 publication Critical patent/KR102033118B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

The present invention relates to a device for warning the risk of a work site, a method therefor, and a computer-readable recording medium recorded with a program for executing the method and, more particularly, to a management server for warning the risk of a work site, a worker device corresponding thereto, a method thereof, and a computer-readable recording medium recorded with the method. According to the present invention, the management server comprises: a communication module for receiving a site image including an image layer representing an image of an object existing in a work site, a material layer representing a material of the object and a location layer representing location information on the object from a plurality of worker devices worn by a plurality of workers located at different locations on the work site; and a warning image generating module for generating a warning image added with a tag layer including a warning tag representing the object having a high possibility of an accident by performing a plurality of operations to which the weight of an artificial neural network is applied with respect to the site image.

Description

작업 현장의 위험을 경고하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체{Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method} Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method}

본 발명은 산업현장 혹은 건설현장의 위험을 경고하기 위한 장치에 관한 것으로, 보다 상세하게는, 시시각각으로 변하는 산업현장 혹은 건설현장의 위험 영역을 추정하여 이를 경고하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다. The present invention relates to a device for warning the danger of an industrial site or a construction site, and more particularly, an apparatus for estimating and warning a danger area of an industrial site or a construction site that changes every moment, a method for the same and a method therefor. A computer readable recording medium having recorded thereon a program for performing the same.

최근 산업현장 및 건설현장에서 근로자의 사고횟수와 사망자 사고재해 건수는 예전에 비해서 그 수가 줄고 있지 않은 실정이며, 2014년 산업재해원인조사에 따르면 업무상 사고별 통계에서 부상자는 전체 7,795명에 이르며, 이중 사망자 수는 829명에 달하여 전체 비율 중 10.6%에 이른다. 전체 산업에서 재해로 인해 발생하는 사망자수는 특히 제조업 및 건설업에서 주로 발생하며, 그 수치는 전체 산업재해 사망자 건수 중 무려 67.9%에 달한다. 사망자의 주요 발생형태는 떨어짐 39.1%, 부딪힘 및 접촉 18.8%, 끼임 10.4%, 넘어짐 및 깔림 9.5%, 맞음 6.6% 등으로 나타난다. In recent years, the number of accidents and the number of accidental accidents of workers in industrial and construction sites has not been reduced compared to the past. According to the 2014 Industrial Accident Cause Survey, the number of injured in work accidents reached 7,795 in total. The death toll is 829, or 10.6% of the total. The number of fatalities caused by disasters in the entire industry is particularly high in manufacturing and construction, which accounts for 67.9% of the total number of industrial accident fatalities. The main incidences of death were 39.1% falling, 18.8% hit and contact, 10.4% jammed, 9.5% fell and crushed, and 6.6% correct.

최근 들어 ICT 기술의 발달로 인해 스마트폰 응용기술, IoT, USN과 관련된 산업이 획기적으로 발전하고 있으며, 이러한 기술은 산업안전에도 확대되고 있는 상황이다. 산업현장 및 건설현장에서 근로자의 사고횟수와 사망자 사고재해 건수는 예전에 비해서 그 수가 줄고 있지 않은 실정이다. 이러한 문제를 처리하기 위해서 작업장에서 근로자의 안전사고를 미연에 방지할 수 있고, 다양한 위험요인을 관리할 수 있도록 ICT 융합 기술을 바탕으로 다양한 서비스 개발이 요구되고 있다. Recently, due to the development of ICT technology, the industry related to smart phone application technology, IoT, USN, and the like are dramatically developing, and such technology is expanding to industrial safety. The number of accidents and the number of accidents of the dead in industrial and construction sites has not decreased. In order to deal with these problems, the development of various services based on ICT convergence technology is required to prevent workers' safety accidents in the workplace and to manage various risk factors.

한국공개특허 제2016-0060435호 2016년 05월 30일 공개 (명칭: 스마트 안전 헬멧 및 방법, 이를 이용한 안전 관리 시스템 및 그 방법)Korean Laid-Open Patent No. 2016-0060435 published May 30, 2016 (name: smart safety helmet and method, safety management system and method using the same)

본 발명의 목적은 산업현장 혹은 건설현장에서 위험 영역을 작업자가 직관적으로 인식할 수 있도록 경고할 수 있는 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. SUMMARY OF THE INVENTION An object of the present invention is to provide an apparatus capable of warning an operator to intuitively recognize a dangerous area in an industrial site or a construction site, a method therefor, and a computer-readable recording medium having recorded thereon a program for performing the method. .

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 작업 현장의 위험을 경고하기 위한 관리서버는 상기 작업 현장의 서로 다른 위치에 있는 복수의 작업자들이 각각 착용한 복수의 작업자장치로부터 작업 현장에 존재하는 객체의 이미지를 나타내는 이미지 레이어 및 상기 객체의 재질을 나타내는 재질 레이어 및 상기 객체의 위치 정보를 나타내는 위치 레이어를 포함하는 현장 영상을 수신하는 통신모듈과, 상기 현장 영상에 대해 인공신경망의 가중치가 적용되는 복수의 연산을 수행하여 사고 가능성이 높은 객체를 나타내는 경고 태그가 포함되는 태그 레이어를 부가한 경고 영상을 생성하는 경고영상생성모듈을 포함한다. Management server for warning the risk of the work site according to a preferred embodiment of the present invention for achieving the object as described above work from a plurality of worker devices each worn by a plurality of workers in different locations of the work site A communication module configured to receive a scene image including an image layer representing an image of an object existing in a scene, a material layer representing a material of the object, and a location layer representing location information of the object; And a warning image generation module configured to generate a warning image including a tag layer including a warning tag indicating an object having a high probability by performing a plurality of operations to which weights are applied.

상기 관리서버는 복수의 상기 경고 영상을 상기 위치 레이어의 위치 정보를 기초로 병합하여 가상의 현장을 나타내는 가상 영상을 생성하며, 상기 작업자장치로부터 상기 작업자장치의 위치 정보를 수신하면, 상기 가상 영상 중 상기 수신된 위치 정보에 상응하는 부분의 경고 영상을 추출하여 상기 통신모듈을 통해 상기 작업자장치로 전송하는 현장관리모듈을 더 포함한다. The management server generates a virtual image representing a virtual site by merging a plurality of warning images based on the location information of the location layer, and receiving the location information of the worker device from the worker device, And a field management module for extracting a warning image of a portion corresponding to the received location information and transmitting the warning image to the worker device through the communication module.

상기 경고영상생성모듈은 가중치가 적용되는 복수의 연산으로 연결되는 복수의 계층을 포함하는 인공신경망과, 입력값인 현장 영상을 상기 인공신경망에 입력하여 상기 인공신경망이 상기 현장 영상에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 출력값인 경고 영상을 생성하도록 하고, 상기 출력값인 경고 영상과 목표값인 경고 영상의 가상 이미지 레이어, 태그 레이어 및 위치 레이어 각각의 픽셀값의 차이가 최소가 되도록 최소가 되도록 역확산(back-propagation) 알고리즘을 통해 상기 인공신경망의 가중치를 수정하는 학습모듈을 포함한다. The warning image generation module inputs an artificial neural network including a plurality of layers connected by a plurality of calculations to which weights are applied, and inputs a field image as an input value to the artificial neural network, wherein the artificial neural network has a plurality of layers with respect to the field image. Generate a warning image as an output value by performing a plurality of operations to which the weight is applied, and the difference between pixel values of the virtual image layer, tag layer, and position layer of the warning image as the output value and the warning value as the target value is minimum. It includes a learning module for modifying the weight of the artificial neural network through a back-propagation algorithm to minimize as possible.

상기 경고영상생성모듈은 현장 영상을 상기 인공신경망에 입력하여 상기 인공신경망을 통해 입력된 현장 영상에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 출력값인 경고 영상을 생성하도록 하는 생성모듈을 더 포함한다. The warning image generation module generates a warning image as an output value by inputting a scene image into the artificial neural network and performing a plurality of operations to which weights of a plurality of layers are applied to the field image input through the artificial neural network. It includes more.

상기 이미지 레이어는 픽셀값이 색인 복수의 픽셀로 구분되며, 상기 재질 레이어는 상기 이미지 레이어의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 상기 재질 레이어의 픽셀값은 객체로부터 반사되는 음파 신호의 진폭(amplitude) 및 TOF(time of flight)이며, 상기 위치 레이어는 상기 이미지 레이어의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 상기 위치 레이어의 픽셀값은 객체의 3차원의 위치 정보이며, 상기 가상 이미지 레이어는 상기 이미지 레이어의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 상기 태그 레이어는 상기 가상의 이미지 레이어의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 상기 가상 이미지 레이어(VL)의 객체 중 사고 가능성이 있는 객체의 픽셀 위치에 대응하여 배치되는 경고 태그를 포함하는 것을 특징으로 한다. Pixel values of the image layer are divided into a plurality of pixels, and the material layer is divided into pixels of the same size corresponding to each of the plurality of pixels of the image layer, and the pixel values of the material layer are sound waves reflected from an object. Amplitude and time of flight (TOF) of the signal, wherein the position layer is divided into pixels of the same size corresponding to each of the plurality of pixels of the image layer, and the pixel value of the position layer is a three-dimensional Location information, wherein the virtual image layer is divided into pixels of the same size corresponding to each of the plurality of pixels of the image layer, and the tag layer is a pixel of the same size corresponding to each of the plurality of pixels of the virtual image layer. The pixels may be classified and correspond to pixel positions of accidental objects among the objects of the virtual image layer VL. It is characterized in that it comprises a warning tag arranged.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 작업 현장의 위험을 경고하기 위한 작업자장치는 전술한 관리서버와 통신을 위한 통신부와, 상기 작업 현장의 객체를 촬영하여 상기 객체의 이미지를 나타내는 이미지 레이어를 생성하는 카메라부와, 상기 객체의 초음파 영상을 촬상하여 상기 객체의 재질을 나타내는 재질 레이어를 생성하는 초음파부와, 작업자장치의 위치 정보를 산출하는 위치정보부와, 상기 작업자장치의 위치로부터 상기 이미지 레이어 및 상기 재질 레이어 상의 객체의 위치 정보를 도출하여 도출된 객체의 위치 정보를 나타내는 위치 레이어를 생성하고, 상기 이미지 레이어, 상기 재질 레이어 및 위치 레이어로 이루어진 현장 영상을 생성하며, 상기 통신부를 통해 생성된 현장 영상을 상기 관리서버로 전송하며, 상기 통신부를 통해 상기 작업자장치의 위치 정보를 상기 관리서버로 전송하고, 상기 관리서버로부터 상기 현장 영상에 사고 가능성이 높은 위험 요소의 위치를 나타내는 경고 태그가 포함되는 태그 레이어를 부가하여 생성된 복수의 경고 영상 중 상기 작업자장치의 위치 정보에 상응하는 부분의 경고 영상을 수신하는 제어부를 포함한다. Worker device for warning the risk of the work site according to a preferred embodiment of the present invention for achieving the above object is a communication unit for communication with the above-described management server, and photographing the object of the work site of the object A camera unit for generating an image layer representing an image, an ultrasound unit for capturing an ultrasound image of the object to generate a material layer indicating a material of the object, a position information unit for calculating position information of a worker device, and the worker device Deriving the position information of the object on the image layer and the material layer from the position of to generate a position layer indicating the position information of the derived object, and generates a field image consisting of the image layer, the material layer and the position layer, Scene image generated by the communication unit to the management server And transmitting a location information of the worker device to the management server through the communication unit, and adding a tag layer including a warning tag indicating a location of a risk factor having a high probability of accident in the field image from the management server. And a controller configured to receive a warning image of a portion corresponding to the location information of the worker device among the plurality of warning images.

상기 작업자장치는 화면을 표시하는 영사부와, 음성 출력을 위한 오디오부와, 작업자장치가 지향하는 방향을 감지하는 센서부를 더 포함한다. The worker device further includes a projection unit for displaying a screen, an audio unit for voice output, and a sensor unit for sensing a direction that the worker device is directed.

여기서, 상기 제어부는 상기 위치정보부를 통해 상기 작업자장치의 현재 위치를 산출하고, 상기 센서부를 통해 상기 작업자장치의 영사부가 지향하는 방향을 도출한 후, 상기 작업자장치의 현재 위치에서 상기 작업자장치의 영사부가 지향하는 방향의 경고 영상에 경고 태그가 존재하는 경우, 상기 영사부가 지향하는 방향에 위치하는 경고 영상을 상기 영사부를 통해 표시하며, 상기 작업자장치의 영사부가 지향하는 방향 이외의 방향의 경고 영상에 경고 태그가 존재하는 경우, 상기 오디오부를 통해 경고 태그의 위치 및 경고 문구를 음성으로 출력하는 것을 특징으로 한다. Here, the control unit calculates the current position of the worker device through the position information unit, and after deriving the direction that the projection unit of the worker device is directed through the sensor unit, the projection unit of the worker device at the current position of the worker device When a warning tag exists in a warning image in a direction directed by the projector, a warning image located in a direction directed by the projection unit is displayed through the projection unit, and a warning image in a direction other than the direction in which the projection unit of the worker device is directed. If there is a warning tag, the location of the warning tag and the warning phrases are output through the audio unit.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 관리서버의 작업 현장의 위험을 경고하기 위한 방법은 상기 작업 현장의 서로 다른 위치에 있는 복수의 작업자들이 각각 착용한 복수의 작업자장치로부터 작업 현장에 존재하는 객체의 이미지를 나타내는 이미지 레이어 및 상기 객체의 재질을 나타내는 재질 레이어 및 상기 객체의 위치 정보를 나타내는 위치 레이어를 포함하는 현장 영상을 수신하는 단계와, 상기 현장 영상에 대해 인공신경망의 가중치가 적용되는 복수의 연산을 수행하여 사고 가능성이 높은 객체를 나타내는 경고 태그가 포함되는 태그 레이어를 부가한 경고 영상을 생성하는 단계를 포함한다. Method for warning the risk of the work site of the management server according to a preferred embodiment of the present invention for achieving the above object is a plurality of worker devices each worn by a plurality of workers in different locations of the work site Receiving a scene image from an image layer representing an image of an object existing in a work site, a material layer representing a material of the object, and a location layer representing position information of the object; And generating a warning image to which a tag layer including a warning tag indicating an object having a high probability of accident is performed by performing a plurality of operations to which the weight of the value is applied.

본 발명의 다른 견지에 따르면, 전술한 작업 현장의 위험을 경고하기 위한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다. According to another aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for performing a method for warning of the danger of the above-mentioned work site.

본 발명에 따르면, 산업현장 혹은 건설현장에서 위험 영역을 작업자가 직관적으로 인식할 수 있도록 영상을 통해 경고함으로써, 산업 재해를 미연에 방지할 수 있다. According to the present invention, an industrial accident can be prevented by warning through an image so that an operator can intuitively recognize a danger area at an industrial site or a construction site.

도 1은 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 작업자장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 관리서버의 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 경고영상생성모듈의 구성을 설명하기 위한 블록도이다.
도 5는 본 발명의 실시예에 따른 인공신경망의 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 실시예에 따른 현장 영상을 설명하기 위한 블록도이다.
도 7은 본 발명의 실시예에 따른 경고 영상을 설명하기 위한 블록도이다.
도 8은 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위해 경고 영상을 생성하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 방법을 설명하기 위한 화면 예이다. 1 is a view for explaining the configuration of a system for warning the danger of the work site according to an embodiment of the present invention.
2 is a block diagram for explaining the configuration of a worker device according to an embodiment of the present invention.
3 is a block diagram illustrating a configuration of a management server according to an embodiment of the present invention.
4 is a block diagram for explaining the configuration of the warning image generating module according to an embodiment of the present invention.
5 is a block diagram illustrating a configuration of an artificial neural network according to an embodiment of the present invention.
6 is a block diagram illustrating an image of a scene according to an exemplary embodiment of the present invention.
7 is a block diagram illustrating a warning image according to an embodiment of the present invention.
8 is a flowchart illustrating a method of generating a warning image to warn of danger of a work site according to an embodiment of the present invention.
9 is a flow chart for explaining a method for warning the danger of the work site according to an embodiment of the present invention.
10 is a view for explaining a method for warning the danger of the work site according to an embodiment of the present invention.
11 is a screen example for explaining a method for warning a work site danger according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the description of the present invention, the terms or words used in the specification and claims described below should not be construed as being limited to the ordinary or dictionary meanings, and the inventors should consider their own invention in the best way. For the purpose of explanation, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention on the basis of the principle that it can be appropriately defined as the concept of term. Therefore, the embodiments described in the present specification and the configuration shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical idea of the present invention, and various equivalents may be substituted for them at the time of the present application. It should be understood that there may be water and variations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that like elements are denoted by like reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may blur the gist of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size.

먼저, 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 시스템의 구성을 설명하기 위한 도면이다. 도 1을 참조하면, 본 발명의 실시예에 따른 위험경고시스템은 작업자장치(100) 및 관리서버(300)를 포함한다. First, a system for warning the danger of a work site according to an embodiment of the present invention will be described. 1 is a view for explaining the configuration of a system for warning the danger of the work site according to an embodiment of the present invention. Referring to FIG. 1, a risk warning system according to an embodiment of the present invention includes a worker device 100 and a management server 300.

작업자장치(100)는 안전모 형태의 몸체를 가지며, 작업 현장에서 복수의 작업자들이 각각 착용한다. 복수의 작업자장치(100) 각각은 복수의 작업자장치(100) 각각의 위치에 존재하는 객체, 예컨대, 벽돌, 배관 등의 작업 중인 건축 구조물을 포함하는 작업 현장에 대한 현장 영상을 생성한다. 현장 영상은 작업 현장의 객체의 이미지, 재질 및 위치 정보를 포함한다. 그리고 작업자장치(100)는 현장 영상을 관리서버(300)로 전송한다. The worker device 100 has a body in the form of a hard hat and is worn by a plurality of workers at the work site, respectively. Each of the plurality of worker devices 100 generates an on-site image of a work site including an object existing at a location of each of the plurality of worker devices 100, for example, a building structure in operation such as a brick or a pipe. The field image includes image, material, and location information of objects in the shop floor. And the worker device 100 transmits the site image to the management server (300).

관리서버(300)는 복수의 작업자장치(100)가 서로 다른 위치에서 전송한 복수의 현장 영상에 인공신경망을 통해 사고 발생 가능성이 있는 위험 영역 및 위험 유형을 나타내는 태그를 부가한 경고 영상을 생성한다. 또한, 관리서버(300)는 복수의 현장 영상을 병합하여 가상의 현장을 표현하는 가상 영상을 생성할 수 있다. The management server 300 generates a warning image in which a plurality of scene images transmitted from different worker devices 100 are tagged with a tag indicating a danger area and a risk type that may cause an accident through an artificial neural network. . In addition, the management server 300 may generate a virtual image representing a virtual site by merging a plurality of site images.

한편, 작업자장치(100)는 작업자장치(100)의 위치 정보를 지속적으로 관리서버(300)로 전송할 수 있다. 이러한 경우, 관리서버(300)는 복수의 경고 영상을 포함하는 가상 영상 중 작업자장치(100)의 위치 정보에 상응하는 부분의 경고 영상을 작업자장치(100)로 전송한다. 그러면, 작업자장치(100)는 작업자가 위험 영역 및 위험 유형을 인지할 수 있도록 경고 영상을 통해 경고한다. On the other hand, the worker device 100 may continuously transmit the location information of the worker device 100 to the management server 300. In this case, the management server 300 transmits the warning image of the portion corresponding to the location information of the worker device 100 among the virtual image including a plurality of warning images to the worker device 100. Then, the worker device 100 warns through the warning image so that the operator can recognize the danger zone and the type of danger.

그러면, 본 발명의 실시예에 따른 작업자장치(100)의 구성에 대해서 보다 상세하게 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 작업자장치의 구성을 설명하기 위한 블록도이다. Then, the configuration of the worker device 100 according to an embodiment of the present invention will be described in more detail. 2 is a block diagram for explaining the configuration of a worker device according to an embodiment of the present invention.

도 2를 참조하면, 작업자장치(100)는 통신부(110), 카메라부(120), 초음파부(130), 위치정보부(140), 센서부(150), 입력부(160), 영사부(170), 오디오부(180), 저장부(190) 및 제어부(200)를 포함한다. Referring to FIG. 2, the operator device 100 includes a communication unit 110, a camera unit 120, an ultrasonic unit 130, a location information unit 140, a sensor unit 150, an input unit 160, and a projection unit 170. , An audio unit 180, a storage unit 190, and a controller 200.

도시된 바와 같이, 작업자장치(100)는 안전모 형태의 몸체(10)를 가지며, 몸체(10)에 통신부(110), 카메라부(120), 초음파부(130), 위치정보부(140), 센서부(150), 입력부(160), 영사부(170), 오디오부(180), 저장부(190) 및 제어부(200)가 형성된다. 특히, 작업자장치(100)의 몸체(10)의 전면에 눈을 보호하고 정보를 표시하기 위한 글라스(20)가 형성된다. As shown, the worker device 100 has a body 10 in the form of a hard hat, the communication unit 110, the camera unit 120, the ultrasonic unit 130, the location information unit 140, the sensor 10 in the body 10 The unit 150, the input unit 160, the projection unit 170, the audio unit 180, the storage unit 190, and the controller 200 are formed. In particular, the glass 20 is formed on the front of the body 10 of the worker device 100 to protect the eyes and display information.

통신부(110)는 관리서버(300)와 통신하기 위한 것이다. 통신부(110)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기(Tx) 및 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기(Rx)를 포함할 수 있다. 그리고 통신부(110)는 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다. The communication unit 110 is for communicating with the management server 300. The communication unit 110 may include a radio frequency (RF) transmitter (Tx) for upconverting and amplifying a frequency of a transmitted signal, and an RF receiver (Rx) for low noise amplifying and downconverting a received signal. The communication unit 110 may include a modem that modulates a transmitted signal and demodulates the received signal.

카메라부(120)는 영상을 촬영하기 위한 것으로, 이미지 센서를 포함한다. 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(120)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 전기신호를 디지털 수열로 변환하여 제어부(200)로 출력할 수 있다. 특히, 카메라부(120)는 3D 센서를 포함한다. 3D 센서는 비접촉 방식으로 영상의 각 픽셀에 대한 3차원 좌표를 획득하기 위한 센서이다. 카메라부(120)가 객체를 촬영하면, 3D 센서는 촬영된 객체의 영상의 각 픽셀에 대한 3차원 좌표를 검출하고, 검출된 3차원 좌표를 제어부(200)로 전달한다. 3D 센서는 레이저, 적외선, 가시광 등을 이용하는 다양한 방식의 센서를 이용할 수 있다. 이러한 3D 센서는 TOP(Time of Flight), 위상변위(Phase-shift) 및 Online Waveform Analysis 중 어느 하나를 이용하는 레이저 방식 3차원 스캐너, 광 삼각법을 이용하는 레이저 방식 3차원 스캐너, 백색광 혹은 변조광을 이용하는 광학방식 3차원 스캐너, Handheld Real Time 방식의 PHOTO, 광학방식 3차원 스캐너, Pattern Projection 혹은 Line Scanning을 이용하는 광학방식, 레이저 방식 전신 스캐너, 사진 측량(Photogrammetry)을 이용하는 사진방식 스캐너, 키네틱(Kinect Fusion)을 이용하는 실시간(Real Time) 스캐너 등을 예시할 수 있다. The camera unit 120 captures an image and includes an image sensor. The image sensor receives light reflected from a subject and converts the light into an electrical signal, and may be implemented based on a Charged Coupled Device (CCD), a Complementary Metal-Oxide Semiconductor (CMOS), or the like. The camera unit 120 may further include an analog-to-digital converter, and may convert an electrical signal output from an image sensor into a digital sequence and output the digital signal to the controller 200. In particular, the camera unit 120 includes a 3D sensor. The 3D sensor is a sensor for obtaining three-dimensional coordinates for each pixel of the image in a non-contact manner. When the camera unit 120 photographs an object, the 3D sensor detects three-dimensional coordinates of each pixel of the image of the photographed object, and transmits the detected three-dimensional coordinates to the controller 200. The 3D sensor may use various types of sensors using lasers, infrared rays, visible light, and the like. These 3D sensors are laser-based three-dimensional scanners using any one of TOP (time of flight), phase-shift and online waveform analysis, laser-based three-dimensional scanners using optical triangulation, optical using white or modulated light Type 3D scanner, Handheld Real Time type PHOTO, Optical type 3D scanner, Optical type using Pattern Projection or Line Scanning, Laser type whole body scanner, Photo type scanner using Photogrammetry, Kinect Fusion A real time scanner or the like used may be exemplified.

초음파부(130)는 초음파 영상을 촬상하기 위한 것이다. 본 발명의 실시예에서 초음파 영상은 C-Scan 영상이 될 수 있다. 초음파부(130)는 객체에 초음파 신호를 방사하고 방사된 초음파 신호 대한 반향된 신호, 즉, 에코 신호를 수신하여, 에코 신호의 진폭(amplitude) 및 TOF(time of flight)값을 가지는 초음파 영상을 생성한다. 이러한 에코 신호의 진폭(amplitude) 및 TOF(time of flight)값은 바이너리 값으로 표현될 수 있다. The ultrasound unit 130 is for capturing an ultrasound image. In an embodiment of the present invention, the ultrasound image may be a C-Scan image. The ultrasound unit 130 emits an ultrasound signal to an object and receives an echo signal, that is, an echo signal, for the emitted ultrasound signal, and generates an ultrasound image having an amplitude and a time of flight (TOF) value of the echo signal. Create Amplitude and time of flight (TOF) values of the echo signals may be represented as binary values.

위치정보부(140)는 위치 정보를 산출하기 위한 것이다. 이를 위하여, 위치정보부(140)는 GPS(Global Positioning System) 신호, DGPS(Differential GPS) 신호 및 관성센서 신호를 이용하여 작업자장치(100)의 위치 정보를 산출할 수 있다. 다른 말로, 위치정보부(140)는 GPS 신호를 이용하여 작업자장치(100)의 위치 정보를 도출하고, DGPS 신호 및 센서부(150)의 관성센서 신호 중 적어도 하나를 이용하여 작업자장치(100)의 위치 정보를 보정하여 GPS 신호만을 이용한 위치 정보 보다 정밀한 위치 정보를 산출할 수 있다. 보다 자세히 설명하면, 위치정보부(140)는 위성으로부터 GPS(Global Positioning System) 신호를 수신하여 작업자장치(100)의 위치를 도출한다. 그리고 위치정보부(140)는 작업자장치(100)의 위치로부터 작업자장치(100)의 영사부(170)의 위치, 작업자장치(100)의 카메라부(120)의 초점의 위치 혹은 작업자장치(100)의 초음파부(130)의 초점의 위치 정보를 도출할 수 있다. 또한, 위치정보부(140)는 DGPS 기준국으로부터 DGPS 신호를 수신하여 수신된 DGPS 신호를 이용하여 도출된 위치 정보를 보정하여 위치 정보의 정밀도를 높일 수 있다. 그리고 위치정보부(140)는 센서부(150)의 센서 신호를 통해 작업자장치(100)의 움직임을 감지하여 센서 신호를 획득하고, 획득한 센서 신호를 이용하여 GPS 신호로부터 획득한 위치 정보를 보정하여 위치 정보의 정밀도를 높일 수 있다. 또한, 위치정보부(140)는 GPS 신호를 수신할 수 없는 경우, 마지막으로 수신한 GPS 신호로부터 획득한 위치를 기준으로 작업자장치(100)의 변위를 센서 신호를 통해 산출하여 작업자장치(100)의 현재 위치를 산출할 수 있다. 여기서, 센서부(150)의 센서는 가속도 센서, 자이로 센서, 고도센서 등을 예시할 수 있다. 또한, 센서 신호는 작업자장치(100)의 가속도, 각속도, 고도 등을 포함한다. The location information unit 140 is for calculating location information. To this end, the location information unit 140 may calculate location information of the worker device 100 using a GPS (Global Positioning System) signal, a DGPS (Differential GPS) signal, and an inertial sensor signal. In other words, the location information unit 140 derives the location information of the worker device 100 using the GPS signal, and uses the at least one of the DGPS signal and the inertial sensor signal of the sensor unit 150 of the worker device 100. The location information may be corrected to calculate more accurate location information than the location information using only the GPS signal. In more detail, the position information unit 140 receives a GPS (Global Positioning System) signal from the satellite to derive the position of the worker device 100. And the position information unit 140 is the position of the projection unit 170 of the worker device 100 from the position of the worker device 100, the position of the focus of the camera unit 120 of the worker device 100 or of the worker device 100 Position information of the focus of the ultrasound unit 130 may be derived. In addition, the location information unit 140 may receive the DGPS signal from the DGPS reference station and correct the location information derived by using the received DGPS signal to increase the accuracy of the location information. The position information unit 140 detects the movement of the worker device 100 through the sensor signal of the sensor unit 150 to obtain a sensor signal, and corrects the position information acquired from the GPS signal by using the acquired sensor signal. The accuracy of the location information can be improved. In addition, when the location information unit 140 cannot receive the GPS signal, the position information of the worker device 100 is calculated by calculating the displacement of the worker device 100 through the sensor signal based on the position acquired from the last received GPS signal. You can calculate your current location. Here, the sensor of the sensor unit 150 may exemplify an acceleration sensor, a gyro sensor, an altitude sensor, and the like. In addition, the sensor signal includes an acceleration, an angular velocity, an altitude, and the like of the operator device 100.

센서부(150)는 작업자장치(100)에 설치되는 복수의 센서를 포함한다. 센서부(150)는 위치정보부(140)의 위치 정보의 정밀도를 높이거나, 보조로 위치 정보를 획득하기 위한 복수의 센서를 포함한다. 이러한 센서는 가속도 센서, 자이로 센서, 고도센서 등을 예시할 수 있다. 또한, 이러한 센서가 감지하는 센서 신호는 작업자장치(100)의 가속도, 각속도, 고도 등을 포함한다. The sensor unit 150 includes a plurality of sensors installed in the worker device 100. The sensor unit 150 includes a plurality of sensors for increasing the accuracy of the position information of the position information unit 140 or assisting in obtaining the position information. Such a sensor may exemplify an acceleration sensor, a gyro sensor, an altitude sensor, and the like. In addition, the sensor signal detected by such a sensor includes an acceleration, angular velocity, altitude, and the like of the operator device 100.

또한, 센서부(150)는 작업자장치(100)가 지향하는 방향을 식별하기 위한 것이다. 이러한 센서는 가속도 센서, 자이로 센서, 등을 예시할 수 있다. 센서부(150)는 가속도 센서 및 자이로 센서를 통해 작업자장치(100)의 3차원 회전 좌표를 산출하고, 3차원 회전 좌표값(yaw, roll, pitch)을 제어부(200)에 제공할 수 있다. 이에 따라, 제어부(200)는 작업자장치(100)가 지향하는 방향을 인식할 수 있다. 여기서, 작업자장치(100)가 지향하는 방향은 작업자장치(100)의 전면(글라스(20)가 있는 면)이 바라보는 방향이며, 작업자장치(100)를 착용한 작업자가 글라스(20)를 통해 바라보는 방향을 의미한다. In addition, the sensor unit 150 is for identifying the direction that the worker device 100 is directed. Such sensors can exemplify acceleration sensors, gyro sensors, and the like. The sensor unit 150 may calculate three-dimensional rotational coordinates of the worker device 100 through an acceleration sensor and a gyro sensor, and provide three-dimensional rotational coordinate values (yaw, roll, pitch) to the controller 200. Accordingly, the control unit 200 may recognize the direction that the worker device 100 is directed. Here, the direction in which the worker device 100 is directed is a direction that the front surface of the worker device 100 (the surface on which the glass 20 is located) is viewed, and the worker wearing the worker device 100 passes through the glass 20. It means the direction you look.

입력부(160)는 작업자장치(100)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(200)에 전달한다. 입력부(160)는 작업자장치(100)를 제어하기 위한 각 종 키들을 포함할 수 있다. The input unit 160 receives a key operation of a user for controlling the worker device 100, generates an input signal, and transmits the generated input signal to the controller 200. The input unit 160 may include various types of keys for controlling the worker device 100.

한편, 전술한 바와 같이, 작업자장치(100)의 몸체(10)의 전면에 눈을 보호하고 정보를 표시하기 위한 글라스(20)가 형성된다. 영사부(170)는 글라스(20)를 지향하여 형성되며, 글라스(20)에 소정의 영상을 영사하기 위한 것이다. 특히, 영사부(170)는 제어부(200)의 제어에 따라 본 발명의 실시예에 따른 태그를 포함하는 경고 영상을 글라스(20)에 영사한다. 그 밖에 영사부(170)는 작업자장치(100) 자체의 상태, 에러 메시지 등의 정보를 영사할 수 있다. 영사부(170)는 광원, 광학계 및 투사 렌즈를 포함한다. 복수의 광원이 영상을 구성하는 광을 출력하면, 광학계는 복수의 광원으로부터 출력된 광의 광축을 일치시켜 하나의 광원에서 빛이 나오는 것처럼 광을 형성한다. 그런 다음, 광학계로부터 출력된 광은 투사 렌즈를 통해 확대되어 글라스(20)에 영사된다. On the other hand, as described above, the glass 20 for protecting the eyes and display information on the front of the body 10 of the worker device 100 is formed. The projection unit 170 is formed to face the glass 20, and is for projecting a predetermined image on the glass 20. In particular, the projection unit 170 projects the warning image including the tag according to the embodiment of the present invention to the glass 20 under the control of the control unit 200. In addition, the projection unit 170 may project information such as a status of the worker device 100 itself, an error message, and the like. The projection unit 170 includes a light source, an optical system, and a projection lens. When a plurality of light sources output light constituting the image, the optical system matches the optical axes of the light output from the plurality of light sources to form light as if the light comes from one light source. Then, the light output from the optical system is enlarged through the projection lens and projected onto the glass 20.

오디오부(180)는 본 발명의 실시예에 따른 경고를 위한 오디오 신호를 출력하기 위한 스피커(SPK)와, 음성과 같은 오디오 신호를 수집하기 위한 마이크(MIKE)를 포함한다. 즉, 오디오부(150)는 제어부(200)의 제어에 따라 오디오 신호를 스피커(SPK)를 통해 출력하거나, 마이크(MIKE)를 통해 입력된 오디오 신호를 제어부(200)로 전달할 수 있다. The audio unit 180 includes a speaker SPK for outputting an audio signal for warning according to an embodiment of the present invention, and a microphone MIKE for collecting audio signals such as voice. That is, the audio unit 150 may output the audio signal through the speaker SPK or transmit the audio signal input through the microphone MIKE to the controller 200 under the control of the controller 200.

저장부(190)는 작업자장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 특히, 저장부(180)는 작업자장치(100)의 사용에 따라 발생하는 사용자 데이터가 저장되는 영역이다. 특히, 저장부(180)는 현장 영상 및 경고 영상을 저장할 수 있다. 저장부(180)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The storage unit 190 stores a program and data necessary for the operation of the worker device 100. In particular, the storage unit 180 is an area in which user data generated according to the use of the worker device 100 is stored. In particular, the storage unit 180 may store a scene image and a warning image. Various data stored in the storage unit 180 may be deleted, changed, or added according to a user's manipulation.

제어부(200)는 작업자장치(100)의 전반적인 동작 및 작업자장치(100)의 내부 블록(110 내지 190)들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(200)는 중앙처리장치(CPU: Central Processing Unit), 그래픽처리장치(GPU: Graphic Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 이러한 제어부(200)의 동작은 아래에서 더 상세하게 설명될 것이다. The controller 200 may control the overall operation of the worker device 100 and the signal flow between the internal blocks 110 to 190 of the worker device 100, and may perform a data processing function for processing data. The control unit 200 may be a central processing unit (CPU), a graphic processing unit (GPU), a digital signal processor (DSP), or the like. The operation of the control unit 200 will be described in more detail below.

다음으로, 본 발명의 실시예에 따른 관리서버(300)의 구성에 대해서 보다 상세하게 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 관리서버의 구성을 설명하기 위한 블록도이다. 도 3을 참조하면, 본 발명의 실시예에 따른 관리서버(300)는 통신모듈(310), 저장모듈(320) 및 제어모듈(300)을 포함한다. Next, the configuration of the management server 300 according to an embodiment of the present invention will be described in more detail. 3 is a block diagram illustrating a configuration of a management server according to an embodiment of the present invention. Referring to FIG. 3, the management server 300 according to the embodiment of the present invention includes a communication module 310, a storage module 320, and a control module 300.

통신모듈(310)은 네트워크를 통해 작업자장치(100)와의 통신을 위한 것이다. 통신모듈(310)은 네트워크를 통해 데이터를 송수신하기 위해 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다. 이러한 통신모듈(310)은 수신되는 데이터를 제어모듈(330)로 전달하거나, 제어모듈(330)로부터 전달 받은 데이터를 네트워크를 통해 작업자장치(100)로 전송할 수 있다. The communication module 310 is for communication with the worker device 100 through a network. The communication module 310 may include a modem that modulates a signal to be transmitted and received through a network and demodulates the received signal. The communication module 310 may transmit the received data to the control module 330 or transmit the data received from the control module 330 to the worker device 100 through a network.

저장모듈(320)은 관리서버(300)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 특히, 저장모듈(320)은 형태 영상, 초음파 영상, 가상의 현장 영상 및 경고 영상을 저장할 수 있다. 저장모듈(320)에 저장되는 각 종 데이터는 사용자의 조작에 따라 등록, 삭제, 변경, 추가될 수 있다. The storage module 320 stores a program and data necessary for the operation of the management server 300. In particular, the storage module 320 may store the shape image, the ultrasound image, the virtual field image, and the warning image. Various data stored in the storage module 320 may be registered, deleted, changed, or added according to a user's operation.

제어모듈(330)은 관리서버(300)의 전반적인 동작 및 관리서버(300)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 제어모듈(330)은 중앙처리장치(CPU: Central Processing Unit), 그래픽처리장치(GPU: Graphic Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 제어모듈(330)은 경고영상생성모듈(400) 및 현장관리모듈(500)을 포함한다. 현장영상구성모듈(400), 경고영상생성모듈(500) 및 경고영상제공모듈(500)을 포함하는 제어모듈(330)의 동작은 아래에서 더 상세하게 설명될 것이다. The control module 330 may control the overall operation of the management server 300 and the signal flow between the internal blocks of the management server 300, and may perform a data processing function for processing data. The control module 330 may be a central processing unit (CPU), a graphic processing unit (GPU), a digital signal processor (DSP), or the like. The control module 330 includes an alert image generation module 400 and a site management module 500. The operation of the control module 330 including the field image configuration module 400, the warning image generation module 500, and the warning image providing module 500 will be described in more detail below.

다음으로, 본 발명의 실시예에 따른 경고영상생성모듈(400)에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 경고영상생성모듈의 구성을 설명하기 위한 블록도이다. 도 5는 본 발명의 실시예에 따른 인공신경망의 구성을 설명하기 위한 블록도이다. 도 6은 본 발명의 실시예에 따른 현장 영상을 설명하기 위한 블록도이다. 도 7은 본 발명의 실시예에 따른 경고 영상을 설명하기 위한 블록도이다. Next, the warning image generating module 400 according to an embodiment of the present invention will be described. 4 is a block diagram for explaining the configuration of the warning image generating module according to an embodiment of the present invention. 5 is a block diagram illustrating a configuration of an artificial neural network according to an embodiment of the present invention. 6 is a block diagram illustrating an image of a scene according to an exemplary embodiment of the present invention. 7 is a block diagram illustrating a warning image according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에 따른 경고영상생성모듈(400)은 인공신경망(410), 학습모듈(420) 및 생성모듈(430)을 포함한다. Referring to FIG. 4, the warning image generation module 400 according to an embodiment of the present invention includes an artificial neural network 410, a learning module 420, and a generation module 430.

도 5를 참조하면, 인공신경망(410)은 복수의 계층을 포함하며, 복수의 계층은 가중치가 적용되는 복수의 연산을 통해 연결된다. 다른 말로, 인공신경망(410)은 가중치가 적용되는 복수의 연산을 포함하는 복수의 계층을 포함한다. 여기서, 복수의 연산을 포함하는 복수의 계층은 컨볼루션(Convolution) 연산을 수행하는 컨볼루션계층(CL: Convolution Layer), 다운샘플링(Down Sampling) 연산을 수행하는 풀링계층(PL: Pooling Layer) 및 업샘플링(Up Sampling) 연산을 수행하는 언풀링(UL: Unpooling Layer) 계층 및 디컨불루션 연산을 수행하는 디컨불루션 계층(DL: Deconvolution Layer) 각각을 하나 이상 포함한다. 컨볼루션, 다운샘플링, 업샘플링 및 디컨불루션 연산 각각은 소정의 행렬로 이루어진 필터를 이용하며, 이러한 행렬의 원소의 값들이 가중치가 된다. Referring to FIG. 5, the neural network 410 includes a plurality of layers, and the plurality of layers are connected through a plurality of operations to which weights are applied. In other words, the neural network 410 includes a plurality of layers including a plurality of operations to which weights are applied. Here, the plurality of layers including the plurality of operations may include a convolution layer (CL) for performing a convolution operation, a pooling layer (PL) for performing down sampling, and a pooling layer (PL) for performing a downsampling operation. At least one unpooling layer (UL) for performing up-sampling operation and at least one deconvolution layer (DL) for performing deconvolution operation are included. Convolution, downsampling, upsampling, and deconvolution operations each use a filter of a predetermined matrix, with the values of the elements of those matrices being weighted.

학습모듈(420)은 학습 데이터를 통해 인공신경망(410)을 학습시킨다. 학습 데이터는 본 발명의 실시예에 따른 현장 영상(SI)과 이에 대응하는 경고 영상(WI)을 포함한다. 학습 데이터 중 현장 영상(SI)은 입력값이 되며, 경고 영상(WI)은 목표값이 될 수 있다. The learning module 420 learns the artificial neural network 410 through the learning data. The training data includes a scene image SI and a warning image WI corresponding thereto according to an embodiment of the present invention. The field image SI may be an input value among the training data, and the warning image WI may be a target value.

도 6을 참조하면, 현장 영상(SI)은 객체의 이미지를 나타내는 이미지 레이어(IL) 및 객체의 재질을 나타내는 재질 레이어(ML) 및 객체의 위치 정보를 나타내는 위치 레이어(LL)를 포함한다. 이미지 레이어(IL)는 카메라부(120)를 통해 객체를 촬영한 영상이다. 이미지 레이어(IL)는 복수의 픽셀로 구분되며, 각 픽셀의 값, 즉, 픽셀값은 색을 나타낸다. 재질 레이어(ML)는 초음파부(130)를 통해 촬영한 초음파 영상이다. 이러한 재질 레이어(ML)는 객체의 초음파 영상 중 C-Scan 영상이 될 수 있다. 재질 레이어(ML)는 이미지 레이어(IL)의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 재질 레이어(ML)의 픽셀값은 객체에 초음파 신호를 방사했을 때 반향되는 초음파 신호, 즉, 에코 신호의 진폭(amplitude) 및 TOF(time of flight)값을 가진다. 위치 레이어(LL)는 이미지 레이어(IL)의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 각 픽셀값은 객체의 3차원의 위치 정보를 가진다. Referring to FIG. 6, the scene image SI includes an image layer IL indicating an image of an object, a material layer ML indicating a material of an object, and a location layer LL indicating position information of an object. The image layer IL is an image obtained by photographing an object through the camera unit 120. The image layer IL is divided into a plurality of pixels, and the value of each pixel, that is, the pixel value represents color. The material layer ML is an ultrasound image photographed through the ultrasound unit 130. The material layer ML may be a C-Scan image of the ultrasound image of the object. The material layer ML is divided into pixels of the same size corresponding to each of the plurality of pixels of the image layer IL, and the pixel value of the material layer ML is an ultrasonic signal that is reflected when an ultrasonic signal is emitted to an object. , An amplitude of the echo signal and a time of flight (TOF) value. The position layer LL is divided into pixels having the same size corresponding to each of the plurality of pixels of the image layer IL, and each pixel value has three-dimensional position information of the object.

도 7을 참조하면, 경고 영상(WI)은 객체의 가상 이미지를 나타내는 가상 이미지 레이어(VL), 사고 가능성이 있는 객체를 식별하기 위한 경고 태그를 나타내는 태그 레이어(TL) 및 객체의 위치 정보를 나타내는 위치 레이어(LL)를 포함한다. 경고 영상(WI)은 가상의 현장을 나타내는 이미지에 사고 가능성이 있는 객체를 다른 객체와 구분하여 식별될 수 있도록 하는 태그를 부착한 영상이 될 수 있다. 가상 이미지 레이어(VL)는 이미지 레이어(IL)의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 각 픽셀의 값, 즉, 픽셀값은 색을 나타낸다. 태그 레이어(TL)는 가상의 이미지 레이어(VL)의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분된다. 태그 레이어(TL)는 경고 태그를 포함하며, 경고 태그는 가상 이미지 레이어(VL)의 객체 중 사고 가능성이 있는 객체의 픽셀 위치에 대응하여 배치된다. 따라서 태그 레이어(TL)는 모든 픽셀이 픽셀값을 갖는 것은 아니며, 경고 태그의 위치에만 값을 갖는다. 여기서, 경고 태그는 사고 가능성이 높은 위험 요소인 객체의 위치와 사고 유형에 따른 경고 문구를 포함한다. 특히, 위치 레이어(LL)는 현장 영상의 위치 레이어(LL)와 동일한 픽셀 및 픽셀값을 가진다. 따라서 이러한 위치 레이어(LL)를 통해 모든 레이어(IL, ML, VL, TL)가 픽셀 단위로 동기화될 수 있다. Referring to FIG. 7, the warning image WI represents a virtual image layer VL representing a virtual image of an object, a tag layer TL representing a warning tag for identifying a likely object, and location information of the object. It includes a position layer LL. The warning image WI may be an image tagged with an image representing a virtual site to distinguish an object having a possibility of accident from another object. The virtual image layer VL is divided into pixels of the same size corresponding to each of the plurality of pixels of the image layer IL, and a value of each pixel, that is, a pixel value represents a color. The tag layer TL is divided into pixels of the same size corresponding to each of the plurality of pixels of the virtual image layer VL. The tag layer TL includes a warning tag, and the warning tag is disposed corresponding to the pixel position of an accidental object among the objects of the virtual image layer VL. Therefore, the tag layer TL does not have all the pixel values but only the position of the warning tag. Here, the warning tag includes warning phrases according to the location of the object and the type of accident, which are risk factors that are likely to cause an accident. In particular, the position layer LL has the same pixel and pixel value as the position layer LL of the scene image. Therefore, all of the layers IL, ML, VL, and TL may be synchronized in units of pixels through the position layer LL.

입력값인 현장 영상(SI)과 이에 대응하는 목표값인 경고 영상(WI)을 포함하는 학습 데이터는 실제 사고가 발생한 현장에서 수집된 데이터를 이용하여 생성될 수 있다. 입력값인 현장 영상(SI)은 작업자장치(100)와 동일한 장치를 이용하여 생성된다. 목표값인 경고 영상(WI)은 컴퓨팅 연산 장치, 예컨대, 컴퓨터를 통해 생성될 수 있다. 목표값인 경고 영상(WI)은 컴퓨팅 연산 장치를 이용하여 현장 영상(SI)으로부터 위치 레이어(LL)를 그대로 사용하면서, 이미지 레이어(IL)를 가상의 이미지 레이어(VL)로 변환하고, 사고 발생의 원인이 되는 객체의 위치에 개시되는 경고 태그를 포함하는 태그 레이어(TL)를 부가하여 생성할 수 있다. The training data including the input field image SI and the warning image WI corresponding to the target value may be generated using data collected at the actual accident site. The field image SI, which is an input value, is generated using the same device as the worker device 100. The warning image WI, which is a target value, may be generated by a computing computing device, for example, a computer. The warning image WI, which is a target value, converts the image layer IL into a virtual image layer VL while using the position layer LL from the field image SI using a computing computing device, and generates an accident. The tag layer TL including the warning tag, which is started at the position of the object that is the cause of, may be added and generated.

도 5를 참조하면, 학습 데이터가 마련되어 학습 데이터가 입력되면, 학습모듈(420)은 입력값인 현장 영상(SI)을 인공신경망(410)에 입력한다. 그러면, 인공신경망(410)은 현장 영상(SI)에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 경고 영상(WI)을 생성한다. 이와 같이, 인공신경망(410)이 생성한 경고 영상(WI)을 출력값이라고 칭하기로 한다. 이때, 학습모듈(420)은 인공신경망(410)의 출력값과 미리 마련된 목표값인 경고 영상(WI)이 상호 비교하여 출력값과 목표값의 차이, 즉, 가상 이미지 레이어(VL), 태그 레이어(TL) 및 위치 레이어(LL) 각각의 픽셀값의 차이가 최소가 되도록 최소가 되도록 역확산(back-propagation) 알고리즘을 통해 인공신경망(410)의 가중치를 수정한다. Referring to FIG. 5, when learning data is provided and learning data is input, the learning module 420 inputs the field image SI, which is an input value, to the artificial neural network 410. Then, the neural network 410 generates a warning image WI by performing a plurality of operations to which weights of a plurality of layers are applied to the field image SI. As such, the warning image WI generated by the artificial neural network 410 will be referred to as an output value. In this case, the learning module 420 compares the output value of the artificial neural network 410 with the warning image WI, which is a predetermined target value, and compares the output value and the target value, that is, the virtual image layer VL and the tag layer TL. And the weight of the artificial neural network 410 through a back-propagation algorithm so that the difference between the pixel values of each of the first and second position layers LL is minimized.

생성모듈(430)은 학습모듈(420)에 의해 인공신경망(410)의 학습이 완료되면, 인공신경망(410)을 통해 실제 데이터인 현장 영상(SI)으로부터 경고 영상(WI)을 생성한다. 여기서, 실제 데이터는 작업자장치(100)가 전송한 현장 영상(SI)이며, 이러한 현장 영상(SI)이 수신되면, 생성모듈(430)은 수신한 현장 영상(SI)을 인공신경망(410)에 입력한다. 그러면, 인공신경망(410)은 현장 영상(SI)에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 경고 영상(WI)을 생성한다. When the learning module 430 completes the learning of the neural network 410 by the learning module 420, the generation module 430 generates the warning image WI from the field image SI, which is actual data, through the artificial neural network 410. Here, the actual data is the field image (SI) transmitted by the worker device 100, and when such a field image (SI) is received, the generation module 430 transmits the received field image (SI) to the artificial neural network (410) Enter it. Then, the neural network 410 generates a warning image WI by performing a plurality of operations to which weights of a plurality of layers are applied to the field image SI.

그러면, 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위해 경고 영상을 생성하는 방법에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위해 경고 영상을 생성하는 방법을 설명하기 위한 흐름도이다. Next, a method of generating a warning image to warn of danger of a work site according to an embodiment of the present invention will be described. 8 is a flowchart illustrating a method of generating a warning image to warn of danger of a work site according to an embodiment of the present invention.

도 8을 참조하면, 작업자가 작업자장치(100)를 착용한 상태에서 작업 현장에 있다고 가정한다. 작업자장치(100)의 제어부(200)는 S110 단계에서 카메라부(120), 초음파부(130), 위치정보부(140)를 이용하여 현장 영상(SI)을 생성한다. 현장 영상(SI)은 객체의 이미지를 나타내는 이미지 레이어(IL) 및 객체의 재질을 나타내는 재질 레이어(ML) 및 객체의 위치 정보를 나타내는 위치 레이어(LL)를 포함한다. Referring to FIG. 8, it is assumed that the worker is at the work site while wearing the worker device 100. The controller 200 of the worker device 100 generates a scene image SI using the camera unit 120, the ultrasound unit 130, and the location information unit 140 in step S110. The scene image SI includes an image layer IL indicating an image of an object, a material layer ML indicating a material of an object, and a position layer LL indicating position information of an object.

제어부(200)는 카메라부(120)를 통해 작업 현장의 객체를 촬영하여 이미지 레이어(IL)를 생성한다. 또한, 초음파부(130)를 통해 작업 현장의 객체를 촬상하여 재질 레이어(ML)를 생성한다. 또한, 제어부(200)는 위치정보부(140)를 이용하여 작업자장치(100)의 카메라부(120)의 초점의 위치 및 초음파부(130)의 초점의 위치를 산출하고, 카메라부(120)의 초점으로부터 객체까지의 거리 및 초음파부(130)의 초점으로부터 객체까지의 거리를 산출하여 객체의 위치 정보를 산출한다. 동시에 이미지 레이어(IL) 및 재질 레이어(ML)와 객체의 위치 정보를 기초로 동기를 맞춘다. 이에 따라, 복수의 레이어(VL, ML, LL)로 이루어진 현장 영상(SI)을 생성한다. The controller 200 generates an image layer IL by photographing an object on the work site through the camera unit 120. In addition, the ultrasound unit 130 to create an image of the object on the job site to generate a material layer (ML). In addition, the control unit 200 calculates the position of the focus of the camera unit 120 and the focus of the ultrasound unit 130 of the worker device 100 by using the position information unit 140, The position information of the object is calculated by calculating the distance from the focus to the object and the distance from the focus to the object of the ultrasound unit 130. At the same time, synchronization is performed based on the image layer IL and material layer ML and the position information of the object. Accordingly, the scene image SI including the plurality of layers VL, ML, and LL is generated.

이어서, 제어부(200)는 S120 단계에서 통신부(110)를 통해 현장 영상(SI)을 관리서버(300)로 전송한다. Subsequently, the control unit 200 transmits the field image (SI) to the management server 300 through the communication unit 110 in step S120.

통신모듈(310)을 통해 현장 영상(SI)을 수신한 관리서버(300)의 경고영상생성모듈(400)은 S130 단계에서 현장 영상(SI)으로부터 경고 영상(WI)을 생성한다. 즉, 경고영상생성모듈(400)의 생성모듈(430)이 현장 영상(SI)을 인공신경망(410)에 입력하면, 인공신경망(410)은 현장 영상(SI)에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 경고 영상(WI)을 생성한다. The warning image generation module 400 of the management server 300 receiving the field image SI through the communication module 310 generates the warning image WI from the field image SI in step S130. That is, when the generation module 430 of the warning image generation module 400 inputs the field image SI to the artificial neural network 410, the artificial neural network 410 has weights of a plurality of layers with respect to the field image SI. A warning image WI is generated by performing a plurality of operations applied.

이와 같이, 전술한 S110 단계 내지 S130 단계에서 복수의 작업자장치(100) 각각이 전송한 현장 영상(SI) 및 어느 하나의 작업자장치(100)가 복수의 위치에서 전송한 현장 영상(SI)으로부터 복수의 경고 영상(WI)이 생성될 수 있다. As described above, a plurality of scene images (SI) transmitted by each of the plurality of worker apparatuses 100 in steps S110 to S130 and a plurality of scene images (SI) transmitted by any one operator apparatus 100 at a plurality of positions. The warning image WI may be generated.

이와 같이, 복수의 경고 영상(WI)이 존재할 수 있고, 이러한 경우, 관리서버(300)의 현장관리모듈(500)은 S140 단계에서 복수의 경고 영상(WI)을 복수의 경고 영상(WI)의 위치 레이어를 기준으로 병합하여 복수의 경고 영상(WI)으로 이루어진 가상 영상을 생성한다. As such, a plurality of warning images WI may exist, and in this case, the site management module 500 of the management server 300 may convert the plurality of warning images WI into the plurality of warning images WI in step S140. By merging based on the location layer, a virtual image including a plurality of warning images WI is generated.

다음으로, 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 방법에 대해서 설명하기로 한다. 도 9는 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다. 도 10은 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 방법을 설명하기 위한 도면이다. 도 11은 본 발명의 실시예에 따른 작업 현장의 위험을 경고하기 위한 방법을 설명하기 위한 화면 예이다. Next, a method for warning the danger of the work site according to an embodiment of the present invention will be described. 9 is a flow chart for explaining a method for warning the danger of the work site according to an embodiment of the present invention. 10 is a view for explaining a method for warning the danger of the work site according to an embodiment of the present invention. 11 is a screen example for explaining a method for warning a work site danger according to an embodiment of the present invention.

도 9를 참조하면, 작업자장치(100)의 제어부(200)는 S210 단계에서 위치정보부(140)를 이용하여 작업자장치(100)의 위치 정보를 산출한다. 그런 다음, 제어부(200)는 S220 단계에서 통신부(110)를 통해 관리장치(300)로 위치 정보를 전송한다. Referring to FIG. 9, the control unit 200 of the worker device 100 calculates the location information of the worker device 100 using the location information unit 140 in step S210. Then, the control unit 200 transmits the location information to the management device 300 through the communication unit 110 in step S220.

관리장치(300)의 현장관리모듈(500)은 통신모듈(310)을 통해 작업자장치(100)의 위치 정보를 수신하면, S230 단계에서 복수의 경고 영상(WI)을 포함하는 가상 영상에서 작업자장치(100)가 전송한 위치 정보를 기준으로 소정 반경 내의 객체의 위치 정보를 가지는 경고 영상(WI)을 추출한다. 즉, 추출된 경고 영상(WI)은 위치 정보 레이어(LL)의 객체의 위치 정보가 작업자장치(100)가 전송한 위치 정보를 중심으로 소정 반경 이내의 위치를 가진다. When the site management module 500 of the management device 300 receives the location information of the worker device 100 through the communication module 310, the worker device in a virtual image including a plurality of warning images (WI) in step S230 The warning image WI having the location information of the object within a predetermined radius is extracted based on the location information transmitted by the 100. That is, the extracted warning image WI has a position within a predetermined radius of the position information of the object of the position information layer LL based on the position information transmitted by the worker device 100.

이어서, 현장관리모듈(500)은 S240 단계에서 통신모듈(310)을 통해 앞서 추출된 경고 영상(WI)을 작업자장치(100)로 전송한다. Subsequently, the site management module 500 transmits the warning image WI previously extracted through the communication module 310 to the worker device 100 in operation S240.

작업자장치(100)의 제어부(200)는 통신부(110)를 통해 경고 영상(WI)을 수신하면, S250 단계에서 영사부(170)를 통해 경고 영상(WI)을 글라스(20)에 출력한다. 도 10 및 도 11을 참조하면, 제어부(200)는 위치정보부(140)를 통해 작업자장치(100)의 현재 위치를 산출한다. 이때, 센서부(150)의 센서 신호가 보조로 이용될 수 있다. When the control unit 200 of the worker device 100 receives the warning image WI through the communication unit 110, the control unit 200 outputs the warning image WI to the glass 20 through the projection unit 170 in step S250. 10 and 11, the control unit 200 calculates the current position of the worker device 100 through the location information unit 140. In this case, the sensor signal of the sensor unit 150 may be used as an auxiliary.

그런 다음, 제어부(200)는 센서부(150)가 감지한 3차원 회전 좌표값(yaw, roll, pitch)을 통해 작업자장치(100)가 지향하는 방향을 식별한다. 여기서, 작업자장치(100)가 지향하는 방향은 작업자장치(100)를 착용한 작업자가 글라스(20)를 통해 바라보는 방향을 의미한다. Then, the controller 200 identifies the direction that the worker device 100 directs through the three-dimensional rotation coordinate values (yaw, roll, pitch) sensed by the sensor unit 150. Here, the direction in which the worker device 100 is directed refers to the direction that the worker wearing the worker device 100 looks through the glass 20.

그런 다음, 제어부(200)는 수신된 경고 영상(WI)의 태그 레이어(TL) 및 위치 레이어(LL)를 통해 경고 태그의 위치 정보를 참조하고, 작업자장치(100)의 현재 위치에서 작업자장치(100)가 지향하는 방향에 위치하는 경고 영상(WI)에 경고 태그(WT1)가 존재하는지 여부를 판단한다. 이때, 작업자장치(100)의 현재 위치에서 작업자장치(100)가 지향하는 방향에 위치하는 경고 영상(WI)에 경고 태그(WT1)가 존재하는 경우, 제어부(200)는 도 11에 도시된 바와 같이, 작업자장치(100)가 지향하는 방향에 상응하는 경고 영상(WI)을 영사부(170)를 통해 글라스(20)에 영사한다. 이에 따라, 작업자는 글라스(20)를 통해 실제 공사현장과 경고 영상(WI)을 겹쳐서 바라볼 수 있으며, 경고 태그(WT1)를 통해 미리 위험 인자를 감지할 수 있다. Then, the control unit 200 refers to the location information of the warning tag through the tag layer TL and the location layer LL of the received warning image WI, and at the current position of the worker device 100, the worker device ( It is determined whether the warning tag WT1 is present in the warning image WI positioned in the direction in which 100 is directed. In this case, when the warning tag WT1 is present in the warning image WI positioned in the direction in which the worker device 100 is directed from the current location of the worker device 100, the controller 200 is illustrated in FIG. 11. Likewise, the warning image WI corresponding to the direction in which the worker device 100 is directed is projected onto the glass 20 through the projection unit 170. Accordingly, the worker can look at the actual construction site and the warning image (WI) overlapping through the glass 20, it is possible to detect the risk factor in advance through the warning tag (WT1).

제어부(200)는 특히, 경고 영상(WI)의 일부만을 영사할 수 있다. 즉, 제어부(200)는 경고 영상(WI) 중 경고 태그(WT1)를 중심으로 소정 반경의 영역의 부분 영상(WI_1)을 추출하여 영사부(170)를 통해 글라스(20)에 영사할 수 있다. 예를 들면, 도 11에서 도면부호 21은 작업자가 글라스(20)를 통해 바라보는 영역이며, 경고 태그(WT1)를 중심으로 소정 반경의 영역의 부분 영상(WI_1)을 나타낸다. In particular, the controller 200 may project only a part of the warning image WI. That is, the controller 200 may extract the partial image WI_1 of the region having a predetermined radius from the warning tag WT1 among the warning images WI, and project the partial image WI_1 onto the glass 20 through the projection unit 170. For example, in FIG. 11, reference numeral 21 denotes an area viewed by the worker through the glass 20, and represents a partial image WI_1 of an area having a predetermined radius around the warning tag WT1.

이때, 제어부(200)는 영사부(170)를 통해 부분 영상(WI_1) 중 경고 태그(WT1)는 투명도(blur)를 낮춰 영사하고(예컨대, 투명도 0%), 부분 영상(WI_1) 중 경고 태그(WT1)를 제외한 부분의 투명도를 높여(예컨대, 투명도 50%) 영사할 수 있다. 예컨대, 제어부(200)는 경고 태그(WT1), 부분 영상(WI_1) 중 경고 태그(WT1)를 제외한 부분 및 부분 영상(WI_1)을 제외한 나머지 경고 영상(WI)의 투명도를 0%, 50% 및 100%로 순차로 낮춰 영사하여, 작업자의 다른 부분의 시야를 방해하지 않으면서, 경고 태그(WT1)에 대한 집중도를 높일 수 있다. In this case, the control unit 200 projects the warning tag WT1 of the partial image WI_1 through the projection unit 170 to lower the transparency (for example, 0% transparency), and to display the warning tag (of the partial image WI_1). Projection can be carried out by increasing the transparency of portions other than WT1) (for example, 50% transparency). For example, the controller 200 may set the transparency of the warning tag WT1 and the partial image WI_1 to 0%, 50% and the other parts of the warning image WI_1 except for the warning tag WT1 and the partial image WI_1. By sequentially lowering and projecting to 100%, the concentration on the warning tag WT1 can be increased without disturbing the field of view of other parts of the operator.

그 밖에 도 11에 도시된 바와 같이, 작업자가 지나다가 충돌할 위험이 있음을 알리는 '충돌 경고', 발에 걸리거나, 밟아서 미끄러질 위험이 있음을 알리는 '걸림 주의', 고정되지 않아 쓰러져 깔릴 위험이 있음을 알리는 '쓰러짐 주의' 등과 같이 위험 영역 및 위험 유형에 따른 복수의 태그를 표시할 수도 있다. In addition, as shown in Figure 11, the 'collision warning' to inform the operator of the risk of passing and collision, the 'caution of attention' to indicate that there is a risk of being caught or stepped on, the risk of falling over unsecured You can also mark multiple tags according to the hazard area and the type of hazard, such as 'fall note' to indicate a warning.

한편, 도 10을 참조하면, 제어부(200)는 작업자장치(100)가 지향하는 방향 이외의 방향의 경고 영상(WI)에 경고 태그(WT2)가 존재하는 경우, 오디오부(180)를 통해 경고 태그(WT2)의 위치 및 경고 문구를 음성으로 출력할 수 있다. 즉, 제어부(200)는 수신된 경고 영상(WI)의 태그 레이어(TL) 및 위치 레이어(LL)를 통해 경고 태그의 위치 정보를 참조하고, 작업자장치(100)의 현재 위치에서 작업자장치(100)가 지향하는 방향 이외의 방향에 경고 태그(WT2)가 존재하는지 여부를 판단한다. 이때, 작업자장치(100)의 현재 위치에서 작업자장치(100)가 지향하는 방향 이외의 방향에 위치하는 경고 태그(WT2)가 존재하는 경우, 제어부(200)는 오디오부(180)를 통해 경고 태그(WT2)의 위치 및 경고 문구를 음성으로 출력할 수 있다. 예컨대, 도 10을 참조하면, 작업자장치(100)가 지향하는 방향 이외의 방향에 경고 태그(WT2)가 위치하면, 제어부(200)는 오디오부(180)를 통해 '후방 위쪽 방향에 낙하 위험이 있습니다.'와 같은 음성을 출력할 수 있다. 이에 따라, 작업자는 미리 위험 인자를 감지할 수 있다. Meanwhile, referring to FIG. 10, when the warning tag WT2 is present in the warning image WI in a direction other than the direction in which the worker device 100 is directed, the controller 200 warns through the audio unit 180. The position and warning phrase of the tag WT2 may be output by voice. That is, the controller 200 refers to the location information of the warning tag through the tag layer TL and the location layer LL of the received warning image WI, and the worker device 100 at the current location of the worker device 100. It is determined whether or not the warning tag WT2 exists in a direction other than the direction in which? At this time, when there is a warning tag WT2 positioned in a direction other than the direction in which the worker device 100 is directed from the current position of the worker device 100, the control unit 200 receives the warning tag through the audio unit 180. The position and warning phrase of (WT2) can be output by voice. For example, referring to FIG. 10, when the warning tag WT2 is positioned in a direction other than the direction in which the worker device 100 is directed, the controller 200 may drop the danger of falling in the rear upward direction through the audio unit 180. You can output a voice like Accordingly, the operator can detect the risk factor in advance.

한편, 앞서 설명된 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. On the other hand, the method according to the embodiment of the present invention described above may be implemented in the form of a program readable through various computer means may be recorded on a computer-readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. Program instructions recorded on the recording medium may be those specially designed and constructed for the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. For example, the recording medium may be magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs, DVDs, or magnetic-optical media such as floptical disks. magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include high-level language wires that can be executed by a computer using an interpreter as well as machine language wires such as those produced by a compiler. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. While the invention has been described using some preferred embodiments, these embodiments are illustrative and not restrictive. As such, those of ordinary skill in the art will appreciate that various changes and modifications may be made according to equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

100: 작업자장치 110: 통신부
120: 카메라부 130: 초음파부
140: 위치정보부 150: 센서부
160: 입력부 170: 영사부
180: 오디오부 190: 저장부
200: 제어부 300: 관리서버
310: 통신모듈 320: 저장모듈
330: 제어모듈 400: 경고영상생성모듈
500: 현장관리모듈 100: worker device 110: communication unit
120: camera unit 130: ultrasonic unit
140: location information unit 150: sensor unit
160: input unit 170: projection unit
180: audio unit 190: storage unit
200: control unit 300: management server
310: communication module 320: storage module
330: control module 400: warning image generation module
500: field management module

Claims (9)

작업 현장의 위험을 경고하기 위한 관리서버에 있어서,
상기 작업 현장의 서로 다른 위치에 있는 복수의 작업자들이 각각 착용한 복수의 작업자장치로부터 작업 현장에 존재하는 객체의 이미지를 나타내는 이미지 레이어 및 상기 객체의 재질을 나타내는 재질 레이어 및 상기 객체의 위치 정보를 나타내는 위치 레이어를 포함하는 현장 영상을 수신하는 통신모듈; 및
상기 현장 영상에 대해 인공신경망의 가중치가 적용되는 복수의 연산을 수행하여 사고 가능성이 높은 객체를 나타내는 경고 태그가 포함되는 태그 레이어를 부가한 경고 영상을 생성하는 경고영상생성모듈;을 포함하며,
상기 경고영상생성모듈은
가중치가 적용되는 복수의 연산으로 연결되는 복수의 계층을 포함하는 인공신경망; 및
입력값인 현장 영상을 상기 인공신경망에 입력하여 상기 인공신경망이 상기 현장 영상에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 출력값인 경고 영상을 생성하도록 하고, 상기 출력값인 경고 영상과 목표값인 경고 영상의 가상 이미지 레이어, 태그 레이어 및 위치 레이어 각각의 픽셀값의 차이가 최소가 되도록 최소가 되도록 역확산(back-propagation) 알고리즘을 통해 상기 인공신경망의 가중치를 수정하는 학습모듈;을 포함하는 것을 특징으로 하는 작업 현장의 위험을 경고하기 위한 관리서버. In the management server to warn of danger on the job site,
An image layer representing an image of an object present on the work site, a material layer representing a material of the object, and location information of the object from a plurality of worker devices worn by a plurality of workers at different locations on the work site, respectively A communication module for receiving a scene image including a location layer; And
And a warning image generation module configured to perform a plurality of operations to which the weight of the artificial neural network is applied to the field image to generate a warning image added with a tag layer including a warning tag indicating an object having a high probability of accident.
The warning image generating module
An artificial neural network including a plurality of layers connected by a plurality of operations to which weights are applied; And
Inputting the field image, which is an input value, to the artificial neural network to generate a warning image as an output value by performing a plurality of calculations to which the weights of a plurality of layers are applied to the field image, and generating the warning image as the output value; A learning module for modifying the weight of the artificial neural network through a back-propagation algorithm such that a difference between pixel values of a virtual image layer, a tag layer, and a position layer of a warning image as a target value is minimized Management server for warning the risk of the job site, characterized in that it comprises a. 제1항에 있어서,
복수의 상기 경고 영상을 상기 위치 레이어의 위치 정보를 기초로 병합하여 가상의 현장을 나타내는 가상 영상을 생성하며,
상기 작업자장치로부터 상기 작업자장치의 위치 정보를 수신하면, 상기 가상 영상 중 상기 수신된 위치 정보에 상응하는 부분의 경고 영상을 추출하여 상기 통신모듈을 통해 상기 작업자장치로 전송하는 현장관리모듈;을 더 포함하는 것을 특징으로 하는 작업 현장의 위험을 경고하기 위한 관리서버. The method of claim 1,
Generating a virtual image representing a virtual scene by merging a plurality of warning images based on location information of the location layer;
When receiving the location information of the worker device from the worker device, the field management module for extracting the warning image of the portion corresponding to the received location information of the virtual image and transmits to the worker device through the communication module; Management server for warning the risk of the job site, characterized in that it comprises a. 삭제delete 제1항에 있어서,
상기 경고영상생성모듈은
현장 영상을 상기 인공신경망에 입력하여 상기 인공신경망을 통해 입력된 현장 영상에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 출력값인 경고 영상을 생성하도록 하는 생성모듈;을 더 포함하는 것을 특징으로 하는 작업 현장의 위험을 경고하기 위한 관리서버. The method of claim 1,
The warning image generating module
A generation module configured to generate a warning image as an output value by inputting a scene image to the artificial neural network and performing a plurality of operations to which weights of a plurality of layers are applied to the scene image input through the artificial neural network; A management server for alerting you to workplace hazards. 제1항에 있어서,
상기 이미지 레이어는 픽셀값이 색인 복수의 픽셀로 구분되며,
상기 재질 레이어는 상기 이미지 레이어의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 상기 재질 레이어의 픽셀값은 객체로부터 반사되는 음파 신호의 진폭(amplitude) 및 TOF(time of flight)이며,
상기 위치 레이어는 상기 이미지 레이어의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 상기 위치 레이어의 픽셀값은 객체의 3차원의 위치 정보이며,
상기 가상 이미지 레이어는 상기 이미지 레이어의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며,
상기 태그 레이어는 상기 가상 이미지 레이어의 복수의 픽셀 각각에 대응하여 동일한 크기의 픽셀로 구분되며, 상기 가상 이미지 레이어의 객체 중 사고 가능성이 있는 객체의 픽셀 위치에 대응하여 배치되는 경고 태그를 포함하는 것을 특징으로 하는 작업 현장의 위험을 경고하기 위한 관리서버. The method of claim 1,
The image layer is divided into a plurality of pixels of the pixel value index,
The material layer is divided into pixels of the same size corresponding to each of the plurality of pixels of the image layer, and pixel values of the material layer are amplitude and time of flight (TOF) of a sound wave signal reflected from an object.
The location layer is divided into pixels of the same size corresponding to each of the plurality of pixels of the image layer, and the pixel value of the location layer is three-dimensional location information of an object.
The virtual image layer is divided into pixels of the same size corresponding to each of the plurality of pixels of the image layer,
The tag layer is divided into pixels of the same size corresponding to each of the plurality of pixels of the virtual image layer, and includes a warning tag disposed corresponding to the pixel position of an accidental object among the objects of the virtual image layer. A management server for alerting you to workplace hazards. 작업 현장의 위험을 경고하기 위한 작업자장치에 있어서,
제1항, 제2항, 제4항 및 제5항 중 어느 한 항에 따른 관리서버와 통신을 위한 통신부;
상기 작업 현장의 객체를 촬영하여 상기 객체의 이미지를 나타내는 이미지 레이어를 생성하는 카메라부;
상기 객체의 초음파 영상을 촬상하여 상기 객체의 재질을 나타내는 재질 레이어를 생성하는 초음파부;
작업자장치의 위치 정보를 산출하는 위치정보부; 및
상기 작업자장치의 위치로부터 상기 이미지 레이어 및 상기 재질 레이어 상의 객체의 위치 정보를 도출하여 도출된 객체의 위치 정보를 나타내는 위치 레이어를 생성하고, 상기 이미지 레이어, 상기 재질 레이어 및 위치 레이어로 이루어진 현장 영상을 생성하며, 상기 통신부를 통해 생성된 현장 영상을 상기 관리서버로 전송하며,
상기 통신부를 통해 상기 작업자장치의 위치 정보를 상기 관리서버로 전송하고, 상기 관리서버로부터 상기 현장 영상에 사고 가능성이 높은 위험 요소의 위치를 나타내는 경고 태그가 포함되는 태그 레이어를 부가하여 생성된 복수의 경고 영상 중 상기 작업자장치의 위치 정보에 상응하는 부분의 경고 영상을 수신하는 제어부;를 포함하는 것을 특징으로 하는 작업 현장의 위험을 경고하기 위한 작업자장치. In the worker device to warn of danger on the job site,
Communication unit for communication with the management server according to any one of claims 1, 2, 4 and 5;
A camera unit photographing an object of the work site to generate an image layer representing an image of the object;
An ultrasound unit configured to capture an ultrasound image of the object and generate a material layer representing a material of the object;
A location information unit for calculating location information of the worker device; And
Deriving the position information of the object on the image layer and the material layer from the position of the worker device to generate a position layer indicating the position information of the derived object, and the field image consisting of the image layer, the material layer and the position layer Generating, transmitting the field image generated by the communication unit to the management server,
A plurality of tag layers generated by transmitting location information of the worker device to the management server through the communication unit, and adding a tag layer including a warning tag indicating a location of a risk factor having a high probability of accident in the field image from the management server; And a controller configured to receive a warning image of a portion of the warning image corresponding to the location information of the worker device. 제6항에 있어서,
작업자장치는
화면을 표시하는 영사부;
음성 출력을 위한 오디오부; 및
작업자장치가 지향하는 방향을 감지하는 센서부;를 더 포함하며,
상기 제어부는
상기 위치정보부를 통해 상기 작업자장치의 현재 위치를 산출하고,
상기 센서부를 통해 상기 작업자장치의 영사부가 지향하는 방향을 도출한 후, 상기 작업자장치의 현재 위치에서 상기 작업자장치의 영사부가 지향하는 방향의 경고 영상에 경고 태그가 존재하는 경우, 상기 영사부가 지향하는 방향에 위치하는 경고 영상을 상기 영사부를 통해 표시하며,
상기 작업자장치의 영사부가 지향하는 방향 이외의 방향의 경고 영상에 경고 태그가 존재하는 경우, 상기 오디오부를 통해 경고 태그의 위치 및 경고 문구를 음성으로 출력하는 것을 특징으로 하는 작업 현장의 위험을 경고하기 위한 작업자장치. The method of claim 6,
Worker device
A projection unit displaying a screen;
An audio unit for outputting voice; And
Further comprising: a sensor unit for detecting a direction that the worker device is directed,
The control unit
Calculating the current position of the worker device through the location information unit,
After deriving the direction of the projection unit of the worker device through the sensor unit, if the warning tag is present in the warning image of the direction of the projection unit of the worker device from the current position of the worker device, the projection unit is directed The warning image located in the direction is displayed through the projection unit,
When the warning tag is present in the warning image in a direction other than the direction of the projection unit of the worker device, warning the danger of the work site, characterized in that the output of the warning tag and the warning phrases through the audio unit by voice Worker device for 관리서버의 작업 현장의 위험을 경고하기 위한 방법에 있어서,
가중치가 적용되는 복수의 연산으로 연결되는 복수의 계층을 포함하는 인공신경망에 대해, 입력값인 현장 영상을 상기 인공신경망에 입력하여 상기 인공신경망이 상기 현장 영상에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 출력값인 경고 영상을 생성하도록 하고, 상기 출력값인 경고 영상과 목표값인 경고 영상의 가상 이미지 레이어, 태그 레이어 및 위치 레이어 각각의 픽셀값의 차이가 최소가 되도록 최소가 되도록 역확산(back-propagation) 알고리즘을 통해 상기 가중치를 수정하여 상기 인공신경망을 학습시키는 단계;
상기 작업 현장의 서로 다른 위치에 있는 복수의 작업자들이 각각 착용한 복수의 작업자장치로부터 작업 현장에 존재하는 객체의 이미지를 나타내는 이미지 레이어 및 상기 객체의 재질을 나타내는 재질 레이어 및 상기 객체의 위치 정보를 나타내는 위치 레이어를 포함하는 현장 영상을 수신하는 단계; 및
상기 현장 영상에 대해 인공신경망의 가중치가 적용되는 복수의 연산을 수행하여 사고 가능성이 높은 객체를 나타내는 경고 태그가 포함되는 태그 레이어를 부가한 경고 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 작업 현장의 위험을 경고하기 위한 방법. In the method for warning the risk of work site of the management server,
For an artificial neural network including a plurality of layers connected by a plurality of operations to which weights are applied, input the field image, which is an input value, to the artificial neural network so that the artificial neural network is weighted with a plurality of layers to the field image. Generate a warning image as an output value by performing a plurality of operations, and inversely to minimize the difference between pixel values of the virtual image layer, tag layer, and position layer of the warning image as the output value and the warning image as the target value; Training the artificial neural network by modifying the weight through a back-propagation algorithm;
An image layer representing an image of an object present on the work site, a material layer representing a material of the object, and location information of the object from a plurality of worker devices worn by a plurality of workers at different locations on the work site, respectively Receiving a scene image including a location layer; And
Generating a warning image to which a tag layer including a warning tag indicating an object having a high probability of accident is performed by performing a plurality of operations to which the weight of the artificial neural network is applied to the field image; How to warn of danger in the field. 제8항에 따른 작업 현장의 위험을 경고하기 위한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체. A computer-readable recording medium having recorded thereon a program for carrying out a method for warning a workplace hazard according to claim 8.
KR1020180062482A 2018-05-31 2018-05-31 Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method KR102033118B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180062482A KR102033118B1 (en) 2018-05-31 2018-05-31 Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180062482A KR102033118B1 (en) 2018-05-31 2018-05-31 Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method

Publications (1)

Publication Number Publication Date
KR102033118B1 true KR102033118B1 (en) 2019-10-16

Family

ID=68421341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180062482A KR102033118B1 (en) 2018-05-31 2018-05-31 Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method

Country Status (1)

Country Link
KR (1) KR102033118B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210128822A (en) * 2020-04-17 2021-10-27 주식회사 한라 System for managing construction sites based on 360 degree omnidirectional image
KR102350038B1 (en) * 2020-10-20 2022-01-11 오동식 Work management system for determining risk of target work and method there of
KR102494403B1 (en) * 2021-09-13 2023-01-31 이원섭 Apparatus and system for blasting operation management
KR20230101387A (en) * 2021-12-29 2023-07-06 조선대학교산학협력단 Smart helmet safety management system for accident avoidance

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130071119A (en) * 2011-12-20 2013-06-28 현대중공업 주식회사 A system and method for display dangerous area using impleminting augminted reality by safety glasses
KR101472300B1 (en) * 2014-07-18 2014-12-12 주식회사 시큐인포 Method and system for preventing accident using multiple pictures
KR20160060435A (en) 2014-11-20 2016-05-30 주식회사 차후 Smart safety helmet and method, safety management system and method using thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130071119A (en) * 2011-12-20 2013-06-28 현대중공업 주식회사 A system and method for display dangerous area using impleminting augminted reality by safety glasses
KR101472300B1 (en) * 2014-07-18 2014-12-12 주식회사 시큐인포 Method and system for preventing accident using multiple pictures
KR20160060435A (en) 2014-11-20 2016-05-30 주식회사 차후 Smart safety helmet and method, safety management system and method using thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210128822A (en) * 2020-04-17 2021-10-27 주식회사 한라 System for managing construction sites based on 360 degree omnidirectional image
KR102488963B1 (en) * 2020-04-17 2023-01-16 에이치엘디앤아이한라 주식회사 System for managing construction sites based on 360 degree omnidirectional image
KR102350038B1 (en) * 2020-10-20 2022-01-11 오동식 Work management system for determining risk of target work and method there of
KR102494403B1 (en) * 2021-09-13 2023-01-31 이원섭 Apparatus and system for blasting operation management
KR20230101387A (en) * 2021-12-29 2023-07-06 조선대학교산학협력단 Smart helmet safety management system for accident avoidance
KR102615506B1 (en) * 2021-12-29 2023-12-19 조선대학교 산학협력단 Smart helmet safety management system for accident avoidance

Similar Documents

Publication Publication Date Title
KR102033118B1 (en) Apparatus for warning of a work site risk, a method therefor and a computer recordable medium storing program to perform the method
EP3321888B1 (en) Projected image generation method and device, and method for mapping image pixels and depth values
CN110979318B (en) Lane information acquisition method and device, automatic driving vehicle and storage medium
US10304250B2 (en) Danger avoidance support program
KR102167835B1 (en) Apparatus and method of processing image
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
KR20130013015A (en) Method and apparatus for estimating 3d position and orientation by means of sensor fusion
KR102312531B1 (en) Location system and computing device for executing the system
KR20200095338A (en) Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
JP2018156408A (en) Image recognizing and capturing apparatus
KR20210090573A (en) Method and device for monitoring harbor and ship considering sea level
CN106991376A (en) With reference to the side face verification method and device and electronic installation of depth information
JP2006027481A (en) Object warning device and its method
JP2021163401A (en) Person detection system, person detection program, leaned model generation program and learned model
JP2019179015A (en) Route display device
JP4742695B2 (en) Gaze recognition apparatus and gaze recognition method
CN117897737A (en) Unmanned aerial vehicle monitoring method and device, unmanned aerial vehicle and monitoring equipment
KR102019863B1 (en) Method for securing user safety using drones and system therefor
KR20220102774A (en) monitering system with LiDAR for a body
KR101316387B1 (en) Method of object recognition using vision sensing and distance sensing
KR102660024B1 (en) Method for detection road event and apparatus for the same
JP7317684B2 (en) Mobile object, information processing device, and imaging system
JP7164149B2 (en) Simulator, Server, Evaluation System, Evaluation Program, and Evaluation Method
WO2023106323A1 (en) Construction management system and construction management method
KR20240105548A (en) Method for deriving location information of road event and apparatus for the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant