KR20230054514A - 딥러닝을 이용한 사고 예방 시스템 - Google Patents

딥러닝을 이용한 사고 예방 시스템 Download PDF

Info

Publication number
KR20230054514A
KR20230054514A KR1020210137026A KR20210137026A KR20230054514A KR 20230054514 A KR20230054514 A KR 20230054514A KR 1020210137026 A KR1020210137026 A KR 1020210137026A KR 20210137026 A KR20210137026 A KR 20210137026A KR 20230054514 A KR20230054514 A KR 20230054514A
Authority
KR
South Korea
Prior art keywords
gateway
tag
module
master
time synchronization
Prior art date
Application number
KR1020210137026A
Other languages
English (en)
Other versions
KR102600837B1 (ko
Inventor
김종오
이상준
안재우
최용석
오현기
이현진
오학준
Original Assignee
주식회사 에프아이시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프아이시스 filed Critical 주식회사 에프아이시스
Priority to KR1020210137026A priority Critical patent/KR102600837B1/ko
Publication of KR20230054514A publication Critical patent/KR20230054514A/ko
Application granted granted Critical
Publication of KR102600837B1 publication Critical patent/KR102600837B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Geology (AREA)
  • Health & Medical Sciences (AREA)
  • Civil Engineering (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

실시예는 딥러닝을 이용한 사고 예방 시스템에 관한 것이다.
구체적으로, 이러한 시스템은 스마트 게이트웨이의 태그와 마스터 게이트웨이 RTLS 서버의 시간 동기화 후, 태그와 앵커간 통신을 시분할을 통하여 순차적으로 수행한다.
즉, 다수의 이동체에 적용된 태그와 마스터 게이트웨이의 RTLS 서버 시간 동기화하여 모든 태그를 동일 시간으로 설정하고, 각 태그는 앵커와 1:1 통신을 시분할에 의해 순차적으로 수행한다.
따라서, 이를 통해 스마트 게이트웨이의 태그와 마스터 게이트웨이의 RTLS 서버의 시간 동기화 후, 태그와 앵커간 통신이 시분할을 통하여 순차적으로 이루어짐으로 태그/앵커간 통신 지연 및 오류가 없이 정확한 거리 측정 및 이를 통한 위치 및 속도 측정이 가능하다.
그리고, 이를 통해 충돌 및 위험 상황 예측의 정확도가 향상된다. 또한, 각 이동체의 시간이 동기화되었음으로 각 이동체는 동일 시간에 대한 영상을 저장하고, 충돌 및 위험 상황 발생시 각 이동체의 동일 시간에 대한 영상의 분석이 용이하다.

Description

딥러닝을 이용한 사고 예방 시스템 {Accident Prevention System Using Deep Learning}
본 명세서에 개시된 내용은 딥러닝을 이용한 사고 예방 시스템에 관한 것으로, 보다 상세하게는 지게차 등의 건설기계 간의 충돌 가능성을 예측하여 충돌 가능성이 있을 경우 위험을 경고하는 딥러닝을 이용한 사고 예방 시스템에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
종래의 차량 간 충돌 가능성을 판단하는 장치 내지 판단 시스템은 초음파 센서, 영상 카메라, 기타 센서를 사용하여 자차와 주변 차량 사이의 거리를 구하고 거리가 일정 범위 이내이면 충돌의 위험을 경고하거나 제동을 체결하여 충돌을 예방하거나 피해를 경감시키는 것이 주류이다.
이러한 방법들은 각 차량에 다수의 센서를 장착하여야 하며 다수의 센서가 주고받는 신호를 처리하기 위한 장치를 필요로 한다. 다수의 센서와 장치가 사용되므로 소비전력과 비용이 상승할 수 있고 시스템의 고장률이 증가하는 단점이 있다.
또한, 종래기술의 일 예로서, 대한민국 등록특허 제10-0947559호 에서는, 적어도 두 개의 RF 발진기를 사용하여 다수의 주파수를 일정주기에 따라 교 번하여 발진하도록 하여 물체를 감지하는 구성을 제안한 바 있다.
그러나 종래기술의 경우 물체가 접근하여도 이를 감지하지 못하는 데드 포인트 현상이 주기적으로 나타나는 문제점이 있으며, 감지 거리가 좁다는 문제점이 있다.
KR 100947559 B1 KR 102004518 B1 KR 1020190114327 A 한편으로, 특히 이러한 점에 있어서, 종래의 기술은 이동체에 태그(Tag) 기능 동작을 위한 UWB 모듈을 장착하고, 일정 영역 안에 앵커(Anchor)기능 동작을 위한 UWB 모듈을 적용한다. 그래서, 태그(Tag)에서 각 앵커(Anchor)와 거리를 산정하여, 중계 게이트웨이로 전송하고, 중계 게이트웨이는 마스터 게이트웨이로 전송하여, 마스터 게이트웨이의 RTLS 알고리즘에 의해 각 태그(Tag)의 위치와 속도 계산을 통한 충돌, 위험에 대한 상황 예측을 하는 구조이다. 그러나, 이때 태그(Tag)와 앵커(Anchor)는 1:1 통신을 하며, 시간 동기화를 하지 않을 경우 다수의 태그(Tag)에서 앵커(Anchor)와 통신을 시도하게 되며, 1개의 태그(Tag)에 한해 통신이 됨으로 나머지 태그(Tag)는 앵커(Anchor)와 거리를 계산하지 못한다. 이는 이동체에 대해 동일 시간에 대한 위치 정보를 취득하지 못함으로 충돌 및 위험에 대한 예측의 정확도가 낮아지는 원인이 되며, 이는 사고로 이어지는 문제가 있다. 참고적으로, 이러한 기술의 선행문헌은 아래의 문헌 정도 등이다. KR 102308601 Y1 이러한 문헌 1은 이동체의 측위 방식에 관한 것으로, 복수의 슬레이브 앵커를 마스터 앵커와 클럭 간에 시간 동기화하는 기술이다.
개시된 내용은, 다수의 이동체에 적용된 태그와 마스터 게이트웨이의 RTLS 서버 시간 동기화하여 모든 태그를 동일 시간으로 설정하고, 각 태그는 앵커와 1:1 통신을 순차적으로 하여, 태그와 앵커간 통신 오류 및 지연을 제거하는 딥러닝을 이용한 사고 예방 시스템을 제공하고자 한다.
실시예에 따른 딥러닝을 이용한 사고 예방 시스템은,
세부적으로는 스마트 게이트웨이, 중계 게이트웨이, 마스터 게이트웨이로 구성된다.
그리고, 또한 다수의 스마트 게이트웨이와 다수의 중계 게이트웨이는 각각 메시(Mesh) 네트워크 구성을 통하여 마스터 게이트웨이와 통신을 한다.
이러한 경우에, 스마트 게이트웨이는 근거리 통신 메시 즉, 로라 메시(LoRa Mesh)로 구성되며, 중계 게이트웨이는 와이-파이 메시(Wi-Fi Mesh)로 구성한다.
또한, 시간 동기화는 마스터 게이트웨이내 RTLS 서버 시간을 마스터 게이트웨이에 장착된 로라(LoRa)를 통하여 스마트 게이트웨이의 로라(LoRa)에 전송하여 시간을 동기화한다.
그리고, 이때 통신 음영 지역에 위치한 이동체인 경우에는 로라 메시(LoRa Mesh) 네트워크를 통하여 전송한다.
그래서, 이러한 시간 동기화된 각 태그는 순차적으로 앵커와 통신을 하여 거리를 계산하고, 계산된 거리는 UWB 통신을 통하여 앵커에 전달되고, 앵커는 각 태그의 ID와 거리 정보를 와이-파이 메시(Wi-Fi Mesh) 네트워크를 통하여 마스터 게이트웨이로 전송한다.
그리고, 이를 통해 마스터 게이트웨이는 수신된 각 태그의 거리 정보를 RTLS 서버에서 분석하여, 충돌 및 위험 상황이 예측될 경우, 마스터 게이트웨이의 로라를 통해 해당 태그의 이동체에 전송하여 사고를 예방하는 것을 특징으로 한다.
실시예들에 의하면, 스마트 게이트웨이의 태그와 마스터 게이트웨이의 RTLS 서버의 시간 동기화 후, 태그와 앵커간 통신이 시분할을 통하여 순차적으로 이루어짐으로 태그/앵커간 통신 지연 및 오류가 없이 정확한 거리 측정 및 이를 통한 위치 및 속도 측정이 가능하다.
그리고, 이를 통해 충돌 및 위험 상황 예측의 정확도가 향상된다. 또한, 각 이동체의 시간이 동기화되었음으로 각 이동체는 동일 시간에 대한 영상을 저장하고, 충돌 및 위험 상황 발생시 각 이동체의 동일 시간에 대한 영상의 분석이 용이하다.
도 1은 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템을 개략적으로 나타낸 개념도.
도 2는 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템을 전체적으로 나타낸 도면도
도 3은 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템에 적용한 엣지 단말과 슬레이브 게이트웨이, 마스터 게이트웨이의 구성을 간략히 나타낸 블록도.
도 4는 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템의 동작을 도시한 절차 흐름도.
도 5a와 도 5b는 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템에 적용한 시간 동기화 동작을 상세하게 설명하기 위한 도면
도 1은 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템을 개념적으로 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 일실시예의 딥러닝을 이용한 사고 예방 시스템(1000)은 기본적으로 이동체 즉, 엣지 단말(100)과 슬레이브 게이트웨이(200)(스마트 게이트웨이와 중계 게이트웨이 포함), 마스터 게이트웨이(300) 및 관제서버(400)를 포함한다.
그리고, 이러한 경우에 이러한 시스템(1000)은 일실시예에 따라 스마트 게이트웨이(200)의 태그(Tag)와 마스터 게이트웨이(300)의 RTLS 서버의 시간 동기화 후, 태그(Tag)와 앵커(Anchor)간 통신을 시분할을 통하여 순차적으로 수행한다.
즉, 다수의 이동체(100)에 적용된 태그와 마스터 게이트웨이(300)의 RTLS 서버 시간 동기화하여 모든 태그를 동일 시간으로 설정하고, 각 태그는 앵커와 1:1 통신을 시분할에 의해 순차적으로 수행한다.
그래서, 이를 통해 태그/앵커간 통신 지연 및 오류를 없애고 정확한 거리 측정 및 이를 통한 위치 및 속도 측정을 하도록 한다.
구체적으로, 이러한 시스템(1000)은 아래와 같다.
즉, 먼저 기본적으로는 현장 내 통행하는 건설기계를 포함한 태그 장착 이동체(엣지 단말(100))를 적용한다.
그리고, 이러한 경우에 있어서, 현장 상에 다수의 상이한 장소별로 각기 설치하여, 다수의 상이한 이동체(엣지 단말(100))별로의 태그로부터 획득한 태그 ID와 거리 데이터를 각각의 이동체별로 수집하는 스마트 게이트웨이(200)를 포함한다.
또한, 이에 더하여 현장 내에 장소를 동일한 데이터 전송범위에 따라 묶은 다수의 상이한 섹터별로 각기 설치하여, 해당하는 이동체별로의 태그 ID와 거리 데이터를 중계하는 중계 게이트웨이(200)를 포함한다.
그래서, 이러한 중계 게이트웨이(200)로부터 각각의 이동체에 관한 태그 ID와 거리 데이터를 일괄 전송받아 상기 이동체별로 위치와 속도를 산출하여 주변 이동체와의 충돌 위험 정보를 제공하는 마스터 게이트웨이(300)도 구비한다.
이러한 상태에서, 일실시예에 따라 이러한 시스템(1000)은 아래의 서비스를 수행한다.
a) 먼저 이를 위해, 상기 스마트 게이트웨이(200)는 근거리 통신 메시(Mesh)로 구성되고, 상기 중계 게이트웨이(200)는 와이-파이 메시로 구성된다.
b) 그래서, 상기 마스터 게이트웨이(300)는 내부 RTLS 서버 시간을 브로드캐스팅으로 상기 근거리 통신 메시와 상기 와이-파이 메시를 통해서 각각의 스마트 게이트웨이(200)와 시간 동기화하고, 또한 각각의 장소에서 신규 이동체를 감지할 때마다 시간 동기화를 브로드캐스팅으로 반복적으로 각기 수행한다.
c) 그리고, 이러한 시간 동기화를 한 경우에, 각각의 이동체별 태그에서 신호를 앵커로 송신해서, 상기 마스터 게이트웨이(300)에서 앵커를 통해 와이-파이 메시로 태그 ID별로의 거리 데이터를 전송받는다.
d) 그래서, 이를 통해 마스터 게이트웨이(300)에서 태그 ID별로의 거리 데이터로 RTLS 서버에서 분석하여 이동체별로 위치와 속도를 산출하고, 주변 이동체와의 충돌 위험 정보를 제공한다.
따라서, 이를 통해 일실시예에 따른 시스템은 스마트 게이트웨이의 태그와 마스터 게이트웨이의 RTLS 서버의 시간 동기화 후, 태그와 앵커간 통신이 시분할을 통하여 순차적으로 이루어짐으로 태그/앵커간 통신 지연 및 오류가 없이 정확한 거리 측정 및 이를 통한 위치 및 속도 측정이 가능하다.
그리고, 이를 통해 충돌 및 위험 상황 예측의 정확도가 향상된다. 또한, 각 이동체의 시간이 동기화되었음으로 각 이동체는 동일 시간에 대한 영상을 저장하고, 충돌 및 위험 상황 발생시 각 이동체의 동일 시간에 대한 영상의 분석이 용이하다.
도 2는 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템을 전체적으로 나타낸 도면이다.
도 2에 도시된 바와 같이, 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템은 여러 현장 장소 내에 통행하는 다수의 상이한 이동체(태그)(100)와 스마트 게이트웨이(200), 여러 장소를 묶은 섹터별로 설치한 중계 게이트웨이(210) 및 마스터 게이트웨이(220)를 포함한다.
그리고, 추가적으로 이러한 시스템은 관리 정보처리장치(300)와 외부와 연계하여 부가 서비스를 제공하는 고장수리처 정보처리장치(400-1), 소방서 정보처리장치(400-2) 등을 포함하며, 각 장치 상호 간에는 자가망을 통하여 예를 들어, TCP/IP망 또는, LTE망 등을 통해 연결한다.
상기 이동체(100, 즉 태그)는 다수의 상이한 현장 장소별로 통행하는 것으로 태그를 장착한 엣지 단말로 구성하기도 하며, 지게차 등의 건설기계에 구비되는 것이다. 예를 들어, 이러한 이동체(100)는 UWB 태그 모듈과 로라 T(LoRa T) 모듈, WiFi 모듈, 촬영모듈, 디스플레 이모듈, 경보모듈, 정보처리모듈을 포함하여 구성한다.
상기 스마트 게이트웨이(200)는 이러한 현장 상에 다수의 상이한 장소별로 각기 설치하여, 다수의 상이한 이동체(엣지 단말(100))별로의 태그로부터 획득한 태그 ID와 거리 데이터를 각각의 이동체별로 수집한다.
상기 중계 게이트웨이(210)는 현장 내에 장소를 동일한 데이터 전송범위에 따라 묶은 다수의 상이한 섹터별로 각기 설치하여, 해당하는 이동체별로의 태그 ID와 거리 데이터를 중계한다. 즉, 스마트 게이트웨이(200)와 마스터 게이트웨이(220)의 사이에서 데이터를 중계한다.
상기 마스터 게이트웨이(220)는 이러한 중계 게이트웨이(210)로부터 각각의 이동체에 관한 태그 ID와 거리 데이터를 일괄 전송받아 상기 이동체별로 위치와 속도를 산출하여 주변 이동체와의 충돌 위험 정보를 제공한다. 그리고, 일실시예에 따라 이러한 마스터 게이트웨이(220)는 이러한 다수의 이동체(100)에 적용한 태그와 내부 RTLS 서버 시간 동기화하여 모든 태그를 동일 시간으로 설정하고, 각 태그는 앵커와 1:1 통신을 시분할에 의해 순차적으로 수행한다. 그래서, 이를 통해 태그/앵커간 통신 지연 및 오류를 없애고 정확한 거리 측정 및 이를 통한 위치 및 속도 측정을 하도록 한다.
도 3은 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템에 적용한 이동체 즉, 엣지 단말(100)과 슬레이브 게이트웨이(200) 및 마스터 게이트웨이(300)의 구성을 도시한 블록도이다.
도 3에 도시된 바와 같이, 일실시예에 따른 이동체(100)는 크게, UWB 태그 모듈(110), LoRa T 모듈(120), WiFi 모듈(130), 촬영모듈(140), 디스플레 이모듈(150), 경보모듈(160), 정보처리모듈(170)을 포함한다.
그리고, 일실시예에 따른 슬레이브 게이트웨이(200)는 상기 엣지 단말(100)과 신호를 주 고받으며 상기 엣지 단말(100)의 위치 데이터를 획득하는 것으로 UWB 앵커 모듈 (210), LoRa T 모듈(220), 제어모듈(230)을 포함하여 구성한다.
또한, 일실시예에 따른 마스터 게이트웨이(300)는 상기 슬레이브 게이트웨이(200)로부 터 데이터를 전송받아 상기 엣지 단말(100)간 충돌을 감지하는 것으로, WiFi 모듈 (310), LoRa G 모듈(320), 연산모듈(미도시), Ethernet 모듈(330) 및 제어모듈 (340)을 포함하여 구성한다.
<본 개시의 제1 실시예에 따른 딥러닝을 이용한 사고 예방 시스템>
먼저, 본 개시의 제1 실시예에 따른 딥러닝을 이 용한 사고 예방 시스템은 엣지 단말(100), 슬레이브 게이트웨이(200), 마스터 게이트웨이(300) 및 관제서버(400)를 포함하여 구성될 수 있다.
상기 엣지 단말(100)은 지게차 등의 건설기계에 구비되는 것으로, UWB 태그 모듈(110), LoRa T 모듈(120), WiFi 모듈(130), 촬영모듈(140), 디스플레 이모듈(150), 경보모듈(160), 정보처리모듈(170)을 포함하여 구성될 수 있다.
상기 UWB 태그 모듈(110)은 UWB(Ultra Wide Band)를 이용한 측위센 서로서, UWB는 매우 넓은 대역폭을 가지는 라디오를 이용하는 무선 통신 기술이다. 이러한 UWB 방식은 임펄스 무선 신호를 사용하며, 이에 따라 종래의 협대역 라디오 통신과는 달리 반송파를 사용하지 않아 구조를 간단히 할 수 있다는 이점이 있다. 또한 UWB 방식은 기존의 라디오에 비해서 높은 시간 해상도를 제공하고, 넓은 대역폭을 가지며, 다중경로와 간섭의 영향을 덜 받는다는 이점을 갖는다.
상기 UWB 태그 모듈(110)은 후술될 슬레이브 게이트웨이(200)의 UWB 앵커 모듈(210)에 자신의 위치를 브로드캐스팅을 하고, 수신 받은 상기 UWB 앵커 모듈(210)은 상기 UWB 태그 모듈(110)에 응답을 준다.
구체적으로, 상기 UWB 태그 모듈(110)은 상기 UWB 앵커 모듈(210)에 태그 ID, 브로드캐스팅 시간, 응답 시간, 현재 송신 시간을 전송하도록 구성될 수 있다.
상기 촬영모듈(140)은 소정 방향의 영상을 촬영하고, 상기 촬영된 영상이 상기 디스플레이모듈(150)에서 구현되도록 구성될 수 있다.
한편, 상기 정보처리모듈(170)은 상기 촬영모듈(140)에서 촬영된 영상 데이터를 바탕으로 소정의 객체를 감지하며, 소정의 객체가 소정의 반경 안에 접근할 경우 이벤트를 생성하도록 구성될 수 있다.
구체적으로, 상기 정보처리모듈(170)은 상기 촬영모듈(140)에서 촬영된 영상을 바탕으로 객체를 감지하고, 상기 감지된 객체가 소정의 객체인지 판단한 후, 상기 판단된 객체가 소정의 범위 내로 접근할 경우에 이벤트를 생성하고, 상기 경보모듈(160)에 신호를 보내 경보 알람이 제공되도록 구성될 수 있다.
조금 더 구체적으로 설명하자면, 상기 정보처리모듈(170)은 상기 촬 영모듈(140)에서 촬영된 영상을 소정의 시간 및 소정의 구간 간격으로 샘플링하고, 상기 샘플링된 영상을 바탕으로 영상 간의 픽셀 차이를 이용하여 객체를 감지하도록 구성될 수 있다.
상기 정보처리모듈(170)은 상기 감지된 객체로부터 특징을 추출하고, 상기 추출된 특징을 기초로 미리 딥러닝되어 있는 다중 인공신경망에 의해 감지된 객체가 소정의 객체인지 여부가 판단되도록 구성될 수 있다.
이러한 다중 인공신경망은 복수의 객체의 특징에 대한 데이터를 미리 구비하고 딥러닝되어 있는 것으로, 입력층과 4개 이하의 은닉층 및 출력층을 포함하며, 상기 입력층과 출력층 간에 평균제곱근편차가 최소화 되도록 연산 및 제어 되도록 구성될 수 있다.
상기 미리 설정되어 있는 소정의 객체에는 사람, 지게차 등의 건설 기계가 해당될 수 있으나 이에 한정되는 것은 아니며 필요에 따라 다양하게 설정가능하게 구성될 수 있다.
한편, 상기 감지된 객체로부터 특징을 추출하기 위해 이진화 기법과 Morphological 기법을 이용할 수 있으며, 필요에 따라 다양한 방식이 적용될 수 있 음은 물론이다.
상기 경보모듈(160)은 소정의 신호를 받으면 알람이 작동되는 것으로 부저 등의 청각적 알람 뿐 아니라 LED 등의 시각적 알람으로 구성될 수 있다.
상기 LoRa T 모듈(120)은 상기 정보처리모듈(170)에서 생성한 이벤트 정보를 후술될 마스터 게이트웨이(300)로 전달하고, 상기 마스터 게이트웨이(300)로부터 충돌 정보를 수신하도록 구성될 수 있다. 이러한 LoRa(Long Range)모듈 방식에 의하면 저전력으로 장거리 통신이 가능하다는 이점을 갖는다.
상기 WiFi 모듈(130)은 상기 촬영모듈(140)에서 촬영한 영상 데이터를 후술될 마스터 게이트웨이(300)로 전송하도록 구성될 수 있다.
한편, 상기 엣지 단말(100)은 가속도센서 모듈(미도시)을 더 포함할 수 있으며, 상기 가속도센서 모듈(미도시)은 충돌시 전달되는 충격 측정 및 속도 측정을 위한 보조 장치로 이용되도록 구성될 수 있다. 이에 의해, 더욱 정밀한 속 도 측정 및 충돌 정보를 확보할 수 있을 것이다.
상기 슬레이브 게이트웨이(200)는 상기 엣지 단말(100)과 신호를 주고 받으며 상기 엣지 단말(100)의 위치 데이터를 획득하는 것으로 UWB 앵커 모듈 (210), LoRa T 모듈(220), 제어모듈(230)을 포함하여 구성될 수 있다. 이러한 경우에, 일실시예에 따라 상기 슬레이브 게이트웨이(200)는 스마트 게이트웨이와 중계 게이트웨이를 포함한다.
상기 UWB 앵커 모듈(210)은 전술한 엣지 단말(100)의 UWB 태그 모듈(110)과 신호를 주고받으며 상기 엣지 단말(100)의 위치 데이터를 획득한다.
상기 획득된 데이터는 LoRa T 모듈(220)에 의해 후술될 마스터 게이트웨이(300)로 전송된다.
상기 제어모듈(230)을 통해 상기 UWB 앵커 모듈(210)과 상기 LoRa T 모듈(220)이 제어되도록 구성될 수 있다. 예를 들어, 일실시예에 따라 상기 제어모듈(230)은 스마트 게이트웨이와 중계 게이트웨이를 현장 상에 다수의 상이한 장소별로 각기 설치한 경우에, 다수의 상이한 이동체(엣지 단말(100))별로의 태그로부터 획득한 태그 ID와 거리 데이터를 각각의 이동체별로 수집한다.
이러한 상기 슬레이브 게이트웨이(200)는 정확한 위치 데이터를 확보하기 위해서 3개 이상 설치되는 것이 바람직하나 이에 한정되는 것은 아니며, 필요에 따라 가감하여 구성될 수 있음은 물론이다.
상기 마스터 게이트웨이(300)는 상기 슬레이브 게이트웨이(200)로부터 데이터를 전송받아 상기 엣지 단말(100)간 충돌을 감지하는 것으로, WiFi 모듈 (310), LoRa G 모듈(320), 연산모듈(미도시), Ethernet 모듈(330) 및 제어모듈 (340)을 포함하여 구성될 수 있다. 그리고, 일실시예에 따라 이러한 마스터 게이트웨이(300)는 이러한 다수의 이동체(100)에 적용한 태그와 내부 RTLS 서버 시간 동기화하여 모든 태그를 동일 시간으로 설정하고, 각 태그는 앵커와 1:1 통신을 시분할에 의해 순차적으로 수행한다. 그래서, 이를 통해 태그/앵커간 통신 지연 및 오류를 없애고 정확한 거리 측정 및 이를 통한 위치 및 속도 측정을 하도록 한다.
상기 마스터 게이트웨이(300)는 상기 WiFi 모듈(310)을 통해 상기 엣지 단말(100)의 촬영모듈(140)에서 촬영된 영상을 전송받는다.
상기 연산모듈(미도시)은 상기 슬레이브 게이트웨이(200)로부터 전송된 데이터를 바탕으로 상기 엣지 단말(100)의 속도를 계산하고, 상기 엣지 단말 (100)과 주변의 또 다른 엣지 단말(100) 사이의 거리를 계산한다. 중계 게이트웨이(210)로부터 각각의 이동체에 관한 태그 ID와 거리 데이터를 일괄 전송받아 상기 이동체별로 위치와 속도를 산출하여 주변 이동체와의 충돌 위험 정보를 제공한다. 그리고, 일실시예에 따라 이러한 연산모듈은 이러한 다수의 이동체(100)에 적용한 태그와 내부 RTLS 서버 시간 동기화하여 모든 태그를 동일 시간으로 설정하고, 각 태그는 앵커와 1:1 통신을 시분할에 의해 순차적으로 수행한다. 그래서, 이를 통해 태그/앵커간 통신 지연 및 오류를 없애고 정확한 거리 측정 및 이를 통한 위치 및 속도 측정을 하도록 한다.
또한 상기 연산모듈(미도시)은 상기 계산된 데이터를 바탕으로 상기 엣지 단말(100)의 충돌 위험을 감지하도록 구성될 수 있다. 구체적으로 상기 엣지 단말(100)의 속도에 따라 소정의 거리 내에 또 다른 엣지 단말(100)이 존재하는 경우에는 충돌 위험이 있다고 판단하도록 구성될 수 있다. 한편 상기 소정의 거리는 상기 엣지 단말(100)의 속도에 따라 변경되도록 구성될 수 있다.
상기 연산모듈(미도시)이 상기 엣지 단말(100)의 충돌 위험을 감지한 경우에는, 상기 LoRa G 모듈(320)을 통해 상기 엣지 단말(100)로 상기 충돌 위 험 정보를 전송하도록 구성될 수 있으며, 상기 충돌 위험 정보를 전송받은 상기 엣지 단말(100)은 상기 경보모듈(160)에 의해 충돌 경고 알람이 제공되도록 구성될 수 있다.
한편, 상기 마스터 게이트웨이(300)는 Ethernet 모듈(330)을 더 포함하여 구성될 수 있으며, 상기 마스터 게이트웨이(300)는 상기 Ethernet 모듈(340) 또는 상기 WiFi 모듈(310)을 통해 후술될 관제서버(400)로 데이터를 전송하도록 구성될 수 있다.
구체적으로 상기 연산모듈(미도시)이 상기 엣지 단말(100)의 충돌 위험을 감지한 경우, 상기 엣지 단말(100)의 위치, 속도 및 상기 충돌 위험 정보를 후술될 관제서버(400)로 전송하고, 상기 관제서버(400)에서 모니터링 되도록 구성될 수 있다.
상기 제어모듈(340)은을 통해 상기 WiFi 모듈(310), LoRa G 모듈 (320), Ethernet 모듈(330), 연산모듈(미도시)이 제어되도록 구성될 수 있다.
상기 관제서버(400)는 상기 마스터 게이트웨이(300)로부터 데이터를 전송받아 데이터베이스화하여 모니터링할 수 있는 것으로 일반적인 서버의 형태로 구성될 수 있다.
상기 관제서버(400)에는 상기 엣지 단말(100)의 촬영모듈(140)에서 촬영한 영상 데이터, 상기 엣지 단말(100)의 정보처리모듈(170)에서 생성한 이벤트 정보, 상기 슬레이브 게이트웨이(200)에서 전송된 위치 데이터, 상기 마스터 게이트웨이(300)에서 계산된 속도 데이터, 상기 마스터 게이트웨이(300)에서 감지한 충돌 위험 정보를 전송받아 데이터베이스화하여 모니터링되도록 구성될 수 있다.
구체적으로 상기 데이터를 바탕으로 지도에 상기 엣지 단말(100)의 위치와 상기 엣지 단말(100)에서 감지한 객체가 표시되도록 구성될 수 있으며, GUI에 의한 상기 엣지 단말(100)의 속도, 상기 엣지 단말(100)간 거리, 상기 엣지 단 말(100)의 충돌 위험 정보를 제공하고, 상기 엣지 단말(100)의 영상기록 조회 등을 통해 모니터링되도록 구성될 수 있다.
<본 개시의 제2 실시예에 따른 딥러닝을 이용한 사고 예방 시스템>
다음으로, 본 개시의 제2 실시예에 따른 딥러닝을 이용한 사고 예방 시스템은 엣지 단말(10)과 슬레이브 게이트웨이 (200), 마스터 게이트웨이(300) 및 관제서버(400)를 포함하여 구성될 수 있다(참고적으로, 일실시예에 따른 구성을 위의 제1 실시예의 구성과 동일하다).
상기 엣지 단말(100)은 지게차 등의 건설기계에 구비되는 것으로, UWB 태그 모듈(110), LoRa T 모듈(120), WiFi 모듈(130), 촬영모듈(140), 디스플레이모듈(150), 경보모듈(160), 정보처리모듈(170)을 포함하여 구성될 수 있다.
상기 UWB 태그 모듈(110)은 UWB(Ultra Wide Band)를 이용한 측위센서로서 UWB는 매우 넓은 대역폭을 가지는 라디오를 이용하는 무선 통신 기술이다. 이러한 UWB 방식은 임펄스 무선 신호를 사용하며, 이에 따라 종래의 협대역 라디오 통신과는 달리 반송파를 사용하지 않아 구조를 간다히 할 수 있다는 이점이 있다. 또한 UWB 방식은 기존의 라디오에 비해서 높은 시간 해상도를 제공하고, 넓은 대역폭을 가지며, 다중경로와 간섭의 영향을 덜 받는다는 이점을 갖는다.
상기 UWB 태그 모듈(110)은 후술될 슬레이브 게이트웨이(200)의 UWB 앵커 모듈(210)에 자신의 위치를 브로드캐스팅을 하고, 수신 받은 상기 UWB 앵커 모듈(210)은 상기 UWB 태그 모듈(110)에 응답을 준다.
구체적으로, 상기 UWB 태그 모듈(110)은 상기 UWB 앵커 모듈(210)에 태그 ID, 브로드캐스팅 시간, 응답 시간, 현재 송신 시간을 전송하도록 구성될 수 있다.
상기 촬영모듈(140)은 소정 방향의 영상을 촬영하고, 상기 촬영된 영상이 상기 디스플레이모듈(150)에서 구현되도록 구성될 수 있다.
한편, 상기 정보처리모듈(170)은 상기 촬영모듈(140)에서 촬영된 영 상 데이터를 바탕으로 소정의 객체를 감지하며, 소정의 객체가 소정의 반경 안에 접근할 경우 이벤트가 생성되도록 구성될 수 있다.
구체적으로, 상기 정보처리모듈(170)은 상기 촬영모듈(140)에서 촬영된 영상을 바탕으로 객체를 감지하고, 상기 감지된 객체가 소정의 객체인지 판단 한 후, 상기 판단된 객체가 소정의 범위 내로 접근할 경우에 이벤트를 생성하고, 상기 경보모듈(160)에 신호를 보내 경보 알람이 제공되도록 구성될 수 있다.
조금 더 구체적으로 설명하자면, 상기 정보처리모듈(170)은 상기 촬 영모듈(140)에서 촬영된 영상을 소정의 시간 및 소정의 구간 간격으로 샘플링하고, 상기 샘플링된 영상을 바탕으로 영상 간의 픽셀 차이를 이용하여 객체를 감지하도록 구성될 수 있다.
상기 정보처리모듈(170)은 상기 감지된 객체로부터 특징을 추출하고, 상기 추출된 특징을 기초로 미리 딥러닝되어 있는 다중 인공신경망에 의해 감지된 객체가 소정의 객체인지 여부가 판단되도록 구성될 수 있다.
이러한 다중 인공신경망은 복수의 객체의 특징에 대한 데이터를 미리 구비하고 딥러닝되어 있는 것으로, 입력층과 4개 이하의 은닉층 및 출력층을 포함하며, 상기 입력층과 출력층 간에 평균제곱근편차가 최소화 되도록 연산 및 제어 되도록 구성될 수 있다.
상기 미리 설정되어 있는 소정의 객체에는 사람, 지게차 등의 건설 기계가 해당될 수 있으나 이에 한정되는 것은 아니며 필요에 따라 다양하게 설정가능하게 구성될 수 있다.
한편, 상기 감지된 객체로부터 특징을 추출하기 위해 이진화 기법과 Morphological 기법을 이용할 수 있으며, 필요에 따라 다양한 방식이 적용될 수 있음은 물론이다.
상기 경보모듈(160)은 소정의 신호를 받으면 알람이 작동되는 것으로 부저 등의 청각적 알람 뿐 아니라 LED 등의 시각적 알람으로 구성될 수 있다.
상기 LoRa T 모듈(120)은 상기 정보처리모듈(170)에서 생성한 이벤트 정보를 후술될 마스터 게이트웨이(300)로 전달하고, 상기 마스터 게이트웨이(300)로부터 충돌 정보를 수신하도록 구성될 수 있다. 이러한 LoRa(Long Range) 모듈 방식에 의하면 저전력으로 장거리 통신이 가능하다는 이점을 갖는다.
상기 WiFi 모듈(130)은 상기 촬영모듈(140)에서 촬영한 영상 데이터를 후술될 마스터 게이트웨이(300)로 전송하도록 구성될 수 있다.
한편, 상기 엣지 단말(100)은 가속도센서 모듈(미도시)을 더 포함할 수 있으며, 상기 가속도센서 모듈(미도시)은 충돌시 전달되는 충격 측정 및 속도 측정을 위한 보조 장치로 이용되도록 구성될 수 있다. 이에 의해, 더욱 정밀한 속 도 측정 및 충돌 정보를 확보할 수 있을 것이다.
상기 슬레이브 게이트웨이(200)는 상기 엣지 단말(100)과 신호를 주고 받으며 상기 엣지 단말(100)의 위치 데이터를 획득하는 것으로 UWB 앵커 모듈 (210), LoRa T 모듈(220), 제어모듈(230)을 포함하여 구성될 수 있다.
상기 UWB 앵커 모듈(210)은 전술한 엣지 단말(100)의 UWB 태그 모듈(110)과 신호를 주고받으며 상기 엣지 단말(100)의 위치 데이터를 획득한다.
상기 획득된 데이터는 LoRa T 모듈(220)에 의해 후술될 마스터 게이트웨이(300)로 전송된다.
상기 제어모듈(230)을 통해 상기 UWB 앵커 모듈(210)과 상기 LoRa T 모듈(220)이 제어되도록 구성될 수 있다.
이러한 상기 슬레이브 게이트웨이(200)는 정확한 위치 데이터를 확보하기 위해서 3개 이상 설치되는 것이 바람직하나 이에 한정되는 것은 아니며, 필요에 따라 가감하여 구성될 수 있음은 물론이다.
상기 마스터 게이트웨이(300)는 상기 슬레이브 게이트웨이(200)로부터 데이터를 전송받아 후술될 관제서버(400)로 전송하는 것으로, WiFi 모듈(310), LoRa G 모듈(320), Ethernet 모듈(330) 및 제어모듈(340)을 포함하여 구성될 수 있 다.
상기 마스터 게이트웨이(300)는 상기 WiFi 모듈(310)을 통해 상기 엣지 단말(100)의 촬영모듈(140)에서 촬영된 영상을 전송받는다.
상기 마스터 게이트웨이(300)는 상기 LoRa T 모듈(320)을 통해 상기 슬레이브 게이트웨이(200)로부터 상기 엣지 단말(100)의 위치 데이터를 전송받도록 구성될 수 있다.
이러한 상기 엣지 단말(100), 상기 슬레이브 게이트웨이(200)로부터 전송받은 데이터는 상기 Ethernet 모듈(330) 또는 상기 WiFi 모듈(310)을 통해 후술될 관제서버(400)로 전송되도록 구성될 수 있다.
또한 상기 마스터 게이트웨이(300)는 후술될 관제서버(400)로부터 충돌 위험 정보를 전송받고, 상기 충돌 위험 정보를 상기 엣지 단말(100)로 전송하 도록 구성될 수 있으며, 상기 충돌 위험 정보를 전송받은 상기 엣지 단말(100)은 상기 경보모듈(160)에 의해 충돌 경고 알람이 제공되도록 구성될 수 있다.
상기 관제서버(400)는 상기 마스터 게이트웨이(300)로부터 데이터를 전송받아 데이터베이스화하여 모니터링할 수 있는 것으로 일반적인 서버의 형태로 구성될 수 있다.
이러한 상기 관제서버(400)는 상기 마스터 게이트웨이(300)로부터 데이터를 전송받아 상기 엣지 단말(100)의 속도를 계산하고, 상기 엣지 단말(100)과 주변의 또 다른 엣지 단말(100) 사이의 거리를 계산한다.
또한 상기 관제서버(400)는 상기 계산된 데이터를 바탕으로 상기 엣 지 단말(100)의 충돌 위험을 감지하도록 구성될 수 있다. 구체적으로 상기 엣지 단말(100)의 속도에 따라 소정의 거리 내에 또 다른 엣지 단말(100)이 존재하는 경우에는 충돌 위험이 있다고 판단하도록 구성될 수 있다. 한편 상기 소정의 거리는 상기 엣지 단말(100)의 속도에 따라 변경되도록 구성될 수 있다.
상기 관제서버(400)가 상기 엣지 단말(100)의 충돌 위험을 감지한 경우에는, 전술한 마스터 게이트웨이(300)로 상기 충돌 위험 정보를 전송하도록 구성될 수 있으며, 상기 마스터 게이트웨이(300)는 상기 충돌 위험 정보를 상기 엣지 단말(100)로 전송하고, 상기 엣지 단말(100)은 상기 경보모듈(160)에 의해 충돌 경 고 알람이 제공되도록 구성될 수 있다.
또한, 상기 관제서버(400)는 상기 마스터 게이트웨이(300)로부터 전송받은 데이터와 상기 관제서버(400)에서 계산된 데이터를 데이터베이스화하여 저장하고 모니터링되도록 구성될 수 있다.
이러한 상기 관제서버(400)에는 상기 엣지 단말(100)의 촬영모듈(140)에서 촬영한 영상 데이터, 상기 엣지 단말(100)의 정보처리모듈(170)에서 생성한 이벤트 정보, 상기 슬레이브 게이트웨이(200)에서 전송된 위치 데이터, 상기 관제서버(400)에서 계산된 속도 데이터, 상기 관제서버(400)에서 감지한 충돌 위험 정보를 데이터베이스화하여 모니터링되도록 구성될 수 있다.
구체적으로 상기 데이터를 바탕으로 지도에 상기 엣지 단말(100)의 위치와 상기 엣지 단말(100)에서 감지한 객체가 표시되도록 구성될 수 있으며, GUI에 의한 상기 엣지 단말(100)의 속도, 상기 엣지 단말(100)간 거리, 상기 엣지 단 말(100)의 충돌 위험 정보를 제공하고, 상기 엣지 단말(100)의 영상기록 조회 등을 통해 모니터링되도록 구성될 수 있다.
이에 따라, 본 개시의 실시예에 따른 딥러닝을 이용한 사고 예방 시스템은,
UWB 모듈을 이용하여 안정적이고 높은 정밀도의 위치데이터를 바탕으로 물체의 충돌을 감지할 수 있고, UWB 모듈을 이용하여 구조를 간단히 할 수 있으며, 기존의 라디오 방식에 비해 넓은 대역폭 및 높은 시간 해상도를 제공한다는 이점을 갖는다.
또한, LoRa 모듈을 이용하여 전력 효율을 높일 수 있고, 우수한 커버리지에 의해 다양한 환경에서도 적용가능하며, 손쉽게 설치하고 확장할 수 있으며, 간섭에 의한 영향을 최소화 할 수 있다는 이점을 갖는다.
특히, 스마트 게이트웨이의 태그와 마스터 게이트웨이의 RTLS 서버의 시간 동기화 후, 태그와 앵커간 통신이 시분할을 통하여 순차적으로 이루어짐으로 태그/앵커간 통신 지연 및 오류가 없이 정확한 거리 측정 및 이를 통한 위치 및 속도 측정이 가능하다.
그리고, 이를 통해 충돌 및 위험 상황 예측의 정확도가 향상된다. 또한, 각 이동체의 시간이 동기화되었음으로 각 이동체는 동일 시간에 대한 영상을 저장하고, 충돌 및 위험 상황 발생시 각 이동체의 동일 시간에 대한 영상의 분석이 용이하다.
도 4는 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템의 동작을 순서대로 도시한 절차 흐름도이다.
도 4에 도시된 바와 같이, 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템은 먼저 상기 마스터 게이트웨이에서, a) 상기 스마트 게이트웨이와 근거리 통신 메시(Mesh)로 구성되고, 상기 중계 게이트웨이와는 와이-파이 메시로 구성된다.
b) 다음, 상기 마스터 게이트웨이는 상기 근거리 통신 메시와 상기 와이-파이 메시를 통해서 내부의 RTLS 서버 시간을 브로드캐스팅으로 각각의 게이트웨이와 시간 동기화를 수행하고, 또한 시간 동기화를 수행하는 중에 신규 이동체를 감지할 때마다 시간 동기화를 다시 브로드캐스팅으로 반복적으로 각기 수행한다.
c) 그래서, 이러한 시간 동기화를 수행한 경우에는, 이동체별 태그로부터의 신호를 앵커를 통해 와이-파이 메시로 태그 ID별로의 거리 데이터로서 전송받는다.
d) 이를 통해, 이러한 태그 ID별로의 거리 데이터를 RTLS 서버에서 분석하여 이동체별로 위치와 속도를 산출하고, 주변 이동체와의 충돌 위험 정보를 제공한다.
따라서, 이를 통해 일실시예에 따른 시스템은 스마트 게이트웨이의 태그와 마스터 게이트웨이의 RTLS 서버의 시간 동기화 후, 태그와 앵커간 통신이 시분할을 통하여 순차적으로 이루어짐으로 태그/앵커간 통신 지연 및 오류가 없이 정확한 거리 측정 및 이를 통한 위치 및 속도 측정이 가능하다.
그리고, 이를 통해 충돌 및 위험 상황 예측의 정확도가 향상된다. 또한, 각 이동체의 시간이 동기화되었음으로 각 이동체는 동일 시간에 대한 영상을 저장하고, 충돌 및 위험 상황 발생시 각 이동체의 동일 시간에 대한 영상의 분석이 용이하다.
이상과 같이, 일실시예는 스마트 게이트웨이의 태그와 마스터 게이트웨이 RTLS 서버의 시간 동기화 후, 태그와 앵커간 통신을 시분할을 통하여 순차적으로 수행한다.
즉, 다수의 이동체에 적용된 태그와 마스터 게이트웨이의 RTLS 서버 시간 동기화하여 모든 태그를 동일 시간으로 설정하고, 각 태그는 앵커와 1:1 통신을 시분할에 의해 순차적으로 수행한다.
그래서, 이를 통해 태그/앵커간 통신 지연 및 오류를 없애고 정확한 거리 측정 및 이를 통한 위치 및 속도 측정을 제공한다.
도 5a와 도 5b는 일실시예에 따른 딥러닝을 이용한 사고 예방 시스템에 적용한 시간 동기화 동작을 상세하게 설명하기 위한 도면이다.
도 5a와 도 5b에 도시된 바와 같이, 일실시예에 따른 시간 동기화는 먼저 태그(Tag)와 앵커(Anchor)간의 통신 방식을 설정하며, 예를 들어, 태그와 앵커는 1:1 통신을 수행하고, 다수의 태그가 앵커와 통신을 시도할 경우에는 1개만 통신을 하도록 한다(a 참조).
다음, 이러한 시간 동기화는 b와 같이, 초기 시스템 실행 시 마스터 게이트웨이와 태그(Tag)간 시간 동기화를 수행하고, 이때 마스터 게이트웨이는 브로드 캐스팅으로 시간을 전송한다. 그리고, 먼 거리의 태그는 로라 메시(LoRa Mesh) 네트워크를 통하여 동기화한다.
그리고, 또한 c에서와 같이, 신규 이동체에 대한 시간 동기화는 먼저 이동체는 태그(Tag) ID를 기준으로 구분하며, 시간 동기화가 되지 않은 새로운 이동체가 감지되었을 경우는 브로드 캐스팅으로 로라 메시(LoRa Mesh)를 통해 전체 시스템에 대해 시간 동기화를 한다.
부가적으로, d는 일실시예에 따른 메시 네트워크 구성을 보여주는 것이다.
한편, 추가적으로 이러한 시스템은 아래의 구성을 더 구비한다. 즉, 아래의 풀-푸쉬 관계를 사용하여 시간 동기화를 수행함으로써, 보다 신속하고 효율적으로 시간 동기화를 할 수 있도록 한다.
이를 위해, 이러한 시간 동기화 구성은 먼저 상기 마스터 게이트웨이에서 아래의 시간 동기화 포맷으로부터 풀-푸쉬 관계에 따른 시간 동기화를 수행함으로써, 다수의 상이한 마스터/슬레이브 유형별로 대응하여 시간 동기화를 한다(슬레이브 : 중계 게이트웨이와 스마트 게이트게이).
그리고, 이러한 경우에 상기 시간 동기화 포맷은 아래와 같이 구비한다.
a) 먼저 상기 마스터 게이트웨이에서 슬레이브별로 풀링 신호를 명령 형식으로 송출해서, 슬레이브에게 보고를 지시한다.
b) 그리고 나서, 또한 상기 슬레이브는 풀-푸쉬 관계를 기록한 사용자 메모리를 구비해서, 상기 풀링 신호를 송출할 때에 상기 사용자 메모리를 통과한 푸슁 신호를 이벤트 드리븐 형식으로 회신함으로써, 마스터에게 보고한다.
한편으로, 이에 더하여 상기 시간 동기화를 수행하는 동작은 상기 사용자 메모리를 통해 보고할 경우마다, 상기 슬레이브에서 상기 풀링 신호를 수신할 때에 사용자 메모리 주소를 읽어서, 상기 사용자 메모리 내에 풀-푸쉬 관계별로 상이한 푸싱 신호를 연속적으로 쓰는 동작을 반복적으로 수행한다.
그리고, 이러한 경우에 또한 상기 사용자 메모리를 통해 보고할 경우에, 다수의 상이한 마스터 슬레이브 유형별로 상기 거리측정 포맷용 명령을 상이하게 설정함으로써, 마스터 슬레이브 유형에 맞게 시간 동기화를 수행한다.
다른 한편으로는 추가적으로, 이러한 시스템은 이렇게 관리자 단말기 등을 통해 충돌 위험 정보를 제공할 경우에, 관리자 단말기에 실시간으로 데이터베이스를 일치하고 연결도 확보하므로, 신속하고 손쉽게 실제 정보를 관리자에게 전달하도록 한다.
이를 위해서, 상기 마스터 게이트웨이는 아래의 동작을 수행한다.
A) 먼저, 데이터베이스를 일치하도록 하기 위해서, 충돌 위험 정보 등을 제공할 경우에는, 상기 관리자 단말기의 장치등록 정보와 데이터를 저장한 테이블을 관리자의 (모바일) 단말기 등과 상호 간에 동일하게 구비하고, 테이블에 대한 정합 관계를 미리 설정 등록한다.
B) 상기 테이블 내에 콘텐츠를 변경할 경우, 상기 정합 관계에 따라서 상대 테이블에 동기화한다.
C) 그리고, 상기 테이블을 동기화할 경우에, 상이한 알림 정보(또는, 서비스와 기능) 유형별 데이터 유형마다 콘텐츠를 다원화하여 수행함으로써, 상호 간에 데이터베이스를 실시간 일치한다.
A) 다음으로, 이러한 경우에, 관리자 단말기와의 연결을 확보하기 위해서, 1차적으로 등록 로컬 통신망의 연결 여부를 확인해서, 상기 확인 결과 상기 로컬 통신망을 연결한 경우에는 상이한 관리 작업위치별로 대응하는 설정 관리자 공용 계정으로서 연결한다.
B) 상기 확인 결과, 상기 로컬 통신망을 연결하지 않은 경우에는 2차적으로 등록 무선 통신망의 연결 여부를 확인한다.
C) 상기 확인 결과 상기 무선 통신망을 연결한 경우에는 개별 IP 주소로 연결한다. 반면에, 상기 무선 통신망을 연결하지 않은 경우에는 등록 이동 통신망의 단말기 식별 번호로 연결하므로, 상기 관리자 단말기와 실시간 연결을 확보한다.
한편으로, 이렇게 관리자 단말기와 실시간으로 연결을 할 경우에, 연결의 보안을 위해서 IP테이블을 이용하여 등록 IP의 감시 및 비인가자의 접속에 따른 모니터링(또는, 로그)을 관리하도록 한다.
A) 구체적으로는, 이를 위해 먼저 상기 로컬 통신망의 관리자 공용 계정과 상기 무선 통신망의 개별 IP(Internet Protocol) 주소를 등록한 IP 테이블을 미리 구성한다.
B) 그리고, 이렇게 관리자 단말기로 알람을 제공할 경우에, 해당하는 통신망의 헬로우(HELLO) 메시지를 송신해서 응답 결과 내의 다음 홉(next hop) 스위치 IP 주소를 추출한다.
C) 다음, 이러한 다음 홉 스위치 IP 주소와 동일한 스위치 IP 주소를 스위치 인접지 연결 관계 리스트에서 확인한다.
D) 상기 확인 결과, 상기 다음 홉 스위치 IP 주소와 동일한 스위치 IP 주소가 있는 경우, 해당하는 관리자 공용 계정 또는, 개별 IP 주소가 상기 IP 테이블에도 있는지 확인하므로, 비인가자의 접속 여부를 확인한다.
E) 상기 확인 결과, 해당하는 관리자 공용 계정 또는, 개별 IP 주소가 상기 IP 테이블에도 있는 경우에 조인/정리(JOIN/PRUNE) 메시지를 송신하므로, 해당하는 통신망과 연결한다.
한편으로, 이러한 시스템은 이렇게 충돌 위험 정보를 제공할 경우에, 아래의 구성으로부터 정보를 학습하여 원활하게 미리 알람 등을 제공할 수 있도록 한다.
즉 추가적으로, 이러한 시스템은 다수의 상이한 현장 장소와 게이트웨이 장치 유형별로 조금씩 차이를 내는 시간 동기화 등의 주변상태 또는 상황을 감안하여 모니터링용 학습모델을 생성해서, 양호한 서비스를 제공해 준다.
이러한 경우, 이러한 학습모델은 다양한 현장 장소와 시간대 등으로 데이터를 속성화하므로, 처리율을 보다 높이기도 한다.
a) 먼저, 이를 위해서 예를 들어, 알람에 관한 정보를 제공할 경우에, 다수의 상이한 현장 장소와 게이트웨이 장치 유형별로 조금씩 차이를 내는 시간 동기화 등의 실제 주변상태 또는 상황을 포함한 정보를 시간대와 장소 등으로 분류하여 학습하는 모델을 정의한다.
b) 다음, 다수의 상이한 주변상태 또는 상황 정보에 대한 기본적인 데이터셋을 추출한다.
c) 그리고 나서, 이러한 데이터셋을 다수의 상이한 장소와 시간대 등을 반영하여 속성화한다.
d) 그래서, 이러한 속성화 결과를 기초로 한 다수의 상이한 학습 모델별로 상태정보의 속성을 결정한다.
e) 그런 후에, 상기 결정된 결과를 정규화한다.
f) 그리고, 이러한 정규화 결과를 기초로 해서 다수의 상이한 학습 모델별로 상태정보를 설정한다. 그래서, 다수의 상이한 주변상태/상황 정보를 사용하여 알람 정보를 제공하기 위한 독립(알람 정보) 및 종속(주변상태/상황 정보) 변수로 설정한다.
g) 다음, 상기 설정 결과를 학습 및 훈련 데이터로 생성한다.
h) 그래서, 이를 통해 이러한 결과로부터 딥러닝 기반의 모니터링용 학습모델을 생성한다.
그래서, 이러한 시스템은 전술한 바대로 충돌 위험 정보를 제공할 경우에, 이러한 내용으로부터 알람을 제공하므로, 실제적으로 도움을 주는 서비스를 제공하기도 한다.
1000 : 딥러닝을 이용한 사고 예방 시스템
100 : 엣지 단말(이동체) 110 : UWB 태그 모듈
120 : LoRa T 모듈 130 : WiFi 모듈
140 : 촬영모듈 150 : 디스플레이모듈
160 : 경보모듈 170 : 정보처리모듈
200 : 슬레이브 게이트웨이 210 : UWB 앵커 모듈
220 : LoRa T 모듈 230 : 제어모듈
300 : 마스터 게이트웨이 310 : WiFi 모듈
320 : LoRa G 모듈 330 : Ethernet 모듈
340 : 제어모듈 400 : 관제서버

Claims (4)

  1. 현장 내 통행하는 건설기계를 포함한 태그 장착 이동체(엣지 단말);
    상기 현장 상에 다수의 상이한 장소별로 각기 설치하여, 다수의 상이한 이동체(엣지 단말)별로의 태그로부터 획득한 태그 ID와 거리 데이터를 각각의 이동체별로 수집하는 스마트 게이트웨이;
    상기 현장 내에 장소를 동일한 데이터 전송범위에 따라 묶은 다수의 상이한 섹터별로 각기 설치하여, 해당하는 이동체별로의 태그 ID와 거리 데이터를 중계하는 중계 게이트웨이; 및
    상기 중계 게이트웨이로부터 각각의 이동체에 관한 태그 ID와 거리 데이터를 일괄 전송받아 상기 이동체별로 위치와 속도를 산출하여 주변 이동체와의 충돌 위험 정보를 제공하는 마스터 게이트웨이; 를 포함하고 있으며,

    상기 마스터 게이트웨이는,
    a) 상기 스마트 게이트웨이와 근거리 통신 메시(Mesh)로 구성되고, 상기 중계 게이트웨이와는 와이-파이 메시로 구성되며,
    b) 상기 근거리 통신 메시와 상기 와이-파이 메시를 통해서 내부의 RTLS 서버 시간을 브로드캐스팅으로 각각의 게이트웨이와 시간 동기화를 수행하고, 또한 시간 동기화를 수행하는 중에 신규 이동체를 감지할 때마다 시간 동기화를 다시 브로드캐스팅으로 반복적으로 각기 수행하여,
    c) 상기 시간 동기화를 수행한 경우에는, 이동체별 태그로부터의 신호를 앵커를 통해 와이-파이 메시로 태그 ID별로의 거리 데이터로서 전송받아,
    d) 상기 태그 ID별로의 거리 데이터를 RTLS 서버에서 분석하여 이동체별로 위치와 속도를 산출하고, 주변 이동체와의 충돌 위험 정보를 제공하는 것; 을 특징으로 하는 딥러닝을 이용한 사고 예방 시스템.
  2. 청구항 1에 있어서,
    상기 마스터 게이트웨이는
    상기 시간 동기화를 수행(b))하는 경우에, 아래의 시간 동기화 포맷으로부터 풀-푸쉬 관계에 따른 시간 동기화를 수행함으로써, 다수의 상이한 마스터/슬레이브 유형별로 대응하여 시간 동기화를 하고(슬레이브 : 중계 게이트웨이와 스마트 게이트게이),
    상기 시간 동기화 포맷은,
    a) 다수의 상이한 슬레이브별로 풀링 신호를 명령 형식으로 송출해서, 슬레이브에게 보고를 지시하고,
    b) 상기 슬레이브는 풀-푸쉬 관계를 기록한 사용자 메모리를 구비해서, 상기 풀링 신호를 송출할 때에 상기 사용자 메모리를 통과한 푸슁 신호를 이벤트 드리븐 형식으로 회신함으로써, 마스터에게 보고하는 것; 을 특징으로 하는 딥러닝을 이용한 사고 예방 시스템.
  3. 청구항 2에 있어서,
    상기 마스터 게이트웨이는
    상기 사용자 메모리를 통해 보고할 경우마다, 상기 슬레이브에서 상기 풀링 신호를 수신할 때에 사용자 메모리 주소를 읽어서, 상기 사용자 메모리 내에 풀-푸쉬 관계별로 상이한 푸싱 신호를 연속적으로 쓰는 동작을 반복적으로 수행하는 것; 을 특징으로 하는 딥러닝을 이용한 사고 예방 시스템.
  4. 청구항 3에 있어서,
    상기 마스터 게이트웨이는
    상기 사용자 메모리를 통해 보고할 경우에, 다수의 상이한 마스터 슬레이브 유형별로 상기 거리측정 포맷용 명령을 상이하게 설정함으로써, 마스터 슬레이브 유형에 맞게 시간 동기화를 수행하는 것; 을 특징으로 하는 딥러닝을 이용한 사고 예방 시스템.






KR1020210137026A 2021-10-15 2021-10-15 딥러닝을 이용한 사고 예방 시스템 KR102600837B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210137026A KR102600837B1 (ko) 2021-10-15 2021-10-15 딥러닝을 이용한 사고 예방 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210137026A KR102600837B1 (ko) 2021-10-15 2021-10-15 딥러닝을 이용한 사고 예방 시스템

Publications (2)

Publication Number Publication Date
KR20230054514A true KR20230054514A (ko) 2023-04-25
KR102600837B1 KR102600837B1 (ko) 2023-11-13

Family

ID=86101924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210137026A KR102600837B1 (ko) 2021-10-15 2021-10-15 딥러닝을 이용한 사고 예방 시스템

Country Status (1)

Country Link
KR (1) KR102600837B1 (ko)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100947559B1 (ko) 2007-12-17 2010-03-12 조승원 위상고정루프를 이용한 장애물 감지시스템과 그 감지방법
KR20120040601A (ko) * 2010-10-19 2012-04-27 엘지이노텍 주식회사 Ｒｔｌｓ를 이용한 병원내 환자 자동 이력 관리 및 위치 파악 시스템
JP2012532816A (ja) * 2009-07-09 2012-12-20 コンテナートラック インコーポレイテッド 輸送用コンテナの荷役装置の在庫管理のためのシステム
JP2014053821A (ja) * 2012-09-07 2014-03-20 Sogo Keibi Hosho Co Ltd 警備システム及び警備方法
KR20170085385A (ko) * 2016-01-14 2017-07-24 동서대학교산학협력단 Ｒｔｌｓ 기반 드론 자율 비행 시스템 및 드론 자율 비행 방법
WO2018183045A1 (en) * 2017-03-28 2018-10-04 Amazon Technologies, Inc. Method and system for tele-operated inventory management system
KR20190023713A (ko) * 2017-08-30 2019-03-08 (주)하티오랩 실내 물류창고의 물류의 측위 및 이송장치의 동선 추적 시스템 및 그 방법
KR102004518B1 (ko) 2017-08-21 2019-07-26 김태윤 물체 접근 감지 장치 및 이를 이용한 충돌방지 안전시스템
KR20190114327A (ko) 2018-03-29 2019-10-10 주식회사 지아이티 차량의 bcm을 활용한 충돌 감지 장치 및 시스템
KR102308601B1 (ko) 2021-01-25 2021-10-05 주식회사 지오플랜 리버스 TDoA 기반의 측위 방법 및 시스템

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100947559B1 (ko) 2007-12-17 2010-03-12 조승원 위상고정루프를 이용한 장애물 감지시스템과 그 감지방법
JP2012532816A (ja) * 2009-07-09 2012-12-20 コンテナートラック インコーポレイテッド 輸送用コンテナの荷役装置の在庫管理のためのシステム
KR20120040601A (ko) * 2010-10-19 2012-04-27 엘지이노텍 주식회사 Ｒｔｌｓ를 이용한 병원내 환자 자동 이력 관리 및 위치 파악 시스템
JP2014053821A (ja) * 2012-09-07 2014-03-20 Sogo Keibi Hosho Co Ltd 警備システム及び警備方法
KR20170085385A (ko) * 2016-01-14 2017-07-24 동서대학교산학협력단 Ｒｔｌｓ 기반 드론 자율 비행 시스템 및 드론 자율 비행 방법
WO2018183045A1 (en) * 2017-03-28 2018-10-04 Amazon Technologies, Inc. Method and system for tele-operated inventory management system
KR102004518B1 (ko) 2017-08-21 2019-07-26 김태윤 물체 접근 감지 장치 및 이를 이용한 충돌방지 안전시스템
KR20190023713A (ko) * 2017-08-30 2019-03-08 (주)하티오랩 실내 물류창고의 물류의 측위 및 이송장치의 동선 추적 시스템 및 그 방법
KR20190114327A (ko) 2018-03-29 2019-10-10 주식회사 지아이티 차량의 bcm을 활용한 충돌 감지 장치 및 시스템
KR102308601B1 (ko) 2021-01-25 2021-10-05 주식회사 지오플랜 리버스 TDoA 기반의 측위 방법 및 시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
그러나, 이때 태그(Tag)와 앵커(Anchor)는 1:1 통신을 하며, 시간 동기화를 하지 않을 경우 다수의 태그(Tag)에서 앵커(Anchor)와 통신을 시도하게 되며, 1개의 태그(Tag)에 한해 통신이 됨으로 나머지 태그(Tag)는 앵커(Anchor)와 거리를 계산하지 못한다. 이는 이동체에 대해 동일 시간에 대한 위치 정보를 취득하지 못함으로 충돌 및 위험에 대한 예측의 정확도가 낮아지는 원인이 되며, 이는 사고로 이어지는 문제가 있다.
이러한 문헌 1은 이동체의 측위 방식에 관한 것으로, 복수의 슬레이브 앵커를 마스터 앵커와 클럭 간에 시간 동기화하는 기술이다.
참고적으로, 이러한 기술의 선행문헌은 아래의 문헌 정도 등이다.
한편으로, 특히 이러한 점에 있어서, 종래의 기술은 이동체에 태그(Tag) 기능 동작을 위한 UWB 모듈을 장착하고, 일정 영역 안에 앵커(Anchor)기능 동작을 위한 UWB 모듈을 적용한다. 그래서, 태그(Tag)에서 각 앵커(Anchor)와 거리를 산정하여, 중계 게이트웨이로 전송하고, 중계 게이트웨이는 마스터 게이트웨이로 전송하여, 마스터 게이트웨이의 RTLS 알고리즘에 의해 각 태그(Tag)의 위치와 속도 계산을 통한 충돌, 위험에 대한 상황 예측을 하는 구조이다.

Also Published As

Publication number Publication date
KR102600837B1 (ko) 2023-11-13

Similar Documents

Publication Publication Date Title
US10288737B2 (en) LiDAR sensing system
Gomez-de-Gabriel et al. Monitoring harness use in construction with BLE beacons
EP2814012B1 (en) Cooperative intrusion detection
US20100127853A1 (en) Method and apparatus for locating and tracking objects in a mining environment
KR101348617B1 (ko) 무선 네트워크를 이용한 감시 시스템, 마스터 센서 노드 및 서버 장치
KR101803891B1 (ko) 셀영역별 교통인수와 객체추적 모듈로 이루어진 하이브리드형 셀영역 기반 교통상황 실시간 통보장치 및 방법
JP5746027B2 (ja) 断続的に位置を報告するための方法および装置
TWI593988B (zh) Indoor positioning system and method
EP3111246A1 (en) Real-time location system in wireless sensor network
CN111083642A (zh) 一种金库内的人员定位方法
KR100954605B1 (ko) 유비쿼터스 기반 배관시설 상태 상시 감시 시스템
EP3823879B1 (en) System and method for building and managing a train consist
CN112381853A (zh) 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法
KR20230054514A (ko) 딥러닝을 이용한 사고 예방 시스템
KR101700933B1 (ko) Rfid 시스템을 이용한 위치정보영상표기 시스템
CN208737636U (zh) 扫地机器人及火灾监控系统
KR102188567B1 (ko) 3차원 레이저 스캐너를 이용한 도로 감시 시스템
KR102432867B1 (ko) 스마트팜 센서류 고장검출 시스템 및 방법
KR101850610B1 (ko) Rtls 기반의 실시간 안전, 보안 및 위치추적 통합관제시스템
KR102344994B1 (ko) 딥러닝을 이용한 사고 예방 시스템
CN204667570U (zh) 移动探测装置和系统
Mirza et al. Performance analysis of location based smart catastrophe monitoring system using wsn
Fawzy et al. RT-HRLE: a system design for real-time hazards reporting and loss estimation using wireless sensors
Ozaita Araico Detection of the crowdedness of a place sensing the devices in the area
Singh et al. A framework for early detection of incident in dense traffic using vehicular ad-hoc networks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant