KR102328644B1 - 안전운전 도우미 시스템 및 그 동작방법 - Google Patents

안전운전 도우미 시스템 및 그 동작방법 Download PDF

Info

Publication number
KR102328644B1
KR102328644B1 KR1020210086659A KR20210086659A KR102328644B1 KR 102328644 B1 KR102328644 B1 KR 102328644B1 KR 1020210086659 A KR1020210086659 A KR 1020210086659A KR 20210086659 A KR20210086659 A KR 20210086659A KR 102328644 B1 KR102328644 B1 KR 102328644B1
Authority
KR
South Korea
Prior art keywords
terminal
area
wireless
real
detection information
Prior art date
Application number
KR1020210086659A
Other languages
English (en)
Inventor
양승범
정진
윤소연
Original Assignee
주식회사 네패스아크
주식회사 네패스이앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네패스아크, 주식회사 네패스이앤씨 filed Critical 주식회사 네패스아크
Priority to KR1020210086659A priority Critical patent/KR102328644B1/ko
Application granted granted Critical
Publication of KR102328644B1 publication Critical patent/KR102328644B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G06K9/00362—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06Q50/30—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 안전운전 도우미 시스템 및 그 동작방법에 관한 것이다. 본 발명의 일 실시예에 따른 시스템은, 어느 도로 주변의 제1 영역에 대한 실시간 영상을 촬영하는 카메라; 촬영된 상기 실시간 영상을 수신하고, 상기 실시간 영상에서 보행자의 출현 여부를 기 학습된 머신 러닝 모델을 이용하여 판단하며, 보행자가 출현한 것으로 판단된 경우에 감지 정보를 전송하는 AI(artificial intelligence) 단말; 수신된 상기 감지 정보를 무선 신호로 송신하는 무선 송신기; 상기 감지 정보의 무선 신호를 수신하여 상기 감지 정보의 유선 신호로 출력하는 무선 수신기; 및 상기 감지 정보의 유선 신호를 수신하는 경우, 상기 제1 영역으로부터 이격되되 차량이 상기 제1 영역에 진입하기 전의 다른 도로 주변인 제2 영역의 지주 또는 해당 지주의 가로재에 설치된 디스플레이부를 통해 보행자의 출현에 대한 알림을 표시하는 표시 장치;를 포함한다.

Description

안전운전 도우미 시스템 및 그 동작방법{AI-BASED SAFETY DRIVING ASSISTANT SYSTEM AND OPERATING METHOD THEREOF}
본 발명은 안전운전 도우미 시스템 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 사고발생 위험이 높은 도로 영역에 보행자가 감지될 경우 이에 대한 알림을 표시하여 운전자의 안전운전을 유도하는 시스템 및 그 동작방법에 관한 것이다.
도로에는 어린이보호구역의 횡단보도 등과 같이 보행자에 대한 차량의 사고발생 위험이 높은 영역이 있다. 이러한 위험 영역에서, 차량의 운전자는 다양한 도로 환경으로 인해 횡단하는 보행자를 미처 발견하기 어려워 보행자에 대한 차량 사고 발생이 빈번하다.
가령, 신장이 작고 주의력이 미숙한 어린이들은 주정차 차량, 장애물 등에 의해 쉽게 가려지므로, 어린이들이 횡단보도에서 돌발 횡단하는 경우에는 차량의 운전자가 신속하게 대처하기 어려운 실정이다.
KR 10-2138492 B
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 사고발생 위험이 높은 도로의 제1 영역에서 보행자가 감지될 경우 이에 대한 알림을 제1 영역에 진입하기 전의 도로 영역인 제2 영역에 표시하여 운전자의 안전운전을 유도하는 기술을 제공하는데 그 목적이 있다.
또한, 본 발명은 제1 영역과 제2 영역의 사이가 서로 멀리 이격될 수밖에 없는 도로 현장에서, 제1 영역의 감지부와 제2 영역의 디스플레이부를 보다 용이하게 연결하여 설치의 편의성과 다양한 도로 환경에 대한 적용성을 향상시킬 수 있는 기술을 제공하는데 그 다른 목적이 있다.
또한, 본 발명은 도로 환경에 따라 시스템을 다양하게 확장할 수 있는 기술을 제공하는데 그 다른 목적이 있다.
또한, 본 발명은 AI 단말에서 실시간 영상에서 보행자 출현 여부를 즉각 감지하는 감지의 실시간성과 해당 감지의 정확성을 동시에 보장할 수 있는 기술을 제공하는데 그 다른 목적이 있다.
또한, 본 발명은 다수의 구역을 담당하는 각 서브 시스템에 대한 다양한 현황 파악이 가능하고, 고장이 발생한 서브 시스템에 대한 즉각적인 대응이 가능한 기술을 제공하는데 그 다른 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 시스템은, 어느 도로 주변의 제1 영역에 대한 실시간 영상을 촬영하는 카메라; 촬영된 상기 실시간 영상을 수신하고, 상기 실시간 영상에서 보행자의 출현 여부를 기 학습된 머신 러닝 모델을 이용하여 판단하며, 보행자가 출현한 것으로 판단된 경우에 감지 정보를 전송하는 AI(artificial intelligence) 단말; 수신된 상기 감지 정보를 무선 신호로 송신하는 무선 송신기; 상기 감지 정보의 무선 신호를 수신하여 상기 감지 정보의 유선 신호로 출력하는 무선 수신기; 및 상기 감지 정보의 유선 신호를 수신하는 경우, 상기 제1 영역으로부터 이격되되 차량이 상기 제1 영역에 진입하기 전의 다른 도로 주변인 제2 영역의 지주 또는 해당 지주의 가로재에 설치된 디스플레이부를 통해 보행자의 출현에 대한 알림을 표시하는 표시 장치;를 포함한다.
상기 AI 단말은 상기 실시간 영상에서 일정 개수만큼의 이전 프레임 영상을 이용하여 제1 영역에 대한 배경 이미지를 생성한 후, 생성된 배경 이미지와 상기 실시간 영상의 현재 프레임 영상을 비교하여 상기 현재 프레임 영상 내에서의 움직임 영역을 탐색하며, 상기 머신 러닝 모델을 이용하여 탐색된 움직임 영역에 대한 분류(Classification)를 수행함으로써 상기 현재 프레임 영상에서의 보행자 출현 여부를 판단할 수 있다.
상기 머신 러닝 모델은 입력 영상 내의 보행자 포함 여부에 대한 이진 분류 결과 값을 출력하도록 기 학습된 이진 신경망(Binarized Neural Network, BNN)의 모델일 수 있다.
본 발명의 일 실시예에 따른 시스템은 상기 카메라, 상기 Al 단말 및 상기 무선 송신기 간의 내부 네트워크에서 유선 통신이 이루어지도록 연결된 네트워크 허브를 더 포함할 수 있다.
상기 네트워크 허브는 PoE(Power over Ethernet)용 허브일 수 있다.
본 발명의 일 실시예에 따른 시스템은 상기 네트워크 허브를 통해 상기 내부 네트워크에 연결되고, 상기 무선 송신기 및 무선 수신기 간의 제1 통신 방식과 다른 제2 통신 방식으로 외부 네트워크의 서버와 통신하며, 상기 AI 단말로부터 상기 네트워크 허브를 통해 수신된 상기 AI 단말의 로그 정보를 상기 서버로 전송하는 로그 단말을 더 포함할 수 있다.
상기 무선 수신기는 상기 감지 정보의 무선 신호를 수신하는 경우에 상기 무선 송신기로 해당 수신에 대한 답신의 무선 신호를 송신할 수 있다.
상기 무선 송신기는 상기 감지 정보의 무선 신호를 송신한 후 일정 시간 내에 상기 답신의 무선 신호가 미 수신되는 경우 상기 감지 정보의 무선 신호를 다시 송신하되, 상기 미 수신이 소정 반복되면 고장 알림 정보를 상기 네트워크 허브를 통해 상기 로그 단말로 전송할 수 있다.
상기 로그 단말은 수신된 상기 고장 알림 정보를 상기 제2 통신 방식을 통해 상기 서버로 전송할 수 있다.
상기 제1 통신 방식은 저전력 블루투스(Bluetooth Low Energy; BLE)의 통신 방식을 포함할 수 있으며, 상기 제2 통신 방식은 로라(LoRa) 또는 협대역 사물인터넷(NB IoT)의 통신 방식을 포함할 수 있다.
상기 무선 수신기는 상기 감지 정보의 무선 신호가 일정 시간 내에 미 수신되는 경우 고장 알림 정보를 상기 표시 장치에 전송하여 상기 디스플레이부에서 해당 고장 알림이 표시되도록 할 수 있다.
상기 AI 단말 및 상기 무선 송신기는 상기 제2 영역보다 상기 제1 영역에 더 가까운 위치에 설치되며, 상기 무선 수신기는 상기 제1 영역보다 상기 제2 영역에 더 가까운 위치에 설치될 수 있다.
상기 이전 프레임은 현재 프레임에서 1개 내지 100개 중 어느 하나의 개수만큼의 직전 프레임일 수 있다.
상기 이전 프레임은 현재 프레임에서 1초 내지 100초 중 적어도 어느 하나의 시간만큼 전의 프레임을 포함할 수 있다.
상기 제1 및 제2 영역의 사이는 1m 내지 200m 중 어느 하나의 거리만큼 이격될 수 있다.
상기 제1 영역은 어린이보호구역, 노인보호구역, 장애인보호구역 등 교통약자 보호구역 내 보호시설 출입문 인근에 설치된 횡단보도, 우회전 직후 횡단보도, 교통섬 횡단보도, 개방형 보행로, 또는 주차장 진출입로 인근 횡단보도 등 보행자 교통사고 위험이 높은 보행로 환경을 포함할 수 있다.
상기 카메라는 복수 개가 구비되며, 상기 AI 단말은 상기 각 카메라의 실시간 영상 별로 보행자의 출현 여부를 판단할 수 있다.
상기 디스플레이부는 상기 보행자의 출현에 대한 알림을 표시할 경우에 보행자 출현에 대한 제1 전자 문구와, 제1 영역과의 이격 거리에 대한 제2 전자 문구를 교대로 표시할 수 있다.
상기 디스플레이부는 제1 영역으로의 방향에 대한 제3 전자 문구를 더 표시할 수 있다.
상기 무선 수신기 및 상기 표시 장치는 복수개가 구비되며, 상기 각 무선 수신기가 하나의 상기 무선 송신기로부터 상기 감지 정보의 무선 신호를 함께 수신하여, 상기 제2 영역에서 서로 이격되게 설치된 상기 각 표시 장치의 디스플레이부가 상기 알림을 함께 표시할 수 있다.
상기 각 디스플레이부는 보행자 출현에 대한 제1 전자 문구와, 제1 영역과의 이격 거리에 대한 제2 전자 문구를 각각 표시하되, 서로 다른 이격 거리에 해당하는 제2 전자 문구를 표시할 수 있다.
상기 각 디스플레이부는 제1 영역으로의 방향에 대한 제3 전자 문구를 더 표시할 수 있다.
본 발명의 일 실시예에 따른 시스템은 서로 이격된 다수의 구역을 각각 분담하는 다수의 서브 시스템을 더 포함하며, 상기 각 서브 시스템은 해당 구역 내 상기 제1 및 제2 영역에서의 동작을 위해, 상기 카메라, 상기 AI 단말, 상기 무선 송신기, 상기 무선 수신기 및 상기 표시 장치를 포함할 수 있다.
상기 각 서브 시스템은, 상기 카메라, 상기 Al 단말 및 상기 무선 송신기 간의 내부 네트워크에서 유선 통신이 이루어지도록 연결된 네트워크 허브; 및 상기 무선 송신기 및 무선 수신기 간의 제1 통신 방식과 다른 제2 통신 방식으로 외부 네트워크의 서버와 통신하며, 상기 AI 단말로부터 상기 네트워크 허브를 통해 수신된 상기 AI 단말의 로그 정보를 상기 서버로 전송하는 로그 단말;을 더 포함할 수 있다.
적어도 상기 카메라는 도로에 기 설치되어 있으며, 상기 AI 단말을 추가 설치하는 것으로 본 발명의 일 실시예에 따른 시스템의 구현이 가능하다.
본 발명의 일 실시예에 따른 동작방법은 안전운전 도우미 시스템의 동작방법으로서, 카메라가 어느 도로 주변의 제1 영역에 대한 실시간 영상을 촬영하는 단계; AI(artificial intelligence) 단말이 촬영된 상기 실시간 영상을 수신하고, 상기 실시간 영상에서 보행자의 출현 여부를 기 학습된 머신 러닝 모델을 이용하여 판단하며, 보행자가 출현한 것으로 판단된 경우에 감지 정보를 전송하는 단계; 무선 송신기가 수신된 상기 감지 정보를 무선 신호로 송신하는 단계; 무선 수신기가 상기 감지 정보의 무선 신호를 수신하여 상기 감지 정보의 유선 신호로 출력하는 단계; 및 표시 장치가 상기 감지 정보의 유선 신호를 수신하는 경우, 상기 제1 영역으로부터 이격되되 차량이 상기 제1 영역에 진입하기 전의 다른 도로 주변인 제2 영역의 지주 또는 해당 지주의 가로재에 설치된 디스플레이부를 통해 보행자의 출현에 대한 알림을 표시하는 단계;를 포함한다.
상기 전송하는 단계는, 상기 AI 단말이 상기 실시간 영상에서 일정 개수만큼의 이전 프레임 영상을 이용하여 제1 영역에 대한 배경 이미지를 생성하는 단계; 상기 AI 단말이 생성된 배경 이미지와 상기 실시간 영상의 현재 프레임 영상을 비교하여 상기 현재 프레임 영상 내에서의 움직임 영역을 탐색하는 단계; 및 상기 AI 단말이 상기 머신 러닝 모델을 이용하여 탐색된 움직임 영역에 대한 분류(Classification)를 수행함으로써 상기 현재 프레임 영상에서의 보행자 출현 여부를 판단하는 단계;를 포함할 수 있다.
상기와 같이 구성되는 본 발명은 사고발생 위험이 높은 도로의 제1 영역에서 보행자가 감지될 경우 이에 대한 알림을 제1 영역에 진입하기 전의 도로 영역인 제2 영역에 표시함에 따라, 보행자 출현을 제2 영역의 운전자에게 조기에 알릴 수 있어 운전자의 안전운전을 유도할 뿐 아니라 제1 영역에서의 보행자에 대한 차량 사고 예방 효과를 극대화할 수 있는 이점이 있다.
또한, 본 발명은 제1 영역과 제2 영역 사이가 서로 멀리 이격될 수밖에 없는 도로 현장에서, 감지부와 디스플레이부 간을 유선 통신 설비로 연결하기 어려운 점을 해결하여, 제1 영역의 감지부와 제2 영역의 디스플레이부를 보다 용이하게 연결하여 설치의 편의성과 다양한 도로 환경에 대한 적용성을 향상시킬 수 있는 이점이 있다.
또한, 본 발명은 종래에 구축된 도로표지 시스템 등에 보다 용이하게 적용 가능하여, 해당 시스템에 AI 단말 등을 추가하는 것만으로 본 발명에 따른 안전운전 도우미 시스템을 구현할 수 있는 이점이 있다.
또한, 본 발명은 제1 영역에서 다수의 방향에서 보행자를 감지하거나, 하나의 무선 송신기로 서로 다른 위치에 설치된 다수의 디스플레이부에 보행자 감지에 대한 알림을 표시할 수 있어, 도로 환경에 따라 시스템을 다양하게 확장할 수 있을 뿐 아니라, 저비용으로 고효율의 운전자 안전운전을 유도할 수 있는 이점이 있다.
또한, 본 발명은 AI 단말의 동작을 통해 실시간 영상에서 보행자 출현에 따른 감지 정보 생성의 실시간성을 보장하는 동시에 해당 감지의 정확성도 향상시킬 수 있는 이점이 있다.
또한, 본 발명은 다수의 구역을 담당하는 각 서브 시스템에 대한 다양한 현황을 파악할 수 있는 기술을 제공하는데 그 다른 목적이 있다.
또한, 본 발명은 다수의 구역을 담당하는 각 서브 시스템에 대한 다양한 현황 파악이 가능하고, 고장 발생한 서브 시스템에 대한 즉각적인 대응이 가능한 이점이 있다.
또한, 본 발명은 디스플레이부에서 표시를 통해, 본 발명은 운전자에게 경각심을 높여 안전운전을 더욱 유도할 수 있는 이점이 있다.
또한, 본 발명은 카메라에서 촬영된 실시간 영상이 외부로부터 폐쇄된 내부 네트워크의 AI 단말 등에서 관리되고 카메라에서 녹화할 필요도 없으므로, 촬영에 따른 개인정보 유출의 위험이 적은 이점이 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시스템의 개념도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 시스템의 블록 구성도를 나타낸다.
도 3은 AI 단말(120)의 블록 구성도를 나타낸다.
도 4는 디스플레이부(330)의 다양한 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 시스템에서 다수의 서브 시스템과 서버(500) 간의 접속에 대해 나타낸다.
도 6은 본 발명의 일 실시예에 따른 시스템에서 하나의 무선 송신기(210)에 대해 작동하는 다수의 무선 수신기(220) 및 표시 장치(300)를 나타낸다.
도 7 내지 도 11은 본 발명의 일 실시예에 따른 시스템이 적용되는 다양한 도로 환경에 대해 예들을 나타낸다.
도 12 내지 도 14는 실제 도로에 적용될 경우에 대한 예들을 나타낸다.
도 15는 본 발명의 일 실시예에 따른 시스템의 동작방법에 대한 순서도를 나타낸다.
도 16은 AI 단말(120)에서 수행되는 판단 과정(S20)의 구체적인 순서도를 나타낸다.
도 17은 판단 과정(S20)에서 사용되는 각 영상에 대한 예들을 나타낸다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 시스템의 개념도를 나타내며, 도 2는 본 발명의 일 실시예에 따른 시스템의 블록 구성도를 나타낸다.
본 발명의 일 실시예에 따른 시스템(이하, “본 시스템”이라 지칭함)은 안전운전 도우미 시스템으로서, 사고발생 위험이 높은 어느 도로 주변의 영역(이하, “제1 영역”이라 지칭함)(R1)에서 보행자(H)가 감지될 경우, 이에 대한 알림을 차량(V)이 제1 영역에 진입하기 전의 다른 도로 주변인 영역(이하, “제2 영역”이라 지칭함)(R2)에 설치된 디스플레이부(330)에 표시하여 운전자에게 안전운전을 유도할 수 있는 시스템이다.
특히, 제1 및 제2 영역(R1, R2)의 사이가 이격됨에 따라, 본 발명은 보행자 출현을 제2 영역의 운전자에게 조기에 알릴 수 있어 운전자의 안전운전을 유도할 뿐 아니라 제1 영역에서의 보행자에 대한 차량 사고 예방 효과를 극대화할 수 있다. 이를 위해, 제1 및 제2 영역(R1, R2)의 사이는 1m 내지 200m 중 어느 하나의 거리만큼 이격될 수 있으나, 이에 한정되는 것은 아니다.
이를 위해, 본 시스템은, 도 2에 도시된 바와 같이, 감지부(100), 무선 네트워크부(200) 및 표시 장치(300)를 포함할 수 있다. 또한, 본 시스템은 설정 단말(400)을 더 포함할 수도 있다.
먼저, 감지부(100)는 제1 영역(R1)에서 보행자(H)의 출현 여부를 감지하는 구성으로서, 도 2에 도시된 바와 같이, 카메라(110), AI(artificial intelligence) 단말(120) 및 네트워크 허브(130)를 포함할 수 있으며, 후술할 로그 단말(140)을 더 포함할 수도 있다.
카메라(110)는 제1 영역(R1)에 대한 실시간 영상을 촬영하는 장치로서, 외부로부터 폐쇄된 내부 네트워크로 촬영된 실시간 영상을 전송(즉, 스트리밍 영상을 전송)할 수 있다. 예를 들어, 카메라(110)는 CCTV(Closed Circuit Television)용 카메라일 수 있으나, 이에 한정되는 것은 아니다. 즉, 제1 영역(R1)은 사고 위험 가능성이 높은 영역으로서, 카메라(110)에 의해 촬영되는 모니터링 영역에 해당한다.
카메라(110)는 적어도 하나가 제1 영역(R1)에 설치되며, 유선 또는 무선 전송 통로를 통해 실시간 영상을 내부 네트워크로 전송한다. 즉, 카메라(110)는 내부 네트워크를 통해 AI 단말(120)로 실시간 영상을 전송할 수 있다.
카메라(110)는 고정식 카메라이거나, 좌우/상하 회전 등에 의한 촬영 영역 변경이 가능한 이동식 카메라일 수 있다. 물론, 이동식 카메라 외에 고정식 카메라에도 줌(zoom) 조절이 가능하다.
가령, 이동식 카메라가 구비된 경우, 그 촬영 영역 변경에 대한 제어를 수행하는 설정 단말(400)이 내부 네트워크에 연결될 수 있다. 즉, 설정 단말(400)은 컴퓨팅(computing)이 가능한 전자 장치로서, 제1 영역(R1)에서 이동식 카메라의 촬영 영역 변경에 대한 제어 명령을 내부 네트워크를 통해 이동식 카메라에 전달할 수 있다. 물론, 설정 단말(400)은 고정식 및 이동식 카메라에 대한 줌(zoom) 조절의 제어 명령도 내부 네트워크를 통해 해당 카메라에 전달할 수도 있다.
도 3은 AI 단말(120)의 블록 구성도를 나타낸다.
AI 단말(120)은 컴퓨팅(computing)이 가능한 전자 장치로서, 내부 네트워크에 연결되어 카메라(110)에서 촬영된 실시간 영상을 내부 네트워크를 통해 수신하여, 해당 실시간 영상에서 보행자(H)의 출현 여부를 기 학습된 머신 러닝 모델을 이용하여 판단한다. 이때, 보행자(H)가 출현한 것으로 판단된 경우, AI 단말(120)은 이를 알리는 정보(이하, “감지 정보”라 지칭함)를 생성하여 내부 네트워크로 전송한다. 이를 위해, AI 단말(120)은, 도 3에 도시된 바와 같이, 통신부(121), 메모리(122) 및 제어부(123)를 포함할 수 있다.
통신부(121)는 다른 장치와의 통신을 수행하는 구성이다. 즉, 통신부(121)는 내부 네트워크에 연결된 카메라(110) 및 무선 송신기(210)와 데이터를 송수신할 수 있다. 예를 들어, 통신부(121)는 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다. 즉, 통신부(121)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행할 수도 있다. 다만, 무선 통신이 수행될 경우에 간섭 등의 영향을 방지하기 위해, 통신부(121)는 무선 네트워크부(200)의 무선 통신 방식과 다른 방식으로 무선 통신하는 것이 바람직할 수 있다.
가령, 통신부(121)는 카메라(110)에서 촬영된 실시간 영상 등을 수신할 수 있다. 또한, 통신부(121)는 제어부(123)의 제어에 따라 판단된 보행자(H) 출현에 대한 감지 정보를 무선 송신기(210)로 송신할 수 있다.
메모리(122)는 AI 단말(120)의 동작에 필요한 각종 정보를 저장한다. 저장 정보로는, 기 학습된 머신 러닝 모델에 대한 정보, 카메라(110)에서 촬영된 실시간 영상, 후술할 AI 단말(120)에서 수행되는 판단 과정에 관련된 프로그램 정보, 판단 결과로 도출된 보행자(H) 출현에 대한 감지 정보, 로그 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 메모리(122)는 그 유형에 따라 하드디스크 타입(hard disk type), 마그네틱 매체 타입(Magnetic media type), CD-ROM(compact disc read only memory), 광기록 매체 타입(Optical Media type), 자기-광 매체 타입(Magneto-optical media type), 멀티미디어 카드 마이크로 타입(Multimedia card micro type), 플래시 저장부 타입(flash memory type), 롬 타입(read only memory type), 또는 램 타입(random access memory type) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 메모리(122)는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 또는 보조기억장치이거나 별도로 마련된 저장 시스템일 수 있으나, 이에 한정되는 것은 아니다.
제어부(123)는 AI 단말(120)의 다양한 제어 동작을 수행할 수 있다. 즉, 제어부(123)는 후술할 AI 단말(120)에서 수행되는 판단 과정의 수행을 제어할 수 있으며, AI 단말(120)의 나머지 구성, 즉 통신부(121) 및 메모리(122) 등의 동작을 제어할 수 있다. 예를 들어, 제어부(123)는 제어 하드웨어인 프로세서(processor), 또는 해당 프로세서에서 수행되는 제어 소프트웨어인 프로세스(process) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
네트워크 허브(130)는 내부 네트워크에 연결된 네트워크 장치로서, 내부 네트워크 상의 다른 구성들 간에 유선 통신(가령, 이더넷 케이블을 통한 통신 등)이 이루어지도록 해당 구성들을 연결한다. 즉, 카메라(110), Al 단말(120) 및 무선 송신기(210) 간을 연결할 수 있으며, 추가적으로 설정 단말(400) 또는 후술할 로그 단말(140)도 연결할 수 있다.
다만, 네트워크 허브(130)는 그 용어에 의해 제한되는 것은 아니며, 통상적인 허브(Hub)의 역할인 멀티포트 리피터(Multiport Repeater) 역할 외에 브리지 또는 스위치의 역할도 할 수 있다.
특히, 네트워크 허브(130)는 이더넷 케이블을 통해 데이터와 전원을 안정적으로 전송할 수 있도록 PoE(Power over Ethernet)용 허브일 수 있으나, 이에 한정되는 것은 아니다. 다만, PoE용 허브의 경우, 전원과 데이터 전송에 하나의 케이블로 이루어지므로, 내부 네트워크의 설치와 확장이 간편하고 저렴해질 뿐 아니라, 제1 영역(R1)에서 전원 설치가 비 적합한 장소(가령, 지주 또는 지주의 가로재 등)에도 보다 쉽게 설치할 수 있는 이점이 있다.
다음으로, 무선 네트워크(200)는 보행자(H) 출현이 감지될 경우에 해당 감지 정보의 무선 신호를 제1 영역(R1)과 제2 영역(R2) 사이에서 송수신하는 구성으로서, 도 2에 도시된 바와 같이, 무선 송신기(210) 및 무선 수신기(220)를 포함할 수 있다.
즉, 무선 송수신기(210, 220)는 제1 및 제2 영역(R1, R2) 간의 이격 거리와, 도로라는 환경적인 요인에 따라 발생하는 감지부(100)와 표시 장치(300) 간의 유선 통신 설비(가령, 케이블 등) 설치의 어려움을 해결하기 위해 마련된 구성이다.
즉, 무선 송신기(210)는 네트워크 허브(130)를 통해 내부 네트워크에서 AI 단말(120)로부터 수신된 감지 정보를 무선 신호로 무선 수신기(220)로 송신할 수 있다. 또한, 무선 수신기(220)는 무선 수신기(220)로부터 해당 감지 정보의 무선 신호를 수신하여 해당 무선 신호를 감지 정보의 유선 신호로 변환 출력할 수 있다.
특히, 상술한 유선 통신 설비 설치 어려움의 해결 방안으로, 감지부(100)와 무선 송신기(210), 특히 AI 단말(120)과 무선 송신기(210)는 제1 영역(R1) 내의 위치에 설치되거나 제2 영역(R2)보다 제1 영역(R1)에 더 가까운 위치에 설치되는 것이 바람직할 수 있다. 동시에, 무선 수신기(220)는 제2 영역(R2) 내에 설치되거나 제1 영역(R1)보다 제2 영역(R2)에 더 가까운 위치에 설치될 수 있다.
다만, 무선 송수신기(210, 220)는 그 설치 특성 상 도로 환경에 노출될 수밖에 없고 태양광 패널 등의 2차 전지 방식으로 전원이 공급될 수도 있으므로, 그 설비가 비교적 간편한 저전력 통신 방식으로 구현되는 것이 바람직할 수 있다. 예를 들어, 무선 송수신기(210, 220)는 저전력 블루투스(Bluetooth Low Energy; BLE)의 통신 방식을 수행할 수 있으나, 이에 한정되는 것은 아니다.
다음으로, 표시 장치(300)는 무선 네트워크부(200)를 통해 전달된 감지 정보가 제2 영역(R2)에서 표시되도록 동작하는 구성으로서, 도 2에 도시된 바와 같이, 전원부(310), 제어부(320) 및 디스플레이부(330)를 포함할 수 있다.
전원부(310)는 상용의 교류전원이나 태양광 패널 등의 2차 전지로부터 받은 전원을 가공하여 제어부(320) 및 디스플레이부(330)에 필요한 직류전원(DC)을 공급한다. 예를 들어, 전원부(310)는 선형 제어 방식 또는 스위치 모드 방식의 SMPS(Switching Mode Power Supply)일 수 있으나, 이에 한정되는 것은 아니다. 또한, 전원부(310)의 직류전원은 무선 수신기(220)에도 제공될 수 있다.
제어부(320)는 디스플레이부(330)에 다양한 표시 동작을 제어하는 구성이다. 즉, 제어부(320)는 무선 수신기(220)와 연결되어 감지 정보의 유선 신호를 무선 수신기(220)로부터 수신하는 경우에 보행자(H)의 출현에 대한 알림을 표시하도록 디스플레이부(330)를 제어할 수 있다. 예를 들어, 제어부(320)는 제어 하드웨어인 프로세서(processor), 해당 프로세서에서 수행되는 제어 소프트웨어인 프로세스(process), 해당 프로세스를 저장한 메모리 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 4는 디스플레이부(330)의 다양한 예를 나타낸다.
디스플레이부(330)는 다양한 영상 데이터(즉, 다양한 문구, 숫자, 모양, 패턴 등)을 화면으로 표시하는 구성이다. 특히, 디스플레이부(330)는 제2 영역(R2)의 지주 또는 해당 지주의 가로재에 설치되되 차량(V)의 진행 방향에서 해당 영상 데이터가 보일 수 있도록 설치될 수 있다.
도 4를 참조하면, 디스플레이부(330)는 제1 영역(R1)의 도로 또는 주변 환경에 대해 알리도록 고정 표시된 제1 안내 문구(가령, “신호 없는 횡단보도”, “초등학교 정문 앞”, “민식이법 시행 중” 등) 외에도, 제어부(320)에 수신된 감지 정보의 유선 신호에 따라 발생한 제어부(320)의 제어 신호에 의해 제2 안내 문구(가령, “보행자 감지”, “전방 20M”, “좌회전 직후”, “우회전 직후” 등)가 전자적으로 표시되는 전자 표시부를 포함할 수 있다.
가령, 제1 영역(R1)에 보행자(H)가 나타나지 않는 평상 시의 경우, 제2 안내 문구는 디스플레이부(330)의 전자 표시부에 표시되지 않을 수 있다. 반면, 제1 영역(R1)에 보행자(H)가 출현하여 이를 감지부(100)에서 감지하여 해당 감지 정보가 무선 네트워크부(200)를 거쳐 표시 장치(300)에 전달된 경우(즉, 보행자(H)의 출현에 대한 알림이 표시되어야 하는 경우), 제2 안내 문구는 일정 시간 동안 디스플레이부(330)의 전자 표시부에 표시될 수 있다.
특히, 제2 안내 문구는 보행자(H) 출현을 알리는 제1 전자 문구(가령, “보행자 감지” 등)와, 해당 디스플레이부(330)의 현재 위치로부터 제1 영역(R1)까지의 이격 거리를 알리는 제2 전자 문구(가령, “전방 20M”등)와, 해당 디스플레이부(330)의 위치를 기준으로 제1 영역(R1)의 방향을 알리는 제3 전자 문구(가령, “우회전 직후”, “좌회전 직후” 등) 등을 포함할 수 있다.
한편, 전자 표시부에 표시되는 제2 안내 문구는 운전자에게 보다 명확하게 전달될 필요가 있으므로, 제1 안내 문구 보다 크게 표시될 수 있다. 특히, 제1 전자 문구가 제1 안내 문구 보다 크게 표시될 수 있다. 이러한 큰 표시에 따라, 제2 안내 문구는 제1 및 제2 전자 문구를 동시 표시하기에 공간적인 제약이 있을 수 있으며, 이 경우 제1 및 제2 전자 문구는 교대로 표시될 수 있다.
디스플레이부(330)의 전자 표시부는 표시의 명확성을 위해 발광형 패널로 구현될 수 있다. 예를 들어, 디스플레이부(330)의 전자 표시부는 발광 다이오드(LED; light emitting diode) 또는 유기 발광 다이오드(OLED; organic LED)를 포함할 수 있으나, 이에 한정되는 것은 아니다.
특히, 종래에 도로 주변에 CCTV 카메라와 표시 장치(300)가 기 설치된 경우, AI 단말(120) 등 나머지 감지부(100)의 나머지 구성과 무선 네트워크부(200)를 추가로 설치하여 이들을 연결하는 것만으로 본 시스템을 구현할 수 있다. 즉, 본 발명은 종래에 구축된 도로표지 시스템 등에 보다 용이하게 적용 가능한 이점이 있다. 이 경우, 기존 cctv 카메라가 설치된 장소라면 어디든 쉽고 저렴하게 본 시스템을 적용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 시스템에서 다수의 서브 시스템(10)과 서버(500) 간의 접속에 대해 나타낸다. 다만, 도 5에서 각 서브 시스템(10)에 포함된 무선 네트워크(200) 및 표시 장치(300)의 도시는 생략하였다.
한편, 도 5를 참조하면, 본 시스템은 다수의 서브 시스템(10)을 포함할 수 있으며, 각 서브 시스템(10)과 서버(500) 간에 접속이 이루어져 통신이 수행될 수 있다. 이때, 서브 시스템(10)은 서로 이격된 다수의 구역을 각각 분담하여, 해당 구역 내의 제1 및 제2 영역(R1, R2)에 대한 보행자(H) 감지 및 이에 대한 알림을 수행하는 시스템이다. 이에 따라, 다수의 서브 시스템(10)은 각각 상술한 감지부(100), 무선 네트워크부(200) 및 표시 장치(300)를 포함할 수 있으며, 설정 단말(400)을 더 포함할 수도 있다.
또한, 본 시스템은 외부 네트워크에 연결된 서버(500)도 더 포함할 수 있다. 이때. 외부 네트워크는 TCP/IP 프로토콜 등에 따라 통신이 수행되고 외부에 공개된 인터넷 등일 수 있으나, 이에 한정되는 것은 아니다.
가령, 도 5에 도시된 바와 같이, 4개 구역이 있을 경우, 각 구역을 담당하는 4개의 서브 시스템(10A, 10B, 10C, 10D)이 존재한다. 즉, 제k 구역(단, k는 4이하의 자연수)은 제k 서브 시스템이 담당할 수 있다. 이때, 각 서브 시스템(10A, 10B, 10C, 10D)은 담당 구역 내 제1 및 제2 영역(R1, R2)에서의 동작(즉, 보행자(H) 감지 및 이에 대한 알림)을 수행한다.
특히, 각 서브 시스템(10A, 10B, 10C, 10D)는 로그 단말(140A, 140B, 140C, 140D)을 감지부(100)에 더 포함할 수 있다. 즉, 제k 로그 단말(140)은 컴퓨팅(computing)이 가능한 전자 장치로서, 해당 구역의 서브 시스템(10)에 포함된 AI 단말(120)의 로그 정보를 외부 네트워크에 연결된 서버(500)로 전송하는 역할을 한다.
이때, 로그 정보는 AI 단말(120)의 메모리(12에 저장된 저장 관리되는 정보로서, AI 단말(120)의 온/오프 정보와 상태 정보 외에도, AI 단말(120)에서 수행된 후술할 판단 과정(S20)에 관련된 정보, 해당 판단 과정(S20)에 따라 영상 처리된 영상에 대한 정보, 카메라(110)로부터 수신한 실시간 영상에 대한 정보 등을 포함할 수 있다. 이러한 로그 정보에 대한 수신을 통해, 서버(500) 측에서는 각 서브 시스템10A, 10B, 10C, 10D)에 대한 다양한 현황을 파악할 수 있는 이점이 있다.
특히, 도로라는 환경적인 요인에 따라 발생하는 서버(500)와 로그 단말(140) 간의 유선 통신 설비 설치의 어려움을 해결하기 위해, 로그 단말(140)은 서버(500)와 무선 통신 방식으로 데이터를 송수신할 수 있다. 이때, 무선 통신에 따른 간섭 등의 영향을 방지하기 위해, 로그 단말(140)은 무선 송신기(210) 및 무선 수신기(220) 간의 통신 방식(이하, “제1 통신 방식”이라 지칭함)과 다른 통신 방식(이하, “제2 통신 방식”이라 지칭함)으로 서버(500)와 통신하는 것이 바람직할 수 있다.
가령, 제1 구역에서, 로그 단말(140A)은 네트워크 허브(130A)를 통해 그 내부 네트워크에 연결되어 AI 단말(120A)과 데이터를 송수신하고, 무선 송신기(210A) 및 무선 수신기(220A) 간의 제1 통신 방식과 다른 제2 통신 방식으로 외부 네트워크의 서버(500)할 수 있다. 이때, 제1 구역의 로그 단말(140A)은 AI 단말(120A)로부터 네트워크 허브(130A)를 통해 수신된 AI 단말(120A)의 로그 정보를 서버(500)로 제2 통신 방식에 따라 전송할 수 있다. 이러한 내용은 다른 구역에서의 각 로그 단말(140B, 140C, 140D)에도 그대로 적용될 수 있다.
다만, 로그 단말(140)은 그 설치 특성 상 도로 환경에 노출될 수밖에 없고 태양광 패널 등의 2차 전지 방식으로 전원이 공급될 수도 있으므로, 그 설비가 비교적 간편한 저전력 통신 방식으로 구현되는 것이 바람직할 수 있다. 예를 들어, 로그 단말(140)의 제2 통신 방식은 로라(LoRa) 또는 협대역 사물인터넷(NB IoT)의 통신 방식일 수 있으나, 이에 한정되는 것은 아니다.
가령, 어느 로그 단말(140)과 서버(500) 간에 거리가 비교적 멀 경우, 해당 로그 단말(140)은 저전력 및 원거리 통신이 가능한 로라(LoRa)의 제2 통신 방식을 수행할 수 있다. 반면, 어느 로그 단말(140)과 서버(500) 간에 거리가 비교적 가까울 경우, 해당 로그 단말(140)은 저전력 및 근거리 통신이 가능한 협대역 사물인터넷(NB IoT)의 제2 통신 방식을 수행할 수 있다
다른 실시예로서, 도 5(B)를 참조하면, 거리가 서로 먼 로그 단말들(140A, 140B, 140C, 140D) 간에는 로라(LoRa)의 통신 방식을 통해 통신이 이루어짐으로써, 서버(500)와 거리가 가장 가까운 제4 서브 시스템(10D)의 로그 단말(140D)로 다른 서브 시스템(10A, 10B, 10C)의 AI 단말(120A, 120B, 120C)에 대한 로그 정보가 전송될 수 있다. 물론, 제4 로그 단말(140D)은 자신이 속한 서브 시스템(10D)의 제4 AI 단말(120D)에 대한 로그 정보도 그 내부 네트워크를 통해 수신할 수 있다. 이후, 제4 로그 단말(140D)은 서버(500)와 거리가 가까우므로, 협대역 사물인터넷(NB IoT)의 제2 통신 방식을 통해 수신된 각 로그 정보를 서버(500)로 전송할 수 있다.
한편, 어느 서브 시스템(10)에서, 무선 수신기(220)는 무선 송신기(210)기로부터 감지 정보의 무선 신호를 수신하는 경우에 무선 송신기(210)로 해당 수신에 대한 답신의 무선 신호를 송신한다. 즉, 해당 답신의 무선 신호가 무선 송신기(210)로 수신되어야 해당 감지 정보의 무선 신호가 제대로 전달된 것이다.
만일, 감지 정보의 무선 신호를 송신한 후 일정 시간 내에 답신의 무선 신호가 미 수신되는 경우, 무선 송신기(210)는 해당 감지 정보의 무선 신호를 다시 송신할 수 있다. 다만, 이러한 미 수신이 소정 회수만큼 반복된다면, 무선 송신기(210)는 고장 알림 정보를 생성하여 해당 서브 시스템(10) 내의 네트워크 허브(140)를 통해 해당 서브 시스템(10) 내의 로그 단말(140)로 전송한다. 이때, 로그 단말(140)은 수신된 고장 알림 정보를 제2 통신 방식을 통해 서버(500)로 전송할 수 있다. 이를 통해, 서버(500) 측에서는 각 서브 시스템(10A, 10B, 10C, 10D) 중 고장 발생한 서브 시스템에 대한 즉각적인 대응이 가능한 이점이 있다.
또한, 무선 수신기(220)는 무선 송신기(210)로부터 일정 시간 내에 감지 정보의 무선 신호가 미 수신되는 경우, 고장 알림 정보를 생성하여 해당 서브 시스템(10) 내 표시 장치(300)의 제어부(320)에 전송한다. 이러한 고장 알림 정보가 수신되면, 제어부(320)는 디스플레이부(330)에서 고장 알림에 관련된 전자 문구가 표시되도록 제어할 수 있다. 가령, 디스플레이부(330)는 고장 발생에 대한 전자 문구 외에 관리부서 또는 관리자의 연락처에 대한 전자 문구 등을 표시할 수 있으나, 이에 한정되는 것은 아니다.
도 6은 본 발명의 일 실시예에 따른 시스템에서 하나의 무선 송신기(210)에 대해 작동하는 다수의 무선 수신기(220) 및 표시 장치(300)를 나타낸다.
한편, 도 6을 참조하면, 어느 한 서브 시스템(10)에서, 하나의 무선 송신기(210)가 구비되되 무선 수신기(220a, 220b, 220c, 220d) 및 표시 장치(300a, 300b, 300c, 300d)는 복수개가 구비될 수도 있다. 이 경우, 각 무선 수신기(220a, 220b, 220c, 220d)는 하나의 무선 송신기(210)로부터 감지 정보의 무선 신호를 함께 동시 다발적으로 수신할 수 있다.
이에 따라, 도 1에 도시된 바와 같이, 제2 영역(R2)에서 서로 이격되게 설치된 각 표시 장치(300a, 300b, 300c, 300d)의 디스플레이부(330a, 330b, 330c, 330d)가 이에 대한 알림을 함께 표시할 수도 있다. 이 경우, 차량(V)에게 알릴 수 있는 디스플레이부(330a, 330b, 330c, 330d)의 개수가 늘어남에 따라, 본 발명은 저비용으로 고효율의 운전자 안전운전을 유도할 수 있는 이점이 있다.
한편, 각 디스플레이부(330a, 330b, 330c, 330d)는 제1 전자 문구 외에 제1 영역(R1)과의 서로 다른 이격 거리에 대한 제2 전자 문구를 표시할 수 있다. 물론, 제1 및 제2 전자 문구가 교대로 표시될 수도 있다. 다만, 각 디스플레이부(330a, 330b, 330c, 330d)는 근접해오는 차량(V)에 대해 더 가까운 위치에 설치된 것일수록 더 큰 이격 거리에 대한 제2 전자 문구를 표시할 수 있다. 또한, 각 디스플레이부(330a, 330b, 330c, 330d)는 제1 영역으로의 방향에 대한 제3 전자 문구를 더 표시할 수도 있다. 이때, 제1 내지 제3 전자 문구가 교대로 표시될 수 있다. 물론, 제3 전자 문구는 제1 또는 제2 전자 문구와 함께 표시될 수 있고, 함께 표시되는 전자 문구들과 그 외의 전자 문구가 교대로 표시될 수도 있다.
가령, 도 1을 참조하면, 한쪽 방향의 제2 영역(R2')에서, 근접해오는 차량(V)에 대해 제2 표시 장치(300b)가 제1 표시 장치(300a)보다 더 가까운 위치에 설치되어 있다. 이 경우, 보행자(H) 출현 감지에 따른 감지 정보의 무선 신호가 하나의 무선 송신기(210)로부터 제1 및 제2 무선 수신기(220a, 220b)로 함께 수신된다. 이에 따라, 제2 표시 장치(300b)가 제1 표시 장치(300b)보다 큰 이격 거리에 대한 제2 전자 문구를 표시할 수 있다. 예를 들어, 제2 표시 장치(300b)는 “전방 20M”의 제2 전자 문구를 표시할 수 있고, 제1 표시 장치(300a)는 “전방 10M”의 제2 전자 문구를 표시할 수 있다. 이러한 서로 다른 이격 거리에 대한 복수회의 제2 전자 문구 표시를 통해, 본 발명은 운전자에게 경각심을 높여 안전운전을 더욱 유도할 수 있는 이점이 있다.
물론, 도 1에서, 제1 및 제2 무선 수신기(220a, 220b) 외에 다른 쪽 방향의 제2 영역(R2'')의 나머지 제3 및 제4 무선 수신기(220c, 220d)도 보행자(H) 출현 감지에 따른 감지 정보의 무선 신호를 그 하나의 무선 송신기(210)로부터 함께 수신할 수 있다. 이에 따라, 제1 및 제2 표시 장치(330a, 330b) 외에 제3 및 제4 표시 장치(330c, 330d)도 함께 제1 및 제2 전자 문구를 표시하되, 제4 표시 장치(300d)가 제3 표시 장치(300c)보다 큰 이격 거리에 대한 제2 전자 문구를 표시할 수 있다.
도 7 내지 도 11은 본 발명의 일 실시예에 따른 시스템이 적용되는 다양한 도로 환경에 대해 예들을 나타내며, 도 12 내지 도 14는 실제 도로에 적용될 경우에 대한 예들을 나타낸다.
한편, 도 7 내지 도 14를 참조하면, 제1 영역(R1)은 다양한 횡단보도(도 7, 도 8, 도 10 및 도 11 참조)에 해당하는 영역 또는 횡단보도가 없는 개방형 보행로(도 9 참조)에 해당하는 영역 등을 포함할 수 있다. 가령, 횡단보도의 경우, 교통약자 보호구역(어린이보호구역, 노인보호구역, 장애인보호구역 등) 주변의 보호시설(유치원, 초중고교, 경로당 등) 인근의 무신호(또는 신호) 횡단보도 (도 7 참조), 우회전 직후 횡단보도(도 8 참조), 교통섬 횡단보도(도 10 참조), 주차장 진출입로 인근 횡단보도(도 11 참조) 등일 수 있으나, 이에 한정되는 것은 아니다.
도 7에서 예시된, 어린이보호구역 횡단보도의 경우, 유치원생 또는 초중고교 학생이 돌발 횡단할 위험성이 높은 제1 영역(R1)에 해당한다. 우회전 직후 횡단보도의 경우, 우회전하기 전의 차량(V)의 운전자가 차량 A필러 또는 다양한 도로 환경으로 인해 그 시야가 제한될 수 있어, 횡단 중 또는 횡단 대기 중인 보행자에 대한 추돌 위험이 높은 제1 영역(R1)에 해당한다. 교통섬 횡단보도의 경우, 무신호 횡단보도로서 지하철역 출입구 등에 주로 마련되는데, 그 도로 특성 상 전주 또는 가로수 등에 의해 운전자의 시야가 제한될 수 있으며 차량(V)의 주행 속도가 높은 구역이므로 사고 위험이 높은 제1 영역(R1)에 해당한다.
개방형 보행로의 경우, 보행로에 안전 펜스가 미설치되어 상습 불법주정차로 인해 시야가 제한될 수 있어 사고 위험이 높은 제1 영역(R1)에 해당한다. 이에 따라, 제2 영역(R2)은 상술한 횡단보도의 제1 영역(R1)에 차량(V)이 진입하기 전의 영역이거나, 개방형 보행로의 제1 영역(R1)에 차량(V)이 진입하기 전의 영역이거나, 개방형 보행로 중에서도 사고가 자주 발생하는 구역의 제1 영역(R1)에 차량(V)이 진입하기 전의 영역일 수 있다.
주차장 진출입로 인근 횡단보도의 경우, 주차장 진출입로 환경 등에 의해 운전자의 시야가 제한될 수 있어 사고 위험이 높은 제1 영역(R1)에 해당한다.
이에 따라, 제2 영역(R2)은 상술한 횡단보도의 제1 영역(R1)에 차량(V)이 진입하기 전의 영역이거나, 상술한 영역 중에서도 특히 운전자의 시야가 제한되어 사고가 자주 발생하는 구역의 제1 영역(R1)에 차량(V)이 진입하기 전의 영역일 수 있다.
한편, 도 14를 참조하면, 어느 서브 시스템(10)에서, 카메라(110)는 복수 개가 구비될 수 있다. 이 경우, 해당 서브 시스템(10)의 AI 단말(120)은 각 카메라(110)의 실시간 영상 별로 보행자(H)의 출현 여부를 판단할 수 있다. 이 경우, 제1 영역(R1)에 대해 다수 방향에서의 보행자(H) 출현을 동시에 감지할 수 있으므로, 본 발명은 보다 정확성 높게 보행자(H)의 출현을 감지할 수 있는 이점이 있다. 물론, 이 경우에도 다수의 무선 수신기(220) 및 디스플레이부(330)가 구비될 수 있다.
이하, 본 시스템의 동작방법에 대해 설명하도록 한다.
도 15는 본 발명의 일 실시예에 따른 시스템의 동작방법(이하, “본 동작방법”이라 지칭함)에 대한 순서도를 나타낸다.
본 동작방법은 상술한 본 시스템에서 수행되는 동작방법으로서, 도 15에 도시된 바와 같이, S10 내지 S20을 포함할 수 있다.
먼저, S10은 실시간 영상을 촬영하는 과정(단계)이다. 즉, S10에서, 카메라(110)는 어느 도로 주변의 제1 영역(R1)에 대한 실시간 영상을 촬영한다. 다만, 이러한 카메라(110)의 동작에 대해서는 본 시스템에 대한 설명에서 상술하였으므로 이하 생략하도록 한다.
이후, S20은 촬영된 실시간 영상에서 보행자(H)의 출현 여부를 판단하는 과정이다. 즉, S20에서, AI 단말(120)은 촬영된 실시간 영상을 수신하고, 실시간 영상에서 보행자(H)의 출현 여부를 기 학습된 머신 러닝 모델을 이용하여 판단한다. 또한, AI 단말(120)은 보행자(H)가 출현한 것으로 판단된 경우에 이에 대한 감지 정보를 내부 네트워크로 전송한다.
도 16은 AI 단말(120)에서 수행되는 판단 과정(S20)의 구체적인 순서도를 나타내며, 도 17은 판단 과정(S20)에서 사용되는 각 영상에 대한 예들을 나타낸다.
즉, 도 16을 참조하면, S20은 S21 내지 S23을 포함할 수 있다.
먼저, S21은 AI 단말(120)이 수신된 실시간 영상에서 감시 대상이 되는 현재 프레임 영상(Fp)에 대한 배경 이미지를 생성하는 과정이다. 즉, S21에서, 도 17(a) 및 도 17(b)를 참조하면, AI 단말(120)은 실시간 영상에서 일정 개수만큼의 이전 프레임 영상(F1)을 이용하여 제1 영역(R1)에 대한 현재 프레임 영상(Fp)의 배경 이미지(F2)를 생성할 수 있다.
이때, 이전 프레임은 현재 프레임(Fp)의 바로 직전 프레임일 수 있다. 가령, 현재 프레임(Fp)에서 1개 내지 100개 중 어느 하나의 개수만큼의 직전 프레임을 이용하여 현재 프레임 영상(Fp)에 대한 배경 이미지를 생성할 수 있다. 즉, 현재 프레임(Fp)이 F200인 경우, F199의 1개 직전 프레임, F198 내지 F199의 2개 직전 프레임, F197 내지 F199의 3개 직전 프레임, …또는 F100 내지 F199의 100개 직전 프레임을 이용하여, F200인 현재 프레임 영상(Fp)에 대한 배경 이미지를 생성할 수 있다.
또는, 이전 프레임은 일정 시간만큼 이전의 프레임일 수도 있다. 가령, 이전 프레임은 현재 프레임에서 1초 내지 100초 중 어느 하나의 시간만큼 전의 프레임을 포함할 수 있다. 즉, 현재 프레임(Fp)의 촬영 시간이 13:00:00(시:분:초)인 경우, 12:59:59의 프레임(1초 전 프레임) 내지 12:58:20의 프레임(100초 전 프레임) 중에서 적어도 하나의 프레임을 이용하여, 현재 프레임 영상(Fp)에 대한 배경 이미지를 생성할 수 있다.
가령, AI 단말(120)은 일정 개수의 이전 프레임 영상(F1)을 서로 비교하여 움직이지 않는 부분을 검출하며, 검출된 해당 부분을 포함하는 영상을 배경 이미지(F1)로 생성할 수 있다. 즉, 카메라(110)가 줌(zoom) 조절 또는 회전 등에 의해 촬영 영역이 상시로 변경될 수 있으므로, 이러한 배경 이미지(F2)의 생성을 위한 S21의 과정이 계속해서 이루어지는 것이 바람직할 수 있다.
이때, 배경 이미지(F2)의 생성 시에 사용되는 이전 프레임 영상(F1)은 그 개수가 가변(선택)될 수 있으며, 그 개수가 많을수록 더 정확한 배경 이미지(F2)를 생성할 수 있다. 하지만, 그 개수가 많을수록 배경 이미지(F2)의 생성 시간이 오래 소요되므로, 감지 정보 생성의 실시간성을 위해서는 적절한 개수(가령, 10개 등)의 이전 프레임 영상(F1)을 사용하는 것이 바람직할 수 있다.
이후, S22는 AI 단말(120)이 S21에서 생성된 배경 이미지(F2)를 이용하여 실시간 영상의 현재 프레임 영상(Fp)에서 움직임 영역(F3)을 탐색하는 과정이다. 이때, 움직임 영역(F3)은 현재 프레임 영상(Fp) 중에서 움직이는 물체 또는 사람이 있을 것으로 예상되는 부분에 해당한다.
즉, S22에서, AI 단말(120)은 S21에서 생성된 배경 이미지(F2)와 실시간 영상의 현재 프레임 영상(Fp)을 비교하여 현재 프레임 영상(Fp) 내에서의 움직임 영역(F3)을 탐색할 수 있다. 이때, 배경 이미지(F2)와 달리 현재 프레임 영상(Fp)에서 변경된 부분(특히, 일정 개수 이상의 이웃한 픽셀들이 집합된 면적 부분)이 있다면, AI 단말(120)은 해당 부분을 움직임 영역(F3)으로 도출할 수 있다. 가령, AI 단말(120)은 현재 프레임 영상(Fp)에서 움직임 영역(F3) 주변에 박스(object box) 형태를 마킹(marking)할 수 있다.
이후, S23은 AI 단말(120)이 기 학습된 머신 러닝 모델을 이용하여 보행자 출현 여부를 판단하는 과정이다. 즉, S23에서, AI 단말(120)은 S22에서 탐색된 움직임 영역(F3)에 대해 머신 러닝 모델을 이용하여 분류(Classification)를 수행함으로써, 현재 프레임 영상(Fp)에서의 보행자 출현 여부를 판단할 수 있다.
이때, 머신 러닝 모델은 입력 데이터 및 출력 데이터 쌍(데이터 셋)의 학습 데이터를 통해 머신 러닝 기법에 따라 학습된 모델(분류기)이다. 즉, 머신 러닝 모델은 하나 이상의 레이어(layer)를 포함하여, 입력 데이터와 출력 데이터의 관계에 대한 함수를 가진다. 즉, 머신 러닝 모델은 입력 데이터와 출력 데이터 간의 관계를 하나 이상의 레이어로 표현하며, 이러한 표현층을 “인공신경망(neural network)”라 지칭하기도 한다. 이에 따라, 기 학습된 머신 러닝 모델에 입력 데이터가 입력되는 경우, 해당 함수에 따른 출력 데이터가 출력될 수 있다. 각 레이어는 적어도 하나 이상의 필터로 이루어지며, 각 필터는 가중치(weight)의 매트릭스(matrix)를 가진다. 즉, 해당 필터의 매트릭스에서 각 원소(픽셀)는 가중치의 값에 해당할 수 있다.
한편, 딥 러닝 등의 머신 러닝 모델(이하, “일반 머신 러닝 모델”이라 지칭함)의 경우, 그 모델의 용량이 크고 연산량이 많아 고사양의 AI 단말(120)이 필요하여 설치 비용이 과다해지는 문제점이 있다. 만일, 저사양의 AI 단말(120)이 일반 머신 러닝 모델을 구동하는 경우, 연산 속도가 느려져 감지 정보 생성의 실시간성을 보장할 수 없는 문제점이 있다.
이러한 문제점을 해결하기 위해, 본 시스템의 AI 단말(120)에서 구동되는 머신 러닝 모델은 입력 영상(입력 데이터) 내의 보행자 포함 여부에 대한 이진 분류 결과 값을 출력하도록 기 학습된 이진 신경망(Binarized Neural Network, BNN)의 모델일 수 있다. 즉, 이진 신경망의 모델은 현재 프레임 영상(Fp)의 움직임 영역(F3)에 사람이 있는지(가령, 1 값 출력) 또는 사람이 없는지(가령, 0 값 출력)에 대한 이진 출력을 수행하므로, 감지 정보 생성의 실시간성을 보장하는 동시에 분류의 정확성도 향상시킬 수 있는 이점이 있다.
가령, 이진 신경망의 모델을 학습시키기 위한 학습 데이터에서, 그 입력 데이터는 카메라(110)의 영상들 중에 사람을 포함하는 프레임 영상(이하, “제1 프레임 영상”이라 지칭함)과, 사람을 포함하지 않는(즉, 사물만을 포함하는) 프레임 영상(이하, “제2 프레임 영상”이라 지칭함)일 수 있다. 동시에, 학습 데이터의 출력 데이터는 해당 입력 데이터의 프레임 영상이 사람이 있는지 또는 사람이 없는지 여부에 대한 라벨링(labeling)된 값이다. 즉, 제1 프레임 영상에 대해서는 사람이 있는 것에 대한 라벨링을 수행하고, 제2 프레임 영상에 대해서는 사람이 없는 것에 대한 라벨링을 수행할 수 있다.
특히, 분류의 정확성을 높이기 위해, 학습 데이터의 입력 데이터 중 제1 프레임 영상은 사람 주변에 박스(object box) 형태를 마킹(marking)한 영상이고, 학습 데이터의 입력 데이터 중 제2 프레임 영상은 사물 주변에 박스(object box) 형태를 마킹(marking)한 영상인 것이 바람직할 수 있다.
한편, S23에서, 보행자가 출현한 것으로 판단될 경우, AI 단말(120)은 이에 대한 감지 정보를 생성하여 이를 그 내부 네트워크 통해 무선 송신기(210)로 전송한다.
이후, S30은 무선 네트워크부(200)에서 무선 신호가 송수신되는 과정이다. 즉, S30에서, 무선 송신기(210)는 내부 네트워크를 통해 수신된 감지 정보를 무선 신호로 변환하여 송신할 수 있다. 이에 따라, 무선 수신기(220)는 무선 송신기(210)가 송신한 감지 정보의 무선 신호를 수신하여, 감지 정보의 유선 신호로 변환 출력할 수 있다. 다만, 이러한 무선 네트워크부(200)의 동작에 대해서는 본 시스템에 대한 설명에서 상술하였으므로 이하 생략하도록 한다.
이후, S40은 보행자의 출현을 표시하는 과정이다. 즉, S40에서, 표시 장치(300)는 무선 수신기(220)로부터 감지 정보의 유선 신호를 수신하는 경우에 제2 영역(R2)의 지주 또는 해당 지주의 가로재에 설치된 디스플레이부(330)를 통해 보행자의 출현에 대한 알림을 표시할 수 있다. 다만, 이러한 표시 장치(300)의 동작에 대해서는 본 시스템에 대한 설명에서 상술하였으므로 이하 생략하도록 한다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
100: 감지부 110: 카메라
120: AI 단말 130: 네트워크 허브
140: 로그 단말 200: 무선 네트워크부
210: 무선 송신기 220: 무선 수신기
300: 표시 장치 310: 전원부
320: 제어부 330: 디스플레이부
400: 설정 단말 500: 서버

Claims (20)

  1. 도로 주변의 제1 영역에 대한 실시간 영상을 촬영하는 카메라;
    촬영된 상기 실시간 영상을 수신하고, 상기 실시간 영상에서 보행자의 출현 여부를 기 학습된 머신 러닝 모델을 이용하여 판단하며, 보행자가 출현한 것으로 판단된 경우에 감지 정보를 전송하는 AI(artificial intelligence) 단말;
    수신된 상기 감지 정보를 무선 신호로 송신하는 무선 송신기;
    상기 감지 정보의 무선 신호를 수신하여 상기 감지 정보의 유선 신호로 출력하는 무선 수신기; 및
    상기 감지 정보의 유선 신호를 수신하는 경우, 상기 제1 영역으로부터 이격되되 차량이 상기 제1 영역에 진입하기 전의 다른 도로 주변인 제2 영역의 지주 또는 해당 지주의 가로재에 설치된 디스플레이부를 통해 보행자의 출현에 대한 알림을 표시하는 표시 장치;를 포함하며,
    상기 AI 단말은 상기 실시간 영상에서 일정 개수만큼의 이전 프레임 영상을 이용하여 제1 영역에 대한 배경 이미지를 생성한 후, 생성된 배경 이미지와 상기 실시간 영상의 현재 프레임 영상을 비교하여 상기 현재 프레임 영상 내에서의 움직임 영역을 탐색하며, 상기 머신 러닝 모델을 이용하여 탐색된 움직임 영역에 대한 분류(Classification)를 수행함으로써 상기 현재 프레임 영상에서의 보행자 출현 여부를 판단하고,
    상기 AI 단말 및 상기 무선 송신기는 상기 제2 영역보다 상기 제1 영역에 더 가까운 위치에 설치되며, 상기 무선 수신기는 상기 제1 영역보다 상기 제2 영역에 더 가까운 위치에 설치되며,
    상기 무선 수신기는 상기 감지 정보의 무선 신호가 일정 시간 내에 미 수신되는 경우 고장 알림 정보를 상기 표시 장치에 전송하여 상기 디스플레이부에서 해당 고장 알림이 표시되도록 하는 시스템.
  2. 제1항에 있어서,
    상기 머신 러닝 모델은 입력 영상 내의 보행자 포함 여부에 대한 이진 분류 결과 값을 출력하도록 기 학습된 이진 신경망(Binarized Neural Network, BNN)의 모델인 시스템.
  3. 제1항에 있어서,
    상기 카메라, 상기 Al 단말 및 상기 무선 송신기 간의 내부 네트워크에서 유선 통신이 이루어지도록 연결된 네트워크 허브를 더 포함하는 시스템.
  4. 제3항에 있어서,
    상기 네트워크 허브는 PoE(Power over Ethernet)용 허브인 시스템.
  5. 제3항에 있어서,
    상기 네트워크 허브를 통해 상기 내부 네트워크에 연결되고, 상기 무선 송신기 및 무선 수신기 간의 제1 통신 방식과 다른 제2 통신 방식으로 외부 네트워크의 서버와 통신하며, 상기 AI 단말로부터 상기 네트워크 허브를 통해 수신된 상기 AI 단말의 로그 정보를 상기 서버로 전송하는 로그 단말을 더 포함하며,
    상기 무선 수신기는 상기 감지 정보의 무선 신호를 수신하는 경우에 상기 무선 송신기로 해당 수신에 대한 답신의 무선 신호를 송신하고,
    상기 무선 송신기는 상기 감지 정보의 무선 신호를 송신한 후 일정 시간 내에 상기 답신의 무선 신호가 미 수신되는 경우 상기 감지 정보의 무선 신호를 다시 송신하되, 상기 미 수신이 소정 반복되면 고장 알림 정보를 상기 네트워크 허브를 통해 상기 로그 단말로 전송하며,
    상기 로그 단말은 수신된 상기 고장 알림 정보를 상기 제2 통신 방식을 통해 상기 서버로 전송하는 시스템.
  6. 제5항에 있어서,
    상기 제1 통신 방식은 저전력 블루투스(Bluetooth Low Energy; BLE)의 통신 방식을 포함하며,
    상기 제2 통신 방식은 로라(LoRa) 또는 협대역 사물인터넷(NB IoT)의 통신 방식을 포함하는 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 이전 프레임은 현재 프레임에서 1개 내지 100개 중 어느 하나의 개수만큼의 직전 프레임인 시스템.
  9. 제1항에 있어서,
    상기 이전 프레임은 현재 프레임에서 1초 내지 100초 중 적어도 어느 하나의 시간만큼 전의 프레임을 포함하는 시스템.
  10. 제1항에 있어서,
    상기 제1 및 제2 영역의 사이는 1m 내지 200m 중 어느 하나의 거리만큼 이격된 시스템.
  11. 제1항에 있어서,
    상기 제1 영역은 교통약자 보호구역 내 보호시설 출입문 인근 횡단보도, 우회전 직후 횡단보도, 개방형 보행로, 교통섬 횡단보도 또는 주차장 진출입로 인근 횡단보도를 포함하는 시스템.
  12. 제1항에 있어서,
    상기 카메라는 복수 개가 구비되며,
    상기 AI 단말은 상기 각 카메라의 실시간 영상 별로 보행자의 출현 여부를 판단하는 시스템.
  13. 제1항에 있어서,
    상기 디스플레이부는 상기 보행자의 출현에 대한 알림을 표시할 경우에 보행자 출현에 대한 제1 전자 문구와, 제1 영역과의 이격 거리에 대한 제2 전자 문구를 교대로 표시하는 시스템.
  14. 제1항에 있어서,
    상기 무선 수신기 및 상기 표시 장치는 복수개가 구비되며,
    상기 각 무선 수신기가 하나의 상기 무선 송신기로부터 상기 감지 정보의 무선 신호를 함께 수신하여, 상기 제2 영역에서 서로 이격되게 설치된 상기 각 표시 장치의 디스플레이부가 상기 알림을 함께 표시하는 시스템.
  15. 제14항에 있어서,
    상기 각 디스플레이부는 보행자 출현에 대한 제1 전자 문구와, 제1 영역과의 이격 거리에 대한 제2 전자 문구를 각각 표시하되, 서로 다른 이격 거리에 해당하는 제2 전자 문구를 표시하는 시스템.
  16. 제15항에 있어서,
    상기 각 디스플레이부는 제1 영역으로의 방향에 대한 제3 전자 문구를 더 표시하는 시스템.
  17. 제1항에 있어서,
    서로 이격된 다수의 구역을 각각 분담하는 다수의 서브 시스템을 더 포함하며,
    상기 각 서브 시스템은 해당 구역 내 상기 제1 및 제2 영역에서의 동작을 위해, 상기 카메라, 상기 AI 단말, 상기 무선 송신기, 상기 무선 수신기 및 상기 표시 장치를 포함하는 시스템.
  18. 제17항에 있어서,
    상기 각 서브 시스템은,
    상기 카메라, 상기 Al 단말 및 상기 무선 송신기 간의 내부 네트워크에서 유선 통신이 이루어지도록 연결된 네트워크 허브; 및
    상기 무선 송신기 및 무선 수신기 간의 제1 통신 방식과 다른 제2 통신 방식으로 외부 네트워크의 서버와 통신하며, 상기 AI 단말로부터 상기 네트워크 허브를 통해 수신된 상기 AI 단말의 로그 정보를 상기 서버로 전송하는 로그 단말;
    을 더 포함하는 시스템.
  19. 도로 주변의 제1 영역에 대한 실시간 영상을 촬영하도록 도로에 기 설치된 카메라에 대해, AI(artificial intelligence) 단말, 무선 송신기, 무선 수신기 및 표시 장치의 추가 설치를 통해 구현되는 시스템으로서,
    촬영된 상기 실시간 영상을 수신하고, 상기 실시간 영상에서 보행자의 출현 여부를 기 학습된 머신 러닝 모델을 이용하여 판단하며, 보행자가 출현한 것으로 판단된 경우에 감지 정보를 전송하는 상기 AI 단말;
    수신된 상기 감지 정보를 무선 신호로 송신하는 상기 무선 송신기;
    상기 감지 정보의 무선 신호를 수신하여 상기 감지 정보의 유선 신호로 출력하는 상기 무선 수신기; 및
    상기 감지 정보의 유선 신호를 수신하는 경우, 상기 제1 영역으로부터 이격되되 차량이 상기 제1 영역에 진입하기 전의 다른 도로 주변인 제2 영역의 지주 또는 해당 지주의 가로재에 설치된 디스플레이부를 통해 보행자의 출현에 대한 알림을 표시하는 상기 표시 장치;를 포함하며,
    상기 AI 단말은 상기 실시간 영상에서 일정 개수만큼의 이전 프레임 영상을 이용하여 제1 영역에 대한 배경 이미지를 생성한 후, 생성된 배경 이미지와 상기 실시간 영상의 현재 프레임 영상을 비교하여 상기 현재 프레임 영상 내에서의 움직임 영역을 탐색하며, 상기 머신 러닝 모델을 이용하여 탐색된 움직임 영역에 대한 분류(Classification)를 수행함으로써 상기 현재 프레임 영상에서의 보행자 출현 여부를 판단하고,
    상기 AI 단말 및 상기 무선 송신기는 상기 제2 영역보다 상기 제1 영역에 더 가까운 위치에 설치되며, 상기 무선 수신기는 상기 제1 영역보다 상기 제2 영역에 더 가까운 위치에 설치되는 시스템.
  20. 안전운전 도우미 시스템의 동작방법으로서,
    카메라가 도로 주변의 제1 영역에 대한 실시간 영상을 촬영하는 단계;
    AI(artificial intelligence) 단말이 촬영된 상기 실시간 영상을 수신하고, 상기 실시간 영상에서 보행자의 출현 여부를 기 학습된 머신 러닝 모델을 이용하여 판단하며, 보행자가 출현한 것으로 판단된 경우에 감지 정보를 전송하는 단계;
    무선 송신기가 수신된 상기 감지 정보를 무선 신호로 송신하는 단계;
    무선 수신기가 상기 감지 정보의 무선 신호를 수신하여 상기 감지 정보의 유선 신호로 출력하는 단계; 및
    표시 장치가 상기 감지 정보의 유선 신호를 수신하는 경우, 상기 제1 영역으로부터 이격되되 차량이 상기 제1 영역에 진입하기 전의 다른 도로 주변인 제2 영역의 지주 또는 해당 지주의 가로재에 설치된 디스플레이부를 통해 보행자의 출현에 대한 알림을 표시하는 단계;를 포함하며,
    상기 전송하는 단계는,
    상기 AI 단말이 상기 실시간 영상에서 일정 개수만큼의 이전 프레임 영상을 이용하여 제1 영역에 대한 배경 이미지를 생성하는 단계;
    상기 AI 단말이 생성된 배경 이미지와 상기 실시간 영상의 현재 프레임 영상을 비교하여 상기 현재 프레임 영상 내에서의 움직임 영역을 탐색하는 단계; 및
    상기 AI 단말이 상기 머신 러닝 모델을 이용하여 탐색된 움직임 영역에 대한 분류(Classification)를 수행함으로써 상기 현재 프레임 영상에서의 보행자 출현 여부를 판단하는 단계;를 포함하고,
    상기 AI 단말 및 상기 무선 송신기는 상기 제2 영역보다 상기 제1 영역에 더 가까운 위치에 설치되며, 상기 무선 수신기는 상기 제1 영역보다 상기 제2 영역에 더 가까운 위치에 설치되며,
    상기 무선 수신기는 상기 감지 정보의 무선 신호가 일정 시간 내에 미 수신되는 경우 고장 알림 정보를 상기 표시 장치에 전송하여 상기 디스플레이부에서 해당 고장 알림이 표시되도록 하는 구동방법.
KR1020210086659A 2021-07-01 2021-07-01 안전운전 도우미 시스템 및 그 동작방법 KR102328644B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210086659A KR102328644B1 (ko) 2021-07-01 2021-07-01 안전운전 도우미 시스템 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210086659A KR102328644B1 (ko) 2021-07-01 2021-07-01 안전운전 도우미 시스템 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR102328644B1 true KR102328644B1 (ko) 2021-11-18

Family

ID=78717271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210086659A KR102328644B1 (ko) 2021-07-01 2021-07-01 안전운전 도우미 시스템 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR102328644B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118619A (ko) * 2017-03-31 2019-10-18 후아웨이 테크놀러지 컴퍼니 리미티드 보행자 추적 방법 및 전자 디바이스
KR20200051142A (ko) * 2018-11-05 2020-05-13 최병주 사물인터넷을 기반으로 하는 횡단보도의 보행자 안전 시스템
KR102138342B1 (ko) * 2020-03-24 2020-07-28 주식회사 이엘 지능형 원격단말장치를 이용한 사물인터넷 기반의 터널 사고 감시 및 시설물 자율 점검 시스템
KR102138492B1 (ko) 2020-05-19 2020-07-28 지에이치정보통신주식회사 도로 안전운전 표시장치
KR102138493B1 (ko) * 2020-05-19 2020-07-28 지에이치정보통신주식회사 도로 안전운전표시기 관제시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118619A (ko) * 2017-03-31 2019-10-18 후아웨이 테크놀러지 컴퍼니 리미티드 보행자 추적 방법 및 전자 디바이스
KR20200051142A (ko) * 2018-11-05 2020-05-13 최병주 사물인터넷을 기반으로 하는 횡단보도의 보행자 안전 시스템
KR102138342B1 (ko) * 2020-03-24 2020-07-28 주식회사 이엘 지능형 원격단말장치를 이용한 사물인터넷 기반의 터널 사고 감시 및 시설물 자율 점검 시스템
KR102138492B1 (ko) 2020-05-19 2020-07-28 지에이치정보통신주식회사 도로 안전운전 표시장치
KR102138493B1 (ko) * 2020-05-19 2020-07-28 지에이치정보통신주식회사 도로 안전운전표시기 관제시스템

Similar Documents

Publication Publication Date Title
US11094191B2 (en) Distributed safety infrastructure for autonomous vehicles and methods of use
US11915593B2 (en) Systems and methods for machine learning based collision avoidance
IL256524A (en) Improved object detection for an autonomous vehicle
US20230121051A1 (en) Roadside sensing system and traffic control method
CN112101272B (zh) 交通灯检测的方法、装置、计算机存储介质和路侧设备
Premachandra et al. Outdoor road-to-vehicle visible light communication using on-vehicle high-speed camera
KR102345777B1 (ko) 광학 카메라 통신(occ) 기반 차량 위치 판단 방법 및 장치
KR20210057886A (ko) 차량 충돌 방지 장치 및 그 방법
KR102019340B1 (ko) 복합 센서 기반 이동체 무인 상시 감시 시스템
KR20220096359A (ko) Ai 디스플레이 장치 및 이를 이용한 충돌 방지시스템
Al_Barazanchi et al. Traffic management with deployment of Li-Fi technology
WO2023205571A1 (en) Systems and methods of collaborative enhanced sensing
KR102638068B1 (ko) 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법
KR102328644B1 (ko) 안전운전 도우미 시스템 및 그 동작방법
US20220171412A1 (en) Autonomous aerial vehicle outdoor exercise companion
KR20220125659A (ko) 스마트 교통관제 시스템
TW202015003A (zh) 基於物聯網的紅綠燈控制系統及其方法
Faraj et al. Intelligent traffic congestion control system using machine learning and wireless network
WO2021199345A1 (ja) 車両管制システム、装置、方法、及びコンピュータ可読媒体
Asano et al. Person reidentification for detection of pedestrians in blind spots through V2V communications
Devulapalli et al. Lane-cross detection using optical camera-based road-to-vehicle communications
KR20190109801A (ko) 스마트 표지병
CN112333421A (zh) 一种基于5g的博物馆智能巡检系统
CN112514374A (zh) 监控系统、监控方法、移动平台和远程设备
KR102510022B1 (ko) 레이더 센서 기반의 터널 내 상황 인식을 위한 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant