KR20230102341A - AIoT 기반 교통안전 통합 관리시스템 - Google Patents
AIoT 기반 교통안전 통합 관리시스템 Download PDFInfo
- Publication number
- KR20230102341A KR20230102341A KR1020210192385A KR20210192385A KR20230102341A KR 20230102341 A KR20230102341 A KR 20230102341A KR 1020210192385 A KR1020210192385 A KR 1020210192385A KR 20210192385 A KR20210192385 A KR 20210192385A KR 20230102341 A KR20230102341 A KR 20230102341A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- pedestrian
- module
- unit
- analysis
- Prior art date
Links
- 238000012351 Integrated analysis Methods 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012790 confirmation Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims description 97
- 238000007726 management method Methods 0.000 claims description 61
- 238000010191 image analysis Methods 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 28
- 238000007689 inspection Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 44
- 230000005540 biological transmission Effects 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000001931 thermography Methods 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
Abstract
본 발명은 관리-존(S)을 다수의 로컬-존(Sn)들로 분할함과 동시에 각 로컬-존(Sn)에서 메인 노드인 통합분석 제어기가 서브 노드인 교통부속장비들과 제1 네트워크로 연결되어 통합데이터를 생성하면서 부속장비들을 직접 제어하며, 각 로컬-존(Sn)의 통합분석 제어기들이 제2 네트워크로 연결되어 통합데이터를 서로 송수신하도록 구성됨으로써 종래에서와 같이 별도의 중앙관리서버를 구축하지 않아도, 각 관리-존(S) 및 각 로컬-존(Sn)에서 교통안전 서비스를 제공 및 해결이 가능하여 공간 및 비용소모를 현저히 절감시킬 수 있을 뿐만 아니라 데이터 처리의 신속성 및 현장성을 높일 수 있으며, 전체 서비스 장애 현상을 효과적으로 방지하며, 특정 로컬-존(Sn)에서 발생한 돌발 상황에 대해 서로 유동적으로 대응하여 안전성을 높일 수 있으며, 통합분석 제어기가 다른 로컬-존(Sn)들로부터 전송받은 통합데이터에 돌발상황 확인정보가 존재하는지를 탐색하며, 돌발상황 확인정보 탐색 시, 연관도로를 결정한 후, 결정된 연관도로의 정보표출 부속장비들을 검출하며, 검출된 연관도로의 정보표출 부속장비들로 돌발 상황의 내용이 표출되도록 제어함으로써 돌발 상황으로 인한 2차 피해를 사전에 효과적으로 방지할 수 있는 AIoT 기반 교통안전 통합 관리시스템에 관한 것이다.
Description
본 발명은 AIoT 기반 교통안전 통합 관리시스템에 관한 것으로서, 상세하게로는 관리-존(S)을 다수의 로컬-존(Sn)들로 분할함과 동시에 각 로컬-존(Sn)에서 메인 노드인 통합분석 제어기가 서브 노드인 교통부속장비들과 제1 네트워크로 연결되어 통합데이터를 생성하면서 부속장비들을 직접 제어하며, 각 로컬-존(Sn)의 통합분석 제어기들이 제2 네트워크로 연결되어 통합데이터를 서로 송수신하도록 구성됨으로써 종래에서와 같이 별도의 중앙관리서버를 구축하지 않아도, 각 관리-존(S) 및 각 로컬-존(Sn)에서 교통안전 서비스를 제공 및 해결이 가능하여 공간 및 비용소모를 현저히 절감시킬 수 있을 뿐만 아니라 데이터 처리의 신속성 및 현장성을 높일 수 있으며, 전체 서비스 장애 현상을 효과적으로 방지하며, 특정 로컬-존(Sn)에서 발생한 돌발 상황에 대해 서로 유동적으로 대응하여 안전성을 높일 수 있는 AIoT 기반 교통안전 통합 관리시스템에 관한 것이다.
최근 들어, 정보통신 기술이 발달하고 텔레매틱스 기기의 보급 및 유비쿼터스 환경이 구축됨에 따라 지능형 교통시스템(ITS, Intelligent Transportation System)이 도로 현장에 널리 활용되고 있다.
이러한 지능형 교통시스템(ITS)은 전자, 정보, 통신, 제어 등의 기술을 교통체계에 접목시켜, 신속하고 안전하면서 쾌적한 차세대 교통체계 서비스를 제공하기 위한 것으로서, 1차적으로 차량을 감지하여 차량정보를 생성한 후, 생성된 차량정보를 분석 및 가공하여 교통정보 및 돌발 상황 정보를 생성함과 동시에 생성된 교통정보 및 돌발 상황 정보를 접속된 클라이언트에게 제공하는 방식으로 운영된다.
이때 돌발 상황은 도로 상에서 발생하는 예측 불가능한 사고로서, 차량 간 충돌, 차량 및 보행자 충돌, 차량 고장, 도로정체 등을 의미하고, 이러한 돌발 상황은 인명피해를 유발할 뿐만 아니라 정상적인 교통 흐름을 와해시키며, 교통 혼잡과 대기 오염 등으로 인한 막대한 사회적 및 경제적 손실을 초래하기 때문에 예측 불가능한 돌발 상황을 정확하게 감지하여 이에 대한 신속한 대응이 이루어지도록 하기 위한 교통안전 시스템에 대한 연구가 다양하게 진행되고 있다.
그러나 종래의 지능형 교통시스템(ITS)은 중앙관리서버에서 데이터 수신, 저장, 분석, 가공 및 관리 등의 처리가 집중적으로 이루어지는 방식으로 운영되기 때문에 통신 부하, DB 부하, 연산처리 부하 등의 현상이 빈번하게 발생하여 신속성 및 현장성이 떨어질 뿐만 아니라 별도의 DB 서버, 통신모듈 등을 구축하기 위한 공간 및 비용 소모가 증가하며, 중앙관리서버의 점검 및 장애 발생 시, 전체 서비스가 중단되어 이로 인한 사회적 및 경제적 손실이 막대한 단점을 갖는다.
한편, 최근 들어 통신인프라가 확장되고 센싱 기술 및 전자 디바이스 산업이 고도화되고 정밀화됨에 따라 사물인터넷(IoT, Internet of Things)의 활용분야 및 보급률이 기하급수적으로 증가하고 있다.
이러한 사물인터넷(IoT)은 기존 유선통신을 기반으로 한 인터넷이나 모바일 인터넷보다 진화된 단계로서, 네트워크에 연결된 기기가 인간의 개입 없이 서로 정보를 송수신하여 처리하는 특성을 갖고, 이에 따라 도로교통 분야에서 교통안전 문제의 획기적인 대안으로 떠오르고 있다.
그러나 사물인터넷(IoT)을 도입하여 교통안전 서비스를 제공하기 위한 교통안전 시스템에 대한 연구는 매우 미흡한 실정이다.
도 1은 국내등록특허 제10-2062589호(발명의 명칭 : 어린이 보호구역 스마트 통합안내판 및 이를 이용한 통합 감시 시스템)에 개시된 통합 감시시스템을 나타내는 구성도이다.
도 1의 통합 감시시스템(이하 종래기술이라고 함)(100)은 기 설정된 감지영역들 각각을 감지하며 해당 감지영역의 영상, 교통정보 및 과속차량 정보 등을 후술되는 교통관제서버(105)로 전송하는 컨트롤러(101-1), ..., (101-N)들과, 컨트롤러(101-1), ..., (101-N)들로부터 전송받은 영상, 교통정보 및 과속차량 정보들을 저장 및 모니터링 하는 교통관제서버(105)로 이루어진다.
이때 각 감지영역에는, 도로를 촬영하여 영상을 획득하는 촬영수단(111)과, 해당 감지영역의 컨트롤러(101)로부터 전송받은 정보를 외부로 표출하는 스마트 통합안내판(112)과, 해당 감지영역의 도로에 설치되는 횡단보도의 보행자를 감지함과 동시에 보행자 감지여부, 과속차량 여부 등에 따라 조명을 출사하는 횡단보도 안전시스템(113)이 설치된다.
컨트롤러(101)는 촬영수단(111)에 의해 획득된 영상을 분석하여 차량객체를 검출하며 검출된 차량객체를 분석하여 차량위치, 속도 등의 교통정보를 생성함과 동시에 과속차량을 검출하며, 검출된 교통정보 및 과속차량 정보를 교통관제서버(105)로 전송함과 동시에 스마트 통합안내판(112)을 제어하여 교통정보 및 과속차량 정보가 스마트 통합안내판(112)에 표시되도록 한다.
또한 컨트롤러(101)는 횡단보도 안전시스템(113)으로부터 전송받은 감지신호를 분석하여 보행자 객체를 감지하며, 과속차량 감지 여부 및 보행자 감지 여부 등에 따라 횡단보도 안전시스템(113)의 조명을 제어함과 동시에 생성된 보행자 정보를 교통관제서버(105)로 전송한다.
이와 같이 구성되는 종래기술(100)은 각 감지영역의 차량 및 보행자를 감지함과 동시에 감지된 정보를 분석하여 위반차량을 검출하며, 위반차량에 대한 정보를 외부로 신속하게 표출함으로써 교통사고를 효율적으로 방지할 수 있는 장점을 갖는다.
일반적으로, 도심권의 도로는 주간선도로, 보조간선도로, 집산도로 등의 서로 다른 위계 및 교통량을 갖는 도로들이 거미줄처럼 연결되어 있기 때문에 어느 도로에서 발생한 돌발 상황은 다른 도로에도 영향을 끼치는 특성을 갖는다.
그러나 종래기술(100)은 각 컨트롤러(101)가 자신에게 할당된 감지영역에 대한 교통정보만을 생성하고 다른 도로의 컨트롤러(101)와는 서로 연동되지 않기 때문에 도로 교통의 안전성이 현저히 떨어질 뿐만 아니라 교통정보 제공의 효율성이 저하되는 단점을 갖는다.
이러한 문제점을 해결하기 위해서는, 교통관제서버(105)가 특정 컨트롤러(101)로부터 전송받은 교통정보 및 과속차량 정보를 인접한 도로의 다른 컨트롤러들로 별도로 전송시켜야 하나, 이러한 운용방식은 교통관제서버에서 방대한 양의 데이터 통신, 저장, 분석 및 관리 등이 집중적으로 이루어지기 때문에 공간 및 비용소모가 증가할 뿐만 아니라 데이터 처리의 신속성 및 현장성이 저하되며, 장애 발생 시, 전체 시스템이 중단되는 현상이 발생하는 단점을 갖는다.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 관리-존(S)을 다수의 로컬-존(Sn)들로 분할함과 각 로컬-존(Sn)에서 메인 노드인 통합분석 제어기가 서브 노드인 교통부속장비들과 제1 네트워크로 연결되어 통합데이터를 생성하면서 부속장비들을 직접 제어하며, 각 로컬-존(Sn)의 통합분석 제어기들이 제2 네트워크로 연결되어 통합데이터를 서로 송수신하도록 구성됨으로써 종래에서와 같이 별도의 중앙관리서버를 구축하지 않아도, 각 관리-존(S) 및 각 로컬-존(Sn)에서 교통안전 서비스를 제공 및 해결이 가능하여 공간 및 비용소모를 현저히 절감시킬 수 있을 뿐만 아니라 데이터 처리의 신속성 및 현장성을 높일 수 있으며, 전체 서비스 장애 현상을 효과적으로 방지하며, 특정 로컬-존(Sn)에서 발생한 돌발 상황에 대해 서로 유동적으로 대응하여 안전성을 높일 수 있는 AIoT 기반 교통안전 통합 관리시스템에 관한 것이다.
또한 본 발명의 또 다른 해결과제는 통합분석 제어기가 다른 로컬-존(Sn)들로부터 전송받은 통합데이터에 돌발상황 확인정보가 존재하는지를 탐색하며, 돌발상황 확인정보 탐색 시, 연관도로를 결정한 후, 결정된 연관도로의 정보표출 부속장비들을 검출하며, 검출된 연관도로의 정보표출 부속장비들로 돌발 상황의 내용이 표출되도록 제어함으로써 돌발 상황으로 인한 2차 피해를 사전에 효과적으로 방지할 수 있는 AIoT 기반 교통안전 통합 관리시스템에 관한 것이다.
또한 본 발명의 또 다른 해결과제는 차량 감지구간인 도로를 복수개의 셀(Cell)들로 분할하여, 셀 단위로 차량위치 및 속도 등의 교통정보를 생성함과 동시에 보행자 감지구간을 복수개의 셀들로 분할하여, 셀 단위로 보행자 위치 및 속도 등의 보행자정보를 생성하도록 구성됨으로써 정밀하고 정확한 타겟 감지가 이루어질 수 있으며, 외부 제공 시, 정보전달력을 개선시킬 수 있는 AIoT 기반 교통안전 통합 관리시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 복수개의 GPU(Graphic Processing Unit)들을 이용하여 영상/열화상을 분석함으로써 촬영부들의 촬영에 의해 획득된 고용량의 영상/열화상들의 실시간 처리 및 분석이 가능한 AIoT 기반 교통안전 통합 관리시스템을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 기 설정된 각 로컬-존(Sn)의 교통안전 서비스를 제공하는 로컬 관리시스템들을 포함하는 AIoT 기반 교통안전 통합 관리시스템에 있어서: 상기 로컬 관리시스템들은 기 할당된 로컬-존(Sn)의 차량 및 보행자를 감지한 후, 차량의 위치, 속도를 포함하는 교통정보를 생성하는 통합분석 제어기를 포함하고, 상기 로컬관리시스템들의 상기 통합분석 제어기들은 제2 네트워크(N2)로 연결되며, 교통정보가 생성되면, 생성된 교통정보를 다른 로컬-존(Sn)들의 통합분석 제어기들로 생성된 교통정보를 전송하는 것이다.
또한 본 발명에서 각 로컬 관리시스템은 기 할당된 로컬-존(Sn)의 도로를 향하여 레이더(Radar) 신호를 송출한 후, 반사되는 신호를 수집하는 레이더센서들; 해당 로컬-존(Sn)의 인도 및 횡단보도를 촬영 및 열-추적하여 RGB영상 및 열화상을 획득하는 RGB카메라 및 열화상카메라를 포함하는 촬영부들; 상기 촬영부들과 일대일로 연결되어 연결된 촬영부로부터 전송받은 영상 및 열화상을 분석하여, 보행자 속도 및 위치를 포함하는 보행자정보를 생성하는 보행자분석 제어기들; 해당 로컬-존(Sn)의 도로 및 인도와 인접하게 설치되어, 상기 통합분석 제어기의 제어에 따라 돌발 상황을 외부로 표출하는 정보표출 부속장비들을 포함하고, 상기 통합분석 제어기들은 해당 로컬-존(Sn)에 설치되는 레이더센서들, 보행자분석 제어기들 및 정보표출 부속장비들과 제1 네트워크(N1)로 연결되는 것이 바람직하다.
또한 본 발명에서 상기 통합분석 제어기는 데이터베이스부; 상기 제1 네트워크(N1)에 연결된 레이더센서들로부터 전송받은 송수신된 레이더신호 정보를 분석하여 차량객체를 감지한 후, 감지된 차량의 위치 및 속도를 포함하는 교통정보를 생성하는 교통정보 생성부; 상기 교통정보 생성부에 의해 생성된 교통정보를 분석하여, 과속차량인 위험차량이 감지되면 위험정보를 생성하며, 충돌상황이 감지되면 충돌정보를 생성하며, 생성된 위험정보 또는 충돌정보를 포함하는 돌발상황 확인정보를 생성하는 돌발 상황 분석부; 상기 교통정보 생성부에 의해 생성된 교통정보와, 상기 돌발 상황 분석부에 의해 생성된 돌발상황 확인데이터와, 상기 보행자분석 제어기들로부터 전송받은 보행자정보를 매칭시켜 통합데이터를 생성하는 통합데이터 생성부; 상기 통합데이터 생성부에 의해 생성된 통합데이터를 다른 로컬-존(Sn)들의 통합분석 제어기들로 전송하는 제어부를 포함하는 것이 바람직하다.
또한 본 발명에서 상기 통합분석 제어기는 전시정보 관리부를 더 포함하고, 상기 전시정보 관리부는 다른 로컬-존(Sn)들의 통합분석 제어기들로부터 전송받은 통합데이터를 입력받는 통합데이터 입력모듈; 상기 통합데이터 입력모듈을 통해 입력된 통합데이터에 위험정보가 포함되는지를 탐색하며, 만약 위험정보가 탐색되면, 위험정보를 추출하는 위험정보 탐색 및 추출모듈; 상기 통합데이터 입력모듈을 통해 입력된 통합데이터에 충돌정보가 포함되는지를 탐색하며, 만약 충돌정보가 탐색되면, 충돌정보를 추출하는 충돌정보 탐색 및 추출모듈; 상기 통합데이터 입력모듈을 통해 입력된 통합데이터에 보행자정보를 활용하여, 횡단보도 보행자가 존재하는지 여부를 탐색하며, 만약 횡단보도 보행자가 탐색되면, 횡단보도 보행자정보를 추출하는 횡단보도 보행자 탐색 및 추출모듈; 1)상기 위험정보 탐색 및 추출모듈에 의해 위험정보가 추출되거나 2)상기 충돌정보 탐색 및 추출모듈에 의해 충돌정보가 추출되거나 또는 3)상기 횡단보도 보행자 탐색 및 추출모듈에 의해 횡단보도 보행자가 추출될 때 실행되며, 위험정보 또는 충돌정보가 추출된 로컬-존(Sn)인 위험/충돌 로컬-존을 식별한 후, 자신에게 할당된 로컬-존(Sn)의 도로들 중, 식별된 위험/충돌 로컬-존을 향하는 도로인 연관도로를 결정하는 연관도로 결정모듈; 기 설정된 정보표출 부속장비들의 위치정보와, 상기 연관도로 결정모듈에 의해 결정된 연관도로의 위치정보를 활용하여, 연관도로에 설치되는 정보표출 부속장비들을 검출하는 정보표출 부속장비 검출모듈; 1)상기 위험정보 탐색 및 추출모듈에 의해 추출된 위험정보의 위험내용이나 2)상기 충돌정보 탐색 및 추출모듈에 의해 추출된 충돌정보의 충돌내용 또는 3)상기 횡단보도 보행자 탐색 및 추출모듈에 의해 추출된 횡단보도 보행자 내용을 포함하는 전시정보를 생성하는 전시정보 생성모듈; 상기 전시정보 생성모듈에 의해 생성된 전시정보가, 상기 정보표출 부속장비 검출모듈에 의해 검출된 연관도로의 정보표출 부속장비들로 전송되도록 통신 인터페이스부를 제어하는 전시정보 출력제어모듈을 포함하는 것이 바람직하다.
또한 본 발명에서 상기 보행자분석 제어기들은 연결된 촬영부의 위치 및 식별정보가 기 설정되어 저장되며, 연결된 촬영부의 촬영구간을 평면상으로 바라보았을 때, 촬영구간을 복수개로 분할한 영역인 셀(Cell)들 각각의 위치정보, 식별정보 및 픽셀위치정보가 매칭된 LUT(Look Up Table)가 기 설정되어 저장되는 메모리; 상기 연결된 촬영부의 촬영에 의해 획득된 영상을 분석하여 보행자객체를 인식하며, 인식된 보행자객체의 하단 중점과 사전에 설정한 셀 영역을 매칭하여 보행자의 위치를 산출한 후, 산출된 보행자의 셀위치를 포함하는 보행자객체 인식정보를 생성하는 영상분석 및 보행자객체 인식부; 상기 연결된 촬영부의 열-추적에 의해 획득된 열화상을 분석하여 보행자객체를 인식하며, 인식된 보행자객체의 하단 중점과 사전에 설정한 셀 영역을 매칭하여 보행자의 위치를 산출한 후, 산출된 보행자의 셀위치를 포함하는 보행자객체 인식정보를 생성하는 영상분석 및 보행자객체 인식부; 상기 RGB카메라의 촬영에 의해 획득된 영상의 RGB 프레임을 HSV 색공간으로 변환한 후, 변환된 명도 값(V)을 활용하여 조도를 산출하는 조도 산출부; 상기 조도 산출부에 의해 산출된 조도 값을 입력받으면, 입력된 조도 값에 따라, 영상분석에 의한 보행자객체 인식정보와, 열화상분석에 의한 보행자객체 인식정보의 가중치를 조절하는 조도기반 가중치 부여부; 상기 조도기반 가중치 부여부에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성하는 영상기반 보행자정보 생성부; 상기 조도기반 가중치 부여부에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성하는 열화상기반 보행자정보 생성부; 상기 영상기반 보행자정보 생성부에 의해 생성된 영상기반 보행자정보와, 상기 열화상기반 보행자정보 생성부에 의해 생성된 열화상기반 보행자정보를 비교하여, 이들 중 정확성이 높다고 판단되는 데이터를 보행자정보로 결정하는 보행자정보 결정부를 포함하는 것이 바람직하다.
또한 본 발명에서 상기 통합분석 제어기의 상기 교통정보 생성부는 상기 레이더센서에 의해 송수신된 레이더신호 정보를 입력받는 레이더신호 정보 입력모듈; 상기 레이더신호 정보 입력모듈을 통해 입력된 레이더신호 정보를 분석하는 레이더신호 분석모듈; 칼만 필터(Kalman filter)를 이용하여 상기 레이더신호 분석모듈에 의해 검출된 분석데이터의 잡음 등을 제거하는 데이터 보간/보정모듈; 상기 레이더신호 분석모듈에 의해 검출된 분석데이터로부터, 차량객체가 아닌 주변객체를 나타내는 노이즈를 제거하는 노이즈 제거모듈; 상기 레이더신호 분석모듈에 의해 검출된 분석데이터로부터, 레이더신호가 차량객체에 의해 반사되어 주변 물체에 의해 MultiPath 반사가 생기는 현상인 Ghost 현상을 제거하는 Ghost 제거모듈; 상기 레이더신호 분석모듈에 의해 검출된 분석데이터로부터, 차체의 길이가 임계치 이상인 객체가 단일 객체가 아닌 2개 이상의 객체로 검지될 때, 동일차량에 대한 2개 이상으로 검지된 객체들을 단일객체로 병합시키는 동일객체 병합모듈; 상기 데이터 보간/보정모듈, 상기 노이즈 제거모듈, 상기 Ghost 제거모듈 및 상기 동일객체 병합모듈이 적용된 분석데이터를 활용하여, 차량객체를 감지하는 차량객체 감지모듈; 상기 차량객체 감지모듈에 의해 감지된 차량객체의 위치정보와, 상기 레이더센서들 각각의 검지구간(도로)을 평면상으로 바라보았을 때, 검지구간을 복수개로 분할한 영역인 셀(Cell)들 각각의 식별정보, 위치정보, 픽셀위치정보가 매칭된 LUT(Look Up Table)를 활용하여, 차량객체의 위치에 매칭되는 셀을 검출한 후, 셀의 평균속도를 산출하여, 셀 단위 교통정보를 생성 및 저장하는 셀 단위 교통정보 생성/저장모듈을 포함하는 것이 바람직하다.
또한 본 발명에서 상기 보행자분석 제어기는 적어도 2개 이상의 촬영부들과 연결되고, 상기 보행자분석 제어기는 복수(M)의 GPU(Graphic Processing Unit)들을 포함하고, 상기 보행자분석 제어기들은 연결된 촬영부들 각각의 위치 및 식별정보가 기 설정되어 저장되며, 연결된 촬영부들 각각의 촬영구간을 평면상으로 바라보았을 때, 촬영구간을 복수개로 분할한 영역인 셀(Cell)들 각각의 위치정보, 식별정보 및 픽셀위치정보가 매칭된 LUT(Look Up Table)가 기 설정되어 저장되며, 입력된 영상/열화상을 처리할 대상인 GPU가 매칭된 분류테이블이 저장되는 메모리; 상기 촬영부들로부터 영상/열화상을 전송받을 때 실행되며, 상기 분류테이블에 저장된 매칭정보에 따라, 상기 촬영부들로부터 전송받은 영상/열화상들을 GPU로 분류시키는 영상/열화상 분류부; 보행자객체 인식정보를 생성하는 영상/열화상분석 및 보행자객체 인식부; 상기 RGB카메라들의 촬영에 의해 획득된 영상의 RGB 프레임들을 각각 HSV 색공간으로 변환한 후, 변환된 명도 값(V)을 활용하여 조도를 산출하는 조도 산출부; 상기 조도 산출부에 의해 산출된 조도 값을 입력받으면, 입력된 조도 값에 따라, 해당 영상의 분석에 의한 보행자객체 인식정보와, 해당 열화상의 분석에 의한 보행자객체 인식정보의 가중치를 조절하는 조도기반 가중치 부여부; 상기 조도기반 가중치 부여부에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성하는 영상기반 보행자정보 생성부; 상기 조도기반 가중치 부여부에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성하는 열화상기반 보행자정보 생성부; 상기 영상기반 보행자정보 생성부에 의해 생성된 영상기반 보행자정보와, 상기 열화상기반 보행자정보 생성부에 의해 생성된 열화상기반 보행자정보를 비교하여, 이들 중 정확성이 높다고 판단되는 데이터를 보행자정보로 결정하는 보행자정보 결정부를 포함하고, 상기 영상/열화상분석 및 보행자객체 인식부는 상기 GPU들 각각에서 처리되는 영상/열화상분석 및 보행자객체 인식모듈들을 더 포함하고, 상기 영상/열화상분석 및 보행자객체 인식모듈들은 상기 영상/열화상 분류부의 분류에 따라, 1)입력된 영상을 분석하여 보행자객체를 인식하며 인식된 보행자객체의 하단 중점과 사전에 설정한 셀 영역을 매칭하여 보행자의 위치를 산출한 후, 산출된 보행자의 셀위치를 포함하는 영상기반의 보행자객체 인식정보를 생성함과 동시에 2)입력된 열화상을 분석하여 보행자객체를 인식하며 인식된 보행자객체의 하단 중점과 사전에 설정한 셀 영역을 매칭하여 보행자의 위치를 산출한 후, 산출된 보행자의 셀위치를 포함하는 열화상기반의 보행자객체 인식정보를 생성하는 것이 바람직하다.
또한 본 발명에서 상기 보행자분석 제어기들은 상기 영상/열화상분석 및 보행자객체 인식모듈들 각각의 사용량(부하량)을 검출한 후, 검출된 사용량을 상기 메모리에 저장하는 사용량 모니터링부; 기 설정된 주기(T) 마다 실행되는 분류테이블 생성/갱신부를 더 포함하고, 상기 분류테이블 생성/갱신부는 상기 주기(T) 동안의 각 GPU별 사용량 데이터들을 수집하는 데이터 수집모듈; 상기 데이터 수집모듈에 의해 수집된 각 GPU별 사용량 데이터들을 활용하여, 각 GPU별 평균사용량(
)을 산출하는 각 GPU 평균사용량 산출모듈; 상기 각 GPU 평균사용량 산출모듈에 의해 산출된 각 GPU별 평균사용량(
)과, GPU에서 과부하로 판단할 수 있는 사용량 최소값을 의미하는 기 설정된 상한설정값(TH)을 비교하는 상한설정값(TH) 비교모듈; 상기 상한설정값(TH) 비교모듈에서, 1)상한설정값(TH) 미만의 평균사용량(
)을 갖는 GPU는 점검후보에서 제거시키되, 2)상한설정값(TH) 이상의 평균사용량(
)을 갖는 GPU가 검출되면, 해당 GPU를 점검후보로 결정하는 점검후보로 결정하는 점검후보 결정모듈; 상기 점검후보 결정모듈에서 점검후보가 결정될 때 실행되며, 평균사용량(
)이 가장 낮은 GPU를 변경대상으로 결정하는 변경대상 결정모듈; 상기 점검후보 결정모듈에서 점검후보로 결정된 GPU로 입력되는 복수개의 영상들 중 어느 하나가, 상기 변경대상 결정모듈에서 변경대상으로 결정된 GPU로 입력되도록 결정한 후, 결정된 매칭정보가 반영되도록 분류테이블을 갱신하는 분류테이블 갱신모듈을 포함하고, 상기 영상/열화상 분류부는 상기 카메라들로부터 전송받은 영상 및 열화상(카메라 식별정보 포함)을 입력받는 영상/열화상 입력모듈; 상기 연결된 촬영부들의 전체 수량(N)과, 상기 GPU(Graphic Processing Unit)들의 전체 수량(M)을 비교하는 비교 및 판단모듈; 상기 비교 및 판단모듈에서 전체 촬영부 수량(N)이 전체 GPU 수량(M)의 이하(N ≤ M)일 때 실행되며, 입력된 영상/열화상들을 상기 GPU들 각각으로 일대일 방식으로 입력시키는 일대일 기반 분류모듈; 상기 비교 및 판단모듈에서 전체 촬영부 수량(N)이 전체 GPU 수량(M)을 초과(N > M)할 때 실행되며, 상기 메모리에 저장된 분류테이블에 따라 영상들을 분류시키는 분류테이블 기반 분류모듈을 포함하는 것이 바람직하다.
상기 과제와 해결수단을 갖는 본 발명에 따르면 관리-존(S)을 다수의 로컬-존(Sn)들로 분할함과 동시에 각 로컬-존(Sn)에서 메인 노드인 통합분석 제어기가 서브 노드인 교통부속장비들과 제1 네트워크로 연결되어 통합데이터를 생성하면서 부속장비들을 직접 제어하며, 각 로컬-존(Sn)의 통합분석 제어기들이 제2 네트워크로 연결되어 통합데이터를 서로 송수신하도록 구성됨으로써 종래에서와 같이 별도의 중앙관리서버를 구축하지 않아도, 각 관리-존(S) 및 각 로컬-존(Sn)에서 교통안전 서비스를 제공 및 해결이 가능하여 공간 및 비용소모를 현저히 절감시킬 수 있을 뿐만 아니라 데이터 처리의 신속성 및 현장성을 높일 수 있으며, 전체 서비스 장애 현상을 효과적으로 방지하며, 특정 로컬-존(Sn)에서 발생한 돌발 상황에 대해 서로 유동적으로 대응하여 안전성을 높일 수 있게 된다.
또한 본 발명에 의하면 통합분석 제어기가 다른 로컬-존(Sn)들로부터 전송받은 통합데이터에 돌발상황 확인정보가 존재하는지를 탐색하며, 돌발상황 확인정보 탐색 시, 연관도로를 결정한 후, 결정된 연관도로의 정보표출 부속장비들을 검출하며, 검출된 연관도로의 정보표출 부속장비들로 돌발 상황의 내용이 표출되도록 제어함으로써 돌발 상황으로 인한 2차 피해를 사전에 효과적으로 방지할 수 있다.
또한 본 발명에 의하면 차량 감지구간인 도로를 복수개의 셀(Cell)들로 분할하여, 셀 단위로 차량위치 및 속도 등의 교통정보를 생성함과 동시에 보행자 감지구간을 복수개의 셀들로 분할하여, 셀 단위로 보행자 위치 및 속도 등의 보행자정보를 생성하도록 구성됨으로써 정밀하고 정확한 타겟 감지가 이루어질 수 있으며, 외부 제공 시, 정보전달력을 개선시킬 수 있다.
또한 본 발명에 의하면 복수개의 GPU(Graphic Processing Unit)들을 이용하여 영상/열화상을 분석함으로써 촬영부들의 촬영에 의해 획득된 고용량의 영상/열화상들의 실시간 처리 및 분석이 가능하게 된다.
도 1은 국내등록특허 제10-2062589호(발명의 명칭 : 어린이 보호구역 스마트 통합안내판 및 이를 이용한 통합 감시 시스템)에 개시된 통합 감시시스템을 나타내는 구성도이다.
도 2는 본 발명의 일실시예인 AIoT 기반 교통안전 통합 관리시스템을 나타내는 구성도이다.
도 3은 도 2의 로컬 관리시스템을 설명하기 위한 개념도이다.
도 4는 도 2의 제2 네트워크를 설명하기 위한 개념도이다.
도 5는 도 2를 나타내는 예시도이다.
도 6은 도 2의 다른 예시도이다.
도 7은 도 2의 촬영부를 나타내는 블록도이다.
도 8은 도 2의 보행자 분석제어기를 나타내는 블록도이다.
도 9는 도 8의 보행자객체 인식을 위해 설정된 셀을 나타내는 예시도이다.
도 10은 도 2의 통합분석 제어기를 나타내는 블록도이다.
도 11은 도 10의 교통정보 생성부를 나타내는 블록도이다.
도 12의 (a)는 도 11의 노이즈 제거모듈을 설명하기 위한 예시도이고, (b)는 도 11의 Ghost 제거모듈을 설명하기 위한 예시도이고, (c)는 도 11의 동일객체 병합모듈을 설명하기 위한 예시도이다.
도 13은 도 11의 셀 단위 교통정보 생성/저장모듈을 설명하기 위한 예시도이다.
도 14는 도 10의 돌발 상황 분석부를 나타내는 블록도이다.
도 15는 도 14의 위험정보 생성부를 나타내는 개념도이다.
도 16은 도 14의 충돌 상황 판단부를 나타내는 예시도이다.
도 17은 도 10의 전시정보 관리부를 나타내는 블록도이다.
도 18은 도 17의 전시정보 관리부를 설명하기 위한 예시도이다.
도 19는 도 2의 보행자 분석제어기의 제2 실시예를 나타내는 구성도이다.
도 20은 도 19의 제2 보행자 분석제어기(25)를 나타내는 블록도이다.
도 21은 도 20의 영상/열화상 분류부를 나타내는 블록도이다.
도 22는 도 21의 개념도이다.
도 23은 도 20의 분류테이블 생성/갱신부를 나타내는 예시도이다.
도 2는 본 발명의 일실시예인 AIoT 기반 교통안전 통합 관리시스템을 나타내는 구성도이다.
도 3은 도 2의 로컬 관리시스템을 설명하기 위한 개념도이다.
도 4는 도 2의 제2 네트워크를 설명하기 위한 개념도이다.
도 5는 도 2를 나타내는 예시도이다.
도 6은 도 2의 다른 예시도이다.
도 7은 도 2의 촬영부를 나타내는 블록도이다.
도 8은 도 2의 보행자 분석제어기를 나타내는 블록도이다.
도 9는 도 8의 보행자객체 인식을 위해 설정된 셀을 나타내는 예시도이다.
도 10은 도 2의 통합분석 제어기를 나타내는 블록도이다.
도 11은 도 10의 교통정보 생성부를 나타내는 블록도이다.
도 12의 (a)는 도 11의 노이즈 제거모듈을 설명하기 위한 예시도이고, (b)는 도 11의 Ghost 제거모듈을 설명하기 위한 예시도이고, (c)는 도 11의 동일객체 병합모듈을 설명하기 위한 예시도이다.
도 13은 도 11의 셀 단위 교통정보 생성/저장모듈을 설명하기 위한 예시도이다.
도 14는 도 10의 돌발 상황 분석부를 나타내는 블록도이다.
도 15는 도 14의 위험정보 생성부를 나타내는 개념도이다.
도 16은 도 14의 충돌 상황 판단부를 나타내는 예시도이다.
도 17은 도 10의 전시정보 관리부를 나타내는 블록도이다.
도 18은 도 17의 전시정보 관리부를 설명하기 위한 예시도이다.
도 19는 도 2의 보행자 분석제어기의 제2 실시예를 나타내는 구성도이다.
도 20은 도 19의 제2 보행자 분석제어기(25)를 나타내는 블록도이다.
도 21은 도 20의 영상/열화상 분류부를 나타내는 블록도이다.
도 22는 도 21의 개념도이다.
도 23은 도 20의 분류테이블 생성/갱신부를 나타내는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.
도 2는 본 발명의 일실시예인 AIoT 기반 교통안전 통합 관리시스템을 나타내는 구성도이고, 도 3은 도 2의 로컬 관리시스템을 설명하기 위한 개념도이고, 도 4는 도 2의 제2 네트워크를 설명하기 위한 개념도이고, 도 5는 도 2를 나타내는 예시도이고, 도 6은 도 2의 다른 예시도이다.
본 발명의 일실시예인 AIoT 기반 교통안전 통합 관리시스템(1)은 관리-존(S)을 다수의 로컬-존(Sn)들로 분할함과 동시에 각 로컬-존(Sn)에서 메인 노드인 통합분석모듈이 서브 노드인 교통부속장비들과 제1 네트워크로 연결되어 통합데이터를 생성하면서 부속장비들을 직접 제어하며, 각 로컬-존(Sn)의 통합분석모듈들이 제2 네트워크로 연결되어 통합데이터를 서로 송수신하도록 구성됨으로써 종래에서와 같이 별도의 중앙관리서버를 구축하지 않아도, 각 관리-존(S) 및 각 로컬-존(Sn)에서 교통안전 서비스를 제공 및 해결이 가능하여 공간 및 비용소모를 현저히 절감시킬 수 있을 뿐만 아니라 데이터 처리의 신속성 및 현장성을 높일 수 있으며, 전체 서비스 장애 현상을 효과적으로 방지하며, 특정 로컬-존(Sn)에서 발생한 돌발 상황에 대해 서로 유동적으로 대응하여 안전성을 높이기 위한 것이다.
이때 본 발명의 AIoT 기반 교통안전 통합 관리시스템(1)은 복수개의 로컬-존(Sn)들로 분할되는 관리-존(S)에 대한 교통안전 서비스를 제공하기 위한 시스템이다.
또한 본 발명의 AIoT 기반 교통안전 통합 관리시스템(1)은 도 2 내지 6에 도시된 바와 같이, 관리-존(S)을 구성하는 로컬-존(Sn)들 각각에 구축되되, 다른 로컬-존(Sn)들과 제2 네트워크(N2)로 연결되어 데이터를 송수신하며 자신에게 할당된 로컬-존(Sn)의 교통부속장비()들의 동작을 관리 및 제어하는 로컬 관리시스템(2-1), ..., (2-n)들로 이루어진다.
로컬 관리시스템(2)은 해당 로컬-존(Sn)의 도로를 향하여 레이더(Radar) 신호를 송출한 후, 반사되는 신호를 수집하는 레이더센서(4)들과, 해당 로컬-존(Sn)의 인도 및 횡단보도 등과 같이 보행자의 보행이 이루어지는 구간을 촬영 및 열-추적하여 RGB영상(이하 영상이라고 함) 및 열화상을 획득하는 촬영부(9)들과, 촬영부(9)들에 의해 획득된 영상 및 열화상을 분석하여 보행자 객체를 감지하며 감지된 보행자 객체를 트래킹 하여 보행자 정보를 생성하는 보행자 분석제어기(5)들과, 해당 로컬-존(Sn)에 설치되며 전광판, 모니터, LED, 신호등 등으로 구성되어 후술되는 통합분석 제어기(3)의 제어에 따라 정보를 외부로 표출하는 정보표출 부속장비(7)들과, 해당 로컬-존(Sn)에 설치되는 전술하였던 구성수단(4), (5), (7), (9)들의 동작을 관리 및 제어함과 동시에 다른 로컬-존(Sn)의 통합분석 제어기들과 제2 네트워크(N2)로 연결되어 통합데이터를 송수신하는 통합분석 제어기(3)로 이루어진다.
이때 각 로컬-존(Sn)의 통합분석 제어기(3)는 해당 로컬-존(Sn)의 레이더센서(4)들, 촬영부(9)들, 보행자 분석제어기(5)들 및 정보표출 부속장비(7)들과 제1 네트워크(N1)로 연결되어 데이터 통신을 수행한다.
즉 통합분석 제어기(3)는 동일 로컬-존(Sn)에 설치되는 레이더센서(4)들, 촬영부(9)들, 보행자 분석제어기(5)들 및 정보표출 부속장비(7)들과 제1 네트워크(N1)를 통해 1대N으로 연결되게 된다.
정보표출 부속장비(7)들은 해당 로컬-존(Sn)의 통합분석 제어기(3)로부터 전송받은 돌발 상황 정보를 외부로 표출함으로써 차량 운전자 또는 보행자에게 돌발 상황에 대한 경각심을 주어 사고를 미연에 방지하기 위한 장치이며, 상세하게로는 전광판, 모니터, 스피커, LED, 신호등 등으로 구성될 수 있다.
예를 들어, 정보표출 부속장비(7)는 교차로의 우회전 차선에 인접하게 설치되어, 교차로를 우회전 하였을 때의 도로에서 돌발 상황이 발생하였을 때, 돌발 상황 정보를 표출함으로써 교차로 우회전 차선을 주행 중인 차량 운전자는 정보표출 부속장비(7)를 통해 표출되는 돌발 상황 정보를 열람하여 이에 대한 사전 대비, 우회 주행 등을 신속하게 수행할 수 있게 된다.
레이더센서(4)는 기 설정된 감지영역으로 레이더(Radar) 신호를 송출한 후, 반사되는 신호를 수집한다.
또한 레이더센서(4)는 송수신된 레이더신호 정보를 제1 네트워크(N1)를 통해 통합분석 제어기(3)로 전송한다.
도 7은 도 2의 촬영부를 나타내는 블록도이다.
도 7의 촬영부(9)는 인도, 횡단보도 등과 같이 보행자의 보행이 이루어지는 구간을 촬영 및 열-추적하여, 영상(RGB) 및 열화상을 획득하는 장치이다.
또한 촬영부(9)는 도 7에 도시된 바와 같이, 기 설정된 촬영구간을 촬영하여 영상을 획득하는 RGB 카메라(91)와, RGB 카메라(91)와 동일한 촬영구간을 열-추적하여 열화상을 획득하는 열화상 카메라(93)로 이루어진다.
또한 촬영부(9)는 RGB 카메라(91) 및 열화상 카메라(93)의 촬영 및 열-추적에 의해 획득된 영상 및 열화상을 보행자 분석제어기(5)로 전송한다.
도 8은 도 2의 보행자 분석제어기를 나타내는 블록도이고, 도 9는 도 8의 보행자객체 인식을 위해 설정된 셀을 나타내는 예시도이다.
도 8의 보행자 분석제어기(5)는 촬영부(9)로부터 전송받은 영상 및 열화상을 분석하여, 보행자 객체를 감지하며, 감지된 보행자 객체를 트래킹(Tracking) 하여, 도 9에 도시된 바와 같이, 기 설정된 셀(cell) 단위로 보행자 정보를 생성한 후, 생성된 각 셀별 보행자 정보를 통합분석 제어기(3)로 전송한다.
또한 보행자 분석제어기(5)는 도 8에 도시된 바와 같이, 제어부(50)와, 메모리(51), 통신 인터페이스부(52), 영상분석 및 보행자객체 인식부(53), 열화상분석 및 보행자객체 인식부(54), 조도 산출부(55), 조도기반 가중치 부여부(56), 영상기반 보행자정보 생성부(57), 열화상기반 보행자정보 생성부(58), 보행자정보 결정부(59)로 이루어진다.
제어부(50)는 보행자 분석제어기(5)의 O.S(Operating System)이며, 제어대상(51), (52), (53), (54), (55), (56), (57), (58), (59)들의 동작을 관리 및 제어한다.
또한 제어부(50)는 통신 인터페이스부(52)를 통해 촬영부(9)로부터 영상을 수신 받으면, 수신 받은 영상을 영상분석 및 보행자객체 인식부(53)로 입력한다.
또한 제어부(50)는 통신 인터페이스부(52)를 통해 촬영부(9)로부터 열화상을 수신 받으면, 수신 받은 열화상을 열화상분석 및 보행자객체 인식부(54)로 입력한다.
또한 제어부(50)는 보행자정보 결정부(56)에서 보행자정보가 결정되면, 결정된 보행자정보가 해당 로컬-존(Sn)의 통합분석 제어기(3)로 전송되도록 통신 인터페이스부(52)를 제어한다.
메모리(51)에는 연결된 촬영부(9)의 위치 및 식별정보가 기 설정되어 저장된다.
또한 메모리(51)에는 촬영부(9)로부터 전송받은 영상 및 열화상이 임시 저장된다.
또한 메모리(51)에는 보행자정보 생성부(60)에 의해 생성된 보행자정보가 임시 저장된다.
또한 메모리(51)에는 촬영부(9)의 촬영구간을 평면상으로 바라보았을 때, 촬영구간을 복수개로 분할한 영역인 셀(Cell)들 각각의 식별정보, 위치정보, 픽셀위치정보가 매칭된 LUT(Look Up Table)가 기 설정되어 저장된다.
통신 인터페이스부(52)는 통합분석 제어기(3) 및 촬영부(9)와 데이터를 송수신한다.
영상분석 및 보행자객체 인식부(53)는 촬영부(9)의 RGB카메라(91)의 촬영에 의해 획득된 영상을 입력받으면, 기 학습된 YOLOv4-Tiny 알고리즘을 이용하여 입력된 영상을 분석하여 보행자객체를 인식하며, 인식된 보행자객체의 하단 중점과 사전에 설정한 셀 영역을 매칭하여 보행자의 위치를 산출한다.
이때 본 발명에서는 설명의 편의를 위해 보행자객체를 인식하기 위하여 YOLOv4-Tiny 알고리즘을 사용하는 것으로 예를 들어 설명하였으나, 보행자객체 인식을 위한 알고리즘으로는 이에 한정되지 않으며, 공지된 다양한 알고리즘 또는 향후 개발될 알고리즘이 적용될 수 있음은 당연하다.
열화상분석 및 보행자객체 인식부(54)는 촬영부(9)의 열화상카메라(93)의 열-추적에 의해 획득된 열화상을 입력받으면, 입력된 열화상을 분석하여 보행자객체를 인식한다. 이때 열화상분석 및 보행자객체 인식부(54)는 계속 변하는 배경에 대응하기 위해 기 설정된 Gaussian Mixture 알고리즘을 이용하여 배경을 추출한 후, 추출된 열화상의 노이즈를 제거하며, 형태를 확장 및 침식한 후, 보행자객체를 인식한다.
이때 입력된 열화상을 분석하여 보행자객체를 인식 및 검출하기 위한 기술 및 방법은 이미 널리 사용되고 있는 기술이기 때문에 이에 대한 상세한 설명은 생략하기로 한다.
조도 산출부(55)는 RGB카메라(91)의 촬영에 의해 획득된 영상의 RGB 프레임이 입력되면, 입력된 RGB 프레임을 HSV 색공간으로 변환한 후, 변환된 명도 값(V)을 활용하여 조도를 산출한다.
일반적으로 RGB 영상은 조도의 영향을 많이 받기 때문에 보행자객체 인식률이 저하되는 특성을 갖는다. 이에 따라 본 발명에서는 RGB 이미지를 HSV 색공간으로 변환하여 조도를 별도로 산출한 후, 산출된 조도에 따라, 영상기반의 보행자객체 인식정보와 열화상기반의 보행자객체 인식정보에 가중치를 부여하도록 함으로써 보행자객체 인식의 정확성을 극대화시키도록 하였다.
조도기반 가중치 부여부(56)는 조도 산출부(55)에 의해 산출된 조도 값을 입력받으면, 입력된 조도 값에 따라, 영상분석 및 보행자객체 인식부(53)에 의해 인식된 보행자객체 인식정보와, 열화상분석 및 보행자객체 인식부(54)에 의해 인식된 보행자객체 인식정보의 가중치를 조절한다.
이때 조도에 따라 각 보행자객체 인실정보에 부여되는 가중치는 기 설정되어 저장될 수 있다.
영상기반 보행자정보 생성부(57)는 조도기반 가중치 부여부(56)에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성한다.
열화상기반 보행자정보 생성부(58)는 조도기반 가중치 부여부(56)에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성한다.
보행자정보 결정부(59)는 영상기반 보행자정보 생성부(57)에 의해 생성된 영상기반 보행자정보와, 열화상기반 보행자정보 생성부(58)에 의해 생성된 열화상기반 보행자정보를 비교하여, 이들 중 정확성이 높다고 판단되는 데이터를 보행자정보로 결정한다.
이때 보행자정보 결정부(59)에 의해 생성된 보행자정보는 제어부(50)의 제어에 따라, 통신 인터페이스부(52)를 통해 해당 로컬-존(Sn)의 통합분석 제어기(3)로 전송된다.
도 10은 도 2의 통합분석 제어기를 나타내는 블록도이다.
도 10의 통합분석 제어기(3)는 관리-존(S)을 분할한 각 로컬-존(Sn)에 설치되며, 다른 로컬-존(Sn)들의 통합분석 제어기(3‘)들과 제2 네트워크(N2)로 연결되어 데이터 통신을 수행하되, 동일 로컬-존(Sn)에 설치되는 교통부속장비(4), (5), (7), (9)들과 제1 네트워크(N1)로 연결되어 데이터 통신을 수행한다.
또한 통합분석 제어기(3)는 도 10에 도시된 바와 같이, 제어부(30)와, 데이터베이스부(31), 데이터송수신부(32), 교통정보 생성부(33), 돌발 상황 분석부(35), 통합데이터 생성부(37), 전시정보 관리부(39)로 이루어진다.
제어부(30)는 통합분석 제어기(3)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (35), (37), (39)들의 동작을 관리 및 제어한다.
또한 제어부(30)는 데이터송수신부(32)를 통해 레이더센서(4)로부터 송수신된 레이더신호 정보를 전송받으면, 전송받은 레이더신호 정보를 교통정보 생성부(33)로 입력한다.
또한 제어부(30)는 데이터송수신부(32)를 통해 보행자 분석제어기(5)로부터 보행자정보를 전송받으면, 전송받은 보행자정보를 돌발 상황 분석부(35) 및 통합데이터 생성부(37)로 입력한다.
또한 제어부(30)는 데이터송수신부(32)를 통해 다른 로컬-존(Sn)들의 통합분석 제어기(3)들로부터 통합데이터를 전송받으면, 전송받은 통합데이터를 전시정보 관리부(39)로 입력한다.
또한 제어부(30)는 교통정보 생성부(33)에 의해 교통정보가 생성되면, 생성된 교통정보를 돌발 상황 분석부(35) 및 통합데이터 생성부(37)로 입력한다.
또한 제어부(30)는 돌발 상황 분석부(35)에 의해 돌발 상황 정보가 생성되면, 생성된 돌발 상황 정보를 통합데이터 생성부(37)로 입력한다.
또한 제어부(30)는 통합데이터 생성부(37)에서 통합데이터가 생성되면, 생성된 통합데이터가 다른 통합분석 제어기(3)들로 전송되도록 데이터송수신부(32)를 제어한다.
데이터베이스부(31)에는 해당 로컬-존(Sn)의 교통부속장비인 레이더센서(4)들, 보행자 분석제어기(5)들, 정보표출 부속장비(7)들 각각의 식별정보, 통신정보, 위치정보가 기 설정되어 저장된다.
또한 데이터베이스부(31)에는 다른 로컬-존(Sn)들의 통합분석 제어기(3)들 각각의 식별정보, 통신정보 및 위치정보가 저장된다.
또한 데이터베이스부(31)에는 교통정보 생성부(33), 돌발 상황 분석부(35) 및 통합데이터 생성부(37)에 의해 생성된 교통정보, 돌발 상황 정보 및 통합데이터가 임시 저장된다.
또한 데이터베이스부(31)에는 각 레이더센서(4)의 검지구간(도로)를 평면상으로 바라보았을 때, 검지구간을 복수개로 분할한 영역인 셀(Cell)들 각각의 식별정보, 위치정보, 픽셀위치정보가 매칭된 LUT(Look Up Table)가 기 설정되어 저장된다.
데이터송수신부(32)는 제2 네트워크(N2)에 접속된 다른 통합분석 제어기(3)들과 데이터를 송수신한다.
또한 데이터송수신부(32)는 제1 네트워크(N1)에 접속된 교통부속장비들, 상세하게로는 해당 로컬-존(Sn)에 설치된 레이더센서(4)들, 보행자 분석제어기(5)들, 정보표출 부속장비(7)들과 데이터를 송수신한다.
도 11은 도 10의 교통정보 생성부를 나타내는 블록도이다.
교통정보 생성부(33)는 도 11에 도시된 바와 같이, 레이더신호 정보 입력모듈(331)과, 레이더신호 분석모듈(332), 데이터 보간/보정모듈(333), 노이즈제거모듈(334), Ghost 제거모듈(335), 동일객체 병합모듈(336), 차량객체 감지모듈(337), 셀 단위 교통정보 생성/저장모듈(338)로 이루어진다.
레이더신호 정보 입력모듈(331)은 레이더센서(4)에 의해 송수신된 레이더신호 정보를 입력받는다.
레이더신호 분석모듈(332)은 레이더신호 정보 입력모듈(331)을 통해 입력된 레이더신호 정보를 분석한다.
데이터 보간/보정모듈(333)은 칼만 필터(Kalman filter)를 이용하여 레이더신호 분석모듈(332)에 의해 검출된 분석데이터의 잡음 등을 제거함으로써 레이더센서(4)의 자체적인 분해능 오차를 보상한다.
도 12의 (a)는 도 11의 노이즈 제거모듈을 설명하기 위한 예시도이고, (b)는 도 11의 Ghost 제거모듈을 설명하기 위한 예시도이고, (c)는 도 11의 동일객체 병합모듈을 설명하기 위한 예시도이다.
노이즈 제거모듈(334)은 도 12의 (a)에 도시된 바와 같이, 레이더신호 분석모듈(332)에 의해 검출된 분석데이터로부터, 차량객체가 아닌 주변 구조물 및 물체 등의 주변객체를 나타내는 노이즈를 제거한다. 이때 일반적으로 레이더신호는 차량객체 뿐만 아니라 주변 구조물 등의 주변객체까지 객체로 감지하게 되는데, 이러한 주변객체는 매우 작은 사이즈를 갖거나 또는 속도 및 위치가 변하지 않는 특성을 갖는다.
즉 노이즈 제거모듈(334)은 전술하였던 주변객체의 특성을 활용하여, 이전(t-1) 객체와 비교하여 노이즈를 검출한 후, 이를 제거한다.
Ghost 제거모듈(335)은 도 12의 (b)에 도시된 바와 같이, 레이더신호 분석모듈(332)에 의해 검출된 분석데이터로부터, 레이더신호가 차량객체에 의해 반사되어 주변 물체에 의해 MultiPath 반사가 생기는 현상인 Ghost 현상을 제거한다.
또한 Ghost 제거모듈(335)은 Ghost 현상의 객체가 차량 객체보다 대략 2배의 거리 및 속도를 갖는 특성을 활용하여, 동시간대에 검지된 데이터와 비교하여 Ghost 객체를 검출한 후, 이를 제거한다.
동일객체 병합모듈(336)은 도 12의 (c)에 도시된 바와 같이, 레이더신호 분석모듈(332)에 의해 검출된 분석데이터로부터, 버스, 트럭 등과 같이 차체가 장길이를 갖는 객체가 단일 객체가 아닌 2개 이상의 객체로 검지되는 현상을 제거한다.
또한 동일객체 병합모듈(336)은 동일 차량에 대한 2개 이상으로 검지된 객체들이 비슷한 위치 및 속도를 유지하는 특성을 활용하여, 동시간대 검지된 데이터와 비교하여 비슷한 위치 및 속도를 갖는 객체들을 단일객체로 병합시킨다.
차량객체 감지모듈(337)은 데이터 보간/보정모듈(333), 노이즈 제거모듈(334), Ghost 제거모듈(335) 및 동일객체 병합모듈(336)이 적용된 분석데이터를 활용하여, 차량객체를 감지한다.
도 13은 도 11의 셀 단위 교통정보 생성/저장모듈을 설명하기 위한 예시도이다.
셀 단위 교통정보 생성/저장모듈(338)은 도 13에 도시된 바와 같이, 차량객체 감지모듈(337)에 의해 감지된 차량객체의 위치정보와, 기 설정된 LUT를 활용하여, 차량객체의 위치에 매칭되는 셀을 검출한 후, 셀의 평균속도를 산출하여, 셀 단위 교통정보를 생성 및 저장한다.
이때 셀 단위 교통정보는 셀 식별정보, 평균속도, 교통량 등을 포함한다.
도 14는 도 10의 돌발 상황 분석부를 나타내는 블록도이고, 도 15는 도 14의 위험정보 생성부를 나타내는 개념도이고, 도 16은 도 14의 충돌 상황 판단부를 나타내는 예시도이다.
돌발 상황 분석부(35)는 도 14에 도시된 바와 같이, 위험차량 분석 및 위험정보 생성부(351)와, 충돌상황 분석 및 충돌정보 생성부(352), 돌발상황 확인정보 생성부(353)로 이루어진다.
위험차량 분석 및 위험정보 생성부(351)는 셀 단위 교통정보 입력모듈(3511)과, 각 셀별 과속여부 판단모듈(3512), 각 섹별 가/감속 판단모듈(3513), 각 셀별 TTC 산출모듈(3514), 위험정보 생성모듈(3515)로 이루어진다.
셀 단위 교통정보 입력모듈(3511)은 셀 단위 교통정보 생성/저장모듈(338)에 의해 생성된 셀 단위 교통정보를 입력받는다.
각 셀별 과속여부 판단모듈(3512)은 셀 단위 교통정보 입력모듈(3511)에 의해 입력된 셀 단위 교통정보의 속도정보를 기 설정된 제한속도와 비교하여, 각 셀별로 과속여부를 판단한다.
각 셀별 가감속 판단모듈(3513)은 셀 단위 교통정보 입력모듈(3511)에 의해 입력된 셀 단위 교통정보를 활용하여 각 셀별 가/감속 데이터를 산출한 후, 산출된 가/감속 데이터를 기 설정된 임계치와 비교하여, 임계치 이상의 가/감속이 이루어졌는지를 판단한다.
각 셀별 TTC 산출모듈(3514)은 셀 단위 교통정보 입력모듈(3511)에 의해 입력된 셀 단위 교통정보를 활용하여, 동일 차선의 객체 간의 TTC(Time To Collision)를 산출하며, 산출된 TTC를 기 설정된 제2 임계치와 비교하여 각 셀별로 충돌위험을 예측한다.
위험정보 생성모듈(3515)은 각 셀별 과속여부 판단모듈(3512)에서 과속차량이 감지되거나 각 셀별 가감속 정보 생성모듈(3513)에 의해 임계치 이상의 가/감속이 이루어진 셀이 검출되거나 또는 각 셀별 TTC 산출모듈(3514)에 의해 충돌위험이 예측되는 셀이 검출되는 경우, 위험정보를 생성한다.
이때 위험정보는 위험이 예측된 셀 식별정보, 위험내용 등을 포함한다.
충돌상황 분석 및 충돌정보 생성부(352)는 셀 단위 교통정보 입력모듈(3511)과, 제1 비교 및 판단모듈(3512), 제2 비교 및 판단모듈(3513), 제3 비교 및 판단모듈(3154), 충돌정보 생성모듈(3155)로 이루어진다.
셀 단위 교통정보 입력모듈(3521)은 셀 단위 교통정보 생성/저장모듈(338)에 의해 생성된 셀 단위 교통정보를 입력받는다.
제1 비교 및 판단모듈(3522)은 셀 단위 교통정보 입력모듈(3511)에 의해 입력된 셀 단위 교통정보를 활용하여, 특정 셀에서 교통량 변화가 없으면서 평균속도가 기 설정된 지체속도(예:5km/h) 이하인 상태가 기 설정된 제1 경과시간(예:60초) 이상으로 지속되면, 해당 셀에 충돌상황 1단계가 발생하였다고 판단한다.
이때 제어부(30)는 제1 비교 및 판단모듈(3522)에서 1)충돌상황 1단계가 발생하였다고 판단되는 셀이 검출되면, 제2 비교 및 판단모듈(3523)을 실행시키며, 2)충돌상황 1단계가 발생하였다고 판단되는 셀이 검출되지 않으면, 별도의 동작을 수행하지 않는다.
제2 비교 및 판단모듈(3523)은 제1 비교 및 판단모듈(3522)에서 충돌상황 1단계가 발생하였다고 판단되는 셀이 검출될 때 실행된다.
또한 제2 비교 및 판단모듈(3523)은 충돌상황 1단계가 발생된 셀을 기준으로 기 설정된 영향권의 셀들의 교통패턴을 비교하여 충돌상황 2단계의 발생여부를 판단한다.
이때 영향권은 도 16에 도시된 바와 같이, 1)단차선인 경우, 충돌상황 1단계가 발생된 셀을 기준으로 전방 n개의 셀과, 후방 m개의 셀들로 이루어지고, 2)다차선인 경우, 충돌상황 1단계가 발생된 셀을 기준으로 양측 차선의 전방 n개의 셀과, 후방 m개의 셀들로 이루어진다.
이때 제어부(30)는 제2 비교 및 판단모듈(3523)에서 1)충돌상황 2단계가 발생하였다고 판단되는 셀이 검출되면, 제3 비교 및 판단모듈(3524)을 실행시키며, 2)충돌상황 2단계가 발생하였다고 판단되는 셀이 검출되지 않으면, 별도의 동작을 수행하지 않는다.
제3 비교 및 판단모듈(3524)은 제2 비교 및 판단모듈(3523)에서 충돌상황 2단계가 발생하였다고 판단되는 셀이 검출될 때 실행된다.
또한 제3 비교 및 판단모듈(3524)은 충돌상황 2단계가 발생된 셀의 영향권의 교통패턴의 변화가 기 설정된 임계시간 이상 변화가 없으면, 충돌상황이 발생하였다고 최종 결정한다.
이때 제어부(30)는 제3 비교 및 판단모듈(3524)에서 1)충돌상황이 발생하였다고 최종적으로 결정되면, 충돌정보 생성모듈(3525)을 실행시키며, 2)충돌상황이 발생하였다고 최종적으로 결정되지 않으면, 별도의 동작을 수행하지 않는다.
충돌정보 생성모듈(3525)은 제3 비교 및 판단모듈(3524)에서 충돌상황이 발생하였다고 최종적으로 결정될 때 실행된다.
또한 충돌정보 생성모듈(3525)은 충돌상황이 발생하였다고 최종 결정된 셀의 식별정보, 충돌내용 등을 포함하는 충돌정보를 생성한다.
돌발상황 확인정보 생성부(353)는 위험차량 분석 및 위험정보 생성부(351)에 의해 위험정보가 생성되거나 또는 충돌상황 분석 및 충돌정보 생성부(352)에 의해 충돌정보가 생성될 때, 위험정보 또는 충돌정보를 포함하는 돌발상황 확인정보를 생성한다.
이때 제어부(30)는 돌발상황 확인정보 생성부(353)에 의해 돌발상황 확인정보가 생성되면, 생성된 돌발상황 확인정보를 통합데이터 생성부(37)로 입력한다.
다시 도 10으로 돌아가서 통합데이터 생성부(37)를 살펴보면, 통합데이터 생성부(37)는 교통정보 생성부(33)에 의해 생성되는 셀 단위 교통정보와, 돌발 상황 분석부(35)에 의해 생성되는 돌발상황 확인정보와, 보행자 분석제어기(5)로부터 전송받은 보행자정보를 포함하는 통합데이터를 생성한다.
이때 제어부(30)는 통합데이터 생성부(37)에서 통합데이터가 생성되면, 데이터송수신부(32)를 제어하여 생성된 통합데이터를 다른 로컬-존(Sn)들의 통합분석 제어기(3)들로 전송한다.
도 17은 도 10의 전시정보 관리부를 나타내는 블록도이고, 도 18은 도 17의 전시정보 관리부를 설명하기 위한 예시도이다.
도 17의 전시정보 관리부(39)는 다른 로컬-존(Sn)들의 통합분석 제어기(3)로부터 통합데이터를 전송받을 때 실행된다.
또한 전시정보 관리부(39)는 도 17에 도시된 바와 같이, 통합데이터 입력모듈(391)과, 위험정보 탐색 및 추출모듈(392), 충돌정보 탐색 및 추출모듈(393), 횡단보도 보행자 탐색 및 추출모듈(394), 연관도로 결정모듈(395), 정보표출 부속장비 검출모듈(396), 전시정보 생성모듈(397), 전시정보 출력제어모듈(398)로 이루어진다.
통합데이터 입력모듈(391)은 다른 로컬-존(Sn)들의 통합분석 제어기(3)들로부터 전송받은 통합데이터를 입력받는다.
위험정보 탐색 및 추출모듈(392)은 통합데이터 입력모듈(391)을 통해 입력된 통합데이터에 위험정보가 포함되는지를 탐색하며, 만약 위험정보가 탐색되면, 위험정보를 추출한다.
충돌정보 탐색 및 추출모듈(393)은 통합데이터 입력모듈(391)을 통해 입력된 통합데이터에 충돌정보가 포함되는지를 탐색하며, 만약 충돌정보가 탐색되면, 충돌정보를 추출한다.
횡단보도 보행자 탐색 및 추출모듈(394)은 통합데이터 입력모듈(391)을 통해 입력된 통합데이터에 보행자정보를 활용하여, 횡단보도 보행자가 존재하는지 여부를 탐색하며, 만약 횡단보도 보행자가 탐색되면, 횡단보도 보행자정보를 추출한다.
연관도로 결정모듈(395)은 1)위험정보 탐색 및 추출모듈(392)에 의해 위험정보가 추출되거나 2)충돌정보 탐색 및 추출모듈(393)에 의해 충돌정보가 추출되거나 또는 3)횡단보도 보행자 탐색 및 추출모듈(394)에 의해 횡단보도 보행자가 추출될 때 실행되며, 해당 로컬-존(Sn)(이하 위험/충돌 로컬-존이라고 함)을 식별한 후, 자신에게 할당된 로컬-존(Sn)의 도로들 중, 식별된 위험/충돌 로컬-존을 향하는 도로인 연관도로를 결정한다.
정보표출 부속장비 검출모듈(396)은 기 설정된 정보표출 부속장비(7)들의 위치정보와, 연관도로 결정모듈(395)에 의해 결정된 연관도로의 위치정보를 활용하여, 연관도로에 설치되는 정보표출 부속장비(7)들을 검출한다.
전시정보 생성모듈(397)은 1)위험정보 탐색 및 추출모듈(392)에 의해 추출된 위험정보의 위험내용이나 2)충돌정보 탐색 및 추출모듈(393)에 의해 추출된 충돌정보의 충돌내용 또는 3)횡단보도 보행자 탐색 및 추출모듈(394)에 의해 추출된 횡단보도 보행자 내용을 포함하는 전시정보를 생성한다.
전시정보 출력제어모듈(398)은 전시정보 생성모듈(397)에 의해 생성된 전시정보가, 정보표출 부속장비 검출모듈(396)에 의해 검출된 연관도로의 정보표출 부속장비(7)들로 전송되도록 통신 인터페이스부(32)를 제어한다.
도 19는 도 2의 보행자 분석제어기의 제2 실시예를 나타내는 구성도이다.
도 19의 제2 보행자 분석제어기(25)는 도 2의 보행자 분석제어기(5)의 제2 실시예이다.
이때 도 2의 보행자 분석제어기(5)는 촬영부(9)와 일대일로 연결되도록 구성되었으나, 도 19의 제2 보행자 분석제어기(25)는 다수의 촬영부(9-1), ..., (9-N)들과 연결되고, 도면에는 도시되지 않았으나, 통합 분석기(3)는 다수의 제2 보행자 분석제어기(25)들과 제1 네트워크(N1)로 연결된다.
도 20은 도 19의 제2 보행자 분석제어기(25)를 나타내는 블록도이다.
도 19의 제2 보행자 분석제어기(25)는 제2 제어부(250)와, 제2 메모리(252), 통신 인터페이스부(52), 영상/열화상 분류부(253), 영상/열화상분석 및 보행자객체 인식모듈(254-1), ..., (254-M)들, 용량 모니터링부(256), 영상분석 및 보행자객체 인식부(257), 조도산출부(258), 조도기반 가중치 부여부(258), 영상기반 보행자정보 생성부(259), 열화상기반 보행자정보 생성부(260), 보행자정보 결정부(261), 분류테이블 생성/갱신부(262)로 이루어진다.
제2 제어부(250)는 촬영부(9-1), ..., (9-N)들로부터 전송받은 영상 및 열화상을 영상/열화상 분류부(253)로 입력한다.
또한 제2 제어부(250)는 기 설정된 주기(T) 마다 분류테이블 생성/갱신부(262)를 실행시킨다.
도 21은 도 20의 영상/열화상 분류부를 나타내는 블록도이고, 도 22는 도 21의 개념도이다.
영상/열화상 분류부(253)는 도 21에 도시된 바와 같이, 영상/열화상 입력모듈(2531)과, 비교 및 판단모듈(2532), 일대일기반 분류모듈(2533), 분류테이블기반 분류모듈(2534)로 이루어진다.
영상/열화상 입력모듈(2531)은 촬영부(9-1), ..., (9-N)들로부터 전송받은 영상/열화상(촬영부 식별정보 포함)을 입력받는다.
비교 및 판단모듈(2532)은 해당 로컬-존(Sn)에 설치된 촬영부(9)들의 전체 수량(N)과, 통합분석 제어기(3)에 구비된 GPU(Graphic Processing Unit)의 전체 수량(M)을 비교하며, 상세하게로는 전체 카메라 수량(N)이 전체 GPU 수량(M)의 이하(N ≤ M)인지를 비교한다.
이때 각 GPU에는 영상/열화상분석 및 보행자객체 인식모듈(254-1), ..., (254-M)들이 각각 구비되어 입력된 영상/열화상을 분석한다.
또한 비교 및 판단모듈(2532)은 1)만약 전체 촬영부 수량(N)이 전체 GPU 수량(M) 이하이면, 일대일 기반 분류모듈(2533)을 실행시키고, 2)만약 전체 카메라 수량(N)이 전체 GPU 수량(M)을 초과하면, 분류테이블 기반 분류모듈(2534)을 실행시킨다.
일대일 기반 분류모듈(2533)은 비교 및 판단모듈(2532)에서 전체 카메라 수량(N)이 전체 GPU 수량(M)의 이하(N ≤ M)일 때 실행된다. 즉 일대일 기반 분류모듈(2533)은 각 촬영부(9)의 영상/열화상이 단일 GPU(254)에서 영상처리가 가능할 때 실행된다.
또한 일대일 기반 분류모듈(2533)은 촬영부(9)들로부터 전송받은 영상/열화상들을 GPU(영상/열화상분석 및 보행자객체 인식모듈)(254)들로 각각 입력함으로써 영상/열화상들을 분류한다.
즉 일대일 기반 분류모듈(2533)은 촬영부(9)들에 의해 획득된 영상/열화상들은 단일 GPU(254)에서 분석 및 처리된다.
분류테이블 기반 분류모듈(2534)은 비교 및 판단모듈(2532)에서 전체 촬영부 수량(N)이 전체 GPU 수량(M)을 초과(N > M)할 때 실행된다. 즉 분류테이블 기반 분류모듈(2534)은 GPU(254)들 중 적어도 하나 이상이 두 개 이상의 영상/열화상들을 처리해야하는 조건일 때 실행된다.
또한 분류테이블 기반 분류모듈(2534)은 분류테이블 생성/갱신모듈(262)에 의해 생성/갱신되어 제2 메모리(251)에 저장된 분류테이블을 추출한다. 이때 분류테이블은 각 촬영부로부터 입력된 영상/열화상을 처리할 대상인 GPU가 매칭된 데이터를 의미한다.
또한 분류테이블 기반 분류모듈(2534)은 추출된 분류테이블에 따라 입력 영상/열화상을 해당 GPU(254)로 입력함으로써 영상/열화상들을 분류한다.
영상/열화상분석 및 보행자객체 인식모듈(254-1), ..., (254-M)들은 각 GPU에서 입력된 영상 및 열화상을 분석하여 보행자객체를 인식한다.
이때 영상 및 열화상의 분석 방법은 도 8에서 전술하였던 영상분석 및 보행자객체 인식부(53)와, 열화상분석 및 보행자객체 인식부(54)와 동일한 기술이 적용된다.
즉 각 GPU1, ..., M은 입력된 영상 및 열화상을 분석하여 영상기반 보행자객체 정보 및 열화상기반 보행자객체 정보를 생성한다.
사용량 모니터링부(256)는 영상/열화상분석 및 보행자객체 인식모듈(254-1), ..., (254-M)들 중 적어도 하나 이상이 동작할 때 실행된다.
또한 사용량 모니터링부(256)는 각 영상/열화상분석 및 보행자객체 인식모듈(254-1), ..., (254-M)들(각 GPU의)에서 영상분석을 위한 사용량(부하량)을 검출하며, 검출된 사용량 정보를 제2 메모리(251)에 저장한다.
즉 사용량 모니터링부(256)는 영상 분석을 위한 연산처리로 인한 각 GPU의 사용량을 실시간 검출하여 제2 메모리(251)에 저장한다.
도 23은 도 20의 분류테이블 생성/갱신부를 나타내는 예시도이다.
도 23의 분류테이블 생성/갱신부(262)는 제2 제어부(250)의 제어에 따라, 기 설정된 주기(T) 마다 실행된다.
또한 분류테이블 생성/갱신부(262)는 도 23에 도시된 바와 같이, 데이터 수집모듈(2621)과, 각 GPU 총사용량 산출모듈(2622), 각 GPU 평균사용량 산출모듈(2623), 상한설정값(TH) 비교모듈(2624), 점검후보 결정모듈(2625), GPU 정렬모듈(2626), 변경대상 결정모듈(2627), 분류테이블 갱신모듈(2628)로 이루어진다.
데이터 수집모듈(2621)은 기 설정된 주기(T) 동안의 각 GPU별 사용량 데이터들을 수집한다.
각 GPU 총사용량 산출모듈(2622)은 데이터 수집모듈(2621)에 의해 수집된 각 GPU별 사용량 데이터들을 활용하여, 각 GPU별 총사용량을 산출한다.
각 GPU 평균사용량 산출모듈(2623)은 각 GPU 총사용량 산출모듈(2622)에 의해 산출된 각 GPU별 총사용량과 주기(T)를 활용하여, 각 GPU별 평균사용량(
)을 산출한다.
상한설정값(TH) 비교모듈(2624)은 각 GPU 평균사용량 산출모듈(2623)에 의해 산출된 각 GPU별 평균사용량(
)과 기 설정된 상한설정값(TH)을 비교하며, 상세하게로는 각 GPU별 평균사용량(
)이 상한설정값(TH) 이상(
)인지를 비교한다.
이때 상한설정값(TH)은 해당 GPU에서 과부하로 판단할 수 있는 사용량 최소값으로 정의된다.
점검후보 결정모듈(2625)은 상한설정값(TH) 비교모듈(2624)에서, 1)상한설정값(TH) 미만의 평균사용량(
)을 갖는 GPU(254)는 점검후보에서 제거하되, 2)상한설정값(TH) 이상의 평균사용량(
)을 갖는 GPU(254)가 검출되면, 해당 GPU를 점검후보로 결정한다.
GPU 정렬모듈(2626)은 점검후보 결정모듈(2625)에서 점검후보가 결정될 때 실행된다.
또한 GPU 정렬모듈(2626)은 각 GPU 평균사용량 산출모듈(2623)에서 산출된 평균사용량(
)들을 활용하여, GPU(254)들을 평균사용량(
)이 낮은 순서부로 차례대로 정렬시킨다.
변경대상 결정모듈(2627)은 GPU 정렬모듈(2626)을 통해 평균사용량(
)이 가장 낮은 GPU를 변경대상으로 결정한다.
분류테이블 갱신모듈(2628)은 점검후보 결정모듈(2625)에서 점검후보로 결정된 GPU에 매칭된 복수개의 영상들 중 어느 하나가, 변경대상 결정모듈(2627)에서 변경대상으로 결정된 GPU로 입력되도록 하는 결정한 후, 결정된 매칭정보가 반영되도록 분류테이블을 갱신한다.
이때 분류테이블 갱신모듈(2628)에 의해 갱신된 분류테이블은 제2 제어부(250)의 제어에 따라 제2 메모리(251)에 저장된다.
이와 같이 본 발명의 일실시예인 AIoT 기반 교통안전 통합 관리시스템(1)은 관리-존(S)을 다수의 로컬-존(Sn)들로 분할함과 동시에 각 로컬-존(Sn)에서 메인 노드인 통합분석 제어기가 서브 노드인 교통부속장비들과 제1 네트워크로 연결되어 통합데이터를 생성하면서 부속장비들을 직접 제어하며, 각 로컬-존(Sn)의 통합분석 제어기들이 제2 네트워크로 연결되어 통합데이터를 서로 송수신하도록 구성됨으로써 종래에서와 같이 별도의 중앙관리서버를 구축하지 않아도, 각 관리-존(S) 및 각 로컬-존(Sn)에서 교통안전 서비스를 제공 및 해결이 가능하여 공간 및 비용소모를 현저히 절감시킬 수 있을 뿐만 아니라 데이터 처리의 신속성 및 현장성을 높일 수 있으며, 전체 서비스 장애 현상을 효과적으로 방지하며, 특정 로컬-존(Sn)에서 발생한 돌발 상황에 대해 서로 유동적으로 대응하여 안전성을 높일 수 있게 된다.
또한 본 발명의 AIoT 기반 교통안전 통합 관리시스템(1)은 통합분석 제어기가 다른 로컬-존(Sn)들로부터 전송받은 통합데이터에 돌발상황 확인정보가 존재하는지를 탐색하며, 돌발상황 확인정보 탐색 시, 연관도로를 결정한 후, 결정된 연관도로의 정보표출 부속장비들을 검출하며, 검출된 연관도로의 정보표출 부속장비들로 돌발 상황의 내용이 표출되도록 제어함으로써 돌발 상황으로 인한 2차 피해를 사전에 효과적으로 방지할 수 있다.
또한 본 발명의 AIoT 기반 교통안전 통합 관리시스템(1)은 차량 감지구간인 도로를 복수개의 셀(Cell)들로 분할하여, 셀 단위로 차량위치 및 속도 등의 교통정보를 생성함과 동시에 보행자 감지구간을 복수개의 셀들로 분할하여, 셀 단위로 보행자 위치 및 속도 등의 보행자정보를 생성하도록 구성됨으로써 정밀하고 정확한 타겟 감지가 이루어질 수 있으며, 외부 제공 시, 정보전달력을 개선시킬 수 있다.
또한 본 발명의 AIoT 기반 교통안전 통합 관리시스템(1)은 복수개의 GPU(Graphic Processing Unit)들을 이용하여 영상/열화상을 분석함으로써 촬영부들의 촬영에 의해 획득된 고용량의 영상/열화상들의 실시간 처리 및 분석이 가능하게 된다.
1:AIoT 기반 교통안전 통합 관리시스템
2-1, ..., 2-n:로컬 관리시스템 3:통합분석 제어기
4:레이더센서 5:보행자 분석제어기
7:정보표출 부속장비 9:촬영부
30:제어부 31:데이터베이스부
32:데이터송수신부 33:교통정보 생성부
35:돌발 상황 분석부 37:통합데이터 생성부
39:전시정보 관리부 50:제어부
51:메모리 52:통신 인터페이스부
53:영상분석 및 보행자객체 인식부 54:열화상분석 및 보행자객체 인식부
55:조도 산출부 56:조도기반 가중치 부여부
57:영상기반 보행자정보 생성부 58:열화상기반 보행자정보 생성부
59:보행자정보 결정부 91:RGB카메라
93:열화상카메라
2-1, ..., 2-n:로컬 관리시스템 3:통합분석 제어기
4:레이더센서 5:보행자 분석제어기
7:정보표출 부속장비 9:촬영부
30:제어부 31:데이터베이스부
32:데이터송수신부 33:교통정보 생성부
35:돌발 상황 분석부 37:통합데이터 생성부
39:전시정보 관리부 50:제어부
51:메모리 52:통신 인터페이스부
53:영상분석 및 보행자객체 인식부 54:열화상분석 및 보행자객체 인식부
55:조도 산출부 56:조도기반 가중치 부여부
57:영상기반 보행자정보 생성부 58:열화상기반 보행자정보 생성부
59:보행자정보 결정부 91:RGB카메라
93:열화상카메라
Claims (8)
- 기 설정된 각 로컬-존(Sn)의 교통안전 서비스를 제공하는 로컬 관리시스템들을 포함하는 AIoT 기반 교통안전 통합 관리시스템에 있어서:
상기 로컬 관리시스템들은
기 할당된 로컬-존(Sn)의 차량 및 보행자를 감지한 후, 차량의 위치, 속도를 포함하는 교통정보를 생성하는 통합분석 제어기를 포함하고,
상기 로컬관리시스템들의 상기 통합분석 제어기들은 제2 네트워크(N2)로 연결되며, 교통정보가 생성되면, 생성된 교통정보를 다른 로컬-존(Sn)들의 통합분석 제어기들로 생성된 교통정보를 전송하는 것을 특징으로 하는 AIoT 기반 교통안전 통합 관리시스템. - 제1항에 있어서, 각 로컬 관리시스템은
기 할당된 로컬-존(Sn)의 도로를 향하여 레이더(Radar) 신호를 송출한 후, 반사되는 신호를 수집하는 레이더센서들;
해당 로컬-존(Sn)의 인도 및 횡단보도를 촬영 및 열-추적하여 RGB영상 및 열화상을 획득하는 RGB카메라 및 열화상카메라를 포함하는 촬영부들;
상기 촬영부들과 일대일로 연결되어 연결된 촬영부로부터 전송받은 영상 및 열화상을 분석하여, 보행자 속도 및 위치를 포함하는 보행자정보를 생성하는 보행자분석 제어기들;
해당 로컬-존(Sn)의 도로 및 인도와 인접하게 설치되어, 상기 통합분석 제어기의 제어에 따라 돌발 상황을 외부로 표출하는 정보표출 부속장비들을 포함하고,
상기 통합분석 제어기들은
해당 로컬-존(Sn)에 설치되는 레이더센서들, 보행자분석 제어기들 및 정보표출 부속장비들과 제1 네트워크(N1)로 연결되는 것을 특징으로 하는 AIoT 기반 교통안전 통합 관리시스템. - 제2항에 있어서, 상기 통합분석 제어기는
데이터베이스부;
상기 제1 네트워크(N1)에 연결된 레이더센서들로부터 전송받은 송수신된 레이더신호 정보를 분석하여 차량객체를 감지한 후, 감지된 차량의 위치 및 속도를 포함하는 교통정보를 생성하는 교통정보 생성부;
상기 교통정보 생성부에 의해 생성된 교통정보를 분석하여, 과속차량인 위험차량이 감지되면 위험정보를 생성하며, 충돌상황이 감지되면 충돌정보를 생성하며, 생성된 위험정보 또는 충돌정보를 포함하는 돌발상황 확인정보를 생성하는 돌발 상황 분석부;
상기 교통정보 생성부에 의해 생성된 교통정보와, 상기 돌발 상황 분석부에 의해 생성된 돌발상황 확인데이터와, 상기 보행자분석 제어기들로부터 전송받은 보행자정보를 매칭시켜 통합데이터를 생성하는 통합데이터 생성부;
상기 통합데이터 생성부에 의해 생성된 통합데이터를 다른 로컬-존(Sn)들의 통합분석 제어기들로 전송하는 제어부를 포함하는 것을 특징으로 하는 AIoT 기반 교통안전 통합 관리시스템. - 제3항에 있어서, 상기 통합분석 제어기는 전시정보 관리부를 더 포함하고,
상기 전시정보 관리부는
다른 로컬-존(Sn)들의 통합분석 제어기들로부터 전송받은 통합데이터를 입력받는 통합데이터 입력모듈;
상기 통합데이터 입력모듈을 통해 입력된 통합데이터에 위험정보가 포함되는지를 탐색하며, 만약 위험정보가 탐색되면, 위험정보를 추출하는 위험정보 탐색 및 추출모듈;
상기 통합데이터 입력모듈을 통해 입력된 통합데이터에 충돌정보가 포함되는지를 탐색하며, 만약 충돌정보가 탐색되면, 충돌정보를 추출하는 충돌정보 탐색 및 추출모듈;
상기 통합데이터 입력모듈을 통해 입력된 통합데이터에 보행자정보를 활용하여, 횡단보도 보행자가 존재하는지 여부를 탐색하며, 만약 횡단보도 보행자가 탐색되면, 횡단보도 보행자정보를 추출하는 횡단보도 보행자 탐색 및 추출모듈;
1)상기 위험정보 탐색 및 추출모듈에 의해 위험정보가 추출되거나 2)상기 충돌정보 탐색 및 추출모듈에 의해 충돌정보가 추출되거나 또는 3)상기 횡단보도 보행자 탐색 및 추출모듈에 의해 횡단보도 보행자가 추출될 때 실행되며, 위험정보 또는 충돌정보가 추출된 로컬-존(Sn)인 위험/충돌 로컬-존을 식별한 후, 자신에게 할당된 로컬-존(Sn)의 도로들 중, 식별된 위험/충돌 로컬-존을 향하는 도로인 연관도로를 결정하는 연관도로 결정모듈;
기 설정된 정보표출 부속장비들의 위치정보와, 상기 연관도로 결정모듈에 의해 결정된 연관도로의 위치정보를 활용하여, 연관도로에 설치되는 정보표출 부속장비들을 검출하는 정보표출 부속장비 검출모듈;
1)상기 위험정보 탐색 및 추출모듈에 의해 추출된 위험정보의 위험내용이나 2)상기 충돌정보 탐색 및 추출모듈에 의해 추출된 충돌정보의 충돌내용 또는 3)상기 횡단보도 보행자 탐색 및 추출모듈에 의해 추출된 횡단보도 보행자 내용을 포함하는 전시정보를 생성하는 전시정보 생성모듈;
상기 전시정보 생성모듈에 의해 생성된 전시정보가, 상기 정보표출 부속장비 검출모듈에 의해 검출된 연관도로의 정보표출 부속장비들로 전송되도록 통신 인터페이스부를 제어하는 전시정보 출력제어모듈을 포함하는 것을 특징으로 하는 AIoT 기반 교통안전 통합 관리시스템. - 제4항에 있어서, 상기 보행자분석 제어기들은
연결된 촬영부의 위치 및 식별정보가 기 설정되어 저장되며, 연결된 촬영부의 촬영구간을 평면상으로 바라보았을 때, 촬영구간을 복수개로 분할한 영역인 셀(Cell)들 각각의 위치정보, 식별정보 및 픽셀위치정보가 매칭된 LUT(Look Up Table)가 기 설정되어 저장되는 메모리;
상기 연결된 촬영부의 촬영에 의해 획득된 영상을 분석하여 보행자객체를 인식하며, 인식된 보행자객체의 하단 중점과 사전에 설정한 셀 영역을 매칭하여 보행자의 위치를 산출한 후, 산출된 보행자의 셀위치를 포함하는 보행자객체 인식정보를 생성하는 영상분석 및 보행자객체 인식부;
상기 연결된 촬영부의 열-추적에 의해 획득된 열화상을 분석하여 보행자객체를 인식하며, 인식된 보행자객체의 하단 중점과 사전에 설정한 셀 영역을 매칭하여 보행자의 위치를 산출한 후, 산출된 보행자의 셀위치를 포함하는 보행자객체 인식정보를 생성하는 영상분석 및 보행자객체 인식부;
상기 RGB카메라의 촬영에 의해 획득된 영상의 RGB 프레임을 HSV 색공간으로 변환한 후, 변환된 명도 값(V)을 활용하여 조도를 산출하는 조도 산출부;
상기 조도 산출부에 의해 산출된 조도 값을 입력받으면, 입력된 조도 값에 따라, 영상분석에 의한 보행자객체 인식정보와, 열화상분석에 의한 보행자객체 인식정보의 가중치를 조절하는 조도기반 가중치 부여부;
상기 조도기반 가중치 부여부에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성하는 영상기반 보행자정보 생성부;
상기 조도기반 가중치 부여부에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성하는 열화상기반 보행자정보 생성부;
상기 영상기반 보행자정보 생성부에 의해 생성된 영상기반 보행자정보와, 상기 열화상기반 보행자정보 생성부에 의해 생성된 열화상기반 보행자정보를 비교하여, 이들 중 정확성이 높다고 판단되는 데이터를 보행자정보로 결정하는 보행자정보 결정부를 포함하는 것을 특징으로 하는 AIoT 기반 교통안전 통합 관리시스템. - 제5항에 있어서, 상기 통합분석 제어기의 상기 교통정보 생성부는
상기 레이더센서에 의해 송수신된 레이더신호 정보를 입력받는 레이더신호 정보 입력모듈;
상기 레이더신호 정보 입력모듈을 통해 입력된 레이더신호 정보를 분석하는 레이더신호 분석모듈;
칼만 필터(Kalman filter)를 이용하여 상기 레이더신호 분석모듈에 의해 검출된 분석데이터의 잡음 등을 제거하는 데이터 보간/보정모듈;
상기 레이더신호 분석모듈에 의해 검출된 분석데이터로부터, 차량객체가 아닌 주변객체를 나타내는 노이즈를 제거하는 노이즈 제거모듈;
상기 레이더신호 분석모듈에 의해 검출된 분석데이터로부터, 레이더신호가 차량객체에 의해 반사되어 주변 물체에 의해 MultiPath 반사가 생기는 현상인 Ghost 현상을 제거하는 Ghost 제거모듈;
상기 레이더신호 분석모듈에 의해 검출된 분석데이터로부터, 차체의 길이가 임계치 이상인 객체가 단일 객체가 아닌 2개 이상의 객체로 검지될 때, 동일차량에 대한 2개 이상으로 검지된 객체들을 단일객체로 병합시키는 동일객체 병합모듈;
상기 데이터 보간/보정모듈, 상기 노이즈 제거모듈, 상기 Ghost 제거모듈 및 상기 동일객체 병합모듈이 적용된 분석데이터를 활용하여, 차량객체를 감지하는 차량객체 감지모듈;
상기 차량객체 감지모듈에 의해 감지된 차량객체의 위치정보와, 상기 레이더센서들 각각의 검지구간(도로)을 평면상으로 바라보았을 때, 검지구간을 복수개로 분할한 영역인 셀(Cell)들 각각의 식별정보, 위치정보, 픽셀위치정보가 매칭된 LUT(Look Up Table)를 활용하여, 차량객체의 위치에 매칭되는 셀을 검출한 후, 셀의 평균속도를 산출하여, 셀 단위 교통정보를 생성 및 저장하는 셀 단위 교통정보 생성/저장모듈을 포함하는 것을 특징으로 하는 AIoT 기반 교통안전 통합 관리시스템. - 제5항에 있어서, 상기 보행자분석 제어기는 적어도 2개 이상의 촬영부들과 연결되고,
상기 보행자분석 제어기는 복수(M)의 GPU(Graphic Processing Unit)들을 포함하고,
상기 보행자분석 제어기들은
연결된 촬영부들 각각의 위치 및 식별정보가 기 설정되어 저장되며, 연결된 촬영부들 각각의 촬영구간을 평면상으로 바라보았을 때, 촬영구간을 복수개로 분할한 영역인 셀(Cell)들 각각의 위치정보, 식별정보 및 픽셀위치정보가 매칭된 LUT(Look Up Table)가 기 설정되어 저장되며, 입력된 영상/열화상을 처리할 대상인 GPU가 매칭된 분류테이블이 저장되는 메모리;
상기 촬영부들로부터 영상/열화상을 전송받을 때 실행되며, 상기 분류테이블에 저장된 매칭정보에 따라, 상기 촬영부들로부터 전송받은 영상/열화상들을 GPU로 분류시키는 영상/열화상 분류부;
보행자객체 인식정보를 생성하는 영상/열화상분석 및 보행자객체 인식부;
상기 RGB카메라들의 촬영에 의해 획득된 영상의 RGB 프레임들을 각각 HSV 색공간으로 변환한 후, 변환된 명도 값(V)을 활용하여 조도를 산출하는 조도 산출부;
상기 조도 산출부에 의해 산출된 조도 값을 입력받으면, 입력된 조도 값에 따라, 해당 영상의 분석에 의한 보행자객체 인식정보와, 해당 열화상의 분석에 의한 보행자객체 인식정보의 가중치를 조절하는 조도기반 가중치 부여부;
상기 조도기반 가중치 부여부에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성하는 영상기반 보행자정보 생성부;
상기 조도기반 가중치 부여부에 의해 가중치가 부여된 보행자객체의 움직임을 트래킹 하여, 보행자객체의 셀 위치, 속도 등을 포함하는 영상기반 보행자정보를 생성하는 열화상기반 보행자정보 생성부;
상기 영상기반 보행자정보 생성부에 의해 생성된 영상기반 보행자정보와, 상기 열화상기반 보행자정보 생성부에 의해 생성된 열화상기반 보행자정보를 비교하여, 이들 중 정확성이 높다고 판단되는 데이터를 보행자정보로 결정하는 보행자정보 결정부를 포함하고,
상기 영상/열화상분석 및 보행자객체 인식부는
상기 GPU들 각각에서 처리되는 영상/열화상분석 및 보행자객체 인식모듈들을 더 포함하고,
상기 영상/열화상분석 및 보행자객체 인식모듈들은
상기 영상/열화상 분류부의 분류에 따라, 1)입력된 영상을 분석하여 보행자객체를 인식하며 인식된 보행자객체의 하단 중점과 사전에 설정한 셀 영역을 매칭하여 보행자의 위치를 산출한 후, 산출된 보행자의 셀위치를 포함하는 영상기반의 보행자객체 인식정보를 생성함과 동시에 2)입력된 열화상을 분석하여 보행자객체를 인식하며 인식된 보행자객체의 하단 중점과 사전에 설정한 셀 영역을 매칭하여 보행자의 위치를 산출한 후, 산출된 보행자의 셀위치를 포함하는 열화상기반의 보행자객체 인식정보를 생성하는 것을 특징으로 하는 AIoT 기반 교통안전 통합 관리시스템. - 제7항에 있어서, 상기 보행자분석 제어기들은
상기 영상/열화상분석 및 보행자객체 인식모듈들 각각의 사용량(부하량)을 검출한 후, 검출된 사용량을 상기 메모리에 저장하는 사용량 모니터링부;
기 설정된 주기(T) 마다 실행되는 분류테이블 생성/갱신부를 더 포함하고,
상기 분류테이블 생성/갱신부는
상기 주기(T) 동안의 각 GPU별 사용량 데이터들을 수집하는 데이터 수집모듈;
상기 데이터 수집모듈에 의해 수집된 각 GPU별 사용량 데이터들을 활용하여, 각 GPU별 평균사용량()을 산출하는 각 GPU 평균사용량 산출모듈;
상기 각 GPU 평균사용량 산출모듈에 의해 산출된 각 GPU별 평균사용량()과, GPU에서 과부하로 판단할 수 있는 사용량 최소값을 의미하는 기 설정된 상한설정값(TH)을 비교하는 상한설정값(TH) 비교모듈;
상기 상한설정값(TH) 비교모듈에서, 1)상한설정값(TH) 미만의 평균사용량()을 갖는 GPU는 점검후보에서 제거시키되, 2)상한설정값(TH) 이상의 평균사용량(
)을 갖는 GPU가 검출되면, 해당 GPU를 점검후보로 결정하는 점검후보로 결정하는 점검후보 결정모듈;
상기 점검후보 결정모듈에서 점검후보가 결정될 때 실행되며, 평균사용량()이 가장 낮은 GPU를 변경대상으로 결정하는 변경대상 결정모듈;
상기 점검후보 결정모듈에서 점검후보로 결정된 GPU로 입력되는 복수개의 영상들 중 어느 하나가, 상기 변경대상 결정모듈에서 변경대상으로 결정된 GPU로 입력되도록 결정한 후, 결정된 매칭정보가 반영되도록 분류테이블을 갱신하는 분류테이블 갱신모듈을 포함하고,
상기 영상/열화상 분류부는
상기 카메라들로부터 전송받은 영상 및 열화상(카메라 식별정보 포함)을 입력받는 영상/열화상 입력모듈;
상기 연결된 촬영부들의 전체 수량(N)과, 상기 GPU(Graphic Processing Unit)들의 전체 수량(M)을 비교하는 비교 및 판단모듈;
상기 비교 및 판단모듈에서 전체 촬영부 수량(N)이 전체 GPU 수량(M)의 이하(N ≤ M)일 때 실행되며, 입력된 영상/열화상들을 상기 GPU들 각각으로 일대일 방식으로 입력시키는 일대일 기반 분류모듈;
상기 비교 및 판단모듈에서 전체 촬영부 수량(N)이 전체 GPU 수량(M)을 초과(N > M)할 때 실행되며, 상기 메모리에 저장된 분류테이블에 따라 영상들을 분류시키는 분류테이블 기반 분류모듈을 포함하는 것을 특징으로 하는 AIoT 기반 교통안전 통합 관리시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210192385A KR102656881B1 (ko) | 2021-12-30 | 2021-12-30 | AIoT 기반 교통안전 통합 관리시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210192385A KR102656881B1 (ko) | 2021-12-30 | 2021-12-30 | AIoT 기반 교통안전 통합 관리시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230102341A true KR20230102341A (ko) | 2023-07-07 |
| KR102656881B1 KR102656881B1 (ko) | 2024-04-12 |
Family
ID=87155032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210192385A KR102656881B1 (ko) | 2021-12-30 | 2021-12-30 | AIoT 기반 교통안전 통합 관리시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102656881B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102630455B1 (ko) * | 2023-10-04 | 2024-01-29 | (주)보고텍 | 객체 감지 수단을 이용한 스마트 vms 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080086632A (ko) * | 2007-03-23 | 2008-09-26 | 전자부품연구원 | 센서 네트워크를 이용한 교통사고 표시 방법 및 시스템 |
| KR101936004B1 (ko) * | 2017-10-12 | 2019-01-08 | (주)에이치엠씨 | 지능형 보행자 검출 방법 |
| KR102062589B1 (ko) * | 2019-10-02 | 2020-01-06 | (주)드림테크 | 어린이 보호구역 스마트 통합안내판 및 이를 이용한 통합 감시시스템 |
| KR102118581B1 (ko) * | 2019-11-20 | 2020-06-03 | 주식회사 플랜비 | 레이더 모듈이 구비된 cctv 카메라의 영상 처리 방법 및 이를 구비하는 cctv 시스템의 영상 처리 방법 |
-
2021
- 2021-12-30 KR KR1020210192385A patent/KR102656881B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080086632A (ko) * | 2007-03-23 | 2008-09-26 | 전자부품연구원 | 센서 네트워크를 이용한 교통사고 표시 방법 및 시스템 |
| KR101936004B1 (ko) * | 2017-10-12 | 2019-01-08 | (주)에이치엠씨 | 지능형 보행자 검출 방법 |
| KR102062589B1 (ko) * | 2019-10-02 | 2020-01-06 | (주)드림테크 | 어린이 보호구역 스마트 통합안내판 및 이를 이용한 통합 감시시스템 |
| KR102118581B1 (ko) * | 2019-11-20 | 2020-06-03 | 주식회사 플랜비 | 레이더 모듈이 구비된 cctv 카메라의 영상 처리 방법 및 이를 구비하는 cctv 시스템의 영상 처리 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102630455B1 (ko) * | 2023-10-04 | 2024-01-29 | (주)보고텍 | 객체 감지 수단을 이용한 스마트 vms 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102656881B1 (ko) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10636161B2 (en) | Image recognition system | |
| CN106228817B (zh) | 一种控制交通信号灯的方法和装置 | |
| KR102453096B1 (ko) | 스마트 횡단보도 신호 제어시스템 | |
| US20020054210A1 (en) | Method and apparatus for traffic light violation prediction and control | |
| KR102039118B1 (ko) | 레이더를 이용한 다차로 촬영시스템 | |
| KR102414876B1 (ko) | 라이다 기반 좌회전 감응신호를 이용한 교통신호 제어시스템 | |
| CN101739809A (zh) | 行人闯红灯自动报警监控系统 | |
| KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
| JP4577153B2 (ja) | 環境認識装置 | |
| KR101974105B1 (ko) | 차량번호 인식률을 높인 차량 촬영시스템 및 방법 | |
| US11029150B2 (en) | Object distance detection device | |
| KR102517813B1 (ko) | 골목길 교차로 신호 시스템, 방법 및 컴퓨터 프로그램 | |
| KR102656881B1 (ko) | AIoT 기반 교통안전 통합 관리시스템 | |
| JP2017130871A (ja) | 車両用画像生成装置 | |
| KR101210615B1 (ko) | 불법유턴 차량 단속 시스템 | |
| KR102456869B1 (ko) | 스마트 교통관제 시스템 | |
| KR102499340B1 (ko) | 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법 | |
| KR102561656B1 (ko) | 딥-러닝 기반 객체 감응을 활용한 차량 흐름 제어 시스템 | |
| bin Wan Hussin et al. | Review of traffic control techniques for emergency vehicles | |
| US11291098B2 (en) | Lighting system and method of controlling a lighting system | |
| KR102313634B1 (ko) | 교통 정보를 표시하기 위한 광을 조사하는 조명 장치와 이를 포함하는 지능형 교통 정보 제공 시스템 및 교통 정보 제공 방법 | |
| CN114332159A (zh) | 一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质 | |
| WO2023286463A1 (ja) | 検出装置、検出システム及び検出方法 | |
| KR102561657B1 (ko) | 신호 제어를 위한 객체 감응형 차량 흐름 제어 방법 | |
| KR102590274B1 (ko) | 양방향 차량 속도 검출 및 도로관제모드와 번호인식모드 자동 전환 cctv 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |