KR101942491B1 - 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 - Google Patents
도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 Download PDFInfo
- Publication number
- KR101942491B1 KR101942491B1 KR1020180136247A KR20180136247A KR101942491B1 KR 101942491 B1 KR101942491 B1 KR 101942491B1 KR 1020180136247 A KR1020180136247 A KR 1020180136247A KR 20180136247 A KR20180136247 A KR 20180136247A KR 101942491 B1 KR101942491 B1 KR 101942491B1
- Authority
- KR
- South Korea
- Prior art keywords
- cctv
- control
- unit
- frame
- image data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명에서는 기존의 CCTV카메라에서 촬영된 현장용 CCTC영상이 DSP처리 및 통합관제용 인터페이스처리없이, 바로 통합관제센터시스템으로 전달되기 때문에, 현장용 CCTV영상의 화질이 흔들리거나 휘미해져서, 특정개체를 육안으로 파악하기가 힘든 문제점과, 종래의 통합관제센터시스템에서는 관제자인 사람이 24시간 모니터를 보며 감시하는 체제이므로 즉각적인 반응이 어렵고, 실제 위험요소를 객체인식으로 판별하여 추적하기는 어려운 문제점과, 다양한 이상 상황 발생 시 위험 요소의 실시간 객체검출 및 추적이 불가능한 문제점, 그리고, 통합관제센터시스템에 도로교통 상황 모니터링 관제시스템 따로, 교통정보 분석시스템 따로, 교통신호등 제어시스템 따로, 구축이 되기 때문에, 시스템구축비용이 비싸지고, 시스템과부하에 따른 처리속도가 늦어지고, 잦은 고장이 발생되는 문제점을 개선하고자, 현장용 CCTV 모듈(100), CCTV 통합관제관리서버(200), 인공지능형 CCTV통합관제중개제어모듈(300)로 구성됨으로서, 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 형성된 인공지능형 CCTV통합관제중개제어모듈을 통해, DSP처리와 관제인터페이스 처리를 통해, 기존에 비해 80% 향상된 양질의 현장용 CCTV영상데이터를 통합관제센터의 모니터링화면에 표출시킬 수 있으며, CCTV 통합관제관리서버가 해야할 도로교통 상황 모니터링 관제기능과, 특정이동차량검출기능, 특정이동차량추적기능, 교통정보분석기능, 교통신호제어기능을 인공지능형 CCTV통합관제중개제어모듈을 수행시킬 수 있어, CCTV 통합관제관리서버의 업데이트되는 시스템구축비용을 기존에 비해 70% 저렴하게 할 수 있고, CCTV 통합관제관리서버의 모니터링화면 표출속도 및 분석처리속도를 기존에 비해 2배~4배 향상시킬 수 있으며, CCTV 통합관제관리서버의 고장발생율을 60%이하로 낮출 수 있고, 그리드 셀 기반형 합성곱 신경망구조와 RNN (Recurrent Neural Network) 신경망 구조를 통해 자가학습하면서, 학습한 자가학습데이터를 기반으로, 프레임별 현장용 CCTV영상데이터 속에 있는 이동차량과 비교하여, 특정이동차량만을 검출시킬 수 있어, 특정이동차량의 검출속도를 기존에 비해 80% 향상시킬 수 있고, 장애 시간이나 횟수를 줄임으로 인한 공백시간을 기존에 비해, 80% 줄일 수가 있으며, 이동차량 검출시, 정지된 환경에서 구현되는 기존의 차량검출과는 다르게 이동차량마다 ID를 부여하여 현재 프레임화면에서 알아볼 수 없다 하더라도, 또 다른 이웃하는 현장용 CCTV모듈에서 촬영된 다음 프레임화면의 이동차량의 특징 패턴과 벡터, 색정보를 비교하여 동일 이동차량임을 설정할 수 있어, 기존에 비해 특정이동차량검출율을 80% 향상시킬 수 있는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템를 제공하는데 그 목적이 있다.
Description
본 발명에서는 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 형성된 인공지능형 CCTV통합관제중개제어모듈을 통해, CCTV 통합관제관리서버가 해야할 도로교통 상황 모니터링 관제기능과, 특정이동차량검출기능, 특정이동차량추적기능, 교통정보분석기능, 교통신호제어기능을 수행시킬 수 있는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템에 관한 것이다.
최근들어, 사회 안전에 대한 인식이 고취됨에 따라 CCTV카메라의 설치 및 통합관제센터시스템이 구축되고 있는 상황이다.
CCTV카메라의 감시대상 지역이 넓은 경우 복수의 감시카메라를 감시대상 지역의 특정 위치마다 설치하고 하나의 모니터 화면에 영역을 분할하여 표시하는 CCTV시스템이 사용되고 있으며, 하나의 모니터 화면에 동시에 표시할 수 있는 것보다 많은 채널의 감시카메라가 연결된 경우에는 주기적으로 화면에 표시되는 감시카메라의 영상을 변경하거나 화면에 표시되는 감시카메라를 관제자가 선택하면서 감시 관제하고 있다.
하지만, 기존의 CCTV카메라에서 촬영된 현장용 CCTV영상이 DSP처리 및 통합관제용 인터페이스처리없이, 바로 통합관제센터시스템으로 전달되기 때문에, 현장용 CCTV영상의 화질이 흔들리거나 휘미해져서, 특정객체를 육안으로 파악하기가 힘든 문제점이 있었다.
또한, 종래의 통합관제센터시스템에서는 관제자인 사람이 24시간 모니터를 보며 감시하는 체제이므로 사람이 관찰하기 힘든 공간이나 시간에 문제 상황이 발생하였을 때, 즉각적인 반응이 어렵고, 특정 객체의 동일 여부만을 판단하여 추적할 뿐, 실제 위험요소를 객체인식으로 판별하여 추적하기는 어려운 문제점과, 다양한 이상 상황 발생 시 위험 요소의 실시간 객체검출 및 추적이 불가능한 문제점이 있었다.
그리고, 기존의 CCTV카메라와 통합관제센터시스템 사이에, 중개수단이 없어, 통합관제센터시스템에 도로교통 상황 모니터링 관제시스템 따로, 교통정보 분석시스템 따로, 교통신호등 제어시스템 따로, 구축이 되기 때문에, 시스템구축비용이 비싸지고, 시스템과부하에 따른 처리속도가 늦어지고, 잦은 고장이 발생되는 문제점이 있었다.
상기의 문제점을 해결하기 위해 본 발명에서는 LBS망별로 형성된 복수개의 현장용 CCTV 모듈에서 전송된 이동차량영상데이터를 기준으로 검출하고자 하는 특정이동차량을 검출하고, 실시간 추적시킬 수 있으며, 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 형성된 인공지능형 CCTV통합관제중개제어모듈을 통해, DSP처리와 관제인터페이스 처리할 수 있으며, CCTV 통합관제관리서버가 해야할 도로교통 상황 모니터링 관제기능과, 특정이동차량검출기능, 특정이동차량추적기능, 교통정보분석기능, 교통신호제어기능을 인공지능형 CCTV통합관제중개제어모듈을 수행시킬 수 있고, 그리드 셀 기반형 합성곱 신경망구조와 RNN (Recurrent Neural Network) 신경망 구조를 통해 자가학습하면서, 학습한 자가학습데이터를 기반으로, 프레임별 현장용 CCTV영상데이터 속에 있는 이동차량과 비교하여, 특정이동차량만을 검출시킬 수 있고, 이동차량 검출시, 정지된 환경에서 구현되는 기존의 차량검출과는 다르게 이동차량마다 ID를 부여하여 현재 프레임화면에서 알아볼 수 없다 하더라도, 또 다른 이웃하는 현장용 CCTV모듈에서 촬영된 다음 프레임화면의 이동차량의 특징 패턴과 벡터, 색정보를 비교하여 동일 이동차량임을 설정할 수 있는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템는
도로상에 위치되어, 인공지능형 CCTV통합관제중개제어모듈의 제어신호에 따라 구동되면서, 이동하는 차량의 영상을 촬영하고, 촬영한 현장용 CCTV영상데이터를 인공지능형 CCTV통합관제중개제어모듈쪽으로 전송시킨 후, 인공지능형 CCTV통합관제중개제어모듈의 제어신호에 따라 특정 차량을 추적하면서 촬영시키는 현장용 CCTV 모듈(100)과,
인공지능형 CCTV통합관제중개제어모듈로부터 전달된 매트릭스형 통합관제영상데이터를 모니터링 화면상에 표출시킨 후, 특정이동차량추적 또는 교통정보분석요청에 관한 명령신호를 인공지능형 CCTV통합관제중개제어모듈쪽으로 보내고, 이에 따른 응답신호로서, 인공지능형 CCTV통합관제중개제어모듈로부터 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 수신받아 모니터링 화면상에 표출시켜, 현장용 CCTV 모듈을 통합 운영·관리시키는 CCTV 통합관제관리서버(200)와,
복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 중개수단으로 위치되어, 복수개의 현장용 CCTV모듈을 LBS네트워크망으로 그룹화시켜 연결시킨 상태에서, 현장용 CCTV모듈로부터 현장용 CCTV영상데이터를 수신받아, 매트릭스형 통합관제영상데이터로 변환시켜 CCTV 통합관제관리서버쪽으로 1차 전송시키고, CCTV 통합관제관리서버로부터 특정이동차량추적 또는 교통정보분석요청에 관한 명령신호를 수신받고, 이에 따른 응답신호로서, 분석한 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 CCTV 통합관제관리서버쪽으로 2차 전송시키는 인공지능형 CCTV통합관제중개제어모듈(300)로 구성됨으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 형성된 인공지능형 CCTV통합관제중개제어모듈을 통해, DSP처리와 관제인터페이스 처리를 통해, 기존에 비해 80% 향상된 양질의 현장용 CCTV영상데이터를 통합관제센터의 모니터링화면에 표출시킬 수 있다.
둘째, CCTV 통합관제관리서버가 해야할 도로교통 상황 모니터링 관제기능과, 특정이동차량검출기능, 특정이동차량추적기능, 교통정보분석기능, 교통신호제어기능을 인공지능형 CCTV통합관제중개제어모듈을 수행시킬 수 있어, CCTV 통합관제관리서버의 업데이트되는 시스템구축비용을 기존에 비해 70% 저렴하게 할 수 있고, CCTV 통합관제관리서버의 모니터링화면 표출속도 및 분석처리속도를 기존에 비해 2배~4배 향상시킬 수 있으며, CCTV 통합관제관리서버의 고장발생율을 60%이하로 낮출 수 있다.
셋째, 그리드 셀 기반형 합성곱 신경망구조와 RNN (Recurrent Neural Network) 신경망 구조를 통해 자가학습하면서, 학습한 자가학습데이터를 기반으로, 프레임별 현장용 CCTV영상데이터 속에 있는 이동차량과 비교하여, 특정이동차량만을 검출시킬 수 있어, 특정이동차량의 검출속도를 기존에 비해 80% 향상시킬 수 있다.
넷째, 장애 시간이나 횟수를 줄임으로 인한 공백시간을 기존에 비해, 80% 줄일 수가 있으며, 이동차량 검출시, 정지된 환경에서 구현되는 기존의 차량검출과는 다르게 이동차량마다 ID를 부여하여 현재 프레임화면에서 알아볼 수 없다 하더라도, 또 다른 이웃하는 현장용 CCTV모듈에서 촬영된 다음 프레임화면의 이동차량의 특징 패턴과 벡터, 색정보를 비교하여 동일 이동차량임을 설정할 수 있어, 기존에 비해 특정이동차량검출율을 80% 향상시킬 수 있다.
도 1은 본 발명에 따른 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템(1)의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 CCTV 통합관제관리서버의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 인공지능형 CCTV통합관제중개제어모듈의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 프레임별현장용 CCTV영상데이터처리부의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 매트릭스형 통합관제영상데이터변환제어부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 하이브리드식 인공지능형 제어부의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 하이브리드 신경망형 프레임별이동차량검출제어부의 구성요소를 도시한 구성도,
도 9는 본 발명에 따른 그리드 셀 기반형 합성곱 신경망부(361a)는 도 9에 도시한 바와 같이, 입력되는 프레임별현장용 CCTV영상데이터를 그리드 셀 기반의 합성곱 신경망 구조를 통해, 하나의 셀에서 하나의 차량을 탐색시키는 것을 도시한 일실시에도,
도 10은 본 발명에 따른 컨벌류션(convolution) 레이어부를 통해 입력되는 프레임별현장용 CCTV영상데이터를 처리하기 위해 필터를 선택하고 이미지를 합성곱(convolution)하는 것을 도시한 일실시예도,
도 11은 본 발명에 따른 풀링(Pooling) 레이어부(361a-2)를 통해 컨벌류션(convolution) 레이어부의 출력 데이터를 입력으로 받아서 출력데이터(Activation Map)의 크기를 줄이거나, 특정 데이터를 강조하는 것을 도시한 일실시예도,
도 12는 본 발명에 따른 그리드 셀 기반형 합성곱 신경망부에서 3 scale 차량 탐색 신경망 구조를 통해, 차량을 탐색시키는 것을 도시한 일실시예도,
도 13은 본 발명에 따른 RNN (Recurrent Neural Network)부를 통해 순간마다 인공신경망 구조(Neural data)를 쌓아 올리는 것을 도시한 일실시예도,
도 14는 본 발명에 따른 특정이동차량추적제어부의 구성요소를 도시한 블럭도,
도 15는 본 발명에 따른 속도기반추적제어부(362a)를 통해 차량의 평균속도정보를 이용하여 현재위치를 예측하여 특정이동차량을 추적시키는 것을 도시한 일실시예도,
도 16은 본 발명에 따른 외양정보기반 추적제어부(362b)에서 현재 프레임 전체의 ORB feature를 추출하고, 추적실패한 차량의 feature 매칭(matching)을 통해 추적하는 것을 도시한 일실시예도,
도 17은 본 발명에 따른 생김새 기반 추적제어부(362c)에서 속도기반추적제어부와 외양정보기반 추적제어부를 통한 특정이동차량추적이 실패할 경우에 구동되어, 특정이동차량의 생김새, 누적이동을 기반으로 특정이동차량을 추적제어시키는 것을 도시한 일실시예도,
도 18은 본 발명에 따른 생김새 기반 추적제어부의 구성요소를 도시한 블럭도,
도 19는 본 발명에 따른 특정이동차량추적제어부(362)에서 객체단위의 추적을 통해, 객체간의 구별을 시키는 것을 도시한 일실시예도,
도 20은 본 발명에 따른 교통정보분석제어부의 구성요소를 도시한 블럭도,
도 21은 본 발명에 따른 지점차선별 교통정보 분석제어부에서 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 지점내 도로상의 영역을 통과하는 이동차량에 대한 차선별 교통량, 속도, 점유시간, 차량길이, 점유율, 차종 구분으로 이루어진 지점차선별 교통정보를 분석제어시키는 것을 도시한 일실시예도,
도 22는 본 발명에 따른 구간차선별 교통정보 분석제어부에서 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 구간내 도로상의 영역을 통과하는 이동차량에 차선별 통행시간, 통행속도, 교통밀도, 대기행렬로 이루어진 구간차선별 교통정보를 분석제어시키는 것을 도시한 일실시예도,
도 23은 본 발명에 따른 교차로 교통정보 분석제어부에서 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 교차로내 도로상의 영역을 통과하는 이동차량에 차선별 좌회전, 직진, 우회전, 유턴의 회전 교통류에 관한 교차로 교통정보를 분석제어시키는 것을 도시한 일실시예도,
도 24는 본 발명에 따른 이동차량 ID설정부에서 프레임별현장용 CCTV영상데이터에 나오는 이동차량마다 ID를 부여하여 현재 프레임화면에서 알아볼 수 없다 하더라도, 또 다른 이웃하는 현장용 CCTV모듈에서 촬영된 다음 프레임화면의 이동차량의 특징 패턴과 벡터, 색정보를 비교하여 동일 이동차량임을 설정시키는 것을 도시한 일실시예도,
도 25는 본 발명에 따른 인공지능형 CCTV통합관제중개제어모듈에서, 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 중개수단으로 위치되어, 복수개의 현장용 CCTV모듈을 LBS네트워크망으로 그룹화시켜 연결시키는 것을 도시한 일실시예도,
도 26은 본 발명에 따른 인공지능형 CCTV통합관제중개제어모듈에서 교통신호등을 제어하는 것을 도시한 일실시예도,
도 27은 본 발명에 따른 CCTV 통합관제관리서버에서, 인공지능형 CCTV통합관제중개제어모듈로부터 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 수신받아 모니터링 화면상에 표출시켜, 현장용 CCTV 모듈을 통합 운영·관리시키는 것을 도시한 일실시예도.
도 2는 본 발명에 따른 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 CCTV 통합관제관리서버의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 인공지능형 CCTV통합관제중개제어모듈의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 프레임별현장용 CCTV영상데이터처리부의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 매트릭스형 통합관제영상데이터변환제어부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 하이브리드식 인공지능형 제어부의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 하이브리드 신경망형 프레임별이동차량검출제어부의 구성요소를 도시한 구성도,
도 9는 본 발명에 따른 그리드 셀 기반형 합성곱 신경망부(361a)는 도 9에 도시한 바와 같이, 입력되는 프레임별현장용 CCTV영상데이터를 그리드 셀 기반의 합성곱 신경망 구조를 통해, 하나의 셀에서 하나의 차량을 탐색시키는 것을 도시한 일실시에도,
도 10은 본 발명에 따른 컨벌류션(convolution) 레이어부를 통해 입력되는 프레임별현장용 CCTV영상데이터를 처리하기 위해 필터를 선택하고 이미지를 합성곱(convolution)하는 것을 도시한 일실시예도,
도 11은 본 발명에 따른 풀링(Pooling) 레이어부(361a-2)를 통해 컨벌류션(convolution) 레이어부의 출력 데이터를 입력으로 받아서 출력데이터(Activation Map)의 크기를 줄이거나, 특정 데이터를 강조하는 것을 도시한 일실시예도,
도 12는 본 발명에 따른 그리드 셀 기반형 합성곱 신경망부에서 3 scale 차량 탐색 신경망 구조를 통해, 차량을 탐색시키는 것을 도시한 일실시예도,
도 13은 본 발명에 따른 RNN (Recurrent Neural Network)부를 통해 순간마다 인공신경망 구조(Neural data)를 쌓아 올리는 것을 도시한 일실시예도,
도 14는 본 발명에 따른 특정이동차량추적제어부의 구성요소를 도시한 블럭도,
도 15는 본 발명에 따른 속도기반추적제어부(362a)를 통해 차량의 평균속도정보를 이용하여 현재위치를 예측하여 특정이동차량을 추적시키는 것을 도시한 일실시예도,
도 16은 본 발명에 따른 외양정보기반 추적제어부(362b)에서 현재 프레임 전체의 ORB feature를 추출하고, 추적실패한 차량의 feature 매칭(matching)을 통해 추적하는 것을 도시한 일실시예도,
도 17은 본 발명에 따른 생김새 기반 추적제어부(362c)에서 속도기반추적제어부와 외양정보기반 추적제어부를 통한 특정이동차량추적이 실패할 경우에 구동되어, 특정이동차량의 생김새, 누적이동을 기반으로 특정이동차량을 추적제어시키는 것을 도시한 일실시예도,
도 18은 본 발명에 따른 생김새 기반 추적제어부의 구성요소를 도시한 블럭도,
도 19는 본 발명에 따른 특정이동차량추적제어부(362)에서 객체단위의 추적을 통해, 객체간의 구별을 시키는 것을 도시한 일실시예도,
도 20은 본 발명에 따른 교통정보분석제어부의 구성요소를 도시한 블럭도,
도 21은 본 발명에 따른 지점차선별 교통정보 분석제어부에서 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 지점내 도로상의 영역을 통과하는 이동차량에 대한 차선별 교통량, 속도, 점유시간, 차량길이, 점유율, 차종 구분으로 이루어진 지점차선별 교통정보를 분석제어시키는 것을 도시한 일실시예도,
도 22는 본 발명에 따른 구간차선별 교통정보 분석제어부에서 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 구간내 도로상의 영역을 통과하는 이동차량에 차선별 통행시간, 통행속도, 교통밀도, 대기행렬로 이루어진 구간차선별 교통정보를 분석제어시키는 것을 도시한 일실시예도,
도 23은 본 발명에 따른 교차로 교통정보 분석제어부에서 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 교차로내 도로상의 영역을 통과하는 이동차량에 차선별 좌회전, 직진, 우회전, 유턴의 회전 교통류에 관한 교차로 교통정보를 분석제어시키는 것을 도시한 일실시예도,
도 24는 본 발명에 따른 이동차량 ID설정부에서 프레임별현장용 CCTV영상데이터에 나오는 이동차량마다 ID를 부여하여 현재 프레임화면에서 알아볼 수 없다 하더라도, 또 다른 이웃하는 현장용 CCTV모듈에서 촬영된 다음 프레임화면의 이동차량의 특징 패턴과 벡터, 색정보를 비교하여 동일 이동차량임을 설정시키는 것을 도시한 일실시예도,
도 25는 본 발명에 따른 인공지능형 CCTV통합관제중개제어모듈에서, 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 중개수단으로 위치되어, 복수개의 현장용 CCTV모듈을 LBS네트워크망으로 그룹화시켜 연결시키는 것을 도시한 일실시예도,
도 26은 본 발명에 따른 인공지능형 CCTV통합관제중개제어모듈에서 교통신호등을 제어하는 것을 도시한 일실시예도,
도 27은 본 발명에 따른 CCTV 통합관제관리서버에서, 인공지능형 CCTV통합관제중개제어모듈로부터 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 수신받아 모니터링 화면상에 표출시켜, 현장용 CCTV 모듈을 통합 운영·관리시키는 것을 도시한 일실시예도.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템(1)의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 현장용 CCTV 모듈(100), CCTV 통합관제관리서버(200), 인공지능형 CCTV통합관제중개제어모듈(300)로 구성된다.
먼저, 본 발명에 따른 현장용 CCTV 모듈(100)에 관해 설명한다.
상기 현장용 CCTV 모듈(100)은 도로상에 위치되어, 인공지능형 CCTV통합관제중개제어모듈의 제어신호에 따라 구동되면서, 이동하는 차량의 영상을 촬영하고, 촬영한 현장용 CCTV영상데이터를 인공지능형 CCTV통합관제중개제어모듈쪽으로 전송시킨 후, 인공지능형 CCTV통합관제중개제어모듈의 제어신호에 따라 특정 차량을 추적하면서 촬영시키는 역할을 한다.
이는 PTZ카메라, IP카메라로 이루어지고, IVM, 광컨버터가 포함되어 구성된다.
그리고, 영상획득, 전송, 녹화 및 재생의 기본 장치로 구성되며, 피사체를 촬영하여 전기 신호를 변환하는 촬영 장치와, 촬영된 현장용 CCTV영상데이터를 원격지의 인공지능형 CCTV통합관제중개제어모듈로 송신시키고, 인공지능형 CCTV통합관제중개제어모듈의 제어명령신호 및 PTZ구동제어신호를 수신받는 유무선통신장치가 포함되어 구성된다.
즉, 본 발명에 따른 현장용 CCTV 모듈은 인공지능형 CCTV통합관제중개제어모듈의 제어신호 중 PTZ구동제어신호 따라, PTZ 구동제어하여, 카메라각도변화에 따른 현장 튜닝작업을 수행할 수가 있다.
이로 인해, 특정 차량을 추적하면서 촬영시킬 수가 있다.
다음으로, 본 발명에 따른 CCTV 통합관제관리서버(200)에 관해 설명한다.
상기 CCTV 통합관제관리서버(200)는 인공지능형 CCTV통합관제중개제어모듈로부터 전달된 매트릭스형 통합관제영상데이터를 모니터링 화면상에 표출시킨 후, 특정이동차량추적 또는 교통정보분석요청에 관한 명령신호를 인공지능형 CCTV통합관제중개제어모듈쪽으로 보내고, 이에 따른 응답신호로서, 인공지능형 CCTV통합관제중개제어모듈로부터 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 수신받아 모니터링 화면상에 표출시켜, 현장용 CCTV 모듈을 통합 운영·관리시키는 역할을 한다.
본 발명에서 설명되는 통합관제센터는 국가영상정보자원의 효율적 운영·관리를 위해 제공하는 시스템(통합관제센터 하드웨어, 통합관제 솔루션, 기반시설, 공간구조) 및 운영조직을 말하며, 여기서 국가 영상정보 자원이라 함은 공공안전, 사회 질서유지, 일반/특수시설관리 등 사회공익을 목적으로 설치·운영되어지고 있는 공공기관의 현장용 CCTV 모듈을 수집 분석하여 효과적으로 운영·관리할 수 있도록 구성된 자원을 의미한다.
본 발명에서는 통합관제센터의 CCTV 통합관제관리서버에서 이루어지는 특정이동차량검출, 특정이동차량추적, 교통정보분석을 인공지능형 CCTV통합관제중개제어모듈에서 수행시키고, 인공지능형 CCTV통합관제중개제어모듈에서 분석한 결과 데이터인 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 수신받아 모니터링 화면상에 표출시키도록 구성된다.
그리고, 본 발명에 따른 CCTV 통합관제관리서버는 LBS망을 기준으로, 인공지능형 CCTV통합관제중개제어모듈이 1~20개로 연결되어 구성된다.
상기 CCTV 통합관제관리서버는 도 3에 도시한 바와 같이, 저장장치(Storage)(210), 지능형솔루션엔진부(220)로 구성된다.
첫째, 본 발명에 따른 저장장치(Storage)(210)에 관해 설명한다.
상기 저장장치(Storage)(210)는 인공지능형 CCTV통합관제중개제어모듈에서 전송된 매트릭스형 통합관제영상데이터, 그리고, 인공지능형 CCTV통합관제중개제어모듈에서 분석한 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 DB화하여 저장시키는 역할을 한다.
이는 SAN(StorageAreaNetwork)스토리지가 포함되어 구성된다.
상기 SAN(StorageAreaNetwork)스토리지는 DAS(Direct Attached Storage)에서의 스토리지당 접속서비스의 증가와 서버 당 접속스토리지 수의 증가 그리고 관리비용의 절감 등을 목적으로 하여 채널접속에 네트워크의 개념을 도입한 방식으로써, 서버에 연결된 스토리지를 분리하고 다수의 스토리지를 연결하여 별도의 광케이블 채널을 이용하여, 네트워크형태로 구성한 저장장치 역할을 수행한다.
번거로운 이더넷 기반의 프로토콜을 쓰지 않으므로 지연을 발생시키는 오버헤드가 적고 외부 네트워크와 분리된 데이터 전달로 에러발생을 줄일 수 있고, 전체 네트워크에 부담을 주지 않는 장점과, SAN스위치를 통해 모든 서버와, 스토리지 공간 등에 직접 연결성을 제공하고,사용자 네트워크와는 별도의 네트워크를 이용하고, 데이터 서비스를 제공하여 사용자 네트워크의 부하를 줄일 수 있다.
SAN 상에서 모든 장치의 연결이 가능하여 자원의 공유는 물론 자원 활용률 역시 뛰어나고, CCTV통합관제센터시스템에서 중요한 확정성을 제공하는 것은 물론이고 스토리지 구성의 변경 및 용량의 확장이 용이한 특성을 가진다.
둘째, 본 발명에 따른 지능형솔루션엔진부(220)에 관해 설명한다.
상기 지능형솔루션엔진부(220)는 인공지능형 CCTV통합관제중개제어모듈로부터 전달된 매트릭스형 통합관제영상데이터를 분석하여, 사람의 행동패턴 인식과 수배 차량(=특정이동차량)이나, 위험행동(학교 울타리 침입, 배회, 불법주정차)을 감지하여 분석시키는 역할을 한다.
이는 차량번호자동판독기(AVNI:Automatic Vehicle NumberIdentification)모듈이 포함되어 구성된다.
상기 차량번호자동판독기(AVNI:Automatic Vehicle NumberIdentification)모듈은 매트릭스형 통합관제영상데이터에서 수배차량의 번호를 자동으로 판독하고 신속한 범인 검거가 가능하도록 수배차량(=특정이동차량)에 관한 차량번호와, 수배차량(=특정이동차량)에 관한 위치데이터, 그리고, 현재용 CCTV영상데이터를 생성시킨다.
이는 매트릭스형 통합관제영상데이터에서, 수배 차량(=특정이동차량)이나, 위험행동(학교 울타리 침입, 배회, 불법주정차)이 감지되면, 인공지능형 CCTV통합관제중개제어모듈쪽으로, 경고신호를 보내고, 인공지능형 CCTV통합관제중개제어모듈에서는 해당 현장용 CCTV모듈쪽으로 경고신호를 보내주어서, CCTV 통합관제관리서버에서 24시간 상주하고 있는 경찰관이나 관련기관이 신속하게 대응할 수 있게 도와줄 수 있도록 구성된다.
이처럼, 지능형솔루션엔진부를 통해 매트릭스형 통합관제영상데이터의 정보를 분석하여, 이를 자동으로 이상행위를 탐지하고, 관리자에게 경보를 전송하는 지능형영상 분석 기술을 활용하여, 사전에 사고를 예방하고, 사고가 발생한 경우에는 자동으로 신속하게 대응하여 피해를 줄일 수 있다.
다음으로, 본 발명에 따른 인공지능형 CCTV통합관제중개제어모듈(300)에 관해 설명한다.
상기 인공지능형 CCTV통합관제중개제어모듈(300)은 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 중개수단으로 위치되어, 복수개의 현장용 CCTV모듈을 LBS네트워크망으로 그룹화시켜 연결시킨 상태에서, 현장용 CCTV모듈로부터 현장용 CCTV영상데이터를 수신받아, 매트릭스형 통합관제영상데이터로 변환시켜 CCTV 통합관제관리서버쪽으로 1차 전송시키고, CCTV 통합관제관리서버로부터 특정이동차량추적 또는 교통정보분석요청에 관한 명령신호를 수신받고, 이에 따른 응답신호로서, 분석한 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 CCTV 통합관제관리서버쪽으로 2차 전송시키며, 교통신호등을 제어하는 역할을 한다.
이는 도 4에 도시한 바와 같이, 메인본체(310), 전원부(320), LBS 네트워크망 형성부(330), 프레임별현장용 CCTV영상데이터처리부(340), 매트릭스형 통합관제영상데이터변환제어부(350), 하이브리드식 인공지능형 제어부(360)로 구성된다.
첫째, 본 발명에 따른 메인본체(310)에 관해 설명한다.
상기 메인본체(310)는 박스형상으로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
이는 내부공간 일측에 전원부가 형성되고, 전원부 일측에 LBS 네트워크망 형성부가 형성되며, LBS 네트워크망 형성부 일측에 프레임별현장용 CCTV영상데이터처리부가 형성되고, 프레임별현장용 CCTV영상데이터처리부에 매트릭스형 통합관제영상데이터변환제어부가 형성되고, 매트릭스형 통합관제영상데이터변환제어부 일측에 하이브리드식 인공지능형 제어부가 형성되어 구성된다.
둘째, 본 발명에 따른 전원부(320)에 관해 설명한다.
상기 전원부(320)는 상용전원을 인가받아 DC-DC 변환하여 각 기기에 전원을 공급시키는 역할을 한다.
셋째, 본 발명에 따른 LBS 네트워크망 형성부(330)에 관해 설명한다.
상기 LBS 네트워크망 형성부(330)는 복수개의 현장용CCTV모듈을 LBS네트워크망으로 그룹화시켜 연결시키는 역할을 한다.
이는 현장용CCTV모듈의 위치기반서비스(LBS)를 기반으로, 1개~50개의 현장용 CCTV모듈별로 그룹화시키도록 구성된다.
그리고, LBS네트워크망으로 그룹화되어 연결된 복수개의 현장용 CCTV모듈 및 특정 위치의 현장용 CCTV모듈쪽으로, 특정이동차량 추적을 위해, PTZ 구동 제어 및 주변밝기(CDS)에 관한 제어신호를 송신시킨다.
넷째, 본 발명에 따른 프레임별현장용 CCTV영상데이터처리부(340)에 관해 설명한다.
상기 프레임별현장용 CCTV영상데이터처리부(340)는 현장용 CCTV모듈로부터 현장용 CCTV영상데이터를 수신받아, 프레임별현장용 CCTV영상데이터로 변환시킨 후, DSP 처리시키는 역할을 한다.
이는 도 5에 도시한 바와 같이, 표준프로토콜 스트리밍영상처리부(341), DSP처리부(342), 이동차량 ID설정부(343)로 구성된다.
상기 표준프로토콜 스트리밍영상처리부(341)는 LBS네트워크망을 기준으로 하나의 현장용 CCTV모듈에서 전송된 현장용 CCTV영상데이터와, 이웃하는 또 다른 현장용 CCTV모듈에서 전송된 현장용 CCTV영상데이터를 표준영상 프로토콜 TCP/IP, RTSP, NTP, FTP, SMTP 중 어느 하나가 선택된 표준프로토콜로 이루어진 프레임별현장용 CCTV영상데이터로 변환하여 네트워크 스트리밍 영상처리한 후, DSP 처리부로 전달시키는 역할을 한다.
여기서, 프레임별현장용 CCTV영상데이터는 LBS네트워크망을 기준으로 이동차량이 지나가는 곳에 위치한 하나의 현장용 CCTV모듈에서 전송된 현장용 CCTV영상데이터를 제1 프레임 현장용 CCTV 영상데이터로 설정하고, 이동차량이 지나가는 이웃하는 또 다른 현장용 CCTV모듈에서 전송된 현장용 CCTV영상데이터를 제2 프레임 현장용 CCTV 영상데이터로 설정하여, 제1 프레임 현장용 CCTV 영상데이터와, 제2 프레임 현장용 CCTV 영상데이터를 위치코드와 함께 하나의 세트로 형성시키는 것을 말한다.
상기 DSP처리부(342)는 연산전용 멀티코어 DSP(Digital Signal Processor)를 사용하여 프레임별현장용 CCTV영상데이터를 다양한 영상처리에 활용할 수 있도록 변환처리시키는 역할을 한다.
상기 이동차량 ID설정부(343)는 도 24에 도시한 바와 같이, 프레임별현장용 CCTV영상데이터에 나오는 이동차량마다 ID를 부여하여 현재 프레임화면에서 알아볼 수 없다 하더라도, 또 다른 이웃하는 현장용 CCTV모듈에서 촬영된 다음 프레임화면의 이동차량의 특징 패턴과 벡터, 색정보를 비교하여 동일 이동차량임을 설정시키는 역할을 한다.
다섯째, 본 발명에 따른 매트릭스형 통합관제영상데이터변환제어부(350)에 관해 설명한다.
상기 매트릭스형 통합관제영상데이터변환제어부(350)는 프레임별현장용 CCTV영상데이터처리부로부터 DSP 처리된 프레임별현장용 CCTV영상데이터를 전달받아, 매트릭스형 통합관제영상데이터로 변환시켜, CCTV 통합관제관리서버쪽으로 전송시키는 역할을 한다.
이는 도 6에 도시한 바와 같이, 매트릭스형 영상분할변환부(351), 관제 인터페이스 처리부(352)로 구성된다.
상기 매트릭스형 영상분할변환부(351)는 프레임별현장용 CCTV영상데이터처리부로부터 DSP 처리된 현장용 CCTV영상데이터를 전달받아, CCTV 통합관제관리서버의 모니터링 화면구조에 맞게 N*N 매트릭구조로 이루어진 매트릭스형 통합관제영상데이터로 변환시켜, 관제 인터페이스 처리부로 전달시키는 역할을 한다.
상기 관제 인터페이스 처리부(352)는 매트릭스형 통합관제영상데이터를 프로토콜 패킷 처리로 변환하여 CCTV 통합관제관리서버에서 정보 수신을 통한 표출 및 활용을 가능하도록 인터페이스 처리시키는 역할을 한다.
여섯째, 본 발명에 따른 하이브리드식 인공지능형 제어부(360)에 관해 설명한다.
상기 하이브리드식 인공지능형 제어부(360)는 메인본체의 내부공간 일측에 위치되어, 스스로 자가 학습하면서, 전원부, LBS 네트워크망 형성부, 프레임별현장용 CCTV영상데이터처리부, 매트릭스형 통합관제영상데이터변환부의 전반적인 동작을 제어하면서, 그리드 셀 기반형 합성곱 신경망구조와 RNN (Recurrent Neural Network) 신경망 구조를 통해, 자가학습하면서, 학습한 자가학습데이터를 기반으로, 프레임별현장용 CCTV영상데이터 속에 일반이동차량 또는 특정이동차량을 검출시키고, 추적시키며, 교통정보를 분석시킨 후, 그 결과값인 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 CCTV 통합관제관리서버로 전송시키도록 제어하고, 교통신호등을 제어하는 역할을 한다.
여기서, 하이브리드식은 특정이동차량검출추적기능과, 교통정보분석기능, 교통신호제어기능으로 이루어지는 것을 말한다.
이는 도 7에 도시한 바와 같이, 하이브리드 신경망형 프레임별이동차량검출제어부(361), 특정이동차량추적제어부(362), 교통정보분석제어부(363), 교통신호제어부(364)로 구성된다.
[하이브리드 신경망형 프레임별이동차량검출제어부(361)]
상기 하이브리드 신경망형 프레임별이동차량검출제어부(361)는 그리드 셀 기반형 합성곱 신경망구조와 RNN (Recurrent Neural Network) 신경망 구조를 통해 자가학습하면서, 학습한 자가학습데이터를 기반으로, 프레임별 현장용 CCTV영상데이터 속에 있는 이동차량과 비교하여, 특정이동차량만을 검출시키는 역할을 한다.
이는 도 8에 도시한 바와 같이, 그리드 셀 기반형 합성곱 신경망부(361a), RNN (Recurrent Neural Network)부(361b), CHNFTRS(Integral Channel Features)형 차량검출엔진부(361c)로 구성된다.
상기 그리드 셀 기반형 합성곱 신경망부(361a)는 도 9에 도시한 바와 같이, 입력되는 프레임별현장용 CCTV영상데이터를 그리드 셀 기반의 합성곱 신경망 구조를 통해, 하나의 셀에서 하나의 차량을 탐색시킨 후, 탐색시킨 차량 데이터를 시계열 데이터화하여 RNN (Recurrent Neural Network)부로 전달시키는 역할을 한다.
기존의 CNN 알고리즘은 분류기로써 입력된 영상의 클래스를 판단해주는 역할을 수행한다.
하지만, 영상 내의 차량의 수가 많아지는 경우 분류기의 작동 횟수가 증가하므로 일정한 작동 시간을 보장할 수 없는 문제점이 발생된다.
이에 본 발명에서는 그리드 셀 기반의 합성곱 신경망 구조를 통해, 하나의 셀에서 하나의 차량을 탐색하도록 설계한다.
그리고, 목표된 수의 차량을 탐색하기 때문에 병렬처리를 통해 탐색을 수행하는 경우 일정한 작동 시간을 확보 할 수 있는 특성을 가진다.
상기 그리드 셀 기반형 합성곱 신경망부(361a)는 컨벌류션(convolution) 레이어부(361a-1), 풀링(Pooling) 레이어부(361a-2)로 구성된다.
상기 컨벌류션(convolution) 레이어부(361a-1)는 도 10에 도시한 바와 같이, 입력되는 프레임별현장용 CCTV영상데이터를 처리하기 위해 필터를 선택하고 이미지를 합성곱(convolution)하는 역할을 한다.
여기서, 필터는 입력되는 프레임별현장용 CCTV영상데이터를 지정한 간격으로 순회하면서 합성곱을 계산한다.
그리고, 지정된 간격으로 필터를 순회하는 간격을 Stride라고 한다.
입력되는 프레임별현장용 CCTV영상데이터가 여러 채널을 갖을 경우에 필터는 각 채널을 병렬처리를 하면서 순회하며 합성곱을 계산한 후, 그리드셀 기반의 채널별 피처 맵을 생성시킨다.
상기 풀링(Pooling) 레이어부(361a-2)는 도 11에 도시한 바와 같이, 컨벌류션(convolution) 레이어부의 출력 데이터를 입력으로 받아서 출력데이터(Activation Map)의 크기를 줄이거나, 특정 데이터를 강조하는 역할을 한다.
이는 Pooling 크기와 Stride를 같은 크기로 설정하여 모든 원소가 한 번씩 처리 되도록 설정된다.
즉, 모든 원소가 하나의 셀에서 하나의 차량을 탐색하도록 설정된다.
상기 컨벌류션(convolution) 레이어부, 풀링(Pooling) 레이어부로 이루어진 그리드 셀 기반형 합성곱 신경망부는 Multy scale 탐색 적용을 통한 차량탐색 성능을 고도화시킬 수 있다.
본 발명에서는 다음과 같이, 3 scale 차량 탐색 신경망 구조로 이루어진다.
① 이미지 컨볼루션 (1~78 Layer)
② 13*13*1024 -> 큰 물체 탐색 (79~82 Layer)
③ 26*26*512 -> 중간 크기 물체 탐색 (91~94 Layer)
④ 52*52*256 -> 작은 크기 물체 탐색 (103~106 Layer)
즉, 처음에는 이미지 컨볼루션(합성곱)으로 1~78 Layer를 형성하여, 각 채널을 병렬처리를 하면서 순회하며 합성곱을 계산한다.
이어서, 이미지 중 13*13의 이미지 영역과, 1024의 화소를 큰 물체로 설정하고, 이미지 컨볼루션(합성곱)으로 79~82 Layer를 형성하여, 각 채널을 병렬처리를 하면서 순회하며, 13*13의 이미지 영역과, 1024의 화소를 갖는 큰 물체의 차량을 탐색한다.
이어서, 이미지 중 26*26의 이미지 영역과, 512의 화소를 중간 크기 물체로 설정하고, 이미지 컨볼루션(합성곱)으로 91~94 Layer를 형성하여, 각 채널을 병렬처리를 하면서 순회하며, 26*26의 이미지 영역과, 512의 화소를 갖는 중간 크기 물체의 차량을 탐색한다.
이어서, 이미지 중 52*52의 이미지 영역과, 256의 화소를 작은 크기 물체로 설정하고, 이미지 컨볼루션(합성곱)으로 103~106 Layer를 형성하여, 각 채널을 병렬처리를 하면서 순회하며, 52*52의 이미지 영역과, 256의 화소를 갖는 작은 크기 물체의 차량을 탐색한다.
이처럼, 상기 그리드 셀 기반형 합성곱 신경망부(361a)는 도 12에 도시한 바와 같이, 3 scale 차량 탐색 신경망 구조를 통해, 차량을 탐색시킨 후, 탐색시킨 차량 데이터를 시계열 데이터화하여 RNN (Recurrent Neural Network)부로 전달시킨다.
상기 RNN (Recurrent Neural Network)부(361b)는 그리드 셀 기반형 합성곱 신경망부로부터 전달된 시계열 데이터인 프레임별현장용 CCTV영상데이터의 탐색 차량 데이터를 시간의 흐름에 따라 나타나는 특징들(차선, 차량의 종류, 차량의 크기, 차량수, 차량속도, 도로환경)을 딥러닝 학습하는 역할을 한다.
여기서, 시계열 데이터(Time series data)는 시간의 경과에 따라 변하는 Data군들을 말한다.
일예로, 주간도 시간에 따라 변하고, 사물의 움직임도 시간에 따라 변하고, 식물도 시간에 따라 변한다.
이러한 시계열Data에서 우수한 성능을 보여 주는 Deep learning 방법의 하나가 RNN(Recurrent Neural Network)이다.
RNN은 도 13에 도시한 바와같이, 순간마다 인공신경망 구조(Neural data)를 쌓아 올린다.
그러므로 Deep learning 중에 가장 깊은 구조라고도 한다.
상기 RNN (Recurrent Neural Network)부(361b)는 다음과 같은 과정을 통해 학습을 한다.
먼저, 자료수집한다.
이어서, 입력 데이터 준비(각 알고리즘에서 사용할 수 있는 형태로 변환)한다.
이어서, 입력 데이터를 분석한다.
이어서, 학습 알고리즘을 훈련시킨다. 이는 정제된 Data를 알고리즘에 입력하여 정보나 지식을 추출하고, 비지도 학습의 경우 고정된 목적 값을 갖지 않기 때문에 훈련의 한계가 없다.
이어서, 학습 알고리즘을 테스트한다. 즉, 훈련이 얼마나 잘 되어 있는지를 알아보기 위해 학습정보를 테스트한다. 그리고, 지도학습의 경우에는 알려진 몇 가지 방법을 이용해 평가 테스트를 진행한다. 이때, 평가 결과가 만족스럽지 못하면 훈련을 다시 하거나 자료수집에문제가 없었는지를 확인해 수정된 데이터를 가지고 재평가한다.
이어서, 목적 값을 예측하거나 예견을 위한 학습이라면 지도학습 알고리즘을 이용하고 순수 학습방법만으로 목적 데이터의 결과물을 얻으려면, 비 학습방법의 알고리즘을 활용하는 것이 좋다. 이는 지도학습 방법의 목적 값이 이산적인 값(“Yes/No”, “1/2/3”, “A/B/C”와 같은 분류 방법이라면 회기의 귀납법과 같은 방법을 사용한다.
이처럼, RNN (Recurrent Neural Network)부(361b)에서 딥러닝 학습한 "검출 대상 영역에 대한 특징들(차선, 차량의 종류, 차량의 크기, 차량수, 차량속도, 도로환경)"은 자가 학습한 자가학습데이터로 설정된다.
상기 CHNFTRS(Integral Channel Features)형 차량검출엔진부(361c)는 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 전달된 프레임별현장용 CCTV영상데이터에서 특정이동차량만을 검출시키는 역할을 한다.
즉, 현재 전달된 프레임별현장용 CCTV영상데이터에서, 검출 대상 영역에 대해 특징들(차선, 차량의 종류, 차량의 크기, 차량수, 차량속도, 도로환경)을 연산시킨 후, 연산시킨 채널들을 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 비교분석하면서 특정이동차량만을 검출시킨다.
본 발명에서는 CHNFTRS(Integral Channel Features)형 차량검출엔진부(361d-2)를 통해, 현재 전달된 프레임별현장용 CCTV영상데이터에서, 검출 대상 영역에 대해 특징들(차선, 차량의 종류, 차량의 크기, 차량수, 차량속도, 도로환경)을 연산시킨 후, 연산시킨 채널들을 종합적으로 이용해서 특정이동차량만을 검출시킨다.
[특정이동차량추적제어부(362)]
상기 특정이동차량추적제어부(362)는 하이브리드 신경망형 프레임별이동차량검출제어부를 통해 검출된 특정이동차량이 어디로 이동하였는지 추적하도록 제어시키는 역할을 한다.
이는 도 14에 도시한 바와 같이, 속도기반추적제어부(362a), 외양정보기반 추적제어부(362b), 생김새 기반 추적제어부(362c) 중 어느 하나, 또는 둘 이상이 선택되어 구성된다.
상기 속도기반추적제어부(362a)는 도 15에 도시한 바와 같이, 차량의 평균속도정보를 이용하여 현재위치를 예측하여 특정이동차량을 추적시키는 역할을 한다.
이는 특정이동차량의 평균속도정보를 이용한 현재위치를 예측한다.
이어서, 속도예측 + 검출정보를 기반으로 신뢰도 조정 및 추적을 한다.
상기 외양정보기반 추적제어부(362b)는 속도기반추적제어부를 통한 특정이동차량추적이 실패할 경우에 구동되어, 현재프레임인 전체의 외양정보(ORB feature)를 추출한 후, 현재 전달된 프레임별현장용 CCTV영상데이터에서 외양정보(ORB feature)에 매칭시켜, 특정이동차량을 추적시키는 역할을 한다.
이는 도 16에 도시한 바와 같이, 현재 프레임 전체의 ORB feature를 추출하고, 추적실패한 차량의 feature 매칭(matching)을 통해 추적한다.
상기 생김새 기반 추적제어부(362c)는 도 17에 도시한 바와 같이, 속도기반추적제어부와 외양정보기반 추적제어부를 통한 특정이동차량추적이 실패할 경우에 구동되어, 특정이동차량의 생김새, 누적이동을 기반으로 특정이동차량을 추적제어시키는 역할을 한다.
이는 도 18에 도시한 바와 같이, 생김새 기반 추출알고리즘엔진부(362c-1), 누적형 이동정보기반 추출부(362c-2)로 구성된다.
상기 생김새 기반 추출알고리즘엔진부(362c-1)는 특정이동차량의 생김새(특징)를 기반으로 추출시키는 역할을 한다.
상기 누적형 이동정보기반 추출부(362c-2)는 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터 중 특정이동차량의 누적된 이동정보를 추출시키는 역할을 한다.
이처럼, 본 발명에서는 생김새 기반 추적제어부(362a), 속도기반추적제어부(362b), 외양정보기반 추적제어부(362c) 중 어느 하나가 선택되어 구성된 특정이동차량추적제어부(362)를 통해, 기존에 객체단위의 추적이 아닌, 픽셀영역 단위의 추적이기 때문에 객체간의 구별이 불가능하고, 차량이 겹쳐지는 경우에 추적이 경건하지 못한 문제점을 개선하여, 도 19에 도시한 바와 같이, 객체단위의 추적을 통해, 객체간의 구별이 가능한 우수한 특성을 가진다.
[교통정보분석제어부(363)]
상기 교통정보분석제어부(363)는 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 지점, 구간, 교차로에 대한 교통정보를 분석제어시키는 역할을 한다.
이는 도 20에 도시한 바와 같이, 지점차선별 교통정보 분석제어부(363a), 구간차선별 교통정보 분석제어부(363b), 교차로 교통정보 분석제어부(363c), 다채널 교통정보 분석제어부(363d), 교통정보분석 인터페이스처리부(363e)로 구성된다.
상기 지점차선별 교통정보 분석제어부(363a)는 도 21에 도시한 바와 같이, 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 지점내 도로상의 영역을 통과하는 이동차량에 대한 차선별 교통량, 속도, 점유시간, 차량길이, 점유율, 차종 구분으로 이루어진 지점차선별 교통정보를 분석제어시키는 역할을 한다.
상기 구간차선별 교통정보 분석제어부(363b)는 도 22에 도시한 바와 같이, 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 구간내 도로상의 영역을 통과하는 이동차량에 차선별 통행시간, 통행속도, 교통밀도, 대기행렬로 이루어진 구간차선별 교통정보를 분석제어시키는 역할을 한다.
상기 교차로 교통정보 분석제어부(363c)는 도 23에 도시한 바와 같이, 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 교차로내 도로상의 영역을 통과하는 이동차량에 차선별 좌회전, 직진, 우회전, 유턴의 회전 교통류에 관한 교차로 교통정보를 분석제어시키는 역할을 한다.
상기 다채널 교통정보 분석제어부(363d)는 지점, 구간, 교차로에 대한 교통정보를 1채널~8채널로 영상입력과 동시에 분석제어시키는 역할을 한다.
상기 교통정보분석 인터페이스처리부(363e)는 지점, 구간, 교차로로 분석된 교통정보분석데이터를 프로토콜 패킷 처리로 변환하여 CCTV 통합관제관리서버에서 정보 수신을 통한 표출 및 활용이 가능하도록 인터페이스 처리시키는 역할을 한다.
[교통신호제어부(364)]
상기 교통신호제어부(364)는 교통정보분석제어부에서 분석한 지점, 구간, 교차로에 대한 교통정보분석데이터를 기반으로, 현장용 CCTV 모듈에 위치한 교통신호등의 신호주기를 제어시키는 역할을 한다.
이는 미리 현장용 CCTV 모듈에 위치한 교통신호등과 유무선통신망으로 연결된 상태에서, 교통정보분석제어부에서 분석한 지점, 구간, 교차로에 대한 교통정보분석데이터를 기반으로, 교통신호등의 신호주기를 제어하도록 구성된다.
즉, 교통정보분석제어부에서 분석한 지점, 구간, 교차로에 대한 교통정보분석데이터 중 러시아워 또는 교통사고로 인해, 정체가 발생되면, 교통신호등의 신호주기를 평상시보다 빠르게 하며, 교통흐름을 현장에서 자동으로 제어시킬 수가 있다.
또한, 현장에서 발생된 교통신호등의 신호주기 제어데이터를 CCTV 통합관제관리서버쪽으로 전송시킨다.
이하, 본 발명에 따른 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템의 구체적인 동작과정에 관해 설명한다.
먼저, 도 25에 도시한 바와 같이, 인공지능형 CCTV통합관제중개제어모듈에서, 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 중개수단으로 위치되어, 복수개의 현장용 CCTV모듈을 LBS네트워크망으로 그룹화시켜 연결시킨다.
다음으로, LBS네트워크망으로 연결된 현장용 CCTV 모듈에서 인공지능형 CCTV통합관제중개제어모듈의 제어신호에 따라 구동되면서, 이동하는 차량의 영상을 촬영한다.
다음으로, 현장용 CCTV 모듈에서 촬영한 현장용 CCTV영상데이터를 인공지능형 CCTV통합관제중개제어모듈쪽으로 전송시킨다.
다음으로, 인공지능형 CCTV통합관제중개제어모듈에서, 현장용 CCTV모듈로부터 현장용 CCTV영상데이터를 수신받아, 매트릭스형 통합관제영상데이터로 변환시켜 CCTV 통합관제관리서버쪽으로 1차 전송시킨다.
다음으로, CCTV 통합관제관리서버에서 인공지능형 CCTV통합관제중개제어모듈로부터 전달된 매트릭스형 통합관제영상데이터를 모니터링 화면상에 표출시킨다.
다음으로, CCTV 통합관제관리서버에서 특정이동차량추적 또는 교통정보분석요청에 관한 명령신호를 인공지능형 CCTV통합관제중개제어모듈쪽으로 보낸다.
다음으로, 인공지능형 CCTV통합관제중개제어모듈에서 CCTV 통합관제관리서버로부터 특정이동차량추적 또는 교통정보분석요청에 관한 명령신호를 수신받고, 이에 따른 응답신호로서, 분석한 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 CCTV 통합관제관리서버쪽으로 2차 전송시킨다.
즉, 하이브리드 신경망형 프레임별이동차량검출제어부에서 그리드 셀 기반형 합성곱 신경망구조와 RNN (Recurrent Neural Network) 신경망 구조를 통해 자가학습하면서, 학습한 자가학습데이터를 기반으로, 프레임별 현장용 CCTV영상데이터 속에 있는 이동차량과 비교하여, 특정이동차량만을 검출시킨다.
이어서, 특정이동차량추적제어부에서 하이브리드 신경망형 프레임별이동차량검출제어부를 통해 검출된 특정이동차량이 어디로 이동하였는지 추적하도록 제어시킨다.
이어서, 교통정보분석제어부에서 그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 지점, 구간, 교차로에 대한 교통정보를 분석제어시킨다.
다음으로, 도 26에 도시한 바와 같이, 인공지능형 CCTV통합관제중개제어모듈에서 교통신호등을 제어한다.
끝으로, 도 27에 도시한 바와 같이, CCTV 통합관제관리서버에서, 인공지능형 CCTV통합관제중개제어모듈로부터 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 수신받아 모니터링 화면상에 표출시켜, 현장용 CCTV 모듈을 통합 운영·관리시킨다.
상기 CCTV 통합관제관리서버는 지능형솔루션엔진부를 통해, 인공지능형 CCTV통합관제중개제어모듈로부터 전달된 매트릭스형 통합관제영상데이터를 분석하여, 사람의 행동패턴 인식과 수배 차량(=특정이동차량)이나, 위험행동(학교 울타리 침입, 배회, 불법주정차)을 분석시킨다.
즉, 매트릭스형 통합관제영상데이터에서, 수배 차량(=특정이동차량)이나, 위험행동(학교 울타리 침입, 배회, 불법주정차)이 감지되면, 인공지능형 CCTV통합관제중개제어모듈쪽으로, 경고신호를 보낸다.
이어서, 인공지능형 CCTV통합관제중개제어모듈에서는 해당 현장용 CCTV모듈쪽으로 경고신호를 보내주어서, CCTV 통합관제관리서버에서 24시간 상주하고 있는 경찰관이나 관련기관이 신속하게 대응할 수 있게 도와줄 수 있도록 구성된다.
1 : 인공지능형 CCTV 통합관제중개장치
100 : 현장용 CCTV 모듈
200 : CCTV 통합관제관리서버
300 : 인공지능형 CCTV통합관제중개제어모듈
310 : 메인본체
320 : 전원부
330 : LBS 네트워크망 형성부
340 : 프레임별현장용 CCTV영상데이터처리부
350 : 매트릭스형 통합관제영상데이터변환제어부
360 : 하이브리드식 인공지능형 제어부
100 : 현장용 CCTV 모듈
200 : CCTV 통합관제관리서버
300 : 인공지능형 CCTV통합관제중개제어모듈
310 : 메인본체
320 : 전원부
330 : LBS 네트워크망 형성부
340 : 프레임별현장용 CCTV영상데이터처리부
350 : 매트릭스형 통합관제영상데이터변환제어부
360 : 하이브리드식 인공지능형 제어부
Claims (9)
- 도로상에 위치되어, 인공지능형 CCTV통합관제중개제어모듈의 제어신호에 따라 구동되면서, 이동하는 차량의 영상을 촬영하고, 촬영한 현장용 CCTV영상데이터를 인공지능형 CCTV통합관제중개제어모듈쪽으로 전송시킨 후, 인공지능형 CCTV통합관제중개제어모듈의 제어신호에 따라 특정 차량을 추적하면서 촬영시키는 현장용 CCTV 모듈(100)과,
인공지능형 CCTV통합관제중개제어모듈로부터 전달된 매트릭스형 통합관제영상데이터를 모니터링 화면상에 표출시킨 후, 특정이동차량추적 또는 교통정보분석요청에 관한 명령신호를 인공지능형 CCTV통합관제중개제어모듈쪽으로 보내고, 이에 따른 응답신호로서, 인공지능형 CCTV통합관제중개제어모듈로부터 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 수신받아 모니터링 화면상에 표출시켜, 현장용 CCTV 모듈을 통합 운영·관리시키는 CCTV 통합관제관리서버(200)와,
복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 중개수단으로 위치되어, 복수개의 현장용 CCTV모듈을 LBS네트워크망으로 그룹화시켜 연결시킨 상태에서, 현장용 CCTV모듈로부터 현장용 CCTV영상데이터를 수신받아, 매트릭스형 통합관제영상데이터로 변환시켜 CCTV 통합관제관리서버쪽으로 1차 전송시키고, CCTV 통합관제관리서버로부터 특정이동차량추적 또는 교통정보분석요청에 관한 명령신호를 수신받고, 이에 따른 응답신호로서, 분석한 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 CCTV 통합관제관리서버쪽으로 2차 전송시키며, 교통신호등을 제어하는 인공지능형 CCTV통합관제중개제어모듈(300)로 구성되는 것으로서,
상기 인공지능형 CCTV통합관제중개제어모듈(300)은
박스형상으로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 메인본체(310)와,
상용전원을 인가받아 DC-DC 변환하여 각 기기에 전원을 공급시키는 전원부(320)와,
복수개의 현장용CCTV모듈을 LBS네트워크망으로 그룹화시켜 연결시키는 LBS 네트워크망 형성부(330)와,
현장용 CCTV모듈로부터 현장용 CCTV영상데이터를 수신받아, 프레임별현장용 CCTV영상데이터로 변환시킨 후, DSP 처리시키는 프레임별현장용 CCTV영상데이터처리부(340)와,
프레임별현장용 CCTV영상데이터처리부로부터 DSP 처리된 프레임별현장용 CCTV영상데이터를 전달받아, 매트릭스형 통합관제영상데이터로 변환시켜, CCTV 통합관제관리서버쪽으로 전송시키는 매트릭스형 통합관제영상데이터변환제어부(350)와,
메인본체의 내부공간 일측에 위치되어, 스스로 자가 학습하면서, 전원부, LBS 네트워크망 형성부, 프레임별현장용 CCTV영상데이터처리부, 매트릭스형 통합관제영상데이터변환부의 전반적인 동작을 제어하면서, RNN (Recurrent Neural Network) 신경망 구조를 통해, 프레임별현장용 CCTV영상데이터 속에 일반이동차량 또는 특정이동차량을 검출시키고, 추적시키며, 교통정보를 분석시킨 후, 그 결과값인 특정이동차량검출데이터와 특정이동차량추적데이터, 또는 교통정보분석데이터를 CCTV 통합관제관리서버로 전송시키도록 제어하는 하이브리드식 인공지능형 제어부(360)로 구성되는 것에 있어서,
상기 프레임별현장용 CCTV영상데이터처리부(340)는
LBS네트워크망을 기준으로 하나의 현장용 CCTV모듈에서 전송된 현장용 CCTV영상데이터와, 이웃하는 또 다른 현장용 CCTV모듈에서 전송된 현장용 CCTV영상데이터를 표준영상 프로토콜 TCP/IP, RTSP, NTP, FTP, SMTP 중 어느 하나가 선택된 표준프로토콜로 이루어진 프레임별현장용 CCTV영상데이터로 변환하여 네트워크 스트리밍 영상처리한 후, DSP 처리부로 전달시키는 표준프로토콜 스트리밍영상처리부(341)와,
연산전용 멀티코어 DSP(Digital Signal Processor)를 사용하여 프레임별현장용 CCTV영상데이터를 다양한 영상처리에 활용할 수 있도록 변환처리시키는 DSP처리부(342)와,
프레임별현장용 CCTV영상데이터에 나오는 이동차량마다 ID를 부여하여 현재 프레임화면에서 알아볼 수 없다 하더라도, 또 다른 이웃하는 현장용 CCTV모듈에서 촬영된 다음 프레임화면의 이동차량의 특징 패턴과 벡터, 색정보를 비교하여 동일 이동차량임을 설정시키는 이동차량 ID설정부(343)로 구성되는 것을 특징으로 하는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서, 상기 매트릭스형 통합관제영상데이터변환제어부(350)는
프레임별현장용 CCTV영상데이터처리부로부터 DSP 처리된 현장용 CCTV영상데이터를 전달받아, CCTV 통합관제관리서버의 모니터링 화면구조에 맞게 N*N 매트릭스 구조로 이루어진 매트릭스형 통합관제영상데이터로 변환시켜, 관제 인터페이스 처리부로 전달시키는 매트릭스형 영상분할변환부(351)와,
매트릭스형 통합관제영상데이터를 프로토콜 패킷 처리로 변환하여 CCTV 통합관제관리서버에서 정보 수신을 통한 표출 및 활용을 가능하도록 인터페이스 처리시키는 관제 인터페이스 처리부(352)로 구성되는 것을 특징으로 하는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템.
- 제1항에 있어서, 상기 하이브리드식 인공지능형 제어부(360)는
그리드 셀 기반형 합성곱 신경망구조와 RNN (Recurrent Neural Network) 신경망 구조를 통해 자가학습하면서, 학습한 자가학습데이터를 기반으로, 프레임별 현장용 CCTV영상데이터 속에 있는 이동차량과 비교하여, 특정이동차량만을 검출시키는 하이브리드 신경망형 프레임별이동차량검출제어부(361)와,
하이브리드 신경망형 프레임별이동차량검출제어부를 통해 검출된 특정이동차량이 어디로 이동하였는지 추적하도록 제어시키는 특정이동차량추적제어부(362)와,
그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 지점, 구간, 교차로에 대한 교통정보를 분석제어시키는 교통정보분석제어부(363)와,
교통정보분석제어부에서 분석한 지점, 구간, 교차로에 대한 교통정보분석데이터를 기반으로, 현장용 CCTV 모듈에 위치한 교통신호등의 신호주기를 제어시키는 교통신호제어부(364)로 구성되는 것을 특징으로 하는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템.
- 제6항에 있어서, 상기 하이브리드 신경망형 프레임별이동차량검출제어부(361)는
입력되는 프레임별현장용 CCTV영상데이터를 그리드 셀 기반의 합성곱 신경망 구조를 통해, 하나의 셀에서 하나의 차량을 탐색시킨 후, 탐색시킨 차량 데이터를 시계열 데이터화하여 RNN (Recurrent Neural Network)부로 전달시키는 그리드 셀 기반형 합성곱 신경망부(361a)와,
그리드 셀 기반형 합성곱 신경망부로부터 전달된 시계열 데이터인 프레임별현장용 CCTV영상데이터의 탐색 차량 데이터를 시간의 흐름에 따라 나타나는 특징들(차선, 차량의 종류, 차량의 크기, 차량수, 차량속도, 도로환경)을 딥러닝 학습하는 RNN (Recurrent Neural Network)부(361b)와,
그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 전달된 프레임별현장용 CCTV영상데이터에서 특정이동차량만을 검출시키는 CHNFTRS(Integral Channel Features)형 차량검출엔진부(361c)로 구성되는 것을 특징으로 하는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템.
- 제6항에 있어서, 상기 특정이동차량추적제어부(362)는
차량의 평균속도정보를 이용하여 현재위치를 예측하여 특정이동차량을 추적시키는 속도기반추적제어부(362a)와,
속도기반추적제어부를 통한 특정이동차량추적이 실패할 경우에 구동되어, 현재프레임인 전체의 외양정보(ORB feature)를 추출한 후, 현재 전달된 프레임별현장용 CCTV영상데이터에서 외양정보(ORB feature)에 매칭시켜, 특정이동차량을 추적시키는 외양정보기반 추적제어부(362b)와,
속도기반추적제어부와 외양정보기반 추적제어부를 통한 특정이동차량추적이 실패할 경우에 구동되어, 특정이동차량의 생김새, 누적이동을 기반으로 특정이동차량을 추적제어시키는 생김새 기반 추적제어부(362c) 중 어느 하나 또는 둘 이상이 선택되어 구성되는 것을 특징으로 하는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템.
- 제6항에 있어서, 상기 교통정보분석제어부(363)는
그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 지점내 도로상의 영역을 통과하는 이동차량에 대한 차선별 교통량, 속도, 점유시간, 차량길이, 점유율, 차종 구분으로 이루어진 지점차선별 교통정보를 분석제어시키는 지점차선별 교통정보 분석제어부(363a)와,
그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 구간내 도로상의 영역을 통과하는 이동차량에 차선별 통행시간, 통행속도, 교통밀도, 대기행렬로 이루어진 구간차선별 교통정보를 분석제어시키는 구간차선별 교통정보 분석제어부(363b)와,
그리드 셀 기반형 합성곱 신경망부와 RNN (Recurrent Neural Network)부를 통해 자가 학습한 자가학습데이터를 기반으로, 현재 교차로내 도로상의 영역을 통과하는 이동차량에 차선별 좌회전, 직진, 우회전, 유턴의 회전 교통류에 관한 교차로 교통정보를 분석제어시키는 교차로 교통정보 분석제어부(363c)와,
지점, 구간, 교차로에 대한 교통정보를 1채널~8채널로 영상입력과 동시에 분석제어시키는 다채널 교통정보 분석제어부(363d)와,
지점, 구간, 교차로로 분석된 교통정보분석데이터를 프로토콜 패킷 처리로 변환하여 CCTV 통합관제관리서버에서 정보 수신을 통한 표출 및 활용이 가능하도록 인터페이스 처리시키는 교통정보분석 인터페이스처리부(363e)로 구성되는 것을 특징으로 하는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180136247A KR101942491B1 (ko) | 2018-11-08 | 2018-11-08 | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180136247A KR101942491B1 (ko) | 2018-11-08 | 2018-11-08 | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101942491B1 true KR101942491B1 (ko) | 2019-04-11 |
Family
ID=66167359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180136247A KR101942491B1 (ko) | 2018-11-08 | 2018-11-08 | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101942491B1 (ko) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102100803B1 (ko) * | 2019-11-20 | 2020-04-14 | (주)지인테크 | 객체 추적이 용이한 영상 감시 시스템 및 방법 |
| KR102124955B1 (ko) * | 2019-11-29 | 2020-06-19 | 세종대학교산학협력단 | 시각적 분석을 통한 교통 혼잡 원인 식별 방법 및 서버 |
| KR102155050B1 (ko) * | 2019-10-28 | 2020-09-11 | 라온피플 주식회사 | 영상 검지 장치 및 이를 포함하는 신호 제어 시스템 및 신호 제어 방법 |
| WO2020246823A1 (ko) * | 2019-06-04 | 2020-12-10 | 한화테크윈 주식회사 | 네트워크 감시 카메라 시스템 및 그 동작 방법 |
| KR20210008737A (ko) | 2019-07-15 | 2021-01-25 | 주식회사 하이퍼센싱 | 영상 내 차량위치 산출 장치 및 그 방법, 이를 이용한 교통량 분석 시스템 |
| KR20210038445A (ko) * | 2020-02-11 | 2021-04-07 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 교통 신호등 신호의 제어 방법, 장치, 기기 및 저장매체 |
| KR20210052031A (ko) * | 2019-10-31 | 2021-05-10 | 한국전자기술연구원 | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 |
| KR102285223B1 (ko) * | 2020-11-04 | 2021-08-03 | 주식회사 아이티에스 | 신호 제어 시스템 |
| KR20210117637A (ko) * | 2020-03-19 | 2021-09-29 | 주식회사 아이오라이트 | 딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 방법 및 이를 이용한 데이터 전송 방법 |
| KR102316700B1 (ko) | 2021-05-31 | 2021-10-25 | 주식회사 서경산업 | 이륜차 전용 무인단속시스템 |
| KR20210128823A (ko) * | 2020-04-17 | 2021-10-27 | (주) 더아이엠씨 | 빅데이터 및 인공지능 기반 교차로 서비스수준 예측방법, 그리고 이를 포함하는 저장매체 |
| KR102318576B1 (ko) * | 2020-08-11 | 2021-10-28 | 라온피플 주식회사 | 교통신호 연산 방법 및 이를 수행하기 위한 장치 |
| KR102349016B1 (ko) | 2021-05-31 | 2022-01-10 | 주식회사 서경산업 | 도로 분석 관리시스템 |
| KR20220005353A (ko) * | 2020-07-06 | 2022-01-13 | 세종대학교산학협력단 | 다중 cctv 비디오를 이용한 도시 교통 네트워크 모델링 방법 및 장치 |
| KR20220088590A (ko) * | 2020-12-18 | 2022-06-28 | 한국건설기술연구원 | 차종 분류를 기반으로 하는 교통량 분석 및 모니터링 시스템 및 방법 |
| KR102475457B1 (ko) * | 2022-08-16 | 2022-12-06 | 이희승 | 비디오 촬영을 통한 차종별 통행량 추정 시스템 |
| KR20230029143A (ko) | 2021-08-23 | 2023-03-03 | 주식회사 이앤지테크 | 교통 신호등 반응감지 속도제어용 스마트랜턴 및 그 구동방법 |
| KR102533582B1 (ko) | 2022-11-10 | 2023-05-17 | 주식회사 에이엔비 | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 |
| KR102538744B1 (ko) * | 2022-06-16 | 2023-06-01 | (주) 제브라 앤 시퀀스 | 영상 자체 저장 기능을 갖는 스마트 폴을 이용한 교통안전 보조 시스템 |
| KR102597102B1 (ko) | 2023-07-31 | 2023-11-01 | 에이치씨테크(주) | 제어모듈과 통신 이중화 기능을 갖고 있는 cctv 카메라시스템 |
| US11823573B2 (en) | 2019-10-28 | 2023-11-21 | Laon Road Inc. | Signal control apparatus and signal control method based on reinforcement learning |
| CN117218870A (zh) * | 2023-11-09 | 2023-12-12 | 天津易华录信息技术有限公司 | 一种智慧城市交通信号管理系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101015952B1 (ko) | 2010-07-30 | 2011-02-23 | 주식회사 한진이엔씨 | 교통 상황 관제 시스템 |
| KR101377029B1 (ko) * | 2013-11-29 | 2014-03-20 | 주식회사 에보시스 | 지능형 하이브리드 감시제어모듈을 통한 단계별 자율 경보형 스마트 cctv 감시장치 및 감시방법 |
| KR101743689B1 (ko) * | 2016-09-07 | 2017-06-07 | 주식회사 엠제이비전테크 | 통합 방범 지능형 cctv의 영상 처리 방법 및 통합 방범 지능형 cctv 시스템 |
| KR20170074076A (ko) * | 2015-12-21 | 2017-06-29 | 동국대학교 산학협력단 | 능동형 교통 신호 제어 방법 및 그 시스템 |
| KR101872825B1 (ko) * | 2018-01-12 | 2018-08-02 | 주식회사 토페스 | 지능형 교통 시스템 |
| KR20180107930A (ko) * | 2017-03-23 | 2018-10-04 | 한국과학기술원 | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 |
-
2018
- 2018-11-08 KR KR1020180136247A patent/KR101942491B1/ko active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101015952B1 (ko) | 2010-07-30 | 2011-02-23 | 주식회사 한진이엔씨 | 교통 상황 관제 시스템 |
| KR101377029B1 (ko) * | 2013-11-29 | 2014-03-20 | 주식회사 에보시스 | 지능형 하이브리드 감시제어모듈을 통한 단계별 자율 경보형 스마트 cctv 감시장치 및 감시방법 |
| KR20170074076A (ko) * | 2015-12-21 | 2017-06-29 | 동국대학교 산학협력단 | 능동형 교통 신호 제어 방법 및 그 시스템 |
| KR101743689B1 (ko) * | 2016-09-07 | 2017-06-07 | 주식회사 엠제이비전테크 | 통합 방범 지능형 cctv의 영상 처리 방법 및 통합 방범 지능형 cctv 시스템 |
| KR20180107930A (ko) * | 2017-03-23 | 2018-10-04 | 한국과학기술원 | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 |
| KR101872825B1 (ko) * | 2018-01-12 | 2018-08-02 | 주식회사 토페스 | 지능형 교통 시스템 |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020246823A1 (ko) * | 2019-06-04 | 2020-12-10 | 한화테크윈 주식회사 | 네트워크 감시 카메라 시스템 및 그 동작 방법 |
| KR20210008737A (ko) | 2019-07-15 | 2021-01-25 | 주식회사 하이퍼센싱 | 영상 내 차량위치 산출 장치 및 그 방법, 이를 이용한 교통량 분석 시스템 |
| WO2021085847A1 (ko) * | 2019-10-28 | 2021-05-06 | 라온피플 주식회사 | 영상 검지 장치 및 이를 포함하는 신호 제어 시스템 및 신호 제어 방법 |
| KR102155050B1 (ko) * | 2019-10-28 | 2020-09-11 | 라온피플 주식회사 | 영상 검지 장치 및 이를 포함하는 신호 제어 시스템 및 신호 제어 방법 |
| US11842634B2 (en) | 2019-10-28 | 2023-12-12 | Laon Road Inc. | Image detection device, signal control system compromising same and signal control method |
| US11823573B2 (en) | 2019-10-28 | 2023-11-21 | Laon Road Inc. | Signal control apparatus and signal control method based on reinforcement learning |
| KR20210052031A (ko) * | 2019-10-31 | 2021-05-10 | 한국전자기술연구원 | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 |
| KR102453627B1 (ko) | 2019-10-31 | 2022-10-12 | 한국전자기술연구원 | 딥러닝 기반 교통 흐름 분석 방법 및 시스템 |
| KR102100803B1 (ko) * | 2019-11-20 | 2020-04-14 | (주)지인테크 | 객체 추적이 용이한 영상 감시 시스템 및 방법 |
| KR102124955B1 (ko) * | 2019-11-29 | 2020-06-19 | 세종대학교산학협력단 | 시각적 분석을 통한 교통 혼잡 원인 식별 방법 및 서버 |
| KR20210038445A (ko) * | 2020-02-11 | 2021-04-07 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 교통 신호등 신호의 제어 방법, 장치, 기기 및 저장매체 |
| KR102521357B1 (ko) * | 2020-02-11 | 2023-04-12 | 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. | 교통 신호등 신호의 제어 방법, 장치, 기기 및 저장매체 |
| KR20210117637A (ko) * | 2020-03-19 | 2021-09-29 | 주식회사 아이오라이트 | 딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 방법 및 이를 이용한 데이터 전송 방법 |
| KR102311805B1 (ko) * | 2020-03-19 | 2021-10-12 | 주식회사 아이오라이트 | 딥러닝 기반 차량 및 인체 자동 감지용 영상 모니터링 방법 및 이를 이용한 데이터 전송 방법 |
| KR102359902B1 (ko) | 2020-04-17 | 2022-02-09 | (주)더아이엠씨 | 빅데이터 및 인공지능 기반 교차로 서비스수준 예측방법, 그리고 이를 포함하는 저장매체 |
| KR20210128823A (ko) * | 2020-04-17 | 2021-10-27 | (주) 더아이엠씨 | 빅데이터 및 인공지능 기반 교차로 서비스수준 예측방법, 그리고 이를 포함하는 저장매체 |
| KR102398493B1 (ko) | 2020-07-06 | 2022-05-16 | 세종대학교산학협력단 | 다중 cctv 비디오를 이용한 도시 교통 네트워크 모델링 방법 및 장치 |
| KR20220005353A (ko) * | 2020-07-06 | 2022-01-13 | 세종대학교산학협력단 | 다중 cctv 비디오를 이용한 도시 교통 네트워크 모델링 방법 및 장치 |
| WO2022035039A1 (ko) * | 2020-08-11 | 2022-02-17 | 주식회사 라온로드 | 교통신호 연산 방법 및 이를 수행하기 위한 장치 |
| KR102318576B1 (ko) * | 2020-08-11 | 2021-10-28 | 라온피플 주식회사 | 교통신호 연산 방법 및 이를 수행하기 위한 장치 |
| KR102285223B1 (ko) * | 2020-11-04 | 2021-08-03 | 주식회사 아이티에스 | 신호 제어 시스템 |
| KR20220088590A (ko) * | 2020-12-18 | 2022-06-28 | 한국건설기술연구원 | 차종 분류를 기반으로 하는 교통량 분석 및 모니터링 시스템 및 방법 |
| KR102457898B1 (ko) * | 2020-12-18 | 2022-10-25 | 한국건설기술연구원 | 차종 분류를 기반으로 하는 교통량 분석 및 모니터링 시스템 및 방법 |
| KR102316700B1 (ko) | 2021-05-31 | 2021-10-25 | 주식회사 서경산업 | 이륜차 전용 무인단속시스템 |
| KR102349016B1 (ko) | 2021-05-31 | 2022-01-10 | 주식회사 서경산업 | 도로 분석 관리시스템 |
| KR20230029143A (ko) | 2021-08-23 | 2023-03-03 | 주식회사 이앤지테크 | 교통 신호등 반응감지 속도제어용 스마트랜턴 및 그 구동방법 |
| KR102538744B1 (ko) * | 2022-06-16 | 2023-06-01 | (주) 제브라 앤 시퀀스 | 영상 자체 저장 기능을 갖는 스마트 폴을 이용한 교통안전 보조 시스템 |
| KR102475457B1 (ko) * | 2022-08-16 | 2022-12-06 | 이희승 | 비디오 촬영을 통한 차종별 통행량 추정 시스템 |
| KR102533582B1 (ko) | 2022-11-10 | 2023-05-17 | 주식회사 에이엔비 | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 |
| KR102597102B1 (ko) | 2023-07-31 | 2023-11-01 | 에이치씨테크(주) | 제어모듈과 통신 이중화 기능을 갖고 있는 cctv 카메라시스템 |
| CN117218870A (zh) * | 2023-11-09 | 2023-12-12 | 天津易华录信息技术有限公司 | 一种智慧城市交通信号管理系统 |
| CN117218870B (zh) * | 2023-11-09 | 2024-01-16 | 天津易华录信息技术有限公司 | 一种智慧城市交通信号管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101942491B1 (ko) | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 | |
| CN109686109B (zh) | 一种基于人工智能的停车场安全监控管理系统及方法 | |
| CN111770266B (zh) | 一种智能视觉感知系统 | |
| EP4105101A1 (en) | Monitoring system, monitoring method, and monitoring device for railway train | |
| Semertzidis et al. | Video sensor network for real-time traffic monitoring and surveillance | |
| US10438071B2 (en) | Distributed system for mining, correlating, and analyzing locally obtained traffic data including video | |
| US6985172B1 (en) | Model-based incident detection system with motion classification | |
| CN108802758B (zh) | 一种基于激光雷达的智能安防监控装置、方法和系统 | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| KR101793636B1 (ko) | 통합 지능형 cctv 영상 처리 시스템 | |
| KR101688218B1 (ko) | 객체 인지 기반의 실시간 영상 검지 기술을 이용한 교통 흐름 및 돌발 상황 관리 시스템 및 그 처리 방법 | |
| WO2017047687A1 (ja) | 監視システム | |
| KR102478335B1 (ko) | 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치 | |
| JP2000244897A (ja) | 状態認識システムおよび状態認識表示生成方法 | |
| CN110648528A (zh) | 一种智慧公路管理系统 | |
| CN114394100B (zh) | 一种无人巡逻车控制系统及无人车 | |
| KR102181355B1 (ko) | 인공지능 기반 차량 검색 시스템 | |
| CN112257683A (zh) | 一种面向车辆运行轨迹监测的跨镜追踪方法 | |
| KR20150034398A (ko) | 객체인식 기반의 주차장 이벤트 검지 시스템 | |
| KR102107957B1 (ko) | 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법 | |
| JP2008092279A (ja) | 監視システム及び監視方法 | |
| KR20160093253A (ko) | 영상 기반 이상 흐름 감지 방법 및 그 시스템 | |
| CN212724329U (zh) | 覆盖双向车道的违法鸣笛和违法改装车抓拍系统 | |
| KR20050114906A (ko) | 통합 및 독립적 구성 조합에 의한 불법 주정차 무인 단속시스템 및 그것의 운용방법 | |
| CN117768610A (zh) | 基于多目标识别的高速铁路周界入侵风险监测方法及系统 |