KR20220005353A

KR20220005353A - 다중 cctv 비디오를 이용한 도시 교통 네트워크 모델링 방법 및 장치

Info

Publication number: KR20220005353A
Application number: KR1020200083107A
Authority: KR
Inventors: 장윤; 연한별; 서성범
Original assignee: 세종대학교산학협력단
Priority date: 2020-07-06
Filing date: 2020-07-06
Publication date: 2022-01-13
Also published as: KR102398493B1

Abstract

본 발명의 일 실시예에 따른 장치에 의해 수행되는 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법은 (a) 다중 CCTV 네트워크로부터 비디오를 수집하되, 차량의 속도 변화에 따른 샘플링 빈도를 조절하여 비디오를 샘플링하는 단계; (b) 기설정된 차량 추적 알고리즘에 기초하여 샘플링된 비디오로부터 차량 흐름 데이터를 생성하는 단계; (c) 생성된 차량 흐름 데이터와 각 CCTV 위치정보를 포함한 다중 CCTV 네트워크를 결합하여 관측 데이터와 비관측 데이터가 식별되는 불완전한 교통 네트워크를 생성하는 단계; 및 (d) 누락 데이터 예측 모델을 통해 제1비관측 데이터 및 제2비관측 데이터에 대한 누락 데이터를 생성한 후, 관측 데이터 및 누락 데이터가 병합된 도시 교통 네트워크를 모델링하는 단계;를 포함한다.

Description

다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법 및 장치{METHOD AND APPARATUS FOR URBAN TRAFFIC NETWORK MODELING WITH MULTIPLE CCTV VIDEOS}

본 발명은 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법 및 장치에 관한 것이다.

교통 패턴 발견 연구에서 기존 연구의 공통 목표는 시간 경과에 따른 교통 패턴의 변화를 분석하고 도시 교통 생태계를 이해하는 것이다. 시각적 분석 시스템 중 차량의 움직임 패턴을 발견 하고 유사한 패턴을 클러스터링 하거나, 스마트 교통 카드 데이터에 반영된 이동 패턴을 이용하여 집과 직장을 식별하는 방법, 교차로에서 대규모 교통 흐름을 분석할 수 있는 새로운 시각화 방법 등이 연구되어 왔다.

상황 인식 탐사 및 예측 연구로서 몇 가지 분석 및 예측 시스템이 있다. 특정 시간과 장소에서의 교통 상황이 현재 또는 가까운 미래에 어떤 영향을 미치는지 분석한 연구가 있고, 의미 기반 질의응답 인터페이스를 사용하여 트래픽 패턴을 분석한 연구도 있다. 교통 혼잡을 분석하고 유사한 패턴을 탐색 한 다음 교통 혼잡 전파 정도를 측정하는 방법, 도시 계획 연구에서 경로 최적화, 경로 추천, 상황 인식 분석에 관한 논문이 발표되어 있다.

기존 교통 네트워크 모델링 기술은 차량 탐지(VD, vehicle detector) 데이터와 GPS 궤도(trajectory) 데이터를 사용하고 있다. VD 데이터와 GPS 궤도 데이터는 교통 상황을 이해하는데 적합하지만 도시 교통 네트워크를 분석하는데 많은 한계점이 있다. VD 데이터는 특정 지점을 통과하는 차량의 수와 속도를 기록한 데이터로 대부분 고속도로에 설치되어 있으므로 도시 교통 네트워크를 모델링하는데 사용할 수 없다. GPS 궤도 데이터는 샘플링된 일부 차량의 이동 동선으로 도시 교통 네트워크를 모델링하는데 통계적 대표성과 같은 문제가 있다.

한편 GPS 궤도 데이터는 도시에서 사람들의 움직임 패턴을 직접 나타내기 때문에 적절한 분석 모델과 함께 다양한 분야에 적용될 수 있다. 예를 들어, 이동 패턴 검색, 경로 추천, 도시 계획, 교통 정체 감지와 같은 다양한 연구가 있다. 택시 데이터를 사용하여 특정 도시에서 사람들의 생활 패턴을 분석하거나, 택시 운전자가 승객을 빨리 찾을 수 있도록 경로를 추천하는 기술, 시각적 질의 모델을 사용하여 도시에서 이동 패턴을 빠르게 탐색할 수 있는 기술에 대한 연구가 있다. 또한 궤도 데이터를 사용하여 최적의 광고판 위치를 조사할 수 있는 대화형 시각적 분석 시스템에 대한 연구도 있다.

도시에서 교통 혼잡의 원인을 분석하기 위해서는 교통 상황을 이해해야 한다. 현재 많은 교통 혼잡 추정 알고리즘은 차량 수, 도로의 평균 속도 및 시공간 교통 밀도 계산을 기반으로 한다. 교통 혼잡 정도를 계산하기 위해 평균 속도, 주행 시간 또는 차량 밀도와 같은 특정 매개변수 하나만을 사용하여 분석하는 연구가 있으나, 실제로는 다양한 상황이 결합되어 교통 혼잡이 발생하기 때문에 혼잡 지역을 추정하는데 많은 불확실성이 있다.

기존 시각적 분석에 관한 연구는 교통 혼잡 지역을 탐지하고 혼잡 정도를 예측하는데 집중되어 있다. 하지만 교통 혼잡을 해결하기 위해서는 도로에서 발생한 혼잡 원인과 영향을 분석할 수 있어야 한다.

이와 관련하여, 대한민국 공개특허공보 제 10-2006-0092909호(발명의 명칭: 확률적 상호 의존 관계 및 정황 데이터의 모델링 및 분석을 이용하는 교통 예측)는 주요 상습 정체 구역에 혼잡이 있게 될 때까지의 시간 및 혼잡이 해결될 때까지의 시간을 나타내는 변수를 비롯한 일련의 랜덤 변수로 교통 시스템을 추상화한 것에 기초하여 교통 흐름 및 혼잡을 예측하는 방법을 개시하고 있다.

본 발명은 전술한 문제점을 해결하기 위하여, 다중 CCTV 비디오를 사용하여 도시 교통 네트워크를 모델링하고, 도시의 교통 흐름을 분석하고자 한다. 또한, 관측되지 않은 도로의 교통 흐름을 추정하고, 교통 네트워크에서 시공간 교통 흐름의 확산 과정을 학습하여 도시 전체의 교통 흐름을 예측하는 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법 및 장치를 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 장치에 의해 수행되는 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법은 (a) 다중 CCTV 네트워크로부터 비디오를 수집하되, 차량의 속도 변화에 따른 샘플링 빈도를 조절하여 비디오를 샘플링하는 단계; (b) 기설정된 차량 추적 알고리즘에 기초하여 샘플링된 비디오로부터 차량 흐름 데이터를 생성하는 단계; (c) 생성된 차량 흐름 데이터와 각 CCTV 위치정보를 포함한 다중 CCTV 네트워크를 결합하여 관측 데이터와 비관측 데이터가 식별되는 불완전한 교통 네트워크를 생성하는 단계; 및 (d) 누락 데이터 예측 모델을 통해 제1비관측 데이터 및 제2비관측 데이터에 대한 누락 데이터를 생성한 후, 관측 데이터 및 누락 데이터가 병합된 도시 교통 네트워크를 모델링하는 단계;를 포함하되, 제1비관측 데이터는 교차로와 연결된 도로 중 CCTV로 관측되지 않는 도로의 차량 흐름 데이터이고, 제2비관측 데이터는 CCTV가 없는 교차로와 교차로와 연결된 도로의 차량 흐름 데이터이고, 누락 데이터 예측 모델은 DCRNN(Diffusion Convolutional Recurrent Neural Network)을 통해 학습된다..

(a) 단계에서 적응형 샘플링 모듈에 의해 실시간 비디오의 샘플링 여부를 결정하되, 적응형 샘플링 모듈은 차량 속도 변화에 따른 샘플링 시간, 샘플링 주기 및 샘플링 간격을 포함한다.

(b) 단계에서 상호 보완적인 차량 추적 알고리즘을 복수개 병렬 수행하여, 차량 흐름 데이터를 추출하고, 차량 흐름 데이터는 시간에 따른 차량 속도, 이동방향, 교통량을 포함한다.

(d) 단계에서, 제1비관측 데이터에 대한 누락 데이터를 추정하는 경우, (d-1) CCTV 위치에 대응하는 관측 노드와 CCTV 위치와 인접한 도로에 대응하는 도로 엣지, CCTV가 관측할 수 없는 위치에 대응하는 비관측 노드를 포함하는 불완전한 교통 네트워크를 생성하고, (d-2) 불완전한 교통 네트워크에 1차 가상 노드와 1차 가상 도로 엣지를 추가하여 불완전한 제1 가상 네트워크를 생성하고, (d-3) 비관측 노드와 비관측 노드에 연결된 도로 엣지를 제외한 DCRNN 학습을 위한 입력 네트워크를 생성하고, (d-4) 1차 가상 노드에 대한 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고, (d-5) 비관측 노드와 인접한 1차 가상 노드에 기초하여 관측 노드 및 도로 엣지를 추가한 제2 가상 네트워크를 생성한다.

(d) 단계에서, 제2비관측 데이터에 대한 누락 데이터를 추정하는 경우, (d-6) 제2 가상 네트워크에 CCTV가 없는 위치에 대응하는 비관측 노드를 추가하고, (d-7) 2차 가상 노드와 2차 가상 도로 엣지를 포함하는 제3 가상 네트워크를 생성하고, 비관측 노드에 연결된 도로 엣지를 제외한 DCRNN 학습을 위한 입력 네트워크를 생성하고, (d-8) 2차 가상 노드에 대한 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고, (d-9) 1차 가상 노드 및 2차 가상 노드를 제거하여, 누락 데이터가 추정된 완전한 도시 교통 네트워크를 생성한다.

도시 교통 네트워크 모델링 요청에 따라, 예측 교통량을 표시하는 사용자 인터페이스를 제공하되, 사용자 인터페이스는 실시간 비디오 샘플링 상태를 표시하는 제1영역, 교통 CCTV 실시간 화면을 제공하는 제2영역, 비디오의 방향 이동을 제어하는 제3영역, 차량 추적 알고리즘에 의해 감지되지 않은 차량이미지를 표시하는 제4영역, CCTV 위치정보에 대응하는 지도정보와 도시 교통 네트워크를 연계한 예측 교통량 모니터링 맵을 제공하는 제5영역, 모니터링 맵에 반영되는 교통속도, 교통량, 혼잡 유형 및 교통 전파 유형의 식별항목이 표시되는 제6영역, 모니터링 맵에 표시되는 예측 교통량을 제어하는 타임 슬라이더를 제공하는 제7영역, 제5영역과 연동되며, 복수의 관측 노드 및 비관측 노드를 포함한 도시 교통 네트워크 모델링을 제공하는 제8영역, 및 제5영역 및 제8영역에 표시된 관측 노드를 클릭하는 경우, 관측 노드에 해당하는 실시간 CCTV 비디오 화면을 제공하는 제9영역을 포함한다.

본 발명의 다른 측면에 따른 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치는 도시 교통 네트워크 모델링 방법 프로그램이 저장된 메모리; 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며, 프로세서는 프로그램의 실행에 의해, 다중 CCTV 네트워크로부터 비디오를 수집하되, 차량의 속도 변화에 따른 샘플링 빈도를 조절하여 비디오를 샘플링하고, 기설정된 차량 추적 알고리즘에 기초하여 샘플링된 비디오로부터 차량 흐름 데이터를 생성하고, 생성된 차량 흐름 데이터와 각 CCTV 위치정보를 포함한 다중 CCTV 네트워크를 결합하여 관측 데이터와 비관측 데이터가 식별되는 불완전한 교통 네트워크를 생성하고, 누락 데이터 예측 모델을 통해 제1비관측 데이터 및 제2비관측 데이터에 대한 누락 데이터를 생성한 후, 관측 데이터 및 누락 데이터가 병합된 도시 교통 네트워크를 모델링하되, 제1비관측 데이터는 교차로와 연결된 도로 중 CCTV로 관측되지 않는 도로의 차량 흐름 데이터이고, 제2비관측 데이터는 CCTV가 없는 교차로와 교차로와 연결된 도로의 차량 흐름 데이터이고, 누락 데이터 예측 모델은 DCRNN(Diffusion Convolutional Recurrent Neural Network)을 통해 학습된다.

프로세서는 적응형 샘플링 모듈에 의해 실시간 비디오의 샘플링 여부를 결정하되, 적응형 샘플링 모듈은 차량 속도 변화에 따른 샘플링 시간, 샘플링 주기 및 샘플링 간격을 포함한다.

프로세서는 상호 보완적인 차량 추적 알고리즘을 복수개 병렬 수행하여, 차량 흐름 데이터를 추출하고, 차량 흐름 데이터는 시간에 따른 차량 속도, 이동방향, 교통량을 포함한다.

프로세서는 제1비관측 데이터에 대한 누락 데이터를 추정하는 경우, CCTV 위치에 대응하는 관측 노드와 CCTV 위치와 인접한 도로에 대응하는 도로 엣지, CCTV가 관측할 수 없는 위치에 대응하는 비관측 노드를 포함하는 불완전한 교통 네트워크를 생성하고, 불완전한 교통 네트워크에 1차 가상 노드와 1차 가상 도로 엣지를 추가하여 불완전한 제1 가상 네트워크를 생성하고, 비관측 노드와 비관측 노드에 연결된 도로 엣지를 제외한 DCRNN 학습을 위한 입력 네트워크를 생성하고, 1차 가상 노드에 대한 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고, 비관측 노드와 인접한 1차 가상 노드에 기초하여 관측 노드 및 도로 엣지를 추가한 제2 가상 네트워크를 생성한다.

프로세서는 제2비관측 데이터에 대한 누락 데이터를 추정하는 경우, 제2 가상 네트워크에 CCTV가 없는 위치에 대응하는 비관측 노드를 추가하고, 2차 가상 노드와 2차 가상 도로 엣지를 포함하는 제3 가상 네트워크를 생성하고, 비관측 노드에 연결된 도로 엣지를 제외한 DCRNN 학습을 위한 입력 네트워크를 생성하고, 2차 가상 노드에 대한 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고, 1차 가상 노드 및 2차 가상 노드를 제거하여, 누락 데이터가 추정된 완전한 도시 교통 네트워크를 생성한다.

프로세서는 도시 교통 네트워크 모델링 요청에 따라, 예측 교통량을 표시하는 사용자 인터페이스를 제공하되, 사용자 인터페이스는 실시간 비디오 샘플링 상태를 표시하는 제1영역, 교통 CCTV 실시간 화면을 제공하는 제2영역, 비디오의 방향 이동을 제어하는 제3영역, 차량 추적 알고리즘에 의해 감지되지 않은 차량이미지를 표시하는 제4영역, CCTV 위치정보에 대응하는 지도정보와 도시 교통 네트워크를 연계한 예측 교통량 모니터링 맵을 제공하는 제5영역, 모니터링 맵에 반영되는 교통속도, 교통량, 혼잡 유형 및 교통 전파 유형의 식별항목이 표시되는 제6영역, 모니터링 맵에 표시되는 예측 교통량을 제어하는 타임 슬라이더를 제공하는 제7영역, 제5영역과 연동되며, 복수의 관측 노드 및 비관측 노드를 포함한 도시 교통 네트워크 모델링을 제공하는 제8영역, 및 제5영역 및 제8영역에 표시된 관측 노드를 클릭하는 경우, 관측 노드에 해당하는 실시간 CCTV 비디오 화면을 제공하는 제9영역을 포함한다.

컴퓨터 판독가능 기록매체는 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법에 따르는 도시 교통 네트워크 모델링 방법을 수행하기 위한 컴퓨터 프로그램이 저장된다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 기존 교통 CCTV 카메라 인프라를 활용한 실시간 도시의 교통 흐름 분석 및 미래의 교통 흐름 예측 결과를 제공할 수 있다.

더불어, 기존의 교통 데이터인 GPS 궤도 및 차량 탐지(VD) 데이터를 사용하지 않고 CCTV 비디오를 사용하여 도시 교통 네트워크를 분석한다는 이점이 있다. 또한 CCTV 비디오를 도시 교통 네트워크 분석에 사용함으로써, 실시간으로 교통 상황을 탐색하고 GPS 궤도 데이터의 한계인 통계적 표현 문제를 극복할 수 있다는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 프로세스를 도시한 도면이다.
도 3a은 본 발명의 일 실시예에 따른 교통 흐름 변화량에 적응하는 실시간 CCTV 비디오의 샘플링 방법을 설명하기 위한 도면이다.
도 3b는 본 발명의 일 실시예에 따른 적응형 CCTV 비디오 샘플링 모듈에 따른 샘플링 결과를 도시한 그래프이다.
도 4는 본 발명의 일 실시예에 따른 CCTV 네트워크의 기본 방향 및 차선 영역에 따라 차량 방향이 결정되는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 제1비관측 데이터에 대한 교통 흐름을 추정하기 위한 DCRNN 프로세스를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 제2비관측 데이터에 대한 교통 흐름을 추정하기 위한 DCRNN 프로세스를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 도시 교통 네트워크 모델링 및 예측 교통량을 표시하는 사용자 인터페이스의 일례이다.
도 8은 본 발명의 일 실시예에 따른 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법을 설명하기 위한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이하에서 언급되는 "다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치"는 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 각종 이동 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, “네트워크”는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

이하에서는 설명의 편의상 본 발명의 일 실시예에 따른 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치(100)를 ‘교통 네트워크 모델링 장치(100)’로 간략히 지칭하도록 한다.

도 1은 본 발명의 일 실시예에 따른 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 시스템의 구성도이다.

다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법은 교통 네트워크 모델링 장치(100)에서 실시될 수 있다. 다중 CCTV 비디오는 도시에 구축된 다중 CCTV 네트워크로부터 수집되는 CCTV 비디오 데이터를 제공하는 외부 서버(10)로부터 획득할 수 있다. 누락 데이터 예측 모델은 수집된 CCTV 비디오를 기초로 학습되어 비관측 데이터를 예측하는 모델로, DCRNN(Diffusion Convolutional Recurrent Neural Network)과 같은 인공신경망을 이용하여 학습될 수 있다.

도 1을 참조하면 구체적으로, 교통 네트워크 모델링 장치(100)는 메모리(110), 통신모듈(120), 프로세서(130) 및 디스플레이부(140)를 포함한다.

메모리(110)는 도시 교통 네트워크 모델링 방법 프로그램이 저장된다. 도시 교통 네트워크 모델링 방법 프로그램은 네트워크를 통해 불규칙한 시공간 데이터를 수집하고, 수집된 상기 불규칙한 시공간 데이터에 기초하여 학습 데이터를 생성하고, 상기 학습 데이터를 입력으로 누락된 데이터를 예측하도록 누락 데이터 예측 모델을 학습시킨다.

이러한 메모리(110)에는 교통 네트워크 모델링 장치(100)의 구동을 위한 운영 체제나 도시 교통 네트워크 모델링 방법 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.

이때, 메모리(110)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.

또한, 메모리(110)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(110)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

통신모듈(120)은 CCTV 비디오 데이터를 제공하는 외부 서버(10)와 같은 외부와 통신을 하게하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신모듈(120)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

프로세서(130)는 메모리(110)에 저장된 프로그램을 실행하되, 도시 교통 네트워크 모델링 방법 프로그램의 실행에 따르는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각각의 동작에 대해서는 추후 보다 상세히 살펴보기로 한다.

이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

디스플레이부(140)는 사용자의 도시 교통 네트워크 모델링 요청에 따라, 예측 교통량을 표시하는 사용자 인터페이스를 출력할 수 있다.

또한 교통 네트워크 모델링 장치(100)는 프로세서(130)의 제어에 따라, 도시 교통 네트워크 모델링 시스템에 필요한 데이터를 저장하거나 제공하는 데이터베이스(미도시)를 포함할 수 있다. 이러한 데이터베이스는 메모리(110)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(110)의 일부 영역에 구축될 수도 있다.

도 2는 본 발명의 일 실시예에 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 프로세스를 도시한 도면이다.

도 2를 참조하면, 프로세서(130)는 다중 CCTV 네트워크(101)로부터 비디오를 수집하되, 차량의 속도 변화에 따른 샘플링 빈도를 조절하여 비디오를 샘플링하고(S201), 기설정된 차량 추적 알고리즘에 기초하여 샘플링된 비디오로부터 차량 흐름 데이터(102)를 생성하고(S202), 생성된 차량 흐름 데이터(102)와 각 CCTV 위치정보(103)를 포함한 다중 CCTV 네트워크(101)를 결합하여 관측 데이터와 비관측 데이터가 식별되는 불완전한 교통 네트워크를 생성하고(S203), 누락 데이터 예측 모델(104)을 통해 제1비관측 데이터 및 제2비관측 데이터에 대한 누락 데이터를 생성한 후, 관측 데이터 및 누락 데이터가 병합된 도시 교통 네트워크를 모델링할 수 있다(S204).

이때, 제1비관측 데이터는 교차로와 연결된 도로 중 CCTV로 관측되지 않는 도로의 차량 흐름 데이터이고, 제2비관측 데이터는 CCTV가 없는 교차로 및 연결된 도로의 차량 흐름 데이터이다. 예를 들어, 서울에 있는 CCTV 카메라의 95%는 교차로의 일부 구역만 기록한다. 따라서 교차로에 연결된 일부 도로의 차량 흐름은 초기 교통 네트워크에서 알 수 없다. 이는 누락된 데이터(비관측 데이터)가 포함된 불완전한 네트워크로 시공간 교통 흐름을 모델링하는 것이 어렵다는 것을 의미한다. 한편, 하나의 도시 도로는 교차로에서 인접한 도로에 연결된다. 또한 한 도로의 교통 흐름은 인접한 도로의 교통 흐름에 영향을 받는다. 따라서 본 발명은 인접한 도로의 교통 흐름을 참조하여 관측되지 않은 도로의 교통 흐름을 추정할 수 있다. 또한, 미래의 도시 교통 변화를 예측하기 위해 누락 데이터 예측 모델(104)을 이용하여 비관측 데이터에 해당하는 교통 네트워크를 학습시킬 수 있다. 이때 누락 데이터 예측 모델(104)은 DCRNN(Diffusion Convolutional Recurrent Neural Network)을 통해 학습될 수 있다

도 3a는 본 발명의 일 실시예에 따른 교통 흐름 변화량에 적응하는 실시간 CCTV 비디오의 샘플링 방법을 설명하기 위한 도면이다.

도 3b는 본 발명의 일 실시예에 따른 적응형 CCTV 비디오 샘플링 모듈에 따른 샘플링 결과를 도시한 그래프이다.

한편, 교차로에 설치된 CCTV 비디오는 신호주기에 따라 차량 흐름이 정기적으로 변하는 패턴을 보인다. 비교차 지역에서는 차량 흐름 변화가 신호주기와 같은 규칙적인 패턴의 영향을 받지 않는다. 즉, 교통 사고와 같은 비정상적인 사건으로 인해 차량 흐름도 매우 불규칙적으로 변한다. 따라서 각 CCTV 비디오의 샘플링 빈도(frequency)는 교통 상황 및 시간과 함께 동적으로 변경될 수 있다. 예를 들어 서울 내 CCTV 영상을 살펴보면서 교통 감시 담당관의 결정에 따라 CCTV 카메라가 다른 구역을 불규칙하게 촬영할 수 있다. 이에 따라, CCTV 카메라가 회전하는 경우, 본 발명의 교통 네트워크 모델링 장치(100)는 새로운 교통 상태를 모니터링하여 새로운 샘플링 빈도를 결정할 수 있다. 즉, 샘플링 빈도를 최적화하면서 CCTV 카메라의 녹화 영역이 달라지는지에 따라 샘플링 빈도를 결정할 수 있다. 이와 같은 적응형 CCTV 비디오 샘플링 모듈에 의해, 본 발명은 모든 스트리밍 비디오를 수집할 필요가 없어, 시스템의 과부하를 방지할 수 있으며 효율적이다.

도 3a를 참조하면, 프로세서(130)는 적응형 CCTV 비디오 샘플링 모듈에 의해 실시간 비디오의 샘플링 여부를 결정하되, 적응형 샘플링 모듈은 차량 속도 변화에 따른 샘플링 시간(STn), 샘플링 주기(SPn) 및 샘플링 간격(SIn)을 포함한다.

구체적으로, 적응형 CCTV 비디오 샘플링 모듈은 교통 상태 변화에 따라 스트리밍 비디오를 샘플링할지 여부를 결정할 수 있다. 예시적으로, 샘플링 시간(STn)은 수학식1에 따라 결정할 수 있다.

[수학식1]

여기서, 교통 상태 변경에 따라 αn은 +1 또는 -1이며, 하기와 같다.

En은 SPn(샘플링 주기) 동안 차량 속력에 대한 속도의 엔트로피이다. 예시적으로, SPmin을 1 분으로 설정하고 SPmax를 7 분으로 설정한 경우, 시스템을 시작할 때 교통 정보가 없기 때문에 시스템은 초기 샘플링 기간인 SPmax에 대해 각각 0 분과 2×SPmax에서 S1과 S2의 비디오를 두번 샘플링한다. 그런 다음 시스템은 샘플링 시간(STn), 샘플링주기(SPn) 및 샘플링 간격(SIn)을 수학식1에 정의 된대로 조정한다.

일 예로, 엔트로피는 차량 속도의 확률로 계산될 수 있다. 예를 들어, 차량 속도의 히스토그램을 생성할 수 있다. 히스토그램의 구간(bin) 간격은 5km=h이며, 각 히스토그램 구간의 속도에 해당하는 차량 수는 xi로 설정될 수 있다. 따라서, P(xi)는 특정 속도가 관측될 확률이고, 각 구간의 차량 수를 CCTV 비디오에서 관측된 총 차량 수로 나누어 확률을 계산할 수 있다. 따라서, 차량 속도가 더 자주 변할 때 높은 엔트로피 값을 얻을 수 있다.

도 3b를 참조하면, 회색 선은 샘플링하지 않은 원본 비디오 스트림의 속도를 나타내며 노란색 점은 샘플링된 비디오에서 관측된 차량 속도를 나타낸다. 차량 속도의 변화가 더 빈번한 오전 9-11시와 오후 5-8시 동안에는 비디오 샘플링이 더 자주 발생하는 반면, 속도가 비교적 균일한 오후 12시에서 오후 5시 사이에는 샘플링 간격이 더 길어지는 것을 나타낸다.

즉, 본 발명의 적응형 CCTV 비디오 샘플링 모듈은 차량 속도의 변화가 큰 경우, 샘플링 빈도가 짧아지고, 차량 속도의 변화가 작은 경우, 샘플링 빈도가 더 길어질 수 있다.

프로세서(130)는 상호 보완적인 차량 추적 알고리즘을 복수개 병렬 수행하여, 차량 흐름 데이터를 추출하고, 차량 흐름 데이터는 시간에 따른 차량 속도, 이동방향, 교통량을 포함한다.

구체적으로, 프로세서(130)는 YOLOv3 모델을 사용하여 차량 위치를 각 비디오 프레임 공간에서 2 차원 좌표로 식별할 수 있다. 또한 SORT 모델을 적용하여 비디오 프레임에서 감지된 차량의 2 차원 좌표를 추적하고 차량 궤도를 추출할 수 있다. 그리고, 차량 궤도에서 차량 속도, 차량 이동 방향 및 교통량(차량 대수)을 추정할 수 있다. 샘플링된 스트리밍 비디오로 데이터를 추정하기 때문에 추정된 차량 속도 및 교통량은 연속적이지 않다. 따라서 스플라인 보간을 적용하여 관측되지 않은 기간 동안 차량 속도와 교통량의 근사치를 산출할 수 있다.

예시적으로, 차량 추적 알고리즘은 CCTV 비디오에서 차량 흐름 데이터를 생성할 수 있다. 일 예로, 차량 추적 알고리즘은 YOLOv3, SORT 및 FgSegNet모델을 사용할 수 있다.

예를 들어, YOLOv3를 사용하여 스트리밍 비디오에서 프레임 당 차량 좌표를 감지할 수 있다. SORT 알고리즘은 차량 좌표에서 차량 궤도를 추출할 수 있다. 즉, 차량 궤도에 기초하여, 차량 속도, 교통량 및 차량 방향이 계산될 수 있다. 스플라인 보간(spline interpolation)은 비디오 샘플링으로 인해 관측되지 않은 기간 동안의 차량 속도와 교통량에 근사하다. 즉, 스플라인 보간은 상술한 적응형 CCTV 비디오 샘플링 모듈로부터 관측된 샘플링 포인트를 사용하여 관측되지 않은 시간에 데이터 값을 근사화할 수 있다.

한편, YOLOv3에 의해 감지되지 않은 차량 이미지를 추출하여 충분한 교통 정보를 캡쳐하기 위한 학습 데이터를 업데이트할 수 있다. 예를 들어, 스트리밍 비디오에서 YOLO 및 FgSegNet모델에 의해 차량 좌표를 감지할 수 있다. SORT 알고리즘은 두 개의 차량 탐지 모델에서 감지한 차량 좌표에서 차량 궤도를 추정할 수 있다. 즉, 두 모델의 추정 차량 궤도를 비교하고 YOLO 모델이 감지 할 수 없는 차량을 추출한다. 검출되지 않은 차량 이미지는 학습 데이터 업데이트를 위해 학습 데이터에 추가될 수 있다.

더불어, YOLOv3 모델이 감지 하지 못하는 차량을 검출하기 위해서, 프로세서(130)는 먼저 YOLOv3모델을 통해 차량을 감지하고 감지된 차량으로만 차량 위치 세트를 추출한다. 이후, 감지되지 않은 차량을 식별하기 위해 FgSegNet 모델을 사용하여 비디오의 전경을 제거하고 차량이 포함된 것으로 간주되는 영역만으로 다른 차량 위치 세트를 추출할 수 있다. 다음으로, 차량 궤도를 추적하기 위해 SORT모델을 두 위치 세트에 적용할 수 있다. 이어서, 두 궤도 세트를 비교하여 YOLOv3 및 SORT에 의해 감지된 궤도 세트에서 누락된 궤도을 확인할 수있다. 그리고 궤도가 누락된 차량의 이미지를 캡쳐하고 캡쳐된 이미지를 감지되지 않은 차량 이미지 후보에 추가하여 YOLOv3에 대한 학습 데이터를 업데이트할 수 있다. 이에 따라, 본 발명의 교통 네트워크 모델링 장치(100)는 사용자 인터페이스(141)를 통해 사용자가 차량 이미지를 선택하고 학습 데이터를 업데이트 할 수 있는 모듈을 제공할 수 있다.

교통량의 경우, SORT 알고리즘에 의해 추출된 궤도 수에 기초하여 산출할 수 있다. 차량 속도를 추정하기 위해 비디오 프레임 공간의 2 차원 좌표를 지상 좌표로 변환할 수 있다. 둘 이상의 고정지면 좌표와 좌표 사이의 실제 거리를 요구하는 호모 그래피 변환으로 궤도 거리를 계산할 수 있다. 예를 들어, 서울의 교통 CCTV 카메라는 30fps로 녹화되며 프레임 당 약 0.033 초로 변환된다. 이에 따라, 궤도 거리와 프레임 시간을 사용하여 차량 속도를 계산할 수 있다.

도 4는 본 발명의 일 실시예에 따른 CCTV 네트워크의 기본 방향 및 차선 영역에 따라 차량 방향이 결정되는 것을 설명하기 위한 도면이다.

도 4를 참조하면, 프로세서(130)는 (a)의 CCTV 네트워크에서 설정된 기본 방향에 따라 각 CCTV에 연결된 주변 CCTV ID(E/W/S/N)를 기록한다. (b)의 양방향 도로에서 한 차선의 모든 차량은 같은 방향으로 움직인다. (C)의 양방향 도로 3개와 (d)의 양방향 도로 4 개에서 차량이 녹색 구역에서 관찰되면 차량 궤도에 방향을 지정할 수 있다.

예시적으로, 도7의 (a)에 도시된 것처럼, 프로세서(130)는 기본 방향을 CCTV 네트워크의 각 가장자리에 매핑하고 각 스트리밍 비디오에서 북쪽을 정의할 수 있다. 스트리밍 비디오에서 도로를 추출하고, 차량 궤도를 도로의 2 차원 좌표와 비교함으로써 차량 방향을 추정할 수 있다. 도 7의 (b), (c) 및 (d)의 경우, U- 턴이 없다고 가정하면, 차량은 주행 방향을 반대 방향으로 변경할 수 없다. 따라서 한 도로에 매핑된 모든 궤도는 같은 방향으로 이동할 수 있다. 도 7의 (c)와 (d)에서 도시된 것처럼 차량이 주행 방향을 변경할 수 없는 경우, 녹색 구역의 좌표를 추출할 수 있다. 녹색 영역 중 하나에서 차량 궤도가 관찰되면 차량 방향을 쉽게 결정할 수 있다. 그러나 차량 궤도가 녹색 구역에 매핑되지 않은 경우 차량이 아직 교차로에 진입하지 않은 것을 의미한다. 따라서, 프로세서(130)는 차량이 어느 방향으로 움직이는지 판단할 수 없으며, 이 경우 차량 흐름 데이터는 차량 방향을 포함하지 않는다.

도 5는 본 발명의 일 실시예에 따른 제1비관측 데이터에 대한 교통 흐름을 추정하기 위한 DCRNN 프로세스를 설명하기 위한 도면이다.

도6은 본 발명의 일 실시예에 따른 제2비관측 데이터에 대한 교통 흐름을 추정하기 위한 DCRNN 프로세스를 설명하기 위한 도면이다.

도 5를 참조하면, 프로세서(130)는 제1비관측 데이터에 대한 누락 데이터를 추정하는 경우, 도 5의 (a)에 도시된 것처럼, CCTV 위치에 대응하는 관측 노드와 CCTV 위치와 인접한 도로에 대응하는 도로 엣지, CCTV가 관측할 수 없는 위치에 대응하는 비관측 노드를 포함하는 불완전한 교통 네트워크를 생성할 수 있다. 이어서 도 5의 (b)에 도시된 것처럼, 불완전한 교통 네트워크에 1차 가상 노드와 1차 가상 도로 엣지를 추가하여 불완전한 제1 가상 네트워크를 생성할 수 있다. 다음으로, 도 5의 (c)에 도시된 것처럼, 비관측 노드와 비관측 노드에 연결된 도로 엣지를 제외한 DCRNN 학습을 위한 입력 네트워크를 생성할 수 있다. 그리고 도 5의 (d)에 도시된 것처럼, 1차 가상 노드에 대한 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성할 수 있다. 다음으로 도 5의 (e)에 도시된 것처럼, 비관측 노드와 인접한 1차 가상 노드에 기초하여 관측 노드 및 도로 엣지를 추가한 제2 가상 네트워크를 생성할 수 있다.

이어서, 도 6을 참조하면, 프로세서(130)는 제2비관측 데이터에 대한 누락 데이터를 추정하는 경우, 도 6의 (a)에 도시된 것처럼, 제2 가상 네트워크에 CCTV가 없는 위치에 대응하는 비관측 노드를 추가할 수 있다. 그리고 도 6의 (b)에 도시된 것처럼, 2차 가상 노드와 2차 가상 도로 엣지를 포함하는 제3 가상 네트워크를 생성하고, 비관측 노드에 연결된 도로 엣지를 제외한 DCRNN 학습을 위한 입력 네트워크를 생성할 수 있다. 다음으로 도 6의 (c)에 도시된 것처럼, 2차 가상 노드에 대한 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성할 수 있다. 마지막으로, 도 6의 (d)에 도시된 것처럼, 1차 가상 노드 및 2차 가상 노드를 제거하여, 누락 데이터가 추정된 완전한 도시 교통 네트워크를 생성할 수 있다.

예시적으로, 프로세서(130)는 도시 교통 네트워크를 확보하기 위해 노드(CCTV 카메라 위치)와 CCTV 카메라와 인접한 노드 사이의 엣지(도로)를 포함한 CCTV 네트워크를 생성할 수 있다. 이후, 도 5의 (a)에 도시된 것처럼 차량 흐름 데이터와 CCTV 네트워크를 통합하여 불완전한 교통 네트워크를 생성할 수 있다. 불완전한 교통 네트워크에서 각 노드는 교차로에 연결된 도로를 나타내고 엣지는 인접한 두 노드 사이의 거리를 나타낸다. 교차로에서 도로까지의 교통 유출량과 속도는 노드 데이터에 사용될 수 있다.

일부 CCTV 카메라는 전체 교차로를 기록하지 않기 때문에, 불완전한 교통 네트워크는 관측 노드와 교통 흐름이 관측되지 않는 비관측 노드로 구성될 수 있다. 예를 들어, 도시 지역에서, 하나의 도로는 2 개 이상의 교차로에 연결되며, 도로에서 관측된 교통 흐름은 연결된 교차로 및 인접 도로의 교통 흐름에 영향을줄 수 있다. 따라서 인접한 도로에서 관측된 교통량을 참조하여 관측되지 않은 도로의 교통량을 추정할 수 있다.

예시적으로, 비관측 노드를 추정하기 위해 그래프 데이터로 시공간 확산 프로세스를 모델링하는 확장된 DCRNN을 적용할 수 있다. 확장된 DCRNN 모델은 불완전한 교통 네트워크를 G = (V, E, W)로 정의한다. 여기서, V는 노드 세트이며 |V|=N. E는 엣지의 집합이다. W는 노드 사이의 거리와 무게를 나타내는 가중 인접 행렬(matrix)입니다. X(t)는 시간t에서의 입력 특징 행렬이며, 여기서 X(t) ∈RN × M. N은 노드 수이고, M은 특징수이다. G와 [X(t-T + 1), ..., X(t)]가 주어지면 [X(t + 1), ..., X(t + T)]의 차량 속도와 교통량을 예측하기 위해 확장된 DCRNN에서 함수 f를 학습시킬 수 있다.

또한 프로세서(130)는 효율적인 DCRNN 모델 학습을 위해, 도 5의 (b)와 같이, 불완전한 제1 가상 네트워크를 생성할 수 있다. 불완전한 제1가상 네트워크는 불완전한 교통 네트워크, 가상 노드 및 가상 엣지로 구성될 수 있다. 가상 노드와 가상 엣지는 DCRNN 모델 학습 동안 교차로에서 관찰되지 않은 도로의 교통량(제1비관측 데이터)을 결정하는데 사용될 수 있다. 각 가상 노드는 교차로에서 인접한 두 개의 도로에서 교통 흐름을 가상으로 나타낸다. 가상 노드의 특징 매트릭스는 2 개의 인접한 노드의 특징 행렬의 컨벌루션(convolution)에 의해 계산된다. 가중치 인접 행렬 W의 경우 두 관측 노드가 직접 연결된 경우 가중치를 1로 설정하고 그렇지 않으면 0으로 설정한다. 또한 가상 노드와 관측 노드 간의 가중치를 다음과 같이 설정할 수 있다. 가상 노드와 인접한 두 개의 관측 노드 사이의 가중치는 1.5로 설정될 수 있다. 교차로(교차점) 내의 가상 노드 간 가중치는 1.2로 설정될 수 있다. 교차로 외부의 인접한 가상 노드에 직접 연결된 가상 노드 간의 가중치는 1로 설정될 수 있다. 가상 노드와 연결되지 않은 노드 간의 가중치는 0으로 설정될 수있다. 전술한 가중치에 한정되는 것은 아니며, 가중치 세트는 변경될 수 있다.

그리고, 도 5의 (c)를 참조하면 프로세서(130)는 불완전한 제1가상 네트워크를 생성한 후 비관측 노드와 관측 노드에 연결된 엣지를 정리(제외)할 수 있다. 그런 다음 정리된 불완전한 제1가상 네트워크를 DCRNN 모델의 입력 네트워크로 사용할 수 있다. DCRNN 모델은 전술한 T 시퀀스 [X(t-T + 1), ..., X(t)]를 사용하여 도 5의 (c)에 도시된 입력 네트워크를 학습하고 도 5의 (d)에 도시된 것처럼, 미래의 T 시퀀스 [X (t-T + 1), ..., X(t)]에 대한 출력 네트워크를 예측할 수있다. 이때 도 5의 (b)에서 비관측 노드는 두개의 인접한 가상 노드를 통해 학습될 수 있다. 따라서, 비관측 노드의 특징 행렬을 인접한 두 개의 가상 노드에 대응하는 2 개의 특징 행렬의 평균으로 대체함으로써 도 5의 (e)에 도시된 제2 가상 네트워크를 생성할 수 있다.

상술한 바와 같이, 프로세서(130)는 제1비관측 데이터에 대한 누락 데이터(차량 흐름 데이터)를 추정하고, 이어서 제2비관측 데이터에 대한 누락 데이터를 추정할 수 있다.

예시적으로, 도 6의 (a)를 참조하면 프로세서(130)는 도 5의 (e)에 도시된 제2가상 네트워크에 4 개의 비관측 노드 및 엣지를 도로를 추정할 수 있다. 도 6의 (b)와 같이 가상 노드와 엣지를 다시 생성하고 각 가상 노드는 교차로에 연결된 인접 가상 노드와 연결될 수 있다. 가상 노드의 특징 행렬과 인접 가중치 행렬을 도 5에 도시된 프로세스와 동일한 방식으로 설정하여 제3 가상 네트워크를 생성한 후 DCRNN입력 네트워크를 생성할 수 있다. 이후, 도 6의 (c)에 도시된 것처럼, 가상 노드와 엣지를 생성 한 후 DCRNN을 적용하여 완전한 제3 가상 네트워크(출력 네트워크)를 생성할 수 있다. 마지막으로, 도 6의 (d)에 도시된것처럼, 완전한 도시 교통 네트워크를 생성하기 위해, 도5 및 도6에 도시된 프로세스에서 생성된 가상 노드를 제거할 수 있다.

도 7은 본 발명의 일 실시예에 따른 도시 교통 네트워크 모델링 및 예측 교통량을 표시하는 사용자 인터페이스의 일례이다.

도 7을 참조하면, 교통 네트워크 모델링 장치(100)는 사용자의 도시 교통 네트워크 모델링 요청에 따라, 예측 교통량을 표시하는 사용자 인터페이스(141)를 디스플레이부(140)를 통해 제공할 수 있다. 예시적으로, 사용자 인터페이스(141)는 실시간 비디오 샘플링 상태를 표시하는 제1영역(a), 교통 CCTV 실시간 화면을 제공하는 제2영역(b), 비디오의 방향 이동을 제어하는 제3영역(c), 차량 추적 알고리즘에 의해 감지되지 않은 차량이미지를 표시하는 제4영역(d), CCTV 위치정보에 대응하는 지도정보와 도시 교통 네트워크를 연계한 예측 교통량 모니터링 맵을 제공하는 제5영역(e), 모니터링 맵에 반영되는 교통속도, 교통량, 혼잡 유형 및 교통 전파 유형의 식별항목이 표시되는 제6영역(f), 모니터링 맵에 표시되는 예측 교통량을 제어하는 타임 슬라이더를 제공하는 제7영역(g), 제5영역(e)과 연동되며, 복수의 관측 노드 및 비관측 노드를 포함한 도시 교통 네트워크 모델링을 제공하는 제8영역(h), 및 제5영역(e) 및 제8영역(h)에 표시된 관측 노드를 클릭하는 경우, 관측 노드에 해당하는 실시간 CCTV 비디오 화면을 제공하는 제9영역(i)을 포함할 수 있다.

예시적으로, 사용자 인터페이스(141)는 다중 CCTV 비디오에서 차량 흐름 데이터 생성을 지원하는 제1영역 내지 제4영역(a)-(d)과 교통 네트워크를 모델링 및 분석을 지원하는 제5영역 내지 제9영역(e)-(i)을 포함한다.

도 7을 참조하면, 제1영역(a)은 실시간 스트리밍 비디오의 샘플링 상태를 제공할 수있다. 일 예로, 프로세서(130)는 CCTV 샘플링의 실시간 상태를 색상으로 식별가능하도록 표로 표시할 수있다. 샘플링 상태는 4 가지 상태로 구성되며, 파란색은 비디오를 샘플링하는 상태를 나타내고, 녹색은 비디오가 보류중임을 나타내며 프로세서(130)는 다음 샘플링까지 대기할 수 있다. 빨간색은 CCTV의 녹화 방향이 변경되었음을 나타내며, CCTV의 녹화 방향이 변경된 경우 CCTV의 기본 방향을 재설정할 수 있다. 제1영역(a)의 표에서 CCTV ID를 선택한 다음 제2영역(b)에서 CCTV 비디오를 확인하고 제3영역(c)에서 비디오의 북쪽을 정의할 수 있다. 제4영역(d)은 차량 감지 알고리즘을 통해 감지하지 못하는 차량 후보 이미지를 제공할 수있다. 제4영역(d)을 통해 차량 감지 향상을 위한 학습 데이터를 업데이트하기 위해 차량 이미지를 선택할 수 있다. 제5영역(e)은 예측 교통량 모니터링 맵을 제공하며, 교통속도, 교통량(볼륨), 혼잡 유형 및 교통 전파 유형 등을 포함하는 식별항목을 표시할 수 있다. 제7영역(f)은 모니터링 맵을 통해 시각화되는 식별항목을 제공할 수 있다. 일 예로, 교통 네트워크에서 노드는 교차로를 나타내고 엣지는 도로를 나타낸다. 교차로에 CCTV 카메라가 있으면 노드가 흰색으로 표시되고 교차로에 CCTV 카메라가 없으면 노드가 회색으로 표시될 수 있다. CCTV 카메라가 교차로의 일부만 녹화하는 경우 시스템은 CCTV 카메라로 캡쳐한 도로만 흰색으로 표시할 수 있다. 엣지의 색상은 제7영역(f)에 표시된 것처럼 차량 흐름을 나타내며 교통 네트워크는 차량 속도, 교통량, 혼잡 유형 및 전파로 인코딩 될 수 있습니다. 제8영역(g)은 시간 슬라이더로, 현재 시간에 대해 지난 30 분 동안의 교통 상황을 모니터링하고 다음 30 분 동안의 예상 교통 상황을 분석하여 제공할 수 있다.

제5영역(e)에서, 교통 네트워크의 일부 도로에는 차량 흐름이 없는 것을 나타낸다. 제8영역(h)에서 불완전한 교통 네트워크에서 잠재적으로 예측 가능한 도로를 식별할 수 있다. 제8영역(h)의 회색 노드는 CCTV 카메라가 없는 교차로를 나타내고 흰색 노드는 CCTV 카메라에 있는 교차로를 나타낸다. 회색 엣지는 도로에서 양방향으로 모든 차량 흐름을 관찰 할 수 있음을 의미한다. 파란색 엣지는 도로에서 한 방향으로 차량 흐름을 관찰 할 수 없음을 의미하고, 빨간색 엣지는 도로에서 양방향으로 차량 흐름을 관찰 할 수 없음을 나타낸다. 제8영역(h)에서 추정하고자하는 노드와 엣지가 포함된 네트워크를 브러시(Brush)하고 추정 버튼(Estimation)을 클릭하면 프로세서(130)는 DCRNN 모델로 관측되지 않은 도로의 차량 흐름(제1 및 제2 비관측 데이터)을 추정합니다. 차량 흐름을 추정하는 과정에서 프로세서(130)는 DCRNN 모델을 학습시켜야 하며, DCRNN 모델이 학습해야하는 경우 생성된 교통 네트워크의 크기와 복잡성에 따라 시간이 걸릴 수 있다. 관측되지 않은 도로의 차량 흐름이 추정되면 프로세서(130)는 제5영역(e)에서 예측된 교통 네트워크를 업데이트할 수있다. 제5영역(e) 및 제8영역(h)에서 노드를 클릭하면 프로세서(130)는 제9영역(i)에서 실시간 CCTV 스트리밍 비디오를 재생할 수 있다. 즉, 사용자는 사용자 인터페이스(141)를 통하여, 제5영역 내지 제9영역(e)-(i)의 모듈을 반복하여 교통 네트워크에서 관측되지 않은 도로를 추정하고, 도시 교통 상황을 분석 할 수 있다.

이하에서는 상술한 도1 내지 도7에 도시된 구성 중 동일한 기능을 수행하는 구성의 경우 설명을 생략하기로 한다.

도 8은 본 발명의 일 실시예에 따른 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법을 설명하기 위한 순서도이다.

도 8을 참조하면, 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법은 다중 CCTV 네트워크(101)로부터 비디오를 수집하되, 차량의 속도 변화에 따른 샘플링 빈도를 조절하여 비디오를 샘플링하는 단계(S110), 기설정된 차량 추적 알고리즘에 기초하여 샘플링된 비디오로부터 차량 흐름 데이터를 생성하는 단계(S120), 생성된 차량 흐름 데이터와 각 CCTV 위치정보를 포함한 다중 CCTV 네트워크를 결합하여 관측 데이터와 비관측 데이터가 식별되는 불완전한 교통 네트워크를 생성하는 단계(S130) 및 누락 데이터 예측 모델을 통해 제1비관측 데이터 및 제2비관측 데이터에 대한 누락 데이터를 생성한 후, 관측 데이터 및 누락 데이터가 병합된 도시 교통 네트워크를 모델링하는 단계(S140)를 포함한다.

제1비관측 데이터는 교차로와 연결된 도로 중 CCTV로 관측되지 않는 도로의 차량 흐름 데이터이고, 제2비관측 데이터는 CCTV가 없는 교차로와 교차로와 연결된 도로의 차량 흐름 데이터이고, 누락 데이터 예측 모델은 DCRNN(Diffusion Convolutional Recurrent Neural Network)을 통해 학습될 수 있다.

S110 단계에서 적응형 샘플링 모듈에 의해 실시간 비디오의 샘플링 여부를 결정하되, 적응형 샘플링 모듈은 차량 속도 변화에 따른 샘플링 시간, 샘플링 주기 및 샘플링 간격을 포함할 수 있다.

S120단계에서 상호 보완적인 차량 추적 알고리즘을 복수개 병렬 수행하여, 차량 흐름 데이터를 추출하고, 차량 흐름 데이터는 시간에 따른 차량 속도, 이동방향, 교통량을 포함할 수 있다.

S130단계에서, 제1비관측 데이터에 대한 누락 데이터를 추정하는 경우, CCTV 위치에 대응하는 관측 노드와 CCTV 위치와 인접한 도로에 대응하는 도로 엣지, CCTV가 관측할 수 없는 위치에 대응하는 비관측 노드를 포함하는 불완전한 교통 네트워크를 생성하고, 불완전한 교통 네트워크에 1차 가상 노드와 1차 가상 도로 엣지를 추가하여 불완전한 제1 가상 네트워크를 생성하고, 비관측 노드와 비관측 노드에 연결된 도로 엣지를 제외한 DCRNN 학습을 위한 입력 네트워크를 생성하고, 1차 가상 노드에 대한 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고, 비관측 노드와 인접한 1차 가상 노드에 기초하여 관측 노드 및 도로 엣지를 추가한 제2 가상 네트워크를 생성할 수 있다.

이어서, 제2비관측 데이터에 대한 누락 데이터를 추정하는 경우, 제2 가상 네트워크에 CCTV가 없는 위치에 대응하는 비관측 노드를 추가하고, 2차 가상 노드와 2차 가상 도로 엣지를 포함하는 제3 가상 네트워크를 생성하고, 비관측 노드에 연결된 도로 엣지를 제외한 DCRNN 학습을 위한 입력 네트워크를 생성하고, 2차 가상 노드에 대한 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고, 1차 가상 노드 및 2차 가상 노드를 제거하여, 누락 데이터가 추정된 완전한 도시 교통 네트워크를 생성할 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 교통 네트워크 모델링 장치
110: 메모리
120: 통신 모듈
130: 프로세서
140: 디스플레이부
141: 사용자 인터페이스

Claims

장치에 의해 수행되는 다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법에 있어서,
(a) 다중 CCTV 네트워크로부터 비디오를 수집하되, 차량의 속도 변화에 따른 샘플링 빈도를 조절하여 비디오를 샘플링하는 단계;
(b) 기설정된 차량 추적 알고리즘에 기초하여 상기 샘플링된 비디오로부터 차량 흐름 데이터를 생성하는 단계;
(c) 상기 생성된 차량 흐름 데이터와 각 CCTV 위치정보를 포함한 상기 다중 CCTV 네트워크를 결합하여 관측 데이터와 비관측 데이터가 식별되는 불완전한 교통 네트워크를 생성하는 단계; 및
(d) 누락 데이터 예측 모델을 통해 제1비관측 데이터 및 제2비관측 데이터에 대한 누락 데이터를 생성한 후, 상기 관측 데이터 및 누락 데이터가 병합된 도시 교통 네트워크를 모델링하는 단계;를 포함하되,
상기 제1비관측 데이터는 교차로와 연결된 도로 중 CCTV로 관측되지 않는 도로의 차량 흐름 데이터이고,
상기 제2비관측 데이터는 CCTV가 없는 교차로와 상기 교차로와 연결된 도로의 차량 흐름 데이터이고,
상기 누락 데이터 예측 모델은 DCRNN(Diffusion Convolutional Recurrent Neural Network)을 통해 학습되는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법.
제1항에 있어서,
상기 (a) 단계에서
적응형 샘플링 모듈에 의해 실시간 비디오의 샘플링 여부를 결정하되,
상기 적응형 샘플링 모듈은 차량 속도 변화에 따른 샘플링 시간, 샘플링 주기 및 샘플링 간격을 포함하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법.
제1항에 있어서,
상기 (b) 단계에서
상호 보완적인 차량 추적 알고리즘을 복수개 병렬 수행하여, 상기 차량 흐름 데이터를 추출하고,
상기 차량 흐름 데이터는 시간에 따른 차량 속도, 이동방향, 교통량을 포함하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법.
제1항에 있어서,
상기 (d) 단계에서,
상기 제1비관측 데이터에 대한 누락 데이터를 추정하는 경우,
(d-1) CCTV 위치에 대응하는 관측 노드와 상기 CCTV 위치와 인접한 도로에 대응하는 도로 엣지, 상기 CCTV가 관측할 수 없는 위치에 대응하는 비관측 노드를 포함하는 상기 불완전한 교통 네트워크를 생성하고,
(d-2) 상기 불완전한 교통 네트워크에 1차 가상 노드와 상기 1차 가상 도로 엣지를 추가하여 불완전한 제1 가상 네트워크를 생성하고,
(d-3) 상기 비관측 노드와 상기 비관측 노드에 연결된 도로 엣지를 제외한 상기 DCRNN 학습을 위한 입력 네트워크를 생성하고,
(d-4) 상기 1차 가상 노드에 대한 상기 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고,
(d-5) 상기 비관측 노드와 인접한 상기 1차 가상 노드에 기초하여 관측 노드 및 도로 엣지를 추가한 제2 가상 네트워크를 생성하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법.
제4항에 있어서,
상기 (d) 단계에서,
상기 제2비관측 데이터에 대한 누락 데이터를 추정하는 경우,
(d-6) 상기 제2 가상 네트워크에 CCTV가 없는 위치에 대응하는 비관측 노드를 추가하고,
(d-7) 2차 가상 노드와 2차 가상 도로 엣지를 포함하는 제3 가상 네트워크를 생성하고, 상기 비관측 노드에 연결된 도로 엣지를 제외한 상기 DCRNN 학습을 위한 입력 네트워크를 생성하고,
(d-8) 상기 2차 가상 노드에 대한 상기 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고,
(d-9) 상기 1차 가상 노드 및 2차 가상 노드를 제거하여, 상기 누락 데이터가 추정된 완전한 도시 교통 네트워크를 생성하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법.
제5항에 있어서,
상기 도시 교통 네트워크 모델링 요청에 따라, 예측 교통량을 표시하는 사용자 인터페이스를 제공하되,
상기 사용자 인터페이스는
실시간 비디오 샘플링 상태를 표시하는 제1영역,
교통 CCTV 실시간 화면을 제공하는 제2영역,
비디오의 방향 이동을 제어하는 제3영역,
상기 차량 추적 알고리즘에 의해 감지되지 않은 차량이미지를 표시하는 제4영역,
상기 CCTV 위치정보에 대응하는 지도정보와 상기 도시 교통 네트워크를 연계한 예측 교통량 모니터링 맵을 제공하는 제5영역,
상기 모니터링 맵에 반영되는 교통속도, 교통량, 혼잡 유형 및 교통 전파 유형의 식별항목이 표시되는 제6영역,
상기 모니터링 맵에 표시되는 예측 교통량을 제어하는 타임 슬라이더를 제공하는 제7영역,
상기 제5영역과 연동되며, 복수의 관측 노드 및 비관측 노드를 포함한 상기 도시 교통 네트워크 모델링을 제공하는 제8영역, 및
상기 제5영역 및 제8영역에 표시된 상기 관측 노드를 클릭하는 경우, 상기 관측 노드에 해당하는 실시간 CCTV 비디오 화면을 제공하는 제9영역을 포함하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 방법.
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치에 있어서,
도시 교통 네트워크 모델링 방법 프로그램이 저장된 메모리;
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
상기 프로세서는 상기 프로그램의 실행에 의해, 다중 CCTV 네트워크로부터 비디오를 수집하되, 차량의 속도 변화에 따른 샘플링 빈도를 조절하여 비디오를 샘플링하고,
기설정된 차량 추적 알고리즘에 기초하여 상기 샘플링된 비디오로부터 차량 흐름 데이터를 생성하고,
상기 생성된 차량 흐름 데이터와 각 CCTV 위치정보를 포함한 상기 다중 CCTV 네트워크를 결합하여 관측 데이터와 비관측 데이터가 식별되는 불완전한 교통 네트워크를 생성하고,
누락 데이터 예측 모델을 통해 제1비관측 데이터 및 제2비관측 데이터에 대한 누락 데이터를 생성한 후, 상기 관측 데이터 및 누락 데이터가 병합된 도시 교통 네트워크를 모델링하되,
상기 제1비관측 데이터는 교차로와 연결된 도로 중 CCTV로 관측되지 않는 도로의 차량 흐름 데이터이고,
상기 제2비관측 데이터는 CCTV가 없는 교차로와 상기 교차로와 연결된 도로의 차량 흐름 데이터이고,
상기 누락 데이터 예측 모델은 DCRNN(Diffusion Convolutional Recurrent Neural Network)을 통해 학습되는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치.
제7항에 있어서,
상기 프로세서는
적응형 샘플링 모듈에 의해 실시간 비디오의 샘플링 여부를 결정하되,
상기 적응형 샘플링 모듈은 차량 속도 변화에 따른 샘플링 시간, 샘플링 주기 및 샘플링 간격을 포함하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치.
제7항에 있어서,
상기 프로세서는
상호 보완적인 차량 추적 알고리즘을 복수개 병렬 수행하여, 상기 차량 흐름 데이터를 추출하고,
상기 차량 흐름 데이터는 시간에 따른 차량 속도, 이동방향, 교통량을 포함하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치.
제7항에 있어서,
상기 프로세서는
상기 제1비관측 데이터에 대한 누락 데이터를 추정하는 경우,
CCTV 위치에 대응하는 관측 노드와 상기 CCTV 위치와 인접한 도로에 대응하는 도로 엣지, 상기 CCTV가 관측할 수 없는 위치에 대응하는 비관측 노드를 포함하는 상기 불완전한 교통 네트워크를 생성하고,
상기 불완전한 교통 네트워크에 1차 가상 노드와 상기 1차 가상 도로 엣지를 추가하여 불완전한 제1 가상 네트워크를 생성하고,
상기 비관측 노드와 상기 비관측 노드에 연결된 도로 엣지를 제외한 상기 DCRNN 학습을 위한 입력 네트워크를 생성하고,
상기 1차 가상 노드에 대한 상기 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고,
상기 비관측 노드와 인접한 상기 1차 가상 노드에 기초하여 관측 노드 및 도로 엣지를 추가한 제2 가상 네트워크를 생성하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치.
제10항에 있어서,
상기 프로세서는
상기 제2비관측 데이터에 대한 누락 데이터를 추정하는 경우,
상기 제2 가상 네트워크에 CCTV가 없는 위치에 대응하는 비관측 노드를 추가하고,
2차 가상 노드와 2차 가상 도로 엣지를 포함하는 제3 가상 네트워크를 생성하고, 상기 비관측 노드에 연결된 도로 엣지를 제외한 상기 DCRNN 학습을 위한 입력 네트워크를 생성하고,
상기 2차 가상 노드에 대한 상기 누락 데이터를 학습한 DCRNN 출력 네트워크를 생성하고,
상기 1차 가상 노드 및 2차 가상 노드를 제거하여, 상기 누락 데이터가 추정된 완전한 도시 교통 네트워크를 생성하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치.
제11항에 있어서,
상기 프로세서는
상기 도시 교통 네트워크 모델링 요청에 따라, 예측 교통량을 표시하는 사용자 인터페이스를 제공하되,
상기 사용자 인터페이스는
실시간 비디오 샘플링 상태를 표시하는 제1영역,
교통 CCTV 실시간 화면을 제공하는 제2영역,
비디오의 방향 이동을 제어하는 제3영역,
상기 차량 추적 알고리즘에 의해 감지되지 않은 차량이미지를 표시하는 제4영역,
상기 CCTV 위치정보에 대응하는 지도정보와 상기 도시 교통 네트워크를 연계한 예측 교통량 모니터링 맵을 제공하는 제5영역,
상기 모니터링 맵에 반영되는 교통속도, 교통량, 혼잡 유형 및 교통 전파 유형의 식별항목이 표시되는 제6영역,
상기 모니터링 맵에 표시되는 예측 교통량을 제어하는 타임 슬라이더를 제공하는 제7영역,
상기 제5영역과 연동되며, 복수의 관측 노드 및 비관측 노드를 포함한 상기 도시 교통 네트워크 모델링을 제공하는 제8영역, 및
상기 제5영역 및 제8영역에 표시된 상기 관측 노드를 클릭하는 경우, 상기 관측 노드에 해당하는 실시간 CCTV 비디오 화면을 제공하는 제9영역을 포함하는 것인,
다중 CCTV 비디오를 이용한 도시 교통 네트워크 모델링 장치.
제 1 항에 따르는 도시 교통 네트워크 모델링 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록매체.