KR102323437B1 - 딥러닝 기반 교통량 모니터링 방법, 및 시스템 - Google Patents

Abstract

본 발명은 딥러닝 기반 교통량 모니터링 방법, 및 시스템에 관한 것으로서, 복수의 딥러닝 모델을 이용하여 외부 환경적 요인에 강인한 판단특성을 가지고, 카메라 개수를 감소시키면서 교차로 등에서 차량의 방향성을 트래킹하여 교통량을 모니터링 할 수 있는, 딥러닝 기반 교통량 모니터링 방법, 및 시스템에 관한 것이다.

Description

딥러닝 기반 교통량 모니터링 방법, 및 시스템 {Method, System for Traffic Monitoring Using Deep Learning}

본 발명은 딥러닝 기반 교통량 모니터링 방법, 및 시스템에 관한 것으로서, 복수의 딥러닝 모델을 이용하여 외부 환경적 요인에 강인한 판단특성을 가지고, 카메라 개수를 감소시키면서 교차로 등에서 차량의 방향성을 트래킹하여 교통량을 모니터링 할 수 있는, 딥러닝 기반 교통량 모니터링 방법, 및 시스템에 관한 것이다.

종래의 영상 기반 교통량 측정 기술은 모든 차량이 유사한 크기와 흐름으로 움직인다는 가정 하에서 교통량 측정이 가능하다.

그러나, 실제 주행 차량의 크기와 움직임은 매우 다양하므로, 실제 교통 상황에서는 교통량 측정의 정확도가 떨어지는 문제점이 있다.

선행특허 1(한국특허공개 10-2019-0087276)은 도로의 영상 데이터를 취득하는 영상 획득부와, 영상 데이터를 이용한 교통량 측정 프로그램이 내장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 영상데이터에 대해 복수의 영역을 지정하고 이동 차량을 검출 및 추적하여 이동 교통량을 계측하고, 영상 데이터에 대해 차선별 부분 영역을 설정하여 차선별 대기열을 추산하는 것을 개시하고 있다.

그러나, 이와 같은 방식은 외부 환경적 변화, 예를들어 날씨 변화 등의 요인이 발생하는 경우, 차량의 탐지 정확도가 낮아지게 되고, 또한 하나의 카메라로 측정할 수 있는 교통량이 제한적이고, 교차로에서의 다양한 진출 방향에 따른 교통량 카운팅이 불가능하다는 문제점이 있다.

선행특허 2(한국등록특허 10-2228825)는 레이더 센서, 무선통신 모듈, 전원 공급부 등을 포함하고, 이들을 수납하며 외부 구조물과 결합 및 분리 가능한 케이스를 포함하고, 이동식 교통량 측정 장치의 설치 이후 무선 통신을 통해 레이더 센서의 설정 정보를 설정해줌으로써, 이동식 교통량 측정 장치의 설치 환경이나 설치 후 설치 상태 변경 등에 따른 레이더 센서의 감지 성능 저하를 방지할 수 있는 이동식 교통량 측정 장치와 교통 상황 예측 시스템을 개시하고 있다.

그러나, 선행특허 2의 경우에도 마찬가지로, 하나의 레이더 센서로 측정할 수 있는 교통량이 제한적이고, 교차로의 경우에는 각각의 진출방향에 대하여 레이더센서가 필요하며 차량의 형태 등에 대한 분류를 고려한 카운팅은 불가능하다는 한계점이 있다.

본 발명은 복수의 딥러닝 모델을 이용하여 외부 환경적 요인에 강인한 판단특성을 가지고, 카메라 개수를 감소시키면서 교차로 등에서 차량의 방향성을 트래킹하여 교통량을 모니터링 할 수 있는, 딥러닝 기반 교통량 모니터링 방법, 및 시스템을 제공하는 것을 그 목적으로 한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템에서 수행되는 교통량 모니터링 방법으로서, 상기 컴퓨팅 시스템은 2 이상의 시간대 각각에 따른 2 이상의 카메라위치 각각에 따른 딥러닝 기반으로 학습된 4 이상의 차량객체탐지모델을 포함하고, 하나의 진입로에 대하여 2 이상의 진출로가 있는 경우가 적어도 1 이상 존재하는 교통량모니터링 대상영역에 대한 시간에 따른 복수의 영상이미지프레임 각각에 대하여 해당 교통량모니터링 대상영역의 시간대 및 카메라위치에 상응하는 차량객체탐지모델에 의하여 상기 영상이미지프레임 각각에 대하여 차량객체를 탐지하는 차량객체탐지단계; 상기 차량객체탐지단계에서 탐지된 차량들 각각에 대하여 고유의 식별정보를 부여하여 복수의 상기 영상이미지프레임 상에서 트래킹을 수행하면서, 각각의 영상이미지프레임 시간에 따른 각각의 차량의 고유의 식별정보 및 좌표정보를 포함하는 차량트래킹정보를 도출하는 차량트래킹단계; 및 상기 차량트래킹정보 및 상기 영상이미지프레임 상에서의 기설정된 경계영역의 위치정보에 기초하여 상기 차량객체탐지단계에서 탐지된 차량의 진출방향을 결정하고, 결정된 상기 진출방향을 고려하여, 상기 영상이미지프레임에서의 적어도 3 방향의 차량진출 교통량 정보를 도출하는, 교통량모니터링단계;를 포함하는, 교통량 모니터링 방법을 제공한다.

본 발명의 몇 실시예에서는, 상기 차량객체탐지모델은, 주간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 의하여 학습된 제1차량객체탐지모델; 주간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 의하여 학습된 제2차량객체탐지모델; 야간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 의하여 학습된 제3차량객체탐지모델; 및 야간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 의하여 학습된 제4차량객체탐지모델;를 포함할 수 있다.

본 발명의 몇 실시예에서는, 상기 차량객체탐지단계는 2 이상의 차량의 종류에 대한 정보를 식별하여 차량객체를 탐지하고, 상기 차량트래킹단계에서 도출되는 상기 차량트래킹정보는 식별된 상기 차량의 종류에 대한 정보를 포함하고, 상기 교통량 정보는 식별된 차량의 종류에 대한 정보를 포함할 수 있다.

본 발명의 몇 실시예에서는, 상기 차량트래킹단계는, 상기 차량객체탐지단계에서 탐지된 차량의 외양적특징 및 이전 프레임에서 트래킹 혹은 탐지된 차량의 위치정보에 기반한 예측정보를 고려하여, 상기 차량객체탐지단계에서 탐지된 차량에 대한 트래킹을 수행할 수 있다.

본 발명의 몇 실시예에서는, 각각의 시간별 혹은 프레임별 상기 차량트래킹정보는 각각의 탐지된 차량의 상기 이미지프레임 상에서의 좌표정보를 포함하고, 상기 경계영역의 위치정보는, 상기 이미지프레임 상에서 존재하는 하나의 진입로를 지나가는 차량들이 넘어가는 가상의 진입로라인에 대한 정보; 및 상기 이미지프레임 상에서 존재하는 상기 하나의 진입로에 대한 2 이상의 진출로 각각을 지나가는 차량들이 넘어가는 2 이상의 가상의 전출로라인에 대한 정보;를 포함할 수 있다.

본 발명의 몇 실시예에서는, 상기 교통량모니터링단계는, 시간 혹은 프레임에 따른 차량의 트래킹정보에 기초하여, 상기 진입로라인을 넘어간 후 상기 진출로라인을 넘어간 트래킹되는 차량의 숫자에 기초하여, 각각의 진입로 및 진출로에 의하여 정의되는 복수의 방향별 교통량정보를 도출할 수 있다.

본 발명의 몇 실시예에서는, 상기 진입로라인에 대한 정보는 상기 이미지프레임 상에서의 상기 진입로라인에 대한 제1좌표정보를 포함하고, 상기 진출로라인에 대한 정보는 상기 이미지프레임 상에서의 상기 진출로라인에 대한 제2좌표정보를 포함하고, 상기 차량트래킹정보에 포함된 차량객체의 좌표가 시간에 따라 상기 제1좌표정보에 의하여 정의되는 진입로라인을 넘어가는 경우에, 해당 차량객체가 해당 진입로를 넘어갔다고 판단하고, 상기 차량트래킹정보에 포함된 차량객체의 좌표가 시간에 따라 상기 제2좌표정보에 의하여 정의되는 진출로라인을 넘어가는 경우에, 해당 차량객체가 해당 진출로를 넘어갔다고 판단할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템으로 구현되는 교통량 모니터링 장치로서, 상기 컴퓨팅 시스템은 2 이상의 시간대 각각에 따른 2 이상의 카메라위치 각각에 따른 딥러닝 기반으로 학습된 4 이상의 차량객체탐지모델을 포함하고, 상기 교통량 모니터링 장치는, 하나의 진입로에 대하여 2 이상의 진출로가 있는 경우가 적어도 1 이상 존재하는 교통량모니터링 대상영역에 대한 시간에 따른 복수의 영상이미지프레임 각각에 대하여 해당 교통량모니터링 대상영역의 시간대 및 카메라위치에 상응하는 차량객체탐지모델에 의하여 상기 영상이미지프레임 각각에 대하여 차량객체를 탐지하는 차량객체탐지단계; 상기 차량객체탐지단계에서 탐지된 차량들 각각에 대하여 고유의 식별정보를 부여하여 복수의 상기 영상이미지프레임 상에서 트래킹을 수행하면서, 각각의 영상이미지프레임 시간에 따른 각각의 차량의 고유의 식별정보 및 좌표정보를 포함하는 차량트래킹정보를 도출하는 차량트래킹단계; 및 상기 차량트래킹정보 및 상기 영상이미지프레임 상에서의 기설정된 경계영역의 위치정보에 기초하여 상기 차량객체탐지단계에서 탐지된 차량의 진출방향을 결정하고, 결정된 상기 진출방향을 고려하여, 상기 영상이미지프레임에서의 적어도 3 방향의 차량진출 교통량 정보를 도출하는, 교통량모니터링단계;를 수행하는, 교통량 모니터링 장치를 제공한다.

본 발명의 일 실시예에서는, 복수의 딥러닝 모델을 이용하여 외부 환경적 요인에 강인한 판단특성을 가지고, 카메라 개수를 감소시키면서 교차로 등에서 차량의 방향성을 트래킹하여 교통량을 모니터링 할 수 있는, 딥러닝 기반 교통량 모니터링 방법, 및 시스템을 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 기존의 CCTV 시스템을 유지하면서 높은 교통량 모니터링 정확도를 구현할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 교통량 모니터링 시스템의 전체적인 구성을 개략적으로 도시한다.
도 2는 본 발명의 실시예들에 따른 교통량모니터링 대상영역의 형태를 예시적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 교통량 모니터링 장치의 내부 구성을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 교통량 모니터링 방법에서의 진입 및 진출의 개념을 도시한다.
도 5는 본 발명의 일 실시예에 따른 차량객체탐지단계의 결과화면을 예시적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 차량트래킹정보를 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 차량객체탐지단계 및 차량트래킹단계의 세부단계들을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 교통량모니터링단계에서의 가상의 라인들을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 교통량모니터링단계의 동작을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 진입로라인 및 진출로라인을 넘어가는 차량에 대한 처리과정을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 교통량 모니터링 시스템의 전체적인 구성을 개략적으로 도시한다.

본 발명의 실시예들에서는 교통량모니터링대상영역은 교차로 등과 같이 하나의 진입로에 대하여 2 이상의 진출로가 있는 경우가 적어도 1 이상 존재한다. 본 발명은 하나의 도로에서의 순방향 및 역방향의 방향별 차량의 통과대수가 아닌 교차로와 같이 3 이상의 방향이 나오는 교통량모니터링대상영역에서 각각의 차량의 진입 및 진출방향을 고려하여, 교통량을 모니터링한다.

한편, 이와 같은 교통량모니터링대상영역의 신호등 혹은 인근건물 옥상 등에 카메라가 설치되어 있다. 본 발명의 일 실시예에서는 상기 카메라는 CCTV 카메라에 해당할 수 있다. 상기 카메라에서 촬영된 영상은 실시간 혹은 비실시간적인 형태로 컴퓨팅시스템(1000)으로 전송된다.

컴퓨팅시스템(1000)은 일종의 서버시스템에 해당할 수 있고, 바람직하게는, 클라우드 서버 시스템 형태로 구현될 수 있다. 클라우드 서버 시스템 형태로 구현되는 경우, 서로 다른 위치의 다양한 카메라에서 촬영된 영상은 컴퓨팅 시스템에 전송되고, 컴퓨팅 시스템은 각각의 카메라의 영상을 분석하여 다지점에 대한 교통량 모니터링을 수행할 수도 있다.

이와 같이 모니터링된 결과는 관리자단말 혹은 사용자단말로 그 결과가 제공될 수 있다. 상기 모니터링 결과는 특정 진입로에서 특정 진출로로 이동한 차량의 대수를 시간구간별, 및/또는 차량별 기준으로 제공할 수 있다. 즉, 예를들어, 제1진입로, 제2진입로, 제3진입로가 존재하고, 각각의 제1진입로, 제2진입로, 제3진입로가 동시에 제1진출로, 제2진출로, 제3진출로에 해당하는 경우에, 본 발명의 실시예들에 따른 교통량 모니터링 시스템은 오후 1 시부터 오후 2시까지 제1진입로에서 제2진출로로 이동한 버스의 대수와 같이 구체적인 방향성, 차량의 종류, 및 시간이 고려된 결과 정보를 제공할 수 있다.

상기 컴퓨팅시스템(1000)은, 카메라로부터 수신하거나 혹은 내부적으로 도출된 교통량모니터링 대상영역에 대한 시간에 따른 복수의 영상이미지프레임 각각으로부터 상기와 같은 교통량 모니터링 결과를 도출할 수 있다.

도 2는 본 발명의 실시예들에 따른 교통량모니터링 대상영역의 형태를 예시적으로 도시한다.

본 발명의 실시예들에 따른 교통량 모니터링 방법은 단일의 진입로, 진출로가 존재하는 1방향의 도로뿐만 아니라, 도 2에 도시된 하나의 진입로에 대하여 2 이상의 진출로가 있는 경우가 적어도 1 이상 존재하는 교통량모니터링 대상영역에 대해서 어느 경우나 존재할 수 있다.

예를들어, 도 2의 (A)의 T자형 교차로, (B)의 4방향 교차로, (C)의 로터리, (D)의 5거리교차로 등 하나의 진입로로 진입하더라도 2 이상의 진출로로 나갈 수 있는 대상영역에 적용될 수 있다.

본 발명의 실시예에서는, 전체적인 교통량을 모니터링하기 위하여 각각의 양방향 혹은 일방향 직선형 도로에 설치되는 카메라가 아닌 위와 같이 교통량이 모이는 교차로, 로터리에 설치될 수 있고, 이와 같은 방식으로 카메라 대수 및 연산량을 감소시키면서도 보다 넓은 영역에 대하여 교통량을 정확하게 모니터링할 수 있는 효과를 발휘할 수 있다.

도 3은 본 발명의 일 실시예에 따른 교통량 모니터링 장치의 내부 구성을 개략적으로 도시한다.

본 발명의 실시예들에 따른 교통량 모니터링 방법은 1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템에서 수행된다.

바람직하게는, 상기 컴퓨팅 시스템은 2 이상의 시간대 각각에 따른 2 이상의 카메라위치 각각에 따른 딥러닝 기반으로 학습된 4 이상의 차량객체탐지모델(1400)을 포함한다. 이와 같은 차량객체탐지모델(1400)은 CNN 등의 공지의 이미지에서의 객체검출 알고리즘 등이 이용될 수 있다.

차량객체탐지부(1100)에 의하여 수행되는 차량객체탐지단계(S100)는 하나의 진입로에 대하여 2 이상의 진출로가 있는 경우가 적어도 1 이상 존재하는 교통량모니터링 대상영역에 대한 시간에 따른 복수의 영상이미지프레임 각각에 대하여 해당 교통량모니터링 대상영역의 시간대 및 카메라위치에 상응하는 차량객체탐지모델(1400)에 의하여 상기 영상이미지프레임 각각에 대하여 차량객체를 탐지한다.

기본적으로 시퀀스별 혹은 프레임별, 혹은 특정 샘플링 시간단위별의 각각의 영상이미지프레임에 대하여, 상기 차량객체탐지단계는 차량객체를 탐지한다.

이와 같은 차량객체의 탐지는 차량객체탐지모델(1400)에 의하여 수행되는 데, 상기 차량객체탐지모델(1400)은 차량정보(종류 혹은 여부 등) 및 바운딩 박스가 라벨링된 차량이 존재하는 이미지에 의하여 학습된 딥러닝 기반의 추론모델에 해당한다. 이와 같은 차량객체탐지모델(1400)은 입력된 이미지에 대하여 차량으로 판별된 객체들에 대하여 탐지정보를 제공할 수 있다. 본 발명의 일 실시예에서는, 탐지정보는 차량에 영역에 대한 바운딩박스, 및 차량의 종류를 포함할 수 있다.

차량트래킹부(1200)에 의하여 수행되는 차량트래킹단계(S200)는 상기 차량객체탐지단계에서 탐지된 차량들 각각에 대하여 고유의 식별정보를 부여하여 복수의 상기 영상이미지프레임 상에서 트래킹을 수행하면서, 각각의 영상이미지프레임 시간에 따른 각각의 차량의 고유의 식별정보 및 좌표정보를 포함하는 차량트래킹정보를 도출한다.

상기 차량트래킹단계에서는, 현재의 영상이미지프레임에 대하여 상기 차량객체탐지부(1100)에서 탐지된 차량객체정보를 기반으로 차량을 트래킹한다. 트래킹은 동일한 차량에 대하여 동일한 고유의 식별정보를 부여하면서, 해당 차량의 위치를 각각의 영상이미지프레임 혹은 샘플링타이밍 별로 정보를 기록하는 과정에 해당한다.

이와 같은 차량트래킹단계에서 도출되는 차량트래킹정보는 각각의 각각의 영상이미지프레임 혹은 샘플링타이밍 별로 생성될 수 있고, 동일한 차량에 대해서는 서로 다른 영상이미지프레임 혹은 샘플링타이밍에 대한 차량트래킹정보는 동일한 식별정보가 유지되어야 한다.

교통량모니터링부(1300)에 의하여 수행되는 교통량모니터링단계 (S300)는 상기 차량트래킹정보 및 상기 영상이미지프레임 상에서의 기설정된 경계영역의 위치정보에 기초하여 상기 차량객체탐지단계에서 탐지된 차량의 진출방향을 결정하고, 결정된 상기 진출방향을 고려하여, 상기 영상이미지프레임에서의 적어도 3 방향의 차량진출 교통량 정보를 도출한다.

도 4는 본 발명의 일 실시예에 따른 교통량 모니터링 방법에서의 진입 및 진출의 개념을 도시한다.

전술한 바와 같이, 차량객체탐지단계는 하나의 진입로에 대하여 2 이상의 진출로가 있는 경우가 적어도 1 이상 존재하는 교통량모니터링 대상영역에 대한 시간에 따른 복수의 영상이미지프레임 각각에 대하여 해당 교통량모니터링 대상영역의 시간대 및 카메라위치에 상응하는 차량객체탐지모델(1400)에 의하여 상기 영상이미지프레임 각각에 대하여 차량객체를 탐지한다.

한편, 도 4에 도시된 바와 같이, 교통량모니터링 대상영역의 하측의 진입로는 좌측의 진출로1과 우측의 진출로2를 가질 수 있다. 본 발명의 실시예들에 따른 모니터링 방법은 이와 같은 상태에서 차량의 방향성을 고려하여 교통량을 카운팅하기 때문에, 도 4와 같이, 다양한 형태의 방향성이 존재하는 경우에도, 단일의 카메라에서 수집된 영상으로부터 정확하게 교통량모니터링을 수행할 수 있는 효과를 발휘할 수 있다.

도 5는 본 발명의 일 실시예에 따른 차량객체탐지단계의 결과화면을 예시적으로 도시한다.

전술한 바와 같이, 차량객체탐지단계는 교통량모니터링 대상영역에 대한 시간에 따른 복수의 영상이미지프레임 각각에 대하여 해당 교통량모니터링 대상영역의 시간대 및 카메라위치에 상응하는 차량객체탐지모델(1400)에 의하여 상기 영상이미지프레임 각각에 대하여 차량객체를 탐지한다.

영상이미지를 촬영하는 카메라의 경우, 신호등 정도의 위치에 존재하는 경우 혹은 건물 옥상과 같은 높이에 존재하는 경우가 있고, 촬영시간의 경우 크게 야간 및 주간으로 분류될 수 있다.

본 발명의 바람직한 실시예에서는, 이와 같은 상황적 변화를 고려하여 각각의 상황에 대한 라벨링된 학습데이터(교통량 이미지)에 의하여 학습된 각각의 차량객체탐지모델(1400)을 이용하여 차량객체탐지단계를 수행한다.

바람직하게는, 상기 차량객체탐지모델(1400)은, 주간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 의하여 학습된 제1차량객체탐지모델(1401); 주간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 의하여 학습된 제2차량객체탐지모델(1402); 야간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 의하여 학습된 제3차량객체탐지모델(1403); 및 야간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 의하여 학습된 제4차량객체탐지모델(1404);를 포함한다.

구체적으로, 상기 기설정된 기준 위치보다 높은 위치에서 측정한 이미지는 예를들어, 신호등 위의 건물 등의 다른 구조물에 의하여 지지되는 카메라에 의하여 촬영된 이미지에 해당하고, 상기 기설정된 기준 위치보다 낮은 위치에서 측정한 이미지는 예를들어, 신호등에 의하여 지지되는 카메라에 의하여 촬영된 이미지에 해당할 수 있다.

상기와 같이, 본 발명에서는 각각의 상황에서 개별적으로 학습된 독립된 추론모델을 이용함으로써, 더욱 객체탐지의 정확도를 높일 수 있는 효과를 발휘할 수 있다. 특히, 본 발명에서는 카메라의 위치라는 요소를 고려하여 모델을 분할함으로써, 더욱 정확한 차량의 종류 및 차량의 판별을 수행할 수 있는 효과를 발휘할 수 있다.

도 5의 (A)는 야간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 의하여 학습된 제4차량객체탐지모델(1400)에 의하여, 야간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 대하여 객체탐지를 수행한 예시적인 결과에 해당한다.

도 5의 (B)는 주간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 의하여 학습된 제1차량객체탐지모델(1400)에 의하여, 주간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 대하여 객체탐지를 수행한 예시적인 결과에 해당한다.

도 6은 본 발명의 일 실시예에 따른 차량트래킹정보를 개략적으로 도시한다.

상기 차량트래킹단계는 각각의 영상이미지프레임에서 대하여, 탐지된 차량객체에 대하여 식별정보 및 좌표정보를 포함하는 차량트래킹정보를 생성한다.

상기 차량트래킹단계에서는 서로 다른 시퀀스의 영상이미지프레임에서 동일한 차량의 경우 동일한 식별정보를 부여하기 위하여, 후술하는 예측정보의 이용 및 객체의 외양의 유사도 정보를 이용한다.

이와 같은 과정에 의하여 예시적으로 특정 프레임에서 생성된 차량트래킹정보는 도 6과 같이 정리된다. 본 발명의 실시예들에서는 각각의 영상이미지프레임 혹은 일정 샘플링 구간에 상응하는 영상이미지프레임 각각에 대하여, 도 6과 같은 차량의 식별정보, 차량의 종류, 및 해당 영상이미지프레임에서의 좌표정보를 포함하는 차량트래킹정보를 생성한다.

이와 같은 프레임 혹은 샘플링구간별 차량트래킹정보에 기초하여 교통량모니터링단계는 특정 진입로에서 특정 진출로로 이동한 차량을 종류 및 시간 정보와 함께 카운팅할 수 있다.

즉, 상기 차량객체탐지단계는 2 이상의 차량의 종류에 대한 정보를 식별하여 차량객체를 탐지하고, 상기 차량트래킹단계에서 도출되는 상기 차량트래킹정보는 식별된 상기 차량의 종류에 대한 정보를 포함하고, 상기 교통량 정보는 식별된 차량의 종류에 대한 정보를 포함할 수 있다.

도 7은 본 발명의 일 실시예에 따른 차량객체탐지단계 및 차량트래킹단계의 세부단계들을 개략적으로 도시한다.

본 발명의 일 실시예에서는, 상기 차량트래킹단계는, 상기 차량객체탐지단계에서 탐지된 차량의 외양적특징 및 이전 프레임에서 트래킹 혹은 탐지된 차량의 위치정보에 기반한 예측정보를 고려하여, 상기 차량객체탐지단계에서 탐지된 차량에 대한 트래킹을 수행한다.

도 7에 도시된 바와 같이, 영상이미지프레임에 대하여 차량객체탐지단계에서는 해당 영상이미지프레임에 상응하는 시간대 및 카메라위치에 상응하는 학습된 차량객체탐지모델(1400)에 의하여, 해당 영상이미지프레임 내에서 차량객체가 식별된다. 이와 같은 차량객체탐지모델(1400)은 상황별 학습데이터로 학습된 YOLOv4 모델이 이용될 수 있다.

이후, 차량트래킹단계에서는, 차량객체탐지모델(1400)에 대하여 탐지된 객체에 대하여 동일한 차량에 대해서는 이전에 분석된 영상이미지프레임에서 트래킹된 식별정보를 부여하는 과정이 수행된다.

이와 같은 과정은 이전의 1 이상의 영상이미지프레임에 대하여 차량객체탐지단계 혹은 차량트래킹단계에 의하여 식별된 차량객체 정보에 기반하여 예측되는 정보와 현재의 영상이미지프레임에서 차량객체탐지단계에서 식별된 차량객체정보의 비교에 의하여 수행될 수 있다.

예를들어, 현재의 영상이미지프레임에서 차량객체탐지단계에 의하여 5개의 차량이 탐지되는 경우, a로 식별되는 차량객체가 이전의 차량객체탐지단계 혹은 차량트래킹단계에서 식별된 1이상의 위치로부터 현재의 영상이미지프레임에서의 위치가 예측될 수 있다. 이와 같은 예측은 다양한 공지의 알고리즘이 이용될 있고, 본 발명의 일 실시예에서는 선형적 거동에 강인한 칼만필터를 이용한 예측이 수행될 수 있다.

한편, 상기 5개의 현재의 영상이미지프레임에서 탐지된 차량객체 중 어느 차량객체가 a에 해당하는 지 여부를 판별하기 위하여, 현재 영상이미지프레임에서 상기 차량객체탐지단계에 의하여 탐지된 5개의 차량 객체 중 상기와 같이 예측된 a의 위치와의 차이가 기설정된 기준에 해당하는 차량을 a의 현재의 영상이미지프레임의 객체로 판단할 수 있다. 본 발명의 일 실시예에서는, 이와 같은 차이에 대한 기설정된 기준은 Mahalanobis distance가 적용될 수 있다.

한편, 예를들어, 현재의 영상이미지프레임에서 차량객체탐지단계에 의하여 5개의 차량이 탐지되는 경우, a로 식별되는 차량객체가 이전의 차량객체탐지단계 혹은 차량트래킹단계에서 식별된 1이상의 차량객체의 바운딩박스의 이미지로부터 해당 이미지의 특징정보가 도출될 수 있다. 바람직하게는, 가장 최근의 이전 영상이미지프레임에서의 a차량의 바운딩박스가 사용된다.

이와 같은 특징정보의 추출은 다양한 공지의 알고리즘이 이용될 있고, 본 발명의 일 실시예에서는 딥러닝에 기반한 차량특징정보 추출 모델이 이용될 수 있고, 일 실시예로서는, 차량객체탐지단계에서 사용된 차량객체탐지모델(1400)에서 중간결과만을 출력하는 모델을 차량특징정보 추출 모델로 사용될 수 있다.

한편, 상기 5개의 현재의 영상이미지프레임에서 탐지된 차량객체 중 어느 차량객체가 a에 해당하는 지 여부를 판별하기 위하여, 현재 영상이미지프레임에서 상기 차량객체탐지단계에 의하여 탐지된 5개의 차량 객체 중 추출된 차량특징정보를 상기와 같이 추출된 이전 영상이미지프레임의 a의 차량특징정보에 비교함에 있어서 기설정된 기준에 해당하는 차량을 a의 현재의 영상이미지프레임의 객체로 판단할 수 있다.

이후, 본 발명의 일 실시예에서는 보다 트래킹의 정확도를 개선하기 위하여 Hungarian assignment와 같은 추가적인 과정이 수행될 수 있다.

본 발명의 일 실시예에서는, 전술한 바와 같이 이전의 탐지 혹은 트래킹 결과로부터 예측되는 차량객체의 예측정보 및/또는 이전의 탐지 혹은 트래킹 결과로부터 예측되는 차량객체의 외양적 특징정보를 고려하여 트래킹이 수행될 수 있다.

이와 같은 방식으로 다중 객체에 대하여 보다 정확하게 트래킹을 수행할 수 있는 효과를 발휘할 수 있다.

도 8은 본 발명의 일 실시예에 따른 교통량모니터링단계에서의 가상의 라인들을 개략적으로 도시한다.

본 발명의 실시예들에서는, 상기 교통량모니터링단계는 상기 차량트래킹정보 및 상기 영상이미지프레임 상에서의 기설정된 경계영역의 위치정보에 기초하여 상기 차량객체탐지단계에서 탐지된 차량의 진출방향을 결정하고, 결정된 상기 진출방향을 고려하여, 상기 영상이미지프레임에서의 적어도 3 방향의 차량진출 교통량 정보를 도출한다.

구체적으로, 본 발명의 실시예들에서는, 각각의 시간별 혹은 프레임별 상기 차량트래킹정보는 각각의 탐지된 차량의 상기 이미지프레임 상에서의 좌표정보를 포함한다.

바람직하게는, 상기 경계영역의 위치정보는, 상기 이미지프레임 상에서 존재하는 하나의 진입로를 지나가는 차량들이 넘어가는 가상의 진입로라인에 대한 정보; 및 상기 이미지프레임 상에서 존재하는 상기 하나의 진입로에 대한 2 이상의 진출로 각각을 지나가는 차량들이 넘어가는 2 이상의 가상의 전출로라인에 대한 정보;를 포함한다.

도 8에는 Line 0은 제1진입로라인이 해당하면서도, 제1진출로라인에 해당할 수 있고, Line 1은 제2진입로라인이 해당하면서도, 제2진출로라인에 해당할 수 있고, Line 2는 제3진입로라인이 해당하면서도, 제3진출로라인에 해당할 수 있다.

상기 교통량모니터링단계는, 시간 혹은 프레임에 따른 차량의 트래킹정보에 기초하여, 상기 진입로라인을 넘어간 후 상기 진출로라인을 넘어간 트래킹되는 차량의 숫자에 기초하여, 각각의 진입로 및 진출로에 의하여 정의되는 복수의 방향별 교통량정보를 도출한다.

즉, 예를들어 도 8에서와 같은 상태에서는 교통량은 Line 0->1, 0->2, 1->0, 1->2, 2->0, 2->1의 6개의 방향성을 갖는 방향별 교통량으로 정의될 수 있다.

한편, 트래킹정보에는 특정시간 혹은 프레임에 따른 트래킹되는 차량의 좌표정보가 포함되어 있고, 이와 같은 트래킹정보에 포함되는 차량 중 Line 0을 지나서 Line 1을 지나가는 차량을 카운팅함으로써, Line 0->1의 방향으로 이동하는 차량의 대수를 카운팅할 수 있다.

즉, 상기 진입로라인에 대한 정보는 상기 이미지프레임 상에서의 상기 진입로라인에 대한 제1좌표정보를 포함하고, 상기 진출로라인에 대한 정보는 상기 이미지프레임 상에서의 상기 진출로라인에 대한 제2좌표정보를 포함한다.

전술한 바와 같이 진입로라인 및 진출로라인은 복수이고, 따라서 복수의 제1좌표정보 및 복수의 제2좌표정보가 존재할 수 있다. 한편, 진입로라인의 제1좌표정보는 도 8에서와 같은 특정 Line의 끝점과 시작점에 대한 좌표정보를 포함할 수 있다.

이와 같은 상기 차량트래킹정보에 포함된 차량객체의 좌표가 시간에 따라 상기 제1좌표정보에 의하여 정의되는 진입로라인을 넘어가는 경우에, 해당 차량객체가 해당 진입로를 넘어갔다고 판단하고, 상기 차량트래킹정보에 포함된 차량객체의 좌표가 시간에 따라 상기 제2좌표정보에 의하여 정의되는 진출로라인을 넘어가는 경우에, 해당 차량객체가 해당 진출로를 넘어갔다고 판단한다.

이와 같은 진입로 및 진출로를 넘어갔음이 최종적으로 확인되는 경우, 해당 방향에 대한 교통량을 카운팅함으로써, 교통량을 모니터링할 수 있다.

도 9는 본 발명의 일 실시예에 따른 교통량모니터링단계의 동작을 개략적으로 도시한다.

도 9는 예시적으로 1000번째 프레임에서 각각의 경로(예를들어 도 8의 Line N에서 Line M으로 이동)에 대하여 진입 및 진출이 확인되는 누적 혹은 해당 구간에서의 차종별 카운팅 정보를 도시한다.

도 10은 본 발명의 일 실시예에 따른 진입로라인 및 진출로라인을 넘어가는 차량에 대한 처리과정을 개략적으로 도시한다.

도 10에 도시된 차량은 전술한 차량객체탐지단계 및 차량트래킹단계에 의하여 도 10에서와 같이 각각의 프레임 혹은 샘플링 타이밍별로 (x1, y1), (x2, y2), (x3, y3), (x4, y4), 및 (x5, y5)의 좌표정보가 트래킹된다.

한편, (x1, y1)에서 (x2, y2)로 차량이 이동하는 과정에서 진입로라인을 넘어감이 탐지될 수 있다.

본 발명의 일 실시예에서는, 진입로 혹은 진출로 라인이 시작점(x3, y3) 및 끝점(x4, y4)의 좌표정보로 정의되는 경우에는 하기와 같은 교차점이 정의될 수 있다.

이와 같은 교차점의 산출가능여부 혹은 교차점이 해당 경로 혹은 진입로라인 혹은 진출로라인 위에 존재하는 지 여부를 판단함으로써, 해당 차량의 이동과정에서 진입로라인 혹은 진출로라인을 넘어갔는지 여부가 판별될 수 있다.

마찬가지로, 차량이 (x4, y4)에서 (x5, y5)로 넘어가는 과정에서 차량이 진출로를 넘어감이 탐지될 수 있고, 이와 같은 트래킹되는 해당 차량의 진출로로의 이동이 탐지됨에 따라, 해당 진입로 및 해당 진출로로 정의되는 방향에 대한 교통량이 카운팅될 수 있다.

도 11은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.

도 11에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)의 내부 구성은 도 1에 도시된 컴퓨팅시스템이 포함할 수 있고, 혹은 컴퓨팅장치(11000)은 도 1에 도시된 컴퓨팅 시스템의 일 실시예에 해당할 수 있다.

메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.

이러한 도 11의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 11에 도시된 일부 컴포넌트가 생략되거나, 도 11에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 11에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템에서 수행되는 교통량 모니터링 방법으로서,
상기 컴퓨팅 시스템은 2 이상의 시간대 각각에 따른 2 이상의 카메라위치 각각에 따른 딥러닝 기반으로 학습된 4 이상의 차량객체탐지모델을 포함하고,
하나의 진입로에 대하여 2 이상의 진출로가 있는 경우가 적어도 1 이상 존재하는 교통량모니터링 대상영역에 대한 시간에 따른 복수의 영상이미지프레임 각각에 대하여 해당 교통량모니터링 대상영역의 시간대 및 카메라위치에 상응하는 차량객체탐지모델에 의하여 상기 영상이미지프레임 각각에 대하여 차량객체를 탐지하는 차량객체탐지단계;
상기 차량객체탐지단계에서 탐지된 차량들 각각에 대하여 고유의 식별정보를 부여하여 복수의 상기 영상이미지프레임 상에서 트래킹을 수행하면서, 각각의 영상이미지프레임 시간에 따른 각각의 차량의 고유의 식별정보 및 좌표정보를 포함하는 차량트래킹정보를 도출하는 차량트래킹단계; 및
상기 차량트래킹정보 및 상기 영상이미지프레임 상에서의 기설정된 경계영역의 위치정보에 기초하여 상기 차량객체탐지단계에서 탐지된 차량의 진출방향을 결정하고, 결정된 상기 진출방향을 고려하여, 상기 영상이미지프레임에서의 적어도 3 방향의 차량진출 교통량 정보를 도출하는, 교통량모니터링단계;를 포함하고,
상기 차량객체탐지모델은,
주간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 의하여 학습된 제1차량객체탐지모델; 주간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 의하여 학습된 제2차량객체탐지모델; 야간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 의하여 학습된 제3차량객체탐지모델; 및 야간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 의하여 학습된 제4차량객체탐지모델;를 포함하는, 교통량 모니터링 방법.

삭제

청구항 1에 있어서,
상기 차량객체탐지단계는 2 이상의 차량의 종류에 대한 정보를 식별하여 차량객체를 탐지하고,
상기 차량트래킹단계에서 도출되는 상기 차량트래킹정보는 식별된 상기 차량의 종류에 대한 정보를 포함하고,
상기 교통량 정보는 식별된 차량의 종류에 대한 정보를 포함하는, 교통량 모니터링 방법.

청구항 1에 있어서,
상기 차량트래킹단계는,
현재의 영상프레임이미지에 대한 상기 차량객체탐지단계에서 탐지된 차량의 위치정보 및 이전의 영상프레임이미지에서 트래킹 혹은 탐지된 차량의 위치정보에 기반한 예측위치정보를 고려하여, 상기 차량객체탐지단계에서 탐지된 차량에 대한 트래킹을 수행하는, 교통량 모니터링 방법.

청구항 1에 있어서,
각각의 시간별 혹은 프레임별 상기 차량트래킹정보는 각각의 탐지된 차량의 상기 이미지프레임 상에서의 좌표정보를 포함하고,
상기 경계영역의 위치정보는,
상기 이미지프레임 상에서 존재하는 하나의 진입로를 지나가는 차량들이 넘어가는 가상의 진입로라인에 대한 정보;및
상기 이미지프레임 상에서 존재하는 상기 하나의 진입로에 대한 2 이상의 진출로 각각을 지나가는 차량들이 넘어가는 2 이상의 가상의 진출로라인에 대한 정보;를 포함하는, 교통량 모니터링 방법.

청구항 5에 있어서,
상기 교통량모니터링단계는,
시간 혹은 프레임에 따른 차량의 트래킹정보에 기초하여, 상기 진입로라인을 넘어간 후 상기 진출로라인을 넘어간 트래킹되는 차량의 숫자에 기초하여, 각각의 진입로 및 진출로에 의하여 정의되는 복수의 방향별 교통량정보를 도출하는, 교통량 모니터링 방법.

청구항 5에 있어서,
상기 진입로라인에 대한 정보는 상기 이미지프레임 상에서의 상기 진입로라인에 대한 제1좌표정보를 포함하고,
상기 진출로라인에 대한 정보는 상기 이미지프레임 상에서의 상기 진출로라인에 대한 제2좌표정보를 포함하고,
상기 차량트래킹정보에 포함된 차량객체의 좌표가 시간에 따라 상기 제1좌표정보에 의하여 정의되는 진입로라인을 넘어가는 경우에, 해당 차량객체가 해당 진입로를 넘어갔다고 판단하고,
상기 차량트래킹정보에 포함된 차량객체의 좌표가 시간에 따라 상기 제2좌표정보에 의하여 정의되는 진출로라인을 넘어가는 경우에, 해당 차량객체가 해당 진출로를 넘어갔다고 판단하는, 교통량 모니터링 방법.

1 이상의 메모리 및 1 이상의 프로세서를 포함하는 컴퓨팅 시스템으로 구현되는 교통량 모니터링 장치로서,
상기 컴퓨팅 시스템은 2 이상의 시간대 각각에 따른 2 이상의 카메라위치 각각에 따른 딥러닝 기반으로 학습된 4 이상의 차량객체탐지모델을 포함하고,
상기 교통량 모니터링 장치는,
하나의 진입로에 대하여 2 이상의 진출로가 있는 경우가 적어도 1 이상 존재하는 교통량모니터링 대상영역에 대한 시간에 따른 복수의 영상이미지프레임 각각에 대하여 해당 교통량모니터링 대상영역의 시간대 및 카메라위치에 상응하는 차량객체탐지모델에 의하여 상기 영상이미지프레임 각각에 대하여 차량객체를 탐지하는 차량객체탐지단계;
상기 차량객체탐지단계에서 탐지된 차량들 각각에 대하여 고유의 식별정보를 부여하여 복수의 상기 영상이미지프레임 상에서 트래킹을 수행하면서, 각각의 영상이미지프레임 시간에 따른 각각의 차량의 고유의 식별정보 및 좌표정보를 포함하는 차량트래킹정보를 도출하는 차량트래킹단계; 및
상기 차량트래킹정보 및 상기 영상이미지프레임 상에서의 기설정된 경계영역의 위치정보에 기초하여 상기 차량객체탐지단계에서 탐지된 차량의 진출방향을 결정하고, 결정된 상기 진출방향을 고려하여, 상기 영상이미지프레임에서의 적어도 3 방향의 차량진출 교통량 정보를 도출하는 교통량모니터링단계;를 수행하고,
상기 차량객체탐지모델은,
주간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 의하여 학습된 제1차량객체탐지모델; 주간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 의하여 학습된 제2차량객체탐지모델; 야간에 기설정된 기준 위치보다 높은 위치에서 측정된 이미지에 의하여 학습된 제3차량객체탐지모델; 및 야간에 기설정된 기준 위치보다 낮은 위치에서 측정된 이미지에 의하여 학습된 제4차량객체탐지모델;를 포함하는, 교통량 모니터링 장치.

Images