KR102174556B1 - 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치 - Google Patents

Abstract

실시예는 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치에 관한 것이다.
구체적으로, 이러한 영상감시장치는 중앙관제센터에서 교통정보를 관제할 경우, 교통 감시영상을 수집하는 카메라 모듈과, 이러한 교통 감시영상을 디지털 신호 처리하는 DSP부, 그 처리된 결과로부터 관제할 차량번호를 인식하는 차량번호 인식부를 포함한다.
특히, 상기 DSP부에 의한 교통 감시영상과 상기 차량번호 인식부에 의한 차량번호를 통합적으로 I/O처리하여 상기 중앙관제센터로 제공하고, 상기 중앙관제센터로부터의 교통 관제제어신호에 따라 해당하는 제어대상의 동작을 제어하는 PLC 컨트롤러를 포함하고 있다.
그리고, 이러한 경우 상기 DSP부는 a) 상기 수집된 교통 감시영상 내의 차량 영상정보를 빅데이터화한 도로교통법 위반 차량 영상정보와 비교한다. 그리고, 상기 DSP부는 b) 상기 비교 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 미리 설정된 예측뷰포트를 통해 고화질로 처리하고, 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터에 제공된다.
또한, 이때 상기 차량번호 인식부는 a) 상기 뷰포트별로 처리한 화질의 현재 차량 영상정보를 미리 설정된 차량 피처 메타데이터와 비교하여 차량 피처 메타데이터를 추출한다. 그리고, 상기 차량번호 인식부는 b) 상기 추출된 차량 피처 메타데이터로부터 전체적인 차량 피처를 추출하고, c) 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷을 상기 추출된 차량 피처에 적용해서 차량을 인식한다. 그리고 나서, 차량번호 인식부는 d) 상기 인식된 차량에서 미리 설정된 차량번호판 형상특징을 이용하여 차량번호판을 분류한다. 그리고, e) 상기 분류된 차량번호판에 대해 차량번호판의 샘플문자로 학습된 딥 러닝 알고리즘을 적용하여 차량번호를 문자인식하는 것을 특징으로 한다.
따라서, 이를 통해 카메라의 RAW데이터를 필요로 하지 않으므로 언제든지 차량 번호판이 인식된 차량의 주행 영상을 모니터링하며, 다중차선을 통과하는 차량의 번호판을 모두 인식한다.
또한, 차량의 번호판을 인식하는 영상감시시스템에 있어서, 이러한 일실시예에 따른 신규 딥 러닝 기반의 차량번호 인식을 통해 차량번호를 인식함으로써, 기존보다 시스템적으로 효과적이면서 신속히 차량번호가 인식된다. 그리고, 차량 이미지의 특징을 추출하여 객체화를 통해 차량 특정률을 향상시킨다.
또한, 유동적으로 영상 화질을 결정하여 최적화된 트래픽 양으로 차량 영상정보를 전송한다.

Description

차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치{Apparatus for monitoring image to control traffic information employing Artificial Intelligence and vehicle number}

본 명세서에 개시된 내용은 영상감시장치 기술 분야에 관한 것으로, 도로를 주행하는 차량 등의 영상감시장치에 있어서, 교통 감시영역의 영상과 감시할 차량번호, 교통 감시영역의 주변환경 정보를 수집하여 중앙관제센터에 제공하는 기술에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

최근 무렵 불법 주정차 단속장치, 차량속도 감시장치, 건물의 차량출입 시스템, CCTV 보안시스템 등에 차량번호인식 시스템이 활용되고 있다. 차량번호인식 시스템은 촬영장치인 카메라 및 카메라를 통해 촬영된 이미지를 분석하여 차량번호를 인식하는 정보처리부를 포함한다. 카메라는 고정식 또는 이동식으로 설치될 수 있다.

이러한 차량 번호판은 식별을 목적으로 자동차에 부착하는 금속 또는 플라스틱으로 된 판이다. 차량 번호판에는 문자, 숫자, 또는 이들의 조합이 기재되어 있고, 차량 번호판의 형상은 국가 또는 행정 구역마다 정책적으로 결정된다.

기존의 차량의 번호판을 검출하는 방식에는 문자 기반의 검출 방식, 에지 기반의 검출 방식, 색깔 기반의 검출방식, 텍스처 기반의 검출 방식 등이 있다. 문자 기반의 검출 방식은 처리 속도가 느리며 문자 영역을 설정해야하고, 에지 기반의 검출 방식은 경험적 변수(예컨대, 종횡비 등)에 의존적이고, 색깔 기반의 검출 방식은 조명 또는 그림자의 변화에 민감하고, 텍스처 기반의 검출 방식는 처리 속도가 느린 문제가 있다.

그리고, 더 나아가서 차량 번호판 인식 기술은 교통 단속 시스템 및 주차 관제 시스템, 운전보조장치(ADAS) 시스템 등에 사용되는 지능형교통체계(ITS) 분야의 핵심 기술이다. 최근에는 딥러닝 (Deep Learning) 기술을 통해 차량 번호판 인식 기능이 증대되어 임베디드 환경에서도 효과적으로 동작하고 있으므로 차량 번호판 인식 기술의 다각화를 모색할 수 있다.

이러한 배경의 선행기술문헌은 관련 선행기술을 살펴볼 경우, 특허문헌으로부터 선행기술을 조사해서 관련 선행기술로서 직접적으로 관련된 국내선행기술이 검색되지 않고 참고할만한 아래의 특허문헌이 나타났다.

(특허문헌 1) KR1020190143548 A

참고적으로, 이러한 특허문헌 1의 기술은 차량번호, 종류, 및 색상 학습을 통한 번호판 인식률이 향상되고, 실시간 학습이 가능한 차량 인식 시스템에 관한 기술이다.

개시된 내용은, 카메라의 RAW데이터를 필요로 하지 않으므로 언제든지 차량 번호판이 인식된 차량의 주행 영상을 모니터링 할 수 있으며, 다중차선을 통과하는 차량의 번호판을 모두 인식할 수 있도록 하는 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치를 제공하고자 한다.

그리고, 이러한 경우 상기 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치는 신규 딥 러닝 기반의 차량번호 인식을 통해 차량번호를 인식함으로써, 기존보다 시스템적으로 효과적이면서 신속히 차량번호가 인식될 수 있도록 한다.

또한, 이에 더하여 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치는 차량 이미지의 특징을 추출하여 객체화를 통해 차량 특정률을 향상시킬 수 있도록 한다.

이에 더하여, 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치는 유동적으로 영상 화질을 결정하여 최적화된 트래픽 양으로 차량 영상정보를 전송할 수 있도록 한다.

실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치는,

중앙관제센터에서 교통정보를 관제할 경우, 교통 감시영상을 수집하는 카메라 모듈과, 이러한 교통 감시영상을 디지털 신호 처리하는 DSP부, 그 처리된 결과로부터 관제할 차량번호를 인식하는 차량번호 인식부를 포함한다.

특히, 상기 DSP부에 의한 교통 감시영상과 상기 차량번호 인식부에 의한 차량번호를 통합적으로 I/O처리하여 상기 중앙관제센터로 제공하고, 상기 중앙관제센터로부터의 교통 관제제어신호에 따라 해당하는 제어대상의 동작을 제어하는 PLC 컨트롤러를 포함하고 있다.

그리고, 이러한 경우 상기 DSP부는 a) 상기 수집된 교통 감시영상 내의 차량 영상정보를 빅데이터화한 도로교통법 위반 차량 영상정보와 비교한다. 그리고, 상기 DSP부는 b) 상기 비교 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 미리 설정된 예측뷰포트를 통해 고화질로 처리하고, 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터에 제공된다.

또한, 이때 상기 차량번호 인식부는 a) 상기 뷰포트별로 처리한 화질의 현재 차량 영상정보를 미리 설정된 차량 피처 메타데이터와 비교하여 차량 피처 메타데이터를 추출한다. 그리고, 상기 차량번호 인식부는 b) 상기 추출된 차량 피처 메타데이터로부터 전체적인 차량 피처를 추출하고, c) 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷을 상기 추출된 차량 피처에 적용해서 차량을 인식한다. 그리고 나서, 차량번호 인식부는 d) 상기 인식된 차량에서 미리 설정된 차량번호판 형상특징을 이용하여 차량번호판을 분류한다. 그리고, e) 상기 분류된 차량번호판에 대해 차량번호판의 샘플문자로 학습된 딥 러닝 알고리즘을 적용하여 차량번호를 문자인식하는 것을 특징으로 한다.

실시예들에 의하면, 카메라의 RAW데이터를 필요로 하지 않으므로 언제든지 차량 번호판이 인식된 차량의 주행 영상을 모니터링하며, 다중차선을 통과하는 차량의 번호판을 모두 인식한다.

또한, 차량의 번호판을 인식하는 영상감시시스템에 있어서, 이러한 일실시예에 따른 신규 딥 러닝 기반의 차량번호 인식을 통해 차량번호를 인식함으로써, 기존보다 시스템적으로 효과적이면서 신속히 차량번호가 인식된다.

그리고, 차량 이미지의 특징을 추출하여 객체화를 통해 차량 특정률을 향상시킨다.

또한, 유동적으로 영상 화질을 결정하여 최적화된 트래픽 양으로 차량 영상정보를 전송한다.

도 1은 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치가 적용된 개념도
도 2는 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치 적용된 시스템을 전체적으로 도시한 도면
도 3은 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치의 구성을 도시한 블록도
도 4는 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치를 순서대로 도시한 플로우 차트
도 5는 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치가 적용된 시스템을 개략적으로 도시한 도면

도 1은 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치가 적용된 개념도이다.

도 1에 도시된 바와 같이, 일실시예의 영상감시장치(100)는 기본적으로 도로 등에서 차량이 주행할 경우, 각 도로 등의 교통 감시영역에서 교통 감시영상을 수집하여 중앙관제센터로 전달함으로써, 중앙관제센터를 통해 교통정보 관제가 이루어질 수 있도록 한다.

예를 들어, 여기에서는 일실시예에 따른 영상감시장치(100)가 다차로(L-1 ~ L-4) 도로 등에서 다수의 차량(V-1 ~ V-3)이 주행할 경우, 교통 감시구역(S-1, S-2)에서 교통 감시영상을 수집하여 중앙관제센터로 제공하는 것이다.

그리고, 일실시예의 영상감시장치(100)는 그 교통 감시영상 수집시에, 차량 영상정보를 빅데이터화한 도로교통법 위반 차량 영상정보와 비교하고, 해당하는 위반 차량이 위험확률시에 고화질로 처리하고, 나머지 배경영상 등을 저화질로 처리한다.

또한, 이때 이러한 영상감시장치(100)는 이러한 교통 감시영상을 통해 차량 피처를 추출해서 차량 피처에 의해 차량을 인식하고, 이렇게 인식된 차량에서 차량번호판의 샘플문자로 학습된 딥 러닝 알고리즘을 적용하여 차량번호를 문자인식한다.

그래서, 이를 통해 중앙관제센터에서 차량의 이상여부를 감지하고, 더 나아가서 이상징후가 발견된 차량을 추적하는 등을 통해 교통정보 관제를 구현한다.

상기 영상감시장치(100)는 다수의 상이한 교통 감시영역마다 예를 들어, 주요 교차로, 진입로 등에 각기 설치된 것으로, 자신의 교통 감시영역의 교통 감시영상을 수집하고 이러한 교통 감시영상에서 차량번호를 인식해서 상기 중앙관제센터에 제공하는 것이다. 구체적으로는, 상기 영상감시장치(100)는 이러한 교통 감시영상을 수집하는 동작을 아래와 같이 수행한다. 즉, 상기 영상감시장치(100)는 교통 감시영상을 수집하는 경우, 교통 감시영상 내의 차량 영상정보를 빅데이터화한 도로교통법 위반 차량 영상정보와 비교한다. 그래서, 이러한 영상감시장치(100)는 상기 비교 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 미리 설정된 예측뷰포트를 통해 고화질로 처리하고, 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터에 제공된다. 그리고, 영상감시장치(100)는 일실시예에 따라 전술한 차량번호 인식 동작을 아래와 같이 수행한다. 즉, 영상감시장치(100)는 상기 뷰포트별로 처리한 화질의 현재 차량 영상정보를 미리 설정된 차량 피처 메타데이터와 비교하여 차량 피처 메타데이터를 추출한다. 그리고, 이렇게 추출된 차량 피처 메타데이터로부터 전체적인 차량 피처를 추출한다. 그리고 나서, 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷을 상기 추출된 차량 피처에 적용해서 차량을 인식한다. 그래서, 이렇게 인식된 차량에서 미리 설정된 차량번호판 형상특징을 이용하여 차량번호판을 분류한다. 다음, 이러한 차량번호판에 대해 차량번호판의 샘플문자로 학습된 딥 러닝 알고리즘을 적용하여 차량번호를 문자인식한다. 따라서, 이를 통해 카메라의 RAW데이터를 필요로 하지 않으므로 언제든지 차량 번호판이 인식된 차량의 주행 영상을 모니터링 할 수 있으며, 예를 들어 다중차선을 통과하는 차량의 번호판을 모두 인식할 수 있다. 또한, 차량의 번호판을 인식하는 영상감시시스템에 있어서, 이러한 일실시예에 따른 신규 딥 러닝 기반의 차량번호 인식을 통해 차량번호를 인식함으로써, 기존보다 시스템적으로 효과적이면서 신속히 차량번호가 인식된다. 그리고, 차량 이미지의 특징을 추출하여 객체화를 통해 차량 특정률을 향상시킬 수 있다. 또한, 유동적으로 영상 화질을 결정하여 최적화된 트래픽 양으로 차량 영상정보를 전송한다.

도 2는 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치(100)가 적용된 시스템을 전체적으로 도시한 도면이다.

도 2에 도시된 바와 같이, 일실시예의 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치(100)가 적용된 시스템은 각 교통 감시영역별로 설치된 다수의 영상감시장치(100-1, 100-2, ... 100-m, 100-n, ... )와, 중앙관제센터(200)를 포함한다.

상기 영상감시장치(100-1, 100-2, ... 100-m, 100-n, ... )는 다수의 상이한 교통감시영역별로 예를 들어, 주요 교차로, 진입로, 나들목 등에 각기 설치된 것으로, 자신의 교통 감시영역의 교통 감시영상을 수집하고, 차량번호를 인식하여 교통정보 관제를 위한 기초정보로서 자가망을 통해 상기 중앙관제센터(200)에 제공한다. 이러한 경우, 일실시예에 따라 상기 영상감시장치(100-1, 100-2, ... 100-m, 100-n, ... )는 예를 들어, 교통 감시영상을 아래와 같이 제공한다. 구체적으로는, 상기 영상감시장치(100-1, 100-2, ... 100-m, 100-n, ... )는 먼저 카메라 모듈에서 촬영한 교통 감시영상 내의 차량 영상정보를 빅데이터화한 도로교통법 위반 차량 영상정보와 비교한다. 상기 비교 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 미리 설정된 예측뷰포트를 통해 고화질로 처리하고, 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터(200)에 제공된다. 그리고, 이러한 경우, 전술한 교통 감시영상의 제공과 관련되어 상기 영상감시장치(100-1, 100-2, ... 100-m, 100-n, ... )는 일실시예에 따라 차량 번호의 인식을 예를 들어 아래와 같이 수행한다. 구체적으로는, 상기 영상감시장치(100-1, 100-2, ... 100-m, 100-n, ... )는 먼저 교통 관제시에 다수의 상이한 교통 감시영역마다 각기 설치되어서, 교통 감시영상을 수집한다. 그리고 나서, 이렇게 수집된 교통 감시영상 내의 차량 영상정보와 미리 설정된 차량 피처 메타데이터를 비교하여 주행 중인 차량 피처 메타데이터를 추출한다. 다음, 이러한 차량 피처 메타데이터로부터 전체적인 차량 피처를 추출한다. 그래서, 이러한 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷을 상기 추출된 차량 피처에 적용해서 차량을 인식한다. 다음, 상기 영상감시장치(100-1, 100-2, ... 100-m, 100-n, ... )는 이렇게 인식된 차량에서 미리 설정된 차량번호판 형상특징을 이용하여 차량번호판을 분류한다. 그리고 나서, 이렇게 분류된 차량번호판에 대해 차량번호판의 샘플문자로 학습된 딥 러닝 알고리즘을 적용하여 차량번호를 문자인식한다.

상기 중앙관제센터(200)는 기본적으로 상기 영상감시장치(100-1, 100-2, ... 100-m, 100-n, ... )로부터 이러한 교통감시영상과 차량번호 등을 수집하고 차량의 이상여부 등에 대한 영상감시를 수행함으로써, 교통정보 관제가 이루어지도록 한다. 예를 들어, 상기 중앙관제센터(200)는 이렇게 전송된 영상정보를 신호위반, 과속, 주정차위반 등 도로교통법상 위반내용에 따라 알고리즘을 통해 분류하여 저장한다. 그리고, 이러한 경우, 차량의 이상여부가 감지될 시, 상기 영상감시장치(100-1, 100-2, ... 100-m, 100-n, ... )의 회전, 영상 확대, 정지, 문자 표시, 상태 확인 등의 다양한 제어활동을 수행한다. 추가적으로, 상기 중앙관제센터(200)는 이렇게 수행된 교통정보 관제 결과 등을 방재관리실 혹은 외부연계기관에 제공한다. 이때, 상기 외부연계기관은 교통상황통제 정보처리장치와, 경찰서 정보처리장치, 교통기관 정보처리장치 또는, 긴급구조 정보처리장치, 소방서 정보처리장치 등이다.

부가적으로, 상기 중앙관제센터(200)는 이러한 경우, 전술한 교통분석 결과를 바탕으로 해당되는 지역의 신호정책 등에 관한 교통정책을 도출하거나 교통이상징후를 예측하기도 한다.

- 교통정책 도출

예를 들어, 도로요금정책을 결정함에 있어서는 잦은 지체 및 정체 구간은 요금을 인상한다거나, 소통이 원활한 구간의 요금은 감액하는 등의 방법을 통해 효율적인 도로이용을 유도할 수 있다.

그리고, 도로의 지체 및 정체가 특정시간대에 집중된 경우, 해당시간대에 변동적인 추가 요금을 적용하거나, 같은 시간대의 다른 구간에 비해 소통이 원활한 구간의 요금은 감액하는 등의 방법을 통해 효율적인 도로이용을 유도하는 도로요금정책에 대한 구체적 정보로 활용할 수 있다. 특별수송기간 및 주말 연휴기간의 경우, 교통정보가 필요한 지역에 대한 과거 해당기간의 도로이용 실태를 매시간별로 제공받음으로써 배송 및 나들이를 위한 최적의 시간대를 파악할 수 있어 도로이용에 대한 의사결정에 도움을 준다. 또한, 이를 통하여 도로 이용의 효율성이 증대되어 연간 업무생산성이 향상되는 효과가 있다.

도 3은 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치(100)의 구성을 도시한 블록도이다.

도 3에 도시된 바와 같이, 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치(100)는 LTE형 PLC 기반의 통합 감시장치로서, 카메라 모듈(110)과, DSP부(120), 차량번호 인식부(130) 및 PLC 컨트롤러(140)를 포함한다.

추가적으로, 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치(100)는 주변의 환경상태 정보를 감지하는 센서부(150)를 더 포함한다.

이러한 경우 상기 영상감시장치(100)는 상기 PLC 컨트롤러(140)가 기본적으로 차량번호 인식부(130)와 센서부(150) 등으로부터 통합적으로 신호를 입력받는 입력 모듈과, CPU 모듈, 미세먼지 저감장치 등의 각종 제어대상에 통합적으로 제어신호를 출력하는 출력 모듈로 된다.

그리고, 상기 PLC 컨트롤러(140)는 이때 PLC 자체에서 LTE 기능을 수행하는 LTE 모듈을 구비해서, 상기 CPU 모듈이 이러한 LTE 모듈에 의해 상기 입/출력 모듈과 연동하여 통합적으로 각종 감시정보를 중앙관제센터(200)에 제공한다.

상기 카메라 모듈(110)은 관리자를 통해 미리 지정된 교통 감시영역의 교통 감시영상을 촬영함으로써, 관리자가 원하는 영역의 감시대상 정보를 획득한다. 그리고, 상기 카메라 모듈(110)은 이렇게 촬영된 교통 감시영역의 영상을 상기 DSP부(120)로 전달하여 중앙관제센터(200)에 제공할 감시영상으로 처리될 수 있도록 한다.

상기 DSP부(120)는 상기 촬영된 교통 감시영역의 영상을 디지털 신호 처리하여 상기한 감시영상으로 생성함으로써, 교통정보의 관제를 위한 차량 영상정보를 제공할 수 있도록 한다. 이를 위해, 상기 DSP부(120)는 상기한 바에 따라 수집된 교통 감시영역의 영상 내 차량 영상정보를 빅데이터화한 도로교통법 위반 차량 영상정보와 비교한다. 그래서, DSP부(120)는 상기 비교 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 미리 설정된 예측뷰포트를 통해 고화질로 처리하고, 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터(200)에 제공된다. 따라서, 이를 통해 DSP부(120)는 유동적으로 영상 화질을 결정하여 최적화된 트래픽 양으로 차량 영상정보를 전송할 수 있도록 한다. 그리고, 이렇게 차량 영상정보가 생성될 경우, 일실시예에 따라 다른 각종 감지정보와 같이 통합적으로 상기 PLC 컨트롤러(140)에 입력된다.

상기 차량번호 인식부(130)는 일실시예에 따라 상기 뷰포트별로 처리한 화질의 현재 차량 영상정보를 미리 설정된 차량 피처 메타데이터와 비교하여 차량 피처 메타데이터를 추출하고, 이러한 차량 피처 메타데이터로부터 전체적인 차량 피처를 추출한다. 그리고 나서, 상기 차량번호 인식부(130)는 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷을 상기 추출된 차량 피처에 적용해서 차량을 인식한다. 다음, 차량번호 인식부(130)는 이렇게 인식된 차량에서 미리 설정된 차량번호판 형상특징을 이용하여 차량번호판을 분류한다. 그래서, 이러한 분류된 차량번호판에 대해 차량번호판의 샘플문자로 학습된 딥 러닝 알고리즘을 적용하여 차량번호를 문자인식한다. 따라서, 이를 통해 카메라의 RAW데이터를 필요로 하지 않으므로 언제든지 차량 번호판이 인식된 차량의 주행 영상을 모니터링 할 수 있도록 하며, 예를 들어 다중차선을 통과하는 차량의 번호판을 모두 인식할 수 있도록 한다. 그리고, 또한 차량의 번호판을 인식하는 영상감시시스템에 있어서, 이러한 일실시예에 따른 신규 딥 러닝 기반의 차량번호 인식을 통해 차량번호를 인식함으로써, 기존보다 시스템적으로 효과적이면서 신속히 차량번호가 인식된다. 그리고, 이러한 차량번호 정보가 인식될 경우, 다른 각종 감지정보와 같이 통합적으로 상기 PLC 컨트롤러(140)에 입력된다.

상기 센서부(150)는 교통 감시영역의 주변환경 상태정보를 감지하는 것이다. 이러한 센서부(150)는 예를 들어, 교통 감시영역의 미세 먼지를 감지하는 아날로그 미세먼지 감지센서와, 아날로그 교통 감시영역의 온/습도 감지센서, 디지털 태양광 감지센서, 행인의 조작에 의한 횡단보도 신호등 상태변경여부 등을 감지하는 디지털 스위치 등으로 된다.

상기 PLC 컨트롤러(140)는 상기 DSP부(120)에 의한 교통 감시영상과 상기 차량번호 인식부(130)에 의한 차량번호, 상기 센서부(150)에 의한 각종 감지정보를 통합적으로 I/O처리하여 상기 중앙관제센터(200)에 제공한다. 그리고, 이러한 경우 상기 PLC 컨트롤러(140)는 자체적으로 LTE 모듈을 구비하여 상기 입/출력 모듈과 연동함으로써, 통합적으로 각종 감시정보를 중앙관제센터(200)에 제공할 수 있도록 한다.

한편, 전술한 일실시예에 따른 PLC 컨트롤러(140)의 구성을 보다 상세히 설명한다.

이와 관련하여 먼저 부가설명을 하면, 다양한 환경에서 사용되는 기존의 PLC 시스템에 대해서는 여러 기능을 가진 모듈이 필요하며, 이에 따라서 PLC 제조 업체는 사용자의 요구사항을 만족하는 다양한 모듈을 제공한다. 예를 들어, 디지털 입출력 모듈, 아날로그 입출력모듈, 통신 모듈 등 여러 기능을 가진 모듈이 PLC 시스템에 사용되고, 이러한 다양한 모듈을 통해서 사용자가 원하는 시스템이 구축된다.

예를 들어, 특허문헌 KR101778333 Y1의 기술은 이러한 기술로서 등록받은 발명이며, 구체적으로는 PLC의 출력모듈의 동작상 결함 여부를 진단하기 위한 진단모듈을 구비하는 PLC 시스템에 관한 것이다.

일실시예에 따른 전술한 LTE 모듈은 이러한 점들을 이용해서, 그 LTE 모듈로부터 LTE 기능을 제공하는 PLC를 제공하고, 이를 통해 더 나아가 관리자에 의해 쉽게 감시와 제어 등이 이루어지도록 한 것이다.

이에 따라, 일실시예에 의해 상기 PLC 컨트롤러(140)는 기본적으로 차량번호 인식부와 센서부 등으로부터 통합적으로 신호를 입력받는 입력 모듈과, CPU 모듈, 미세먼지 저감장치 등의 각종 제어대상에 통합적으로 제어신호를 출력하는 출력 모듈로 된다.

그리고, 상기 PLC 컨트롤러(140)는 이때 PLC 자체에서 LTE 기능을 수행하는 LTE 모듈을 구비해서, 상기 CPU 모듈이 이러한 LTE 모듈에 의해 상기 입/출력 모듈과 연동하여 통합적으로 각종 감시정보를 무선 통신으로 중앙관제센터(200)에 제공한다.

이러한 경우, 상기 LTE 모듈은 자체적으로 근접한 관리자 단말기 예를 들어, 관리자 모바일폰으로 각종 감시정보를 제공하기 위해서, 무선 통신 모듈 예를 들어, LoRa 모듈을 구비한다.

그래서, 상기 PLC 컨트롤러(140)는 상기 LTE 모듈을 통해 자체적으로 인터넷연결부가 구비되어, 실시간으로 감지되는 교통 감시영역의 주변환경 상태정보 등을 미리 등록된 관리자 단말기 앱으로 직접 송출할 수 있는 기능을 수행한다.

이에 더하여, 상기 PLC 컨트롤러(140)의 입력 모듈 즉, A/D 모듈과 D/I 모듈은 각종 교통 감시영역의 주변환경 상태 아날로그 정보와, 교통 감시영역의 교통 감시영상과 차량번호 및 태양광 등의 디지털 정보 등을 통합적으로 입력받는다.

예를 들어, 상기 입력 모듈은 상기 센서부(150) 예를 들어, 미세먼지 감지센서로부터 교통 감시영역 주변의 미세먼지 아날로그 정보를 입력받는다. 또는 상기 D/I 모듈을 통해 상기 센서부(150) 예컨대, 교통 감시영역 주변의 태양광정보와, 횡단보도 신호등 변경 스위치로부터 카메라 장치가 설치된 주변의 횡단보도 신호등 변경에 관한 행인조작정보를 디지털 정보로서 입력받는다.

이러한 경우, 상기 입력 모듈은 PLC의 입력 모듈로서 I/O카드를 포함하는 것으로 정의한다.

그리고, 상기 PLC 컨트롤러(140)의 출력 모듈은 상기 입력 모듈을 통해 신호가 입력되어 CPU 모듈에 의해 제어신호가 발생될 시, 제어대상으로 예를 들어, 교통 감시영역의 주변에 설치된 미세먼지 저감 장치 등으로 상기 제어신호를 전달한다.

부가적으로, 상기 CPU 모듈은 상기 입력 모듈에 의해 신호가 입력될 시, 미리 설정된 제어 로직에 따라 입력된 신호를 프로세싱하여 영상감시 등과 관련된 상이한 제어신호를 발생한다.

추가적으로, 이러한 PLC 컨트롤러(140)는 전술한 바에 더해, 상기한 PLC의 I/O 카드로부터 수집된 데이터에 대해 지정된 음성으로 알람 등을 한다.

이를 위해, 상기 LTE 모듈은 자체 TTS엔진을 구비하여 PLC의 입력 모듈로부터 수집된 데이터에 대해 미리 설정된 데이터별 음성정보에 따라 예를 들어, 음성멘트에 따라 상이하게 음성으로 알람한다.

구체적으로는, 상기 LTE 모듈은 자체 TTS엔진을 구비하여 상기 센서부(150)에 의한 교통 감시영역의 주변환경 상태레벨에 대응하는 음성정보를 상기 TTS엔진에 의해 직접적으로 음성 알람을 한다.

또한, 다른 예로 상기 LTE 모듈은 영상감시 등과 관련된 외부 음성을 입력받아 노이즈 캔슬링을 수행하고 오디오 출력을 한다.

이에 더하여, 상기한 LTE 모듈은 상기 센서부(150)에 의한 교통 감시영역의 주변환경 상태 레벨에 대응하는 음성정보를 LTE데이터로 상기 중앙관제센터(200)에 음성 알람을 한다.

이러한 경우, 상기 음성멘트는 예를 들어, LTE 모듈 자체에 구비된 플래시 음성메모리에 등록함으로써 된다.

그래서, 이를 통해 PLC의 I/O 카드로부터 수집된 데이터 등에 대해 지정된 음성으로 알람을 한다.

또한, 이에 더하여 상기 PLC 컨트롤러(140)는 외부 음성에 대해 노이즈 캔슬링 기능을 수행한다.

구체적으로, 상기 LTE 모듈은 영상감시 등과 관련된 관리자 등의 음성을 입력받아 노이즈 캔슬링을 수행하고 오디오 출력을 함으로써 오디오 IOT기능을 수행한다.

예를 들어, 이러한 경우 외부 오디오 입력을 받아 노이즈 캔슬링을 수행하고 IOT 모듈 자체에 구비된 오디오 앰프를 통해 오디오 출력을 함으로써 오디오 IOT기능을 수행한다.

한편, 이에 더하여 상기 PLC 컨트롤러(140)는 이러한 경우 중앙관제센터(200)에서 최적화된 객체를 감시하고 제어할 수 있도록 별도의 HMI 모듈을 포함한다.

구체적으로, 상기 HMI 모듈은 상기 카메라 모듈(110)에 의한 영상 신호와 상기 센서부(150)에 의한 감지 신호를 사용자 인터페이스화로서 상호 연동시킴으로써 영상통합계측한다. 그리고, 상기 HMI 모듈은 상기 CPU모듈의 제어에 의해 상기 센서부(150)로부터의 감지 신호에 따라 알람을 감지한 경우, 상기 카메라 모듈(110)에 의한 영상 신호에 해당되는 이상상태 UI정보를 상기 중앙관제센터(200)에 의해 팝업한다.

다른 한편으로, 추가적으로 전술한 일실시예의 영상감시장치는 인공지능 알고리즘부(미도시)를 가지는 것을 특징으로 한다.

예를 들어, 상기 인공지능 알고리즘부(미도시)는 대기 미세먼지 관련 정보 등을 계절별과 시간별, 날씨별, 온도별로 분석하고 빅데이터화하여 대표되는 기준 미세먼지 패턴을 도출하고, 현재의 계절과 시간, 날씨, 온도에 따른 대기 미세먼지 관련 정보와 비교해서 미리 설정된 차이값보다 초과한 경우, 관련된 외부 대기 미세먼지 제어장치를 제어하는 이벤트를 발생한다.

그래서, 이를 통해 미세먼지를 계절별 시간별, 날씨별, 온도별 등 모니터링하고, 미세먼지 저감장치를 작동하며, 빅데이터가 쌓이면, 계절별로 미세먼지가 많이 발생하는 지역의 신호등을 컨트롤하여 교통량을 줄이는 등 종합적인 미세먼지 저감대책을 위한 주요 설비가 될 것이다.

도 4는 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치를 순서대로 도시한 플로우 차트이다(도 3 참조).

도 4에 도시된 바와 같이, 일실시예에 따른 영상감시장치는 먼저 도 3의 상기 카메라 모듈(110)이 교통 관제시에 다수의 상이한 교통 감시영역별로 설치되어서, 해당하는 교통 감시영역의 교통 감시영상을 촬영하여 수집한다(S401).

참고적으로, 상기 교통 감시영상은 각 차로마다 주행하는 차량에 관한 정보 등을 포함한다. 이때, 다수의 차로를 검지 영역으로 설정하여, 다수의 차로 위를 주행하는 차량의 과속 여부를 감시하되, 차량별 주행 경로를 추출하여, 버스전용차로 위반차량, 수배차량, 등록번호 위반차량 또는 교통사고 차량을 검출하기 위해 마련된다.

다음, 일실시예에 따른 영상감시장치는 상기 DSP부(120)가 이렇게 촬영된 교통 감시영상을 디지털 신호 처리하여 중앙관제센터에서 교통정보를 관제하기 위한 감시영상으로 생성함으로써, 교통정보의 관제를 위한 차량 영상정보를 제공할 수 있도록 한다.

구체적으로는, 상기 DSP부(120)는 상기한 교통 감시영상 내 차량 영상정보를 빅데이터화한 도로교통법 위반 차량 영상정보와 비교한다(S402). 그래서, DSP부(120)는 상기 비교 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우(S403), 미리 설정된 예측뷰포트를 통해 고화질로 처리하고(S404), 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써(S405), 교통 감시영상이 중앙관제센터에 제공된다.

따라서, 이를 통해 DSP부(120)는 유동적으로 영상 화질을 결정하여 최적화된 트래픽 양으로 차량 영상정보를 전송할 수 있도록 한다.

다음, 상기 차량번호 인식부(130)는 이렇게 처리된 교통 감시영상 내의 차량 영상정보와 미리 설정된 차량 피처 메타데이터를 비교하여 주행 중인 차량 피처 메타데이터를 추출한다(S406).

이러한 경우, 상기 차량 피처 메타데이터는 객체 예를 들어, 차량의 속성 또는 특징을 나타내는 메타데이터를 의미한다.

그리고 나서, 이렇게 추출된 차량 피처 메타데이터로부터 전체적인 차량 피처를 추출한다(S407).

이러한 차량 피처를 추출할 시, 예를 들어 딥러닝 클러스터를 적용한다.

상기 딥러닝 클러스터는 차량으로부터 인식을 위한 차량인식용 특징정보를 추출한다. 추출된 차량인식용 특징정보는 학습된 모델 빅 데이터 저장부에 저장된다. 이러한 딥 러닝 클러스터에 의해 추출된 차량인식용 특징정보에는, 예를 들면, 영상 이름(예를 들면, 오브젝트 이름, 영상 프레임 정보 및 시간), 차량 번호가 포함된 이미지, 차량의 종류 예를 들어, 차량의 색깔 등이 포함되어 있을 수 있다.

다음, 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷을 상기 추출된 차량 피처에 적용해서 차량을 인식한다(S408).

이러한 경우, 상기 AI 포맷은 예를 들어, YOLO 포맷으로 된다.

보다 구체적으로, 상기 YOLO 포맷은 다수의 상이한 차량 피처별로 각 차량의 전체 크기와 위치를 추정하여 조합함으로써 차량 전체의 크기와 위치를 추정하여 이루어진다.

다음, 이렇게 인식된 차량에서 미리 설정된 차량번호판 형상특징을 이용하여 차량번호판을 분류한다(S409).

그래서, 이렇게 분류된 차량번호판에 대해 차량번호판의 샘플문자로 학습된 딥 러닝 알고리즘을 적용하여 차량번호를 문자인식한다(S410).

구체적으로는 아래와 같다.

즉, 우선적으로 차량번호판의 샘플문자로 학습된 딥러닝 알고리즘을 통해 차량번호판에 포함된 문자정보를 인식하여 차량번호판의 차량번호를 결정한다.

이때, 딥러닝 알고리즘은 문자의 특징을 파악하고, 상기 문자 특징을 분석하여 문자정보를 인식할 수 있다.

보다 구체적으로, 이러한 딥러닝 알고리즘 모듈은 심층 신경망(deep neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network) 등과 같은 하나 이상의 딥러닝 알고리즘을 모듈화하여 이를 적용한다.

이는 문자의 특성에 따라 상기와 같은 딥러닝 알고리즘 중 최적화된 알고리즘을 적용하기 위함이다.

상기 딥러닝 알고리즘 모듈은 미리 설정한 기준에 따라 심층 신경망, 합성곱 신경망, 순환 신경망을 단독 또는 복합적으로 적용한다.

예를 들어, 딥러닝 알고리즘 모듈은 문자가 주요 대상일 경우 앞선 신경망 중 어느 하나의 신경망을 단독으로 적용하고, 문자뿐만 아니라 색상 및 음영 등의 부가적인 정보까지 주요 대상일 경우 신경망을 복합적으로 적용한다.

한편, 이러한 딥러닝 알고리즘과는 다른 방식을 설명하면 아래와 같다.

구체적으로는, 이미지화된 차량 전체 영역에서 차량 번호판 영역 이미지(형태)를 검출한다.

이때, 차량 번호판 검출은 HOG 방식과 같은 차량의 형태적 특징을 추출하고, SVM 또는 AdaBoost와 같은 차량/배경 분류기 학습을 통하여 차량 번호판 영역 이미지를 검출할 수 있다.

참고적으로, 이러한 상기 LprNet은 종래 기술에 속하는 것으로서, 여기서는 그에 대한 상세한 설명을 생략한다.

이때, 차량번호를 인식할 시, 차량번호인식 딥러닝을 적용할 수 있다.

이러한 경우, 상기 차량번호인식 딥러닝은 차량이미지를 수집하여 설정된 딥러닝을 통해 차량번호인식패턴을 도출한다. 이때, 차량번호인식 딥러닝은 차량번호인식패턴의 딥러닝으로, 수집된 CCTV영상이 프레임별로 입력이 되면, 각 프레임별로 입력되는 이미지는 분리작업을 거쳐 수정된 이미지를 학습된 신경망에 넣고 최적화된 결과의 이미지를 추출한 후, 해당 이미지를 받아 전처리과정을 수행한다. 즉, 전처리과정은 컬러이미지를 2진 영상으로 변환한 후 가장자리를 검출하되, 스레숄드(Threshold)를 적용하여 가장자리를 추출하며, 각 윤곽(Contour)의 배열에 접근하여 노이즈 영역을 지운다.

그리고 모든 전처리가 끝나면 남은 윤곽을 한 쪽에서부터 정렬된 순서로 윤곽을 확인하여 일정 거리가 지나면 초기화시키고, 원하는 윤곽이 나타나면 이를 번호판으로 인식한다. 또한, 인식된 번호판을 기준으로 차량번호를 텍스트(Text)로 인식하는 과정을 반복적으로 수행함으로써 차량번호를 인식한다.

따라서 차량번호인식 딥러닝은 반복적이고 지속적인 과정으로 딥러닝에 의한 누적된 학습으로 차량번호의 인식이 어려운 이미지로부터 차량번호의 추출이 이루어진다.

따라서, 이를 통해 일실시예에 따른 영상감시장치는 카메라의 RAW데이터를 필요로 하지 않으므로 언제든지 차량 번호판이 인식된 차량의 주행 영상을 모니터링하며, 다중차선을 통과하는 차량의 번호판을 모두 인식한다.

또한, 차량의 번호판을 인식하는 영상감시시스템에 있어서, 이러한 일실시예에 따른 신규 딥 러닝 기반의 차량번호 인식을 통해 차량번호를 인식함으로써, 기존보다 시스템적으로 효과적이면서 신속히 차량번호가 인식된다.

그리고, 차량 이미지의 특징을 추출하여 객체화를 통해 차량 특정률을 향상시킨다.

또한, 유동적으로 영상 화질을 결정하여 최적화된 트래픽 양으로 차량 영상정보를 전송한다.

이상과 같이, 일실시예는 중앙관제센터에서 교통정보를 관제할 경우, 교통 감시영상을 수집하는 카메라 모듈과, 이러한 교통 감시영상을 디지털 신호 처리하는 DSP부, 그 처리된 결과로부터 관제할 차량번호를 인식하는 차량번호 인식부를 포함한다.

특히, 상기 DSP부에 의한 교통 감시영상과 상기 차량번호 인식부에 의한 차량번호를 통합적으로 I/O처리하여 상기 중앙관제센터로 제공하고, 상기 중앙관제센터로부터의 교통 관제제어신호에 따라 해당하는 제어대상의 동작을 제어하는 PLC 컨트롤러를 포함하고 있다.

그리고, 이러한 경우 상기 DSP부는 a) 상기 수집된 교통 감시영상 내의 차량 영상정보를 빅데이터화한 도로교통법 위반 차량 영상정보와 비교한다. 그리고, 상기 DSP부는 b) 상기 비교 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 미리 설정된 예측뷰포트를 통해 고화질로 처리하고, 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터에 제공된다.

또한, 이때 상기 차량번호 인식부는 a) 상기 뷰포트별로 처리한 화질의 현재 차량 영상정보를 미리 설정된 차량 피처 메타데이터와 비교하여 차량 피처 메타데이터를 추출한다. 그리고, 상기 차량번호 인식부는 b) 상기 추출된 차량 피처 메타데이터로부터 전체적인 차량 피처를 추출하고, c) 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷을 상기 추출된 차량 피처에 적용해서 차량을 인식한다. 그리고 나서, 차량번호 인식부는 d) 상기 인식된 차량에서 미리 설정된 차량번호판 형상특징을 이용하여 차량번호판을 분류한다. 그리고, e) 상기 분류된 차량번호판에 대해 차량번호판의 샘플문자로 학습된 딥 러닝 알고리즘을 적용하여 차량번호를 문자인식한다.

따라서, 이를 통해 카메라의 RAW데이터를 필요로 하지 않으므로 언제든지 차량 번호판이 인식된 차량의 주행 영상을 모니터링하며, 다중차선을 통과하는 차량의 번호판을 모두 인식한다.

또한, 차량의 번호판을 인식하는 영상감시시스템에 있어서, 이러한 일실시예에 따른 신규 딥 러닝 기반의 차량번호 인식을 통해 차량번호를 인식함으로써, 기존보다 시스템적으로 효과적이면서 신속히 차량번호가 인식된다.

그리고, 차량 이미지의 특징을 추출하여 객체화를 통해 차량 특정률을 향상시킨다.

또한, 유동적으로 영상 화질을 결정하여 최적화된 트래픽 양으로 차량 영상정보를 전송한다.

한편, 일실시예는 이러한 경우, DSP부에서 교통 감시영상을 교통 감시영역의 현장상황에 맞추어 효율적으로 중앙관제센터로 제공하도록 처리함으로써, 중앙관제센터에서 현장상황별로 맞게 효율적으로 교통정보를 관제할 수 있도록 한다.

이를 위해, 일실시예는 상기 DSP부의 교통 감시영상이 중앙관제센터로 제공되는 것이 아래의 동작으로 이루어진다.

먼저 상기 DSP부의 교통 감시영상이 중앙관제센터로 제공되는 것은 차량의 움직임 패턴을 미리 설정된 차량 고유 객체의 움직임 패턴, 속도 패턴에 의해 분석해서 차량의 이상여부를 감지한 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 교통 감시영역별로 상이하게 미리 설정된 객체 정보와, 목적별 정보, 개소별 정보, 시간대별 정보에 맞추어 우선적으로 미리 설정된 예측뷰포트를 통해 고화질로 처리한다.

즉, 기존의 영상감시장치 표출 및 알람에서 기 지능형과 달리 영상 내에서 특정 조건을 만족하기 위한 가상 영역, 선 등의 설정을 하지 않고. 실시예에서는 규칙과 빅데이터 패턴, 움직임 패턴을 중심으로 분석 진행을 한다.

이러한 규칙분석은 객체 정보(승용차, 트럭 등), 목적별 정보(어린이보호, 방범, 교통 등), 개소별 정보(특정 감시지역), 시간대별 정보(일정)에 따라서 복합적으로 우선순위를 정하는 방법이다.

그리고, 빅데이터 패턴 분석은 분석된 영상의 메타데이터는 객체에 대한 수많은 정보를 가지며 객체의 속성값 중 객체분류, 영역, 날짜, 시간 등의 데이터를 이용하여 데이터 분포를 작성한다. 그리고 화면 내에서 객체의 활동영역을 특정화하여 객체가 출몰하는 지역과 출몰하지 않는 지역을 구분, 사용자는 특정화된 데이터 그룹에 대하여 감시 여부(정상, 비정상)를 설정함으로써 이루어진다.

또한, 움직임 패턴 분석은 영상에서 객체를 추적하여 고유 객체의 움직임 패턴, 속도 패턴을 이용하여 평소 객체의 움직임, 속도를 분석하여 감지 여부(정

상, 비정상)를 설정함으로써 이루어진다.

반면, 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터에 제공된다.

이러한 경우, 예를 들어 상기 객체 정보는 승용차, 승합차, 트럭, 특수차량을 포함하고, 상기 목적별 정보는 어린이보호, 방범, 교통을 포함하고, 상기 개소별 정보는 특정 감시지역이며, 상기 시간대별 정보는 일정이다.

또는, 다른 예로서 상기 DSP부의 교통 감시영상이 중앙관제센터로 제공되는 것은 먼저 차량의 영상분포도를 다수의 상이한 교통감시영역별로 대응하여 미리 설정된 차량영상분포패턴에 의해 분석해서 차량의 이상여부를 감지한 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 교통 감시영역별로 상이하게 미리 설정된 객체 정보와, 목적별 정보, 개소별 정보, 시간대별 정보에 맞추어 우선적으로 미리 설정된 예측뷰포트를 통해 고화질로 처리한다.

반면, 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터에 제공된다.

이러한 경우, 예를 들어 상기 객체 정보는 승용차, 승합차, 트럭, 특수차량을 포함하고, 상기 목적별 정보는 어린이보호, 방범, 교통을 포함하고, 상기 개소별 정보는 특정 감시지역이며, 상기 시간대별 정보는 일정이다.

도 5는 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치가 적용된 시스템을 개략적으로 도시한 도면이다.

도 5에 도시된 바와 같이, 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치가 적용된 시스템은 전체 객체가 아닌 부분만으로 전체의 크기와 위치를 추정하는 YOLO 알고리즘을 사용함으로써, 차량을 인식한다.

구체적으로는, 교통 감시영상이 입력될 경우, 입력된 교통 감시영상에서 차량 피처 메타데이터를 추출하고, 이러한 차량 피처 메타데이터에 따라 예를 들어, 차량 영상 패치의 피처값을 추출하는 미리 설정된 AI 포맷으로부터 차량의 피처를 추출한다.

그래서, 이러한 차량 피처가 추출될 경우, 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷에 의해서 상기한 추출된 차량 피처로부터 차량을 인식함으로써, 딥 러닝 기반으로 차량을 인식한다.

이러한 경우, 예를 들어 상기 차량 YOLO 포맷은 다수의 상이한 차량 피처별로 각 피처의 전체 크기와 위치를 추정하여 조합함으로써 차량 전체의 크기와 위치를 추정하는 차량 YOLO 포맷으로 이루어진다.

한편, 추가하여 일반적으로 차량 번호판의 인식은 영상의 획득, 번호판 영역의 검출, 문자 인식의 3단계 과정으로 진행된다.

이에 따라, 여기에서는 영상의 획득 단계에서, 여러 장의 연속된 입력 영상을 합성하는 방법을 사용하여 영상 입력 단계에서 발생되는 잡음을 없애고 선명도를 높인다.

그 다음 입력 영상에서 문자로 판단되는 부분들의 위치가 번호판 규격에 명시된 문자들의 상대적 위치와 일치하는 정도를 확인하고, 위치가 일치한다고 판단되면 그 문자들이 존재하는 부분에 번호판이 존재한다고 판단하여 해당 영역을 번호판 영역으로 검출한다.

마지막으로 ART2 신경망에 문자의 윤곽선 패턴을 학습하여 번호판 내부의 문자를 인식하도록 한다.

이를 위해, 상기 차량번호의 인식은 그 차량번호판에 대해 차량번호판의 샘플문자를 기초로 딥 러닝 알고리즘을 적용해서 다수의 상이한 주변 환경 조건별로 상이하게 차량번호판 문자의 윤곽선 패턴을 학습함으로써, 차량번호를 문자인식한다.

구체적으로는, ART2 신경회로망을 이용한 문자인식은 차량의 번호판이 영상의 촬영 각도나, 밝기, 주위 조명 등의 영향에 의해 동일한 번호판이라도 여러 가지 색상으로 보이거나 번호판 내부 문자가 변형되어 보이게 되므로 여러 가지 상황에 적응적으로 대응할 수 있다. 그리고, 스스로 계속적인 학습을 하는 신경회로망을 이용하여 문자를 인식한다.

여기서는, 문자의 윤곽선 형태를 ART2 신경망의 입력 패턴으로 인식한다. 각 문자들은 문자를 둘러싸고 있는 사각형의 좌/우변에서부터의 거리를 연속적인 신호패턴으로 변경했을 때 서로 상이하다는 특징이 있다.

그래서, 문자의 중심을 세로로 반으로 나눈다. 그 다음 중심선과 문자의 좌측 외곽선 부분의 점들을 지난 수선의 거리를 문자의 상단부터 연속된 패턴으로 추출한다. 그 다음 문자의 우측 외곽선을 이루는 점들과 중심선들의 거리를 연속된 패턴으로 추출한다. 이렇게 추출된 윤곽선들은 서로 상이한 패턴의 아날로그 그래프 형태를 나타내게 된다.

추가적으로, 일실시예에 따른 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치는 전술한 PLC와는 다른 형태로 된다.

구체적으로는, 일실시예에 따른 영상감시장치는 외부 입출력 포트, 즉, 디지털 입력(Digital Input), 디지털 출력(Digital Output), 아날로그 입력(Analoge Input:4-20mA입력 등) 통신포트를 RS-485 통신포트, RS-232 통신포트, 랜(LAN)포트, 오디오포트 등을 카메라부에서 직접 처리하는 영상 감시 시스템을 제공할 수 있도록 한다.

이를 위해, 일실시예에 따른 영상감시장치는 외부 계측 기기로부터 각각 아날로그 데이터와 디지털 데이터를 수신하는 데이터 수집부와, 이에 따른 상용의 CPU를 포함한다.

상기 데이터 수집부는 아날로그 센서의 신호를 디지털 신호로 변환하는 ADC 컨버터와, 뷰어소프트웨어와 연동되어 전기적 입력을 받거나 출력으로 외부 센서를 제어하기 위한 GPIO 포트와, 상기 외부 계측기기로부터 디지털 데이터를 수신하기 위한 RS485 포트와, 상기 데이터 처리부와의 통신과 상기 뷰어소프트웨어와의 통신을 위한 RS232 포트 및 상기 ADC 컨버터, GPIO 포트, RS485 포트, RS232 포트와 연결되어 데이터를 처리하고 뷰어소프트웨어의 제어 명령을 수행하는 MCU를 포함할 수 있다.

따라서, 이를 통해 외부 입출력 포트, 즉, 디지털 입력, 디지털 출력, 아날로그 입력, RS-485 통신포트, RS232 통신포트, 랜포트, 오디오 포트 등을 카메라부에서 직접 처리하도록 하여 NVR회사마다 다른 사양을 협의할 필요가 없는 효과가 있다.

또한, 외부 계측 기기를 제어하기 위한 데이터출력(D/O(data out)), 접점 출력, 알람 등을 제어하기 위한 포트, 데이터 입력(D/I(data in)), 아날로그 입력(Analog Input:4-20mA입력 등)은 MCU에서 전처리하여 CPU에 전달한다. 그리고, RS-485 통신 포트, 랜(LAN)포트, 오디오 포트 등을 두고, 다양한 포트에서 받아들인 외부 입력 데이터를 카

메라에서 직접 데이터 트렌드화 하여 관리자가 쉽게 온도와 같은 데이터를 파악하며, 이를 통하여 외부 시스템을 효율적으로 제어하는 방법을 제공하는 효과가 있다.

그리고, 이러한 경우 일실시예에 따른 영상감시장치는 외부 입출력 포트에 입력된 데이터를 카메라부의 메모리에 직접적으로 데이터베이스화하여 이를 모니터에 영상으로 표출시 그래프 형식의 데이터 트렌드가 함께 표출되도록 한다.

이를 위해, 일실시예에 따른 영상감시장치는 감시구역의 수집된 영상과 함께 처리된 온도 등의 아날로그 또는 디지털 데이터가 SD에 데이터베이스로 저장되어 영상과 함께 데이터베이스가 문자 또는 그래프 형식의 데이터 트렌드로 중앙관제센터의 화면에 표시될 수 있다.

화면에 표시되는 내용은 온도 등의 각종 상황에 대한 데이터베이

스가 영상과 함께 표출되며, 영상에 문자가 표출 될 시 글자의 문구, 문구 값의 단위, 문구의 화면 상 위치, 폰트, 색상 등으로 설정될 수 있다. 그리고, 경고 시, 표출 문구는 지정된 색으로 깜빡 깜빡거리거나, 글자는 지정된 색으로 가만히 있고 화면 전체가 컬러 또는 흑백의 지정된 색으로 깜빡 깜빡거리는 플리커링(flickering)의 경우 중 어느 하나로 표시된다. 또한 영상에 각종 상황에 대한 데이터베이스를 그래프 형식의 데이터 트렌드로 표출 할 시 데이터의 문구, 단위, 색깔을 관리자가 설정한대로 표출할 수 있다. 또한 영상에 표출된 트렌드의 바를 원하는 시간에 이동하면 이동된 바가 위치한 트렌드의 시간의 값이 나타나고, 데이터의 확인 후 이동바 위에 위치한 데이터 값은 자동으로 사라진다. 이에 더하여 경고 시, 표출 문구는 지정된 색으로 깜빡 깜빡거리거나, 글자는 지정된 색으로 가만히 있고 화면 전체가 컬러 또는 흑백의 지정된 색으로 깜빡 깜빡거리는 플리커링(flickering)의 경우 중 어느 하나로 표시되는 기능을 포함한다.

상기 영상에 데이터 문자 및 그래프 형식의 데이터 트렌트를 표출 시 표출 방법을 설정하는 프로그램의 방법은 제너럴, 데이터아날로그(Data Analog), 데이터 디지털 입력, 디지털 출력으로 구성된다.

제너럴에서 일반적인 설정을 하며, 카메라부는 연결된 카메라부의 종류를 선택하는 것이고, 주소(Address)는 선택된 카메라부의 네트워크 주소, 프로토콜(Protocol)은 LS산전, 모드버스(Modbus), 프로피버스(Profibus) 등 카메라부(50)와 맞는 것으로 선택할 수 있다. 또한, 통신(Communication)은 RS-232, RS485, 랜 통신 중 선택을 할 수 있으며 통신포트(Comm. Port)는 통신포트 단자 선택(COM1, COM2, ... , COM10), IP주소는 카메라의 IP 주소, 히스토리(History)의 트렌드(Trend)는 Live 또는 저장된 이전 데이터를 검색할 히스토리 중 선택, 히스토리는 이전 데이터 검색의 날짜 선택, 주기(Period)는 검색 날짜 기간을 선택할 수 있다.

Analog에서는, 인에이블(Enable)은 표출 데이터의 사용 유무, 스트링(String)은 데이터 명칭, 메저(Measure)은 데이터 단위, X축은 화면에 문자를 표시할 X축의 좌표, Y축은 화면에 문자를 표시할 Y축의 좌표, 사이즈(Size)는 문자의 크기이다. 그리고, 컬러(Color)는 문자의 색깔, 디스플레이상태(Display Status)는 Text 또는 트렌드 중 선택, 최소범위(Range Min)은 데이터의 최소 수치, 최대범위(Range Max)는 데이터의 최고 수치, 디스플레이시간(Display Time)은 트렌드 표출 시 트렌드 좌표 중 시간 영역 X좌표를 설정한 시간으로 표출한다.

디지털 입력의 인에이블이 표출 데이터의 사용 유무, 스트링(String)은 데이터 명칭, X축은 화면에 문자를 표시할 X축의 좌표, Y축은 화면에 문자를 표시할 Y축의 좌표, 사이즈(Size)는 문자의 크기, 컬러(Color)는 문자의 색깔, 이펙트(Effect)는 경보의 방법(글자의 빠른 깜빡임, 느린 깜빡임, 화면 깜빡임)을 설정한다. 그리고, 디스플레이상태(Display Status)는 Text 또는 트렌드 중 선택, 디스플레이시간(DisplayTime)은 트렌드 표출 시 트렌드 좌표 중 시간 영역 X좌표를 설정한 시간으로 표출한다.

디지털 출력의 인에이블(Enable)은 표출 데이터의 사용 유무, 스트링은 데이터 명칭, X축은 화면에 문자를 표시할 X축의 좌표, Y축은 화면에 문자를 표시할 Y축의 좌표, 사이즈는 문자의 크기, 컬러는 문자의 색깔이다. 그리고, 이펙트는 경보의 방법(글자의 빠른 깜빡임, 느린 깜빡임, 화면 깜빡임)을 설정하고, 제어상태(Control Status)는 제어시스템의 제어를 온/오프(ON/OFF) 중 선택하는 프로그램을 관리자 임의로 설정할 수 있는 기능을 포함한다.

100 : 영상감시장치 200 : 중앙관제센터
110 : 카메라 모듈 120 : DSP부
130 : 차량번호 인식부 140 : PLC 컨트롤러
150 : 센서부

Claims (10)

1. 교통감시영역의 영상을 촬영하여 수집하는 카메라 모듈;
   상기 카메라 모듈에 의해 수집된 교통 감시영상을 디지털 신호 처리하는 DSP부;
   상기 DSP부에 의해 처리된 교통 감시영상에서 관제할 차량번호를 인식하는 차량번호 인식부; 및 상기 DSP부에 의한 교통 감시영상과 상기 차량번호 인식부에 의한 차량번호를 통합적으로 I/O처리하여 중앙관제센터로 제공하고, 상기 중앙관제센터로부터의 교통 관제제어신호에 따라 해당하는 제어대상의 동작을 제어하는 PLC 컨트롤러; 를 포함하고 있으며,
   상기 DSP부는,
   a) 상기 수집된 교통 감시영상 내의 차량 영상정보를 빅데이터화한 도로교통법 위반 차량 영상정보와 비교하고,
   b) 상기 비교 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 미리 설정된 예측뷰포트를 통해 고화질로 처리하고, 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리하여 교통 감시영상이 중앙관제센터에 제공되고,
   상기 차량번호 인식부는,
   a) 상기 뷰포트별로 처리한 화질의 현재 차량 영상정보를 미리 설정된 차량 피처 메타데이터와 비교하여 차량 피처 메타데이터를 추출하고,
   b) 상기 추출된 차량 피처 메타데이터로부터 전체적인 차량 피처를 추출하고,
   c) 차량 피처로부터 차량 전체의 크기와 위치를 추정하는 미리 설정된 AI 포맷을 상기 추출된 차량 피처에 적용해서 차량을 인식하며,
   d) 상기 인식된 차량에서 미리 설정된 차량번호판 형상특징을 이용하여 차량번호판을 분류하고,
   e) 상기 분류된 차량번호판에 대해 차량번호판의 샘플문자로 학습된 딥 러닝 알고리즘을 적용하여 차량번호를 인식하고,
   상기 교통 감시영역의 주변환경 상태정보를 감지하여 상기 PLC 컨트롤러로 제공함으로써, 상기 PLC 컨트롤러를 통해 상기 중앙관제센터에 교통감시영역의 주변환경 상태를 알림할 수 있도록 하는 센서부; 를 더 포함하고,
   상기 PLC 컨트롤러는
   상기 PLC 자체에 전원을 공급하는 전원 모듈;
   상기 PLC 이외의 제어유닛과 통신을 하는 시리얼통신 모듈;
   상기 센서부에 의한 교통 감시영역의 주변환경 아날로그 상태정보를 디지털 변환하는 A/D 모듈;
   디지털 유닛에 의한 디지털 정보를 아날로그 변환하는 D/A 모듈;
   상기 센서부에 의한 교통 감시영역의 주변환경 디지털 상태정보와 상기 DSP부에 의한 교통 감시영상, 상기 차량번호 인식부에 의한 차량번호를 입력받는 D/I 모듈;
   상기 중앙관제센터로부터의 교통 관제제어신호를 포함한 디지털 정보를 해당하는 제어대상으로 출력하는 D/O 모듈;
   상기 DSP부에 의한 교통 감시영상과, 상기 차량번호 인식부에 의한 차량번호, 상기 센서부에 의한 교통 감시영역의 주변환경 상태정보를 LTE데이터로서 상기 중앙관제센터에 제공하는 LTE 모듈; 및
   상기 각 모듈을 제어하는 CPU 모듈;
   상기 LTE 모듈은 자체 TTS엔진을 구비하여 상기 교통 감시영역의 주변환경 상태별로 대응하는 음성정보에 따라 음성 알람을 하며,
   상기 LTE 모듈은 교통감시 또는 차량번호 인식과 관련된 외부 음성을 입력받아 노이즈 캔슬링을 수행하고 오디오 출력을 하는 것;을 특징으로 하는 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치.
   
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 PLC 컨트롤러는
   상기 카메라 모듈에 의한 영상 신호와 상기 센서부에 의한 감지 신호를 사용자 인터페이스화로서 상호 연동시킴으로써 영상통합계측하고, 상기 CPU모듈의 제어에 의해 상기 센서부로부터의 감지 신호에 따라 알람을 감지한 경우, 상기 카메라 모듈에 의한 영상 신호에 해당되는 이상상태 UI정보를 상기 중앙관제센터에 의해 팝업하는 HMI모듈; 을 포함하는 것을 특징으로 하는 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치.
6. 청구항 1에 있어서,
   상기 PLC 컨트롤러는
   a) 상기 CPU 모듈이 미리 등록된 관리자 단말기가 무선통신망으로 연결된 경우 해당되는 무선통신망의 개별 IP 주소로 관리자 단말기와 연결하고, 무선통신망이 연결되지 않은 경우 이동통신데이터 망의 단말기 식별 고유 번호로 관리자 단말기와 연결하여 관리자 단말기와 실시간 연결을 확보하도록 해서,
   b) 상기 센서부에 의한 교통 감시영역의 주변환경 상태정보를 상기 LTE 모듈에 의해 관리자 단말기로 송출하도록 하는 것; 을 특징으로 하는 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치.
7. 청구항 1에 있어서,
   상기 차량번호 인식부가 차량번호를 인식하는 것(e))은,
   상기 분류된 차량번호판에 대해 차량번호판의 샘플문자를 기초로 딥 러닝 알고리즘을 적용해서 다수의 상이한 주변 환경 조건별로 상이하게 차량번호판 문자의 윤곽선 패턴을 학습함으로써, 차량번호판의 차량번호를 문자인식하는 것; 을 특징으로 하는 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치.
8. 청구항 1에 있어서,
   상기 DSP부의 교통 감시영상이 중앙관제센터로 제공되는 것(b))은,
   b-1) 차량의 움직임 패턴을 미리 설정된 차량 고유 객체의 움직임 패턴, 속도 패턴에 의해 분석해서 차량의 이상여부를 감지한 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 교통 감시영역별로 상이하게 미리 설정된 객체 정보와, 목적별 정보, 개소별 정보, 시간대별 정보에 맞추어 우선적으로 미리 설정된 예측뷰포트를 통해 고화질로 처리하고,
   b-2) 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터에 제공되고,
   상기 b-1)은,
   상기 객체 정보가 승용차, 승합차, 트럭, 특수차량을 포함하고, 상기 목적별 정보는 어린이보호, 방범, 교통을 포함하고, 상기 개소별 정보는 특정 감시지역이며, 상기 시간대별 정보는 일정인 것; 을 특징으로 하는 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치.
9. 청구항 1에 있어서,
   상기 DSP부의 교통 감시영상이 중앙관제센터로 제공되는 것(b))은,
   b-1‘) 차량의 영상분포도를 다수의 상이한 교통감시영역별로 대응하여 미리 설정된 차량영상분포패턴에 의해 분석해서 차량의 이상여부를 감지한 결과, 현재의 위반 차량 영상정보가 미리 설정된 위험확률에 해당하는 경우, 교통 감시영역별로 상이하게 미리 설정된 객체 정보와, 목적별 정보, 개소별 정보, 시간대별 정보에 맞추어 우선적으로 미리 설정된 예측뷰포트를 통해 고화질로 처리하고,
   b-2‘) 상기 예측뷰포트를 제외한 나머지 배경영상과 객체를 저화질로 처리함으로써, 교통 감시영상이 중앙관제센터에 제공되고,
   상기 객체 정보는 승용차, 승합차, 트럭, 특수차량을 포함하고, 상기 목적별 정보는 어린이보호, 방범, 교통을 포함하고, 상기 개소별 정보는 특정 감시지역이며, 상기 시간대별 정보는 일정인 것; 을 특징으로 하는 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치.
10. 청구항 1에 있어서,
    상기 차량번호 인식부의 차량번호판을 분류하는 것(d))은
    d-1) 차량번호판영역과, 일시의 데이터를 포함한 차량번호판의 메타데이터에 의해 데이터 분포를 작성하고 화면 내에서 차량번호판의 활동영역을 특정화하여 감시 여부를 설정함으로써, 빅데이터 패턴을 분석하고,
    d-2) 상기 빅데이터 패턴이 분석된 결과로부터 미리 설정된 차량번호판 형상특징을 이용하여 차량번호판을 분류하는 것; 을 특징으로 하는 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치.

Images