KR102656253B1

KR102656253B1 - 번호 인식률을 극대화한 무인 교통 단속시스템

Info

Publication number: KR102656253B1
Application number: KR1020230131510A
Authority: KR
Inventors: 박성기; 정인택
Original assignee: (주)디라직
Priority date: 2023-10-04
Filing date: 2023-10-04
Publication date: 2024-04-11

Abstract

본 발명은 차량의 후면을 촬영하여 위반-차량의 차량번호를 인식하여 위반-차량을 단속하되, 위반-차량의 차량번호가 누락되는 오류 발생 시, 1차 검증부 및 2차 검증부를 통해 미인식-차량의 차량번호를 재인식하도록 구성됨으로써 이륜차 및 사륜차를 구별하여 인식함과 동시에 인식된 객체를 트래킹하여, 객체 종류(이륜차 또는 사륜차)에 따른 교통법규 위반 여부를 판별하며, 이륜차 위반-차량 검출 시, 후면-번호판을 촬영하여 번호를 인식하며, 차량번호가 미인식된 차량이 검출되더라도, 검증부를 통해 미인식 위반-차량의 차량번호를 정확하게 검출함으로써 전면-번호판이 훼손된 차량 또는 후면-번호판만이 부착된 이륜차에 대해서도 번호 인식이 가능하여, 단속 정확성 및 신뢰도를 높일 뿐만 아니라 이륜차의 다양한 종류의 교통법규 위반을 정확하게 단속할 수 있는 무인 교통 단속시스템에 관한 것이다.

Description

번호 인식률을 극대화한 무인 교통 단속시스템{unmanned traffic enforcement system for maximize vehicle number recognition rate}

본 발명은 번호 인식률을 극대화한 무인 교통 단속시스템에 관한 것으로서, 상세하게로는 차량의 후면을 촬영하여 위반-차량의 차량번호를 인식하여 위반-차량을 단속하되, 위반-차량의 차량번호가 누락되는 오류 발생 시, 1차 검증부 및 2차 검증부를 통해 미인식-차량의 차량번호를 재인식하도록 구성됨으로써 이륜차 및 사륜차를 구별하여 인식함과 동시에 인식된 객체를 트래킹하여, 객체 종류(이륜차 또는 사륜차)에 따른 교통법규 위반 여부를 판별하며,차량번호가 미인식된 차량이 검출되더라도, 검증부를 통해 미인식 위반-차량의 차량번호를 정확하게 검출함으로써 전면-번호판이 훼손된 차량 또는 후면-번호판만이 부착된 이륜차에 대해서도 번호 인식이 가능하여, 단속 정확성 및 신뢰도를 높일 뿐만 아니라 이륜차의 다양한 종류의 교통법규 위반을 정확하게 단속할 수 있는 무인 교통 단속시스템에 관한 것이다.

최근 들어, 정보통신 기술이 발달하고 텔레매틱스 기기의 보급 및 유비쿼터스 환경이 구축됨에 따라 지능형 교통시스템(ITS, Intelligent Transportation System)이 연구되어 널리 사용되고 있다.

통상적으로, 무인 교통 단속시스템은 차량을 감지하기 위한 차량 감지수단과, 차량 감지수단에서 검출된 감지신호를 분석하여 위반차량을 판별하는 제어기와, 제어기에 의해 결정된 위반-차량의 차량번호판을 촬영하여 차량번호를 인식하기 위한 카메라로 이루어진다.

이때 차량번호는 위반차량을 식별할 수 있는 정보로 활용되기 때문에 무인교통단속시스템은 인식된 차량번호를 토대로, 위반차량의 차주에게 과태료를 부과할 수 있게 된다.

이러한 과태료는, 차주에게 경제적 불이익을 가하기 때문에 차량번호를 오인식하는 경우, 현장 민원과 직결하게 되고, 차량번호 오인식률의 증가는, 차량 운전자에게 단속에 대한 경각심을 낮추게 하여, 위반을 부추기는 역효과를 제공하게 된다.

즉 무인교통단속시스템에 있어서, 차량번호를 얼마나 정확하게 인식하는지는, 해당 시스템의 성능, 현장 민원 및 위반율과 직결되기 때문에 차량번호 인식률을 높이기 위한 다양한 연구가 진행되고 있다.

그러나 종래에는 주로 차량의 전방을 촬영하여 전방 번호판 영상을 획득한 후, 전방 번호판을 분석하여 차량번호를 인식하는 체계로 이루어져 왔으나, 이러한 종래의 방식은, 오토바이 등과 같이 차량의 후방에 번호판이 부착되는 이륜차에 한해서는 차량번호를 인식할 수 없는 구조적 한계를 갖는다.

특히 최근 들어, 이륜차를 이용한 배송, 택배 및 배달서비스가 증가함에 따라 도로 곳곳에는 오토바이 수량이 급증하였으나, 종래의 무인교통단속시스템은 차량의 전면-번호판을 통해 번호인식이 이루어지므로, 이륜차의 교통법규 위반 사례가 비일비재하게 발생하고 있고, 이러한 교통법규를 위반한 이륜차량으로 인한 후속 사고 또한 급속도록 증가하고 있는 실정이다.

이에 따라 사륜차뿐만 아니라 이륜차를 단속하여 단속률을 높이기 위하여, 차량의 전면-번호판에 대한 영상과 함께 후면-번호판에 대한 영상을 추가 활용하는 무인교통단속시스템에 대한 연구가 시급한 실정이다.

도 1은 국내등록특허 제10-1584105호(발명의 명칭 : 다차로 기반의 차량 촬영장치 및 그 제어방법)에 개시된 다차로 기반의 차량 촬영장치를 나타내는 블록도이다.

도 1의 다차로 기반의 차량 촬영장치(이하 종래기술이라고 함)(100)는 제1갠트리(G1)의 진입측에 차로와 차선별로 설치된 다수개의 레이저센서로 진입하는 차량의 진입상태와 위치를 감지하여 차량이 차로 중앙으로 진입하는지 차선을 따라 진입하는지 판단하는 제1차량감지부(110)와, 제1갠트리(G1)의 진출측에 차로별로 설치된 다수개의 레이저센서로 통과하는 차량의 통과상태와 위치를 감지하고 전방 촬영신호를 출력하는 제2차량감지부(120)와, 차량의 진행방향으로 제1갠트리(G1)의 후방에 위치하는 제2갠트리(G2)에 차로별로 설치된 다수개의 레이저센서로 통과하는 차량의 통과상태와 위치를 감지하고 후방 촬영신호를 출력하는 제3차량감지부(130)와, 제2차량감지부(120)에서 출력된 전방 촬영신호와 제3차량감지부(130)에서 출력된 후방 촬영신호에 따라 전방 카메라(152)와 후방 카메라(154)를 작동시켜 촬영된 전방 촬영영상(152)과 후방 촬영영상(154)을 매칭시키기 위한 매칭데이터를 후술되는 차로 제어부(140)에 요청하고 제공되는 매칭데이터에 따라 전방 촬영영상과 후방 촬영영상을 영상서버(160)에 전송하는 촬영부(150)와, 제1 내지 제3차량감지부로부터 입력된 차량의 진입상태, 통과상태 및 위치를 기반으로 전방 촬영신호와 후방 촬영신호를 출력하고 차량의 차로 변경여부와 차량의 주행속도를 예측하고 제2차량감지부(120)의 통과상태에 따라 전방 촬영신호를 출력하고 제3차량감지부(130)의 통과상태에 따라 후방 촬영신호를 출력하며 차량이 차선을 밟고 주행할 경우에는 인접한 차로에 설치된 모든 카메라가 작동될 수 있도록 촬영신호를 동시에 출력하고 전방 촬영영상과 후방 촬영영상을 매칭시키기 위한 매칭데이터를 생성하여 촬영부(150)로 제공하는 차로 제어부(140)로 이루어진다.

이와 같이 구성되는 종래기술(100)은 전방 카메라(152) 및 후방 카메라(154)를 통해 차량을 촬영할 때 전방 촬영영상과 후방 촬영영상을 정확하게 매칭시킴으로써 차량번호의 인식 시 조명상태나 주변환경의 영향을 최소화하여 인식률을 높일 수 있을 뿐만 아니라 심사자료의 신뢰성을 높일 수 있는 장점을 갖는다.

그러나 종래기술(100)은 사륜차와 비교하여 다양한 교통법규 위반 종류를 갖는 이륜차의 특성을 전혀 고려하지 않았으므로, 신호위반, 인도 주행, 횡단보도 주행, 헬멧 미착용, 과속 등과 같은 이륜차의 다양한 위반 종류를 정확하게 단속할 수 없는 구조적 한계를 갖는다.

일반적으로, 교차로 등의 도로에 차량이 밀집될 때, 카메라, 레이저, 레이더 등의 검지 수단을 활용하여 객체를 감지할 때, 사륜차와 이륜차를 하나의 객체로 인식하는 오류가 빈번하게 발생하는 특성을 갖는다.

그러나 종래기술(100)은 이러한 특성을 전혀 감안하지 않은 것으로서, 차량이 밀집될 때, 사륜차와 이륜차를 하나의 객체로 인식하여, 이륜차 식별이 정확하게 이루어지지 않아, 단속 정확성 및 정밀도가 떨어지는 단점을 갖는다.

본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 위반-차량 검출 시, 위반-차량의 후면-번호판을 활용하여 차량번호를 인식하도록 구성됨으로써 사륜차뿐만 아니라 전면-번호판이 훼손되거나 또는 후면-번호판만이 부착된 이륜차에 대해서도 단속이 정확하게 이루어지므로, 단속 정확성 및 신뢰도를 높일 수 있는 무인 교통 단속시스템을 제공하기 위한 것이다.

또한 본 발명의 다른 해결과제는 위반-차량의 차량번호가 인식되지 않으면, 1차 검증부를 통해 해당 위반-차량의 고해상도 영상을 역재생하여, 미인식 위반-차량의 차량번호판 전체가 완전 개방(노출)되는 프레임을 검출한 후, 검출된 프레임으로부터 차량번호판을 추출하여, 차량번호 인식을 수행하도록 구성됨으로써 단속 신뢰도를 더욱 높일 수 있는 무인 교통 단속시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 이륜차 감지 시, 감지된 이륜차 객체의 신호위반, 속도위반, 갓길 정차, 보행자 검지 시 우회전 정차, 헬멧 미착용, 횡단보도 주행, 역주행, 인도 주행 등과 같은 교통법규 위반 여부를 판별하도록 구성됨으로써 이륜차의 위반 여부를 정확하게 판별하여, 이륜차의 교통법규 위반으로 인한 불필요한 교통사고를 획기적으로 방지할 수 있는 무인 교통 단속시스템을 제공하기 위한 것이다.

또한 본 발명의 또 다른 해결과제는 1차 검증부에서도 미인식 위반-차량의 차량번호가 인식되지 않으면, 2차 검증부를 통해 주변 컨트롤러와 연계하여, 미인식 위반-차량의 차량번호를 인식하도록 구성됨으로써 번호 인식률을 개선하여, 단속 정확성을 극대화할 수 있는 무인 교통 단속시스템을 제공하기 위한 것이다.

상기 과제를 해결하기 위한 본 발명의 해결수단은 의 위반-차량을 단속하는 무인 교통 단속기들을 포함하는 무인 교통 단속시스템에 있어서: 상기 무인 교통 단속시스템은 상기 감지영역(S)의 주행 차량의 후면을 촬영하는 고해상도 카메라; 상기 고해상도 카메라의 촬영으로 인해 획득된 고해상도의 후면-영상을 분석하여, 차량-객체인 제2 객체를 감지함과 동시에 이륜차 또는 사륜차를 나타내는 객체 종류를 인식하며, 제2 객체의 차량번호를 인식하며, 제2 객체의 궤적을 추적하여 궤적-정보를 생성한 후, 제2 객체의 위치, 시간, 궤적, 종류, 차량번호를 포함하는 차량-정보를 생성한 후, 차량-정보를 기 설정된 위반조건과 비교하여 위반-차량을 판별하며, 위반-차량 검출 시, 차량번호 및 위반내용을 포함하는 단속정보를 생성하고, 단속정보 생성 시, 위반-차량이 차량번호가 인식되지 않은 미인식 위반-차량이면, 차량-정보들을 참조하여, 미인식 위반차량의 차체 특징정보들과, 각 차량-객체의 차체 특징정보들을 비교하여, 미인식 위반-차량과 각 차량-객체의 유사도를 산출한 후, 산출된 유사도가 가장 높은 차량-객체를 미인식 위반-차량이라고 결정하며, 유사도가 가장 높은 차량-객체의 차량번호를 미인식 위반-차량의 차량번호로 결정하는 컨트롤러를 포함하고, 상기 컨트롤러는 차량-정보들이 저장되는 메모리; 딥러닝 알고리즘을 이용하여, 상기 고해상도 카메라의 촬영으로 인해 획득된 고해상도 영상을 분석하여, 차량-객체인 제2 객체를 감지함과 동시에 이륜차 또는 사륜차를 나타내는 객체 종류를 인식하며, 차량번호를 인식하며, 객체 종류가 이륜차일 때, 운전자의 헬멧 착용 여부를 판별하는 딥러닝 기반 영상분석부; 상기 딥러닝 기반 영상분석부에서 출력된 데이터를 활용하여, 제2 객체의 위치, 시간, 차체 특징정보를 포함하는 제2 프로파일 정보를 생성하는 제2 프로파일 정보 생성부; 제2 프로파일 정보 및 궤적-정보를 활용하여, 제2 객체의 위치, 시간, 속도, 궤적, 종류, 차량번호, 차체 특징정보, 헬멧 착용 여부, 헬멧 특징정보를 매칭시켜 차량-정보를 생성하는 차량-정보 생성부; 상기 차량-정보 생성부에서 생성된 차량-정보와 기 설정된 위반조건을 비교하여, 위반-차량을 판별하며, 위반-차량 검출 시, 차량번호 및 위반내용을 포함하는 단속정보를 생성하는 단속정보 생성부; 상기 단속정보 생성부에서 단속정보 생성 시, 위반-차량의 차량번호가 미인식되어 검출되지 않은 상태일 때 실행되는 제1 검증모듈과, 상기 제1 검증모듈에서 미인식 위반-차량의 차량번호를 인식하지 못할 때 실행되는 제2 검증모듈로 구성되는 1차 검증부를 포함하고, 상기 제1 검증모듈은 차량번호가 인식되지 않은 위반-차량인 미인식 위반-차량의 차량-정보를 활용하여, 고해상도 영상으로부터, 미인식 위반-차량이 감지영역(S)을 진입한 시점부터 진출한 시점까지의 고해상도 영상을 추출하는 고해상도 영상 추출모듈; 상기 미인식 위반-차량의 차량-정보를 참조하여, 추출된 고해상도 영상의 종료 구간에서의 미인식 위반-차량에 대응하는 차량 이미지를 매칭시키는 미인식 객체 매칭모듈; 상기 고해상도 영상 추출모듈에 의해 추출된 특정 영역의 고해상도 영상을 역으로 재생하며, 상기 미인식 객체 매칭모듈에 의해 매칭된 차량-객체의 영상 내 움직임을 추적하는 역재생 및 추적모듈; 상기 역재생 및 추적모듈을 통해 역재생되고 있는 특정 영역의 고해상도 영상을 분석하여, 미인식 위반-차량의 이미지로부터 차량번호판을 추출한 후, 추출된 차량번호판 전체가 노출된 상태인지 여부를 판단하는 차량번호판 이미지 노출 여부 판단모듈; 상기 차량번호판 이미지 노출 여부 판단모듈에서 차량번호판 전체가 외부로 개방(노출)된 상태일 때 실행되며, 해당 차량번호판 이미지를 추출한 후, 차량번호를 인식하는 번호인식모듈을 포함하고, 상기 제2 검증모듈은 상기 메모리에 저장된 차량-정보들을 수집하는 차량-정보 수집모듈; 미인식 위반-차량의 차량-정보를 입력받는 미인식 위반-차량 정보 입력모듈; 미인식 위반-차량의 차체 특징정보를 구성하는 카테고리-값과, 상기 차량-정보 수집모듈에 의해 수집된 차량-객체를 후보-객체라고 할 때, 각 후보-객체의 차체 특징정보를 구성하는 카테고리-값을 활용하여, 미인식 위반-차량과 각 후보-객체의 유사도를 산출하는 카테고리-값 기반 유사도 산출모듈; 상기 카테고리-값 기반 유사도 산출모듈에서 산출된 각 후보-객체의 유사도를 비교하여, 유사도 점수가 높은 순서에서 낮은 순서로 후보-객체들을 정렬하는 비교 및 정렬모듈; 상기 비교 및 정렬모듈에서 첫 번째로 정렬된 후보-객체를, 미인식 위반-차량과 동일한 객체로 결정하는 동일객체 결정모듈; 상기 동일객체 결정모듈에서 결정된 동일 객체의 차량번호를 미인식 위반-차량의 차량번호로 결정하는 미인식 위반-차량 번호 결정모듈을 포함하고, 상기 단속정보 생성부는 상기 번호인식모듈에 의해 인식 또는 상기 미인식 위반-차량 번호 결정모듈에서 결정된 차량번호를 포함하는 단속정보를 생성하는 것이다.
또한 본 발명에서 상기 무인 교통 단속기는 기 할당된 감지영역(S)의 차량을 감지하는 감지수단을 더 포함하고, 상기 컨트롤러는 상기 감지수단에 의한 감지신호를 분석하여, 차량-객체인 제1 객체를 감지함과 동시에 감지된 제1 객체의 위치, 시간, 차체 특징정보를 포함하는 제1 프로파일 정보를 생성하는 제1 프로파일 정보 생성부; 상기 감지수단에 의한 감지신호를 활용하여, 상기 제1 프로파일 정보 생성부에서 감지된 제1 객체의 궤적을 트래킹하는 제1 궤적 트래킹부; 상기 제1 프로파일 정보 생성부에서 생성된 제1 프로파일 정보와, 상기 제2 프로파일 정보 생성부에서 생성된 제2 프로파일 정보를 활용하여, 제1, 2 객체들 중 동일 객체를 매칭시키며, 상기 제1 궤적 트래킹부에 의한 궤적-정보를 매칭된 객체의 궤적-정보로 결정하는 캘리브레이션 처리부를 포함하고, 상기 차량-정보 생성부는 상기 캘리브레이션 처리부에서 동일 객체로 매칭된 최종 객체의 제1 프로파일 정보, 제2 프로파일 정보 및 궤적-정보를 활용하여, 최종 객체의 위치, 시간, 속도, 궤적, 종류, 차량번호, 차체 특징정보, 헬멧 착용 여부, 헬멧 특징정보를 매칭시켜 차량-정보를 생성하는 것이 바람직하다.

삭제

또한 본 발명에서 상기 캘리브레이션 처리부는 제1 프로파일 정보들과, 제2 프로파일 정보들, 제1 궤적-정보들, 제2 궤적-정보들을 입력받는 데이터 입력모듈; 상기 데이터 입력모듈을 통해 입력된 제1 프로파일 정보들 및 제2 프로파일 정보들을 활용하여, 각 제1 객체별로, 제1 객체의 위치를 기준으로 임계 범위 이내의 위치를 갖는 제2 객체(후보대상)들을 선별하는 1차 필터링 모듈; 상기 1차 필터링 모듈에서 선별된 후보대상들 중, 해당 제1 객체의 시간을 기준으로 임계 범위 이내의 시간을 갖는 후보대상(최종-후보)들을 선별하는 2차 필터링 모듈; 상기 제1 객체의 차체 특징정보를 구성하는 카테고리-값과, 각 최종-후보의 차체 특징정보를 구성하는 카테고리-값을 활용하여, 제1 객체와 각 최종-후보의 유사도를 산출하는 유사도 산출모듈; 최종-후보들 중, 유사도가 가장 높은 최종-후보인 제2 객체를 제1 객체와 동일한 객체로 매칭하는 동일 객체 매칭모듈; 상기 제1 궤적 트래킹부에 의한 궤적-정보를 상기 동일 객체 매칭모듈에서 매칭된 동일 객체의 궤적-정보로 결정하는 최종 궤적-정보 새성모듈을 포함하는 것이 바람직하다.

또한 본 발명에서 상기 컨트롤러는 1차 검증부를 더 포함하고, 상기 1차 검증부는 상기 단속정보 생성부에서 단속정보 생성 시, 위반-차량의 차량번호가 미인식되어 검출되지 않은 상태일 때 실행되는 제1 검증모듈과, 상기 제1 검증모듈에서 미인식 위반-차량의 차량번호를 인식하지 못할 때 실행되는 제2 검증모듈을 포함하고, 상기 제1 검증모듈은 차량번호가 인식되지 않은 위반-차량인 미인식 위반-차량의 차량-정보를 활용하여, 고해상도 영상으로부터, 미인식 위반-차량이 감지영역(S)을 진입한 시점부터 진출한 시점까지의 고해상도 영상을 추출하는 고해상도 영상 추출모듈; 상기 미인식 위반-차량의 차량-정보를 참조하여, 추출된 고해상도 영상의 종료 구간에서의 미인식 위반-차량에 대응하는 차량 이미지를 매칭시키는 미인식 객체 매칭모듈; 상기 고해상도 영상 추출모듈에 의해 추출된 특정 영역의 고해상도 영상을 역으로 재생하며, 상기 미인식 객체 매칭모듈에 의해 매칭된 차량-객체의 영상 내 움직임을 추적하는 역재생 및 추적모듈; 상기 역재생 및 추적모듈을 통해 역재생되고 있는 특정 영역의 고해상도 영상을 분석하여, 미인식 위반-차량의 이미지로부터 차량번호판을 추출한 후, 추출된 차량번호판 전체가 노출된 상태인지 여부를 판단하는 차량번호판 이미지 노출 여부 판단모듈; 상기 차량번호판 이미지 노출 여부 판단모듈에서 차량번호판 전체가 외부로 개방(노출)된 상태일 때 실행되며, 해당 차량번호판 이미지를 추출한 후, 차량번호를 인식하는 번호인식모듈을 포함하고, 상기 제2 검증모듈은 상기 메모리에 저장된 차량-정보들을 수집하는 차량-정보 수집모듈; 미인식 위반-차량의 차량-정보를 입력받는 미인식 위반-차량 정보 입력모듈; 미인식 위반-차량의 카테고리-값과, 상기 차량-정보 수집모듈에 의해 수집된 차량-객체를 후보-객체라고 할 때, 각 후보-객체의 카테고리-값을 활용하여, 미인식 위반-차량과 각 후보-객체의 유사도를 산출하는 카테고리-값 기반 유사도 산출모듈; 상기 카테고리-값 기반 유사도 산출모듈에서 산출된 각 후보-객체의 유사도를 비교하여, 유사도 점수가 높은 순서에서 낮은 순서로 후보-객체들을 정렬하는 비교 및 정렬모듈; 상기 비교 및 정렬모듈에서 첫 번째로 정렬된 후보-객체를, 미인식 위반-차량과 동일한 객체로 결정하는 동일객체 결정모듈; 상기 동일객체 결정모듈에서 결정된 동일 객체의 차량번호를 미인식 위반-차량의 차량번호로 결정하는 미인식 위반-차량 번호 결정모듈을 포함하고, 상기 단속정보 생성부는 상기 번호인식모듈에 의해 인식 또는 상기 미인식 위반-차량 번호 결정모듈에서 결정된 차량번호를 포함하는 단속정보를 생성하는 것이 바람직하다.

또한 본 발명에서 상기 컨트롤러는 고해상도 영상을 입력데이터로 하여, 입력된 고해상도 영상으로부터 제2 객체의 위치, 시간, 종류, 차체 특징정보를 출력하는 기 학습된 딥러닝 알고리즘이 저장되는 메모리를 더 포함하고, 상기 딥러닝 기반 영상분석부는 상기 고해상도 카메라로부터 고해상도 영상을 입력받는 고해상도 영상 입력모듈; 상기 딥러닝 알고리즘을 이용하여 상기 고해상도 영상 입력모듈을 통해 입력된 고해상도 영상을 분석하여, 제2 객체의 위치, 시간, 종류, 차체 특징정보를 출력하는 딥러닝 기반 영상 분석모듈; 상기 딥러닝 기반 영상분석모듈을 통해 검출된 출력데이터를 수집하는 출력데이터 수집모듈; 상기 출력데이터 수집모듈에서 수집된 출력데이터를 활용하여, 감지영역(S) 내 차량 객체인 제2 객체를 감지하는 제2 객체 감지모듈; 상기 출력데이터 수집모듈에서 수집된 출력데이터를 활용하여, 감지된 제2 객체의 종류를 인식하는 객체 종류 검출모듈; 상기 객체 종류 검출모듈에서 검출된 제2 객체의 종류의 이륜차일 때 실행되며, 기 설정된 헬멧 분석 알고리즘을 이용하여, 제2 객체 이미지를 분석하여, 운전자의 헬멧 착용 여부를 판단함과 동시에 헬멧 색상 및 헬멧 경계선 특징을 포함하는 헬멧 특징정보를 검출하는 헬멧 착용 여부 분석모듈을 포함하는 것이 바람직하다.

상기 과제와 해결수단을 갖는 본 발명에 따르면 위반-차량 검출 시, 위반-차량의 후면-번호판을 활용하여 차량번호를 인식하도록 구성됨으로써 사륜차뿐만 아니라 전면-번호판이 훼손되거나 또는 후면-번호판만이 부착된 이륜차에 대해서도 단속이 정확하게 이루어지므로, 단속 정확성 및 신뢰도를 높일 수 있게 된다.

또한 본 발명에 의하면 위반-차량의 차량번호가 인식되지 않으면, 1차 검증부를 통해 해당 위반-차량의 고해상도 영상을 역재생하여, 미인식 위반-차량의 차량번호판 전체가 완전 개방(노출)되는 프레임을 검출한 후, 검출된 프레임으로부터 차량번호판을 추출하여, 차량번호 인식을 수행하도록 구성됨으로써 단속 신뢰도를 더욱 높일 수 있다.

또한 본 발명에 의하면 이륜차 감지 시, 감지된 이륜차 객체의 신호위반, 속도위반, 갓길 정차, 보행자 검지 시 우회전 정차, 헬멧 미착용, 횡단보도 주행, 역주행, 인도 주행 등과 같은 교통법규 위반 여부를 판별하도록 구성됨으로써 이륜차의 위반 여부를 정확하게 판별하여, 이륜차의 교통법규 위반으로 인한 불필요한 교통사고를 획기적으로 방지할 수 있게 된다.

또한 본 발명에 의하면 1차 검증부에서도 미인식 위반-차량의 차량번호가 인식되지 않으면, 2차 검증부를 통해 주변 컨트롤러와 연계하여, 미인식 위반-차량의 차량번호를 인식하도록 구성됨으로써 번호 인식률을 개선하여, 단속 정확성을 극대화할 수 있게 된다.

도 1은 국내등록특허 제10-1584105호(발명의 명칭 : 다차로 기반의 차량 촬영장치 및 그 제어방법)에 개시된 다차로 기반의 차량 촬영장치를 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 무인 교통 단속시스템을 나타내는 구성도이다.
도 3은 도 2를 설명하기 위한 예시도이다.
도 4는 도 2의 컨트롤러를 나타내는 블록도이다.
도 5는 도 4의 딥러닝 기반 영상분석부를 나타내는 블록도이다.
도 6은 도 4의 캘리브레이션 처리부를 나타내는 블록도이다.
도 7은 도 4의 위반 여부 판별부를 나타내는 블록도이다.
도 8은 도 4의 1차 검증부를 나타내는 블록도이다.
도 9는 도 8의 제1 검증모듈을 나타내는 블록도이다.
도 10은 도 8의 제2 검증모듈을 나타내는 블록도이다.
도 11은 도 4의 보정-값 최적화부를 나타내는 블록도이다.
도 12는 도 4의 컨트롤러의 제2 실시예를 나타내는 블록도이다.
도 13은 도 12의 추적 요청부를 나타내는 블록도이다.
도 14는 도 12의 2차 검증부를 나타내는 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.

도 2는 본 발명의 일실시예인 무인 교통 단속시스템을 나타내는 구성도이고, 도 3은 도 2를 설명하기 위한 예시도이다.

본 발명의 일실시예인 도 2와 3의 무인 교통 단속시스템(1)은 차량의 후면을 촬영하여 위반-차량의 차량번호를 인식하여 위반-차량을 단속하되, 위반-차량의 차량번호가 누락되는 오류 발생 시, 1차 검증부 및 2차 검증부를 통해 미인식-차량의 차량번호를 재인식하도록 구성됨으로써 이륜차 및 사륜차를 구별하여 인식함과 동시에 인식된 객체를 트래킹하여, 객체 종류(이륜차 또는 사륜차)에 따른 교통법규 위반 여부를 판별하며, 이륜차 위반-차량 검출 시, 후면-번호판을 촬영하여 번호를 인식하며, 차량번호가 미인식된 차량이 검출되더라도, 검증부를 통해 미인식 위반-차량의 차량번호를 정확하게 검출함으로써 전면-번호판이 훼손된 차량 또는 후면-번호판만이 부착된 이륜차에 대해서도 번호 인식이 가능하여, 단속 정확성 및 신뢰도를 높일 뿐만 아니라 이륜차의 다양한 종류의 교통법규 위반을 정확하게 단속하기 위한 것이다.

또한 본 발명의 일실시예인 무인 교통 단속시스템(1)은 도 2와 3에 도시된 바와 같이, 컨트롤러(3), 전면용 고해상도 카메라(5), 후면용 고해상도 카메라(7), 레이더 센서(9)를 포함하며 각 감지영역(S)에 설치되어 위반-차량을 단속하는 무인 교통 단속기(11-1), ..., (11-N)들과, 무인 교통 단속기(11-1), ..., (11-N)들로부터 전송받은 차량-정보, 위반-차량의 단속정보 및 고해상도 영상을 저장 및 모니터링함과 동시에 위반-차량에 대한 과태료 지급 등의 후속 절차를 수행하는 교통관제센터 서버(13)와, 교통관제센터 서버(13) 및 무인 교통 단속기(11-1), ..., (11-N)들 사이의 데이터 이동경로를 제공하는 통신망(10)으로 이루어진다.

이때 도 3에서는 설명의 편의를 위해, 무인 교통 단속기(11)를 구성하는 컨트롤러(3), 전면용 고해상도 카메라(5), 후면용 고해상도 카메라(7), 레이더 센서(9)가 독립적으로 설치되는 도시되었으나, 무인 교통 단속기(11)의 컨트롤러(3) 및 레이더 센서(9)는 일체형으로 제작될 수 있음은 당연하다.

통신망(10)은 교통관제센터 서버(13) 및 무인 교통 단속기(11-1), ..., (11-N)들 사이의 데이터 통신을 지원하며, 상세하게는 광역통신망(WAN), LAN(Local Area Network)망, VAN(Value Added Network)망, 유선통신망 등으로 구현될 수 있다.

교통관제센터 서버(13)는 기 설정된 감지영역(S-1), ..., (S-N)들 각각에 설치된 무인 교통 단속기(11-1), ..., (11-N)들로부터 차량-정보, 단속정보 및 고해상도 영상을 전송받으면, 전송받은 차량-정보, 단속정보 및 고해상도 영상을 저장함과 동시에 이들을 활용하여 도로의 교통 상태를 모니터링 한다.

또한 교통관제센터 서버(13)는 무인 교통 단속기(11-1), ..., (11-N)들로부터 전송받은 차량-정보를 가공 및 분석하여, 각 감지영역(S)의 차량 통행량, 평균속도, 정체율, 밀집도 등을 포함하는 교통정보를 생성한다.

또한 교통관제센터 서버(13)는 무인 교통 단속기(11-1), ..., (11-N)들로부터 단속정보를 전송받으면, 전송받은 단속정보에 포함된 차량번호, 위반내용, 위반 채증-이미지를 활용하여, 위반-차량의 차주에게 과태료 부과 등의 후속 절차를 수행한다.

무인 교통 단속기(11-1), ..., (11-N)들은 기 설정된 감지영역(S-1), ..., (S-N)들 각각에 설치되며, 자신에게 할당된 감지영역(S)의 위반-차량을 단속한다.

이때 감지영역(S)은 차량이 통행하는 도로 중, 단속이 이루어지는 구간을 의미한다.

또한 무인 교통 단속기(11)는 컨트롤러(3), 전면용 고해상도 카메라(5), 후면용 고해상도 카메라(7), 레이더 센서(9)를 포함한다.

전면용 고해상도 카메라(5)는 기 설정된 감지영역(S)을 주행하는 차량의 전면을 촬영하여 영상(고해상도 영상이라고 함)을 획득하며, 획득된 고해상도 영상을 컨트롤러(3)로 출력한다.

이때 전면용 고해상도 카메라(5)는 전체 감지영역(S)을 모두 촬영하여 전체 감지영역(S)이 촬영된 고해상도 영상(전면-영상)을 획득하고, 컨트롤러(3)는 전면용 고해상도 카메라(5)로부터 전송받은 전면-영상을 분석하여, 차량 객체를 감지함과 동시에 감지된 차량 객체의 종류(이륜차 또는 사륜차) 및 차량번호를 인식하며, 인식된 객체 종류에 따른 위반 검출 알고리즘을 이용하여 교통법규 위반 여부를 판별하여, 위반-차량에 대한 단속정보를 생성하게 된다.

후면용 고해상도 카메라(7)는 해당 감지영역(S)을 주행하는 차량의 후면을 촬영하도록 설치되어, 고해상도 영상(후면-영상)을 획득하며, 획득된 후면-영상을 컨트롤러(3)로 출력한다.

레이더 센서(9)는 해당 감지영역(S)으로 레이더 신호를 송출한 후, 반사되는 신호를 수집한다.

또한 레이더 센서(9)는 송수신된 레이더 신호 정보를 컨트롤러(3)로 출력한다.

도 4는 도 2의 컨트롤러를 나타내는 블록도이다.

컨트롤러(3)는 도 4에 도시된 바와 같이, 제어부(30)와, 메모리(31), 통신 인터페이스부(32), 레이더 신호 분석부(33), 제1 프로파일 정보 생성부(34), 제1 궤적 트래킹부(35), 딥러닝 기반 영상분석부(36), 제2 프로파일 정보 생성부(37), 제2 궤적 트래킹부(38), 캘리브레이션 처리부(39), 차량-정보 생성부(41), 위반 여부 판별부(42), 단속정보 생성부(43), 1차 검증부(44), 보정-값 최적화부(430)로 이루어진다.

제어부(30)는 컨트롤러(3)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (34), (35), (36), (37), (38), (39), (41), (42), (43), (44), (430)들의 동작을 관리 및 제어한다.

또한 제어부(30)는 레이더 센서(9)로부터 송수신된 레이더 신호 정보가 출력되면, 이를 레이더 신호 분석부(33)로 입력하고, 전면용 고해상도 카메라(5)로부터 고해상도 영상이 출력되면, 이를 딥러닝 기반 영상분석부(36)로 입력한다.

또한 제어부(30)는 제1 궤적 트래킹부(35)에서 생성된 제1 궤적-정보와, 제2 궤적 트래킹부(38)에서 생성된 제2 궤적-정보를 캘리브레이션 처리부(39)로 입력한다.

또한 제어부(30)는 제1 프로파일 정보 생성부(34)에서 생성된 제1 프로파일 정보와, 제2 프로파일 정보 생성부(37)에서 생성된 제2 프로파일 정보와, 캘리브레이션 처리부(39)에서 처리된 궤적정보를 차량-정보 생성부(41)로 입력한다.

또한 제어부(30)는 위반 여부 판별부(42)에서 위반-차량이 검출되면, 단속정보 생성부(43)를 실행시키고, 단속정보 생성부(43)에서 단속정보가 생성되면, 생성된 단속정보가 교통관제센터 서버(13)로 전송되도록 통신 인터페이스부(32)를 제어한다.

또한 제어부(30)는 단속정보 생성부(43)에서 단속정보 생성 시, 해당 위반-차량의 차량번호가 인식되지 않은 상태이면, 1차 검증부(44)를 실행시킨다.

또한 제어부(30)는 기 설정된 주기(T) 마다 보정-값 최적화부(430)를 실행시킨다.

메모리(31)에는 기 설정된 감지영역(S)의 위치정보가 저장된다.

또한 메모리(31)에는 컨트롤러(3), 전면용 고해상도 카메라(5), 후면용 고해상도 카메라(7), 레이더 센서(9)의 통신 식별정보가 저장된다.

또한 메모리(31)에는 전면용 고해상도 카메라(5)의 촬영으로 인해 획득된 고해상도의 전면-영상과, 후면용 고해상도 카메라(7)의 촬영으로 인해 획득된 고해상도의 후면-영상이 임시 저장된다.

또한 메모리(31)에는 차량-정보 생성부(41)에서 생성된 차량-정보와, 단속정보 생성부(41)에서 생성된 단속정보가 임시 저장된다.

통신 인터페이스부(32)는 교통관제센터 서버(13)를 포함하는 외부 서버 또는 노드와 데이터를 송수신한다.

레이더 신호 분석부(33)는 레이더 센서(9)를 통해 송수신된 레이더 신호를 분석한다.

제1 프로파일 정보 생성부(34)는 레이더 신호 분석부(33)에서 검출된 분석데이터를 참조 및 활용하여, 기 할당된 감지영역(S) 내 차량 객체인 제1 객체를 감지한 후, 감지된 각 제1 객체의 위치, 시간, 차체 특징정보(차체 경계선 특징, 전장, 전폭, 전고 등)을 검출하며, 검출된 제1 객체의 위치, 시간, 차체 특징정보를 매칭시켜 제1 프로파일 정보를 생성한다.

이때 제어부(30)는 제1 프로파일 정보 생성부(34)에서 생성된 제1 프로파일 정보를 제1 궤적 트래킹부(35) 및 차량-정보 생성부(41)로 입력한다.

제1 궤적 트래킹부(35)는 제1 프로파일 정보 생성부(34)에서 감지된 제1 객체의 식별ID를 부여한 후, 해당 제1 객체의 궤적을 트래킹하여, 제1 객체의 궤적을 나타내는 제1 궤적-정보를 생성한다.

이때 제어부(30)는 제1 궤적 트래킹부(35)에서 제1 궤적-정보가 생성되면, 생성된 제1 궤적-정보를 캘리브레이션 처리부(39)로 입력한다.

도 5는 도 4의 딥러닝 기반 영상분석부를 나타내는 블록도이다.

딥러닝 기반 영상분석부(36)는 도 5에 도시된 바와 같이, 후면-영상 입력모듈(361)과, 딥러닝 기반 영상분석모듈(362), 출력데이터 수집모듈(363), 제2 객체 감지모듈(364), 객체 종류 검출모듈(365), 헬멧 착용 여부 분석모듈(346)로 이루어진다.

후면-영상 입력모듈(361)은 후면용 고해상도 카메라(7)의 촬영으로 인해 획득된 후면-영상을 입력받는다.

딥러닝 기반 영상 분석모듈(362)은 기 학습된 딥러닝 알고리즘을 이용하여, 후면-영상 입력모듈(361)을 통해 입력된 후면-영상을 분석하여, 제2 객체의 위치, 시간, 객체 종류(이륜차 또는 사륜차), 차체 특징정보(차체 경계선 특징, 차체 색상, 전장, 전폭, 전고 등) 등을 출력한다.

이때 딥러닝 알고리즘은 고해상도 영상을 입력데이터로 하여, 입력된 고해상도 영상으로부터 제2 객체의 위치, 시간, 종류, 차체 특징정보, 차량번호 등을 출력하는 인공지능 알고리즘이며, 상세하게로는 심층신경망 객체 검지 알고리즘의 하나인 합성공 신경망(CNN, Convolution Neural Network) 기반의 YOLO 모델인 것이 바람직하다.

이러한 딥러닝 알고리즘은 학습 시, 고해상도 영상과 출력데이터를 구성하는 카테고리-값(제2 객체의 위치, 시간, 종류, 차체 색상, 전장, 전폭, 전고, 차량번호 등)들을 활용하여, 고해상도 영상과 각 카테고리-값 간의 상관관계를 학습할 수 있는 학습데이터를 생성하고 생성된 학습데이터를 활용하여 고해상도 영상 및 각 카테고리-값 간의 상관관계에 대한 파라미터 값들의 집합인 추출모델을 도출하는 방식으로 학습화를 진행한다.

출력데이터 수집모듈(363)은 딥러닝 기반 영상분석모듈(362)을 통해 검출된 출력데이터를 수집한다. 이때 출력데이터는 제2 객체의 위치, 시간, 종류, 차량번호, 차체 색상, 전장, 전폭, 전고 등을 포함한다.

제2 객체 감지모듈(364)은 출력데이터 수집모듈(363)에서 수집된 출력데이터를 활용하여, 감지영역(S) 내 차량 객체인 제2 객체를 감지한다.

객체 종류 검출모듈(365)은 출력데이터 수집모듈(363)에서 수집된 출력데이터를 활용하여, 감지된 제2 객체의 종류를 인식한다. 이때 객체의 종류는 사륜차 또는 이륜차로 구성될 수 있다.

이때 제어부(ㅇ30)는 객체 종류 검출모듈(365)에서 검출된 제2 객체의 종류가 사륜차이면, 별도의 동작을 수행하지 않고 딥러닝 기반 영상분석부(36)의 동작을 종료하고, 제2 객체의 종류가 이륜차이면, 헬멧 착용 여부 분석모듈(366)을 실행시킨다.

헬멧 착용 여부 분석모듈(366)은 제어부(30)의 제어에 따라, 객체 종류 검출모듈(365)에서 검출된 제2 객체의 종류의 이륜차일 때 실행되며, 헬멧 분석 알고리즘을 이용하여, 제2 객체 이미지를 분석하여, 운전자의 헬멧 착용 여부를 판단함과 동시에 헬멧 특징정보(헬멧 경계선 특징, 헬멧 색상)를 검출한다.

예를 들어, 헬멧 착용 여부 분석모듈(366)은 제2 객체 이미지의 반사광을 증폭시킨 후, 헬멧 분석 알고리즘을 이용할 수 있고, 헬멧 분석 알고리즘은 반사광이 증폭된 제2 객체 이미지를 분석하여, 운전자의 머리 부분의 스미어 정도에 따라, 운전자의 헬멧 착용 여부를 판단하도록 구성될 수 있다.

다시 도 4로 돌아가서 제2 프로파일 정보 생성부(37)를 살펴보면, 제2 프로파일 정보 생성부(37)는 딥러닝 기반 영상 분석부(36)에서 검출된 제2 객체의 위치, 시간, 종류, 차량번호, 차체 특징정보(차체 경계선 특징, 차체 색상, 전장, 전폭, 전고), 헬멧 착용 여부, 헬멧 특징정보(헬멧 경계선 특징, 헬멧 색상) 등을 매칭시켜 제2 프로파일 정보를 생성한다.

이때 제어부(30)는 제2 프로파일 정보 생성부(37)에서 생성된 제2 프로파일 정보를 제2 궤적 트래킹부(38) 및 차량-정보 생성부(41)로 입력한다.

제2 궤적 트래킹부(38)는 제2 프로파일 정보 생성부(37)에서 검출된 제2 객체의 식별ID를 부여한 후, 해당 제2 객체의 궤적을 트래킹하여, 제2 객체의 궤적을 나타내는 제2 궤적-정보를 생성한다.

도 6은 도 4의 캘리브레이션 처리부를 나타내는 블록도이다.

캘리브레이션 처리부(39)는 도 6에 도시된 바와 같이, 데이터 입력모듈(391), 1차 필터링 모듈(392), 2차 필터링 모듈(393), 유사도 산출모듈(394), 동일 객체 매칭모듈(395), 최종 궤적-정보 생성모듈(396)로 이루어진다.

데이터 입력모듈(391)은 제1 프로파일 정보들과, 제2 프로파일 정보들, 제1 궤적-정보들, 제2 궤적-정보들을 입력받는다.

1차 필터링 모듈(392)은 데이터 입력모듈(391)을 통해 입력된 제1 프로파일 정보들 및 제2 프로파일 정보들을 활용하여, 각 제1 객체별로, 제1 객체의 위치를 기준으로 임계 범위 이내의 위치를 갖는 제2 객체(후보대상)들을 선별한다.

2차 필터링 모듈(392)은 1차 필터링 모듈(392)에서 선별된 후보대상들 중, 해당 제1 객체의 시간을 기준으로 임계 범위 이내의 시간을 갖는 후보대상(최종-후보)들을 선별한다.

유사도 산출모듈(394)은 제1 객체의 차체 특징정보를 구성하는 카테고리-값과, 각 최종-후보의 차체 특징정보를 구성하는 카테고리-값을 활용하여, 제1 객체와 각 최종-후보의 유사도를 산출한다.

이때 유사도는 제1 객체 및 최종-후보의 전장, 전폭, 전고의 차이값과 반비례하게 산출된다.

동일 객체 매칭모듈(395)은 최종-후보들 중, 유사도가 가장 높은 최종-후보인 제2 객체를 제1 객체와 동일한 객체로 매칭한다.

최종 궤적-정보 생성모듈(396)은 동일 객체 매칭모듈(395)에서 매칭된 동일 객체의 제1 궤적-정보를 해당 객체의 최종 궤적-정보를 결정한다.

이와 같이 본 발명의 컨트롤러(3)는 캘리브레이션 처리부(39)를 통해, 레이더 신호에 의한 제1 궤적과 제2 궤적을 정확하게 매칭시킬 수 있으므로, 더욱 정확한 차량-정보 생성 및 단속정보를 검출할 수 있게 된다.

다시 도 4로 돌아가서, 차량정보 생성부(41)를 살펴보면, 차량-정보 생성부(41)는 제1 프로파일 정보 생성부(34)에서 생성된 제1 프로파일 정보와, 제2 프로파일 정보 생성부(37)에서 생성된 제2 프로파일 정보와, 캘리브레이션 처리부(39)에서 생성된 최종 궤적-정보를 활용하여, 차량-객체의 위치, 시간, 속도, 궤적, 객체 종류, 차량번호, 차체 특징정보(경계선 특징, 전장, 전폭, 전고, 색상 등), 헬멧 착용 여부(이륜차인 경우만), 헬멧 특징정보(경계선 특징, 색상 등)를 매칭시켜 차량-정보를 생성한다.

도 7은 도 4의 위반 여부 판별부를 나타내는 블록도이다.

위반 여부 판별부(42)는 도 7에 도시된 바와 같이, 차량-정보 입력모듈(421)과, 객체 종류 확인모듈(422), 사륜차 위반 여부 판별모듈(423), 이륜차 위반 여부 판별모듈(425)로 이루어진다.

차량-정보 입력모듈(421)은 차량-정보 생성부(41)에서 생성된 차량-정보를 입력받는다.

객체 종류 확인모듈(422)은 차량-정보 입력모듈(421)을 통해 입력된 차량-정보의 객체 종류 정보를 참조하여, 해당 객체의 종류(이륜차 또는 사륜차)를 확인한다.

이때 제어부(30)는 객체 종류 확인모듈(422)에서 확인된 객체 종류가 사륜차이면 사륜차 위반 여부 판별모듈(423)을 실행시키되, 객체 종류가 이륜차이면 이륜차 위반 여부 판별모듈(425)을 실행시킨다.

사륜차 위반 여부 판별모듈(423)은 객체 종류 확인모듈(422)에서 확인된 객체 종류가 사륜차일 때 실행되며, 기 설정된 위반 검출 알고리즘을 이용하여, 차량-정보 생성부(41)에서 생성된 차량-정보 및 궤적-정보를 분석하여, 사륜차 객체의 신호위반, 속도위반, 갓길 정차, 보행자 검지 시 우회전 정차 등과 같은 교통법규 위반 여부를 판단한다.

이륜차 위반 여부 판별모듈(425)은 객체 종류 확인모듈(422)에서 확인된 객체 종류가 이륜차일 때 실행되며, 기 설정된 위반 검출 알고리즘을 이용하여, 차량-정보 생성부(41)에서 생성된 차량-정보 및 궤적-정보를 분석하여, 이륜차 객체의 신호위반, 속도위반, 갓길 정차, 보행자 검지 시 우회전 정차, 헬멧 미착용, 횡단보도 주행, 역주행, 인도 주행 등과 같은 교통법규 위반 여부를 판별한다.

단속정보 생성부(43)는 위반 여부 판별부(42)에서 위반-차량이 검출될 때 실행되며, 위반-차량의 차량번호, 위반 내용, 시간, 위반 채증-이미지, 차량-정보 등을 포함하는 단속정보를 생성한다.

이때 제어부(30)는 단속정보 생성부(43)에서 단속정보 생성 시, 위반-차량의 차량번호가 미인식되어 검출되지 않을 때, 1차 검증부(44)를 실행시킨다.

도 8은 도 4의 1차 검증부를 나타내는 블록도이다.

도 8의 1차 검증부(44)는 단속정보 생성부(43)에서 단속정보 생성 시, 위반-차량의 차량번호가 검출되지 않을 때 제어부(30)의 제어에 따라 실행된다.

또한 1차 검증부(44)는 도 8에 도시된 바와 같이, 미인식 위반-차량에 대한 번호를 인식하는 제1 검증모듈(441)과, 제1 검증모듈(441)에서 미인식 위반-차량의 번호를 인식하지 못할 때 실행되는 제2 검증모듈(442)로 이루어진다.

도 9는 도 8의 제1 검증모듈을 나타내는 블록도이다.

도 9의 제1 검증모듈(441)은 도 9에 도시된 바와 같이, 딥러닝 기반 전면-영상 분석모듈(4411)과, 번호인식 여부 판단모듈(4412), 후면-영상 추출모듈(4413)과, 미인식 객체 매칭모듈(4414), 역재생 및 추적모듈(4415), 차량번호판 이미지 검출모듈(4416), 번호인식모듈(4417)로 이루어진다.

딥러닝 기반 전면-영상 분석모듈(4411)은 전면용 고해상도 카메라(5)의 촬영으로 인해 획득된 고해상도의 전면-영상을 입력받으면, 딥러닝 알고리즘을 이용하여 전면-영상을 분석하여, 차량-객체인 제3 객체의 위치, 시간, 종류, 차량번호, 차체 색상, 전장, 전폭, 전고 등을 출력한다.

번호인식 여부 판단모듈(4412)은 딥러닝 기반 전면-영상 분석모듈(4411)에서 출력된 출력데이터를 참조 및 활용하여, 미인식 위반-차량에 대응하는 제3 객체를 매칭시킨 후, 제3 객체의 차량번호가 인식되었는지를 탐색한다.

이때 제어부(30)는 번호인식모듈(4412)에서, 제3 객체의 차량번호가 인식되었으면, 제1 검증모듈(441)의 동작을 종료한 후, 차량번호를 단속정보 생성부(43)로 입력하고, 제3 객체의 차량번호가 인식되지 않았으면, 후면-영상 추출모듈(4413)을 실행시킨다.

후면-영상 추출모듈(4413)은 차량번호가 인식되지 않은 위반-차량인 미인식 위반-차량의 차량-정보를 활용하여, 후면-영상으로부터, 미인식 위반-차량이 감지영역(S)을 진입한 시점부터 진출한 시점까지의 후면-영상을 추출한다.

미인식 객체 매칭모듈(4414)은 미인식 위반-차량의 차량-정보를 참조하여, 추출된 후면-영상의 종료 구간에서의 미인식 위반-차량에 대응하는 차량 이미지를 매칭시킨다.

역재생 및 추적모듈(4415)은 후면-영상 추출모듈(4413)에 의해 추출된 특정 영역의 후면-영상을 역으로 재생하며, 미인식 객체 매칭모듈(4414)에 의해 매칭된 차량 이미지의 움직임을 추적한다.

차량번호판 이미지 노출 여부 판단모듈(4416)은 역재생 및 추적모듈(4415)을 통해 역재생되고 있는 특정 영역의 후면-영상을 분석하여, 미인식 위반-차량의 이미지로부터 차량번호판을 추출한 후, 추출된 차량번호판 전체가 촬영된 상태인지 여부를 판단한다.

이때 차량번호판 이미지 노출 여부 판단모듈(4416)은 검출된 차량번호판 이미지의 경계선들을 활용하여, 차량번호판 이미지의 4개의 모서리가 모두 검출되는지 여부에 따라, 차량번호판 이미지 전체가 촬영되었는지 아닌지를 판별할 수 있다.

또한 제어부(30)는 차량번호판 이미지 노출 여부 판단모듈(4416)에서 차량번호판 전체가 외부로 노출된 상태이면, 번호인식모듈(4417)을 실행시킨다.

번호인식모듈(4417)은 차량번호판 이미지 노출 여부 판단모듈(4416)에서 차량번호판 전체가 외부로 개방(노출)된 상태일 때, 제어부(30)의 제어에 따라 실행되며, 해당 차량번호판 이미지를 추출한 후, 차량번호를 인식한다.

이때 번호인식모듈(4417)에 의해 인식된 차량번호는 단속정보 생성부(43)로 입력된다.

예를 들어, 이륜차가 다른 차량이나 다른 물건, 나무 등에 의해 번호판이 가려지거나 횡단보도 및 인도 등을 주행하여, 카메라의 촬영 각도 등으로 인해 이륜차의 후면을 정확하게 촬영하지 못하는 경우, 차량번호 인식이 누락된 미인식 위반-차량이 검출되게 되나, 본원 발명의 컨트롤러(3)는 별도의 1차 검증부(44)를 통해 미인식 위반-차량이 검출되더라도, 딥러닝 알고리즘을 이용하여 해당 미인식 위반-차량의 전면-영상을 분석하여 차량번호를 인식하며, 후면-영상을 역으로 재생하여, 차량번호를 재인식하도록 구성됨으로써 단속 정확성 및 신뢰도를 개선시킬 수 있게 된다.

도 10은 도 8의 제2 검증모듈을 나타내는 블록도이다.

도 10의 제2 검증모듈(443)은 제1 검증모듈(441)에서 위반-차량의 번호 인식이 실패할 때, 제어부(30)의 제어에 따라 실행된다.

또한 제2 검증모듈(443)은 도 10에 도시된 바와 같이, 차량-정보 수집모듈(4431)과, 미인식 위반-차량 정보 입력모듈(4432), 카테고리-값 기반 유사도 산출모듈(4433), 비교 및 정렬모듈(4434), 동일객체 결정모듈(4435), 미인식 위반-차량 번호 결정모듈(4436)로 이루어진다.

차량-정보 수집모듈(4431)은 메모리(31)에 저장된 차량-정보들을 수집한다. 이때 수집된 차량-정보의 객체를 후보-객체라고 명칭하기로 한다.

미인식 위반-차량 정보 입력모듈(4432)은 미인식 위반-차량의 차량-정보를 입력받는다.

카테고리-값 기반 유사도 산출모듈(4433)은 미인식 위반-차량의 카테고리-값과, 각 후보-객체의 카테고리-값을 활용하여, 미인식 위반-차량과 각 후보-객체의 유사도를 산출한다.

비교 및 정렬모듈(4434)은 카테고리-값 기반 유사도 산출모듈(4433)에서 산출된 각 후보-객체의 유사도를 비교하여, 유사도 점수가 높은 순서에서 낮은 순서로 후보-객체들을 정렬한다.

동일객체 결정모듈(4435)은 비교 및 정렬모듈(4434)에서 첫 번째로 정렬된 후보-객체를, 미인식 위반-차량과 동일한 객체로 결정한다.

미인식 위반-차량 번호 결정모듈(4436)은 동일객체 결정모듈(4435)에서 결정된 동일 객체의 차량번호를 미인식 위반-차량의 차량번호로 결정한다.

도 11은 도 4의 보정-값 최적화부를 나타내는 블록도이다.

도 11의 보정-값 최적화부(430)는 제어부(30)의 제어에 따라, 기 설정된 주기(T) 마다 실행된다.

또한 보정-값 최적화부(430)는 도 11에 도시된 바와 같이, 동일 객체별 데이터 수집모듈(431)과, 시간-차이값 산출모듈(432), 시간-차이 평균값 산출모듈(433), 시간-보정값 결정모듈(434), 평면-좌표 사영모듈(435), 평면-좌표값 검출모듈(436), 차량-객체 기준 각 픽셀별 위치-차이값 산출모듈(437), 각 픽셀별 위치-차이 평균값 산출모듈(438), 각 픽셀별 위치-보정값 결정모듈(439)로 이루어진다.

동일 객체별 데이터 수집모듈(431)은 기 설정된 주기(T) 동안의 동일 객체의 제1 궤적-정보 및 제2 궤적-정보를 수집한다.

이때 제1 궤적-정보는 레이더 신호를 기반으로 검출된 차량-객체인 제1 객체의 궤적 정보를 의미하고, 제2 궤적-정보는 영상을 기반으로 검출된 차량-객체인 제2 객체의 궤적 정보를 의미한다.

시간-차이값 산출모듈(432)은 제2 객체의 검지 시간에서 제1 객체의 검지 시간을 차감하여 시간-차이값을 산출하는 방식으로, 각 차량-객체별 시간-차이값을 산출한다.

즉 시간-차이값은 제1 객체의 검지 시간을 기준으로, 제2 객체의 검지 시간이 얼마나 차이나는지를 의미한다.

시간-차이 평균값 산출모듈(433)은 시간-차이값 산출모듈(432)에서 산출된 차량-객체들의 시간-차이값들의 평균값을 산출한다.

시간-보정값 결정모듈(434)은 시간-차이 평균값 산출모듈(433)에서 산출된 시간-차이 평균값을 시간-보정값으로 결정한 후, 메모리(31)에 저장한다.

한편, 제2 프로파일 정보 생성부(37)는 제2 프로파일 정보 생성 시, 시간-보정값 결정모듈(434)에서 결정된 시간-보정값을 반영하여, 제2 프로파일 정보를 생성함으로써 제1 객체와 제2 객체의 시간 동기화가 자동 및 최적으로 이루어지게 된다.

예를 들어, 시간-보정값이 ‘0.12초’이면, 제2 프로파일 정보 생성부(37)는 제2 객체의 검지 시간에 시간-보정값인 ‘0.12초’를 차감한 후, 제2 프로파일 정보를 생성하게 된다.

평면-좌표 사영모듈(435)은 데이터 수집모듈(431)에서 수집된 제1 객체별 궤적을 평면-좌표상에 사영시킨다.

또한 평면-좌표 사영모듈(435)은 데이터 수집모듈(432)에서 수집된 제2 객체별 궤적을 평면-좌표상에 사영시킨다. 이때 동일 객체에 대한 제1 궤적 및 제2 궤적은, 유사한 궤적을 갖되, 소정의 시간차 및 위치차이를 갖게 된다.

평면-좌표값 검출모듈(436)은 각 차량-객체별로 평면-좌표상의 제1 객체 및 제2 객체의 궤적 좌표값인 제1 평면-좌표값 및 제2 평면-좌표값을 검출한다.

차량-객체 기준 각 픽셀별 위치-차이값 산출모듈(437)각 차량-객체별로 각 픽셀의 제2 평면-좌표값으로부터 제1 평면-좌표값까지의 차이값인 위치-차이값을 산출한다.

각 픽셀별 위치-차이 평균값 산출모듈(438)은 전체 차량-객체들의 각 필셀별 위치-차이값들을 활용하여, 각 픽셀별로 위치-차이값들의 평균값을 산출한다.

일례로, 차량-객체 ‘a’의 픽셀 ‘5’의 위치-차이값이 ‘(-1, -3)’이고, 차량-객체 ‘b’의 픽셀 ‘5’의 위치-차이값이 ‘(0, -4)’이고, 차량-객체 ‘c’의 픽셀 ‘5’의 위치-차이값이 ‘(-3, -3)’이라고 할 때, 각 픽셀별 위치-차이 평균값 산출모듈(438)은 픽셀 ‘5’의 위치-차이 평균값을 (-2, -3)으로 산출하게 된다.

각 픽셀별 위치-보정값 결정모듈(439)은 각 픽셀별 위치-차이 평균값 산출모듈(438)에서 산출된 각 픽셀별 위치-차이 평균값을 해당 픽셀의 위치-보정값으로 결정한다.

한편, 제2 프로파일 정보 생성부(37)는 제2 프로파일 정보 생성 시, 시간-보정값 결정모듈(434)에서 결정된 위치-보정값을 반영하여, 제2 객체의 위치를 보정한 후, 제2 프로파일 정보를 생성함으로써 제1 객체와 제2 객체의 위치 보정이 자동 및 최적으로 이루어지게 된다.

도 12는 도 4의 컨트롤러의 제2 실시예를 나타내는 블록도이다.

도 12의 제2 컨트롤러(23)는 본 발명의 컨트롤러의 제2 실시예이다.

또한 제2 컨트롤러(23)는 도 12에 도시된 바와 같이, 전술하였던 도 4의 컨트롤러(3)와 동일한 구성의 통신 인터페이스부(32), 레이더 신호 분석부(33), 제1 프로파일 정보 생성부(34), 제1 궤적 트래킹부(35), 딥러닝 기반 영상분석부(36), 제2 프로파일 정보 생성부(37), 제2 궤적 트래킹부(38), 캘리브레이션 처리부(39), 차량-정보 생성부(41), 위반 여부 판별부(42), 단속정보 생성부(43), 1차 검증부(44), 보정-값 최적화부(430)를 포함한다.

또한 제2 컨트롤러(23)는 제2 제어부(230)와, 제2 메모리(231), 추적 요청부(45), 2차 검증부(46), 추적 결과데이터 생성부(47)로 이루어진다.

제2 제어부(230)는 전술하였던 도 4의 제어부(30)와 동일한 구성으로 이루어진다.

또한 제2 제어부(230)는 1차 검증부(46)에서 미인식 위반-차량의 차량번호를 여전히 인식하지 못하면, 추적 요청부(45)를 실행시킨다.

또한 제2 제어부(230)는 추적 요청부(45)에서 추적 요청데이터가 생성되고 추적 대상인 컨트롤러인 추적-대상 컨트롤러(3‘)가 결정되면, 생성된 추적 요청데이터가 추적-대상 컨트롤러(3’)로 전송되도록 통신 인터페이스부(32)를 실행시킨다.

또한 제2 제어부(230)는 통신 인터페이스부(32)를 통해 인접한 컨트롤러(3‘)로부터 추적 요청데이터를 전송받으면, 전송받은 추적 요청데이터를 2차 검증부(46)로 입력한다.

또한 제2 제어부(230)는 1차 검증부(46)에서 미인식 위반-차량의 차량번호가 인식되면, 추적 결과데이터 생성부(47)를 실행시키고, 추적 결과데이터 생성부(47)에서 추적 결과데이터가 생성되면, 생성된 추적 결과데이터가 해당 추적 요청한 컨트롤러(3’)로 전송되도록 통신 인터페이스부(32)를 제어한다.

제2 메모리(231)는 전술하였던 도 4의 메모리(31)와 동일한 데이터들을 저장한다.

또한 제2 메모리(31)에는 주변 컨트롤러(3‘)들 각각의 통신 식별정보와, 각 주변 컨트롤러(3’)의 도로 위치정보가 기 설정되어 저장된다.

도 13은 도 12의 추적 요청부를 나타내는 블록도이다.

도 13의 추적 요청부(45)는 1차 검증부(44)에서도 미인식 위반-차량의 차량번호가 인식되지 않을 때 실행된다.

또한 추적 요청부(45)는 도 13에 도시된 바와 같이, 차량-정보 추출모듈(451)과, 고해상도 영상 입력모듈(452), 진입-방향 결정모듈(453), 추적-대상 도로 검출모듈(454), 추적-대상 컨트롤러 결정모듈(455), 추적 요청데이터 생성모듈(456)로 이루어진다.

차량-정보 추출모듈(451)은 1차 검증부(44)에서도 차량번호가 인식되지 않은 미인식 위반-차량의 차량-정보를 추출한다.

또한 차량-정보 추출모듈(451)은 미인식 위반-차량이 감지영역(S)을 진입한 시점부터 진출한 시점까지의 고해상도의 후면-영상을 입력받는다.

진입-방향 결정모듈(453)은 차량-정보 추출모듈(451)에서 추출된 차량-정보와, 고해상도 영상 입력모듈(452)을 통해 입력된 고해상도의 후면-영상을 분석 및 참조하여, 미인식 위반-차량이 감지영역(S)으로 진입한 방향인 진입-방향을 검출한 후, 진입-방향과 미인식 위반-차량의 위치정보를 참조하여, 미인식 위반-차량이 감지영역(S)으로 진입할 때의 도로인 진입-도로를 결정한다.

예를 들어, 미인식 위반-차량이 제1 도로(S1)를 통해 감지영역(S)으로 진입하면, 진입-방향 결정모듈(453)은 제1 도로를 진입-도로로 결정한다.

추적-대상 도로 검출모듈(454)은 주변 컨트롤러(3‘)들의 위치정보를 참조하여, 각 주변 컨트롤러(3’)에게 할당된 감지영역(S)으로부터 진출하는 진출-도로들을 검출한 후, 제2 메모리(231)에 저장된 도로 위치정보를 참조 및 활용하여, 검출된 진출-도로들 중, 진입-방향 결정모듈(453)에서 결정된 진입-도로와 연결되는 도로를 추적-대상 도로로 검출한다.

추적-대상 컨트롤러 결정모듈(455)은 기 설정된 주변 컨트롤러(3‘)들 각각의 감지영역의 위치정보를 참조하여, 추적-대상 도로 검출모듈(454)에서 검출된 추적-대상 도로를 단속하는 컨트롤러인 추적-대상 컨트롤러(3’)를 결정한다.

추적 요청데이터 생성모듈(456)은 추적-대상 컨트롤러 결정모듈(455)에서 결정된 추적-대상 컨트롤러(3‘)의 식별정보와 미인식 위반차량의 차량-정보와 차량번호 인식을 요청하는 내용을 매칭시켜 추적 요청데이터를 생성한다.

이때 차량-정보는 차량-객체의 위치, 시간, 속도, 궤적, 객체 종류, 차량번호, 차체 특징정보(경계선 특징, 전장, 전폭, 전고, 색상 등), 헬멧 착용 여부(이륜차인 경우만), 헬멧 특징정보(경계선 특징, 색상 등)를 포함한다.

한편, 제2 제어부(230)는 추적 요청부(45)의 추적 요청데이터 생성모듈(456)에서 추적 요청데이터가 생성되면, 통신 인터페이스부(32)를 제어하여, 해당 추적-대상 컨트롤러(3’)로 추적 요청데이터를 전송한다.

도 14는 도 12의 2차 검증부를 나타내는 블록도이다.

도 14의 2차 검증부(46)는 주변 컨트롤러(3’)로부터 추적 요청데이터를 전송받을 때, 제2 제어부(230)의 제어에 따라 실행된다.

또한 2차 검증부(46)는 도 14에 도시된 바와 같이, 추적 요청데이터 입력모듈(461)과, 탐색-시간대 검출모듈(462), 샘플-객체 추출모듈(463), 딥러닝 기반 동일 객체 검출모듈(464), 미인식 위반-차량 결정모듈(465), 차량번호 추출모듈(466)로 이루어진다.

추적 요청데이터 입력모듈(461)은 2차 검증을 요청한 인접 컨트롤러(3‘)로부터 전송받은 추적 요청데이터를 입력받는다.

탐색-시간대 검출모듈(462)은 추적 요청데이터 입력모듈(461)을 통해 입력된 추적 요청데이터를 참조 및 활용하여, 입력된 추적 요청데이터의 차량-정보의 궤적정보 및 속도정보 등을 참조 및 활용하여, 해당 미인식 위반-차량이 자신에게 할당된 감지영역(S)을 주행하였을 때의 시간대인 탐색-시간대를 검출한다.

만약 2차 검증부(46)가 이전에 등록된 차량-정보들을 모두 활용하여 2차 검증을 수행한다고 가정하면, 2차 검증에 필요한 DB가 불필요하게 증가하여, 연산처리속도가 지체되는 문제점이 발생하게 되나, 본원 발명의 2차 검증부(46)는 탐색-시간대 검출모듈(462)을 통해 미인식 위반-차량이 해당 감지영역(S)을 통과하였을 때의 시간대를 예측하여, 예측된 탐색-시간대의 객체들의 DB만을 활용하도록 구성됨으로써 불필요한 연산처리시간을 절감시킬 수 있게 된다.

이때 탐색-시간대 검출모듈(462)은 입력 시점부터 임계범위 이내의 차량-객체들을 샘플-객체들로 결정하도록 구성될 수 있다.

샘플-객체 추출모듈(463)은 제2 메모리(231)에 저장된 차량-정보들을 탐색하여, 탐색-시간대 검출모듈(462)에서 검출된 탐색-시간대에 해당하는 차량 객체인 샘플-객체들을 추출한다.

딥러닝 기반 동일 객체 검출모듈(464)은 기 학습된 딥러닝 알고리즘을 이용하여, 미인식 위반-차량의 차량-정보와, 샘플-객체 추출모듈(463)에 의해 추출된 각 샘플-객체의 차량-정보를 분석하여, 미인식 위반-차량과 해당 샘플-객체가 동일한지 여부를 출력한다.

이때 딥러닝 알고리즘은 두 객체의 차량-정보들과 두 객체의 동일 객체 여부간의 상관관계를 학습할 수 있는 학습데이터를 생성하고 생성된 학습데이터를 활용하여 두 객체의 차량-정보들과 두 객체의 동일 객체 여부간의 상관관계에 대한 파라미터 값들을 집합하여 학습화된다.

또한 딥러닝 알고리즘은, 미인식 위반-차량의 차량-정보와 샘플-객체의 차량-정보가 입력되면, 미인식 위반-차량과 해당 샘플-객체가 동일한지 여부를 출력한다.

미인식 위반-차량 결정모듈(465)은 딥러닝 기반 동일 객체 검출모듈(464)에서 출력된 출력데이터를 활용하여, 샘플-객체들 중, 미인식 위반-차량을 결정한다.

이때 미인식 위반-차량 결정모듈(465)은 딥러닝 기반 동일 객체 검출모듈(464)에서 샘플-객체들 전체가 미인식 위반-차량과 다른 객체라고 판단될 경우, 미인식 위반-차량을 결정하지 못하였다는 내용의 데이터를 추적 결과데이터 생성부(47)로 입력한 후, 2차 검증부(46)의 동작을 종료한다.

차량번호 추출모듈(466)은 미인식 위반-차량 결정모듈(465)에서 미인식 위반-차량이 결정될 때, 제2 제어부(30)의 제어에 따라 실행되며, 미인식 위반-차량 결정모듈(465)에서 결정된 미인식 위반-차량의 차량-정보를 탐색하여, 미인식 위반-차량의 차량번호를 추출한다.

다시 도 12로 돌아가서 추적 결과데이터 생성부(47)를 살펴보면, 추적 결과데이터 생성부(47)는 2차 검증부(46)에서 차량번호가 검출되면, 검출된 차량번호와 2차 검증 결과(성공)를 포함하는 추적 결과데이터와 추적에 성공하였다는 내용을 매칭시켜 추적 결과데이터를 생성한다.

또한 추적 결과데이터 생성부(47)는 추적 요청부(45)에서 미인식 위반-차량와 동일한 객체가 존재하지 않는다고 결정될 때, 2차 검증 결과(실패)를 포함하는 추적 결과데이터를 생성한다.

이때 제2 제어부(230)는 추적 결과데이터 생성부(47)에서 추적 결과데이터가 생성되면, 생성된 추적 결과데이터가 2차 검증을 요청한 컨트롤러(3)로 전송되도록 통신 인터페이스부(32)를 제어한다.

이와 같이 본 발명의 일실시예인 무인 교통 단속시스템(1)은 위반-차량 검출 시, 위반-차량의 전면-번호판뿐만 아니라 후면-번호판을 활용하여 차량번호를 인식하도록 구성됨으로써 전면-번호판이 훼손되거나 또는 후면-번호판만이 부착된 이륜차에 대해서도 단속이 정확하게 이루어지므로, 단속 정확성 및 신뢰도를 높일 수 있게 된다.

또한 본 발명의 무인 교통 단속시스템(1)은 위반-차량의 차량번호가 인식되지 않으면, 검증부를 통해 해당 위반-차량의 고해상도 영상을 역재생하여, 미인식 위반-차량의 차량번호판 전체가 완전 개방(노출)되는 프레임을 검출한 후, 검출된 프레임으로부터 차량번호판을 추출하여, 차량번호 인식을 수행하도록 구성됨으로써 단속 신뢰도를 더욱 높일 수 있다.

또한 본 발명의 무인 교통 단속시스템(1)은 이륜차 감지 시, 감지된 이륜차 객체의 신호위반, 속도위반, 갓길 정차, 보행자 검지 시 우회전 정차, 헬멧 미착용, 횡단보도 주행, 역주행, 인도 주행 등과 같은 교통법규 위반 여부를 판별하도록 구성됨으로써 이륜차의 위반 여부를 정확하게 판별하여, 이륜차의 교통법규 위반으로 인한 불필요한 교통사고를 획기적으로 방지할 수 있게 된다.

또한 본 발명의 무인 교통 단속시스템(1)은 1차 검증부에서도 미인식 위반-차량의 차량번호가 인식되지 않으면, 2차 검증부를 통해 주변 컨트롤러와 연계하여, 미인식 위반-차량의 차량번호를 인식하도록 구성됨으로써 번호 인식률을 개선하여, 단속 정확성을 극대화할 수 있게 된다.

1:무인 교통 단속시스템 :컨트롤러
5:전면용 고해상도 모니터링 카메라 7:후면용 고해상도 카메라
9:레이더 센서 10:통신망
11:무인 교통 단속기 13:교통관제센터 서버
23:제2 컨트롤러 0:컨트롤러
31:메모리 2:통신 인터페이스부
33:레이더 신호 분석부 4:제1 프로파일 정보 생성부
35:제1 궤적 트래킹부 36:딥러닝 기반 영상분석부
37:제2 프로파일 정보 생성부 38:제2 궤적 트래킹부
39:캘리브레이션 처리부 0:차량번호 인식부
41:차량-정보 생성부 42:위반 여부 판별부
43:단속정보 생성부 44:1차 검증부
45:추적 요청부 6:2차 검증부
47:추적 결과데이터 생성부 230:제2 제어부
231:제2 메모리 51:차량-정보 추출모듈
452:고해상도 영상 입력모듈 453:진입-방향 결정모듈
454:추적-대상 도로 검출모듈 455:추적-대상 컨트롤러 결정모듈
456:추적 요청데이터 생성모듈 61:추적 요청데이터 입력모듈
462:탐색-시간대 검출모듈 463:샘플-객체 추출모듈
464:딥러닝 기반 동일 객체 검출모듈
465:미인식 위반-차량 결정모듈 466:차량번호 추출모듈

Claims

기 설정된 감지영역(S)들 각각의 위반-차량을 단속하는 무인 교통 단속기들을 포함하는 무인 교통 단속시스템에 있어서:
상기 무인 교통 단속시스템은
상기 감지영역(S)의 주행 차량의 후면을 촬영하는 고해상도 카메라;
상기 고해상도 카메라의 촬영으로 인해 획득된 고해상도의 후면-영상을 분석하여, 차량-객체인 제2 객체를 감지함과 동시에 이륜차 또는 사륜차를 나타내는 객체 종류를 인식하며, 제2 객체의 차량번호를 인식하며, 제2 객체의 궤적을 추적하여 궤적-정보를 생성한 후, 제2 객체의 위치, 시간, 궤적, 종류, 차량번호를 포함하는 차량-정보를 생성한 후, 차량-정보를 기 설정된 위반조건과 비교하여 위반-차량을 판별하며, 위반-차량 검출 시, 차량번호 및 위반내용을 포함하는 단속정보를 생성하고, 단속정보 생성 시, 위반-차량이 차량번호가 인식되지 않은 미인식 위반-차량이면, 차량-정보들을 참조하여, 미인식 위반차량의 차체 특징정보들과, 각 차량-객체의 차체 특징정보들을 비교하여, 미인식 위반-차량과 각 차량-객체의 유사도를 산출한 후, 산출된 유사도가 가장 높은 차량-객체를 미인식 위반-차량이라고 결정하며, 유사도가 가장 높은 차량-객체의 차량번호를 미인식 위반-차량의 차량번호로 결정하는 컨트롤러를 포함하고,
상기 컨트롤러는
차량-정보들이 저장되는 메모리;
딥러닝 알고리즘을 이용하여, 상기 고해상도 카메라의 촬영으로 인해 획득된 고해상도 영상을 분석하여, 차량-객체인 제2 객체를 감지함과 동시에 이륜차 또는 사륜차를 나타내는 객체 종류를 인식하며, 차량번호를 인식하며, 객체 종류가 이륜차일 때, 운전자의 헬멧 착용 여부를 판별하는 딥러닝 기반 영상분석부;
상기 딥러닝 기반 영상분석부에서 출력된 데이터를 활용하여, 제2 객체의 위치, 시간, 차체 특징정보를 포함하는 제2 프로파일 정보를 생성하는 제2 프로파일 정보 생성부;
상기 제2 프로파일 정보 생성부에서 감지된 제2 객체의 궤적을 트래킹하여, 제2 궤적-정보를 생성하는 제2 궤적 트래킹부;
제2 프로파일 정보 및 제2 궤적-정보를 활용하여, 제2 객체의 위치, 시간, 속도, 궤적, 종류, 차량번호, 차체 특징정보, 헬멧 착용 여부, 헬멧 특징정보를 매칭시켜 차량-정보를 생성하는 차량-정보 생성부;
상기 차량-정보 생성부에서 생성된 차량-정보와 기 설정된 위반조건을 비교하여, 위반-차량을 판별하며, 위반-차량 검출 시, 차량번호 및 위반내용을 포함하는 단속정보를 생성하는 단속정보 생성부;
상기 단속정보 생성부에서 단속정보 생성 시, 위반-차량의 차량번호가 미인식되어 검출되지 않은 상태일 때 실행되는 제1 검증모듈과, 상기 제1 검증모듈에서 미인식 위반-차량의 차량번호를 인식하지 못할 때 실행되는 제2 검증모듈로 구성되는 1차 검증부를 포함하고,
상기 제1 검증모듈은
차량번호가 인식되지 않은 위반-차량인 미인식 위반-차량의 차량-정보를 활용하여, 고해상도 영상으로부터, 미인식 위반-차량이 감지영역(S)을 진입한 시점부터 진출한 시점까지의 고해상도 영상을 추출하는 고해상도 영상 추출모듈;
상기 미인식 위반-차량의 차량-정보를 참조하여, 추출된 고해상도 영상의 종료 구간에서의 미인식 위반-차량에 대응하는 차량 이미지를 매칭시키는 미인식 객체 매칭모듈;
상기 고해상도 영상 추출모듈에 의해 추출된 특정 영역의 고해상도 영상을 역으로 재생하며, 상기 미인식 객체 매칭모듈에 의해 매칭된 차량-객체의 영상 내 움직임을 추적하는 역재생 및 추적모듈;
상기 역재생 및 추적모듈을 통해 역재생되고 있는 특정 영역의 고해상도 영상을 분석하여, 미인식 위반-차량의 이미지로부터 차량번호판을 추출한 후, 추출된 차량번호판 전체가 노출된 상태인지 여부를 판단하는 차량번호판 이미지 노출 여부 판단모듈;
상기 차량번호판 이미지 노출 여부 판단모듈에서 차량번호판 전체가 외부로 개방(노출)된 상태일 때 실행되며, 해당 차량번호판 이미지를 추출한 후, 차량번호를 인식하는 번호인식모듈을 포함하고,
상기 제2 검증모듈은
상기 메모리에 저장된 차량-정보들을 수집하는 차량-정보 수집모듈;
미인식 위반-차량의 차량-정보를 입력받는 미인식 위반-차량 정보 입력모듈;
미인식 위반-차량의 차체 특징정보를 구성하는 카테고리-값과, 상기 차량-정보 수집모듈에 의해 수집된 차량-객체를 후보-객체라고 할 때, 각 후보-객체의 차체 특징정보를 구성하는 카테고리-값을 활용하여, 미인식 위반-차량과 각 후보-객체의 유사도를 산출하는 카테고리-값 기반 유사도 산출모듈;
상기 카테고리-값 기반 유사도 산출모듈에서 산출된 각 후보-객체의 유사도를 비교하여, 유사도 점수가 높은 순서에서 낮은 순서로 후보-객체들을 정렬하는 비교 및 정렬모듈;
상기 비교 및 정렬모듈에서 첫 번째로 정렬된 후보-객체를, 미인식 위반-차량과 동일한 객체로 결정하는 동일객체 결정모듈;
상기 동일객체 결정모듈에서 결정된 동일 객체의 차량번호를 미인식 위반-차량의 차량번호로 결정하는 미인식 위반-차량 번호 결정모듈을 포함하고,
상기 단속정보 생성부는
상기 번호인식모듈에 의해 인식 또는 상기 미인식 위반-차량 번호 결정모듈에서 결정된 차량번호를 포함하는 단속정보를 생성하는 것을 특징으로 하는 무인 교통 단속시스템.
제1항에 있어서, 상기 무인 교통 단속기는
기 할당된 감지영역(S)의 차량을 감지하는 감지수단을 더 포함하고,
상기 컨트롤러는
상기 감지수단에 의한 감지신호를 분석하여, 차량-객체인 제1 객체를 감지함과 동시에 감지된 제1 객체의 위치, 시간, 차체 특징정보를 포함하는 제1 프로파일 정보를 생성하는 제1 프로파일 정보 생성부;
상기 감지수단에 의한 감지신호를 활용하여, 상기 제1 프로파일 정보 생성부에서 감지된 제1 객체의 궤적을 트래킹하여, 제1 궤적-정보를 생성하는 제1 궤적 트래킹부;
상기 제1 프로파일 정보 생성부에서 생성된 제1 프로파일 정보와, 상기 제2 프로파일 정보 생성부에서 생성된 제2 프로파일 정보를 활용하여, 제1, 2 객체들 중 동일 객체를 매칭시키며, 상기 제1 궤적 트래킹부에 의한 제1 궤적-정보를 매칭된 객체의 궤적-정보로 결정하는 캘리브레이션 처리부를 포함하고,
상기 차량-정보 생성부는
상기 캘리브레이션 처리부에서 동일 객체로 매칭된 최종 객체의 제1 프로파일 정보, 제2 프로파일 정보 및 궤적-정보를 활용하여, 최종 객체의 위치, 시간, 속도, 궤적, 종류, 차량번호, 차체 특징정보, 헬멧 착용 여부, 헬멧 특징정보를 매칭시켜 차량-정보를 생성하는 것을 특징으로 하는 무인 교통 단속시스템.
제2항에 있어서, 상기 캘리브레이션 처리부는
제1 프로파일 정보들과, 제2 프로파일 정보들, 제1 궤적-정보들, 제2 궤적-정보들을 입력받는 데이터 입력모듈;
상기 데이터 입력모듈을 통해 입력된 제1 프로파일 정보들 및 제2 프로파일 정보들을 활용하여, 각 제1 객체별로, 제1 객체의 위치를 기준으로 임계 범위 이내의 위치를 갖는 제2 객체(후보대상)들을 선별하는 1차 필터링 모듈;
상기 1차 필터링 모듈에서 선별된 후보대상들 중, 해당 제1 객체의 시간을 기준으로 임계 범위 이내의 시간을 갖는 후보대상(최종-후보)들을 선별하는 2차 필터링 모듈;
상기 제1 객체의 차체 특징정보를 구성하는 카테고리-값과, 각 최종-후보의 차체 특징정보를 구성하는 카테고리-값을 활용하여, 제1 객체와 각 최종-후보의 유사도를 산출하는 유사도 산출모듈;
최종-후보들 중, 유사도가 가장 높은 최종-후보인 제2 객체를 제1 객체와 동일한 객체로 매칭하는 동일 객체 매칭모듈;
상기 제1 궤적 트래킹부에 의한 제1 궤적-정보를 상기 동일 객체 매칭모듈에서 매칭된 동일 객체의 궤적-정보로 결정하는 최종 궤적-정보 새성모듈을 포함하는 것을 특징으로 하는 무인 교통 단속시스템.
삭제
제3항에 있어서, 상기 컨트롤러는
고해상도 영상을 입력데이터로 하여, 입력된 고해상도 영상으로부터 제2 객체의 위치, 시간, 종류, 차체 특징정보를 출력하는 기 학습된 딥러닝 알고리즘이 저장되는 메모리를 더 포함하고,
상기 딥러닝 기반 영상분석부는
상기 고해상도 카메라로부터 고해상도 영상을 입력받는 고해상도 영상 입력모듈;
상기 딥러닝 알고리즘을 이용하여 상기 고해상도 영상 입력모듈을 통해 입력된 고해상도 영상을 분석하여, 제2 객체의 위치, 시간, 종류, 차체 특징정보를 출력하는 딥러닝 기반 영상 분석모듈;
상기 딥러닝 기반 영상분석모듈을 통해 검출된 출력데이터를 수집하는 출력데이터 수집모듈;
상기 출력데이터 수집모듈에서 수집된 출력데이터를 활용하여, 감지영역(S) 내 차량 객체인 제2 객체를 감지하는 제2 객체 감지모듈;
상기 출력데이터 수집모듈에서 수집된 출력데이터를 활용하여, 감지된 제2 객체의 종류를 인식하는 객체 종류 검출모듈;
상기 객체 종류 검출모듈에서 검출된 제2 객체의 종류의 이륜차일 때 실행되며, 기 설정된 헬멧 분석 알고리즘을 이용하여, 제2 객체 이미지를 분석하여, 운전자의 헬멧 착용 여부를 판단함과 동시에 헬멧 색상 및 헬멧 경계선 특징을 포함하는 헬멧 특징정보를 검출하는 헬멧 착용 여부 분석모듈을 포함하는 것을 특징으로 하는 무인 교통 단속시스템.