KR101999993B1 - 레이더 및 카메라를 이용한 무인 단속시스템 - Google Patents

Abstract

본 발명은 모니터링 카메라 및 레이더신호를 이용하여 상호 단점을 보완하여 단속의 정확성 및 신뢰도를 높임과 동시에 단속차량 검출 시, 획득된 단속차량 영상으로부터 영상 내 단속차량의 선단부 위치 및 기 설정된 최적인식지점(L)의 위치를 비교하여 최적인식지점(L)의 위치와 가장 인접한 프레임을 번호인식이 이루어질 최종프레임으로 결정함으로써 동일 카메라 배율 및 초점 대비 차량번호 인식률을 개선시킬 수 있으며, 최적인식지점(L)을 기 설정된 주기(T) 마다 재설정되도록 구성됨으로써 조도, 시간, 안개 등의 주변 환경에 대응하여 최적인식지점(L)이 변경되어 차량번호 인식률을 더욱 극대화시킬 수 있는 무인 단속시스템에 관한 것이다.

Description

레이더 및 카메라를 이용한 무인 단속시스템{Automatic traffic enforcement system using radar and camera}

본 발명은 레이더 및 카메라를 이용한 무인 단속시스템에 관한 것으로서, 상세하게로는 레이더 및 카메라를 이용하여 상호 단점을 보완하여 차량객체 및 단속차량을 정확하게 검출함과 동시에 단속차량 검출 시, 단속차량에 대한 영상의 차량번호판 인식률을 개선시킬 수 있는 레이더 및 카메라를 이용한 무인 단속시스템에 관한 것이다.

자동차 산업이 발달하고 도로 인프라가 확장됨에 따라 차량수가 기하급수적으로 증가하였고, 이에 따라 레이저, 레이더, 루프검지기 등의 감지수단을 이용하여 도로를 주행하는 차량 트래킹 정보를 수집한 후, 차량밀도, 정체율, 차량속도, 위반차량 등의 교통정보를 생성하여 생성된 교통정보를 종합적으로 관리 및 모니터링 하기 위한 지능형 교통시스템(ITS, Intelligent Transportation System)이 널리 사용되고 있다.

종래의 차량을 감지하는 방식으로는, 루프검지기, 지자기센서, 레이저센서, 레이더센서 및 카메라 등의 다양한 방식이 있다.

이때 루프검지기 및 지자기센서는 노면에 매립되게 설치되기 때문에 설치 및 유지보수가 번거로우며, 설치된 위치의 통과차량만을 감지함에 따라 차량 트래킹이 불가능한 단점을 갖는다.

또한 레이저센서는 설치 및 유지보수는 간단하나, 특정 위치의 통과차량만을 감지할 수 있어 차량을 트래킹 할 수 없을 뿐만 아니라 다른 차량에 의한 간섭이 빈번하게 발생하는 단점을 갖는다.

또한 레이더신호 및 카메라는 특정 위치의 차량만을 감지하는 것이 아니라 기 설정된 구간 내 차량의 궤적을 지속적으로 트래킹 할 수 있는 장점으로 인해 그 수요도가 점차 급증하고 있다.

레이더신호를 이용하는 방식은 기 설정된 감지영역으로 송신된 레이더신호의 반사 신호를 수집한 후 수집된 반사 신호를 분석하여 차량정보를 수집하는 방식으로서, 차량위치 및 속도에 대한 검출의 정확도가 우수할 뿐만 아니라 외부 환경에 영향을 적게 받으며, 종 방향에 대한 객체 검출이 뛰어난 장점을 가지나, 횡 방향에 대한 위치 및 속도 검출과, 객체에 대한 분류 및 정보 검출의 정확도가 떨어지는 단점을 가진다.

카메라를 이용하는 방식은 카메라의 촬영에 의해 획득된 영상정보를 분석하여 차량정보를 수집하기 위한 장치로서, 객체 분류가 우수함과 동시에 객체 분류 및 정보 검출의 정확도가 우수하며, 횡 방향에 대한 위치 및 속도검출이 우수한 장점을 가지나, 외부 환경에 영향을 쉽게 받으며, 거리 및 속도에 대한 검출 정확도가 레이더신호에 비교하여 상대적으로 떨어지는 단점을 갖는다.

이에 따라 카메라 및 레이더기를 일체형으로 제작하여 영상정보 및 레이더신호를 분석하여 차량정보를 검출하도록 하는 단속시스템에 대한 다양한 연구가 이루어지고 있다.

도 1은 국내등록특허 제10-1343975호(발명의 명칭 : 돌발검지 시스템)에 개시된 돌발검지 시스템을 나타내는 구성도이다.

도 1의 돌발검지 시스템(이하 종래기술이라고 함)은 다기능 촬영장치(103)와, 컨트롤러(107), 관제센터(109)로 이루어진다.

또한 다기능 촬영장치(103)는 기 설정된 감지영역을 촬영하여 영상을 획득하는 어레이카메라(131)와, 감지영역으로 레이더신호를 송출한 후 반사신호를 수신 받는 레이더검지기(132)와, 돌발 상황 발생 시 컨트롤러(107)의 제어에 따라 돌발 상황이 발생된 영역을 집중 촬영하는 추적카메라(133)를 포함한다.

또한 다기능 촬영장치(103)는 어레이카메라(131), 레이더검지기(132) 및 추적카메라(133)에 의해 검출된 영상, 레이더정보 및 추적영상을 컨트롤러(107)로 전송한다.

컨트롤러(107)는 다기능 촬영장치(103)로부터 전송받은 영상을 분석하여 영상이 차량검출이 가능한 상태인지를 판단하며, 만약 영상의 상태가 차량검출이 가능한 상태라고 판단되면, 영상을 분석하여 차량객체를 검출하며, 만약 영상의 상태가 차량검출이 불가능한 상태라고 판단되면, 레이더신호를 분석하여 차량객체를 검출한다.

또한 컨트롤러(107)는 검출된 차량객체의 궤적을 추적하여 돌발 상황 발생여부를 판단한다.

이와 같이 종래기술(100)은 어레이카메라(131)에 의해 획득된 영상으로부터 차량객체 검출이 불가능한 경우, 레이더신호를 분석하여 차량객체를 검출할 수 있기 때문에 단속율을 높일 수 있는 장점을 갖는다.

그러나 종래기술(100)은 단순히 카메라에 의해 획득된 영상정보가 차량검출이 가능한 상태인 경우에는 영상정보만을 이용하고, 획득된 영상정보가 차량검출이 불가능한 상태인 경우에는 레이더신호를 이용하도록 구성된 것이기 때문에 레이더신호 및 영상정보를 융합하여 사용하지 못하여 단속율을 개선하는데 있어서 구조적 한계를 갖는다.

즉 종래기술(100)은 획득된 영상정보가 선명한 경우에는 영상분석을 통해서만 차량정보가 검출되기 때문에 거리 및 속도에 대한 검출 정확도가 떨어지게 되고, 획득된 영상정보가 선명하지 않은 경우에는 레이더 신호를 통해서만 차량정보가 검출되기 때문에 객체 분류 및 객체특징정보 검출의 정확도가 떨어지는 한계를 갖는다.

즉 카메라 및 레이더를 융합하여 융합된 데이터를 이용하여 차량정보를 생성하도록 함으로써 단속율을 극대화할 수 있는 단속시스템에 대한 연구가 시급한 실정이다.

다른 한편, 차량이 증가에 비례하여 속도위반, 신호위반, 급차선 변경, 불법주정차, 갓길주행, 안전거리 미확보 등의 교통법규를 위반하는 사례 또한 기하급수적으로 증가함에 따라 이들을 단속하기 위한 단속시스템에 대한 연구도 다양하게 진행되고 있다.

이러한 무인 단속시스템은 단속차량 검출 시, 차량번호판을 기반으로 하여 단속차량을 식별하여 운영되기 때문에 차량번호판 인식 기술 및 방법에 대한 다양한 연구가 진행되고 있다.

도 2는 국내등록특허 제10-1372838호(발명의 명칭 : 다기능 차량 촬영 시스템 및 방법)에 개시된 다기능 차량 촬영 시스템을 나타내는 구성도이다.

도 2의 다기능 차량 촬영 시스템(이하 제2 종래기술이라고 함)(200)은 주행차량을 감지하는 레이더 송수신부(202)와, 레이더 송수신부(202)에 의해 송수신된 레이더신호를 분석하여 단속차량을 검출하며 단속차량 검출 시 촬상부(256)를 통해 단속차량을 촬영하여 영상을 획득하는 차량촬영장치(205)와, 차량촬영장치(205)로부터 생성된 차량정보, 단속정보 및 단속차량 영상을 전송받는 교통관리서버(207)로 이루어진다.

이와 같이 구성되는 제2 종래기술(200)은 촬상부(256)에 의해 획득된 영상의 프레임들의 선명도를 비교하여 이들 중 가장 선명한 프레임을 대표프레임으로 결정한 후, 결정된 대표프레임을 활용하여 번호인식을 수행함으로써 번호 인식률을 개선시킬 수 있는 다기능 차량 촬영 시스템이 개시되어 있다.

그러나 제2 종래기술(200)은 차량 촬영장치가 영상이 획득되면, 획득된 영상의 프레임들 각각의 선명도를 산출하는 연산처리과정 및 각 프레임의 선명도를 비교하는 연산처리과정 등의 작업이 필수적으로 이루어져야하기 때문에 연산처리가 복잡한 문제점을 갖는다.

또한 제2 종래기술(200)은 차량번호판의 촬영지점을, 카메라의 초점에 대응되어 차량번호판 인식이 정확하게 이루어질 수 있는 최적인식지점(L)에 일치시키기 위한 별도의 기술 및 방법이 전혀 기재되어 있지 않기 때문에 획득된 영상의 프레임들이 최적의 초점으로 촬영되지 않아, 차량번호판 인식률이 저하되는 종래기술의 문제점을 해결하지 못하는 구조적 한계를 갖는다.

본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 모니터링 카메라 및 레이더신호를 이용하여 상호 단점을 보완하여 단속의 정확성 및 신뢰도를 높임과 동시에 단속차량 검출 시, 획득된 단속차량 영상으로부터 영상 내 단속차량의 선단부 위치 및 기 설정된 최적인식지점(L)의 위치를 비교하여 최적인식지점(L)의 위치와 가장 인접한 프레임을 번호인식이 이루어질 최종프레임으로 결정함으로써 동일 카메라 배율 및 초점 대비 차량번호 인식률을 개선시킬 수 있는 레이더 및 카메라를 이용한 무인 단속시스템을 제공하기 위한 것이다.

또한 본 발명의 다른 해결과제는 최적인식지점(L)을 기 설정된 주기(T) 마다 재설정되도록 구성됨으로써 조도, 시간, 안개 등의 주변 환경에 대응하여 최적인식지점(L)이 변경되어 차량번호 인식률을 더욱 극대화시킬 수 있는 레이더 및 카메라를 이용한 무인 단속시스템을 제공하기 위한 것이다.

상기 과제를 해결하기 위한 본 발명의 해결수단은 감지영역의 차량을 감지하는 감지수단; 단속차량이 기 설정된 번호인식영역(S)으로 진입할 때, 단속차량을 촬영하여 단속영상을 획득하는 번호인식카메라; 상기 감지수단에 의한 감지신호를 분석하여 차량객체를 검출한 후, 검출된 차량객체를 추적하여 차량위치 및 속도를 포함하는 트래킹정보 및 차량정보를 생성하며, 생성된 차량정보를 기 설정된 단속정보와 비교하여 단속차량을 검출하며, 단속차량 검출 시, 단속차량이 상기 번호인식영역(S)으로 진입할 때 상기 번호인식카메라로 트리거신호를 전송하는 컨트롤러를 포함하고, 상기 컨트롤러는 단속차량 검출 시 구동되는 번호인식카메라 제어부와, 프레임 분석부를 더 포함하고, 상기 번호인식카메라 제어부는 트래킹 정보를 분석한 후, 단속차량이 상기 번호인식영역(S)으로 진입하는지를 비교 및 탐색하는 위치탐색모듈; 상기 위치탐색모듈에 의해 단속차량이 상기 번호인식영역(S)으로 진입할 때, 기 설정된 미세주기(T’)의 간격으로 기 설정된 설정횟수 만큼 촬영이 이루어지는 트리거신호를 생성한 후 상기 번호인식카메라로 출력하는 트리거신호 생성모듈을 포함하고, 상기 번호인식카메라는 상기 트리거신호 생성모듈로부터 입력된 트리거신호에 따라 미세주기(T’)의 간격으로 설정횟수 만큼 촬영을 수행하여 복수개의 이미지프레임들을 획득하고, 상기 프레임 분석부는 상기 번호인식카메라의 촬영에 의해 획득된 이미지프레임들을 입력받으며, 입력된 이미지프레임들 각각으로부터 차량객체를 검출하는 차량객체 검출모듈; 상기 차량객체 검출모듈에 의해 검출된 각 이미지프레임의 차량객체의 선단부의 위치를 검출하며, 검출된 각 이미지프레임의 차량객체의 선단부 위치 및 최적인식지점(L)의 위치를 비교하는 비교모듈; 상기 비교모듈에 의해 최적인식지점(L)으로부터 가장 근접한 차량객체의 선단부 위치를 갖는 이미지프레임을 최종프레임으로 결정하는 최종프레임 결정모듈; 상기 최종프레임 결정모듈에 의해 결정된 최종프레임을 분석하여 단속차량 상세정보를 검출하는 단속차량 상세정보 검출모듈을 포함하고, 상기 컨트롤러는 기 설정된 주기(T) 마다 최적인식지점(L)을 재설정하는 최적인식지점 설정부를 더 포함하고, 상기 최적인식지점 설정부는 상기 주기(T) 동안 획득된 최종프레임들을 추출한 후, 추출된 최종프레임들 각각의 차량번호판 위치들을, 영상픽셀을 높이 방향으로 분할한 픽셀영역인 기 설정된 비교샘플영역들 각각의 위치정보와 비교하는 차량번호판 위치 비교 및 탐색모듈; 상기 차량번호판 위치 비교 및 탐색모듈에 의해 각 비교샘플영역의 위치에 포함되는 선단부 위치를 갖는 최종프레임들을 각 비교샘플영역 당 기 설정된 수량만큼 추출하는 샘플 최종프레임 판별모듈; 상기 샘플 최종프레임 판별모듈에 의해 검출된 샘플 최종프레임들의 차량번호판의 선명도들을 검출하는 차량번호판 선명도 검출모듈; 상기 차량번호판 선명도 검출모듈에 의해 검출된 비교샘플영역별로 차량번호판들의 선명도들의 평균값을 산출한 후, 각 비교샘플영역의 선명도 평균값들을 비교하는 선명도 비교모듈; 상기 선명도 비교모듈에 의해 선명도 평균값이 가장 높은 비교샘플영역을 최적인식지점(L)이 포함될 비교샘플영역으로 결정하며, 결정된 비교샘플영역의 위치에 포함되도록 최적인식지점(L)을 재설정하는 최적인식지점 재설정모듈을 포함하는 것이다.

삭제

또한 본 발명에서 상기 스마트 단속기는 기 설정된 촬영영역을 촬영하여 모니터링 영상을 획득하는 모니터링 카메라를 더 포함하고, 상기 컨트롤러는 상기 모니터링 카메라에 의해 획득된 모니터링 영상을 분석하여 차량객체인 영상객체를 검출하는 영상분석 및 영상객체 검출부; 상기 감지신호에 의한 감지신호를 분석하여 차량객체인 신호객체를 검출하는 신호분석 및 신호객체 검출부; 상기 영상분석 및 영상객체 검출부에 의한 영상객체들의 픽셀좌표계상의 위치값과, 상기 신호분석 및 신호객체 검출부에 의한 신호객체들의 거리좌표계상의 위치값을 기 설정된 상관값을 이용하여 매칭시킨 후, 최종차량객체를 결정하는 최종차량객체 결정부; 상기 최종차량객체 결정부에 의해 결정된 최종차량객체의 궤적을 추적하여 트래킹정보를 생성하는 트래킹부; 상기 트래킹부로부터 입력되는 트래킹정보를 분석하여 차량정보를 생성하는 차량정보 생성부를 더 포함하는 것이 바람직하다.

또한 본 발명에서 상기 단속차량 상세정보 검출모듈에 의해 검출되는 단속차량 상세정보는 단속차량의 차량번호, 차종, 색상, 파손여부, 연식 중 적어도 하나 이상을 포함하는 것이 바람직하다.

또한 본 발명에서 상기 감지수단은 레이더송수신기인 것이 바람직하다.

상기 과제와 해결수단을 갖는 본 발명에 따르면 모니터링 카메라 및 레이더신호를 이용하여 상호 단점을 보완하여 단속의 정확성 및 신뢰도를 높임과 동시에 단속차량 검출 시, 획득된 단속차량 영상으로부터 영상 내 단속차량의 선단부 위치 및 기 설정된 최적인식지점(L)의 위치를 비교하여 최적인식지점(L)의 위치와 가장 인접한 프레임을 번호인식이 이루어질 최종프레임으로 결정함으로써 동일 카메라 배율 및 초점 대비 차량번호 인식률을 개선시킬 수 있게 된다.

또한 본 발명에 의하면 최적인식지점(L)을 기 설정된 주기(T) 마다 재설정되도록 구성됨으로써 조도, 시간, 안개 등의 주변 환경에 대응하여 최적인식지점(L)이 변경되어 차량번호 인식률을 더욱 극대화시킬 수 있다.

도 1은 국내등록특허 제10-1343975호(발명의 명칭 : 돌발검지 시스템)에 개시된 돌발검지 시스템을 나타내는 구성도이다.
도 2는 국내등록특허 제10-1372838호(발명의 명칭 : 다기능 차량 촬영 시스템 및 방법)에 개시된 다기능 차량 촬영 시스템을 나타내는 구성도이다.
도 3은 본 발명의 일실시예인 무인 단속시스템을 나타내는 구성도이다.
도 4는 도 3의 컨트롤러를 나타내는 블록도이다.
도 5는 도 4의 번호인식카메라 제어부를 나타내는 블록도이다.
도 6은 도 5의 위치비교모듈을 설명하기 위한 예시도이다.
도 7은 도 5의 트리거신호 생성부를 설명하기 위한 예시도이다.
도 8은 도 4의 프레임 분석부를 나타내는 블록도이다.
도 9는 도 8의 최종프레임 결정모듈을 설명하기 위한 예시도이다.
도 10은 도 4의 최적인식지점 설정부를 나타내는 블록도이다.
도 11은 도 10에 적용되는 샘플비교영역들을 설명하기 위한 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.

도 3은 본 발명의 일실시예인 무인 단속시스템을 나타내는 구성도이다.

본 발명의 일실시예인 무인 단속시스템(1)은 도 3에 도시된 바와 같이, 도로에 이격되게 설치되어 차량을 감지하여 차량정보를 생성함과 동시에 단속차량을 검출하여 단속차량의 번호를 인식하는 스마트 단속기(3-1), ..., (3-N)들과, 스마트 단속기(3-1), .., (3-N)들로부터 차량정보 및 단속정보를 전송받아 저장 및 모니터링 하는 교통관제서버(5)와, 교통관제서버(5) 및 스마트 단속기(3-1), ..., (3-N)들 사이의 데이터 이동경로를 제공하는 통신망(10)으로 이루어진다.

통신망(10)은 교통관제서버(5) 및 스마트 단속기(3-1), ..., (3-N)들 사이의 데이터 통신을 지원하는 망으로서, 광역통신망(WAN), 유무선 네트워크(Network)망, 이동통신망, LTE 등으로 구성될 수 있다.

교통관제서버(5)는 스마트 단속기(3-1), ..., (3-N)들로부터 전송받은 차량정보 및 모니터링 영상을 전송받아 이를 저장 및 모니터링 하며, 전송받은 차량정보를 가공 및 활용하여 교통정보를 생성한 후, 이를 요청하는 클라이언트에게 생성된 교통정보를 제공한다.

또한 교통관제서버(5)는 스마트 단속기(3-1), ..., (3-N)들로부터 단속정보 및 단속차량 영상을 전송받으면, 전송받은 단속정보 및 단속차량 영상을 저장함과 동시에 단속차량에 대한 과태료 청구 등의 후속절차를 진행한다.

이러한 교통관제서버(5)의 교통정보 생성, 단속차량 후속절차 등은 ITS에서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.

스마트 단속기(3)는 기 설정된 촬영영역을 촬영하여 모니터링 영상을 획득하는 모니터링 카메라(33)와, 기 설정된 감지영역으로 레이더신호를 송신한 후 반사되는 신호를 수신 받는 레이더송수신기(35)와, 후술되는 컨트롤러(31)에 의해 단속차량이 검출될 때, 단속차량이 기 설정된 번호인식영역에 진입할 때 촬영을 수행하여 단속차량 영상을 획득하는 번호인식카메라(37)와, 모니터링 카메라(33), 레이더송수신기(35) 및 번호인식카메라(37)를 관리 및 제어하는 컨트롤러(31)로 이루어진다.

모니터링 카메라(33)는 번호인식카메라(37)와 비교하여 넓은 영역(촬영영역)을 촬영하도록 설치되어 영상에 다수의 차량들이 촬영될 수 있도록 설치된다.

또한 모니터링 카메라(33)는 촬영영역을 촬영하여 획득된 영상(모니터링 영상)을 실시간 컨트롤러(31)로 입력한다. 이때 컨트롤러(31)는 모니터링 카메라(33)의 촬영에 의해 획득된 영상을 통신망(10)을 통해 교통관제서버(5)로 전송한다.

레이더송수신기(35)는 기 설정된 감지영역으로 레이더신호를 송출하는 레이더 송출부(미도시)와, 레이더 송출부에 의해 송출되어 반사되는 신호를 수신 받는 레이더 수신부(미도시)로 이루어진다.

또한 레이더송수신기(35)는 송수신된 레이더신호 정보를 컨트롤러(31)로 입력한다.

번호인식카메라(37)는 겐트리 등의 구조물에 설치되어 단속차량이 번호인식영역에 진입할 때, 촬영을 수행하여 단속차량에 대한 영상(단속차량 영상)을 획득하며, 획득된 단속차량 영상을 컨트롤러(31)로 입력한다. 이때 컨트롤러(31)는 번호인식카메라(37)로부터 입력된 단속차량 영상을 분석하여 단속차량의 차량번호를 인식한다.

컨트롤러(31)는 모니터링 카메라(33), 레이더송수신기(35) 및 번호인식카메라(37)를 관리 및 제어한다.

또한 컨트롤러(31)는 모니터링 카메라(33)로부터 입력된 모니터링 영상을 통신망(10)을 통해 실시간으로 교통관제서버(5)로 전송된다. 이때 교통관제서버(5)는 컨트롤러(31)로부터 전송받은 모니터링 영상을 복수개의 모니터로 출력하여 교통상황을 모니터링 한다.

또한 컨트롤러(31)는 모니터링 카메라(33)로부터 입력된 모니터링 영상을 분석하여 촬영영역 내 차량객체(이하 영상객체라고 함)들을 검출함과 동시에 레이더송수신기(35)로부터 입력된 레이더신호를 분석하여 감지영역 내 차량객체(이하 신호객체라고 함)들을 검출하며, 검출된 영상객체 및 신호객체들의 위치값을 이용하여 차량객체(이하 최종차량객체라고 함)를 결정한다.

이때 영상객체 및 신호객체의 위치값은 픽셀좌표계 및 거리좌표계의 상관값을 이용하여 서로 매칭시킬 수 있고, 이러한 상관값을 이용한 캘리브레이션 과정은 픽셀좌표 및 거리좌표 매칭에 있어서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.

또한 컨트롤러(31)는 최종차량객체가 결정되면, 최종차량객체의 궤적을 추적하여 트래킹 정보를 검출하며, 검출된 트래킹 정보를 통해 차량위치, 차량속도, 차선위치 등을 포함하는 차량정보를 생성한다. 이때 컨트롤러(31)는 생성된 차량정보를 교통관제서버(5)로 전송한다.

또한 컨트롤러(31)는 생성된 차량정보를 기 설정된 단속정보와 비교하여 차량정보가 단속정보에 포함될 때, 해당 최종차량객체를 단속차량으로 판단한다.

또한 컨트롤러(31)는 단속차량 검출 시, 단속차량의 궤적을 추적하여 단속차량이 번호인식영역으로 진입할 때, 번호인식카메라(37)로 트리거신호를 출력하여 번호인식카메라(37)에 의해 단속차량 영상이 획득되도록 한다.

또한 컨트롤러(31)는 번호인식카메라(37)에 의해 획득된 단속차량 영상을 분석하여 단속차량의 차량번호를 인식하며, 인식된 차량번호, 단속내용 등을 포함하는 단속정보를 생성한다.

이때 컨트롤러(31)는 생성된 단속정보 및 단속차량 영상을 교통관제서버(5)로 전송한다.

도 4는 도 3의 컨트롤러를 나타내는 블록도이다.

컨트롤러(31)는 도 4에 도시된 바와 같이, 제어부(310)와, 메모리(311), 데이터 송수신부(312), 학습부(313), 영상분석 및 영상객체 검출부(314), 신호분석 및 신호객체 검출부(315), 최종차량객체 결정부(316), 트래킹부(317), 차량정보 생성부(318), 단속차량 검출부(319), 번호인식카메라 제어부(320), 프레임 분석부(321), 최적인식지점 설정부(322), 단속정보 생성부(323)로 이루어진다.

제어부(310)는 컨트롤러(31)의 O.S(Operating System)이며, 제어대상(311), (312), (313), (314), (315), (316), (317), (318), (319), (320), (321), (322), (323)들을 관리 및 제어한다.

또한 제어부(310)는 모니터링 카메라(33)의 촬영에 의해 획득된 모니터링 영상을 영상분석 및 영상객체 검출부(314)로 입력한다.

또한 제어부(310)는 레이더송수신기(35)로부터 송수신된 레이더신호 정보를 신호분석 및 신호객체 검출부(315)로 입력한다.

또한 제어부(310)는 영상분석 및 영상객체 검출부(314)에 의해 검출된 영상객체들의 정보와, 신호분석 및 신호객체 검출부(315)에 의해 검출된 신호객체들의 정보를 최종차량객체 결정부(316)로 입력한다.

또한 제어부(310)는 최종차량객체 결정부(316)에 의해 결정된 최종차량객체를 트래킹부(317) 및 차량정보 생성부(318)로 입력한다.

또한 제어부(310)는 차량정보 생성부(318)에 의해 생성된 차량정보를 단속차량 검출부(319)로 입력한다.

또한 제어부(310)는 단속차량 검출부(319)에 의해 단속차량이 검출되면, 검출된 단속차량의 트래킹 정보를 번호인식카메라 제어부(320)로 입력한다.

또한 제어부(310)는 단속차량 검출부(319)에 의해 단속차량의 차량번호가 인식되면, 인식된 차량번호 정보를 단속정보 생성부(323)로 입력한다.

또한 제어부(310)는 모니터링 영상 및 차량정보가 교통관제서버(5)로 전송되도록 데이터 송수신부(312)를 제어한다.

또한 제어부(310)는 단속차량 영상및 단속정보가 교통관제서버(5)로 전송되도록 데이터 송수신부(312)를 제어한다.

또한 제어부(310)는 최적인식지점(L) 설정부를 기 설정된 주기 마다 동작시켜 최적인식지점 설정부에 의해 최적인식지점(L)이 재설정되도록 한다.

메모리(311)에는 모니터링 카메라(33)에 의해 획득된 영상과, 번호인식카메라(37)에 의해 획득된 단속차량 영상과, 차량정보 생성부(318)에 의해 생성된 차량정보와, 트래킹부(317)에 의해 검출된 트래킹 정보와, 단속정보 생성부(323)에 의해 생성된 단속정보가 임시 저장된다.

또한 메모리(311)에는 촬영영역의 위치정보와, 감지영역의 위치정보, 번호인식영역의 위치정보, 최적인식지점(L)의 위치정보가 기 설정되어 저장된다.

데이터 송수신부(312)는 교통관제서버(5)와 데이터를 송수신한다.

학습부(313)는 신경망 기법을 이용하여 프레임 분석부(321)에 활용되는 영상분석 알고리즘을 학습한다. 이때 영상분석 알고리즘은 머신러닝 알고리즘으로서, 차량영상을 입력값으로 하였을 때, 차종, 연식, 색상, 파손여부, 차량번호를 포함하는 위반차량 상세정보를 출력하는 알고리즘으로 정의된다.

영상분석 및 영상객체 검출부(314)는 모니터링 카메라(33)에 의해 획득된 모니터링 영상을 분석하여 영상으로부터 차량개체인 영상객체들을 검출한다.

이때 영상분석 및 영상객체 검출부(314)에 의해 검출된 영상객체들의 정보는 최종차량객체 결정부(316)로 입력된다.

신호분석 및 신호객체 검출부(315)는 레이더송수신기(35)에 의해 송수신된 레이더신호를 분석하여 레이더신호에 의해 검출된 차량객체인 신호객체들을 검출한다.

이때 신호분석 및 신호객체 검출부(315)에 의해 검출된 신호객체들의 정보는 최종차량객체 결정부(316)로 입력된다.

최종차량객체 결정부(316)는 입력된 영상객체들의 픽셀좌표계상의 위치값과, 입력된 신호객체들의 거리좌표계상의 위치값을 기 설정된 상관값을 이용하여 매칭시킨 후, 최종차량객체를 결정한다.

트래킹부(317)는 최종차량객체 결정부(316)에 의해 결정된 최종차량객체의 궤적을 추적하여 트래킹정보를 생성한다.

차량정보 생성부(318)는 트래킹부(317)로부터 입력되는 트래킹정보를 분석하여 차량정보를 생성한다. 이때 차량정보는 위치, 속도, 차선, 궤적 등을 포함한다.

단속차량 검출부(319)는 차량정보 생성부(318)에 의해 생성된 차량정보와, 기 설정된 단속정보를 비교하여 해당 감지차량이 단속차량인지를 결정한다.

이때 제어부(310)는 만약 단속차량 검출부(319)에 의해 단속차량이 검출되면, 번호인식카메라 제어부(320)로 단속차량의 트래킹정보를 입력한다.

도 5는 도 4의 번호인식카메라 제어부를 나타내는 블록도이고, 도 6은 도 5의 위치비교모듈을 설명하기 위한 예시도이고, 도 7은 도 5의 트리거신호 생성부를 설명하기 위한 예시도이다.

번호인식카메라 제어부(320)는 도 5에 도시된 바와 같이, 입력된 단속차량의 트래킹 정보를 분석하는 트래킹정보 분석모듈(3201)과, 트래킹정보 분석모듈(3201)에 의해 검출된 분석데이터를 활용하여 해당 단속차량이 기 설정된 번호인식영역으로 진입하는지를 탐색하는 위치탐색모듈(3202)과, 위치탐색모듈(3202)에 의해 단속차량이 번호인식영역으로 진입할 때, 번호인식카메라(37)를 구동(촬영)시키기 위한 트리거신호(Trigger signal)를 생성하는 트리거신호 생성모듈(3203)로 이루어진다.

트래킹정보 분석모듈(3201)은 단속차량의 트래킹정보를 분석한다.

위치탐색모듈(3202)은 트래킹정보 분석모듈(3201)에 의해 검출된 분석데이터를 활용하여 단속차량의 위치정보와, 기 설정된 번호인식영역의 위치정보를 비교하여 단속차량이 번호인식영역으로 진입하는지를 탐색한다.

또한 위치탐색모듈(3202)은 단속차량이 번호인식영역으로 진입할 때, 트리거신호 생성모듈(3203)로 제어신호를 입력한다.

트리거신호 생성모듈(3203)은 위치탐색모듈(3202)에 의해 단속차량이 번호인식영역으로 진입될 때 구동되며, 번호인식카메라(37)를 동작(촬영)시키기 위한 트리거신호(Trigger signal)를 생성한다.

이때 트리거신호 생성모듈(3203)은 기 설정된 미세주기(T’)의 간격으로 기 설정된 설정횟수 만큼 트리거신호를 생성한다.

이때 제어부(310)는 트리거신호 생성모듈(3203)에 의해 트리거신호가 생성되면, 생성된 트리거신호를 번호인식카메라(37)로 입력한다.

즉 번호인식카메라(37)는 단속차량이 번호인식영역(S)으로 진입할 때, 기 설정된 미세주기(T’)의 간격으로 기 설정된 설정횟수 만큼 촬영을 수행하게 된다.

예를 들어 도 6에 도시된 바와 같이, 일반적으로 번호인식카메라(37)는 기 설정된 번호인식영역(S)을 촬영하도록 설치된다. 이때 번호인식카메라(37)의 초점은 최적인식지점(L)을 향하도록 설정됨에 따라 단속차량(C)의 차량번호판(CN)의 픽셀내위치가 최적인식지점(L)의 픽셀내위치와 인접할수록 차량번호판 인식이 정확하게 이루어질 수 있게 된다. 즉 번호인식영역(S)으로 단속차량이 진입할 때, 번호인식카메라(37)는 기 설정된 미세주기(T’)의 간격으로 기 설정된 설정횟수 만큼 촬영을 수행할 수 있게 되고, 이에 따라 프레임 분석부(321)에 의해 차량번호판 영상이 가장 선명하게 획득되는 구간인 기 설정된 최적인식지점(L)과 차량(C)의 차량번호판(CN)이 가장 인접한 위치의 프레임을 검출할 수 있게 된다.

이때 만약 트리거신호 생성모듈(3203)이 단일 트리거신호를 생성하게 되면, 도 7에 도시된 바와 같이, 정확한 차량번호판(CN)을 추출하지 못하는 현상이 비일비재하게 발생하게 된다.

그 이유로는, 1)빠른 속도로 이동하는 차량의 특성과, 2)분해능에 따라 자체적으로 오차범위를 갖는 레이더신호의 특성과, 3)스마트 단속기(3)가 일반적으로 상부 구조물, 특히 지주에 설치되는데, 이러한 경우 외부 바람 및 진동 등으로 인해 위치비교의 오차율이 증가하는 특성을 갖기 때문이다.

예를 들어, 도 7에 도시된 바와 같이, 번호인식카메라(37)가 단일 트리거신호를 생성하는 경우, 전술하였던 3가지의 이유로 인해 단속차량(C)이 번호인식영역으로는 진입하였으나, 단속차량(C)이 최적인식지점(L)을 도달하기 이전에 촬영이 이루어지거나, 단속차량(C)이 최적인식지점(L)을 통과한 이후에 촬영된 영상(700)이 획득되는 문제점이 발생하게 된다.

즉 본 발명은 이러한 문제점을 해결하기 위하여, 트리거신호 생성모듈(3203)에서 기 설정된 미세주기(T’)의 간격으로 설정회수 만큼 촬영을 수행하는 트리거신호가 생성되도록 구성됨으로써 번호인식카메라(37)에 의해 설정회수 만큼의 이미지 프레임들을 획득할 수 있게 된다.

도 8은 도 4의 프레임 분석부를 나타내는 블록도이고, 도 9는 도 8의 최종프레임 결정모듈을 설명하기 위한 예시도이다.

프레임 분석부(321)는 도 8에 도시된 바와 같이, 차량객체 검출모듈(3211)과, 비교모듈(3212), 최종프레임 결정모듈(3213), 단속차량 상세정보 검출모듈(3214)로 이루어진다.

차량객체 검출모듈(3211)은 번호인식카메라 제어부(320)의 제어에 따라 번호인식카메라(37)에 의해 획득된 이미지프레임들을 입력받으면, 입력된 이미지프레임들 각각으로부터 차량객체(C)를 검출한다.

이때 이미지프레임들은 전술하였던 바와 같이, 번호인식카메라(37)의 촬영에 의해 획득되되, 미세주기(T’)의 간격으로 설정횟수만큼 촬영되어 획득된 프레임들이다.

또한 차량객체 검출모듈(3211)에서, 이미지로부터 차량객체를 검출하는 기술 및 알고리즘은 영상분석시스템에서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.

비교모듈(3212)은 차량객체 검출모듈(3211)에 의해 검출된 각 이미지프레임의 차량객체의 선단부의 위치를 검출한다.

또한 비교모듈(3212)은 검출된 각 이미지프레임의 차량객체의 선단부 위치와, 기 설정된 번호인식영역(S)의 최적인식지점(L)의 위치를 비교한다.

최종프레임 결정모듈(3213)은 비교모듈(3212)에 의해 최적인식지점(L)으로부터 가장 근접한 차량객체의 선단부 위치를 갖는 이미지프레임을 최종프레임으로 결정한다.

예를 들어 도 9에 도시된 바와 같이, 최종프레임 결정모듈(3213)로 입력된 이미지프레임들이 (a), (b), (c), (d)의 4개라고 가정할 경우, 최종프레임 결정모듈(3213)은 단속차량(C)의 선단부가 최적인식지점(L)과 가장 인접한 (c)의 이미지프레임을 최종프레임으로 결정한다.

단속차량 상세정보 검출모듈(3214)은 최종프레임 결정모듈(3213)에 의해 결정된 최종프레임을 입력받는다.

또한 단속차량 상세정보 검출모듈(3214)은 학습부(313)에 의해 학습된 딥러닝 기반 영상 객체 알고리즘을 이용하여 번호인식카메라(37)에 의해 획득된 최종프레임을 분석하여 차종, 연식, 색상, 파손여부, 차량번호를 포함하는 위반차량 상세정보를 검출한다.

도 10은 도 4의 최적인식지점 설정부를 나타내는 블록도이고, 도 11은 도 10에 적용되는 샘플비교영역들을 설명하기 위한 예시도이다.

최적인식지정 설정부(322)는 기 설정된 주기(T) 마다 제어부(310)의 제어에 따라 동작하여 주변 환경에 대응하여 최적인식지점(L)의 위치를 죄적으로 재설정한다.

일반적으로 번호인식영역(S) 내 번호인식이 최적으로 이루어지는 픽셀영역은 동일카메라 배율 및 초점 대비 조도, 시간, 안개 등의 주변 환경에 따라 변하는 특성을 갖게 된다.

예를 들어 번호인식영역(S)에 대한 이미지(700)는 주변 환경에 따라, 선명도가 높은 픽셀영역이 다르게 형성될 수 있다.

본원 발명은 이러한 특성을 감안하여 최적인식지점 설정부(322)를 통해 기 설정된 주기(T) 마다 최적인식지점(L)을 재설정하도록 구성됨으로써 주변 환경에 대응하여 가장 선명한 차량번호판을 검출할 수 있게 된다.

최적인식지점 설정부(322)는 도 10에 도시된 바와 같이, 차량번호판 위치 비교 및 탐색모듈(3221)과, 샘플 최적프레임 판별모듈(3222) 차량번호판 선명도 검출모듈(3223), 선명도 비교모듈(3224), 최적인식지점 재설정모듈(3225)로 이루어진다.

차량번호판 위치 비교 및 탐색모듈(3221)은 기 설정된 주기(T) 동안 획득된 최종프레임들을 메모리(311)로부터 추출한 후, 추출된 최종프레임들 각각의 차량번호판 위치(단속차량 선단부 위치)들을 기 설정된 도 11의 비교샘플영역(S1), (S2), (S3), (S4)들과 비교한다. 이때 본 발명에서는 설명의 편의를 위해 영상(700) 내 비교샘플영역이 4개로 설정되는 것으로 예를 들어 설명하였으나, 비교샘플영역은 2개, 3개 또는 5개 이상으로 설정될 수 있음은 당연하다.

또한 비교샘플영역은 영상 내 폭 방향으로 장방향으로 형성됨과 동시에 높이 방향으로 단방향으로 형성되는 픽셀영역이며, 영상을 높이 방향으로 분할하도록 형성된다.

샘플 최적프레임 판별모듈(3222)은 차량번호판 위치 비교 및 탐색모듈(3221)에 의해 각 비교샘플영역(S1~S4)의 위치에 포함되는 선단부 위치를 갖는 최종프레임들을 각 비교샘플영역 당 기 설정된 수량만큼 추출한다.

즉 샘플 최적프레임 판별모듈(3222)은 각 비교샘플영역 당 N개의 최종프레임들을 추출하고, 이때 추출된 최종프레임들을 샘플 최종프레임들이라고 한다.

차량번호판 선명도 검출모듈(3223)은 샘플 최종프레임 판별모듈(3222)에 의해 검출된 샘플 최종프레임들의 차량번호판의 선명도를 검출한다. 이때 영상객체로부터 선명도를 검출하는 기술 및 방법은 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다.

선명도 비교모듈(3224)은 차량번호판 선명도 검출모듈(3223)에 의해 검출된 비교샘플영역별로 차량번호판 선명도들의 평균값을 산출한 후, 각 비교샘플영역별 선명도 평균값들을 비교한다.

최적인식지점 재설정모듈(3225)은 선명도 비교모듈(3224)에 의해 비교샘플영역별 선명도 평균값이 가장 높은 비교샘플영역을 최적인식지점이 포함될 비교샘플영역으로 결정하며, 결정된 비교샘플영역의 위치에 포함되도록 최적인식지점(L)을 재설정한다.

다시 도 4로 돌아가서 단속정보 생성부(323)를 살펴보면, 단속정보 생성부(323)는 단속차량 상세정보 검출모듈(3214)에 의해 검출된 단속차량 상세정보를 포함하는 단속정보를 생성한다.

이때 단속정보 생성부(323)에 의해 생성된 단속정보는 제어부(310)의 제어에 따라 교통관제서버(5)로 전송된다.

이와 같이 본 발명의 일실시예인 무인 단속시스템(1)은 모니터링 카메라 및 레이더신호를 이용하여 상호 단점을 보완하여 단속의 정확성 및 신뢰도를 높임과 동시에 단속차량 검출 시, 획득된 단속차량 영상으로부터 영상 내 단속차량의 선단부 위치 및 기 설정된 최적인식지점(L)의 위치를 비교하여 최적인식지점(L)의 위치와 가장 인접한 프레임을 번호인식이 이루어질 최종프레임으로 결정함으로써 동일 카메라 배율 및 초점 대비 차량번호 인식률을 개선시킬 수 있게 된다.

또한 본 발명의 무인 단속시스템(1)은 최적인식지점(L)을 기 설정된 주기(T) 마다 재설정되도록 구성됨으로써 조도, 시간, 안개 등의 주변 환경에 대응하여 최적인식지점(L)이 변경되어 차량번호 인식률을 더욱 극대화시킬 수 있다.

1:무인 단속시스템 3-1, ..., 3-N:스마트 단속기
5:교통관제서버 10:통신망 31:컨트롤러
33:모니터링 카메라 35:레이더송수신기 37:번호인식카메라
310:제어부 311:메모리 312:데이터 송수신부
314:영상분석 및 영상객체 검출부
315:신호분석 및 신호객체 검출부 316:최종차량객체 결정부
317:트래킹부 318:차량정보 생성부 319:단속차량 검출부
320:번호인식카메라 제어부 321:프레임 분석부
322:최적인식지점 설정부 323:단속정보 생성부

Claims (5)

1. 감지영역의 차량을 감지하는 감지수단;
   단속차량이 기 설정된 번호인식영역(S)으로 진입할 때, 단속차량을 촬영하여 단속영상을 획득하는 번호인식카메라;
   상기 감지수단에 의한 감지신호를 분석하여 차량객체를 검출한 후, 검출된 차량객체를 추적하여 차량위치 및 속도를 포함하는 트래킹정보 및 차량정보를 생성하며, 생성된 차량정보를 기 설정된 단속정보와 비교하여 단속차량을 검출하며, 단속차량 검출 시, 단속차량이 상기 번호인식영역(S)으로 진입할 때 상기 번호인식카메라로 트리거신호를 전송하는 컨트롤러를 포함하고,
   상기 컨트롤러는 단속차량 검출 시 구동되는 번호인식카메라 제어부와, 프레임 분석부를 더 포함하고,
   상기 번호인식카메라 제어부는
   트래킹 정보를 분석한 후, 단속차량이 상기 번호인식영역(S)으로 진입하는지를 비교 및 탐색하는 위치탐색모듈;
   상기 위치탐색모듈에 의해 단속차량이 상기 번호인식영역(S)으로 진입할 때, 기 설정된 미세주기(T’)의 간격으로 기 설정된 설정횟수 만큼 촬영이 이루어지는 트리거신호를 생성한 후 상기 번호인식카메라로 출력하는 트리거신호 생성모듈을 포함하고,
   상기 번호인식카메라는 상기 트리거신호 생성모듈로부터 입력된 트리거신호에 따라 미세주기(T’)의 간격으로 설정횟수 만큼 촬영을 수행하여 복수개의 이미지프레임들을 획득하고,
   상기 프레임 분석부는
   상기 번호인식카메라의 촬영에 의해 획득된 이미지프레임들을 입력받으며, 입력된 이미지프레임들 각각으로부터 차량객체를 검출하는 차량객체 검출모듈;
   상기 차량객체 검출모듈에 의해 검출된 각 이미지프레임의 차량객체의 선단부의 위치를 검출하며, 검출된 각 이미지프레임의 차량객체의 선단부 위치 및 최적인식지점(L)의 위치를 비교하는 비교모듈;
   상기 비교모듈에 의해 최적인식지점(L)으로부터 가장 근접한 차량객체의 선단부 위치를 갖는 이미지프레임을 최종프레임으로 결정하는 최종프레임 결정모듈;
   상기 최종프레임 결정모듈에 의해 결정된 최종프레임을 분석하여 단속차량 상세정보를 검출하는 단속차량 상세정보 검출모듈을 포함하고,
   상기 컨트롤러는 기 설정된 주기(T) 마다 최적인식지점(L)을 재설정하는 최적인식지점 설정부를 더 포함하고,
   상기 최적인식지점 설정부는
   상기 주기(T) 동안 획득된 최종프레임들을 추출한 후, 추출된 최종프레임들 각각의 차량번호판 위치들을, 영상픽셀을 높이 방향으로 분할한 픽셀영역인 기 설정된 비교샘플영역들 각각의 위치정보와 비교하는 차량번호판 위치 비교 및 탐색모듈;
   상기 차량번호판 위치 비교 및 탐색모듈에 의해 각 비교샘플영역의 위치에 포함되는 선단부 위치를 갖는 최종프레임들을 각 비교샘플영역 당 기 설정된 수량만큼 추출하는 샘플 최종프레임 판별모듈;
   상기 샘플 최종프레임 판별모듈에 의해 검출된 샘플 최종프레임들의 차량번호판의 선명도들을 검출하는 차량번호판 선명도 검출모듈;
   상기 차량번호판 선명도 검출모듈에 의해 검출된 비교샘플영역별로 차량번호판들의 선명도들의 평균값을 산출한 후, 각 비교샘플영역의 선명도 평균값들을 비교하는 선명도 비교모듈;
   상기 선명도 비교모듈에 의해 선명도 평균값이 가장 높은 비교샘플영역을 최적인식지점(L)이 포함될 비교샘플영역으로 결정하며, 결정된 비교샘플영역의 위치에 포함되도록 최적인식지점(L)을 재설정하는 최적인식지점 재설정모듈을 포함하는 것을 특징으로 하는 스마트 단속기.
2. 삭제
3. 청구항 제1항에 있어서, 상기 스마트 단속기는 기 설정된 촬영영역을 촬영하여 모니터링 영상을 획득하는 모니터링 카메라를 더 포함하고,
   상기 컨트롤러는
   상기 모니터링 카메라에 의해 획득된 모니터링 영상을 분석하여 차량객체인 영상객체를 검출하는 영상분석 및 영상객체 검출부;
   상기 감지신호에 의한 감지신호를 분석하여 차량객체인 신호객체를 검출하는 신호분석 및 신호객체 검출부;
   상기 영상분석 및 영상객체 검출부에 의한 영상객체들의 픽셀좌표계상의 위치값과, 상기 신호분석 및 신호객체 검출부에 의한 신호객체들의 거리좌표계상의 위치값을 기 설정된 상관값을 이용하여 매칭시킨 후, 최종차량객체를 결정하는 최종차량객체 결정부;
   상기 최종차량객체 결정부에 의해 결정된 최종차량객체의 궤적을 추적하여 트래킹정보를 생성하는 트래킹부;
   상기 트래킹부로부터 입력되는 트래킹정보를 분석하여 차량정보를 생성하는 차량정보 생성부를 더 포함하는 것을 특징으로 하는 스마트 단속기.
4. 청구항 제3항에 있어서, 상기 단속차량 상세정보 검출모듈에 의해 검출되는 단속차량 상세정보는 단속차량의 차량번호, 차종, 색상, 파손여부, 연식 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 스마트 단속기.
5. 청구항 제4항에 있어서, 상기 감지수단은 레이더송수신기인 것을 특징으로 하는 스마트 단속기.

Images