KR102602318B1 - 단속영역 가변형 다차로 단속시스템 - Google Patents

단속영역 가변형 다차로 단속시스템 Download PDF

Info

Publication number
KR102602318B1
KR102602318B1 KR1020230072801A KR20230072801A KR102602318B1 KR 102602318 B1 KR102602318 B1 KR 102602318B1 KR 1020230072801 A KR1020230072801 A KR 1020230072801A KR 20230072801 A KR20230072801 A KR 20230072801A KR 102602318 B1 KR102602318 B1 KR 102602318B1
Authority
KR
South Korea
Prior art keywords
area
enforcement
radar data
ccu
speed
Prior art date
Application number
KR1020230072801A
Other languages
English (en)
Inventor
김완기
정송이
이철환
정주영
Original Assignee
(주)다올아이티에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)다올아이티에스 filed Critical (주)다올아이티에스
Priority to KR1020230072801A priority Critical patent/KR102602318B1/ko
Application granted granted Critical
Publication of KR102602318B1 publication Critical patent/KR102602318B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G01S13/92—Radar or analogous systems specially adapted for specific applications for traffic control for velocity measurement
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 단속영역 가변형 다차로 단속시스템으로서, 레이더는 도로상의 모든 복수의 차선을 포함하는 넓은 영역에 대한 레이더데이터를 생성하고, 영상이미지카메라는 팬, 틸트, 및 줌을 가변하면서 단속대상차선에 해당하는 국소영역을 촬영하여 영상이미지를 생성하고, 레이더 및 영상이미지카메라에 의하여 생성되는 데이터에 기초하여 단속영역을 가변하면서 검지선을 지나는 객체에 대한 차량번호 및 속도를 검출할 수 있는, 단속영역 가변형 다차로 단속시스템에 관한 것이다.

Description

단속영역 가변형 다차로 단속시스템{Multi-lane decting system that changes the detecting area}
본 발명은 단속영역 가변형 다차로 단속시스템으로서, 레이더는 도로상의 모든 복수의 차선을 포함하는 넓은 영역에 대한 레이더데이터를 생성하고, 영상이미지카메라는 팬, 틸트, 및 줌을 가변하면서 단속대상차선에 해당하는 국소영역을 촬영하여 영상이미지를 생성하고, 레이더 및 영상이미지카메라에 의하여 생성되는 데이터에 기초하여 단속영역을 가변하면서 검지선을 지나는 객체에 대한 차량번호 및 속도를 검출할 수 있는, 단속영역 가변형 다차로 단속시스템에 관한 것이다.
현재 도로상에는 과속 주행 중인 차량을 검출하고 단속하는 과속단속장치가 다수 설치되어 있으며, 이와 같은 과속단속장치에서 적용되는 과속단속방법으로는 루프검지방식, 영상이미지 처리에 기반한 방식, 레이더 기반의 방식이 있다. 이 중 루프검지방식은 루프검지기를 도로에 매설하는 과정에서 공사비가 증대되고, 차선을 변경 중인 차량에 대해서는 정확한 검지가 이루어지지 않는 문제로 인해 점차 사장되고 있는 추세이다.
한편, 영상이미지 처리에 기반한 속도검출방식은 도로를 촬영한 영상이미지에서 차량객체를 검출하고 이를 트래킹하면서 속도를 검출하는 방식이다. 구체적으로는 해당 방식은 프레임별로 영상이미지에서 차량번호판을 검출하고 해당 차량번호판의 위치(좌표정보)를 트래킹하면서, 해당 차량의 속도를 검출하는 방식이다.
그러나 영상이미지 처리에 기반한 속도검출방식은 속도를 검출할 수 있는 차선이 한정되는 문제점을 내재하고 있다. 구체적으로 해당 방식은 영상이미지를 통해 차량번호를 식별해야 하기 때문에, 높은 해상도의 영상이미지를 취득할 필요가 있고, 이에 따라 도로상의 모든 차선이 촬영된 저해상도의 영상이미지로는 차량번호를 식별하거나 속도를 검출하기 어려운 문제점을 내재하고 있다.
따라서 종래에는 도로상의 모든 차선에 대한 속도단속을 수행하지 않고, 일부의 차선에 대해서만 속도단속을 수행하고 있으며, 이와 같은 상황을 의도적으로 악용하여 해당 차선만 피해서 주행하는 운전자들도 다수 존재하는 실정이다.
또한 이를 달리 말하자면, 도로상의 모든 차선에 대한 속도단속을 수행하기 위해서는 하나의 단속구간에 다수의 영상이미지카메라를 설치할 필요가 있는 것으로, 결과적으로 이는 시스템 구축비용과 운용비용이 추가적으로 요구됨을 의미한다.
한편 영상이미지 처리에 기반한 속도검출방식에서는 원거리에서부터 검지선 부근까지의 넓은 영역을 촬영할 필요가 있고, 넓은 영역을 촬영한 영상이미지에 대한 데이터처리를 위해 많은 양의 연산부하를 필요로 하는 단점이 있었다. 또한 차량이 최초로 식별(촬영)된 원거리의 위치에서 검지선을 통과하기 까지의 다수의 프레임에 대해서 영상분석을 수행해야 하여, 이 또한 데이터처리를 위해 많은 양의 연산부하를 필요로 하는 단점이 있었다.
정리하자면, 종래의 영상이미지 처리에 기반한 속도검출방식은 넓은 영역을 촬영하는 다수의 프레임에 대한 영상이미지(즉, 데이터 크기가 큰 다수의 영상이미지)가 속도산출을 위한 의미론적 데이터에 해당하는 것으로, 속도산출을 위해 많은 연산부하량을 필요로 하는 문제점이 있어 왔다.
한편 레이더 기반의 속도검출방식은 전자기파 신호를 도로에 조사하고, 차량에 반사되는 전자기파 신호를 수신하여 속도를 검출하는 방식으로서, 기상여건 등 외부환경에 의한 영향이 적고, 정확도가 높아 신규 설치되는 과속단속장치는 레이더 기반의 속도검출방식을 이용하는 경우가 많다.
그러나, 종래의 레이더 기반의 속도검출방식은 검지선을 지날 때의 순간속도만으로 검출된 객체의 속도를 산출하고 있으며, 이에 따라 객체가 검지선을 지나기 직전에 급가속하거나 급감속하는 비정상주행은 단속하지 못하는 문제점을 내재하고 있었다.
결과적으로, 종래의 영상이미지 처리에 기반한 속도검출방식과 레이더 기반의 속도검출방식에서의 단점을 개선하면서, 나아가 단속영역을 가변할 수 있는 진보된 방식의 속도검출방법에 대한 필요성이 대두되고 있다.
국내공개특허 KR 10-2021-0089030 A “과속 차량 검출 장치, 시스템 및 방법”
본 발명은 단속영역 가변형 다차로 단속시스템으로서, 레이더는 도로상의 모든 복수의 차선을 포함하는 넓은 영역에 대한 레이더데이터를 생성하고, 영상이미지카메라는 팬, 틸트, 및 줌을 가변하면서 단속대상차선에 해당하는 국소영역을 촬영하여 영상이미지를 생성하고, 레이더 및 영상이미지카메라에 의하여 생성되는 데이터에 기초하여 단속영역을 가변하면서 검지선을 지나는 객체에 대한 차량번호 및 속도를 검출할 수 있는, 단속영역 가변형 다차로 단속시스템을 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여, 단속영역 가변형 다차로 단속시스템으로서, 도로 위의 복수의 차선을 포함하는 영역에 레이더를 조사하여 검출된 차량의 속도를 측정하는 레이더; 기계적 동작에 의하여 팬틸트를 조작하는 회전모듈; 및 줌을 조작하는 줌렌즈;을 포함하고, 상기 회전모듈 및 줌렌즈에 의하여 팬, 틸트, 및 줌이 가변하면서, 상기 복수의 차선 중 일부의 차선에 해당하는 단속대상차선을 촬영하는 영상이미지카메라; 외부서버로부터 단속대상차선에 대한 정보를 수신하고, 상기 레이더에 의해 생성된 raw레이더데이터 및 상기 영상이미지카메라에 의해 생성된 영상이미지에 기반하여, 상기 단속대상차선을 주행하는 차량의 속도를 검출하는, CCU;을 포함하고, 상기 CCU는, 외부서버로부터 단속대상차선을 수신하고, 해당 단속대상차선에 대응하여 기저장된 팬틸트정보 및 프리셋정보를 결정하는 프리셋결정단계; 결정된 상기 팬틸트정보에 따라 상기 회전모듈의 팬틸트 및 줌렌즈의 줌을 조작하여, 상기 영상이미지카메라가 상기 단속대상차선을 포함하는 구분영역을 촬영하도록 설정하는 영상이미지카메라조작단계; 상기 레이더 및 영상이미지카메라로부터 raw레이더데이터 및 영상이미지를 수신하고, 결정된 상기 프리셋정보를 반영하면서 속도검출알고리즘을 수행하여 상기 단속대상차선을 주행하는 차량의 속도를 검출하는 연산단계;를 수행하는, 단속영역 가변형 다차로 단속시스템을 제공한다.
본 발명의 일 실시예에서는, 상기 레이더는, 도로상의 모든 복수의 차선을 포함하는 레이더조사영역에 레이더를 조사하여, 도로상의 모든 복수의 차선에서 검출되는 모든 차량의 위치, 및 속도에 대한 정보를 포함하는 raw레이더데이터를 생성하여 상기 CCU로 송신하고, 상기 CCU는, 모든 복수의 차선에 대한 raw레이더데이터 중 상기 단속대상차선에 대한 raw레이더데이터를 선별하여, 차량의 속도를 검출할 수 있다.
본 발명의 일 실시예에서는, 상기 CCU에는, 도로상의 복수의 차선을, 각각의 차선별로 혹은 인접하는 2 이상의 차선별로 영역을 구분하여, 각각의 구분영역에 대응하는 복수의 팬틸트정보가 저장되어 있고, 상기 외부서버로부터 수신한 단속대상차선에 대응하는 팬틸트정보에 따라 상기 회전모듈 및 줌렌즈를 조작하여, 상기 영상이미지카메라가 해당 단속대상차선을 포함하는 구분영역을 촬영하도록 할 수 있다.
본 발명의 일 실시예에서는, 상기 CCU에는, 검지선, 상기 raw레이더데이터 중 유효레이더데이터를 선별하는 유효영역, 및 상기 영상이미지에서 번호판영역을 식별하는 관심영역이 설정되어 있는 복수의 프리셋정보들이 각각의 구분영역에 대응하여 저장되어 있고, 상기 CCU는, 단속대상차선이 촬영된 영상이미지, 단속대상차선에 대해 선별된 raw레이더데이터, 및 단속대상차선에 대응하는 프리셋정보에 기반하여, 속도검출알고리즘을 수행하여 차량의 속도를 검출할 수 있다.
본 발명의 일 실시예에서는, 상기 연산단계는, 상기 레이더 및 영상이미지카메라로부터, 각각의 프레임별로 생성되는 raw레이더데이터 및 영상이미지를 수신하는 데이터수신단계; 모든 복수의 차선에 대한 raw레이더데이터 중 상기 단속대상차선에 대한 raw레이더데이터를 선별하는 단계; 상기 raw레이더데이터 중 기설정된 유효영역 내의 n개(n은 2 이상의 정수)의 raw레이더데이터를 유효레이더데이터로 선별하는 데이터선별단계; 검지선과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접하는 m개(m은 2 이상의 정수)의 영상이미지를 선별하고, m개의 영상이미지 각각에서 차량번호를 식별하는 차량번호식별단계; 및 상기 차량번호에 대한 일치율이 기설정된 동일객체판단기준을 만족하는 경우에, 식별된 해당 차량번호의 차량에 대하여, 상기 유효영역 내의 n개의 유효레이더데이터 각각에 내재되는 정보에 기초하여 해당 차량의 속도를 산출하는 속도산출단계;를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 데이터선별단계는, 상기 단속대상차선에 대해 선별된 raw레이더데이터 중, 해당 단속대상차선에 대응하여 설정된 유효영역 내에서 검출된 raw레이더데이터의 개수가 기설정된 개수 이상인 경우에는, 해당 유효영역 내의 raw레이더데이터를 유효레이더데이터로 결정하고, 상기 차량번호식별단계는, 복수의 프레임별로 생성되는 복수의 영상이미지 중, 상기 단속대상차선에서 검지선과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접한 m개 프레임의 영상이미지에 대해서만 차량번호를 식별하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따르면, 차량번호 식별을 위한 영상이미지의 의미론적 영역의 크기가 국소영역으로 한정되어 차량번호 식별에 수반되는 연산부하를 경감할 수 있다.
본 발명의 일 실시예에 따르면, 유효영역 내에서 검출되는 raw레이더데이터의 개수에 기반하여, 해당 raw레이더데이터들이 노이즈에 해당하는 지 여부를 판단하고 필터링할 수 있다.
본 발명의 일 실시예에 따르면, 프레임별로 생성되는 복수의 영상이미지 중 차량번호 식별을 위한 의미론적 영상이미지를 선별하고, 선별된 영상이미지에 대해서만 차량번호를 식별함으로써, 연산부하를 경감할 수 있다.
본 발명의 일 실시예에 따르면, 선별된 복수의 영상이미지에서 식별된 차량번호에 대한 일치율에 기반하여, 해당 영상이미지들이 노이즈에 해당하는 지 여부를 판단하고 필터링할 수 있다.
본 발명의 일 실시예에 따르면, 인접하는 2개 객체에 대한 레이더데이터에 내재되는 정보에 기초하여, 고스트에 의해 생성된 레이더데이터를 필터링할 수 있다.
본 발명의 일 실시예에 따르면, 레이더는 도로상의 모든 차선을 포함하는 넓은 영역에서 레이더데이터를 생성하고, 영상이미지카메라는 도로상의 차선 중 단속대상차선을 포함하는 국소 영역을 촬영하여 영상이미지를 생성할 수 있다.
본 발명의 일 실시예에 따르면, CCU는 도로상의 차선을 구분하는 구분영역별로 팬틸트정보를 저장하고, 서버에 의해 단속대상차선에 의해 결정된 구분영역에 대한 팬틸트정보에 기초하여, 영상이미지카메라가 단속대상차선을 포함하는 구분영역을 촬영하도록 할 수 있다.
본 발명의 일 실시예에 따르면, 레이더는 도로상의 모든 복수의 차선에 대한 레이더데이터를 생성하고, CCU는 모든 복수의 차선에 대한 레이더데이터 중 단속대상차선에서 검출되는 레이더데이터를 선별하고, 이에 기반하여 단속대상차선을 주행하는 차량의 속도를 검출할 수 있다.
본 발명의 일 실시예에 따르면, 하나의 단속시스템을 통해 종래의 2차로단속에서 최대 4차로 도로에 대한 동시단속 혹은 선택단속이 가능할 수 있다.
본 발명의 일 실시예에 따르면, 하나의 단속시스템을 통해 왕복 2차로 도로에 대한 전후면 동시단속이 가능할 수 있다.
도 1은 본 발명의 일 실시예에 따른 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법이 구현된 도로상의 모습을 도시한다.
도 2는 본 발명의 일 실시예에 따른 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법을 구현하는 구성요소들을 도시한다.
도 3은 본 발명의 일 실시예에 따른 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법의 단계들을 도시한다.
도 4는 본 발명의 일 실시예에 따른 레이더 및 영상이미지카메라가 촬영하고 데이터를 생성하는 영역들을 도시한다.
도 5는 본 발명의 일 실시예에 따른 raw레이더데이터 중 유효레이더데이터를 선별하는 과정을 도시한다.
도 6은 본 발명의 일 실시예에 따른 검지선과 가장 가까운 유효레이더데이터와 시계열적으로 근접하는 복수의 영상이미지를 선별하는 과정을 도시한다.
도 7은 본 발명의 일 실시예에 따른 선별된 영상이미지에서 차량번호가 식별되는 과정을 도시한다.
도 8은 종래의 속도검출방식과 본원 발명에서 사용되는 영상이미지의 의미론적 데이터를 도시한다.
도 9는 본 발명의 일 실시예에 따른 유효레이더데이터에 기반하여 검출된 객체의 속도를 산출하는 과정을 도시한다.
도 10은 본 발명의 일 실시예에 따른 오검지판단 알고리즘을 도시한다.
도 11은 본 발명의 일 실시예에 따른 고스트필터링 알고리즘을 도시한다.
도 12는 본 발명의 일 실시예에 따른 단속영역 가변형 다차로 단속시스템의 구성요소를 도시한다.
도 13은 본 발명의 일 실시예에 따른 단속영역 가변형 다차로 단속시스템에 의해 수행되는 단계들을 도시한다.
도 14는 본 발명의 일 실시예에 따른 촬영하는 구분영역을 가변하면서 영상이미지를 생성하는 영상이미지카메라 및 CCU에 구분영역별로 저장되는 정보들을 도시한다.
도 15는 본 발명의 일 실시예에 따른 영상이미지카메라가 단속대상차선을 포함하는 구분영역을 촬영하여 영상이미지를 생성하는 과정을 도시한다.
도 16은 본 발명의 일 실시예에 따른 CCU가 모든 복수의 차선에 대한 raw레이더데이터 중 단속대상차선에 대한 raw레이더데이터를 선별하는 과정을 도시한다.
도 17은 본 발명의 일 실시예에 따른 CCU가 단속대상차선에 대한 프리셋정보를 반영하면서 속도를 검출하는 과정을 도시한다.
도 18은 본 발명의 일 실시예에 따른 레이더, 및 영상이미자카메라를 도시한다.
도 19는 본 발명의 일 실시예에 따른 정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 교통단속시스템이 구현된 도로상의 모습을 도시한다.
도 20은 본 발명의 일 실시예에 따른정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 교통단속시스템이 수행하는 단계들을 도시한다.
도 21는 본 발명의 일 실시예에 따른 연산단말이 후면단속모드로 동작할 때, 레이더 및 영상이미지카메라가 촬영하고 데이터를 생성하는 영역들을 도시한다.
도 22는 본 발명의 일 실시예에 따른 이륜차 여부를 판단하고, 이륜차인 경우에 선별된 영상이미지에서 헬멧영역이 크롭되는 과정을 도시한다.
도 23은 본 발명의 일 실시예에 따른 이륜차 운전자에 대핸 헬멧착용 여부를 판단하는 과정을 도시한다.
도 24는 본 발명의 일 실시예에 따른 서로 다른 밝기의 영상이미지에 기반하여 차량번호 및 헬멧단속이 이루어지는 과정을 도시한다.
도 25는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템
본 발명에 대한 상세한 설명에 앞서, '1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템'에 대해 상술한다. 구체적으로 본 발명은 '1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템'에 기반하여 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법이 구현된 도로상의 모습을 도시하고, 도 2는 본 발명의 일 실시예에 따른 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법을 구현하는 구성요소들을 도시한다.
도 1에 도시된 바와 같이, 본원 발명은 차량이 주행 중인 도로를 촬영하도록 설치되는 레이더(3) 및 영상이미지카메라(2)와, 상기 레이더(3) 및 영상이미지카메라(2)로부터 수신한 데이터에 기초하여 해당 도로를 주행 중인 객체의 속도를 검출하는 CCU(1)에 의해 구현될 수 있다.
구체적으로 레이더(3)는 도로에 레이더를 조사하여 객체를 검출하고 이를 트래킹하면서, 해당 객체의 속도, 위치 등에 대한 정보를 포함하는 레이더데이터를 생성할 수 있고, 영상이미지카메라(2)는 도로를 촬영하여 객체가 촬영된 영상이미지를 생성할 수 있다. (여기서 레이더데이터란 후술하는 raw레이더데이터 및 유효레이더데이터를 총칭한다)
바람직하게는 레이더(3) 및 영상이미지카메라(2)는 각각 상이하게 설정된 영역에서 데이터를 생성할 수 있고 이에 대한 상세한 설명은 후술하도록 한다.
한편, CCU(1)(Communication Control Unit)은 통신제어장치로서, 바람직하게는 1 이상의 프로세서 및 1 이상의 메모리를 가지는 컴퓨팅장치일 수 있다. CCU(1)는 상기 레이더(3) 및 영상이미지카메라(2)와 유무선상으로 연결되어 각각으로부터 데이터를 수신할 수 있다. CCU(1)은 해당 데이터에 기초하여 검지선을 지나는 객체를 검출하고, 해당 객체의 속도를 산출할 수 있다. 또한, CCU(1)은 해당 객체의 차량번호를 식별할 수도 있다.
한편, 본 발명의 바람직한 실시예에서 CCU(1)는 속도단속 뿐만 아니라 신호위반 단속, 구간단속 등 도로상에서 발생하는 다양한 형태의 위반을 단속할 수 있다. 예를 들어, CCU(1)는 영상이미지카메라(2)에 의해 촬영된 영상이미지에 기반하여 신호위반 차량을 검출하거나, 구간단속 시점과 종점에 설치된 CCU(1)에서의 데이터가 서버(4)로 취합되어 해당 구간단속 지점에 대한 구간단속을 수행할 수 있다.
또한, CCU(1)은 검출된 객체에 대한 정보를 외부의 서버(4)에 송신할 수 있다. 본 발명의 일 실시예에서 CCU(1)은 검지선을 지나는 모든 객체에 대한 정보들(해당 객체에 대해 식별되는 차량번호, 속도 등)을 취합하여 외부의 서버(4)에 송신할 수 있다. 또는 CCU(1)은 검지영역을 지나는 객체 중 과속으로 판단되는 객체에 대한 정보만을 취합하여 외부의 서버(4)에 송신할 수 있다.
본 발명의 일 실시예에서, CCU(1)은 레이더(3) 및 영상이미지카메라(2)가 설치된 지지물에 함께 설치되거나 소정의 거리 이내에 구비될 수 있다.
한편, 도 2의 (b)에 도시된 바와 같이 CCU(1)은 데이터수신부(10), 데이터선별부(11), 차량번호식별부(12), 속도산출부(13), 및 고스트필터링부(14)를 포함할 수 있다. 구체적으로 CCU(1)의 각 구성요소들에 의해 도 3 및 도 9에서 후술하는 단계들이 수행 및 구현될 수 있다.
또한, CCU(1)은 도시된 구성요소들에 한정하지 않고 추가적인 구성요소들을 더 포함할 수 있다. 구체적으로 CCU(1)의 차량번호식별부(12)는 영상이미지에서 번호판영역을 식별하고, 해당 번호판영역에서 차량번호를 식별하는 구성요소에 해당하며, 이를 위해 영상이미지에서 번호판영역을 식별하는 딥러닝 기반의 학습모델, 및 번호판영역에서 문자를 인식하여 차량번호를 식별하는 룰베이스 기반의 학습모델을 더 포함할 수도 있다.
예를 들어, 도로가 촬영된 이미지에서 차량의 번호판영역이 라벨링된 이미지를 학습데이터로 학습된 딥러닝 기반의 학습모델은, 입력된 영상이미지에서 번호판영역을 식별할 수 있다.
도 3은 본 발명의 일 실시예에 따른 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법의 단계들을 도시한다.
도 3에 도시된 바와 같이, 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법은 도로 위의 검지선(L1)을 포함하는 영역에 레이더를 조사하여 객체를 검출하고, 검출된 객체의 속도를 측정하여 레이더데이터를 생성하는 레이더(3); 도로 위의 검지선(L1)을 포함하는 영역을 촬영하여 영상이미지를 생성하는 영상이미지카메라(2); 및 상기 레이더데이터 및 영상이미지에 기초하여 객체의 차량번호 및 속도를 검지하는 CCU(1);에 의해 수행되고, 상기 CCU(1)에 의하여 수행되는, 상기 레이더(3) 및 영상이미지카메라(2)로부터, 각각의 프레임별로 생성되는 raw레이더데이터 및 영상이미지를 수신하는 데이터수신단계; 상기 raw레이더데이터 중 기설정된 유효영역(A3) 내의 n개(n은 2 이상의 정수)의 raw레이더데이터를 유효레이더데이터로 선별하는 데이터선별단계; 검지선(L1)과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접하는 m개(m은 2 이상의 정수)의 영상이미지를 선별하고, m개의 영상이미지 각각에서 차량번호를 식별하는 차량번호식별단계; 및 상기 차량번호에 대한 일치율이 기설정된 동일객체판단기준을 만족하는 경우에, 식별된 해당 차량번호의 차량에 대하여, 상기 유효영역(A3) 내의 n개의 유효레이더데이터 각각에 내재되는 정보에 기초하여 해당 차량의 속도를 산출하는 속도산출단계;를 포함할 수 있다.
전술한 바와 같이 도 3의 단계들은 CCU(1)의 각 구성요소들에 의해 수행될 수 있다.
S1단계에서, CCU(1)은 영상이미지카메라(2)로부터 프레임별로 생성된 복수의 영상이미지를 수신할 수 있고, S2단계에서 CCU(1)은 레이더(3)로부터 프레임별로 생성된 복수의 raw레이더데이터를 수신할 수 있다.
다만, 여기서 영상이미지카메라(2) 및 레이더(3) 각각이 데이터를 생성하는 프레임주기는 상이할 수 있다. 구체적으로 영상이미지카메라(2) 및 레이더(3)는 서로 각각에 대해 설정된 프레임별로 영상이미지 및 raw레이더데이터를 생성하고 이를 CCU(1)로 송신할 수 있다.
본 발명의 일 실시예에서, 영상이미지 및 raw레이더데이터는 동일한 프레임주기마다 예를 들어 1/60초마다 생성될 수 있으나, 서로 다른 프레임주기별로, 예를 들어 영상이미지는 1/60초마다 생성되고, raw레이더데이터는 1/30초마다 생성될 수 있다.
S3단계에서, CCU(1)은 복수의 raw레이더데이터 중 유효영역(A3) 내에서 식별된 raw레이더데이터의 개수를 도출하고, 해당 개수가 기설정된 개수 이상인지 여부를 판단할 수 있다. 또한 S4단계에서, 기설정된 개수 이상인 경우에 CCU(1)은 유효영역(A3) 내에서 식별된 n개의 raw레이더데이터를 유효레이더데이터로 선별할 수 있다.
먼저 유효영역(A3)이란 레이더(3)가 생성하는 복수의 raw레이더데이터 중 CCU(1)이 속도를 산출하는 데 있어 의미론적 데이터를 선별하기 위한 영역으로서, CCU(1)은 복수의 raw레이더데이터 중 유효영역(A3) 내에서 검출되는 raw레이더데이터에 기초하여, 객체의 속도를 검출할 수 있다. 이와 같이 복수의 raw레이더데이터 중 유효영역(A3) 내에서 검출되는 raw레이더데이터를 유효레이더데이터로 정의한다.
즉, CCU(1)은 레이더(3)로부터 수신한 모든 raw레이더데이터에 기반하여, 객체의 속도를 검출하지 않고, raw레이더데이터 중 의미론적 의미를 가지는 유효영역(A3) 내에서 검출된 raw레이더데이터를 유효레이더데이터를 선별하고 이에 기반하여 객체의 속도를 검출할 수 있다.
한편, 유효레이더데이터를 선별하기에 앞서 CCU(1)은 유효영역(A3) 내에서 검출되는 raw레이더데이터의 개수가 기설정된 개수 이상인지 여부를 먼저 판단할 수 있다. 구체적으로 레이더(3)가 생성하는 raw레이더데이터는 검출된 객체의 위치에 대한 정보를 포함할 수 있고, CCU(1)은 해당 위치정보에 기초하여 해당 raw레이더데이터가 검출된 위치가 유효영역(A3) 내에 위치하고 있는 지 여부를 판단할 수 있다. 이와 같은 방식으로 CCU(1)은 모든 raw레이더데이터 각각이 유효영역(A3) 내에 위치하는 지 여부를 판단하고, 유효영역(A3) 내에서 검출되는 raw레이더데이터의 개수 n개(n은 2 이상의 정수)가 기설정된 개수 이상일 때, 해당 n개의 raw레이더데이터들을 유효레이더데이터로 선별할 수 있다.
한편, S3단계에서 유효영역(A3) 내에서 검출된 raw레이더데이터의 개수가 기설정된 개수 미만인 경우에는, 해당 raw레이더데이터들을 노이즈로 판단할 수 있다. 즉 S3단계는 1차적으로 노이즈를 필터링하는 단계에 해당할 수 있다.
S5단계에서, CCU(1)은 검지선(L1)과 가장 가까운 유효레이더데이터를 선별하고, 해당 유효레이더데이터와 시계열적으로 가장 근접하는 m개의 영상이미지를 선별할 수 있다. 구체적으로 검지선(L1)이란 속도를 단속하는 기준선으로서 관리자에 의해 설정되어 CCU(1)에 기입력되어 있을 수 있고, CCU(1)은 선별된 n개의 유효레이더데이터 중 검지선(L1)과 가장 가까운 유효레이더데이터를 선별할 수 있다.
본 발명의 일 실시예에서, 검지선(L1)과 가장 가까운 유효레이더데이터의 선별은 n개의 유효레이더데이터 각각에 내재되는 위치에 대한 정보에 기초하여 선별될 수 있다.
또한, CCU(1)은 검지선(L1)과 가장 가까운 유효레이더데이터의 시계열정보(해당 유효레이더데이터가 생성된 시간(프레임))와 복수의 영상이미지 각각에 대한 시계열정보(해당 영상이미지가 생성된 시간(프레임))를 비교하여, 검지선(L1)과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접한 시간(프레임)에서의 m개의 영상이미지를 선별할 수 있다.
이와 같이, 본원 발명에서는 영상이미지카메라(2)에 의해 생성되는 복수의 영상이미지 전체가 의미론적 데이터에 해당하지 않고, 검지선(L1)과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접하는 m개의 영상이미지만이 의미론적 데이터에 해당할 수 있다.
다시 말하자면, 본원 발명에서는 상기 m개의 영상이미지에 기초하여 검출된 객체의 차량번호를 식별하는 알고리즘이 수행될 수 있다. 또는, 상기 m개의 영상이미지에 기초하여 검출된 객체에 대해 속도가 오검지되었는 지 여부를 판별하는 오검지판단 알고리즘이 수행될 수 있다.
S6단계에서, CCU(1)은 상기 m개의 영상이미지 각각에서 번호판영역을 식별하고, 해당 번호판영역에서의 차량번호를 식별할 수 있다.
한편 영상이미지에서 번호판영역을 검출하고, 해당 번호판영역에서 해당 차량의 차량번호를 식별하는 알고리즘은 공지기술이 적용될 수 있고 어느 하나에 한정하지 않는다. 예를 들어, CCU(1)은 영상이미지에서 번호판영역을 식별하는 학습모델에 상기 m개의 영상이미지 각각을 입력하고, 이미지상에서 차량번호를 식별하는 학습모델에 상기 m개의 영상이미지에서 식별된 번호판영역을 입력할 수 있다.
또는, 본 발명의 다른 실시예에서 하나의 학습된 학습모델에 의하여 영상이미지에서 번호판영역을 검출하고, 해당 번호판영역에서 해당 차량의 차량번호를 식별하는 알고리즘이 수행될 수 있다.
S7단계에서, CCU(1)은 m개의 영상이미지 각각에서 식별된 차량번호에 대한 일치율이 기설정된 동일객체판단기준을 만족하는 지 여부를 판단할 수 있다. 구체적으로 전술한 과정을 통해 m 개의 영상이미지 각각에서 해당 영상이미지에서 촬영된 객체의 차량번호가 식별될 수 있고, CCU(1)은 m 개의 영상이미지 각각에서 식별된 차량번호에 대한 일치율이 기설정된 동일객체판단기준 이상일 때 해당 차량번호의 객체에 대한 속도를 산출할 수 있다.
한편, S7단계에서 식별된 차량번호에 대한 일치율이 기설정된 동일객체판단기준 미만인 경우에는, 해당 데이터(유효레이더데이터 및 영상이미지)들을 노이즈로 판단할 수 있다. 즉 S7단계는 2차적으로 노이즈를 필터링하는 단계에 해당할 수 있다.
S8단계에서, CCU(1)은 n개의 유효레이더데이터 각각에 내재되는 정보에 기초하여, 해당 객체에 대한 속도를 산출할 수 있다. 구체적으로 raw레이더데이터(혹은 유효레이더데이터)에는 속도에 대한 정보를 포함하고, CCU(1)은 n 개의 유효레이더데이터에 기반하여 속도산출 알고리즘을 수행하여 해당 객체에 대한 최종속도를 산출할 수 있다. 또한, 이와 같이 산출되는 최종속도는 상기 단계에서 m개의 영상이미지에 의하여 식별된 차량번호를 가지는 객체에 대한 속도에 해당할 수 있다.
즉, CCU는 유효영역(A3) 내에서 raw레이더데이터가 유의미한 개수 이상 검출되면서, 해당 객체가 검지선(L1)을 지날 때와 시계열적으로 근접한 영상이미지 각각에서 식별된 차량번호에 대한 일치율이 기설정된 기준 이상일 때, 해당 객체에 대한 속도검출 알고리즘을 수행할 수 있다.
한편, CCU(1)이 객체에 대한 최종속도를 산출하는 알고리즘에 대한 상세한 설명은 후술하도록 한다.
도 4는 본 발명의 일 실시예에 따른 레이더(3) 및 영상이미지카메라(2)가 촬영하고 데이터를 생성하는 영역들을 도시한다.
도 4에 도시된 바와 같이, 상기 레이더(3)는, 검지선(L1)으로부터 차량진행 역방향으로 확장되는 레이더조사영역(A1)에 레이더를 조사하여 객체를 검출하고 검출된 객체를 트래킹하면서, 해당 객체의 ID, 속도, 위치 중 1 이상의 정보를 포함하는 raw레이더데이터를 생성하여, 상기 CCU(1)로 송신하고, 상기 영상이미지카메라(2)는, 검지선(L1)으로부터 차량진행 역방향 및 정방향으로 확장되되, 상기 레이더조사영역(A1)보다 좁은 영역인 촬영영역(A4)을 촬영하여 영상이미지를 생성하고, 상기 CCU(1)로 송신할 수 있다.
또한 상기 CCU(1)은, 상기 레이더조사영역(A1)에서 상기 raw레이더데이터가 생성되는 영역보다 좁은 유효영역(A3)에서 검출된 raw레이더데이터를 유효레이더데이터로 선별할 수 있다.
먼저 도 4의 (a) 및 (b)에서는 L1을 검지선(L1)으로 정의하고, 차량진행방향을 상측에서 하측으로 하여 이하의 내용을 설명한다. 전술한 바와 같이 검지선(L1)은 속도를 단속하는 기준선으로서, CCU(1)은 검지선(L1)을 지나는 객체들에 대해서 차량번호를 식별하고 속도를 검출할 수 있다.
도 4의 (a)는 레이더(3)와 관련된 영역들을 도시한다. 레이더(3)는 주행 중인 차량의 정면을 촬영하도록 도로상에서 설치될 수 있다. 즉 도 4의 (a)에서 레이더(3)는 하측의 위치에서 상측을 바라보도록 설치되어, 상측에서 하측으로 주행하는 차량의 정면을 촬영할 수 있다.
더 구체적으로는 레이더(3)는 주행 중인 차량에 레이더를 조사하여 해당 차량을 트래킹하면서 해당 차량의 ID, 속도, 위치에 대한 정보를 포함하는 raw레이더데이터를 생성할 수 있다.
한편, A1영역은 레이더(3)가 레이더를 조사하는 레이더조사영역(A1)에 해당한다. 이 때 레이더조사영역(A1)은 검지선(L1)을 포함하는 영역임이 바람직하다. 더 구체적으로는 레이더조사영역(A1)은 검지선(L1)을 포함하고, 검지선(L1)으로부터 차량진행 역방향(도 4에서 하측에서 상측방향)으로 확장되는 영역이 포함되도록 설정됨이 바람직할 수 있다.
A2영역은 레이더(3)가 raw레이더데이터를 생성하는 raw레이더데이터영역(A2)에 해당한다. 구체적으로 레이더(3)는 레이더조사영역(A1) 전체에서 raw레이더데이터를 생성하지 않고, 레이더조사영역(A1)의 일부영역에 해당하는 raw레이더데이터영역(A2)에서 raw레이더데이터를 생성할 수 있다.
즉, 레이더(3)가 CCU(1)로 송신하는 raw레이더데이터는 raw레이더데이터영역(A2)에서 검출되는 객체에 대한 정보에 해당할 수 있다.
A3영역은 CCU(1)이 raw레이더데이터 중 유효레이더데이터를 선별하는 유효영역(A3)에 해당한다. 전술한 바와 같이 CCU(1)은 레이더(3)로부터 수신한 모든 raw레이더데이터에 기반하여 속도를 검출하지 않고, 유효영역(A3) 내에서 검출되는 유효레이더데이터에 기반하여 속도를 검출하며, 이 때 유효영역(A3)은 레이더(3)가 레이더를 조사하는 레이더조사영역(A1) 혹은 raw레이더데이터를 생성하는 raw레이더데이터영역(A2)보다 좁은 영역에 해당할 수 있다.
바람직하게는 유효영역(A3)은 레이더조사영역(A1) 및 raw레이더데이터영역(A2)보다 좁은 영역에 해당하면서, 검지선(L1)을 포함하고 검지선(L1)으로부터 차량진행 역방향으로 확장되는 영역에 해당할 수 있다.
도 4의 (b)는 영상이미지카메라(2)가 영상이미지를 생성하는 촬영영역(A4)을 도시한다. 구체적으로 영상이미지카메라(2)는 주행 중인 차량의 정면을 촬영하도록 도로상에 설치될 수 있다. 즉 도 4의 (b)에서 영상이미지카메라(2)는 하측의 위치에서 상측을 바라보도록 설치되어, 상측에서 하측으로 주행하는 차량의 정면을 촬영할 수 있다.
A4영역은 영상이미지카메라(2)가 영상이미지를 생성하는 촬영영역(A4)에 해당한다. 구체적으로 촬영영역(A4)은 검지선(L1)으로부터 차량진행 역방향 및 정방향으로 확장되되, 상기 레이더조사영역(A1)보다 좁은 영역에 해당할 수 있다. 바람직하게는 촬영영역(A4)은 면적상으로 상기 유효영역(A3)보다 좁은 영역에 해당할 수 있다.
전술한 바와 같이, raw레이더데이터영역(A2) 및 유효영역(A3)은 검지선(L1)을 포함하면서, 검지선(L1)으로부터 차량진행 역방향으로 확장되는 영역에 해당한다. 한편, 본 발명의 일 실시예에서 촬영영역(A4)은 검지선(L1)을 포함하면서, 검지선(L1)으로부터 차량진행 역방향 및 정방향으로 확장되는 영역에 해당한다. 즉 촬영영역(A4)은 객체가 검지선(L1)을 지나기 전의 일부영역(검지선(L1)으로부터 차량진행 역방향으로 확장되는 영역)과 검지선(L1)을 지난 후 일부영역(검지선(L1)으로부터 차량진행)을 포함하는 영역에 해당할 수 있다.
또한, 이 때 촬영영역(A4)의 '검지선(L1)을 지난 후의 일부영역(검지선(L1)으로부터 차량진행으로 확장되는 영역)'보다 '검지선(L1)을 지나기 전의 일부영역(검지선(L1)으로부터 차량진행 역방향으로 확장되는 영역)'이 넓게 설정됨이 바람직하다.
또한 이 때 촬영영역(A4)의 면적은 유효영역(A3)의 면적보다 작게 설정됨이 바람직하다.
정리하자면, 촬영영역(A4)은 유효영역(A3) 내부에 완전히 포함되는 것은 아니나, 대부분의 영역이 유효영역(A3) 내부에 포함되는 형태로 설정될 수 있다.
본 발명의 일 실시예에 따르면, 종래의 영상이미지 기반의 속도검출방식에 대비해, 의미론적 데이터 크기가 축소된 촬영영역(A4)을 촬영한 영상이미지에 기반하여, 객체의 차량번호를 식별할 수 있다.
구체적으로 종래의 영상이미지 기반의 속도검출방식은 원거리에서 검지선(L1) 까지의 넓은 영역을 촬영할 필요가 있었다. 이는 영상이미지에 기반하여 속도를 산출할 때 객체가 원거리에 위치할 때부터 검지선(L1)을 통과할 때까지의 영상이미지를 모두 필요로 함에 따른 것이다. 이에 따라 영상이미지카메라(2)는 보다 넓은 영역을 촬영할 필요가 있었고, 또한 객체가 원거리에 위치할 때는 영상이미지에서 객체가 축소되어 나타나므로, 영상이미지상에서의 객체검출과 차량번호 인식이 원활하지 않는 문제점이 있었다.
그러나, 본원 발명의 일 실시예에 따르면, 영상이미지는 속도산출에 사용되지 않고, 차량번호 인식을 위해 사용될 수 있다.
이에 따라 영상이미지카메라(2)는 의미론적 영역을 대폭 축소한 상태의 영상이미지를 생성할 수 있다. 구체적으로 본원 발명의 영상이미지카메라(2)는 검지선(L1)을 기준으로 원거리의 영역에 대해서는 촬영할 필요가 없고, 검지선(L1) 부근의 영역만을 촬영할 수 있다. 이는 결과적으로 영상이미지의 의미론적 데이터의 크기와 연산량을 경감하는 효과를 불러올 수 있다.
도 5는 본 발명의 일 실시예에 따른 raw레이더데이터 중 유효레이더데이터를 선별하는 과정을 도시한다.
도 5에 도시된 바와 같이, 상기 데이터선별단계는, 상기 유효영역(A3) 내에서 검출된 raw레이더데이터의 개수가 기설정된 개수 이상인 경우에는, 해당 유효영역(A3) 내의 raw레이더데이터를 유효레이더데이터로 결정하고, 기설정된 개수 미만인 경우에는, 해당 유효영역(A3) 내의 raw레이더데이터들을 노이즈로 판단할 수 있다.
도 5의 (a)에 도시된 바와 같이, 레이더(3)는 프레임별로 raw레이더데이터영역(A2)에서 검출되는 객체의 속도, 위치, ID에 대한 정보를 포함하는 raw레이더데이터(v1~vn)를 생성하고 CCU(1)로 송신할 수 있다.
한편 도 5의 (b)에 도시된 바와 같이, CCU(1)은 복수의 raw레이더데이터(v1~vn) 중 유효영역(A3) 내에서 검출되는 raw레이더데이터의 개수에 기반하여 노이즈를 필터링할 수 있다. 구체적으로 CCU(1)은 수신한 복수의 raw레이더데이터(v1~vn) 중 유효영역(A3) 내에서 검출되는 n개의 raw레이더데이터(v1~v5)들을 식별하고, 해당 개수(n개)가 기설정된 개수 이상인지 여부를 판단할 수 있다.
CCU(1)은 유효영역(A3) 내의 raw레이더데이터(v1~v5)의 개수 n개가 기설정된 개수 이상일 때, 해당 raw레이더데이터(v1~v5)들을 유효레이더데이터로 선별하고, 이후의 단계(S4단계 등)들을 수행할 수 있다.
반면에 유효영역(A3) 내의 raw레이더데이터의 개수 n개가 기설정된 개수 미만일 때, CCU(1)은 해당 raw레이더데이터들을 노이즈로 판단할 수 있다.
이와 같은 과정을 통해 CCU(1)은 고스트 등의 요인으로 일시적으로 오검지되는 raw레이더데이터를 필터링하고, 실제 검지선(L1)을 통과하는 객체에 대해 생성된 raw레이더데이터에 기반하여 속도를 산출할 수 있다.
한편, CCU(1)은 복수의 raw레이더데이터들 각각에 내재되는 위치에 대한 정보에 기초하여 해당 raw레이더데이터들 각각이 유효영역(A3) 내부에서 검출되는 지 여부를 판단할 수 있다.
도 6은 본 발명의 일 실시예에 따른 검지선(L1)과 가장 가까운 유효레이더데이터와 시계열적으로 근접하는 복수의 영상이미지를 선별하는 과정을 도시한다.
도 6에 도시된 바와 같이 상기 차량번호식별단계는, 복수의 프레임별로 생성되는 복수의 영상이미지 중, 검지선(L1)과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접한 m개 프레임의 영상이미지에 대해서만 차량번호를 식별하는 것을 특징으로 할 수 있다.
도 6의 (a)의 원으로 표시된 데이터들은 프레임별로 생성된 raw레이더데이터(및 유효레이더데이터)를 의미한다. 전술한 바와 같이 raw레이더데이터영역(A2) 및 유효영역(A3)은 검지선(L1)을 기준으로 차량진행 역방향으로 확장되는 영역에 해당하므로, raw레이더데이터(및 유효레이더데이터)은 검지선(L1)을 기준으로 차량진행 역방향으로 확장되는 영역에서 검출될 수 있다.
한편, 도 6의 (a)의 세모로 표시된 데이터들은 프레임별로 생성된 영상이미지를 의미한다. 전술한 바와 같이 영상이미지카메라(2)는 프레임별로 촬영영역(A4)을 촬영하고 생성된 영상이미지를 CCU(1)로 송신할 수 있고, 촬영영역(A4)은 검지선(L1)을 기준으로 차량진행 역방향 및 정방향으로 확장되는 영역에 해당하므로, 영상이미지의 일부는 '검지선(L1)을 기준으로 차량진행 역방향으로 확장되는 영역'에서 생성되고, 나머지 일부는 '검지선(L1)을 기준으로 차량진행 정방향으로 확장되는 영역'에서 생성될 수 있다.
CCU(1)은 영상이미지카메라(2)로부터 수신한 복수의 영상이미지 중 레이더(3)에 의해 검출된 객체에 대한 차량번호를 식별하기 위한 영상이미지를 선별할 수 있다. 즉, CCU(1)은 프레임별로 생성된 복수의 영상이미지 중, 차량번호를 식별하기 위한 의미론적 데이터에 해당하는 특정 영상이미지를 선별할 수 있다.
먼저 CCU(1)은 검지선(L1)과 가장 가까운 유효레이더데이터(v1)를 선별할 수 있다. 구체적으로 CCU(1)은 n 개의 유효레이더데이터 각각에 내재되는 위치에 대한 정보에 기초하여 상기 n 개의 유효레이더데이터 중 검지선(L1)과 가장 가까운 특정 유효레이더데이터(v1)를 선별할 수 있다.
이어서, CCU(1)은 검지선(L1)과 가장 가까운 유효레이더데이터(v1)와 시계열적으로 가장 근접하는 m개의 영상이미지를 선별할 수 있다. 이와 같이 선별되는 m 개의 영상이미지들이 검출된 객체에 대한 차량번호를 식별하기 위한 의미론적 데이터에 해당할 수 있다.
이를 시계열적으로 나열한 도 6의 (b)를 참조하면, 유효레이더데이터(v1)는 검지선(L1)과 가장 가까운 유효레이더데이터에 해당하며, 영상이미지 i1~in 중 영상이미지 i1~i5들이 해당 유효레이더데이터(v1)와 시계열적으로 가장 근접하는 m 개의 영상이미지에 해당할 수 있다.
즉, CCU(1)은 영상이미지카메라(2)로부터 수신한 복수의 영상이미지(i1~in) 전체에 기반하여 검출된 객체에 대한 차량번호를 식별하지 않고, 검지선(L1)과 가장 가까운 유효레이더데이터(v1)와 시계열적으로 가장 근접하는 m 개의 영상이미지(i1~i5)에 기반하여 검출된 객체에 대한 차량번호를 식별할 수 있다.
한편 전술한 바와 같이 레이더(3) 및 영상이미지카메라(2) 각각이 데이터를 생성하는 프레임주기는 상이할 수 있다. 즉, 유효레이더데이터가 1.0초에 생성되었을 때, 동일한 1.0초에 생성된 영상이미지가 존재하지 않을 수 있다.
이에 본 발명의 일 실시예에서는, 유효레이더데이터와 동일한 시간에서 생성된 영상이미지를 선별하지 않고, 시계열적으로 가장 근접하는 m개의 영상이미지를 선별할 수 있다. 예를 들어, 유효레이더데이터가 1.0초에 생성되었을 때, 0.85, 0.95, 1.05, 1.15초에서 생성된 m개의 영상이미지들을 선별할 수 있다.
다시 말하자면, 선별된 m개의 영상이미지 각각이 생성된 시간은 검지선과 가장 가까운 유효레이더데이터가 생성된 시간으로부터 확장된 시간영역에 포함될 수 있다.
도 7은 본 발명의 일 실시예에 따른 선별된 영상이미지에서 차량번호가 식별되는 과정을 도시한다.
도 7에 도시된 바와 같이 상기 차량번호식별단계는, 상기 m개의 영상이미지 각각에 대한 선명도를 판단하여, 선명도가 가장 높은 영상이미지를 결정하는, 선명도판단단계;를 더 포함하고, 상기 CCU(1)은, 객체가 속도를 위반한 것으로 판단될 때 해당 영상이미지를 단속주체인 서버(4)에 제출할 수 있다.
도 7의 (a)에 도시된 바와 같이, CCU(1)은 선별된 m 개의 영상이미지에 기반하여 검출된 객체에 대한 차량번호를 식별할 수 있다. 구체적으로 CCU(1)은 m 개의 영상이미지 각각에서 번호판영역을 식별하고, 해당 번호판영역에서 문자를 인식하여 차량번호를 식별할 수 있다.
또한 전술한 바와 같이, CCU(1)이 선별된 m 개의 영상이미지 각각에서 번호판영역 및 차량번호를 식별하는 과정은 딥러닝 등의 공지기술이 이용될 수 있다.
또한, CCU(1)은 m 개의 영상이미지에 대해 도출된 차량번호에 대한 일치율이 기설정된 동일객체판단기준을 만족하는 경우에, 해당 데이터들이 유효한 것으로 판단하고 이후의 속도산출 알고리즘을 수행할 수 있다.
반면에, m 개의 영상이미지에 대해 도출된 차량번호에 대한 일치율이 기설정된 동일객체판단기준을 만족하지 않는 경우에, 해당 데이터들을 노이즈로 판단할 수 있다.
여기서 차량번호에 대한 일치율이란 m 개의 영상이미지 각각에서 식별된 차량번호가 서로 일치하는 비율을 의미할 수 있다. 즉 상기 일치율이 동일객체판단기준 이상이라 함은 m 개의 영상이미지 각각에서 식별된 차량번호가 설정된 기준 이상 일치함을 의미한다.
본 발명의 일 실시예에서, 동일객체판단기준은 100%일 수 있다. 즉, 해당 경우에 CCU(1)은 m 개의 영상이미지 각각에서 식별된 차량번호가 모두 일치할 때 해당 데이터들이 유효한 것으로 판단하고 이후의 속도산출 알고리즘을 수행할 수 있다.
또는 본 발명의 다른 실시예에서, 동일객체판단기준은 100% 미만의 소정의 값(예를 들어 80%)으로 설정될 수 있다. 즉, CCU(1)은 m 개의 영상이미지 각각에서 식별된 차량번호가 80% 이상 일치할 때 해당 데이터들이 유효한 것으로 판단하고 이후의 속도산출 알고리즘을 수행할 수 있다.
이와 같이 CCU(1)은 속도산출 알고리즘을 수행하기에 앞서, m개의 영상이미지에서 식별된 차량번호에 대한 일치율에 기초하여, 해당 데이터들이 유효한 데이터인지 혹은 노이즈인지 여부를 판단할 수 있다.
도 7의 (b)에 도시된 바와 같이, CCU(1)은 상기 m개의 영상이미지 중 어느 하나를 서버(4)에 제출할 영상이미지로 결정할 수 있다. 구체적으로 CCU(1)은 상기 m 개의 영상이미지 각각에 대한 선명도를 판단하고, 식별된 차량번호에 대한 객체가 속도를 위반했을 때, 해당 선명도가 가장 높은 영상이미지를 서버(4)에 송신할 수 있다.
한편 서버(4)란 교통단속의 주체로서, 경찰청, 시청 등의 행정,공공기관에 해당할 수 있다.
한편, CCU(1)이 영상이미지의 선명도를 판단하는 과정은 공지기술이 적용될 수 있다. 본 발명의 일 실시예에서 CCU(1)은 Image Clarity Index (ICI), Tenengrad, Sobel, Canny 등의 알고리즘에 기반하여 영상이미지의 선명도를 판단할 수 있다.
또는, CCU(1)은 딥러닝 기반의 학습된 선명도판단모델을 포함하여, 상기 선명도판단모델에 의하여 영상이미지의 선명도를 판단할 수 있다.
도 8은 종래의 속도검출방식과 본원 발명에서 사용되는 영상이미지의 의미론적 데이터를 도시한다.
도 8의 (a-1)는 종래의 영상이미지 기반의 속도검출방식에서 사용되는 영상이미지의 의미론적 영역을 도시한다. 전술한 바와 같이 종래의 영상이미지 기반의 속도검출방식은 차량이 원거리에서부터 검지선(L1)을 통과하기까지, 넓은 영역이 촬영된 영상이미지에 기초하여 속도를 산출하였다. 즉 종래의 속도검출방식에서 사용되는 영상이미지는 저배율로 촬영되어 원거리에 위치하는 객체의 검출이 원활하지 않고, 원거리에서부터 검지선(L1) 근방까지의 영역 전체가 속도검출 및 번호식별을 위한 의미론적 데이터에 해당하여, 데이터 처리에 많은 양의 연산부하를 필요로 하는 문제점이 있었다.
반면에, 도 8의 (a-2)는 본원 발명에서 사용되는 영상이미지의 의미론적 영역을 도시한 것으로서, 종래의 영상이미지 기반의 속도검출방식에서 사용되는 영상이미지보다 고배율로 검지선(L1) 근방의 영역만을 촬영하고 있다. 또는, 도 8의 (a-1)에서와 같이 본원 발명에서의 영상이미지는 원거리에서부터 검지선(L1) 근방까지의 영역이 촬영된 이미지일 수 있으나, 실제 영상이미지상에서 차량번호를 식별하기 위한 의미론적 영역은 검지선(L1) 근방의 영역으로 한정될 수 있다.
즉 본 발명의 일 실시예에 따르면, 영상이미지의 의미론적 영역의 크기 자체가 종래보다 좁은 영역에 해당하고, 번호식별을 위한 의미론적 영역이 축소됨으로써 이에 수반되는 연산부하를 대폭 경감할 수 있다.
결과적으로 본원 발명의 속도검출방식에서 사용되는 영상이미지는 고배율로 촬영되었거나, 검지선(L1) 근방의 국소영역만이 의미론적 영역에 해당하여, 영상이미지카메라(2)는 객체가 원거리에 위치했을 때의 영역은 촬영할 필요가 없고, CCU(1)은 객체가 원거리에 위치했을 때의 영역에 대해서는 번호식별을 연산을 수행할 필요가 없다.
도 8의 (b-1)는 종래의 영상이미지 기반의 속도검출방식에서 사용되는 영상이미지의 의미론적 프레임을 도시한다. 전술한 바와 같이 종래의 영상이미지 기반의 속도검출방식에서는 차량이 원거리에서 최초로 식별된 위치에서 검지선(L1)을 통과할 때 까지의 프레임 전체(f1~fn)가 의미론적 프레임에 해당할 수 있다.
반면에, 도 8의 (b-2)는 본원 발명에서 사용되는 영상이미지의 의미론적 프레임을 도시한 것으로서, 영상이미지를 생성하는 복수의 프레임 중 특정 프레임이 의미론적 프레임에 해당할 수 있다. 더 구체적으로는 복수의 프레임 중 '레이더데이터에 기반하여 결정된 객체가 검지선(L1)과 가장 가까웠을 시간을 기준으로 확장된 시간영역에 포함되는 m 개의 프레임'이 의미론적 프레임에 해당할 수 있다.
도 9는 본 발명의 일 실시예에 따른 유효레이더데이터에 기반하여 검출된 객체의 속도를 산출하는 과정을 도시한다.
도 9에 도시된 바와 같이 상기 속도산출단계는, 상기 n개의 유효레이더데이터 중, 속도가 가장 낮은 유효레이더데이터의 속도를 최저속도;로 결정하고, 속도가 가장 높은 유효레이더데이터의 속도를 최고속도;로 결정하고, 유효영역(A3) 내에서 가장 먼저 검출된 유효레이더데이터의 속도를 진입속도;로 결정하고, 검지선(L1)과 가장 가까운 유효레이더데이터의 속도를 진출속도;로 결정하고, 상기 n개의 유효레이더데이터의 속도의 평균을 제1평균속도;로 산출하고, 상기 진입속도와 상기 진출속도의 평균을 제2평균속도;로 산출할 수 있다.
또한 상기 속도산출단계는, 상기 제1평균속도, 진입속도, 진출속도 각각이, 각각에 대해 기설정된 제1속도기준을 초과하는 지 여부에 기초하여, 노이즈 여부를 판단하고, 상기 최고속도와 최저속도의 차가 기설정된 제2속도기준 이하인지 여부에 기초하여, 노이즈 여부를 판단하고, 노이즈로 판단되지 않는 경우에, 상기 제1평균속도와 상기 진출속도에 기초하여 해당 객체에 대한 최종속도를 산출할 수 있다.
도 9에 도시된 세부적인 단계들은 도 3의 S8단계에 포함될 수 있다.
즉, 도 9에 도시된 속도산출단계는, 유효영역(A3) 내에 raw레이더데이터의 개수가 기설정된 개수인지에 따라 1차적으로 노이즈인지 여부가 판별되고(S3단계), 차량번호의 일치율이 동일객체판단기준을 만족하는 지 여부에 따라 2차적으로 노이즈인지 여부가 판단된 후에(S7단계), 해당 조건을 모두 만족하는 경우에 최종적으로 수행될 수 있다.
또한, S9단계에서 CCU(1)은 선별된 n개의 유효레이더데이터에 기초하여 객체의 속도를 산출할 수 있으며, 해당 속도는 m 개의 영상이미지에서 식별된 차량번호를 가지는 객체에 대한 속도일 수 있다.
S8.1단계에서, CCU(1)은 n 개의 유효레이더데이터에 기초하여, 최고속도, 최저속도, 진입속도, 진출속도, 제1평균속도, 제2평균속도, 각각을 결정 혹은 산출할 수 있다.
구체적으로 최고속도란 상기 n개의 유효레이더데이터 중 가장 속도가 높은 유효레이더데이터의 속도를 의미한다.
또한 최저속도란 상기 n개의 유효레이더데이터 중 가장 속도가 낮은 유효레이더데이터의 속도를 의미한다.
진입속도란 상기 n개의 유효레이더데이터 중 유효영역(A3) 내에서 가장 먼저 검출되는 유효레이더데이터의 속도에 해당한다. 예시적으로 도 5에서 유효영역(A3) 내에서 최초로 검출되는 유효레이더데이터(v5)의 속도가 진입속도에 해당할 수 있다.
진출속도란 n개의 유효레이더데이터 중 검지선(L1)과 가장 가까운 유효레이더데이터의 속도에 해당한다. 예시적으로 도 5에서 유효영역(A3) 내에서 검지선(L1)과 가장 가까운 유효레이더데이터(v1)가 진출속도에 해당할 수 있다. 또는 유효영역(A3)은 검지선(L1)을 기준으로 차량진행 역방향으로 확장되므로, 유효영역(A3) 내에서 가장 마지막으로 검출되는 유효레이더데이터의 속도에 해당할 수도 있다.
제1평균속도란 n개의 유효레이더데이터 각각에 대한 평균속도를 의미한다. 도 5에서 제1평균속도는 n개의 유효레이더데이터(v1~v5) 각각에 대한 속도의 평균에 해당할 수 있다.
제2평균속도란 상기 진입속도와 상기 진출속도의 평균속도를 의미한다. 도 5에서 제2평균속도는 (v1+v5)/2로 산출될 수 있다.
이와 같이, S8.1단계에서 CCU(1)은 n 개의 유효레이더데이터에 기초하여, 최종속도 산출을 위한 복수의 매개변수들을 결정 혹은 산출할 수 있다.
S8.2단계에서, CCU(1)은 도출된 복수의 매개변수에 기반하여 해당 n개의 레이더데이터들이 노이즈에 해당하는 지 여부를 판단할 수 있다.
구체적으로 CCU(1)은 상기 제1평균속도, 진입속도, 진출속도 각각이, 각각에 대해 기설정된 제1속도기준을 초과하는 지 여부를 판단할 수 있다. 더 구체적으로 CCU(1)은 제1평균속도가 제1평균속도에 대해 설정된 제1속도기준을 초과하는 지 여부를 판단하고, 진입속도가 진입평균속도에 대해 설정된 제1속도기준을 초과하는 지 여부를 판단하고, 진출속도가 진출속도에 대해 설정된 제1속도기준을 초과하는 지 여부를 판단할 수 있다.
CCU(1)은 제1평균속도, 진입속도, 진출속도 각각이 모두 해당 속도에 대해 설정된 제1속도기준을 이상일 때, 해당 n 개의 유효레이더데이터들이 유효한 것으로 판단할 수 있다. 반면에 제1평균속도, 진입속도, 진출속도 중 1 이상이 해당 속도에 대해 설정된 제1속도기준 미만일 때 해당 n 개의 유효레이더데이터들을 노이즈로 판단할 수 있다.
본 발명의 일 실시예에서, 상기 제1평균속도, 진입속도, 진출속도 각각에 대해 설정된 제1속도기준은 동일 또는 상이하게 설정될 수 있다. 바람직하게는 상기 제1평균속도, 진입속도, 진출속도 각각에 대한 제1속도기준은 관리자에 의해 설정되어 CCU(1)에 저장될 수 있다.
또한, CCU(1)은 상기 최고속도와 최저속도의 차가 기설정된 제2속도기준 이하인지 여부를 판단할 수 있다. 구체적으로 CCU(1)은 결정된 최고속도와 최저속도의 차를 산출하고, 해당 차이값이 기설정된 제2속도기준 이하일 때, 해당 n 개의 유효레이더데이터들이 유효한 것으로 판단할 수 있다. 반면에 해당 차이값이 기설정된 제2속도기준를 초과할 때, 해당 n 개의 유효레이더데이터들을 노이즈로 판단할 수 있다.
이와 같이 CCU(1)은 검출된 객체의 최고속도와 최저속도를 비교함으로써, 정상속도범위에 포함되지 않은 이상치가 포함되는 경우 해당 유효레이더데이터들을 노이즈로 판단할 수 있다.
이와 같이 S8.2단계는 CCU(1)이 객체의 속도를 산출하기에 앞서, 해당 객체에 대한 레이더데이터에 내재되는 속도에 대한 정보가 유효한 값을 나타내는 지 혹은, 노이즈로 판단되는 지 여부를 판단하는 단계에 해당할 수 있다.
S8.3단계에서, CCU(1)은 검출된 객체에 대한 최종속도를 산출할 수 있다. 구체적으로 CCU(1)은 S8.1단계에서 결정된 제1평균속도와 진출속도에 기초하여 하기의 [식 1]에 따라 검출된 객체에 대한 최종속도를 산출할 수 있다.
[식 1]
Vf = (Va+Vb) / 2
(여기서 Vf는 최종속도, Va는 제1평균속도, Vb는 진출속도)
즉, 객체에 대한 최종속도는 제1평균속도와 진출속도의 평균으로 산출될 수 있다.
종래의 레이더 기반의 속도검출방식은 객체가 검지선(L1)을 통과할 때의 순간속도(본원 발명의 진출속도에 대응)만을 참조하여, 해당 객체의 속도를 검출하였다.
반면에, 본원 발명은 검지선(L1)으로부터 확장되는 유효영역(A3) 내에서 검출되는 n개의 유효레이더데이터의 속도를 모두 반영(제1평균속도)하되, 객체가 검지선(L1)을 통과할 때의 순간속도(진출속도)에 가중치를 부여하여, 객체에 대한 최종속도를 산출할 수 있다.
도 10은 본 발명의 일 실시예에 따른 오검지판단 알고리즘을 도시한다.
도 10에 도시된 바와 같이, 상기 CCU(1)은, 상기 m개의 영상이미지 각각에서 식별되는 번호판영역에서 번호판중심점의 이동정보를 도출하고, 객체의 속도가 과속으로 판단되고, 상기 번호판중심점의 이동정보가 기설정된 객체이동판단기준 이상인 경우에 해당 객체가 과속인 것으로 최종 판단하고, 상기 객체의 속도정보가 과속으로 판단되되, 상기 번호판중심점의 이동정보는 기설정된 객체이동판단기준 미만인 경우인 경우에 해당 객체의 속도가 오검지된 것으로 판단하는 오검지판단단계;를 더 수행할 수 있다.
전술한 과정을 통해 CCU(1)은 n개의 레이더데이터에 기반하여, 검출된 객체에 대한 속도를 산출하고, m개의 영상이미지에 기반하여, 검출된 객체에 대한 차량번호를 식별할 수 있다. 즉, 객체에 대한 속도 및 차량번호는 서로 다른 데이터에 기반하여 산출된 후 서로 매칭될 수 있다.
다시 말하자면, 서로 다른 객체에 대한 속도와 차량번호가 잘못 매칭될 때 객체의 속도가 오검지될 수 있고, 이와 같은 사례의 대표적 예시로는 동일 차선에 2 이상의 객체가 함께 존재하는 경우가 있다.
예를 들어, 정지구간 도로에 차량과 이륜차가 함께 존재한다고 가정하자. 이 때 (통상적으로 이륜차의 번호판은 후면에 부착되기에) 영상이미지가 촬영하는 영상이미지상에서는 차량에 대한 번호판영역만이 식별될 수 있다.
이런 상태에서 차량은 정지해 있고 이륜차는 이동할 때, 레이더(3)는 움직이는 객체를 인식하여 raw레이더데이터를 생성하고, 상술한 과정을 통해 해당 이륜차의 속도가 산출될 수 있다.
즉, 영상이미지에서 식별되는 객체의 차량번호는 정지해 있는 차량에 대한 것이고, 레이더데이터에서 검출되는 속도는 이륜차에 대한 것임에도, 영상이미지상에서 이륜차의 번호판영역이 식별되지 않아, 해당 속도가 정지해 있는 차량의 속도인 것으로 판단될 수 있다.
이와 같이 정지구간에서 차량이 정지해 있음에도, 동일 차선에서 움직인 다른 객체(이륜차)에 의해 해당 차량이 움직인 것으로 오검지될 수 있다.
이와 같이, 레이더는 raw레이더데이터영역 내에서 움직이는 객체를 검출하고 해당 객체에 대한 위치, 속도, ID 등을 식별할 수 있으나, 해당 객체의 차량번호는 인식할 수 없다.
(여기서, ID란 복수의 프레임별로 생성된 raw레이더데이터상에서 검출된 객체가 동일한 객체에 해당하는 지 여부(트래킹)를 식별하기 위한 정보로서, 차량번호 등으로 검출된 객체를 특정할 수 있는 정보에 해당하는 것은 아니다)
본원 발명의 CCU(1)은 이와 같은 오검지 사례를 방지하고자, 오검지판단단계를 추가적으로 수행할 수 있다.
구체적으로 도 10의 (a)에 도시된 바와 같이, CCU(1)은 m개의 영상이미지 각각에서 식별되는 번호판영역에서 번호판중심점의 이동정보를 도출할 수 있다. 여기서 번호판중심점의 이동정보란 m개의 영상이미지 각각에서 식별되는 번호판영역에서 번호판중심점의 변위에 대한 정보일 수 있다.
CCU(1)은 번호판중심점의 이동정보가 기설정된 객체이동판단기준 이상인지 여부를 판단할 수 있고, 이를 통해 해당 객체에 대한 속도가 오검지되었는 지 여부를 판단할 수 있다.
본 발명의 일 실시예에서, 오검지판단 알고리즘에 사용되는 복수의 영상이미지는, (차량번호 식별에 사용된) 상기 m개의 영상이미지일 수 있다. 전술한 바와 같이, 본원 발명은 복수의 영상이미지 중 검지선(L1)과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접하는 m개의 영상이미지에 대해서만 번호판영역 및 차량번호를 식별하는 방식으로 연산부하를 경감하였다.
마찬가지로, 오검지판단 알고리즘 또한 복수의 영상이미지 중 선별된 m개의 영상이미지에서 번호판영역을 식별하고 번호판중심점의 좌표와 변위를 도출하는 방식으로 연산부하량을 최소화할 수 있다.
달리 말하자면, 오검지판단 알고리즘을 위해 m개의 영상이미지 각각에서 번호판영역을 식별하는 과정이 재수행될 필요 없이, 차량번호식별단계에 번호판영역의 중심좌표와 이에 대한 변위를 도출하는 과정만 추가하는 방식으로 시스템이 구현될 수 있다.
한편 도 10의 (b)에 도시된 바와 같이, CCU(1)은 n개의 유효레이더데이터에 기반하여 검출된 객체가 과속인 것으로 판단되는 동시에, m개의 영상이미지에 기반하여 도출된 번호판중심점의 이동정보가 객체이동판단기준 이상일 때, 해당 객체가 과속인 것으로 최종판단할 수 있다.
즉, CCU(1)은 레이더데이터에 기반하여 객체의 움직임을 검출했을 때, 동일하게 영상이미지에서 (차량번호가 식별된) 객체의 움직임이 검출된 경우에, 해당 차량번호의 객체가 최종적으로 움직인 것으로 판단할 수 있다.
반면에, CCU(1)은 레이더데이터에 기반하여 객체의 움직임을 검출했을 때, 영상이미지에서는 (차량번호가 식별된) 객체의 움직임이 검출되지 않았을 때, 해당 차량번호의 객체에 대한 속도가 오검지된 것으로 판단할 수 있다.
이와 같이, 오검지판단 알고리즘은 레이더데이터에 기반하여 움직임이 검출된 객체와, 영상이미지에 기반하여 차량번호가 식별된 객체가 서로 일치하지 않는 오검지 사례를 방지하는 알고리즘일 수 있다.
이와 같이, 본 발명의 일 실시예에 따르면 CCU(1)은 영상이미지에 기반하여 객체의 속도를 산출하지는 않으나, 해당 객체의 이동여부 자체에 대해서는 판단하고 이를 오검지 판단에 활용할 수 있다.
도 11은 본 발명의 일 실시예에 따른 고스트필터링 알고리즘을 도시한다.
도 11에 도시된 바와 같이, 상기 raw레이더데이터는, 해당 raw레이더데이터의 신호크기에 대한 정보를 더 포함하고, 상기 속도산출단계는, 동일한 프레임에서 검출된 2 이상의 객체 각각에 대한 유효레이더데이터에 대하여, 인접하는 2개 객체 각각에 대한 유효레이더데이터에 대한 속도차가 기설정된 제1고스트판별기준 이하이고, 위치차가 기설정된 제2고스트판별기준 이하이고, 전방에서 식별되는 객체에 대한 유효레이더데이터의 신호크기와 후방에서 식별되는 객체에 대한 유효레이더데이터의 신호크기의 차이가 기설정된 제3고스트판별기준 이상인 경우에, 상기 인접하는 2개 객체 각각에 대한 유효레이더데이터를 고스트로 판별하여 필터링하는, 고스트필터링단계;를 포함할 수 있다.
또한 상기 복수의 영상이미지 각각에는, 고스트판단영역이 기설정되어 있고, 상기 고스트필터링단계는, 상기 영상이미지의 번호판중심점의 좌표정보가, 상기 고스트판단영역 내부에 위치하지 않는 경우에, 해당 영상이미지 및 해당 영상이미지에 대한 유효레이더데이터를 고스트로 판별하여 필터링하는 단계를 제2고스트필터링단계를 더 포함할 수 있다.
고스트 현상이란 한 대의 대형차량이 두 대 이상의 객체로 중복 검출되거나, 복수의 차량이 군집주행 시 전방의 위치하는 차량에 의해 레이더가 난반사되면서, 실제로는 존재하지 않는 가상의 객체가 검출되는 현상을 의미한다.
CCU(1)은 n 개의 유효레이더데이터에 기반하여 객체의 속도를 산출하기에 앞서, 해당 유효레이더데이터들이 고스트에 해당하는 지 여부를 먼저 판단할 수 있다.
CCU(1)은 복수의 raw레이더데이터 중 선별된 n개의 유효레이더데이터에 대한 고스트필터링 알고리즘을 수행할 수 있다.
CCU(1)은 하나의 프레임에서 2 이상의 객체가 검출되었을 때, 상기 2 이상의 각각에 대한 유효레이더데이터에 기초하여, 해당 유효레이더데이터들이 고스트인지 여부를 판단할 수 있다.
구체적으로 도 11의 (a)은 하나의 프레임에서 검출된 2개의 객체 각각에 대한 유효레이더데이터를 도시하며, v1, s1은 (차량진행방향을 기준으로) 후방에서 검출되는 객체에 대한 속도, 및 위치에 대한 정보를 의미하고, v2, s2은 (차량진행방향을 기준으로) 전방에서 검출되는 객체에 대한 속도, 및 위치에 대한 정보를 의미한다.
CCU(1)은 하기 3가지 단계를 통해 해당 유효레이더데이터들이 고스트인지 여부를 판단한다.
우선, CCU(1)은 인접하는 2개 객체 각각에 대한 유효레이더데이터에 대한 속도차(v1-v2)가 기설정된 제1고스트판별기준 이하인지 판단한다.
또한, CCU(1)은 인접하는 2개 객체 각각에 대한 유효레이더데이터에 대한 위치차(s-1-s2)가 제2고스트판별기준 이하인지 판단한다.
또한, CCU(1)은 인접하는 2개 객체 중, 전방에서 식별되는 객체에 대한 유효레이더데이터의 신호크기와 후방에서 식별되는 객체에 대한 유효레이더데이터의 신호크기의 차이가 기설정된 제3고스트판별기준 이상인지 판단한다. 구체적으로 레이더(3)가 생성하는 raw레이더데이터는 검출된 객체의 속도, 위치, ID에 대한 정보와 함께, 해당 raw레이더데이터의 신호크기에 대한 정보를 더 포함할 수 있고, CCU(1)은 인접하는 2개 객체 각각에 대한 레이더데이터의 신호크기를 비교할 수 있다.
CCU(1)은 상기의 3가지 단계에서의 판단결과가 모두 긍정으로 도출될 때, 해당 2개 객체 각각에 대한 레이더데이터 중 어느 하나를 고스트로 판별하고 필터링할 수 있다. 바람직하게는 CCU(1)은 3가지 단계에서 모두 긍정으로 도출될 때 해당 2개 객체 중 후방에서 식별되는 객체에 대한 유효레이더데이터를 고스트로 판별할 수 있다.
전술한 바와 같이, 한 대의 대형차량이 두 대 이상의 객체로 중복 검출되면서 고스트가 생성될 수 있고 이와 같이 생성되는 고스트는 원객체(대형차량)와 근거리에 위치하면서 유사한 속도를 가지는 것이 특징이다. 또한, 고스트는 원객체에 대한 신호크기보다 작은 특징을 가진다.
결과적으로, CCU(1)은 2개의 객체가 검출되었을 때, 2개 객체의 속도가 유사하면서(속도차가 제1고스트판별기준 이하), 근거리에 위치하고(위치차가 제2고스트판별기준 이하), 후방에서 식별되는 객체의 신호크기보다 전방에서 식별되는 객체의 신호크기가 충분히 작을 때(신호크기의 차이가 제3고스트판별기준 이상), 후방에서 식별되는 객체를 고스트로 판별하여 필터링할 수 있다.
한편, 도 11의 (b)에 도시된 바와 같이, CCU(1)은 추가적인 고스트 필터링단계를 더 수행할 수 있다.
구체적으로 본 발명의 일 실시예에서, 복수의 영상이미지 각각에서 고스트판단영역이 기설정될 수 있다. 고스트판단영역이란 영상이미지카메라(2)가 촬영영역(A4)을 촬영하여 생성된 영상이미지상에서 객체가 식별되었을 때, 해당 객체에 대한 번호판영역이 위치할 수 있는 영역범위에 해당할 수 있다.
즉, 객체가 정상적으로 촬영되었을 때, 영상이미지상에서 해당 객체의 번호판영역은 기설정된 고스트판단영역에 내부에 위치할 수 있다.
CCU(1)은 영상이미지에 대한 번호판중심점의 좌표정보가, 해당 영상이미지에서 기설정된 고스트판단영역에 포함되는 지 여부를 판단할 수 있다. 또한 번호판중심점의 좌표정보는 도 10의 오검지판단 알고리즘에서 도출된 번호판중심점의 좌표정보와 동일할 수 있다.
도 11의 (b)의 상측이미지는, 정상적인 영상이미지를 도시한다. 구체적으로 영상이미지상에서는 고스트판단영역이 기설정되어 있을 수 있고, 해당 영상이미지에서 식별된 객체의 번호판영역에 대한 번호판중심점의 좌표정보가 해당 고스트판단영역 내부에 위치할 경우, CCU(1)은 해당 영상이미지를 유효한 데이터로 판별할 수 있다.
도 11의 (b)의 하측이미지는, 고스트로 판단되는 영상이미지를 도시한다. 동일하게 영상이미지상에서는 고스트판단영역이 기설정되어 있을 수 있고, 해당 영상이미지에서 식별된 객체의 번호판영역에 대한 번호판중심점의 좌표정보가 해당 고스트판단영역 내부에 위치하지 않는 경우, CCU(1)은 해당 영상이미지를 노이즈로 판별하고 필터링할 수 있다.
통상적으로 영상이미지에서 고스트는 무작위 위치에 생성될 수 있다. 반면에 영상이미지에서 객체가 정상적으로 검출되었을 때, 해당 객체의 번호판영역은 차량의 진행방향을 따라 특정 영역 내에서 식별될 수 있다.
이와 같은 노이즈의 특성을 고려하여, 본원 발명은 객체가 정상적으로 식별되었을 때, 번호판중심점이 위치할 수 있는 고스트판단영역을 기설정하고, 검출된 객체에 대한 번호판중심점의 위치가 해당 고스트판단영역 내부에 위치하는 경우에 해당 데이터를 유효한 데이터로 판단하고, 번호판중심점의 위치가 해당 고스트판단영역 내부에 위치하지 않고 무작위 위치에 생성되는 경우에 해당 데이터를 노이즈로 판별하여 필터링할 수 있다.
본 발명의 일 실시예에서, CCU(1)은 복수의 영상이미지 중 m개의 영상이미지에 대해서 제2고스트필터링단계를 수행할 수 있다.
전술한 바와 같이, CCU(1)은 복수의 영상이미지 중 m개의 영상이미지에 대해서만 번호판영역 및 차량번호를 식별하는 방식으로 연산부하를 경감할 수 있다. 마찬가지로 CCU(1)은 복수의 영상이미지 전체가 아닌 m개의 영상이미지에 대해서만 제2고스트필터링단계를 수행하여 연산부하를 경감할 수 있다.
2. 단속영역 가변형 다차로 단속시스템
본 발명은 전술한 '1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템'에 기반하여 구현될 수 있고, 이하에서는 본원 발명에 대해 보다 상세히 설명하도록 한다.
도 12는 본 발명의 일 실시예에 따른 단속영역 가변형 다차로 단속시스템의 구성요소를 도시한다.
도 12에 도시된 바와 같이, 단속영역 가변형 다차로 단속시스템은 도로 위의 복수의 차선을 포함하는 영역에 레이더를 조사하여 검출된 차량의 속도를 측정하는 레이더(3); 기계적 동작에 의하여 팬틸트를 조작하는 회전모듈(20); 및 줌을 조작하는 줌렌즈(21);을 포함하고, 상기 회전모듈(20) 및 줌렌즈(21)에 의하여 팬, 틸트, 및 줌이 가변하면서, 상기 복수의 차선 중 일부의 차선에 해당하는 단속대상차선을 촬영하는 영상이미지카메라(2); 외부서버(4)로부터 단속대상차선에 대한 정보를 수신하고, 상기 레이더(3)에 의해 생성된 raw레이더데이터 및 상기 영상이미지카메라(2)에 의해 생성된 영상이미지에 기반하여, 상기 단속대상차선을 주행하는 차량의 속도를 검출하는, CCU(1);을 포함할 수 있다.
전술한 바와 같이, 본 발명은 '1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템'에 기반하여 구현될 수 있고, 도 12의 각 구성요소들은 실질적으로 도 1의 각 구성요소들에 대응할 수 있다.
한편, 본 발명인'2. 단속영역 가변형 다차로 단속시스템'을 구현함에 있어, 영상이미지카메라(2)는 회전모듈(20) 및 줌렌즈(21)를 더 포함할 수 있다. 구체적으로 회전모듈(20)은 영상이미지카메라(2)의 좌우회전(팬)과 상하회전(틸트)을 기계적으로 조절하여, 좌우 및 상하방향으로의 촬영각도를 결정할 수 있다.
바람직하게는 영상이미지카메라(2)는 별도의 임베디드 컴퓨팅장치를 포함하고, CCU(1)로부터 수신한 제어명령에 따라 회전모듈(20)의 팬틸트를 조절할 수 있다.
본 발명의 일 실시예에서, 영상이미지카메라(2)는 PTZ카메라일 수 있다.
한편, 줌렌즈(21)는 영상이미지카메라(2)의 줌과 포커스를 조절할 수 있다. 구체적으로 줌렌즈(21)는 기계적으로 혹은 디지털적으로 영상이미지카메라(2)의 초점거리와 배율을 가변할 수 있다. 바람직하게는 영상이미지카메라(2)는 CCU(1)로부터 수신한 제어명령에 따라 줌렌즈(21)의 줌과 포커스를 조절하여, 고배율 혹은 저배율로 촬영할 수 있다.
한편, 전술한 바와 같이 서버(4)는 CCU(1)로부터, 해당 CCU(1)이 검출한 객체들에 대한 정보(차량번호, 속도 등)를 수신하는 대상에 해당할 수 있고, 본 발명의 일 실시예에서 서버(4)는 CCU(1)에 단속대상차선에 대한 정보를 송신할 수 있다.
구체적으로 본 발명은 도로상의 모든 복수의 차선들에 대한 속도단속을 동시에 수행하는 것이 아니라, 이 중 일부에 해당하는 단속대상차선에 대해서만 속도단속을 수행할 수 있다.
바람직하게는 본 발명은 서버(4)에 의해 설정된 단속대상차선에 대해서만 속도단속을 수행할 수 있으며, 서버(4)는 단속대상차선을 가변할 수도 있다. 이와 같이 서버(4)는 CCU(1)에 단속대상차선에 대한 정보를 송신하여, CCU(1)이 해당 단속대상차선을 주행하는 차량의 속도를 검출하도록 할 수 있다.
본 발명의 일 실시예에서, 서버(4)의 관리자는 임의로 단속대상차선을 결정하여, CCU(1)이 관리자가 선택한 단속대상차선을 주행하는 차량의 속도를 검출하게끔 할 수 있다.
또는, 서버(4)는 복수의 구분영역들을 교번적으로 단속대상차선으로 결정하는 알고리즘에 기반하여, CCU(1)이 복수의 차선들에 대해 속도단속을 순차적으로 수행하게끔 할 수 있다.
이와 같이, 본 발명의 일 실시예에 따르면, 서버(4)가 단속대상차선을 변경해가면서 속도단속을 수행하고, 운전자로 하여금 현재 어떤 차선이 속도단속 중인 지 인지할 수 없게 하여, 자발적으로 속도를 경감하게끔 할 수 있다.
도 13은 본 발명의 일 실시예에 따른 단속영역 가변형 다차로 단속시스템에 의해 수행되는 단계들을 도시한다.
도 13에 도시된 바와 같이, 상기 CCU(1)은, 외부서버(4)로부터 단속대상차선을 수신하고, 해당 단속대상차선에 대응하여 저장된 팬틸트정보 및 프리셋정보를 결정하는 프리셋결정단계; 결정된 상기 팬틸트정보에 따라 상기 회전모듈(20)의 팬틸트 및 줌렌즈(21)의 줌을 조작하여, 상기 영상이미지카메라(2)가 상기 단속대상차선을 포함하는 구분영역을 촬영하도록 설정하는 영상이미지카메라조작단계; 상기 레이더(3) 및 영상이미지카메라(2)로부터 raw레이더데이터 및 영상이미지를 수신하고, 결정된 상기 프리셋정보를 반영하면서 속도검출알고리즘을 수행하여 상기 단속대상차선을 주행하는 차량의 속도를 검출하는 연산단계;를 수행할 수 있다.
전술한 바와 같이, 본 발명은 '1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템'에 기반하여 구현될 수 있고, 도 13의 실선으로 표시된 S1 내지 S8단계들은 실질적으로 도 3의 S1 내지 S8단계 각각에 대응하여 동일할 수 있다.
한편, 본 발명의 단속영역 가변형 단속시스템을 구현함에 있어, CCU(1)은 점선으로 표시된 SS1 내지 SS5단계 및 SS2.1단계를 더 수행할 수 있다. 즉 본 발명은 영상이미지카메라(2)가 팬틸트줌을 가변할 수 있는 PTZ카메라이고, CCU(1)에서 추가적인 알고리즘을 수행하는 것으로 구현될 수 있다.
SS1단계에서, CCU(1)에는 구분영역별로 팬틸트정보 및 프리셋정보가 저장될 수 있다. 구체적으로 구분영역이란 도로상의 모든 복수의 차선들을 각각의 차선별로, 혹은 인접하는 2 이상의 차선별로 구분하는 가상의 영역에 해당할 수 있다.
예를 들어, 각각의 차선별로 구분영역이 설정되는 경우에, CCU(1)에는 각각의 차선별로 해당 차선에 대응하는 팬틸트정보 및 프리셋정보가 저장될 수 있다.
또는, 인접하는 2개의 차선별로 구분영역이 설정되는 경우에, CCU(1)에는 1차선과 2차선을 포함하는 영역, 2차선과 3차선을 포함하는 영역, 3차선과 4차선을 포함하는 영역별로 해당 영역에 대응하는 팬틸트정보 및 프리셋정보가 저장될 수 있다.
바람직하게는 서버(4)의 관리자에 의하여 구분영역별로 팬틸트정보와 프리셋정보가 입력될 수 있고, 서버(4)는 각각의 구분영역별로 입력된 팬틸트정보와 프리셋정보를 CCU(1)로 송신하여, CCU(1)이 해당 정보를 저장하게끔 할 수 있다.
SS2단계에서, CCU(1)은 외부의 서버(4)로부터 단속대상차선에 대한 정보를 수신할 수 있다. 구체적으로 단속대상차선이란 도로상의 복수의 차선 중 속도단속을 수행하고자 하는 차선에 해당할 수 있고 이는 서버(4)에 의해 결정될 수 있다. 바람직하게는 복수의 구분영역 중 어느 하나의 구분영역이 단속대상차선으로 결정되어, 해당 구분영역에 포함되는 차선들에 대한 속도단속이 수행될 수 있다.
SS3단계에서, CCU(1)은 단속대상차선에 대응하는 팬틸트정보 및 프리셋정보를 결정할 수 있다. 전술한 바와 같이, CCU(1)에는 복수의 구분영역별로 팬틸트정보 및 프리셋정보가 저장될 수 있고, 외부의 서버(4)로부터 단속대상차선에 대한 정보를 수신할 수 있다. CCU(1)은 구분영역 각각에 대응하여 저장된 복수의 팬틸트정보 및 프리셋정보 중, 단속대상차선으로 결정된 구분영역에 대응하여 저장된 팬틸트정보 및 프리셋정보를 결정할 수 있다.
SS4단계에서, CCU(1)은 결정된 팬틸트정보에 기반하여, 영상이미지카메라(2)가 단속대상차선을 포함하는 구분영역을 촬영하도록 제어할 수 있다. 구체적으로 팬틸트정보는 영상이미지카메라(2)가 해당 구분영역을 촬영할 수 있는 팬, 틸트, 및 줌에 대한 설정정보에 해당할 수 있다.
바람직하게는, 영상이미지카메라(2)는 CCU(1)로부터 수신한 팬틸트정보에 기반하여, 회전모듈(20)의 팬, 틸트 및 줌렌즈(21)의 줌을 조작하여, 단속대상차선에 해당하는 구분영역으로 촬영하여 영상이미지를 생성할 수 있다.
이어서, CCU(1)은 SS5단계를 수행하여, 상기 단속대상차선에 대한 속도단속을 수행할 수 있다. 구체적으로 SS5단계는 '1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템'에서 수행되는 복수의 단계들을 포함할 수 있다.
즉, SS5단계에서, CCU(1)은 '1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템'의 알고리즘(S1 내지 S8단계)과 동일하게, 영상이미지카메라(2)로부터 영상이미지를 수신하고, 레이더(3)로부터 raw레이더데이터를 수신하여, 이에 기반하여 속도단속을 수행할 수 있다.
이와 같이, SS5단계에 포함되는 S1 내지 S8단계는 도 3에서 전술한 각 단계들과 실질적으로 동일하므로 중복된 설명은 생략한다.
한편, CCU(1)은 앞서 결정된 프리셋정보를 반영하면서 SS5단계를 수행할 수 있다. 구체적으로 S1 내지 S8단계에서 CCU(1)은 기설정된 유효영역(A3) 내에 존재하는 raw레이더데이터의 개수를 판단하거나, 검지선(L1)과 가장 가까운 유효레이더데이터를 선별할 수 있다. 또는 CCU(1)은 영상이미지에서 검출된 번호판중심점이 기설정된 고스트판단영역 내에 존재하는 지 여부에 따라 해당 영상이미지 및 해당 영상이미지에 대한 유효레이더데이터를 고스트로 판별할 수도 있다.
이와 같이, 검지선(L1), 유효영역(A3) 등이 결정된 상태에서 CCU(1)은 S1 내지 S8단계를 수행할 수 있다.
한편, 프리셋정보는 CCU(1)이 S1 내지 S8단계를 수행하기 위하여 기본적으로 설정되어야 하는 검지선(L1), 유효영역(A3) 등에 대한 좌표정보에 해당할 수 있다. 바람직하게는, 프리셋정보는 복수의 구분영역 각각에 대응하여 CCU(1)에 저장되어 있을 수 있다. 즉, 검지선(L1), 유효영역(A3) 등에 대한 좌표정보는 각각의 구분영역별로 상이하게 저장될 수 있다.
한편, CCU(1)은 SS5단계를 수행함에 있어, S1 내지 S8단계 외에 별도의 SS2.1단계를 더 수행할 수 있다.
SS2.1단계에서, CCU(1)은 레이더(3)로부터 수신한 raw레이더데이터 중 단속대상차선에서 검출되는 raw레이더데이터를 선별할 수 있다. 구체적으로 레이더(3)는 복수의 구분영역 중 어떤 구분영역이 단속대상차선으로 결정되는 지 여부에 관계없이 항상 동일한 레이더조사영역(A1)에 레이더를 조사하여 raw레이더데이터를 생성할 수 있다. 즉, 레이더(3)는 도로상의 모든 복수의 차선에서 검출되는 모든 차량을 검출할 수 있다.
한편, CCU(1)은 레이더(3)에 의해 생성된 raw레이더데이터 중 단속대상차선에 해당하는 구분영역에서 검출되는 raw레이더데이터를 선별하고, 선별된 raw레이더데이터에 기반하여 이후의 단계들을 수행할 수 있다.
즉, SS5단계의 S3 내지 S8단계들은 도로상의 모든 복수의 차선에서 검출되는 차량에 대한 raw레이더데이터에 기반하여 수행되는 것이 아니라, 단속대상차선에서 검출되는 차량에 대한 raw레이더데이터에 기반하여 수행될 수 있다.
정리하자면, CCU(1)은 서버(4)로부터 단속대상차선에 대한 정보를 수신하고, 영상이미지카메라(2)로 하여금 해당 단속대상차선을 포함하는 구분영역을 촬영하여 영상이미지를 생성하도록 제어할 수 있고, 레이더(3)로부터 수신한 raw레이더데이터 중 단속대상차선에 대한 raw레이더데이터를 선별하여, 단속대상차선이 촬영된 영상이미지와 단속대상차선에 대해 선별된 raw레이더데이터에 기반하여, 단속대상차선을 주행하는 차량들의 속도를 검출할 수 있다.
도 14는 본 발명의 일 실시예에 따른 촬영하는 구분영역을 가변하면서 영상이미지를 생성하는 영상이미지카메라(2) 및 CCU(1)에 구분영역별로 저장되는 정보들을 도시한다.
도 14에 도시된 바와 같이, 상기 레이더(3)는, 도로상의 모든 복수의 차선을 포함하는 레이더조사영역(A1)에 레이더를 조사하여, 도로상의 모든 복수의 차선에서 검출되는 모든 차량의 위치, 및 속도에 대한 정보를 포함하는 raw레이더데이터를 생성하여 상기 CCU(1)로 송신하고, 상기 CCU(1)은, 모든 복수의 차선에 대한 raw레이더데이터 중 상기 단속대상차선에 대한 raw레이더데이터를 선별하여, 차량의 속도를 검출할 수 있다.
또한, 상기 CCU(1)에는, 도로상의 복수의 차선을, 각각의 차선별로 혹은 인접하는 2 이상의 차선별로 영역을 구분하여, 각각의 구분영역에 대응하는 복수의 팬틸트정보가 저장되어 있고, 상기 외부서버(4)로부터 수신한 단속대상차선에 대응하는 팬틸트정보에 따라 상기 회전모듈(20) 및 줌렌즈(21)를 조작하여, 상기 영상이미지카메라(2)가 해당 단속대상차선을 포함하는 구분영역을 촬영하도록 할 수 있다.
또한 상기 레이더(3)는, 외부서버(4)가 복수의 차선 중 어느 단속대상차선에 대한 단속을 수행하는 지 여부에 관계없이, 고정된 레이더조사영역(A1)에 레이더를 조사하여, raw레이더데이터를 생성할 수 있다.
도 14의 (a)에 도시된 바와 같이, 레이더(3)는 도로상의 모든 복수의 차선을 포함하는 영역에 레이더를 조사하여, 도로상의 모든 복수의 차선에서 주행 중인 모든 차량에 대한 raw레이더데이터를 생성할 수 있다.
구체적으로 레이더(3)는 도로상의 모든 복수의 차선을 포함하는 레이더조사영역(A1)에 레이더를 조사하고, 도로상의 모든 복수의 차선을 포함하되, 레이더조사영역(A1)보다는 좁은 raw레이더데이터영역(A2)에서 raw레이더데이터를 생성할 수 있다.
한편, 레이더(3)는 항상 같은 영역에서 raw레이더데이터를 생성할 수 있다. 구체적으로 레이더(3)가 레이더를 조사하는 레이더조사영역(A1)과, 레이더조사영역(A1) 내에서 raw레이더데이터를 생성하는 raw레이더데이터영역(A2)은, (외부의 서버(4)에 의하여 어떤 구분영역이 단속대상차선으로 결정되더라도) 항상 같은 영역으로 고정될 수 있다.
본 발명의 일 실시예에 따르면, 레이더조사영역(A1)과 raw레이더데이터영역(A2)을 고정시킴으로써, 속도검출에 대한 신뢰성을 향상시킬 수 있다. 반면에 단속대상차선이 변경될 때마다 레이더조사영역(A1)과 raw레이더데이터영역(A2)을 변경하는 방식으로, 레이더(3)가 단속대상차선으로 결정된 구분영역에 대해서만 raw레이더데이터를 생성하게 했을 때, 생성된 raw레이더데이터의 신뢰성이 저하될 수 있다.
예를 들어, 레이더(3)가 좌우 및 상하방향으로 바라보는 각도를 기계적으로 변경하는 방식으로, 단속대상차선이 변경될 때마다 레이더조사영역(A1)을 가변할 수 있으나, 변경과정에서의 오차 등에 의하여 같은 구분영역에 대해서도 레이더조사영역(A1)이 서로 다르게 설정될 수 있다.
즉, 이전의 회차에서 특정 구분영역이 단속대상차선으로 결정되었을 때 레이더(3)가 레이더를 조사하는 영역과, 이후의 회차에서 해당 구분영역이 다시 단속대상차선으로 결정되었을 때 레이더(3)가 레이더를 조사하는 영역이 상이할 수 있고, 이는 결과적으로 레이더(3)에 의해 생성된 raw레이더데이터에 대한 신뢰성을 저하시키는 요인이 될 수 있다.
이와 같은 문제를 방지하고자, 본 발명의 일 실시예에서는, 단속대상차선의 변경에 관계없이 레이더(3)는 항상 같은 레이더조사영역(A1)에 레이더를 조사하고, 같은 raw레이더데이터영역(A2)에서 raw레이더데이터를 생성할 수 있다. 바람직하게는 레이더(3)는 도로상의 모든 복수의 차선을 포함하는 레이더조사영역(A1)에 레이더를 조사하고, 모든 차선에서 주행하는 모든 차량에 대한 raw레이더데이터를 생성하여 CCU(1)로 송신할 수 있다.
한편, 다시 도 14의 (a)에 도시된 바와 같이, 영상이미지카메라(2)는 도로상의 복수의 차선을 구분하는 구분영역별로 영상이미지를 생성할 수 있다. 구체적으로 구분영역은 도로상의 모든 복수의 차선을, 각각의 차선별로 혹은 인접하는 2 이상의 차선별로 구분하는 가상의 영역에 해당할 수 있다.
예를 들어, 도 14의 (a)에서 구분영역#1은 1차선과 2차선을 포함하는 영역에 해당할 수 있고, 구분영역#1이 단속대상차선으로 결정되는 경우에, 영상이미지카메라(2)는 1차선과 2차선을 포함하는 영역이 촬영된 영상이미지를 생성할 수 있다. 바람직하게는, 영상이미지카메라(2)는 CCU(1)로부터 수신한 팬틸트정보에 따라 회전모듈(20)과 줌렌즈(21)를 조작하여, 단속대상차선으로 결정된 구분영역을 촬영하여 영상이미지를 생성할 수 있다.
이와 같이, 영상이미지카메라(2)는 모든 복수의 차선을 포함하는 광범위한 영역을 촬영하지 않고, 단속대상차선에 해당하는 구분영역을 포함하는 국소범위만을 촬영하여, 고해상도의 영상이미지를 생성할 수 있다.
한편, 도 14의 (b)에 도시된 바와 같이, CCU(1)에는 복수의 구분영역별로 팬틸트정보 및 프리셋정보가 저장되어 있을 수 있다. 구체적으로 특정 구분영역이 단속대상차선으로 결정되었을 때, CCU(1)은 단속대상차선으로 결정된 구분영역에 대응하는 팬틸트정보를 영상이미지카메라(2)로 송신하여, 영상이미지카메라(2)가 단속대상차선으로 결정된 구분영역에 대한 영상이미지를 생성하도록 할 수 있다.
또한, CCU(1)이 레이더(3)로부터 수신한 raw레이더데이터 및 영상이미지카메라(2)로부터 수신한 영상이미지에 기반하여, 단속대상차선에 대한 속도단속을 수행하는 과정에서, CCU(1)은 단속대상차선으로 결정된 구분영역에 대해 저장된 프리셋정보를 반영할 수 있다.
도 15는 본 발명의 일 실시예에 따른 영상이미지카메라(2)가 단속대상차선을 포함하는 구분영역을 촬영하여 영상이미지를 생성하는 과정을 도시한다.
도 15의 (a)에 도시된 바와 같이, 서버(4)는 CCU(1)로 단속대상차선에 대한 정보를 송신할 수 있다. 예를 들어, 도로상의 모든 복수의 차선이 각각의 차선별로 구분영역#1, #2, 및 #3으로 구분되었을 때, 서버(4)는 구분영역#1을 단속대상차선으로 결정하고 이에 대한 정보를 CCU(1)로 송신할 수 있다.
CCU(1)은 서버(4)로부터 수신한 단속대상차선에 대한 정보에 기반하여, 단속대상차선에 대응하는 팬틸트정보를 결정할 수 있다. 구체적으로 CCU(1)에는 구분영역#1, #2, 및 #3 각각에 대응하여 팬틸트정보와 프리셋정보들이 저장되어 있을 수 있고, 서버(4)로부터 구분영역#1이 단속대상차선으로 결정된 정보를 수신함에 따라, 구분영역#1에 대해 저장된 팬틸트정보#1를 결정할 수 있다.
다시 CCU(1)은, 결정된 팬틸트정보#1를 영상이미지카메라(2)로 송신할 수 있고, 영상이미지카메라(2)는 CCU(1)로부터 수신한 팬틸트정보#1에 기반하여 회전모듈(20)의 팬틸트 및 줌렌즈(21)의 줌을 조작하여, 해당 단속대상차선을 포함하는 구분영역#1을 촬영할 수 있다.
달리 말하자면, 팬틸트정보#1에 따라 영상이미지카메라(2)의 팬, 틸트, 및 줌이 조절되었을 때, 고해상도 및 고배율로 구분영역#1이 촬영된 영상이미지가 생성될 수 있다.
도 15의 (b)는 각각의 구분영역별로 생성된 영상이미지의 일례를 도시한다. 구체적으로 팬틸트정보#1에 기반하여, 영상이미지카메라는 구분영역#1을 포함하는 영역을 촬영영역#1(A4.1)으로 하여, 영상이미지를 생성할 수 있다.
이와 같이 본 발명의 일 실시예에서 영상이미지카메라(2)는 문형식 구조물에 고정되어 설치된 상태에서, 팬, 틸트, 및 줌을 가변해가면서 단속대상차선으로 결정된 구분영역을 촬영할 수 있다.
도 16은 본 발명의 일 실시예에 따른 CCU(1)이 모든 복수의 차선에 대한 raw레이더데이터 중 단속대상차선에 대한 raw레이더데이터를 선별하는 과정을 도시한다.
도 16의 (a)에 도시된 바와 같이, CCU(1)은 서버(4)로부터 단속대상차선에 대한 정보를 수신하고, 레이더(3)로부터 raw레이더데이터를 수신할 수 있다.
바람직하게는, CCU(1)은 서버(4)로부터 수신한 단속대상차선에 대한 정보에 관계없이, 레이더(3)로부터 도로상의 모든 복수의 차선에 대한 raw레이더데이터를 수신할 수 있다.
예를 들어, 도로상의 복수의 차선이 구분영역 #1, #2, 및 #3으로 구분되는 경우에, CCU(1)은 서버(4)로부터 구분영역#1이 단속대상차선으로 결정된 정보를 수신할 수 있다.
한편, CCU(1)은 레이더(3)로부터 수신한 raw레이더데이터 중 상기 단속대상차선에 대응하는 구분영역에 대한 raw레이더데이터를 선별할 수 있다. 전술한 바와 같이, raw레이더데이터는 검출된 차량에 대한 속도, 위치 등에 대한 정보를 포함할 수 있다.
CCU(1)은 복수의 raw레이더데이터 각각에 내재되는 위치정보를 참조하여, 해당 raw레이더데이터가 단속대상차선으로 결정된 구분영역에서 검출되었는 지 여부를 판단하고, 단속대상차선에서 검출된 raw레이더데이터를 선별할 수 있다.
구체적으로 도 16의 (b)의 좌측에 도시된 바와 같이, CCU(1)이 레이더(3)로부터 수신한 raw레이더데이터들은 도로상의 차선을 구분하는 구분영역#1, #2, 및 #3에 관계없이, 모든 구분영역에서 생성될 수 있다.
한편, 도 16의 (b)의 우측에 도시된 바와 같이, 서버(4)에 의하여 구분영역#1이 단속대상차선으로 결정되는 경우에, CCU(1)은 구분영역#1에서 검출된 raw레이더데이터들을 선별하고, 선별된 raw레이더데이터에 기반하여 구분영역#1에서 주행 중인 차량의 속도를 검출할 수 있다.
도 17은 본 발명의 일 실시예에 따른 CCU(1)이 단속대상차선에 대한 프리셋정보를 반영하면서 속도를 검출하는 과정을 도시한다.
도 17에 도시된 바와 같이, 상기 CCU(1)에는, 검지선(L1), 상기 raw레이더데이터 중 유효레이더데이터를 선별하는 유효영역(A3), 및 상기 영상이미지에서 번호판영역을 식별하는 관심영역(A5)이 설정되어 있는 복수의 프리셋정보들이 각각의 구분영역에 대응하여 저장되어 있고, 상기 CCU(1)은, 단속대상차선이 촬영된 영상이미지, 단속대상차선에 대해 선별된 raw레이더데이터, 및 단속대상차선에 대응하는 프리셋정보에 기반하여, 속도검출알고리즘을 수행하여 차량의 속도를 검출할 수 있다.
도 17의 (a)에 도시된 바와 같이, CCU(1)에는 구분영역 각각에 대응하여 팬틸트정보 및 프리셋정보가 저장되어 있고, CCU(1)은 서버(4)로부터 수신한 단속대상차선에 대한 정보에 기초하여, 해당 단속대상차선에 대응하는 구분영역에 대한 프리셋정보를 반영하면서 속도검출 알고리즘을 수행할 수 있다.
프리셋정보는 CCU(1)이 속도검출 알고리즘을 수행함에 있어, 기초적으로 설정되어야 하는 정보들에 해당할 수 있다. 바람직하게는 프리셋정보는 속도단속의 기준이 되는 검지선(L1), raw레이더데이터 중 유효레이더데이터를 추출하기 위한 유효영역(A3), 영상이미지에서 번호판을 식별하는 관심영역(A5) 중 1 이상에 위치 혹은 영역에 대한 정보를 포함할 수 있다.
예를 들어, CCU(1)이 기설정된 유효영역(A3) 내에서 raw레이더데이터가 기설정된 개수 이상 검출되는 지 여부를 판단하거나, 선별된 유효레이더데이터 중에서 검지선(L1)과 가장 가까운 유효레이더데이터를 선별하는 단계를 수행하기 위하여 설정되어야 하는 검지선(L1), 유효영역(A3) 등에 대한 정보들이 프리셋정보에 해당할 수 있다.
또한, CCU(1)은 영상이미지에서 번호판영역과 차량번호를 식별할 수 있고, 바람직하게는 CCU(1)은 영상이미지 내에 관심영역(A5)에서 번호판영역과 차량번호를 식별할 수 있다. 이와 같은 관심영역에 대한 정보 또한 프리셋정보에 해당할 수 있다.
또는, CCU(1)은 영상이미지에서 추출된 객체의 번호판영역이 기설정된 고스트판단영역에 내부에 위치하는 지 여부를 판단하여, 해당 영상이미지가 고스트에 해당하는 지 판단할 수 있고, 이와 같은 고스트판단영역에 대한 정보가 프리셋정보에 해당할 수 있다.
이와 같은 프리셋정보는 복수의 구분영역 각각에 대해 저장되어, CCU(1)은 각 구분영역에 대해 개별적으로 검지선(L1), 유효영역(A3) 등을 적용하면서, 속도검출알고리즘을 수행하여 보다 정밀하게 속도단속을 수행할 수 있다.
도 17의 (b-1)는 레이더(3)와 관련된 프리셋정보들을 도시한다. 구체적으로 레이더(3)는 도로상의 모든 복수의 차선을 포함하는 레이더조사영역(A1)에 레이더를 조사하고, raw레이더데이터영역(A2)에서 도로상의 모든 복수의 차선을 주행하는 모든 차량에 대한 raw레이더데이터를 생성할 수 있다.
전술한 바와 같이, 단속대상차선의 변동에 관계없이 레이더조사영역(A1)과 raw레이더데이터영역(A2)은 고정된 상태를 유지할 수 있다.
한편, CCU(1)은 레이더(3)로부터 raw레이더데이터영역(A2)에서 생성된 모든 raw레이더데이터를 수신할 수 있고, 이중 단속대상차선에 해당하는 raw레이더데이터를 선별할 수 있다.
예를 들어, 구분영역 #1이 단속대상차선으로 결정되는 경우에, 구분영역 #1에 대한 영역(A2.1)에서 검출되는 raw레이더데이터를 선별할 수 있다.
한편, 도시된 바와 같이, 구분영역#1, #2, 및 #3 각각에 대한 프리셋정보에는, 해당 구분영역에 대한 검지선(L1)과 유효영역(A3)에 대한 정보를 포함할 수 있다.
구체적으로 구분영역#1, #2, 및 #3 각각에 대해서, 검지선(L1.1, L1.2, 및 L1.3)과 유효영역(A3.1, A3.2, 및 A3.3)에 대한 정보가 저장될 수 있다. CCU(1)은 구분영역#1이 단속대상차선으로 결정되는 경우, 유효영역(A3.1) 내에서의 raw레이더데이터의 개수를 판단하여 유효레이더데이터를 선별하거나, 검지선(L1.1)과 가장 가까운 유효레이더데이터를 선별할 수 있다.
도 17의 (b-2)는 영상이미지카메라(2)와 관련된 프리셋정보들을 도시한다. 전술한 바와 같이 영상이미지카메라(2)는 CCU(1)로부터 수신한 팬틸트정보에 따라 영상이미지를 생성할 수 있고, 이와 같이 생성되는 영상이미지는 해당 팬틸트정보에 대한 구분영역이 촬영된 이미지에 해당할 수 있다.
바람직하게는 영상이미지카메라(2)는 고정된 위치에서 팬, 틸트, 및 줌을 가변하여 영상이미지를 생성하기 때문에, 각각의 구분영역에 대해 생성된 영상이미지의 배율, 촬영각도 등이 상이할 수 있고, 각각의 구분영역에 대해 생성된 영상이미지에 기반하여 정확하게 속도를 검출하기 위해서는, 각각의 구분영역별로 관심영역(A5)이 설정될 필요가 있다.
예를 들어, 영상이미지카메라(2)는 구분영역#1에 대한 팬틸트정보에 기반하여, 구분영역#1이 포함되도록 촬영영역(A4.1)을 설정하여 영상이미지를 생성하여, 생성된 영상이미지를 CCU(1)로 송신할 수 있다.
한편, CCU(1)은 구분영역#1에 대한 프리셋정보에 기반하여, 구분영역#1에 대해 설정된 관심영역(A5.1)에서 번호판영역 및 차량번호를 식별할 수 있다.
본 발명의 일 실시예에서는 구분영역#1에 대한 팬틸트정보에 따라 구분영역#1을 포함하도록 촬영영역(A4.1)을 설정할 수 있고, 해당 촬영영역(A4.1)이 촬영된 영상이미지 내에 설정된 관심영역(A5.1)에서 번호판영역과 차량번호를 식별할 수 있다.
도 18은 본 발명의 일 실시예에 따른 레이더(3), 및 영상이미자카메라(2)를 도시한다.
본 발명의 단속시스템을 구성하는 요소들은 도 18에 도시된 바와 같이 구현될 수 있으나, 반드시 이에 한정하는 것은 아니며 전술한 기능들을 수행할 수 있는 범위 내에서 실시자에 의해 유동적으로 변형될 수 있다.
도 18에 도시된 바와 같이, 본 발명의 일 실시예에서 레이더(3)는 광각 근거리와 협각 원거리 2개의 전파를 검지에 사용하여 최대 8차로까지 검지가 가능한 레이더센서를 포함할 수 있다.
전술한 바와 같이 본 발명의 일 실시예에서 레이더(3)는 고정된 레이더조사영역(A1)에 레이더를 조사할 수 있다. 한편 본 발명의 다른 실시예에서 레이더(3)는 별도의 레이더팬틸트를 포함하여, 객체검출이 원활하도록 레이더팬틸트에 의하여 레이더를 조사하는 각도가 가변하면서 레이더조사영역(A1)이 미세하게 조정될 수 있다.
본 발명의 일 실시예에서 영상이미지카메라(2)는 자체적으로 회전모듈(20)과 줌렌즈(21)를 내장하여 팬, 틸트, 및 줌을 가변할 수 있는 PTZ카메라일 수 있다.
본 발명의 일 실시예에서 영상이미지카메라(2) 및 레이더(3)는 곡자형 구조의 보조암에 설치되어, 전방영상 촬영이나 전파가림을 해결할 수 있다. 구체적으로 보조암은 주암 고정용 케이블에 간섭되지 않는 중심선 이탈구조를 가질 수 있다.
3. 정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 교통단속시스템 및 방법
한편, 이하에서는 본 발명의 단속시스템에 추가적으로 적용할 수 있는 “정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 교통단속시스템 및 방법”에 대해 설명하도록 한다.
도 19는 본 발명의 일 실시예에 따른 정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 교통단속시스템이 구현된 도로상의 모습을 도시한다.
도 19에 도시된 바와 같이 정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 상기 교통단속시스템의 CCU(1)는, 주행 중인 차량의 정면을 촬영하는 레이더 및 영상이미지카메라로부터 수신한 데이터에 기반하여, 정방향으로 주행 중인 차량의 차량번호 및 속도를 검출하는 정면단속모드; 및 주행 중인 차량의 후면을 촬영하는 상기 레이더 및 상기 영상이미지카메라로부터 수신한 데이터에 기반하여, 역방향으로 주행 중인 차량의 차량번호 및 속도를 검출하고, 해당 차량이 이륜차인 경우에 이륜차 운전자의 헬멧착용여부를 단속하는 후면단속모드;로 동작할 수 있고, 상기 CCU(1)가 후면단속모드로 동작하는 경우에, 상기 CCU(1)는, 상기 레이더 및 영상이미지카메라로부터, 각각의 프레임별로 생성되는 raw레이더데이터 및 영상이미지를 수신하는 데이터수신단계; 상기 raw레이더데이터 중 기설정된 유효영역(A3) 내의 n개(n은 2 이상의 정수)의 raw레이더데이터를 유효레이더데이터로 선별하는 데이터선별단계; 검지선(L1)과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접하는 m개(m은 2 이상의 정수)의 영상이미지를 선별하고, m개의 영상이미지 각각에서 차량번호를 식별하는 차량번호식별단계; 식별된 상기 차량번호에 기초하여, 해당 차량이 이륜차인지 여부를 판단하고, 상기 차량이 이륜차인 경우에, 상기 m개의 영상이미지에 기초하여 해당 차량의 운전자의 헬멧착용 여부를 단속하는, 헬멧단속단계;를 수행할 수 있다.
또한 상기 CCU(1)는, 상기 정면단속모드 및 상기 후면단속모드로 동작할 때, 상기 데이터수신단계, 데이터선별단계, 및 차량번호식별단계를 공통적으로 수행하되, 동일한 알고리즘을 차량의 진행방향을 반대로 하여 실행시킬 수 있다.
CCU(1)는 정면단속모드 혹은 후면단속모드로 동작할 수 있고, CCU(1)가 정면단속모드로 동작할 때의 동작들은 전술한 '1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템'에서 CCU(1)가 수행하는 동작들과 동일할 수 있다.
구체적으로 CCU(1)가 정면단속모드로 동작할 때 영상이미지카메라 및 레이더는 정방향으로 주행 중인 차량의 전면을 촬영하도록 도로상에 설치되고, CCU(1)는 차량의 전면부를 촬영한 영상이미지와 레이더데이터에 기반하여 해당 차량의 차량번호와 속도를 검출할 수 있다.
즉, '1. 레이더데이터 및 영상이미지를 이용한 차량번호 및 속도검출방법 및 시스템'에서 전술하는 차량, 혹은 객체는 번호판이 전면에 부착되는 차량에 해당할 수 있다. CCU(1)가 정면단속모드로 동작할 때의 구체적 동작에 대한 중복된 설명은 생략하도록 한다.
한편, CCU(1)가 후면단속모드로 동작하는 경우에, 추가적인 동작들이 더 수행될 수 있다.
구체적으로 CCU(1)가 후면단속모드로 동작할 때 영상이미지카메라 및 레이더는 역방향으로 주행 중인 차량의 후면을 촬영하도록 도로상에 설치되고, CCU(1)는 차량의 후면부를 촬영한 영상이미지와 레이더데이터에 기반하여 해당 차량의 차량번호와 속도를 검출할 수 있다.
통상적으로, 이륜차의 번호판은 후면에 부착된다. 즉 CCU(1)가 후면단속모드로 동작 중일 때 번호판이 후면에 부착되는 이륜차에 대해서도 속도단속이 이루어질 수 있다.
한편, CCU(1)가 후면단속모드로 동작하는 경우에 CCU(1)는 헬멧단속기능을 더 제공할 수 있다. 구체적으로 CCU(1)는 객체가 촬영된 영상이미지에 기초하여 해당 객체가 이륜차인지 여부를 판단하고, 해당 객체가 이륜차인 경우에 운전자가 헬멧을 착용하고 있는 지 여부를 판단하는 알고리즘을 추가적으로 더 수행할 수 있다.
즉, CCU(1)가 후면단속모드로 동작할 때 객체의 종류(일반차량 혹은 이륜차)에 관계없이 차량번호가 식별되는 모든 객체에 대해서 차량번호 및 속도를 검출하는 동작이 수행될 수 있고, 이 중 이륜차로 판단되는 객체에 대해서는 해당 이륜차의 운전자가 헬멧을 착용하고 있는 지를 단속하는 동작이 추가적으로 수행될 수 있다.
도 20은 본 발명의 일 실시예에 따른정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 교통단속시스템이 수행하는 단계들을 도시한다.
도 20에 도시된 바와 같이 상기 헬멧단속단계는, 상기 m개의 영상이미지 각각을 딥러닝 기반의 객체영역검출모델에 입력하여 객체영역을 검출하는 객체영역검출단계; 상기 m개의 영상이미지 각각에서 검출된 상기 객체영역의 기설정된 비율의 상위 일부영역을 헬멧영역으로 크롭하고, 상기 헬멧영역을 딥러닝 기반의 헬멧인식모델에 입력하여, 해당 차량의 운전자가 헬멧을 착용 중인지 여부를 판단하는 헬멧식별단계; 및 상기 m개의 영상이미지에 대해 도출된 헬멧착용율이 기설정된 헬멧착용판단기준을 만족하는 경우에, 해당 차량의 운전자가 헬멧을 착용하지 않은 것으로 최종판단하는, 헬멧착용판단단계;를 포함할 수 있다.
전술한 바와 같이 CCU(1)가 후면단속모드로 동작할 때 수행되는 동작들(도 20의 S1 내지 S8단계)는 CCU(1)가 정면단모드로 동작할 때 수행하는 동작들(도 3의 S1 내지 S8단계)와 실질적으로 동일할 수 있다.
한편, CCU(1)가 후면단속모드로 동작할 때, S9단계가 추가적으로 수행될 수 있다. 구체적으로 S9단계는 앞서 S6단계 및 S7단계에 의하여 식별되는 객체의 차량번호에 기초하여, 해당 객체가 이륜차로 판단될 때 추가적으로 수행될 수 있다. 바람직하게는 S9단계는 앞서 S6단계 및 S7단계에서 객체가 이륜차로 판단될 때, S8단계의 속도산출단계와 독립적으로 수행될 수 있다.
S9.1단계에서 CCU(1)는 복수의 영상이미지 각각에서 객체에 대한 객체영역을 검출할 수 있다. 구체적으로 객체영역이란 영상이미지상에서 검출된 객체를 나타내는 영역을 의미할 수 있다.
바람직하게는 S9단계에서 객체는 이륜차 및 해당 이륜차에 탑승하고 있는 탑승자에 해당할 수 있고, 객체영역이란 영상이미지상에서 이륜차 및 탑승자가 나타내는 영역을 의미할 수 있다.
한편 본 발명의 일 실시예에서 CCU(1)는 복수의 영상이미지 중 선별된 m개의 영상이미지에 대하여, 객체영역을 검출할 수 있다. 즉, 본 발명의 일 실시예에서, 프레임별로 생성된 복수의 영상이미지 전체가 아닌, 선별된 m 개의 영상이미지에 대해서만 헬멧단속 알고리즘이 수행됨으로써, 연산부하를 경감할 수 있다.
본 발명의 일 실시예에서, CCU(1)는 YOLO기반 알고리즘을 학습한 딥러닝 기반의 학습모델인 객체영역검출모델을 통해 객체영역을 검출할 수 있다.
S9.2단계에서, 복수의 영상이미지 각각에서 검출된 객체영역에 대한 헬멧영역을 크롭할 수 있다. 구체적으로 헬멧영역이란 탑승자가 헬멧을 착용했을 때 헬멧이 표현될 수 있는 영역에 해당한다.
바람직하게는 CCU(1)는 번호판영역의 기설정된 상위 일부 영역을 헬멧이 표현될 수 있는 영역으로 가정하고, 이를 헬멧영역으로써 크롭할 수 있다.
또한, S9.2단계에서, CCU(1)는 복수의 영상이미지 각각에서 크롭된 헬멧영역에 기초하여 해당 이륜차의 탑승자가 헬멧을 착용하고 있는 지 여부를 판단할 수 있다. 바람직하게는 CCU(1)는 선별된 m개의 영상이미지 각각에서 크롭된 m개의 헬멧영역 각각에 대해서 해당 단계를 수행할 수 있다.
이 때, 헬멧영역에 대한 헬멧착용여부의 식별은 딥러닝 기반의 학습된 헬멧인식모델에 의해 수행될 수 있다.
S9.2단계에서, CCU(1)는 복수의 영상이미지 각각에서 도출된 헬멧착용률이 기설정된 헬멧착용판단기준을 만족하는 지 여부를 판단함으로써, 해당 이륜차의 탑승자가 헬멧을 착용하고 있는 지 여부를 최종판단할 수 있다.
전술한 바와 같이 CCU(1)는 복수의 영상이미지 각각에서(바람직하게는 m 개의 영상이미지 각각에서) 이륜차의 탑승자가 헬멧을 착용하고 있는 지 여부를 판별할 수 있고, 이 때 '헬멧착용 여부를 식별한 전체 영상이미지의 개수' 중 '헬멧을 착용하고 있는 것으로 판단되는 영상이미지의 개수'에 대한 비율인 헬멧착용률에 기초하여, 해당 이륜차의 탑승자가 헬멧을 착용하고 있는 지 여부를 최종판단할 수 있다.
구체적으로 CCU(1)는 도출된 헬멧착용률이 기설정된 헬멧착용판단기준 이상일 때, 즉 전체 영상이미지 중 기설정된 개수 이상에서 헬멧을 착용하고 있는 것으로 판단될 때 최종적으로 해당 탑승자가 헬멧을 착용하고 있는 것으로 판단할 수 있다.
도 21은 본 발명의 일 실시예에 따른 CCU(1)가 후면단속모드로 동작할 때, 레이더 및 영상이미지카메라가 촬영하고 데이터를 생성하는 영역들을 도시한다.
먼저 도 21의 (a) 및 (b)에서는 L1을 검지선(L1)으로 정의하고, 차량진행방향을 하측에서 상측으로 하여 이하의 내용을 설명한다. 전술한 바와 같이 검지선(L1)은 속도를 단속하는 기준선으로서, CCU(1)는 검지선(L1)을 지나는 객체들에 대해서 차량번호를 식별하고 속도를 검출할 수 있다.
도 21의 (a)는 레이더와 관련된 영역들을 도시한다. 레이더는 주행 중인 차량의 후면을 촬영하도록 도로상에서 설치될 수 있다. 즉 도 4의 (a)에서 레이더는 하측의 위치에서 상측을 바라보도록 설치되어, 하측에서 상측으로 주행하는 차량의 후면을 촬영할 수 있다.
더 구체적으로는 레이더(3)는 주행 중인 차량에 레이더를 조사하여 해당 차량을 트래킹하면서 해당 차량의 ID, 속도, 위치에 대한 정보를 포함하는 raw레이더데이터를 생성할 수 있다.
한편, A1영역은 레이더(3)가 레이더를 조사하는 레이더조사영역(A1)에 해당한다. 이 때 레이더조사영역(A1)은 검지선(L1)을 포함하는 영역임이 바람직하다. 더 구체적으로는 레이더조사영역(A1)은 검지선(L1)을 포함하고, 검지선(L1)으로부터 차량진행 역방향(도 21에서 상측에서 하측방향)으로 확장되는 영역이 포함되도록 설정됨이 바람직할 수 있다.
A2영역은 레이더(3)가 raw레이더데이터를 생성하는 raw레이더데이터영역(A2)에 해당한다. 구체적으로 레이더(3)는 레이더조사영역(A1) 전체에서 raw레이더데이터를 생성하지 않고, 레이더조사영역(A1)의 일부영역에 해당하는 raw레이더데이터영역(A2)에서 raw레이더데이터를 생성할 수 있다.
즉, 레이더(3)가 CCU(1)로 송신하는 raw레이더데이터는 raw레이더데이터영역(A2)에서 검출되는 객체에 대한 정보에 해당할 수 있다.
A3영역은 CCU(1)가 raw레이더데이터 중 유효레이더데이터를 선별하는 유효영역(A3)에 해당한다. 전술한 바와 같이 CCU(1)는 레이더(3)로부터 수신한 모든 raw레이더데이터에 기반하여 속도를 검출하지 않고, 유효영역(A3) 내에서 검출되는 유효레이더데이터에 기반하여 속도를 검출하며, 이 때 유효영역(A3)은 레이더(3)가 레이더를 조사하는 레이더조사영역(A1) 혹은 raw레이더데이터를 생성하는 raw레이더데이터영역(A2)보다 좁은 영역에 해당할 수 있다.
바람직하게는 유효영역(A3)은 레이더조사영역(A1) 및 raw레이더데이터영역(A2)보다 좁은 영역에 해당하면서, 검지선(L1)을 포함하고 검지선(L1)으로부터 차량진행 역방향으로 확장되는 영역에 해당할 수 있다.
도 21의 (b)는 영상이미지카메라(2)가 영상이미지를 생성하는 촬영영역(A4)을 도시한다. 구체적으로 영상이미지카메라(2)는 주행 중인 차량의 후면을 촬영하도록 도로상에 설치될 수 있다. 즉 도 21의 (b)에서 영상이미지카메라(2)는 하측의 위치에서 상측을 바라보도록 설치되어, 하측에서 상측으로 주행하는 차량의 후면을 촬영할 수 있다.
다시 말하자면, 영상이미지카메라(2)는 번호판이 후방에 위치하는 이륜차의 번호판이 식별되도록 객체를 촬영할 수 있다.
A4영역은 영상이미지카메라(2)가 영상이미지를 생성하는 촬영영역(A4)에 해당한다. 구체적으로 촬영영역(A4)은 검지선(L1)으로부터 차량진행 역방향 및 정방향으로 확장되되, 상기 레이더조사영역(A1)보다 좁은 영역에 해당할 수 있다. 바람직하게는 촬영영역(A4)은 면적상으로 상기 유효영역(A3)보다 좁은 영역에 해당할 수 있다.
전술한 바와 같이, raw레이더데이터영역(A2) 및 유효영역(A3)은 검지선(L1)을 포함하면서, 검지선(L1)으로부터 차량진행 역방향으로 확장되는 영역에 해당한다. 한편, 본 발명의 일 실시예에서 촬영영역(A4)은 검지선(L1)을 포함하면서, 검지선(L1)으로부터 차량진행 역방향 및 정방향으로 확장되는 영역에 해당한다. 즉 촬영영역(A4)은 객체가 검지선(L1)을 지나기 전의 일부영역(검지선(L1)으로부터 차량진행 역방향으로 확장되는 영역)과 검지선(L1)을 지난 후 일부영역(검지선(L1)으로부터 차량진행)을 포함하는 영역에 해당할 수 있다.
또한, 이 때 촬영영역(A4)의 '검지선(L1)을 지난 후의 일부영역(검지선(L1)으로부터 차량진행으로 확장되는 영역)'보다 '검지선(L1)을 지나기 전의 일부영역(검지선(L1)으로부터 차량진행 역방향으로 확장되는 영역)'이 넓게 설정됨이 바람직하다.
또한 이 때 촬영영역(A4)의 면적은 유효영역(A3)의 면적보다 작게 설정됨이 바람직하다.
정리하자면, 촬영영역(A4)은 유효영역(A3) 내부에 완전히 포함되는 것은 아니나, 대부분의 영역이 유효영역(A3) 내부에 포함되는 형태로 설정될 수 있다.
이와 같이, CCU(1)가 후면단속모드로 동작할 때, 레이더 및 영상이미지카메라에 대한 영역들은, CCU(1)가 정면단속모드로 동작할 때, 레이더 및 영상이미지카메라에 대한 영역들과 실질적으로 동일할 수 있다.
다만, CCU(1)가 후면단속모드로 동작할 때, 레이더 및 영상이미지카메라가 차량의 후방에 위치하면서, 진행 중인 차량의 후면을 촬영하는 것에 차이가 있다.
결과적으로, CCU(1)가 후면단속모드로 동작할 때 생성되는 영상이미지 또한 의미론적 영역이 축소된 촬영영역(A4)이 촬영된 이미지에 해당할 수 있다. 구체적으로 영상이미지카메라는 검지선(L1)을 기준으로 원거리의 영역에 대해서는 촬영할 필요가 없고, 검지선(L1) 부근의 영역만을 촬영할 수 있다.
도 22는 본 발명의 일 실시예에 따른 이륜차 여부를 판단하고, 이륜차인 경우에 선별된 영상이미지에서 헬멧영역이 크롭되는 과정을 도시한다.
도 22의 (a)에 도시된 바와 같이, CCU(1)는 복수의 영상이미지 각각에서 식별된 차량번호에 기초하여, 해당 차량이 이륜차에 해당하는 지 여부를 판단하고, 이륜차로 판단되는 경우에 해당 이륜차의 운전자에 대한 헬멧단속 여부를 단속하는 알고리즘을 추가적으로 더 수행할 수 있다.
바람직하게는 CCU(1)는 선별된 m 개의 영상이미지 각각에서 식별된 차량번호에 기초하여, 해당 차량이 이륜차에 해당하는 지 여부를 판단하고, 이륜차로 판단되는 경우에 해당 이륜차의 운전자에 대한 헬멧단속 여부를 단속하는 알고리즘을 추가적으로 더 수행할 수 있다.
도 22의 (b)의 좌측 이미지는, 영상이미지상에서 검출된 객체에 대한 객체영역을 도시한다. 전술한 바와 같이 CCU(1)는 m개의 영상이미지 각각을 딥러닝 기반의 객체영역검출모델에 입력하여, 영상이미지상에서 해당 객체(이륜차)가 나타내는 영역을 특정할 수 있다. 바람직하게는 검출된 객체영역에는 이륜차의 후면(번호판 포함)과 해당 이륜차의 탑승자가 함께 표현될 수 있다.
이어서, CCU(1)는 검출된 객체영역에서 기설정된 비율의 상위 일부영역을 헬멧영역으로 크롭할 수 있다. 전술한 바와 같이, 객체영역은 영상이미지상에서 이륜차 및 해당 이륜차의 탑승자가 나타내는 영역일 수 있으며, 통상적으로 탑승자의 두상(혹은 헬멧)은 객체영역의 상측에 위치할 수 있다.
CCU(1)는 이륜차에 대해 검출된 객체영역에 대하여, 상위 일부영역을 헬멧영역으로 크롭하고, 해당 헬멧영역에 대해서 헬멧 착용여부를 판단할 수 있다.
한편, CCU(1)가 크롭된 헬멧영역에 대한 헬멧 착용여부를 판단함에 있어, 딥러닝 기반의 헬멧인식모델이 이용될 수 있다. 구체적으로 헬멧인식모델이란 입력받은 이미지에 대하여, 해당 이미지상에서 헬멧이 검출되는 지 여부 혹은 이미자상의 객체가 헬멧을 착용하고 있는 지 여부를 판단하는 딥러닝 기반의 학습된 학습모델일 수 있다.
바람직하게는 헬멧인식모델은 헬멧 착용여부에 대한 정보가 라벨링된 복수의 학습데이터(이미지)로 학습되어, 입력받은 이미지상에서 헬멧이 검출되는 지 여부를 판단할 수 있다.
한편, 객체영역에서 기설정된 비율의 상위 일부영역을 헬멧영역으로 크롬함에 있어, 상기 기설정된 비율은 관리자에 의해 임의로 설정되거나 변경될 수 있다.
이와 같이 CCU(1)는 영상이미지 전체, 혹은 영상이미지상에서 검출된 객체영역 전체에 대해서 헬멧착용여부를 판단하지 않고, 객체영역의 일부영역에 해당하는 헬멧영역에 대해서만 헬멧 착용여부를 판단함으로써, 연산부하를 경감할 수 있다.
도 23은 본 발명의 일 실시예에 따른 이륜차 운전자에 대핸 헬멧착용 여부를 판단하는 과정을 도시한다.
도 23에 도시된 바와 같이, CCU(1)는 복수의 영상이미지(바람직하게는 선별된 m개의 영상이미지) 각각에 대하여, 이륜차의 탑승자가 헬멧을 착용하고 있는 지 여부를 판단할 수 있다.
구체적으로 CCU(1)는 m 개의 영상이미지(i1 내지 i5) 각각에서 검출된 객체영역에서, 기설정된 비율의 상위 일부영역으로 헬멧영역으로 크롭하고, 크롭된 헬멧영역 각각을 헬멧인식모델에 입력하여, 각각의 헬멧영역에서의 헬멧 착용여부를 판단할 수 있다.
이어서, CCU(1)는 m 개의 영상이미지에 대한 헬멧착용률을 산출하고, 산출된 값이 기설정된 헬멧착용판단기준 이상인지에 따라, 해당 이륜차의 탑승자가 헬멧을 착용하고 있는 지 여부를 최종적으로 판단할 수 있다.
전술한 바와 같이, 헬멧착용판단기준은 '헬멧인식모델에 입력된 m개의 영상이미지(혹은 헬멧영역)의 개수' 중 '이륜차의 탑승자가 헬멧을 착용하고 있는 것으로 판단된 영상이미지(혹은 헬멧영역)의 개수'의 비율에 해당할 수 있다.
본 발명의 일 실시예에서, 헬멧착용판단기준은 소정의 값으로 관리자에 의해 설정될 수 있다.
이와 같이 본 발명의 일 실시예에 따르면, 프레임별로 생성된 복수의 영상이미지 전체가 아닌, 차량번호 식별을 위해 선별된 m 개의 영상이미지에 대해서만 헬멧단속 알고리즘이 수행되어, 연산부하를 경감할 수 있는 효과를 발휘할 수 있다.
도 24는 본 발명의 일 실시예에 따른 서로 다른 밝기의 영상이미지에 기반하여 차량번호 및 헬멧단속이 이루어지는 과정을 도시한다.
도 24에 도시된 바와 같이, 상기 영상이미지카메라는 야간에 객체를 촬영했을 때 번호판 식별이 가능한 제1밝기로 영상이미지를 촬영하고, 상기 차량번호식별단계에서는, 제1밝기의 m개의 영상이미지 각각에서 차량번호를 식별하고, 상기 헬멧식별단계에서는, 제1밝기의 m개의 영상이미지 각각의 명암비를, 상기 제1밝기보다 높은 제2밝기로 조절하고, 제2밝기로 조절된 m개의 영상이미지 각각에서 크롭된 헬멧영역을 헬멧인식모델에 입력하여, 해당 차량의 운전자가 헬멧을 착용 중인지 여부를 판단할 수 있다.
일반적으로 이륜차의 후면에는 램프와 번호판이 근접하여 배치되고, 이륜차의 후면을 촬영했을 때 램프에서 발산되는 빛에 의해 번호판이 원활히 식별되지 않을 수 있다. 전술한 바와 같이 이러한 현상은 야간에 더욱 두드러질 수 있다.
이와 같은 문제를 해결하기 위해 영상이미지카메라에서의 밝기 자체를 낮춰서 촬영할 수 있다. 구체적으로 사전에 램프에서 발산되는 빛까지 고려하여 영상이미지카메라 자체의 밝기를 낮춘 상태에서 객체(이륜차)를 촬영함으로써, 번호판 인식률을 향상할 수 있다.
그러나, 이와 같이 밝기 자체를 낮춘 상태에서 객체(이륜차)를 촬영했을 때 반대로 헬멧 인식률은 저하될 수 있다. 구체적으로 헬멧은 (번호판과 대비하여) 램프로부터 원거리에 위치하고, 통상적으로 헬멧은 어두운 색상인 경우가 많아 야간에 낮은 밝기로 객체를 촬영했을 때 영상이미지상에서 헬멧이 명확히 표현되지 않을 수 있다. 즉 낮은 밝기의 영상이미지에서는 헬멧 인식률이 저하될 수 있다.
정리하자면, 야간에 촬영된 영상이미지에 대한 차량번호 식별에 있어서, 램프에 의한 빛 번짐을 최소화하기 위해서는 영상이미지카메라가 낮은 밝기로 영상이미지를 촬영(생성)하도록 설정할 필요가 있으나, 낮은 밝기의 영상이미지에서는 반대로 헬멧이 명확하게 표현되지 않아 헬멧에 대한 인식률이 저하될 수 있다.
이와 같은 문제를 해결하고자, 본 발명에서는 서로 다른 밝기의 영상이미지에 기반하여 차량번호 식별 및 헬멧단속 알고리즘이 각각 수행될 수 있다.
구체적으로 도 24에 도시된 바와 같이, 영상이미지카메라는 야간에 객체를 촬영했을 때 번호판 식별이 가능한 제1밝기로 영상이미지를 촬영(생성)할 수 있다. 여기서 제1밝기란 주간에 객체를 촬영하는 밝기보다 낮은 밝기에 해당할 수 있다.
구체적으로 CCU(1)는 서버와 통신을 수행하여 현재의 시각이 주간 혹은 야간에 해당하는 지를 인식할 수 있고, 이에 따라 영상이미지카메라를 제어하여 생성되는 영상이미지의 밝기를 조절할 수 있다. 바람직하게는 주간에 CCU(1)는 통상적인 밝기의 영상이미지를 생성하도록 영상이미지카메라를 제어할 수 있고, 야간에 CCU(1)는 통상적인 밝기보다 낮은 제1밝기의 영상이미지를 생성하도록 영상이미지카메라를 제어할 수 있다.
또는 본 발명의 다른 실시예에서, 관리자에 의해 영상이미지카메라가 현재 시간에 대응하여 해당 시간대에 대응하는 밝기의 영상이미지를 생성하도록 설정될 수 있다.
CCU(1)는 제1밝기로 생성된 복수의 영상이미지에 기초하여, 해당 객체에 대한 차량번호를 인식할 수 있다. 전술한 바와 같이 제1밝기란 야간에 램프에서 발산되는 빛까지 고려하여 번호판영역 및 차량번호가 원활히 인식될 수 있는 밝기에 해당한다. 결과적으로 제1밝기의 영상이미지상에서 차량번호가 명확히 식별될 수 있다. 달리 말하자면 제1밝기의 영상이미지상에서 헬멧은 명확히 식별되지 않을 수 있다.
이어서, CCU(1)는 제1밝기의 m개의 영상이미지 각각의 명암비를, 상기 제1밝기보다 높은 제2밝기로 조절할 수 있다. 구체적으로 CCU(1)는 제1밝기의 명암비를 밝게 조절함으로써, 낮은 밝기(제1밝기)에서 원활히 식별되지 않는 헬멧이 제2밝기의 영상이미지에서는 원활히 식별될 수 있다.
이어서, CCU(1)는 제2밝기의 영상이미지에서 객체영역을 검출하고, 상위 일부영역을 헬멧영역을 크롭하고, 해당 헬멧영역에 기초하여 이륜차의 탑승자가 헬멧을 착용하고 있는 지 여부를 판단할 수 있다.
본 발명의 다른 실시예에서, CCU(1)는 헬멧영역을 먼저 크롭한 후에, 크롭된 헬멧영역에 대해서만 밝기(명암비)를 조절할 수 있다. 구체적으로 CCU(1)는 제1밝기의 영상이미지에서 객체영역을 검출하고 헬멧영역을 크롭한 이후에, 해당 헬멧영역에 대해서만 명암비를 제2밝기로 조절하고, 제2밝기로 조절된 헬멧영역에 대해서 헬멧착용 여부를 판단할 수 있다.
결과적으로 CCU(1)가 야간에 후면단속모드로 동작하는 경우에, 보다 낮은 제1밝기로 생성된 영상이미지에서 객체에 대한 차량번호가 식별될 수 있고, 명암비가 높게 조절된 제2밝기의 영상이미지에서 이륜차 탑승자의 헬멧 착용여부에 대한 단속이 이루어질 수 있다.
도 25는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.
상술한 도 1에 도시된 CCU(1)은 상기 도 25에 도시된 컴퓨팅장치(11000)의 구성요소들을 포함할 수 있다.
도 25에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 도 1에 도시된 CCU(1)에 해당될 수 있다.
메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 25의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 25에 도시된 일부 컴포넌트가 생략되거나, 도 25에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 25에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (6)

  1. 단속영역 가변형 다차로 단속시스템으로서,
    도로 위의 복수의 차선을 포함하는 영역에 레이더를 조사하여 검출된 차량의 속도를 측정하는 레이더;
    기계적 동작에 의하여 팬틸트를 조작하는 회전모듈; 및 줌을 조작하는 줌렌즈;를 포함하고, 상기 회전모듈 및 줌렌즈에 의하여 팬, 틸트, 및 줌이 가변하면서, 상기 복수의 차선 중 일부의 차선에 해당하는 단속대상차선을 촬영하는 영상이미지카메라;
    외부서버로부터 단속대상차선에 대한 정보를 수신하고, 상기 레이더에 의해 생성된 raw레이더데이터 및 상기 영상이미지카메라에 의해 생성된 영상이미지에 기반하여, 상기 단속대상차선을 주행하는 차량의 속도를 검출하는, CCU(Communication Control Unit);을 포함하고,
    상기 CCU는,
    외부서버로부터 단속대상차선을 수신하고, 해당 단속대상차선에 대응하여 저장된 팬틸트정보 및 프리셋정보를 결정하는 프리셋결정단계;
    결정된 상기 팬틸트정보에 따라 상기 회전모듈의 팬틸트 및 줌렌즈의 줌을 조작하여, 상기 영상이미지카메라가 상기 단속대상차선을 포함하는 구분영역을 촬영하도록 설정하는 영상이미지카메라조작단계;
    상기 레이더 및 영상이미지카메라로부터 raw레이더데이터 및 영상이미지를 수신하고, 결정된 상기 프리셋정보를 반영하면서 속도검출알고리즘을 수행하여 상기 단속대상차선을 주행하는 차량의 속도를 검출하는 연산단계;를 수행하고,
    상기 연산단계는,
    상기 레이더 및 영상이미지카메라로부터, 각각의 프레임별로 생성되는 raw레이더데이터 및 영상이미지를 수신하는 데이터수신단계;
    모든 복수의 차선에 대한 raw레이더데이터 중 상기 단속대상차선에 대한 raw레이더데이터를 선별하는 단계;
    상기 raw레이더데이터 중 기설정된 유효영역 내의 n개(n은 2 이상의 정수)의 raw레이더데이터를 유효레이더데이터로 선별하는 데이터선별단계;
    속도를 단속하는 기준선인 검지선과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접하는 m개(m은 2 이상의 정수)의 영상이미지를 선별하고, m개의 영상이미지 각각에서 차량번호를 식별하는 차량번호식별단계; 및
    상기 차량번호에 대한 일치율이 기설정된 동일객체판단기준을 만족하는 경우에, 식별된 해당 차량번호의 차량에 대하여, 상기 유효영역 내의 n개의 유효레이더데이터 각각에 내재되는 정보에 기초하여 해당 차량의 속도를 산출하는 속도산출단계;를 포함하는, 단속영역 가변형 다차로 단속시스템.
  2. 청구항 1에 있어서,
    상기 레이더는,
    도로상의 모든 복수의 차선을 포함하는 레이더조사영역에 레이더를 조사하여, 도로상의 모든 복수의 차선에서 검출되는 모든 차량의 위치, 및 속도에 대한 정보를 포함하는 raw레이더데이터를 생성하여 상기 CCU로 송신하고,
    상기 CCU는,
    모든 복수의 차선에 대한 raw레이더데이터 중 상기 단속대상차선에 대한 raw레이더데이터를 선별하여, 차량의 속도를 검출하는, 단속영역 가변형 다차로 단속시스템.
  3. 청구항 1에 있어서,
    상기 CCU에는,
    도로상의 복수의 차선을, 각각의 차선별로 혹은 인접하는 2 이상의 차선별로 영역을 구분하여, 각각의 구분영역에 대응하는 복수의 팬틸트정보가 저장되어 있고,
    상기 외부서버로부터 수신한 단속대상차선에 대응하는 팬틸트정보에 따라 상기 회전모듈 및 줌렌즈를 조작하여, 상기 영상이미지카메라가 해당 단속대상차선을 포함하는 구분영역을 촬영하도록 하는, 단속영역 가변형 다차로 단속시스템.
  4. 청구항 3에 있어서,
    상기 CCU에는,
    검지선, 상기 raw레이더데이터 중 유효레이더데이터를 선별하는 유효영역, 및 상기 영상이미지에서 번호판영역을 식별하는 관심영역이 설정되어 있는 복수의 프리셋정보들이 각각의 구분영역에 대응하여 저장되어 있고,
    상기 CCU는,
    단속대상차선이 촬영된 영상이미지, 단속대상차선에 대해 선별된 raw레이더데이터, 및 단속대상차선에 대응하는 프리셋정보에 기반하여, 속도검출알고리즘을 수행하여 차량의 속도를 검출하는, 단속영역 가변형 다차로 단속시스템.
  5. 삭제
  6. 청구항 1에 있어서,
    상기 데이터선별단계는,
    상기 단속대상차선에 대해 선별된 raw레이더데이터 중, 해당 단속대상차선에 대응하여 설정된 유효영역 내에서 검출된 raw레이더데이터의 개수가 기설정된 개수 이상인 경우에는, 해당 유효영역 내의 raw레이더데이터를 유효레이더데이터로 결정하고,
    상기 차량번호식별단계는,
    복수의 프레임별로 생성되는 복수의 영상이미지 중, 상기 단속대상차선에서 검지선과 가장 가까운 유효레이더데이터와 시계열적으로 가장 근접한 m개 프레임의 영상이미지에 대해서만 차량번호를 식별하는 것을 특징으로 하는, 단속영역 가변형 다차로 단속시스템.


KR1020230072801A 2023-06-07 2023-06-07 단속영역 가변형 다차로 단속시스템 KR102602318B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230072801A KR102602318B1 (ko) 2023-06-07 2023-06-07 단속영역 가변형 다차로 단속시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230072801A KR102602318B1 (ko) 2023-06-07 2023-06-07 단속영역 가변형 다차로 단속시스템

Publications (1)

Publication Number Publication Date
KR102602318B1 true KR102602318B1 (ko) 2023-11-17

Family

ID=88968741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230072801A KR102602318B1 (ko) 2023-06-07 2023-06-07 단속영역 가변형 다차로 단속시스템

Country Status (1)

Country Link
KR (1) KR102602318B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102648852B1 (ko) * 2024-01-17 2024-03-18 아이티인 주식회사 전면 혹은 후면으로 단속방향 변경이 가능한 교통단속시스템
CN117994989A (zh) * 2024-04-02 2024-05-07 云南省公路科学技术研究院 基于目标去重的交通流量监测方法、系统、终端及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102039118B1 (ko) * 2019-04-17 2019-11-26 유에프엠시스템즈 주식회사 레이더를 이용한 다차로 촬영시스템
KR20210089030A (ko) 2020-01-07 2021-07-15 한국전자통신연구원 과속 차량 검출 장치, 시스템 및 방법
KR20220005769A (ko) * 2020-07-07 2022-01-14 퍼시픽솔루션 주식회사 레이더와 영상분석을 이용한 교통정보 수집 장치
KR102505067B1 (ko) * 2022-12-23 2023-03-02 주식회사 아이티코어스 차종별 구분단속이 가능한 무인 교통 단속장치
KR20230075193A (ko) * 2021-11-22 2023-05-31 (주)노바코스 레이더와 카메라 융합 기반의 차량인식시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102039118B1 (ko) * 2019-04-17 2019-11-26 유에프엠시스템즈 주식회사 레이더를 이용한 다차로 촬영시스템
KR20210089030A (ko) 2020-01-07 2021-07-15 한국전자통신연구원 과속 차량 검출 장치, 시스템 및 방법
KR20220005769A (ko) * 2020-07-07 2022-01-14 퍼시픽솔루션 주식회사 레이더와 영상분석을 이용한 교통정보 수집 장치
KR20230075193A (ko) * 2021-11-22 2023-05-31 (주)노바코스 레이더와 카메라 융합 기반의 차량인식시스템
KR102505067B1 (ko) * 2022-12-23 2023-03-02 주식회사 아이티코어스 차종별 구분단속이 가능한 무인 교통 단속장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102648852B1 (ko) * 2024-01-17 2024-03-18 아이티인 주식회사 전면 혹은 후면으로 단속방향 변경이 가능한 교통단속시스템
CN117994989A (zh) * 2024-04-02 2024-05-07 云南省公路科学技术研究院 基于目标去重的交通流量监测方法、系统、终端及介质
CN117994989B (zh) * 2024-04-02 2024-07-02 云南省公路科学技术研究院 基于目标去重的交通流量监测方法、系统、终端及介质

Similar Documents

Publication Publication Date Title
KR102602318B1 (ko) 단속영역 가변형 다차로 단속시스템
EP2383713B1 (en) Detecting and recognizing traffic signs
KR102587046B1 (ko) 레이더데이터 및 영상이미지를 이용한 차량번호 식별 및 속도를 검출하는 방법 및 시스템
US9659497B2 (en) Lane departure warning system and lane departure warning method
JPWO2020121973A1 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
KR102039118B1 (ko) 레이더를 이용한 다차로 촬영시스템
US20110182473A1 (en) System and method for video signal sensing using traffic enforcement cameras
KR101968203B1 (ko) 주차관제시스템
US20220172452A1 (en) Detecting objects non-visible in color images
JP6569385B2 (ja) 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
KR102491091B1 (ko) 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템
KR102587047B1 (ko) 정면단속모드와 후면단속모드의 듀얼동작모드 및 이륜차단속기능을 지원하는 교통단속시스템 및 방법
CN110738150A (zh) 相机联动抓拍方法、装置以及计算机存储介质
KR102306789B1 (ko) 교행 다차로에서의 이상차량 인식방법 및 장치
KR101210615B1 (ko) 불법유턴 차량 단속 시스템
KR20200124972A (ko) 도로 교통 위반 차량 단속 시스템 및 이를 이용한 도로 교통 위반 차량 단속 방법
KR102521567B1 (ko) 이륜차 불법 운행 감지 장치 및 방법
US20220292833A1 (en) Method and monitoring camera for handling video streams
KR102051324B1 (ko) 서라운드 뷰 모니터링 시스템
KR102369824B1 (ko) 교행 다차로를 위한 차량번호 인식방법 및 장치
KR101691186B1 (ko) 불법 주정차 차량 인식장치
KR102660676B1 (ko) 차량의 주행차선에 대응하여 단속차선을 가변하는 대응형 단속방법 및 시스템
US20200026934A1 (en) Image processing apparatus
KR102632655B1 (ko) 주정차 단속영상에서 대상차량의 주행여부를 판단하는영상분석방법, 그 영상분석을 수행하는 제어기 및 주정차단속시스템
WO2023286463A1 (ja) 検出装置、検出システム及び検出方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant