KR101355201B1 - 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법 - Google Patents

시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법 Download PDF

Info

Publication number
KR101355201B1
KR101355201B1 KR1020130109702A KR20130109702A KR101355201B1 KR 101355201 B1 KR101355201 B1 KR 101355201B1 KR 1020130109702 A KR1020130109702 A KR 1020130109702A KR 20130109702 A KR20130109702 A KR 20130109702A KR 101355201 B1 KR101355201 B1 KR 101355201B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
feature vector
detection
camera
Prior art date
Application number
KR1020130109702A
Other languages
English (en)
Inventor
김수경
김충성
김태경
노승용
Original Assignee
주식회사 넥스파시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스파시스템 filed Critical 주식회사 넥스파시스템
Priority to KR1020130109702A priority Critical patent/KR101355201B1/ko
Application granted granted Critical
Publication of KR101355201B1 publication Critical patent/KR101355201B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시-공간적 특징벡터를 이용하여 검지 카메라로 촬영한 영상에서 차량을 인식하고 단속을 수행함으로써 효율적으로 불법 주정차 차량을 단속할 수 있는 불법 주정차 단속 시스템 및 단속방법에 관한 것이다. 본 발명의 일례와 관련된 불법 주정차 단속 시스템은, 단속 카메라, 주정차 금지구역에 대한 검지영상을 촬영하는 검지 카메라, 차량 영상에 대한 특징벡터 정보가 포함된 학습 데이터를 저장하는 메모리 및 시-공간적 특징벡터를 이용하여 상기 검지영상에서 제 1 특징벡터를 추출하고 상기 제 1 특징벡터와 상기 학습 데이터를 비교하여 상기 검지영상에 촬영된 객체 중 차량을 인식하는 제어부를 포함하되, 상기 인식된 차량 중 적어도 일부인 제 1 차량과 관련된 제 1 조건이 만족되는 경우 상기 제어부는 상기 단속 카메라가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 상기 제 1 차량의 번호판을 촬영하도록 제어하고, 상기 제 1 조건은 상기 제 1 차량이 상기 주정차 금지구역에 기 설정된 시간 이상 정지하는 조건일 수 있다.

Description

시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법{The System and the Method for Monitoring Illegal Stopping and Parking Vehicles Based Spatio-Temporal Feature Vector-Based Vehicle Recognition}
본 발명은 주정차 금지구역 내의 불법 주정차 차량을 단속하는 시스템 및 단속방법에 관한 것으로서, 보다 상세하게는 시-공간적 특징벡터를 이용하여 검지 카메라로 촬영한 영상에서 차량을 인식하고 단속을 수행함으로써 효율적으로 불법 주정차 차량을 단속할 수 있는 불법 주정차 단속 시스템 및 단속방법에 관한 것이다.
도로교통법상 주차는 운전자가 승객을 기다리거나 화물을 싣거나 차량이 고장 나거나 그 밖의 사유로 차량을 계속하여 정지 상태에 두는 것 또는 운전자가 차량에서 떠나서 즉시 그 차량을 운전할 수 없는 상태에 두는 것을 말한다. 정차는 운전자가 5분을 초과하지 아니하고 차량을 정지시키는 것으로서 주차 외의 정지 상태를 말한다.
일반적으로 도로의 양쪽(또는 갓길)에는 차량이 주정차하기 쉽다. 이렇게 주정차된 차량은 주행 중인 다른 차량의 흐름을 방해하고 실질적으로 도로의 폭을 좁힐 뿐만 아니라 교통사고를 유발할 수 있기 때문에, 도로교통법에서는 각종 주정차 금지 표시판을 세워 이러한 불법 주정차를 금지하도록 계도하고 있다.
그러나 단속을 실시하는 경찰관의 인력이 모든 주차 감시 지역마다 배치될 수 없는 것이 현실이기 때문에, 도로의 갓길 등에는 주정차 금지 표시판이 있음에도 불구하고 불법 주정차 차량들이 넘쳐나고 있다.
이러한 상황을 극복하기 위하여 교통경찰이 보다 신속한 단속을 실시하고 있으나, 그 효과가 일시적이고, 단속 인력에 대한 비용이 가중될 수 있으며, 단속 중 민원인과의 충돌이나 마찰을 일으킬 수 있다.
따라서, 주정차 금지구역에 무인 감시 카메라 설치하여 불법 주정차 차량을 단속하는 방법이 널리 이용되고 있다. 이러한 무인 감시 카메라에 의한 단속 방법은 감시 카메라를 주정차 금지구역 상에 설치하여 불법 주정차 차량의 유무를 검지하는 방법으로 이루어질 수 있다.
종래의 감시 카메라를 이용한 불법 주정차 차량 단속 시스템은 검지 카메라를 이용하여 주정차 금지구역의 각 채널별로 불법 주정차 차량의 유무를 판단하고, 팬, 틸트, 줌 동작을 수행할 수 있는 단속 카메라를 이용하여 검지된 차량을 단속하는 방식으로 이루어졌다.
그러나, 불법 주정차 차량이 존재하는지 여부를 촬영하기 위하여 검지 카메라를 이용하여 주정차 금지구역을 촬영하다 보면, 도로나 거리에 존재하는 차량 이외의 다른 물체까지 검지하게 되는 오검지가 빈번하게 발생할 수 있다는 문제점이 있었다.
또한, 검지 카메라의 검지 대상인 차량이 아닌, 리어카, 오토바이, 자전거, 그림자, 맨홀, 도로상의 각종 글자, 횡단보도 등의 물체가 실제로는 검지 영역 부근에 다수 존재하며, 이러한 물체들을 차량과 구별하여 검지하기 곤란하기 때문에, 정작 차량의 검지에 소요되는 시간이 지체될 수도 있다는 문제점도 있었다.
따라서, 오검지를 방지하고 단속률을 높임으로써 효율적인 검지를 수행할 수 있는 불법 주정차 단속 시스템의 개발이 요구되고 있는 실정이다.
등록특허 제10-0785757호 등록특허 제10-0834550호 등록특허 제10-0502980호
D.G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision 60(2)
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 시-공간적 특징벡터를 이용하여 검지 카메라로 촬영한 영상에서 차량을 인식하고 단속을 수행함으로써 효율적으로 불법 주정차 차량을 단속할 수 있는 불법 주정차 단속 시스템 및 단속방법을 사용자에게 제공하는 데 그 목적이 있다.
구체적으로, 시-공간적 특징벡터를 이용한 검지 카메라로 촬영한 영상을 내장된 학습 데이터와 비교하여 불법 주정차 차량만을 검지함으로써 오검지율을 줄이고 단속률을 높이는 불법 주정차 단속 시스템 및 단속방법을 사용자에게 제공하는 데 그 목적이 있다.
또한, 검지 카메라로부터 멀리 떨어져 있는 불법 주정차 차량에 대해서도 검지영상을 확대하여 차량 인식을 수행함으로써 단속처리를 수행할 수 있는 불법 주정차 단속 시스템 및 단속방법을 사용자에게 제공하는 데 그 목적이 있다.
또한, 검지 영역 내의 차도 이외의 인도 등에 주정차한 차량도 다른 객체와 구분하여 차량 인식을 수행할 수 있는 불법 주정차 단속 시스템 및 단속방법을 사용자에게 제공하는 데 그 목적이 있다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 실현하기 위한 본 발명의 일례와 관련된 불법 주정차 단속 시스템은, 단속 카메라, 주정차 금지구역에 대한 검지영상을 촬영하는 검지 카메라, 차량 영상에 대한 특징벡터 정보가 포함된 학습 데이터를 저장하는 메모리 및 시-공간적 특징벡터를 이용하여 상기 검지영상에서 제 1 특징벡터를 추출하고, 상기 제 1 특징벡터와 상기 학습 데이터를 비교하여 상기 검지영상에 촬영된 객체 중 차량을 인식하는 제어부를 포함하되, 상기 인식된 차량 중 적어도 일부인 제 1 차량과 관련된 제 1 조건이 만족되는 경우, 상기 제어부는 상기 단속 카메라가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 상기 제 1 차량의 번호판을 촬영하도록 제어하고, 상기 제 1 조건은 상기 제 1 차량이 상기 주정차 금지구역에 기 설정된 시간 이상 정지하는 조건일 수 있다.
또한, 상기 제어부는, 상기 기 설정된 시간 이상의 간격으로 촬영된 제 1 검지영상과 제 2 검지영상을 이용하여 상기 제 1 조건이 만족되는지 여부를 판단하되, 상기 제 1 검지영상에서 인식된 차량이 상기 제 2 검지영상에서도 인식되는 경우 상기 제 1 조건이 만족될 수 있다.
또한, 상기 제어부는, 상기 메모리가 상기 학습 데이터에 상기 제 1 차량에 대한 특징벡터 정보를 추가 저장하도록 제어할 수 있다.
또한, 상기 학습 데이터에 포함된 상기 특징벡터 정보는, 서로 다른 크기를 갖는 복수의 차량 영상을 이용하여 추출될 수 있다.
또한, 상기 제어부는, 상기 검지영상 상의 상기 객체의 위치를 이용하여 제 1 거리를 계산하고, 상기 계산된 제 1 거리를 이용하여 상기 검지영상에 나타날 수 있는 영상 크기의 범위를 산출하며, 상기 학습 데이터 중 상기 산출된 영상 크기 범위 내의 크기를 갖는 차량 영상을 선택하고, 상기 제 1 특징벡터와 비교되는 학습 데이터는 상기 선택된 차량 영상에 대한 특징벡터 정보이며, 상기 제 1 거리는 상기 검지 카메라로부터 상기 객체까지의 거리일 수 있다.
또한, 상기 제어부는, 상기 검지영상 상의 상기 제 1 차량의 위치를 이용하여 상기 검지 카메라로부터 상기 제 1 차량까지의 거리를 계산하고, 상기 계산된 거리를 이용하여 상기 검지영상에 나타날 수 있는 영상 크기의 범위를 산출하며, 상기 제 1 조건 및 제 2 조건이 만족되는 경우, 상기 단속 카메라가 상기 제 1 차량의 번호판을 촬영하도록 제어하되, 상기 제 2 조건은 상기 검지영상 상의 상기 제 1 차량의 영상 크기가 상기 산출된 영상 크기의 범위 내인 조건일 수 있다.
또한, 상기 시-공간적 특징벡터는, SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), Adaboost, BMA(Block Matching Algorithm), HOG(Histogram of Oriented Gradients), Haar-like features 및 Gabor Wavelet(filter) 중 적어도 하나를 이용할 수 있다.
한편, 상술한 과제를 실현하기 위한 본 발명의 일례와 관련된 불법 주정차 단속 시스템의 단속방법은, 검지 카메라를 이용하여 주정차 금지구역에 대한 제 1 검지영상을 촬영하는 제 1 단계, 시-공간적 특징벡터를 이용하여 상기 제 1 검지영상에서 제 1 특징벡터를 추출하는 제 2 단계, 상기 제 1 특징벡터와 학습 데이터를 비교하여 상기 제 1 검지영상에 촬영된 객체 중 차량을 인식하는 제 3 단계, 상기 인식된 차량 중 적어도 일부인 제 1 차량과 관련된 제 1 조건이 만족되는 제 4 단계 및 상기 제 1 조건이 만족되는 경우, 단속 카메라가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 상기 제 1 차량의 번호판을 촬영하는 제 5 단계를 포함하되, 상기 학습 데이터는 차량 영상에 대한 특징벡터 정보를 포함하고, 상기 제 1 조건은 상기 제 1 차량이 상기 주정차 금지구역에 기 설정된 시간 이상 정지하는 조건일 수 있다.
또한, 상기 제 4 단계는, 기 설정된 시간 이상을 대기하는 단계, 상기 검지 카메라를 이용하여 상기 주정차 금지구역에 대한 제 2 검지영상을 촬영하는 단계, 상기 시-공간적 특징벡터를 이용하여 상기 제 2 검지영상에서 제 2 특징벡터를 추출하는 단계, 상기 제 2 특징벡터와 상기 학습 데이터를 비교하여 상기 제 2 검지영상에 촬영된 객체 중 차량을 인식하는 단계 및 상기 제 1 검지영상에서 인식된 차량 중 적어도 일부인 제 1 차량이 상기 제 2 검지영상에서 인식된 차량과 일치하여 상기 제 1 조건이 만족되는 단계를 포함할 수 있다.
또한, 상기 학습 데이터에 상기 제 1 차량에 대한 특징벡터 정보를 추가 저장하는 단계를 더 포함할 수 있다.
또한, 상기 학습 데이터에 포함된 상기 특징벡터 정보는, 서로 다른 크기를 갖는 복수의 차량 영상을 이용하여 추출된 것일 수 있다.
또한, 상기 제 3 단계는, 상기 제 1 검지영상 상의 객체의 위치를 이용하여 제 1 거리를 계산하는 단계, 상기 계산된 제 1 거리를 이용하여 상기 제 1 검지영상에 나타날 수 있는 영상 크기의 범위를 산출하는 단계, 학습 데이터 중 상기 산출된 영상 크기 범위 내의 크기를 갖는 차량 영상을 선택하는 단계 및 상기 제 1 특징벡터와 상기 선택된 차량 영상에 대한 특징벡터 정보를 비교하여 상기 제 1 검지영상에 촬영된 상기 객체 중 차량을 인식하는 단계를 포함하되, 상기 제 1 거리는 상기 검지 카메라로부터 상기 객체까지의 거리일 수 있다.
또한, 상기 제 3 단계와 상기 제 4 단계 사이에는, 상기 제 1 검지영상 상의 상기 차량의 위치를 이용하여 제 1 거리를 계산하는 단계 및 상기 계산된 제 1 거리를 이용하여 상기 제 1 검지영상에 나타날 수 있는 영상 크기의 범위를 산출하는 단계를 더 포함하고, 상기 제 4 단계는, 상기 인식된 차량 중 적어도 일부인 제 1 차량과 관련된 제 1 조건 및 제 2 조건이 만족되는 단계이며, 상기 제 2 조건은, 상기 검지영상에서 상기 제 1 차량의 영상 크기가 상기 산출된 영상 크기의 범위 내인 조건일 수 있다.
본 발명은 시-공간적 특징벡터를 계산 및 추출하여 검지 카메라로 촬영한 영상에서 차량을 인식하고 단속을 수행함으로써 효율적으로 불법 주정차 차량을 단속할 수 있는 불법 주정차 단속 시스템 및 단속방법을 사용자에게 제공할 수 있다.
구체적으로, 시-공간적 특징벡터를 추출하여 검지 카메라로 촬영한 영상을 내장된 학습 데이터와 비교하고 이를 이용하여 불법 주정차 차량만을 검지함으로써 오검지율을 줄이고 단속률을 높이는 불법 주정차 단속 시스템 및 단속방법을 사용자에게 제공할 수 있다.
또한, 검지 카메라로부터 멀리 떨어져 있는 불법 주정차 차량에 대해서도 검지영상을 확대하여 차량 인식을 수행함으로써 단속처리를 수행할 수 있는 불법 주정차 단속 시스템 및 단속방법을 사용자에게 제공할 수 있다.
또한, 검지 영역 내의 차도 이외의 인도 등에 주정차한 차량도 다른 객체와 구분하여 차량 인식을 수행할 수 있는 불법 주정차 단속 시스템 및 단속방법을 사용자에게 제공할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시례를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명에 적용될 수 있는 불법 주정차 단속 시스템의 블록 구성도의 일례를 나타낸 것이다.
도 2는 본 발명에 적용될 수 있는 제어부의 블록 구성도의 일례를 나타낸다.
도 3a 및 도 3b는 본 발명의 일례와 관련된 불법 주정차 단속 시스템이 설치된 구조의 평면도 및 측면도이다.
도 4는 본 발명의 일례와 관련된 불법 주정차 단속 시스템이 주정차 금지구역 내의 차량을 단속하는 방법을 설명하기 위한 순서도이다.
도 5a 내지 도 5d는 본 발명의 불법 주정차 단속 시스템에 적용될 수 있는 시-공간적 특징벡터의 일례를 나타낸다.
도 6a 내지 도 6c는 본 발명에 적용될 수 있는 시-공간적 특징벡터를 이용하여 차량을 인식하는 과정을 나타낸다.
이하, 도면을 참조하여 본 발명의 바람직한 일 실시례에 대해서 설명한다. 또한, 이하에 설명하는 일 실시례는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
종래에는 불법 주정차 차량으로 인한 교통 정체와 혼잡을 방지하고자 주정차 금지구역에 감시 카메라를 설치하여 불법 주정차 차량을 단속하였다.
그러나, 주정차 금지구역 주변에 존재하는 차량 이외의 물체가 검지 카메라에 의하여 촬영된 영상에 포함되어 차량이 아닌 물체가 검지되는 오검지의 문제가 빈번하게 발생할 수 있다는 문제점이 있었다. 또한, 검지 카메라로부터 멀리 떨어진 곳에 주정차된 차량의 경우 단속이 어렵다는 문제점도 있었다.
본 발명은 검지 카메라가 촬영한 주정차 금지구역에 대한 영상에 대하여 시-공간적 특징벡터를 적용하여 불법 주정차 차량의 단속 효율을 높일 수 있는 불법 주정차 단속 시스템을 제안하고자 한다.
이하에서는, 본 발명이 제안하는 불법 주정차 단속 시스템을 구체적으로 설명한다.
도 1은 본 발명에 적용될 수 있는 불법 주정차 단속 시스템의 블록 구성도의 일례를 나타낸 것이다.
상기 불법 주정차 단속 시스템(10)은 카메라 모듈(100), 출력부(200), 통신부(300), 메모리(400), 인터페이스부(500), 전원공급부(600), 제어부(700) 등을 포함할 수 있다.
단, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 불법 주정차 단속 시스템이 구현될 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
카메라 모듈(100)은 주정차 금지구역을 촬영하여 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 카메라 모듈(100)에서 처리된 화상 프레임은 메모리(400)에 저장되거나 통신부(300)를 통하여 외부로 전송될 수 있다. 처리된 화상 프레임은 디스플레이부(210)에 표시될 수도 있다.
이때, 카메라 모듈(100)에 사용되는 카메라는 사용 환경에 따라 2개 이상이 구비될 수 있다.
일례로, 카메라 모듈(100)은 검지 카메라(110)와 단속 카메라(120) 등을 포함할 수 있다. 다만, 본 발명은 이러한 구성으로 한정되는 것은 아니며, 다른 촬영수단을 구비하는 구성도 포함될 수 있다.
검지 카메라(110)는 주정차 금지구역을 촬영하며, 이렇게 촬영된 검지영상을 이용하여 주정차 금지구역 내로 차량이 진입하는지 여부를 검지할 수 있다.
상기 검지 카메라(110)는 어안렌즈(Fisheye Lens)가 장착된 카메라를 사용하여 구현될 수도 있다. 넓은 화각을 갖는 어안렌즈를 사용하는 경우에는 검지 카메라(110)를 중심으로 전방위(360˚) 영역의 영상을 촬영하여 검지영상으로 활용할 수 있다.
다만, 상기 검지 카메라(110)가 설치되어 있더라도 주정차 금지구역의 특정 지점을 확대하여 볼 수 있는 것은 아니므로 팬, 틸트, 줌 동작을 수행할 수 있는 단속 카메라(120)가 필요하다.
단속 카메라(120)는 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 주정차 금지구역 내에 불법으로 주정차하고 있는 차량의 번호판을 촬영할 수 있다. 이러한 단속 카메라(120)는 바람직하게는 LPR(License Plate Recognition) 카메라를 사용할 수 있다.
LPR 카메라는 x축, y축, z축 방향으로 각각 틸팅할 수 있는 틸팅장치를 구비하고 있으며, 이러한 구성은 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 용이한 사항이므로 구체적인 설명을 생략하기로 한다. 이와 같은 LPR 카메라는 지정된 x, y 좌표로 카메라를 회전시켜 차량에 대해 줌인(zoom-in) 영상 또는 줌아웃(zoom-out) 영상을 촬영할 수 있는 구성을 갖고 있다.
한편, 출력부(200)는 시각 또는 청각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(210), 경고부(220) 등이 포함될 수 있다.
디스플레이부(210)는 불법 주정차 단속 시스템(10)에서 처리되는 정보를 표시(출력)할 수 있다. 예를 들어, 불법 주정차 단속 시스템(10)과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 카메라 모듈(100)에서 촬영된 정지영상이나 동영상, 통신부(300)를 통하여 송/수신된 영상, UI, GUI 등을 표시할 수 있다.
또한, 디스플레이부(210)는 야간이나 어두운 공간에서 불법으로 주정차한 차량을 단속하거나 불법 주정차 단속 시스템(10)을 방범용으로 사용하는 경우 방범영역을 단속하기 위한 조명등으로 이용될 수도 있다.
상기 디스플레이부(210)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
경고부(220)는 불법 주정차 단속 시스템(10)의 이벤트 발생을 알리기 위한 신호를 출력한다. 불법 주정차 단속 시스템(10)에서 발생 되는 이벤트의 예로는 주정차 금지구역에 차량의 불법 주정차 등이 있다.
경고부(220)는 오디오 신호나 비디오 신호 이외에 다른 형태, 예를 들어 경고 안내 문서 등을 출력할 수도 있으며, 이 경우 경고 안내 문서를 출력하기 위한 프린터가 연결될 수 있다.
상기 비디오 신호는 디스플레이부(210)를 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(210)는 경고부(220)의 일종으로 분류될 수도 있다.
한편, 통신부(300)는 불법 주정차 단속 시스템(10)과 유/무선 통신 시스템 사이 또는 불법 주정차 단속 시스템(10)과 불법 주정차 단속 시스템(10)이 위치한 네트워크 사이의 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(300)는 유/무선 인터넷 모듈(310), 근거리 통신 모듈(320) 및 위치정보 모듈(330) 등을 포함할 수 있다.
유/무선 인터넷 모듈(310)은 유/무선 인터넷 접속을 위한 모듈을 말하는 것으로, 불법 주정차 시스템에 내장되거나 외장될 수 있다.
상기 무선 인터넷의 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), WCDMA(Wideband Code Division Multiple Access), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등이 이용될 수 있다.
근거리 통신 모듈(320)은 근거리 통신을 위한 모듈을 말한다. 상기 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치 정보 모듈(330)은 불법 주정차 시스템(10)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또 다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.
한편, 메모리(400)는 제어부(700)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 정지영상, 동영상 등의 특징벡터 정보)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(400)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 특징벡터 정보에 대한 사용빈도)도 함께 저장될 수 있다.
상기와 같은 메모리(400)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 불법 주정차 단속 시스템(10)은 인터넷(internet) 상에서 상기 메모리(400)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
한편, 인터페이스부(500)는 불법 주정차 단속 시스템(10)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(500)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 불법 주정차 단속 시스템(10) 내부의 각 구성 요소에 전달하거나, 불법 주정차 단속 시스템(10) 내부의 데이터가 외부 기기로 전송되도록 한다.
예를 들어, 카메라 모듈(100)로 촬영된 이미지 또는 영상을 외부로 연결하는 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트 등이 인터페이스부(500)에 포함될 수 있다.
한편, 전원공급부(600)는 제어부(700)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
한편, 제어부(controller)(700)는 통상적으로 불법 주정차 단속 시스템(10)의 전반적인 동작을 제어한다. 예를 들어 영상 촬영, 불법 주정차 차량 검지, 단속자료 생성 등을 위한 관련된 제어 및 처리를 수행한다.
예를 들어, 제어부(700)는 검지 카메라(110)가 촬영한 영상을 수신받으며, 주정차 금지구역에 차량이 주정차를 하는 경우 상기 차량을 단속할지 여부를 판단할 수 있다. 또한, 제어부(700)는 주정차 금지구역의 조도가 불균일한 경우, 조도를 검지하여 밝은 영역을 향하는 디스플레이부(210)의 투광 세기는 약하게 조절하고, 어두운 영역을 향하는 디스플레이부(210)의 투광 세기는 강하게 조절할 수 있다.
여기에 설명되는 다양한 실시례는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시례는 ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시례들이 제어부(700) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시례들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰인 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(400)에 저장되고, 제어부(700)에 의해 실행될 수 있다.
한편, 도 2는 본 발명에 적용될 수 있는 제어부의 블록 구성도의 일례를 나타낸다.
도 2에 도시된 것과 같이, 발명의 일례에 적용될 수 있는 제어부(700)는 차량 인식수단(710), 불법 주정차 판단수단(720), 번호판 인식수단(730), 필터링 수단(740), 카메라 제어수단(750), 메모리 제어수단(760) 등이 포함될 수 있다. 단, 제어부(700)의 구성이 이에 한정되는 것은 아니며, 이보다 많거나 이보다 적은 구성요소들로 구현하는 것도 가능하다.
먼저, 차량 인식수단(710)은 검지 카메라(110)가 촬영한 주정차 금지구역에 대한 검지영상을 수신받으며, 시-공간적 특징벡터를 이용하여 상기 검지영상으로부터 특징벡터 정보를 분석할 수 있다.
상기 시-공간적 특징벡터는 불법 주정차 단속 시스템(10)의 단속 대상인 차량을 인식하기 위한 특징벡터를 추출하고 분석하는 방법으로서, SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), Adaboost, BMA(Block Matching Algorithm), HOG(Histogram of Oriented Gradients), Haar-like features 및 Gabor Wavelet(filter) 중 어느 하나를 이용할 수 있다.
여기서, SIFT 알고리즘은 영상의 특징벡터를 추출하는 대표적인 알고리즘으로서, 이미지 회전, 스케일링, 이동, 부분 조명 변화 및 투영변환(projective transform)에 불변인 특성을 지니고 있다. SIFT 알고리즘은 로컬 이미지의 특성을 고려하여 특징의 위치, 스케일 및 방향 등의 속성을 추출할 수 있다.
즉, 첫 번째 단계로, DOG(Difference-Of-Gaussian) 함수를 통해 생성한 스케일 공간에서 최대·최소(extrema)를 검색하여 샘플점(또는 후보 픽셀)을 선택한다(Scale-space extrema detection).
두 번째 단계로, 안정도(stability) 수치에 기반하여 키포인트들을 선택한다(Keypoint localization).
세 번째 단계로, 각각의 키포인트에 대하여 1 이상의 방향을 할당한다(Orientation assignment).
마지막 단계로, 로컬 이미지 기울기(local image gradient)들을 이용하여 키포인트 기술자를 생성한다(Keypoint descriptor).
상기 SIFT 알고리즘에 관한 상세한 설명은 "Distinctive image features from scale-invariant keypoints" 논문에 자세하게 나와있다.
또한, SURF 알고리즘은 여러 개의 영상으로부터 크기, 조명, 시점 등의 환경 변화를 고려하여 환경 변화에 불변하는 특징을 찾는 알고리즘으로서, 일반적으로 성능이 우수하다고 알려진 SIFT 알고리즘과 견줄만한 성능을 보이면서 동시에 속도를 크게 향상시킨 알고리즘이다.
상기 SURF 알고리즘에 관한 상세한 설명은 "Robust Interest Point Detection and Descriptor" 논문에 자세하게 나와있다.
또한, HOG 알고리즘은 영상 내에서 특정 물체의 외관과 형상은 기울기 크기나 모서리 방향의 분포에 의하여 결정될 수 있다는 점을 기반으로 한다.
HOG 알고리즘은 영상을 셀(cell)이라고 지칭되는 다수의 영역으로 분할하고, 각 셀마다 기울기나 모서리의 방향의 히스토그램을 작성하여 특정 물체를 인식할 수 있다.
상기 HOG 알고리즘에 관한 상세한 설명은 "Histograms of oriented gradients for human detection" 논문에 자세하게 나와있다.
또한, Haar-like features 알고리즘은 모서리의 특징 정보를 나타내는 포로토타입과 선의 특징 정보를 나타내는 프로토타입을 이용하여 특정 물체를 인식할 수 있다. 이에 대한 자세한 설명은 "An Extended Set of Haar-like Features for Rapid Object Detection" 논문에 설명되어 있다.
또한, Gabor Wavelet(filter) 알고리즘에 관한 상세한 설명은 "Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters."에 자세하게 나와있다.
또한, BMA 알고리즘에 관한 상세한 설명은 "Combined shape and feature-based video analysis and its application to non-regid object tracking"에 자세하게 나와 있다.
이러한 시-공간적 특징벡터에 의하여 추출된 특징벡터 정보는 메모리(400)에 저장되어 있는 학습 데이터와 비교된다.
상기 학습 데이터는 일반적인 차량의 영상에 대한 특징벡터의 벡터성분들의 정보를 포함하고 있으므로, 차량 인식수단(710)은 검지영상에 촬영된 객체 중 차량이 있는지 판단할 수 있으며 차량에 대한 인식을 할 수 있다.
상기 차량 인식수단(710)이 차량을 인식하는 과정을 살펴보기 위하여 도 6a 내지 도 6c를 먼저 살펴본다. 도 6a 내지 도 6c는 본 발명에 적용될 수 있는 시-공간적 특징벡터를 이용하여 차량을 인식하는 과정을 나타낸다.
검지영상으로부터 차량을 인식하는 과정에서는 도 6b의 (a)에 도시된 바와 같이 특징벡터 추출을 위해 검지영상을 N개 매크로 블록 단위로 분할하며, 분할된 매크로 블록의 크기는 검지영상의 크기에 따라 일정한 비율로 구성될 수 있다.
도 6a의 시-공간적 특징벡터를 이용한 차량인식의 흐름도에 도시된 바와 같이, 파란색으로 표시된 A Processor에서는 매크로 블록 단위로 매칭을 수행한다. A Processor에서는 진입하는 차량과 같이 모션(motion)이 있는 매크로 블록은 버리고(remove), 고정된 불법 주정차 차량과 같이 모션이 없는 것만 이용한다. 이를 통하여 A Processor에서는 배경을 추출할 수 있다. 또한, B Processor에서는 모션(motion)이 있는 것을 대상으로 하여 Gradient를 기반으로 특징분석(feature analysis)을 수행하는 HOG와 주파수 영역에서 특징분석을 수행하는 Gabor Wavelet를 이용하며, 자동차의 특징에 관한 벡터 성분을 좀 더 정확하게 파악하여 최적화하기 위하여 Boosting 과정을 수행한다. 이러한 과정을 통하여 도 6b의 (b)의 edge를 검출할 수 있으며, 도 6b의 (c)는 HOG의 결과이고, 도 6b의 (d)는 boosting HOG를 이용한 특징벡터 결과이며, 도 6b의 (e)는 Gabor 필터 결과이고, 도6b의 (f)는 Gabor 필터 결과에 Gabor 커널을 투영한 결과이다.
특징벡터의 추출은, 시-공간적상의 정보를 결합한 형태이다. 시간상의 정보는 최초 차량 여부를 판단하기 위한 데이터로서, 인접한 영상 간의 움직임 벡터(motion vector)를 분석하여 일정 크기 이하의 성분만을 추출함으로써, 이후의 검지단계에서 최초(초기 검지영상이 입력되는 시점) 차량 여부를 판단하기 위한 근거 데이터 정보로 활용한다. 특징벡터 추출단계에서는 공간적상의 움직임 벡터를 계산하고, 벡터 크기는 차량의 고유한 성질을 만족하는 패턴정보로 된다. 이때 공간적적인 벡터는 도 6a에 도시된 것과 같이 HoG 기반에서의 성분과 Gabor 필터를 적용하여 얻어진 특징벡터 정보를 활용한다.
특징벡터는 시-공간적상의 벡터성분들을 혼합하고, 혼합된 성분들의 집합으로는, 크기(scale), 위치(position), 상호관계(cross correlation)로 구성될 수 있다. 상기 공간적상의 벡터특징은 다양한 환경에서 차량의 벡터 성분들로 구성하여, 차량의 고유 특징으로 지역적인 벡터 크기(magnitude), 방향(direction), 분포(histogram)등의 성분들로 구성되며, 시간상의 벡터특징들과 결합하여 차량인식에 대한 판별조건으로 이용된다.
시간적 특징벡터에 포함된 특징정보 벡터는 하기의 수학식 1과 같이 나타낼 수 있다.
Figure 112013083535787-pat00001
여기서,
Figure 112013083535787-pat00002
는 이전 영상이고,
Figure 112013083535787-pat00003
는 현재 영상을 나타낸다.
인접한 영상 간의
Figure 112013083535787-pat00004
값이 임의의 설정값보다 큰 경우에 대해서만 특징벡터 성분을 추출한다. 하지만 초기 검지 카메라로부터 입력된 시점에서 차량이 유입되어 있을 경우에는 배경성분으로 분석해야만 차량을 인식할 수 있다. 또한, 시간적 특징벡터 추출 단계에서는 단 한 번만 수행되고, 이후 단계는 공간상에서 차량의 고유 벡터성분들을 분석하여 이를 이용하여 차량을 인식한다.
차량 인식수단(710)이 시-공간적 특징벡터를 이용하여 검지영상으로부터 특징벡터를 추출하는 과정은 하기의 수학식 2와 같다.
Figure 112013083535787-pat00005
Figure 112013083535787-pat00006
Figure 112013083535787-pat00007
여기서, 수학식 2의 의미는, 첫 번째 중심으로부터의 왼쪽 위치의 차이값이고, 두 번째 중심으로부터 오른쪽 차이값이며, 세 번째 중심의 차이값을 나타낸다. 이를 활용하여 x, y 좌표상의 밝기 값에 따른 미분값이며 x, y 각각의 방향에 따라 설정한다. 상기 수학식 2를 기반으로 하기의 수학식 3과 같이 특징벡터, 크기, 방향에 대하여 정의할 수 있다.
Figure 112013083535787-pat00008
Figure 112013083535787-pat00009
Figure 112013083535787-pat00010
상기 수학식 3에서 첫 번째는 벡터성분들을 나타내고, 두 번째는 벡터의 크기를 나타내며, 세 번째는 벡터의 방향을 나타낸다. 이때, 특징벡터는 일정 크기 이상의 값들만 존재하도록 설정된다. 이는 영상 내의 잡음도 억제가 가능하다. 대부분의 차량 벡터들은 일정 수치 이상의 크기와 방향 성분이 존재하므로 이를 활용하여 특징벡터들로만 누적한 분포에 따라 선택적으로 사용이 가능하다.
공간적인 특징벡터는 상기 수학식 3에 의하여 차량의 전반적인 외곽선들로 구성된다. 하지만 본 발명에서는 차량의 고유 벡터를 추가적으로 계산한다. 이때, 차량의 고유정보로써 차량의 앞면의 유리창 부분과 뒷면의 유리창 부분이 형태와 성분이 동일한 패턴을 가지고 있다는 가정 하에 Gabor Wavelet을 이용할 수 있다. 특징패턴에 대한 성분 분석이 용이한 Gabor Wavelet은 위치(position), 크기(scale), 상관관계(cross correlation)의 조합으로 패턴 분석이 가능하다. 사용된 Gabor Wavelet 방법에 대한 상세한 설명과 구체적인 알고리즘은 "Learning active basis model for object detection and recognition"에 소개되어 있다.
도 6c에 도시된 바와 같이 차량의 앞면 유리창을 이용하는 경우 차량의 검지가 훨씬 용이해질 수 있다. 즉, 차량의 헤드라이트나 번호판 등의 특성을 검출하는 방법을 사용하여 차량을 검출하는 것도 가능하나, 사다리꼴 모양의 차량의 앞면 유리창 혹은 뒷면 유리창을 이용하여 차량의 검출을 수행하는 경우 더욱 정확한 차량의 인식이 가능해질 수 있다. 테두리에 대한 특징벡터는 구분이 되기 어려운 경우가 많으나, 차량의 앞면 또는 뒷면 유리창의 경우 빛 반사나 운전자의 움직임, 나무나 구름에 의한 조도 변화 등이 발생되므로 구분이 훨씬 용이하기 때문이다. 이를 위하여 본 발명은 상술한 HOG와 Gabor Wavelet을 같이 이용할 수 있다.
다시 도 2를 참조하면, 검지영상으로부터 차량을 인식하는 과정에서는 선형 최근접점 탐색이 사용될 수 있으며, 이는 비교되는 특징벡터 중 유사도가 높은 특징벡터의 개수에 따라 결정하는 방법이다. 하지만 선형 최근접점 탐색은 메모리(400)에 저장된 모든 학습 데이터와 비교하여야 하므로 연산량이 너무 많으며 계산 속도가 느릴 수 있다. 따라서, 학습 데이터에 특징벡터 정보와 관련된 색인(index)을 만들어 탐색을 고속화하는 방법이 이용될 수도 있다.
또한, 차량 인식수단(710)은 차량이 주정차 금지구역에 진입하는지 여부와 상기 차량이 주정차 금지구역에 정지한 위치를 판단할 수 있다.
이를 위하여 차량의 모션을 검지하는 모션 검지 알고리즘 또는 주정차 금지구역의 배경 영상과 차량 주차 시 영상을 대비하는 영상 검지 알고리즘이 사용될 수 있으며, 바람직하게는 더 정확한 차량 검지를 위해 두 개의 알고리즘을 모두 사용할 수 있다.
한편, 불법 주정차 판단수단(720)은 차량이 주정차 금지구역 상에 주정차하였는지 여부를 판단할 수 있다.
즉, 차량 인식수단(710)이 검지 카메라(110)가 촬영한 검지영상을 수신하여 주정차 금지구역에 있는 차량을 인식한 경우, 불법 주정차 판단수단(720)은 이 차량이 불법 주정차하였는지 여부를 판단하여 단속처리를 수행할지 여부를 결정할 수 있다.
검지영상에 차량이 인식되었다는 사정만으로 그 차량이 불법 주정차하였다고 단정할 수 없으며, 차량이 기 설정된 시간 이상 주정차 금지구역에 정지한 경우에야 비로소 그 차량이 불법 주정차를 하였다고 할 수 있다.
따라서, 통상적으로 불법 주정차 판단수단(720)은 기 설정된 시간의 간격으로 촬영된 검지영상을 이용하여 차량의 불법 주정차 여부를 판단할 수 있다.
즉, 불법 주정차 판단수단(720)은 초기에 주정차 금지구역에 차량의 존재를 인식한 경우, 기 설정된 시간이 경과한 후에 검지 카메라(110)가 다시 주정차 금지구역을 촬영하도록 제어한다. 이를 위하여 카메라 제어수단(750)이 검지 카메라(110)의 동작을 함께 제어할 수 있다.
차량 인식수단(710)은 상기 기 설정된 시간 경과 후 촬영된 검지영상을 수신하고, 다시 공간적인 특징벡터를 분석하여 상기 검지영상으로부터 특징벡터 정보를 추출한다.
이렇게 추출된 특징벡터는 메모리(400)에 저장되어 있는 학습 데이터와 비교되며, 차량 인식수단(710)은 기 설정된 시간 경과 후 촬영된 검지영상에 촬영된 객체 중 차량이 있는지 판단할 수 있으며 차량에 대한 인식을 할 수 있다.
불법 주정차 판단수단(720)이 기 설정된 시간 경과 후의 검지영상에서 인식된 차량이 초기의 검지영상에서 인식된 차량과 동일하다고 판단하는 경우, 상기 차량은 불법 주정차를 한 것이라고 간주된다.
반대로, 기 설정된 시간 경과 후의 검지영상에서 인식된 차량과 초기의 검지영상에서 인식된 차량이 동일하지 않다고 판단하는 경우에는 상기 차량은 불법 주정차하지 않은 것이라고 인정되며, 다시 검지 카메라(110)를 이용하여 주정차 금지구역을 촬영하며 차량의 진입 여부를 탐색한다.
한편, 번호판 인식수단(730)은 단속 카메라(120)가 촬영한 영상을 수신하여 불법 주정차 차량의 번호판의 문자를 인식할 수 있다.
문자 인식을 위하여 우선 차량 번호판 위치의 3가지 검출방법 중 하나가 실행될 수 있다.
첫째는 촬영된 영상으로부터 수직 및 수평 가장자리 정보를 이용하여 번호판의 특징영역을 검출하는 것이다.
두 번째는 스캔 데이터 분석에 의해 차량 번호판의 위치를 검출하는 것이다.
세 번째는 숫자와 문자를 직접 검색하여 정확한 차량 번호판을 검출하는 것이다.
차량 번호판의 위치가 검출되면, 템플렛 정합에 의한 문자 인식(한글자음 + 번호), 구조적 특징에 의한 문자 인식(한글모음)을 하고, 오인식을 줄이기 위하여 내부의 인식 알고리즘은 숫자, 문자(자음, 모음) 등 특징을 상세하게 분류하여 인식된 문자를 재확인처리를 함으로써 문자 해독 시 오류를 최소화할 수 있다.
한편, 필터링 수단(740)은 검지영상에 찍힌 차량의 크기를 고려하여 단속 대상에서 제외할 것인지 여부를 결정할 수 있다.
검지 카메라(110)를 이용하여 주정차 금지구역에 대한 검지영상을 촬영하는 경우, 촬영된 검지영상에 찍힌 차량의 크기는 검지 카메라(110)로부터 실제 차량의 위치까지의 거리에 따라서 달라진다.
즉, 검지영상의 하단 부분은 불법 주정차 단속 시스템(10)이 설치된 지주에서 가까운 공간이므로, 실제 차량이 검지 카메라(110)에 가까운 곳에 위치한다면, 검지영상에 찍힌 차량은 검지영상의 하단 부분에 위치할 것이며, 검지영상에 찍힌 차량의 크기는 크게 나타날 것이다.
반대로, 실제 차량이 검지 카메라(110)에서 먼 곳에 위치한다면, 검지영상에 찍힌 차량은 검지영상의 상단 부분에 위치할 것이며, 검지영상에 찍힌 차량의 크기는 작게 나타날 것이다.
이렇게, 필터링 수단(740)은 차량 인식수단(710)에 의하여 인식된 차량의 검지영상에서의 위치를 이용하여 검지 카메라(110)로부터 실제 차량의 위치까지의 거리를 계산할 수 있다.
또한, 필터링 수단(740)은 상기 계산된 거리를 이용하여 검지영상에서의 예상되는 차량 영상의 크기를 산출할 수 있으며, 검지영상 상의 차량 영상의 크기가 예상되는 차량 영상의 크기와 차이가 많이 난다면 이를 단속 대상에서 제외함으로써 오검지를 방지할 수 있다.
즉, 차량 인식수단(710)에 의하여 인식된 차량이 검지영상의 하단 부분에 찍혀 있어서 검지 카메라(110)로부터 가까운 곳에 있다고 계산되었는데, 검지영상 상의 차량 영상의 크기가 작게 찍혀있는 경우에는, 상기 인식된 차량은 실제로는 차량이 아니고 오검지일 가능성이 많기 때문에 이를 단속 대상에서 제외시킬 수 있다.
반대로, 차량 인식수단(710)에 의하여 인식된 차량이 검지영상의 상단 부분에 찍혀 있어서 검지 카메라(110)로부터 먼 곳에 있다고 계산되었는데, 검지영상 상의 차량 영상의 크기가 크게 찍혀있는 경우에는, 상기 인식된 차량은 실제로는 차량이 아니고 오검지일 가능성이 많기 때문에 이 또한 단속 대상에서 제외시킬 수 있다.
한편, 카메라 제어수단(750)은 카메라 모듈(100)에 속하는 검지 카메라(110)와 단속 카메라(120)의 전반적인 동작을 제어할 수 있다.
카메라 제어수단(750)은 불법 주정차 단속 시스템(10)이 주정차 금지구역에 정지하는 차량을 단속하도록 검지 카메라(110)를 이용하여 주정차 금지구역에 대한 검지영상을 촬영하도록 제어할 수 있다.
또한, 카메라 제어수단(750)은 주정차 금지구역에 정지한 차량이 주정차 금지구역 상에 주정차한 것인지 여부를 판단할 수 있도록 기 설정된 시간 이후에 다시 주정차 금지구역에 대한 검지영상을 촬영하도록 제어할 수 있다. 이는 불법 주정차 판단수단(720)과 함께 제어될 수 있다.
또한, 카메라 제어수단(750)은 차량 인식수단(710)에 의하여 판단된 정지된 차량의 위치 정보를 수신하며, 이를 이용하여 단속 카메라(120)가 주정차 금지구역에 정지한 차량의 번호판을 촬영할 수 있도록 단속 카메라(120)의 팬, 틸트, 줌 동작 중 적어도 하나를 수행하도록 제어를 할 수 있다.
한편, 메모리 제어수단(760)은 메모리(400)로 입/출력되는 각종 데이터에 대한 전반적인 동작을 제어할 수 있다.
제어부(700)의 차량 인식수단(710)은 검지영상으로부터 특징벡터를 추출하며, 상기 추출된 특징벡터를 메모리(400)의 일반적인 차량 영상에 대한 특징벡터 정보와 비교한다.
이를 위하여, 메모리 제어수단(760)은 메모리(400)가 일반적인 차량 영상에 대한 특징벡터 정보가 포함된 학습 데이터를 차량 인식수단(710)으로 출력하도록 제어할 수 있다.
또한, 차량 인식수단(710) 및/또는 필터링 수단(750)에 의하여 인식된 차량에 대한 특징벡터 정보가 메모리(400)의 학습 데이터에 존재하지 않는 경우, 이를 다음 학습 데이터와의 비교에 사용할 수 있도록 상기 특징벡터 정보를 메모리(400)에 저장할 수 있다.
이를 위하여, 메모리 제어수단(760)은 차량 인식수단(710) 및/또는 필터링 수단(750)에 의하여 인식된 차량에 대한 특징벡터 정보를 메모리(400)로 입력되도록 제어할 수 있다.
이하에서는, 상기 설시한 구성을 갖는 불법 주정차 단속 시스템의 설치 구조를 도면을 참조하여 살펴본다.
도 3a 및 도 3b는 본 발명의 일례와 관련된 불법 주정차 단속 시스템이 설치된 구조의 평면도 및 측면도이다.
도 3a 및 도 3b에서 볼 수 있듯이, 본 발명의 불법 주정차 단속 시스템(10) 구조는 지주(12), 가로대(14), 검지 카메라(110), 단속 카메라(120) 등을 포함할 수 있다.
단, 도 3a 및 도 3b에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 불법 주정차 단속 시스템이 구성될 수도 있다. 이하, 도 3a 및 도 3b의 설치 구조를 살펴본다.
지주(12)는 주정차 금지구역 안이나 근처의 지면에 고정되게 설치되며, 볼트에 의해 지면에 고정되거나 지중에 삽입 고정되는 것이 바람직하다. 지주(12)는 단속 카메라(120)가 넓은 지역을 촬영할 수 있도록 충분한 높이로 설치될 수 있다.
지주(12)는 검지 카메라(110)나 단속 카메라(120), 출력부(200), 통신부(300) 등에 전원을 공급하기 위해 지중으로부터 연결되는 전선이 관통될 수 있도록 내부는 중공으로 형성될 수 있으며, 그 재질은 빗물 등에 부식되지 않는 금속 재질로 형성되는 것이 바람직하다.
지주(12)의 상부에는 적어도 하나의 가로대(14)가 연결되어 설치될 수 있으며, 상기 지주(12)와 마찬가지로 그 내부는 중공으로 형성될 수 있으며, 그 재질은 금속 재질로 형성되는 것이 바람직하다.
가로대(14)는 지면과 수평 하게 위치될 수 있고, 바람직하게는 주정차 금지구역 위에 배치될 수 있다.
검지 카메라(110)와 단속 카메라(120)는 주정차 금지구역을 촬영하여 얻어지는 정지영상 또는 동영상 등의 화상을 처리할 수 있다. 상기 검지 카메라(110)와 단속 카메라(120)는 상기 가로대(14)의 단부에 설치될 수 있고, 바람직하게는 단속하고자 하는 주정차 금지구역 위에 배치될 수 있다.
상기 불법 주정차 단속 시스템(10)이 설치된 주정차 금지구역에는 도 3a에 도시한 바와 같이 검지 카메라(110)로부터 가까운 곳에 주정차된 차량(21)과 검지 카메라(110)로부터 먼 곳에 주정차된 차량(22)이 있을 수 있다.
앞서 설명한 바와 같이, 검지 카메라(110)를 이용하여 주정차 금지구역에 대한 검지영상을 촬영하는 경우, 검지 카메라(110)로부터 가까운 곳에 주정차된 차량(21)은 검지영상의 하단에 위치하게 된다.
따라서 필터링 수단(740)은 상기 검지영상에 찍힌 차량의 위치를 이용하여 검지 카메라(110)로부터 상기 차량(21)까지의 거리를 계산할 수 있다.
또한, 검지 카메라(110)로부터 먼 곳에 주정차된 차량(22)은 검지영상의 상단에 위치하게 되며, 이로부터 검지 카메라(110)로부터 상기 차량(22)까지의 거리가 계산될 수 있다.
이하에서는 도 3a 및 도 3b의 구조를 갖는 불법 주정차 단속 시스템의 단속방법을 도 4를 참조하여 설명한다.
도 4는 본 발명의 일례와 관련된 불법 주정차 단속 시스템이 주정차 금지구역 내의 차량을 단속하는 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 먼저, 검지 카메라(110)가 주정차 금지구역에 대한 제 1 검지영상을 촬영한다(S1010).
이어서, 차량 인식수단(710)은 검지 카메라(110)가 촬영한 제 1 검지영상을 수신받으며, 시-공간적 특징벡터를 이용하여 제 1 검지영상에 대한 제 1 특징벡터들을 추출한다(S1020).
상기 시-공간적 특징벡터로는 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), Adaboost, BMA(Block Matching Algorithm), HOG(Histogram of Oriented Gradients), Haar-like features 및 Gabor Wavelet(filter) 등이 적용될 수 있다.
이어서, 차량 인식수단(710)은 제 1 검지영상에서 추출한 제 1 특징벡터들과 메모리(400)에 저장된 학습 데이터를 비교하여 제 1 검지영상에 촬영된 객체 가운데서 차량을 인식한다(S1030).
메모리(400)에 저장된 학습 데이터에는 다양한 종류의 차량 영상에 대한 특징벡터 정보를 포함하고 있으며, 이러한 차량 영상은 다양한 크기를 가지고 있으므로 제 1 검지영상에 찍힌 객체의 크기에 상관없이 차량을 인식하는 것이 가능하다.
상기 S1030 단계에서는 보다 신속한 차량 인식을 수행하기 위하여 학습 데이터를 선별하여 상기 제 1 특징벡터들과 비교할 수 있다.
즉, 제 1 검지영상 상의 객체의 위치를 이용하여 검지 카메라(110)로부터 상기 객체까지의 거리를 계산한 뒤, 상기 계산된 거리를 이용하여 제 1 검지영상에 나타날 수 있는 영상 크기의 범위를 산출할 수 있다.
제 1 특징벡터들과 비교하는 과정에서 모든 학습 데이터와 비교를 수행하는 것이 아니라, 이렇게 산출된 영상 크기 범위 내에 있는 차량 영상에 대한 학습 데이터만 선택하여 제 1 특징벡터들과 비교할 수 있다.
상기 인식 과정에 의하면, 학습 데이터와의 비교대상을 절감시킬 수 있어 연산량이 크게 줄어들며, 신속한 차량 인식을 수행할 수 있다.
이어서, 필터링 수단(740)은 제 1 검지영상에서 인식된 차량의 영상 크기가 제 1 거리에 대응하여 산출된 크기의 범위 이내인지 판단한다(S1040). 여기서 제 1 거리는 검지 카메라(110)로부터 실제 차량의 위치까지의 거리를 지칭한다.
상기 S1030 단계에서 차량 인식수단(710)에 의하여 차량이라고 인식된 물체가 반드시 실제 차량이라고 단정할 수 없으며, 차량이 아닌 유사한 객체가 오검지로 인하여 차량으로 인식된 것일 수 있다.
이러한 오검지를 방지하기 위하여, 필터링 수단(740)은 거리에 따른 영상의 크기를 감안하여 단속 대상을 필터링할 수 있다.
즉, 불법 주정차 단속 시스템(10)이 설치된 지주에서 가까운 거리에 위치한 객체는 제 1 검지영상의 하단 부분에 찍히게 되며, 불법 주정차 단속 시스템(10)이 설치된 지주에서 먼 거리에 위치한 객체는 제 1 검지영상의 상단 부분에 찍히게 된다.
따라서, 필터링 수단(740)은 차량으로 인식된 객체의 제 1 검지영상 상의 위치를 이용하여 검지 카메라(110)로부터 실제 객체의 위치까지의 거리를 계산할 수 있다.
또한, 필터링 수단(740)은 상기 계산된 거리를 이용하여 제 1 검지영상에서의 예상되는 차량 영상의 크기의 범위를 산출할 수 있다.
제 1 검지영상의 하단 부분에 찍힌 차량의 크기는 크게 나타날 것이며, 제 1 검지영상의 상단 부분에 찍힌 차량의 크기는 작게 나타나야 할 것이다.
그런데, 제 1 검지영상의 하단 부분에 차량이라고 인식된 객체의 영상 크기가 거리에 따라 산출된 영상 크기보다 작다거나, 제 1 검지영상의 상단 부분에 차량으로 인식된 객체의 영상 크기가 거리에 따라 산출된 영상 크기보다 큰 경우에는, 필터링 수단(740)은 차량 인식수단(710)이 오검지를 한 것이라고 판단하며 이를 단속 대상에서 제외시킬 수 있다.
이렇게, S1040 단계에서는, 제 1 검지영상에서 인식된 차량의 영상 크기가 상기 산출된 크기의 범위 이내라면, 인식된 차량을 단속 대상에 포함시킬 수 있다. 반대로, 제 1 검지영상에서 인식된 차량의 영상 크기가 상기 산출된 크기의 범위 밖이라면, 인식된 차량은 단속 대상에서 제외될 수 있다.
이어서, 소정의 시간을 대기하게 된다(S1050). 대기하는 시간 동안 카메라 모듈(100)은 주정차 금지구역 내의 다른 부분을 감시할 수 있다.
이어서, 소정의 시간이 경과하면, 검지 카메라(110)는 주정차 금지구역에 대한 제 2 검지영상을 촬영하며(S1060), 차량 인식수단(710)은 검지 카메라(110)가 촬영한 제 2 검지영상을 수신하고, 시-공간적 특징벡터를 이용하여 제 2 검지영상에 대한 제 2 특징벡터들을 추출한다(S1070).
여기서 시-공간적 특징벡터는 상기 S1020 단계에서 사용된 시-공간적 특징벡터와 동일한 방법이 사용된다.
이어서, 차량 인식수단(710)은 제 2 검지영상에서 추출한 제 2 특징벡터들과 메모리(400)에 저장된 학습 데이터를 비교하여 제 2 검지영상에 촬영된 객체 가운데서 차량을 인식한다(S1080).
이어서, 차량 인식수단(710)과 필터링 수단(740)에 의하여 인식된 차량이 주정차 금지구역에 불법 주정차하였는지 판단하기 위하여, 제 1 검지영상에서 인식된 차량과 제 2 검지영상에서 인식된 차량이 일치하는지 판단한다(S1090).
만약 인식된 차량이 동일하지 않다면, 동일 위치에 불법 주정차한 다른 차량인 것이므로 다시 처음부터 단속 과정을 수행한다.
만약 인식된 두 차량이 동일하다면, 차량이 적어도 기 설정된 시간 동안 같은 위치에서 불법 주정차하였다는 것이 간접적으로 입증되는 것이다.
이어서, 인식된 차량이 불법 주정차한 것으로 판단되는 경우, 카메라 제어수단(750)은 단속 카메라(120)가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하도록 제어하여 차량의 번호판을 촬영한다. 또한, 번호판 인식수단(730)은 단속 카메라(120)가 촬영한 영상을 수신받아 번호판의 문자를 인식하여 단속 처리를 수행하게 된다(S1100).
번호판 인식수단(730)의 문자인식 방법은 상술한 바와 동일하다.
또한, 차량번호가 인식되면 불법 주정차 차량에 대해 고지서를 발부하기 위하여 카메라 제어수단(750)은 차량에 대한 사진과 배경사진을 촬영하도록 카메라 모듈(100)을 제어할 수 있다.
이어서, 메모리 제어수단(760)은 단속된 차량에 대한 특징벡터 정보를 메모리(400)의 학습 데이터에 추가하며(S1110), 추가된 자료는 다음 단속 시 학습 데이터와의 비교에 사용될 수 있어 단속률을 향상시킬 수 있다.
이하에서는, 도 5a 내지 도 5d를 참조하여 본 발명의 시-공간적 특징벡터가 적용되는 일례를 살펴본다.
도 5a 내지 도 5d는 본 발명의 불법 주정차 단속 시스템에 적용될 수 있는 시-공간적 특징벡터의 일례를 나타낸다.
도 5a에서 볼 수 있듯이, 검지 카메라(110)가 촬영한 주정차 금지구역에 대한 검지영상에는 차량 이외의 다양한 객체가 검지될 수 있다.
또한, 도 5a의 검지영상의 하단에 위치한 차량은 검지 카메라(110)로부터 가까운 거리에 위치하며, 검지영상에서 영상 크기가 크게 나타난다.
검지영상의 상단에 위치한 차량은 검지 카메라(110)로부터 먼 거리에 위치하며, 검지영상에서 영상 크기가 작게 나타난다. 이렇게 작게 촬영된 차량의 경우에는 영상 확대를 적용하여 차량인식이 수행될 수 있다.
메모리(400)의 학습 데이터에는 도 5b에 도시한 것과 같은 다양한 종류의 차량 영상에 대한 특징벡터 정보가 포함되어 있으며, 이러한 영상은 다양한 크기를 갖는다.
이는 불법 주정차 단속 시스템(10)의 설치 초기에 메모리(400)에 저장된 것이다. 또한, 상술한 바와 같이 단속 과정에서 차량으로 인식된 영상에 대한 특징벡터 정보가 메모리(400)에 추가되어 포함될 수 있다.
차량 인식수단(710)은 이러한 학습 데이터를 도 5a와 같은 검지영상에 찍힌 객체와 비교하여 차량을 인식할 수 있다.
필터링 수단(740)은 검지영상을 이용하여 검지 카메라(110)로부터 상기 차량까지의 거리를 측정할 수 있다.
또한, 필터링 수단(740)은 검지영상에서 상기 차량의 영상 크기가 상기 거리에 대응하여 산출된 영상 크기의 범위에 속하는지 여부를 판단하여 단속 대상에 대한 필터링을 수행할 수 있다.
차량 인식수단(710)과 필터링 수단(740)에 의하여 도 5a의 검지영상으로부터 차량이 인식된 경우, 불법 주정차 판단수단(720)은 상기 차량이 불법 주정차하였는지 여부를 판단할 수 있다.
이를 위하여, 기 설정된 시간 이상이 경과된 후 검지 카메라(110)에 의하여 다시 주정차 금지구역이 촬영되고, 여기서 촬영된 검지영상을 이용하여 상기 차량 인식과정이 다시 수행된다.
불법 주정차 판단수단(720)에 의하여 상기 차량이 불법 주정차한 것으로 판단된 경우, 카메라 제어수단(750)은 단속 카메라(120)의 팬, 틸트, 줌 동작을 제어하여 도 5c 및 도 5d와 같은 불법 주정차 차량의 번호판 영상을 촬영한다.
상기 번호판 영상은 번호판 인식수단(730)으로 전송되며, 번호판 인식수단(730)에 의하여 불법 주정차 차량의 번호판이 인식되며, 불법 주정차 차량에 대한 단속 처리가 수행될 수 있다.
상기 살펴본 본 발명의 시-공간적 특징벡터를 이용한 불법 주정차 단속 시스템 및 단속방법에 의하면, 검지영상에서 단속 대상인 차량 이외의 물체를 지속적으로 검지하는 오검지의 문제를 방지할 수 있으며 불법 주정차 차량에 대한 단속률을 향상시킬 수 있다.
한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분상방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행할 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시례들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시례들은 다양한 변형이 이루어질 수 있도록 각 실시례들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (13)

  1. 단속 카메라;
    주정차 금지구역에 대한 검지영상을 촬영하는 검지 카메라;
    차량 영상에 대한 특징벡터 정보가 포함된 학습 데이터를 저장하는 메모리; 및
    시-공간적 특징벡터를 이용하여 상기 검지영상에서 제 1 특징벡터를 추출하고, 상기 제 1 특징벡터와 상기 학습 데이터를 비교하여 상기 검지영상에 촬영된 객체 중 차량을 인식하는 제어부;를 포함하되,
    상기 인식된 차량 중 적어도 일부인 제 1 차량과 관련된 제 1 조건이 만족되는 경우, 상기 제어부는 상기 단속 카메라가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 상기 제 1 차량의 번호판을 촬영하도록 제어하고,
    상기 제 1 조건은 상기 제 1 차량이 상기 주정차 금지구역에 기 설정된 시간 이상 정지하는 조건이며,
    상기 제어부는 상기 메모리가 상기 학습 데이터에 상기 제 1 차량에 대한 특징벡터 정보를 추가 저장하도록 제어하고,
    상기 학습 데이터에 포함된 상기 특징벡터 정보는, 서로 다른 크기를 갖는 복수의 차량 영상을 이용하여 추출되며,
    상기 시-공간적 특징벡터는 시간적상의 특징정보와 공간적상의 특징정보를 결합한 형태이고,
    상기 시간적상의 특징정보는 상기 감지영상 중 인접한 제 1 영상으로부터 움직임 벡터(motion vector)를 분석하여 얻어지고, 상기 공간적상의 특징정보는 상기 차량의 특징벡터의 크기(magnitude), 방향(direction) 및 분포(histogram) 중 적어도 하나인 고유특징으로 구성되며,
    상기 제어부는, 상기 검지영상 상의 상기 객체의 위치를 이용하여 제 1 거리를 계산하고, 상기 계산된 제 1 거리를 이용하여 상기 검지영상에 나타날 수 있는 영상 크기의 범위를 산출하며, 상기 학습 데이터 중 상기 산출된 영상 크기 범위 내의 크기를 갖는 차량 영상을 선택하고,
    상기 제 1 특징벡터와 비교되는 학습 데이터는 상기 선택된 차량 영상에 대한 특징벡터 정보이며,
    상기 제 1 거리는 상기 검지 카메라로부터 상기 객체까지의 거리인 것을 특징으로 하는, 불법 주정차 단속 시스템.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 기 설정된 시간 이상의 간격으로 촬영된 제 1 검지영상과 제 2 검지영상을 이용하여 상기 제 1 조건이 만족되는지 여부를 판단하되,
    상기 제 1 검지영상에서 인식된 차량이 상기 제 2 검지영상에서도 인식되는 경우 상기 제 1 조건이 만족되는 것을 특징으로 하는, 불법 주정차 단속 시스템.
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 고유특징은 Gabor Wavelet을 이용하여 추출된 상기 차량의 패턴 정보인 것을 특징으로 하는, 불법 주정차 단속 시스템.
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 제어부는,
    상기 검지영상 상의 상기 제 1 차량의 위치를 이용하여 상기 검지 카메라로부터 상기 제 1 차량까지의 거리를 계산하고,
    상기 계산된 거리를 이용하여 상기 검지영상에 나타날 수 있는 영상 크기의 범위를 산출하며,
    상기 제 1 조건 및 제 2 조건이 만족되는 경우, 상기 단속 카메라가 상기 제 1 차량의 번호판을 촬영하도록 제어하되,
    상기 제 2 조건은 상기 검지영상 상의 상기 제 1 차량의 영상 크기가 상기 산출된 영상 크기의 범위 내인 조건인 것을 특징으로 하는, 불법 주정차 단속 시스템.
  7. 제 1항에 있어서,
    상기 시-공간적 특징벡터는,
    SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), Adaboost, BMA(Block Matching Algorithm), HOG(Histogram of Oriented Gradients), Haar-like features 및 Gabor Wavelet(filter) 중 적어도 하나를 이용하는 것을 특징으로 하는, 불법 주정차 단속 시스템.
  8. 검지 카메라를 이용하여 주정차 금지구역에 대한 제 1 검지영상을 촬영하는 제 1 단계;
    시-공간적 특징벡터를 이용하여 상기 제 1 검지영상에서 제 1 특징벡터를 추출하는 제 2 단계;
    상기 제 1 특징벡터와 학습 데이터를 비교하여 상기 제 1 검지영상에 촬영된 객체 중 차량을 인식하는 제 3 단계;
    상기 인식된 차량 중 적어도 일부인 제 1 차량과 관련된 제 1 조건이 만족되는 제 4 단계; 및
    상기 제 1 조건이 만족되는 경우, 단속 카메라가 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작 중 적어도 하나를 수행하여 상기 제 1 차량의 번호판을 촬영하는 제 5 단계;를 포함하되,
    상기 학습 데이터는 차량 영상에 대한 특징벡터 정보를 포함하고,
    상기 제 1 조건은 상기 제 1 차량이 상기 주정차 금지구역에 기 설정된 시간 이상 정지하는 조건이며,
    상기 학습 데이터에 상기 제 1 차량에 대한 특징벡터 정보가 추가 저장되고,
    상기 학습 데이터에 포함된 상기 특징벡터 정보는 서로 다른 크기를 갖는 복수의 차량 영상을 이용하여 추출되며,
    상기 시-공간적 특징벡터는 시간적상의 특징정보와 공간적상의 특징정보를 결합한 형태이고,
    상기 시간적상의 특징정보는 상기 감지영상 중 인접한 제 1 영상으로부터 움직임 벡터(motion vector)를 분석하여 얻어지고, 상기 공간적상의 특징정보는 상기 차량의 특징벡터의 크기(magnitude), 방향(direction) 및 분포(histogram) 중 적어도 하나인 고유특징으로 구성되며,
    상기 제 3 단계는,
    상기 제 1 검지영상 상의 객체의 위치를 이용하여 제 1 거리를 계산하는 단계;
    상기 계산된 제 1 거리를 이용하여 상기 제 1 검지영상에 나타날 수 있는 영상 크기의 범위를 산출하는 단계;
    학습 데이터 중 상기 산출된 영상 크기 범위 내의 크기를 갖는 차량 영상을 선택하는 단계; 및
    상기 제 1 특징벡터와 상기 선택된 차량 영상에 대한 특징벡터 정보를 비교하여 상기 제 1 검지영상에 촬영된 상기 객체 중 차량을 인식하는 단계;를 포함하되,
    상기 제 1 거리는 상기 검지 카메라로부터 상기 객체까지의 거리인 것을 특징으로 하는, 불법 주정차 단속 시스템의 단속방법.
  9. 제 8항에 있어서,
    상기 제 4 단계는,
    기 설정된 시간 이상을 대기하는 단계;
    상기 검지 카메라를 이용하여 상기 주정차 금지구역에 대한 제 2 검지영상을 촬영하는 단계;
    상기 시-공간적 특징벡터를 이용하여 상기 제 2 검지영상에서 제 2 특징벡터를 추출하는 단계;
    상기 제 2 특징벡터와 상기 학습 데이터를 비교하여 상기 제 2 검지영상에 촬영된 객체 중 차량을 인식하는 단계; 및
    상기 제 1 검지영상에서 인식된 차량 중 적어도 일부인 제 1 차량이 상기 제 2 검지영상에서 인식된 차량과 일치하여 상기 제 1 조건이 만족되는 단계;를 포함하는 것을 특징으로 하는, 불법 주정차 단속 시스템의 단속방법.
  10. 제 8항에 있어서,
    상기 고유특징은 Gabor Wavelet을 이용하여 추출된 상기 차량의 패턴 정보인 것을 특징으로 하는, 불법 주정차 단속 시스템의 단속방법.
  11. 삭제
  12. 삭제
  13. 제 8항에 있어서,
    상기 제 3 단계와 상기 제 4 단계 사이에는,
    상기 제 1 검지영상 상의 상기 차량의 위치를 이용하여 제 1 거리를 계산하는 단계; 및
    상기 계산된 제 1 거리를 이용하여 상기 제 1 검지영상에 나타날 수 있는 영상 크기의 범위를 산출하는 단계;를 더 포함하고,
    상기 제 4 단계는,
    상기 인식된 차량 중 적어도 일부인 제 1 차량과 관련된 제 1 조건 및 제 2 조건이 만족되는 단계;이며,
    상기 제 2 조건은,
    상기 검지영상에서 상기 제 1 차량의 영상 크기가 상기 산출된 영상 크기의 범위 내인 조건인 것을 특징으로 하는, 불법 주정차 단속 시스템의 단속방법.
KR1020130109702A 2013-09-12 2013-09-12 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법 KR101355201B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130109702A KR101355201B1 (ko) 2013-09-12 2013-09-12 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130109702A KR101355201B1 (ko) 2013-09-12 2013-09-12 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법

Publications (1)

Publication Number Publication Date
KR101355201B1 true KR101355201B1 (ko) 2014-01-29

Family

ID=50146372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130109702A KR101355201B1 (ko) 2013-09-12 2013-09-12 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법

Country Status (1)

Country Link
KR (1) KR101355201B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558419B1 (ko) * 2015-06-11 2015-10-07 (주)프로브디지털 복수의 카메라를 이용한 영상처리장치 및 제어방법
CN105185109A (zh) * 2015-08-06 2015-12-23 苏州市世跃智能科技有限公司 一种基于双球机的违法停车自动检测抓拍的装置
KR20160050883A (ko) * 2014-10-31 2016-05-11 부산대학교 산학협력단 불법 주정차 차량 인식장치
KR101821242B1 (ko) * 2017-08-28 2018-01-24 주식회사 보고넷 영상 인식에 기반하여 차량을 계수하는 방법 및 이를 이용한 장치
KR20190005343A (ko) * 2017-07-06 2019-01-16 (주) 알티솔루션 이동식 주정차 단속시스템 및 이를 이용한 주행 여부 판별방법
CN111145542A (zh) * 2019-12-23 2020-05-12 北京高诚科技发展有限公司 一种基于车辆行为的营运性质监测系统及方法
CN116386023A (zh) * 2023-05-29 2023-07-04 松立控股集团股份有限公司 基于时空扩散的高位相机车牌识别方法、系统及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060033752A (ko) * 2006-03-07 2006-04-19 (주)나인정보시스템 영상검지 기법을 이용한 불법 주/정차 무인단속 시스템 및방법
KR20120041002A (ko) * 2010-10-20 2012-04-30 한국전자통신연구원 객체 검출 장치 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060033752A (ko) * 2006-03-07 2006-04-19 (주)나인정보시스템 영상검지 기법을 이용한 불법 주/정차 무인단속 시스템 및방법
KR20120041002A (ko) * 2010-10-20 2012-04-30 한국전자통신연구원 객체 검출 장치 및 시스템

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160050883A (ko) * 2014-10-31 2016-05-11 부산대학교 산학협력단 불법 주정차 차량 인식장치
KR101691186B1 (ko) * 2014-10-31 2016-12-30 부산대학교 산학협력단 불법 주정차 차량 인식장치
KR101558419B1 (ko) * 2015-06-11 2015-10-07 (주)프로브디지털 복수의 카메라를 이용한 영상처리장치 및 제어방법
CN105185109A (zh) * 2015-08-06 2015-12-23 苏州市世跃智能科技有限公司 一种基于双球机的违法停车自动检测抓拍的装置
KR20190005343A (ko) * 2017-07-06 2019-01-16 (주) 알티솔루션 이동식 주정차 단속시스템 및 이를 이용한 주행 여부 판별방법
KR101986303B1 (ko) * 2017-07-06 2019-06-07 (주)알티솔루션 이동식 주정차 단속시스템
KR101821242B1 (ko) * 2017-08-28 2018-01-24 주식회사 보고넷 영상 인식에 기반하여 차량을 계수하는 방법 및 이를 이용한 장치
CN111145542A (zh) * 2019-12-23 2020-05-12 北京高诚科技发展有限公司 一种基于车辆行为的营运性质监测系统及方法
CN116386023A (zh) * 2023-05-29 2023-07-04 松立控股集团股份有限公司 基于时空扩散的高位相机车牌识别方法、系统及电子设备
CN116386023B (zh) * 2023-05-29 2023-08-25 松立控股集团股份有限公司 基于时空扩散的高位相机车牌识别方法、系统及电子设备

Similar Documents

Publication Publication Date Title
KR101970442B1 (ko) Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템
KR101355201B1 (ko) 시-공간적 특징벡터 기반의 차량인식을 활용한 불법 주정차 단속 시스템 및 단속방법
Yang et al. Vehicle detection in intelligent transportation systems and its applications under varying environments: A review
KR102011624B1 (ko) 개선된 차량검출 방법과 이를 활용한 비정상적 주정차 차량식별 시스템
US9171213B2 (en) Two-dimensional and three-dimensional sliding window-based methods and systems for detecting vehicles
Miura et al. An active vision system for on-line traffic sign recognition
US9275286B2 (en) Short-time stopping detection from red light camera videos
Barnes et al. Real-time radial symmetry for speed sign detection
US9363483B2 (en) Method for available parking distance estimation via vehicle side detection
Bulan et al. Video-based real-time on-street parking occupancy detection system
Zheng et al. A novel vehicle detection method with high resolution highway aerial image
KR20220000977A (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
WO2015089867A1 (zh) 一种交通违章检测方法
Putra et al. HOG feature extraction and KNN classification for detecting vehicle in the highway
KR101319508B1 (ko) 초점열화방법을 이용한 불법 주정차 단속 시스템 및 단속방법
WO2019085930A1 (zh) 车辆中双摄像装置的控制方法和装置
Salarian et al. A vision based system for traffic lights recognition
KR101809088B1 (ko) 전방 차량 추돌 알림 장치 및 방법
Nguwi et al. Number plate recognition in noisy image
US8971579B2 (en) Windshield localization for occupancy detection
KR101370011B1 (ko) 영상 안정화 및 복원방법을 이용한 주행형 자동 단속 시스템 및 단속방법
Tang et al. Robust vehicle surveillance in night traffic videos using an azimuthally blur technique
Liu et al. Automatic pedestrian crossing detection and impairment analysis based on mobile mapping system
KR102141781B1 (ko) 지역적 매칭 방법을 이용한 객체 재식별 장치 및 그 방법
KR102027708B1 (ko) 주파수 상관도 분석 및 엔트로피 계산을 이용한 자동 영역 추출 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181231

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 7