KR101032495B1 - 디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법 - Google Patents

디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법 Download PDF

Info

Publication number
KR101032495B1
KR101032495B1 KR1020110014813A KR20110014813A KR101032495B1 KR 101032495 B1 KR101032495 B1 KR 101032495B1 KR 1020110014813 A KR1020110014813 A KR 1020110014813A KR 20110014813 A KR20110014813 A KR 20110014813A KR 101032495 B1 KR101032495 B1 KR 101032495B1
Authority
KR
South Korea
Prior art keywords
intermittent
image
camera
vehicle
license plate
Prior art date
Application number
KR1020110014813A
Other languages
English (en)
Inventor
고대경
Original Assignee
(주)서광시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)서광시스템 filed Critical (주)서광시스템
Priority to KR1020110014813A priority Critical patent/KR101032495B1/ko
Application granted granted Critical
Publication of KR101032495B1 publication Critical patent/KR101032495B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C19/00—Electric signal transmission systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 디지털 PTZ에 의한 영역감시 방범 및 주정차단속 다기능 단속시스템 및 단속방법에 관한 것으로서, 불법 주정차 단속현장에 설치되어 단속 영역을 적어도 10M 픽셀의 해상도로 촬영하는 고해상도 디지털카메라, 단속현장에서 상기 고해상도 디지털카메라를 제어하고 단속영상을 촬영하여 유무선 통신망을 통하여 단속센터의 관제서버로 송신하는 제어부 및 단속현장에서 촬영한 영상을 수신하여 해상도를 낮추어 소정의 크기로 축소하여 검지영역을 설정하는 검지영상 표출부 및 검지영역 내에 위반차량이 검지되면 포렌식 줌(forensic zoom) 기법과 고해상도 영상복원(super resolution) 기법으로 검지된 픽셀 위치로 이동하거나 확대한 후, 번호판 인식 알고리즘에 의하여 번호판의 위치를 찾아서 이동하여 번호를 인식하고, 인식된 번호판 위치를 기준으로 배경영상을 표출 및 저장하는 단속영상 표출부로 이루어지는 단속센터의 관제서버를 포함하되, 관제서버는 차적조회서버 및 과태료발행서버와 통신으로 연결되고, 관제서버의 단속영상 표출부는 카메라 모터를 사용한 기계적 구동으로 팬(pan), 틸트(tilt) 및 줌(zoom)을 하는 대신에 수신된 단속영상에 대하여 소프트웨어적으로 팬, 틸트 및 줌 기능이 구현되는 것을 특징으로 한다.

Description

디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법{Multi-function detecting system of illegally parked vehicles using digital PTZ technique and Method of detecting thereof}
본 발명은 무인으로 차량의 불법 주정차를 감시 및 단속하는 시스템에 관한 것으로서, 더욱 상세하게는 설정된 검지영역에 차량이 진입하면 고해상도 디지털카메라로 촬영하여 포렌식 줌(forensic zoom) 기법과 고해상도 영상복원(super resolution) 기법으로 불법 주정차 차량을 단속하고, 방범에도 활용할 수 있는 디지털 PTZ(Pan, Tilt, Zoom)에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법에 관한 것이다.
차량의 증가가 급속하게 이루어져 운행 중인 차량이 늘어나면서, 도로를 무단으로 점유하여 주차 또는 정차하는 불법 주정차 행위로 인하여 교통의 흐름을 방해하여 병목 또는 정체 현상이 발생할 뿐만 아니라 추돌사고도 유발되어 이로 인한 사회적 경제적 손실이 크다.
특히, 소방도로에서 불법 주정차는 화재, 인명사고 등이 발생하는 경우 소방차, 구급차 등의 진로를 방해하여 많은 재산 손실과 인명 피해를 막지 못하는 원인이 되고, 교통이 원활하게 소통되지 못하여 고가의 에너지를 불필요하게 낭비하는 원인이 된다. 이와 같이 허용되지 않은 장소에서의 불법 주정차는 공익과 질서 유지를 위하여 단속하여야 한다.
이러한 불법 주정차를 막기 위하여 행정적으로 할당된 지역을 관할하는 각 관공서는 감시요원을 동원하여 차량이 허가되지 않은 영역에서의 불법 주정차를 하지 못하도록 계도하고, 그래도 무단으로 주정차하는 차량의 경우에는 벌과금 또는 범칙금을 부과하는 등의 강력한 행정조치를 취하고 있다.
인력 동원에 의한 불법 주정차 단속은 민원인과 마찰이 빈번하고 입증에 한계가 있기 때문에 정해진 구역을 감시카메라로 영상촬영을 하여 단속을 하는 방법이 사용되고 있다.
종래의 감시카메라에 의한 단속은 단속용 카메라와 복수의 검지용 카메라 등으로 복잡하게 구성되어 설치비용과 방법에 있어서 경제적이지 못할 뿐만 아니라, 기계적 PTZ(Pan, Tilt, Zoom)장비는 과도한 모터 제어와 동작으로 제로 기준점이 틀어지는 현상과 카메라의 렌즈각과 뷰(view)가 서로 상이하여 좌표설정을 다시 해야 하는 불편과 부정확하다는 단점이 있었다. 즉, 기계식 PTZ에 의한 영상 제어로 관심 지역을 이동하려면 모터 제어를 해야하기 때문에 모터에 의한 기어를 움직이는 시간과 위치제어를 위한 시간이 소요되고 위치도 정확하게 제어하기가 어렵다.
정확한 번호판 인식을 위하여 고해상도의 카메라가 필수적인데, 영상의 해상도는 광학장치 및 이미지 센서의 물리적인 제약으로 제한된다. 즉, 이미지 센서의 단위 화소 크기를 줄이면 높은 해상도의 영상을 얻을 수 있지만 광량이 적으므로 산탄잡음(shot noise)의 영향이 증가하여 깨끗한 영상을 얻기 힘들다.
또한, 복수의 카메라에 의한 단속은 하나만 고장이 나도 전체 시스템이 무용지물이 되는 등 하드웨어 장비의 잦은 고장으로 인한 유지보수 비용이 과다하여 경제적으로 부담이 크고, 단속차량 번호판 인식이 부정확하여 객관성과 공정성에서 민원의 소지가 있었다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여, 10M 픽셀 이상의 고해상도 디지털카메라를 이용하여 포렌식 줌(forensic zoom) 기법과 고해상도 영상복원(super resolution) 기법으로 디지털 PTZ(Pan, Tilt, Zoom) 기능을 구현한 다기능 주정차 단속시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 오차가 줄이기 위하여 고해상도 디지털 PTZ 카메라의 보정방법과 번호판 인식 알고리즘을 제공하고자 한다.
상기의 과제를 해결하기 위한 본 발명에 따른 디지털 PTZ에 의한 영역감시 방범 및 주정차단속 다기능 단속시스템의 구성은, 불법 주정차 단속현장에 설치되어 단속 영역을 적어도 10M 픽셀의 해상도로 촬영하는 고해상도 디지털카메라, 단속현장에서 상기 고해상도 디지털카메라를 제어하고 단속영상을 촬영하여 유무선 통신망을 통하여 단속센터의 관제서버로 송신하는 제어부 및 단속현장에서 촬영한 영상을 수신하여 해상도를 낮추어 소정의 크기로 축소하여 검지영역을 설정하는 검지영상 표출부 및 검지영역 내에 위반차량이 검지되면 포렌식 줌(forensic zoom) 기법과 고해상도 영상복원(super resolution) 기법으로 검지된 픽셀 위치로 이동하거나 확대한 후, 번호판 인식 알고리즘에 의하여 번호판의 위치를 찾아서 이동하여 번호를 인식하고, 인식된 번호판 위치를 기준으로 배경영상을 표출 및 저장하는 단속영상 표출부로 이루어지는 단속센터의 관제서버를 포함하되, 관제서버는 차적조회서버 및 과태료발행서버와 통신으로 연결되고, 관제서버의 단속영상 표출부는 카메라 모터를 사용한 기계적 구동으로 팬(pan), 틸트(tilt) 및 줌(zoom)을 하는 대신에 수신된 단속영상에 대하여 소프트웨어적으로 팬, 틸트 및 줌 기능이 구현되는 것을 특징으로 한다.
본 발명의 바람직한 일실시 예로서, 상기 포렌식 줌 기법은 반자동 단속모드에서 디지털 PTZ 제어커서로 단속위치를 클릭하면 관심지역을 표출하고 저장하는 것을 특징으로 한다.
본 발명의 바람직한 일실시 예로서, 상기 고해상도 영상복원 기법은 영상처리 모델을 이용하여 차량크기가 작으면 확대하고, 차량크기가 크면 축소하는 것을 특징으로 한다.
본 발명의 바람직한 일실시 예로서, 상기 고해상도 디지털 PTZ 카메라의 보정은, 단속현장의 영상화면에 보정패턴 윈도우를 디스플레이하고, 컴퓨터의 방향키 또는 마우스를 이용해서 카메라 핀홀을 중심으로 보정패턴 윈도우의 각 라인을 도로 바닥의 차선과 일치되도록 이동시켜 카메라의 팬각도, 틸트각도 및 초점거리를 구하여 보정하는 것을 특징으로 한다.
본 발명의 바람직한 일실시 예로서, 단속영상 표출부에서의 번호판 인식은 노이즈 제거 및 색대비 불량 제거를 위하여 단속된 원영상을 영상 전처리하고, 이진화 작업을 수행한 후, 체인코딩(chain coding) 기법과 지역경계(region boundary)작업을 하여 사각형 객체값을 생성하고, 매칭작업을 통하여 번호판 영역을 추출하고 보정을 한 후 번호판 세분화 작업과 인식엔진에 의하여 차량번호를 추출하는 것을 특징으로 한다.
한편, 디지털 PTZ에 의한 영역감시, 방범 및 주정차 단속 방법은, 적어도 10M 픽셀의 고해상도 디지털카메라에 소정의 감시영역을 설정하여 제어부에 설정하는 단계, 제어부는 상기 감시영역을 촬영하여 단속센터의 관제서버로 전송하는 단계, 관제서버의 검지영상 표출부는 단속현장에서 촬영한 영상을 수신하여 해상도를 낮추어 소정의 크기로 축소하여 검지영역을 설정하는 단계, 관제서버의 단속영상 표출부는 카메라 모터를 사용한 기계적 구동으로 팬(pan), 틸트(tilt) 및 줌(zoom)을 하는 대신에 수신된 단속영상에 대하여 소프트웨어적으로 팬, 틸트 및 줌을 하는 수단으로써, 검지영역 내에 위반차량이 검지되면 포렌식 줌(forensic zoom) 기법과 고해상도 영상복원(super resolution) 기법으로 검지된 픽셀 위치로 이동하거나 확대한 후, 번호판 인식 알고리즘에 의하여 번호판의 위치를 찾아서 이동하여 번호를 인식하고, 인식된 번호판 위치를 기준으로 배경영상을 표출 및 저장하는 1차 단속 단계, 1차 단속 후 소정의 관리시간 뒤에 상기 검지영역에서 동일한 차량번호가 인식되면 주정차 위반차량으로 판정하는 단계, 주정차 위반차량으로 판정되면 관제서버는 차적조회서버를 통하여 차주의 정보를 획득하고 과태료발행서버로 송신하고, 과태료발행서버는 수신된 증거자료와 함께 차주에게 주정차위반 과태료통지서를 발부하는 단계를 포함한다.
본 발명은 디지털 PTZ 기법을 사용함으로써, 신속하고 정확하게 차량의 번호판을 인식하여 주차단속을 할 수 있으며, 기계식 PTZ보다 단속시스템의 유지보수 비용을 절약할 수 있다.
또한, 본 발명은 객관적이고 명확한 증거자료에 의하여 불법 주정차 차량을 단속하므로 민원인과 불필요한 마찰이나 거부감이 발생하지 아니하고 현장 출장 단속 비용을 줄일 수 있어 단속 효율을 높일 수 있다.
또한, 본 발명에 따른 단속시스템은 불법 주정차 단속뿐만 아니라, 산업현장 및 주거시설 등에 대하여 감시 및 방범 등의 다양 용도와 다양한 기능으로 활용할 수 있다.
도 1은 본 발명에 따른 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속시스템의 구성도.
도 2는 본 발명에 일실시 예에 의한 포렌식 줌 기법.
도 3은 본 발명의 일실시 예에 의한 고해상도 영상복원 기법.
도 4는 본 발명의 일실시 예에 의한 이미지 변환 기법.
도 5는 본 발명의 일실시 예에 의한 관제서버의 검지영상 표출부에서 검지영역을 설정하는 사진.
도 6은 본 발명의 일실시 예에 의한 관제서버의 단속영상 표출부에서 번호판 인식과 배경영상 저장 과정을 설명하는 사진.
도 7은 본 발명의 일실시 예에 의한 번호판 인식 알고리즘.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명하기로 한다. 예시된 도면은 발명의 명확성을 위하여 핵심적인 내용만 확대 도시하고 부수적인 것은 생략하였으므로 도면에 한정하여 해석하여서는 아니 된다.
본 발명의 일실시 예에 따른 디지털 PTZ에 의한 영역감시 방범 및 주정차단속 다기능 단속시스템은 도 1에 도시한 바와 같이, 단속현장의 10M 픽셀 이상의 고해상도 디지털카메라(10) 및 제어부(20)와 단속센터의 서버부(100)가 서로 통신망으로 연결되어 구성된다.
단속현장의 제어부(20)는 단속영역을 설정하고 고해상도 디지털카메라(10)로 단속영역을 촬영하고, 촬영한 영상에 좌표값을 지정하여 단속센터의 서버부(100)로 전송한다.
종래의 단속 카메라는 정황증거로 활용하기 위하여 주변의 넓은 지역을 촬영하는 원거리 카메라와 번호판을 인식을 위하여 번호판을 촬영하는 근거리 카메라로 구성되는 등 복수의 카메라 장치를 사용하기 때문에 설치비용과 제어가 복잡한 측면이 있고, 수평각(pan) 구동 촬영, 수직각(tilt) 구동 촬영 및 배율 변화(zoom) 촬영을 할 수 있는 기계식 PTZ(Pan, Tilt, Zoom)카메라를 사용하는 경우에는 해상도가 낮고, 모터 구동장치를 사용하기 때문에 뷰 반응속도가 느리고 모터 회전반경에 의존하므로 뷰잉각도가 작은 문제점이 있다.
특히, 주차감시영역이 도로의 양측을 따라 길게 형성된다는 점을 감안할 때, 원거리에 주차한 차량 또는 이러한 차량의 바로 뒤에 주차하는 차량 등에 대해서는 카메라가 선명하고 정확한 영상을 촬영하기 어렵고, 이와 같이 선명하지 못한 영상을 기반으로 불법주정차 위반통지서를 발급하기도 어렵다. 즉, 카메라의 줌 기능 한계 및 카메라 틸팅 속도의 한계 등으로 인해 원거리에 주차한 차량과 근거리에 주차한 차량에 대해 균일하고 신속한 화질을 얻기 힘들다. 원거리에 주차한 차량의 경우에는 카메라의 미소한 틸팅만으로도 1 미터 정도의 위치 차이가 나고, 근거리를 촬영하다가 신속하게 원거리를 촬영할 수 없고, 원거리를 촬영하다고 신속하게 근거리를 촬영하기가 어렵다.
본 발명에서는 위와 같은 문제점을 해결하고자 10M 픽셀 이상의 고해상도 카메라를 사용하여 낮은 해상도 문제를 해결하고, 포렌식 줌 기법과 고해상도 영상복원 기법을 사용하여 기계식 PTZ 카메라에서 발생하는 느린 반응속도와 뷰잉 각도가 좁은 문제점을 해결하였다. 포렌식 줌 기법과 고해상도 영상복원 기법을 적용하기 위해서는 적어도 10M 픽셀 이상의 고해상도 영상이 필요하다.
표 1은 종래의 기계식 PTZ와 본 발명에 따른 디지털 PTZ의 차이점을 요약한 것이다.
Figure 112011011968382-pat00001
포렌식 줌(forensic zoom) 기법은 촬영영상으로부터 증거물을 획득하는 방법으로서 도 2에서 보여주는 바와 같이, 디지털 PTZ 제어커서(200)에 의해 관심 지역을 클릭하면 그 주변을 중심으로 한 상세한 영상이 실영상(live image)으로 표출되면서 데이터 스토리지에 저장이 되는 기능이다. 이 기능은 제어 커서를 마우스로 움직여서 제어하기 때문에 위치가 정확하고 신속한 영상 표출 및 저장이 가능하다. 기존의 기계식 PTZ카메라를 사용하는 경우에는 관심지역으로 이동하려면 모터 기어가 움직이는 시간과 위치 제어를 위한 시간 등으로 느리고 위치도 부정확하였다. 기계식 PTZ 카메라를 사용하여 원클릭(one click)에 의한 반자동 단속모드일 경우에 단속 위치를 클릭하면 모터에 의하여 그 위치로 이동하기 때문에 단속시간이 많이 소요되고 좌표 불일치로 단속위치가 부정확할 수 있는 문제점이 있으나, 본 발명에서는 기계적 구동이 아닌 소프트웨어적인 영상처리를 하기 때문에 원클릭 반자동 단속모드에서 신속하고 정확한 영상 표출과 증거영상의 저장이 가능하다.
고해상도 영상복원(super resolution) 기법은 도 3에서 보여주는 바와 같이 고해상도 영상과 저해상도 영상 간에 신호처리기법(warping, burring, down sampling)을 이용하여 저해상도 영상을 고해상도 영상으로 변환하는 것이다. 워핑(warping)은 영상 내의 일부 영역을 지정하여 정의된 영역에 맞는 형태로 변형 연상을 하는 것으로 보간법(bilinear 또는 nearest neighbor)을 사용한다.
본 발명에서는 보다 넓은 단속영역을 확보하기 위해 고해상도 카메라 렌즈의 초점거리를 짧게 해서 초광역 영상을 취득한 후 포렌식 줌 영상으로 차량의 단속 영상을 취득할 때, 차량크기가 작으면 고해상도 영상복원 기법으로 확대하고, 차량크기가 크면 고해상도 영상복원 기법으로 축소해서 처리한다.
불법주정차 단속시스템에서 차량검지의 신뢰성을 높이기 위해서는 정확한 검지영역정보를 얻어야 한다. 정확한 검지영역정보에는 카메라의 초점거리, 팬각도, 틸트각도를 알아야 한다. 또한 실제도로의 폭 길이 등 단속현장 실세계정보가 필요하다. 즉, 도로폭과 길이를 이용한 특정패턴을 생성하여 카메라의 파라메타(팬각도, 틸트각도 및 초점거리)를 계산하고, 이를 이용하여 영상 픽셀좌표로 3차원 단속현장 실세계의 위치와 거리 등을 산출해야 한다.
도 4는 카메라의 차량검지 신뢰성을 높이기 위해 카메라 보정을 위한 기하변환 흐름도를 나타낸다. 카메라 영상으로부터 3차원 실세계 좌표(Xw, Yw, Zw)가 들어오면 단계1(S10)에서 회전행렬(R)과 이동벡터(T)에 의하여 수학식 1과 같이 3차원 카메라 좌표계(x, y, z)로 변환한다. 그리고 제어부(20)의 자동카메라 조정기능에 의하여 카메라의 팬각도(θ)와 틸트각도(φ)를 산출한다.
Figure 112011011968382-pat00002
Figure 112011011968382-pat00003
Figure 112011011968382-pat00004
단계2(S20)에서는 핀 홀 렌즈 기하변환을 갖는 원근투시(Perspective projection)에 의하여 3차원 카메라 좌표계(x, y, z)를 이미지 좌표계(xt, zt)로 변환한다. 단계1(S10)에서 광축(Zw)을 중심으로 실세계 평면과 카메라의 CCD센서 좌표계가 서로 대칭으로 변환된 상태에서 제어부(20)의 자동카메라 조정기능에 의한 카메라 보정(camera fitting)으로 초점거리(f)를 산출하고 이미지 좌표계(xt, zt)를 산출한다. 카메라 좌표계(x, y, z)는 임시적인 이미지 좌표계라 할 수 있고 초점거리에 의해서 계산된 좌표계(xt, zt)가 실제 카메라 이미지 좌표계가 될 수 있다. 이미지 좌표계(xt, zt)는 수학식 2의 원근변환에 의하여 계산한다.
Figure 112011011968382-pat00005
Figure 112011011968382-pat00006
단계3(S30)에서는 실제 컴퓨터에 처리되는 이미지 좌표계로 변환한다. 이미지 좌표계(xt, zt)는 설정된 x축 CCD길이와 y축 CCD길이, 실제 이미지크기에 의하여 컴퓨터 좌표계를 계산한다. 다음은 제어부(20)의 자동 카메라 조정(camera fitting) 기능에 의해서 카메라의 초점거리, 팬각도 및 틸트각도가 구해진다.
단속현장의 영상화면에 보정패턴 윈도우를 디스플레이하고, 컴퓨터의 방향키 또는 마우스를 이용해서 카메라 핀홀을 중심으로 보정패턴 윈도우의 각 라인을 도로바닥의 차선과 일치되도록 이동시키면 제어부(20)의 카메라 모델의 회전식에 의해서 카메라의 팬각도, 틸트각도 및 초점거리가 자동 생성되어 이를 기초로 제어부(20)를 통해 카메라를 보정할 수 있다.
단속센터의 서버부(100)는 관제서버, 차적조회서버 및 과태료발행서버 등으로 구성되고, 관제서버는 검지영상 표출부와 번호인식 소프트웨어를 탑재한 단속영상 표출부를 포함한다.
단속현장의 제어부(20)는 검지영역으로 차량이 진입하면 고해상도 디지털 PTZ 카메라로 영상을 촬영하고 시간과 좌표값을 지정하여 단속센터의 서버부(100)의 관제서버로 전송한다.
관제서버는 전송된 3648 x 2752의 고해상도 원영상(300)을 도 5와 같이 모니터에 표출하고, 관제서버의 검지영상 표출부에서는 640 x 480의 해상도로 축소된 검지용 영상(310)을 표출하여 검지영역(320)을 설정한다.
관제서버의 단속영상 표출부는 설정된 검지영역(320)에서 위반차량이 검지되면 도 6(a)와 같이 해당 관심영역의 픽셀 위치와 크기로 이동하거나 확대하여 화면에 표출한다. 이때 관심영역으로의 이동시에는 포렌식 줌 기법을 사용하고 확대할 때에는 고해상도 복원기법을 사용한다.
표출된 영상에 대하여 번호판 인식 알고리즘에 의해 정확한 번호판 위치를 찾아서 도 6(b)와 같이 화면을 이동하여 표출하고 번호판을 인식하여 1차 단속영상으로 저장한다.
정황증거 영상취득을 위하여 인식된 번호판 위치를 기준으로 적당한 좌우상하 영상크기를 계산해서 도 6(c)와 같이 배경영상을 표출하고 저장한다.
소정의 관리시간 후에 1차 단속영상 위치에서 동일한 번호판이 도 6(d)와 같이 인식되면 주정차 위반차량으로 판정하여 표출하고 저장한다.
관제서버는 주정차 위반 차량으로 판정되면 차적조회서버를 통하여 차주의 정보를 획득하고 과태료발행서버로 송신하고, 과태료발행서버는 수신된 증거자료와 함께 차주에게 주정차위반 과태료통지서를 발부한다.
도 7은 본 발명에 따른 번호판 인식 알고리즘을 나타낸 흐름도이다.
관제서버의 단속영상 표출부에 차량 영상이 입력되면(S100) 영상 노이즈 제거 및 색대비(contrast) 불량 제거를 위하여 영상 전처리(pre-processing)를 수행한다(S110).
영상 전처리 기법으로는 평활화(smmothing), 히스토그램 등화(histogram equaliztion), 팽창 또는 수축 모폴로지(morphology) 기법을 사용한다. 야간영상에 대하여는 저역통과 필터링, 가우시안 필터링, 중간값 필터링 등의 전처리(pre-processing)를 수행할 수 있다. 주간영상에 대해서는 입력영상을 전처리 없이 히스토그램 알고리즘, 에지(edge) 알고리즘, 레이블링(labeling) 알고리즘 등에 따라 처리될 수 있다. 히스토그램 알고리즘에서는 빈번히 발생하는 최저 비트값을 할당하고 빈도수의 크기가 적어짐에 따라 좀더 큰 비트값을 할당하여 영상값을 분석한다. 에지 알고리즘은 영상에서 색이나 농도가 급격히 변화되는 부분을 에지로 인식하는 방법이다. 레이블링 알고리즘은 위에 분석된 결과를 바탕으로 최종적으로 차량이라고 예상되는 영역을 추출하게 된다. 이와 같은 과정을 통하여 검지영역 내의 차량 개수, 차량 크기, 차량 색상, 차량 좌표값 등을 알 수 있다.
원영상과 전처리된 영상을 입력받아 영상 이진화 작업을 한다(S120). 영상 이진화를 위해서는 영상평균, 분산값으로 가우시안 분포를 산출하여 임계치를 정한다.
다음으로, 복수의 이진화된 영상에 대해 4방향(상하좌우) 연결 체인코딩(chain coding) 기법에 의해서 지역경계(region boundary) 작업을 수행한다(S130). 지역경계 작업에 의해 사각형 객체(object rectangle)값이 생성된다.
사각형 객체값이 생성되면 차량번호판 규격에 따른 제한조건 즉, 숫자 높이비율, 간격거리 등에 의해서 매칭작업을 한다(S140). 매칭작업에 의해서 번호판과 유사한 지역후보들이 생성된다.
번호판 후보영역들이 생성되면 매칭 점수(matching score)식으로 점수를 계산해서 목표치에 가장 접근된 번호판 후보영역을 최종 단일 번호판영역으로 추출한다(S150).
추출된 단일 번호판영역이 기울어져 있으면 상하(up/down) 또는 좌우(left/ right) 전단(shearing)작업을 통하여 번호판영역위치를 보정한다(S160).
번호판 세분화(segmentation)에서는 구번호판, 신번호판을 구분해서 큰 숫자, 작은 숫자, 한글 부분 영역을 구분한다(S170). 예로서, 번호판의 종류는 구형일 경우, '부산 68 너 7609', 신형인 경우에 '88라 6079' 등이며, 자가용 등의 최신형에는 지역 명칭이 없고, 운수 사업용 최신형의 경우에는 지역명칭이 있다.
구분된 각 데이터에 대해 인식엔진에 의해 번호판 데이터를 인식한다(S180). 인식엔진은 신경망학습기법 또는 패턴특징 기법을 사용한다. 예를 들면 번호판 종류에 따른 문자수, 문자크기, 문자종류 등을 예상하고, 신경망과 패턴 인식기술 등을 이용하여 4자리 숫자의 일련번호(예, 88 라 6079에서 '6079'), 2자리 숫자의 차종 코드(예, 88 라 6079에서 '88'), 1차리 용도 코드(예, 88 라 6079에서 '라')에 해당하는 문자들을 인식해 내고, 지역 명에 해당되는 문자가 있는 경우, 해당 지역명 문자도 인식해내는 것이다.
본 발명에 의한 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속시스템은 자동모드로 동작하는 경우 지정된 영역의 영상을 촬영하고 주정차 위반 차량이 발견되면 차량의 번호판을 추출하고 일정한 크기로 확대하여 차량번호를 자동으로 인식하며 허용된 정차시간이 경과한 경우에도 동일한 장소에서 동일한 차량번호를 다시 인식하면 주정차 위반차량으로 결정하여 차량은 물론 배경영상까지 촬영하여 관련된 정보를 저장한다.
본 발명에 따른 단속시스템은 불법 주정차 단속뿐만 아니라, 산업현장, 주거시설, 어린이 보호구역 등에 대하여 감시 및 방범 등의 다양 용도와 다양한 기능으로 활용할 수 있다.
이상과 같이 본 발명은 기재된 구체적인 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 구조 및 방법으로 변형 및 수정하여 주정차 위반이나 방범의 감시가 가능함은 당업자에 있어서 명백한 것이며 이러한 변형 및 수정은 본 발명의 특허청구범위 속함은 당연한 것이다.
10: 고해상도 디지털카메라 20: 제어부
100: 단속센터 서버부 200: 디지털 PTZ 제어커서
300: 원영상 310:검지용 영상
320: 검지영역

Claims (10)

  1. 영역감시, 방범 및 주정차 단속을 위한 단속시스템에서 있어서,
    불법 주정차 단속현장에 설치되어 단속 영역을 적어도 10M 픽셀의 해상도로 촬영하는 고해상도 디지털카메라;
    단속현장에서 상기 고해상도 디지털카메라를 제어하고 단속영상을 촬영하여 유무선 통신망을 통하여 단속센터의 관제서버로 송신하는 제어부; 및
    단속현장에서 촬영한 영상을 수신하여 해상도를 낮추어 소정의 크기로 축소하여 검지영역을 설정하는 검지영상 표출부 및 검지영역 내에 위반차량이 검지되면 포렌식 줌(forensic zoom) 기법과 고해상도 영상복원(super resolution) 기법으로 검지된 픽셀 위치로 이동하거나 확대한 후, 번호판 인식 알고리즘에 의하여 번호판의 위치를 찾아서 이동하여 번호를 인식하고, 인식된 번호판 위치를 기준으로 배경영상을 표출 및 저장하는 단속영상 표출부로 이루어지는 단속센터의 관제서버를 포함하되,
    상기 관제서버는 차적조회서버 및 과태료발행서버와 통신으로 연결되고,
    상기 관제서버의 단속영상 표출부는 카메라 모터를 사용한 기계적 구동으로 팬(pan), 틸트(tilt) 및 줌(zoom)을 하는 대신에 수신된 단속영상에 대하여 소프트웨어적으로 팬, 틸트 및 줌 기능이 구현되는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차단속 다기능 단속시스템.
  2. 제1항에 있어서, 상기 포렌식 줌 기법은 반자동 단속모드에서 디지털 PTZ 제어커서로 단속위치를 클릭하면 관심지역을 표출하고 저장하는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속시스템.
  3. 제1항에 있어서, 상기 고해상도 영상복원 기법은 영상처리 모델을 이용하여 차량크기가 작으면 확대하고, 차량크기가 크면 축소하는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속시스템.
  4. 제1항에 있어서, 상기 고해상도 디지털 PTZ 카메라의 보정은, 단속현장의 영상화면에 보정패턴 윈도우를 디스플레이하고, 컴퓨터의 방향키 또는 마우스를 이용해서 카메라 핀홀을 중심으로 보정패턴 윈도우의 각 라인을 도로바닥의 차선과 일치되도록 이동시켜 카메라의 팬각도, 틸트각도 및 초점거리를 구하여 보정하는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속시스템.
  5. 제1항에 있어서, 단속영상 표출부에서의 번호판 인식은 노이즈 제거 및 색대비 불량 제거를 위하여 단속된 원영상을 영상 전처리하고, 이진화 작업을 수행한 후, 체인코딩(chain coding) 기법과 지역경계(region boundary)작업을 하여 사각형 객체값을 생성하고, 매칭작업을 통하여 번호판 영역을 추출하고 보정을 한 후 번호판 세분화 작업과 인식엔진에 의하여 차량번호를 추출하는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속시스템.
  6. 디지털 PTZ에 의한 영역감시, 방범 및 주정차 단속 방법에 있어서,
    적어도 10M 픽셀의 고해상도 디지털카메라에 소정의 감시영역을 설정하여 제어부에 설정하는 단계;
    상기 제어부는 상기 감시영역을 촬영하여 단속센터의 관제서버로 전송하는 단계;
    관제서버의 검지영상 표출부는 단속현장에서 촬영한 영상을 수신하여 해상도를 낮추어 소정의 크기로 축소하여 검지영역을 설정하는 단계;
    관제서버의 단속영상 표출부는 카메라 모터를 사용한 기계적 구동으로 팬(pan), 틸트(tilt) 및 줌(zoom)을 하는 대신에 수신된 단속영상에 대하여 소프트웨어적으로 팬, 틸트 및 줌을 하는 수단으로써, 검지영역 내에 위반차량이 검지되면 포렌식 줌(forensic zoom) 기법과 고해상도 영상복원(super resolution) 기법으로 검지된 픽셀 위치로 이동하거나 확대한 후, 번호판 인식 알고리즘에 의하여 번호판의 위치를 찾아서 이동하여 번호를 인식하고, 인식된 번호판 위치를 기준으로 배경영상을 표출 및 저장하는 1차 단속 단계;
    1차 단속 후 소정의 관리시간 뒤에 상기 검지영역에서 동일한 차량번호가 인식되면 주정차 위반차량으로 판정하는 단계;
    주정차 위반차량으로 판정되면 관제서버는 차적조회서버를 통하여 차주의 정보를 획득하고 과태료발행서버로 송신하고, 과태료발행서버는 수신된 증거자료와 함께 차주에게 주정차위반 과태료통지서를 발부하는 단계를 포함하는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속방법.
  7. 제6항에 있어서, 상기 포렌식 줌 기법은 반자동 단속모드에서 디지털 PTZ 제어커서로 단속위치를 클릭하면 관심지역을 표출하고 저장하는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속방법.
  8. 제6항에 있어서, 상기 고해상도 영상복원 기법은 영상처리 모델을 이용하여 차량크기가 작으면 확대하고, 차량크기가 크면 축소하는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속방법.
  9. 제6항에 있어서, 상기 고해상도 디지털 PTZ 카메라의 보정은, 단속현장의 영상화면에 보정패턴 윈도우를 디스플레이하고, 컴퓨터의 방향키 또는 마우스를 이용해서 카메라 핀홀을 중심으로 보정패턴 윈도우의 각 라인을 도로바닥의 차선과 일치되도록 이동시켜 카메라의 팬각도, 틸트각도 및 초점거리를 구하여 보정하는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속방법.
  10. 제6항에 있어서, 단속영상 표출부에서의 번호판 인식은 노이즈 제거 및 색대비 불량 제거를 위하여 단속된 원영상을 영상 전처리하고, 이진화 작업을 수행한 후, 체인코딩(chain coding) 기법과 지역경계(region boundary)작업을 하여 사각형 객체값을 생성하고, 매칭작업을 통하여 번호판 영역을 추출하고 보정을 한 후, 번호판 세분화 작업과 인식엔진에 의하여 차량번호를 추출하는 것을 특징으로 하는 디지털 PTZ에 의한 영역감시 방범 및 주정차 다기능 단속방법.
KR1020110014813A 2011-02-18 2011-02-18 디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법 KR101032495B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110014813A KR101032495B1 (ko) 2011-02-18 2011-02-18 디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110014813A KR101032495B1 (ko) 2011-02-18 2011-02-18 디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법

Publications (1)

Publication Number Publication Date
KR101032495B1 true KR101032495B1 (ko) 2011-05-04

Family

ID=44365537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110014813A KR101032495B1 (ko) 2011-02-18 2011-02-18 디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법

Country Status (1)

Country Link
KR (1) KR101032495B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319508B1 (ko) * 2013-08-22 2013-10-17 주식회사 넥스파시스템 초점열화방법을 이용한 불법 주정차 단속 시스템 및 단속방법
KR101326707B1 (ko) 2012-05-09 2013-11-08 박찬덕 방범 및 차량번호인식 일체형 카메라 시스템
KR101360244B1 (ko) * 2013-03-09 2014-02-21 차보영 Cctv 투시에 의한 객체 움직임 감시시스템
WO2014035053A1 (ko) * 2012-09-03 2014-03-06 멀티펠스 주식회사 초광각 카메라를 이용한 카메라 시스템
KR101756848B1 (ko) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 불법 주정차 관리 시스템
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템
CN109544935A (zh) * 2017-09-22 2019-03-29 西安艾润物联网技术服务有限责任公司 智能车库停车控制方法、装置及存储介质
KR102584182B1 (ko) * 2023-02-17 2023-10-05 주식회사 보임 클라우드 컴퓨팅 기술을 활용한 고속분산형 차량번호 인식 시스템
CN116978241A (zh) * 2023-09-21 2023-10-31 济南致业电子有限公司 一种基于执法记录仪的城市车辆监控方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060073554A (ko) * 2006-06-08 2006-06-28 이희찬 차량 탑재형 카메라를 이용한 차량 번호판 인식 및 차량검색용 통신 시스템
KR20060128157A (ko) * 2005-06-09 2006-12-14 주식회사 다누시스 불법주정차 단속 관리시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060128157A (ko) * 2005-06-09 2006-12-14 주식회사 다누시스 불법주정차 단속 관리시스템 및 그 방법
KR20060073554A (ko) * 2006-06-08 2006-06-28 이희찬 차량 탑재형 카메라를 이용한 차량 번호판 인식 및 차량검색용 통신 시스템

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101326707B1 (ko) 2012-05-09 2013-11-08 박찬덕 방범 및 차량번호인식 일체형 카메라 시스템
WO2014035053A1 (ko) * 2012-09-03 2014-03-06 멀티펠스 주식회사 초광각 카메라를 이용한 카메라 시스템
KR101360244B1 (ko) * 2013-03-09 2014-02-21 차보영 Cctv 투시에 의한 객체 움직임 감시시스템
KR101319508B1 (ko) * 2013-08-22 2013-10-17 주식회사 넥스파시스템 초점열화방법을 이용한 불법 주정차 단속 시스템 및 단속방법
KR101756848B1 (ko) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 불법 주정차 관리 시스템
CN109544935A (zh) * 2017-09-22 2019-03-29 西安艾润物联网技术服务有限责任公司 智能车库停车控制方法、装置及存储介质
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템
KR102584182B1 (ko) * 2023-02-17 2023-10-05 주식회사 보임 클라우드 컴퓨팅 기술을 활용한 고속분산형 차량번호 인식 시스템
CN116978241A (zh) * 2023-09-21 2023-10-31 济南致业电子有限公司 一种基于执法记录仪的城市车辆监控方法及系统
CN116978241B (zh) * 2023-09-21 2023-12-26 济南致业电子有限公司 一种基于执法记录仪的城市车辆监控方法及系统

Similar Documents

Publication Publication Date Title
KR101032495B1 (ko) 디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법
CA2747337C (en) Multiple object speed tracking system
KR101698026B1 (ko) 이동차량 추적에 의한 cctv 불법주정차 단속시스템
KR100862398B1 (ko) 다중 카메라를 이용한 방범용 씨씨티브이 기능을 갖는 불법주정차 무인 자동 단속방법 및 그 시스템
CN103824452B (zh) 一种轻量级的基于全景视觉的违章停车检测装置
CN103927878B (zh) 一种用于违章停车的自动抓拍装置及自动抓拍方法
KR101496390B1 (ko) 차량번호인식 시스템
KR101742490B1 (ko) 끼어들기 위반차량 단속 시스템 및 그 방법
WO2004042673A2 (en) Automatic, real time and complete identification of vehicles
KR20200025247A (ko) 이동차량 추적에 의한 주차 관리장치
KR101462855B1 (ko) 불법 주정차 무인 자동 단속 시스템 및 그의 처리 방법
KR100779039B1 (ko) 불법유턴 차량의 감시, 추적 시스템 및 그 방법
KR100820952B1 (ko) 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법 및그 시스템
KR101033237B1 (ko) 360도 초광역 영상에 의한 영역감시, 방범 및 주정차단속 다기능 시스템 및 단속방법
KR100812765B1 (ko) 과속 차량 단속 장치
KR102418823B1 (ko) 광역 검지영상을 이용한 딥러닝 기반 불법주정차 단속시스템
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
CN111914592B (zh) 多相机联合取证方法、装置及系统
KR101080219B1 (ko) 불법 주정차 단속 시스템
CN111696365A (zh) 一种车辆跟踪系统
KR101911239B1 (ko) 불법 주정차 단속을 위한 채널 확대 운영 시스템
KR20060033752A (ko) 영상검지 기법을 이용한 불법 주/정차 무인단속 시스템 및방법
CN105303827A (zh) 一种交通违章图像取证装置及方法
KR20190050113A (ko) 이동 물체 자동 추적 영상 감시 시스템
KR100785759B1 (ko) 차량 탑재형 카메라를 이용한 자동 불법 주정차 단속시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140311

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160125

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170321

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180122

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 9