KR101218302B1 - Method for location estimation of vehicle number plate - Google Patents

Method for location estimation of vehicle number plate Download PDF

Info

Publication number
KR101218302B1
KR101218302B1 KR1020070044210A KR20070044210A KR101218302B1 KR 101218302 B1 KR101218302 B1 KR 101218302B1 KR 1020070044210 A KR1020070044210 A KR 1020070044210A KR 20070044210 A KR20070044210 A KR 20070044210A KR 101218302 B1 KR101218302 B1 KR 101218302B1
Authority
KR
South Korea
Prior art keywords
license plate
image
vehicle
classifier
values
Prior art date
Application number
KR1020070044210A
Other languages
Korean (ko)
Other versions
KR20080098850A (en
Inventor
안명석
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020070044210A priority Critical patent/KR101218302B1/en
Publication of KR20080098850A publication Critical patent/KR20080098850A/en
Application granted granted Critical
Publication of KR101218302B1 publication Critical patent/KR101218302B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration by non-spatial domain filtering
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Abstract

본 발명은, 촬상 장치로부터 취득된 영상에서 차량의 번호판의 위치를 정확하게 추정할 수 있는 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정 장치를 제공하는 것을 목적으로 하며, 이 목적을 달성하기 위하여, 본 발명은, 촬상 장치를 구비한 주정차 감시 시스템의 차량 번호판 위치 추정 방법에 있어서, (a) 상기 촬상 장치로부터 촬상된 영상을 분석함으로써, 상기 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 복수개 선정하는 단계;와, (b) 상기 선정된 후보 부분들의 각각의 영상 신호를 주파수 이용 분류기와 공간정보 이용 분류기로 각각 처리하는 단계;와, (c) 상기 주파수 이용 분류기 및 상기 공간 정보 이용 분류기에서 산출된 유사도 값들을 상호 비교를 위해 정규화하고 가중치를 부여하는 단계;와, (d) 상기 정규화되고 가중치가 부여된 유사도 값들을 취합하여 서로 비교함으로써, 상기 정규화되고 가중치가 부여된 유사도 값들 중 가장 큰 값을 가지는 후보 부분을 차량 번호판 위치로 결정하는 단계;를 포함하는 차량 번호판 위치 추정 방법 및 그 차량 번호판 위치 추정 방법을 수행하는 차량 번호판 위치 추정 장치를 제공한다.An object of the present invention is to provide a vehicle license plate position estimation method and a vehicle license plate position estimation device capable of accurately estimating the position of a license plate of a vehicle in an image acquired from an imaging device. In the vehicle license plate position estimation method of a parking lot monitoring system provided with an imaging device, (a) by analyzing the image picked up from the image pickup device, a candidate portion in which the vehicle license plate is likely to be located among the portions of the picked-up image. And (b) processing each video signal of the selected candidate parts into a frequency use classifier and a spatial information use classifier, respectively; and (c) using the frequency use classifier and the spatial information. Normalizing and weighting the similarity values calculated by the classifier for mutual comparison; and (d) Determining a candidate portion having the largest value among the normalized and weighted similarity values as a license plate position by collecting the normalized and weighted similarity values and comparing them with each other; and A vehicle license plate position estimation apparatus for performing the vehicle license plate position estimation method is provided.

Description

차량 번호판 위치 추정 방법{Method for location estimation of vehicle number plate}Method for location estimation of vehicle number plate}

도 1은 본 발명의 일 실시예에 관한 불법 주정차 단속 시스템의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of an illegal parking control system according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 관한 센터 장치의 구성을 도시한 블록도이다.2 is a block diagram showing the configuration of a center apparatus according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 관한 차량 번호판 위치 추정 방법의 수행 과정을 도시한 흐름도이다.3 is a flowchart illustrating a process of performing a vehicle license plate position estimation method according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 관한 촬상 장치가 촬영한 영상 중 차량 번호판이 위치할 가능성이 높은 후보 부분들이 선정된 모습을 도시한 도면이다.4 is a diagram illustrating a state in which candidate parts having a high possibility of being located in a vehicle license plate are selected from an image photographed by an image capturing apparatus according to an exemplary embodiment of the present invention.

* 도면의 주요부분에 대한 부호의 설명 *Description of the Related Art [0002]

100: 불법 주정차 단속 시스템 110-1,..., 110-n: 카메라100: illegal parking control system 110-1, ..., 110-n: camera

120: 통신망 130: 센터 장치120: network 130: center gear

131: 사용자 인터페이스부 132: 감시 영역 설정부131: user interface unit 132: surveillance area setting unit

133: 차량 인식부 134: 번호판 인식부133: vehicle recognition unit 134: license plate recognition unit

135: 카메라 제어부 136: 단속 수행부135: camera control unit 136: enforcement unit

137: 저장부 138: 망 접속부137: storage unit 138: network connection

140: 차량 영역 141, 142, 143, 144: 후보 부분140: vehicle region 141, 142, 143, 144: candidate portion

본 발명은 차량 번호판의 문자를 인식하는 단계의 전단계인 차량 번호판의 위치를 추정하는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and an apparatus for estimating the position of a license plate which is a step before the step of recognizing a character of the license plate.

최근에 산업 발전 및 소득 증가로 인하여 차량의 수가 증가되면서, 불법 주정차 단속 시스템에 관한 연구가 활기를 띠고 있다. Recently, as the number of vehicles has increased due to industrial development and income increase, research on illegal parking control systems has been vigorous.

종래의 불법 주정차 단속 시스템은 촬상 장치, 단속 시스템 등을 구비하고 있는데, 그 작동 과정은 다음과 같다.The conventional illegal parking control system includes an imaging device, a control system, and the like. The operation process is as follows.

불법 주정차 단속 시스템이 미리 설치된 감시 지역에, 차량이 주정차를 하게 되면, 설치된 촬상 장치는 주정차된 차량을 촬영하여 차량의 영상을 취득한다. 이어, 상기 단속 시스템은, 상기 취득된 영상에서 차량의 번호판의 위치를 추정하여, 그 번호판의 문자를 인식함으로써, 단속을 실시하게 된다.When the vehicle stops in the monitoring area where the illegal parking control system is installed in advance, the installed imaging device captures the parked vehicle and acquires an image of the vehicle. Then, the crackdown system estimates the position of the license plate of the vehicle in the acquired image and recognizes the letters on the license plate to perform crackdown.

여기서, 상기 취득된 영상에서 차량의 번호판의 위치를 추정하는 종래의 방법으로는 i)차량 번호판의 질감(texture)을 이용한 방법, ii)컬러(color) 정보를 이용한 방법 등이 사용되어 왔다.Here, as a conventional method of estimating the position of the license plate of the vehicle in the acquired image, i) a method using the texture of the vehicle license plate, ii) a method using color information and the like have been used.

그러나, 상기의 종래의 방법들은 번호판은 아니나 번호판과 비슷한 형상을 가지는 부분이 촬영되었을 경우, 또한, 번호판의 컬러가 변질되거나, 외부 조명 조건이 변하는 경우 등에는 정확하게 차량의 번호판의 위치를 추정하기가 어려운 문 제점들이 있었다.However, the above-mentioned conventional methods are not license plates, but it is difficult to accurately estimate the position of the license plate of the vehicle when a portion having a shape similar to the license plate is photographed, or when the color of the license plate is changed or the external lighting conditions are changed. There were difficult problems.

따라서, 촬상 장치로부터 취득된 영상에서 차량의 번호판의 위치를 보다 정확하게 추정하는 새로운 기술의 개발의 필요성이 대두된다.Therefore, there is a need for developing a new technology for more accurately estimating the position of the license plate of the vehicle in the image acquired from the imaging device.

본 발명의 주된 목적은, 촬상 장치로부터 취득된 영상에서 차량의 번호판의 위치를 정확하게 추정할 수 있는 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정 장치를 제공하는 것이다.It is a main object of the present invention to provide a vehicle license plate position estimation method and a vehicle license plate position estimation device capable of accurately estimating the position of a license plate of a vehicle in an image acquired from an imaging device.

본 발명은, 촬상 장치를 구비한 주정차 감시 시스템의 차량 번호판 위치 추정 방법에 있어서, (a) 상기 촬상 장치로부터 촬상된 영상을 분석함으로써, 상기 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 복수개 선정하는 단계;와, (b) 상기 선정된 후보 부분들의 각각의 영상 신호를 주파수 이용 분류기와 공간정보 이용 분류기로 각각 처리하는 단계;와, (c) 상기 주파수 이용 분류기 및 상기 공간 정보 이용 분류기에서 산출된 유사도 값들을 상호 비교를 위해 정규화하고 가중치를 부여하는 단계;와, (d) 상기 정규화되고 가중치가 부여된 유사도 값들을 취합하여 서로 비교함으로써, 상기 정규화되고 가중치가 부여된 유사도 값들 중 가장 큰 값을 가지는 후보 부분을 차량 번호판 위치로 결정하는 단계;를 포함하는 차량 번호판 위치 추정 방법을 개시한다.According to the present invention, there is provided a method for estimating a vehicle license plate position of a parking lot monitoring system having an imaging device, comprising: (a) analyzing an image picked up from the imaging device, whereby a vehicle license plate is likely to be located in a portion of the image picked up. Selecting a plurality of candidate portions; and (b) processing each video signal of the selected candidate portions with a frequency use classifier and a spatial information use classifier, respectively; and (c) the frequency use classifier and the space. Normalizing and weighting the similarity values calculated by the information use classifier for mutual comparison; and (d) collecting the normalized and weighted similarity values and comparing them with each other to thereby compare the normalized and weighted similarity values. Determining the candidate portion having the largest value among the values as the license plate position; A position estimation method is disclosed.

여기서, 상기 (a)단계에서 상기 후보 부분들을 선정하기 위하여, 상기 촬상된 영상에 컬러 좌표계를 이용한 영상 필터링 방법을 적용할 수 있다.Here, in order to select the candidate parts in step (a), an image filtering method using a color coordinate system may be applied to the captured image.

여기서, 상기 (a)단계에서 상기 후보 부분들을 선정하기 위하여, 상기 촬상된 영상의 질감을 이용한 영상 필터링 방법을 적용할 수 있다.Here, in order to select the candidate parts in step (a), an image filtering method using the texture of the captured image may be applied.

여기서, 상기 영상 필터링 방법들은 일정 크기 이하 또는 일정 크기 이상의 블랍(blob)을 무시하는 블랍 라벨링(blob labeling) 방법을 이용할 수 있다.Here, the image filtering methods may use a blob labeling method of ignoring blobs of a predetermined size or less than a predetermined size.

여기서, 상기 (a)단계와 (b)단계 사이에서는, (e) 상기 선정된 후보 부분들의 영상의 크기를 정규화하는 단계;와, (f) 상기 (e)단계를 거친 영상들의 화질을 개선하는 단계;를 더 포함할 수 있다.Here, between the steps (a) and (b), (e) normalizing the size of the image of the selected candidate parts; and (f) improving the image quality of the images passed through the step (e). Steps may further include.

여기서, 상기 (f)단계에서 화질을 개선하는 단계는 컨트라스트(contrast) 향상 방법을 이용할 수 있다.Here, in the step (f), the image quality improvement may use a contrast enhancement method.

여기서, 상기 (f)단계에서 화질을 개선하는 단계는 밝기 보상(lightness compensation) 방법을 이용할 수 있다.Here, in the step (f), the image quality improvement may use a brightness compensation method.

여기서, 상기 (b)단계에서 상기 선정된 후보 부분들의 각각의 영상 신호를 상기 주파수 이용 분류기로 처리하는 과정은, 미리 입력된 기준 번호판의 영상 신호의 주파수 값들과, 상기 선정된 후보 부분들의 영상 신호의 주파수 값들을 비교함으로써, 유사도 값을 산출하는 과정을 포함할 수 있다.Here, in the step (b), the process of processing the video signal of each of the selected candidate parts with the frequency utilization classifier includes the frequency values of the video signal of the reference license plate input in advance and the video signals of the selected candidate parts. Comparing the frequency values of may include calculating a similarity value.

여기서, 상기 (b)단계에서 상기 선정된 후보 부분들의 각각의 영상 신호를 공간 정보 이용 분류기로 처리하는 과정은, 미리 입력된 기준 번호판의 영상의 픽셀들의 계조 값들과, 상기 선정된 후보 부분들의 영상의 픽셀들의 계조 값들을 비교함으로써, 유사도 값을 산출하는 과정을 포함할 수 있다.Here, in the step (b), the process of processing the image signal of each of the selected candidate parts with the spatial information use classifier may include gradation values of pixels of an image of a pre-input reference number plate and images of the selected candidate parts. Comparing the grayscale values of the pixels of, may include calculating a similarity value.

또한, 본 발명은, 상기의 차량 번호판 위치 추정 방법을 수행하는 차량 번호 판 위치 추정 장치를 개시한다.In addition, the present invention discloses a vehicle license plate position estimation apparatus for performing the vehicle license plate position estimation method.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 관한 불법 주정차 단속 시스템의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of an illegal parking control system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 불법 주정차 단속 시스템(100)은 복수의 카메라(110-1 내지 110-n), 통신망(120) 및 센터 장치(130)로 구성된다.Referring to FIG. 1, the illegal parking control system 100 according to the present invention includes a plurality of cameras 110-1 to 110-n, a communication network 120, and a center device 130.

복수의 카메라(110-1 내지 110-n)는 촬상 장치로서 단속 대상 구역에 설치되는데, 동일한 단속 대상 구역에 두 개 이상의 카메라가 설치될 수 있다. The plurality of cameras 110-1 to 110-n are installed in the intermittent subject area as an imaging device, and two or more cameras may be installed in the same subject area.

각각의 카메라(110-1 내지 110-n)에는 독자적인 감시 영역이 할당된다. 각각의 카메라(110-1 내지 110-n)로는 촬상한 영상을 센터 장치(130)로 전송할 수 있는 기능을 구비한 어떠한 카메라도 채용될 수 있으나, 팬/틸트/줌이 자유로우면서도 촬영한 영상을 디지털화하여 전송하는 웹카메라가 채용되는 것이 바람직하다. 이 때, 각각의 카메라(110-1 내지 110-n)는 센터 장치(130)로부터 수신되는 제어명령에 의해 제어되며, 각각의 카메라(110-1 내지 110-n)의 감시 영역은 센터 장치(130)에 의해 설정된다. Each camera 110-1 to 110-n is assigned its own surveillance area. Each camera 110-1 to 110-n may employ any camera having a function of transmitting the captured image to the center device 130, but the pan / tilt / zoom can be freely taken. It is preferable to employ a web camera for digitizing and transmitting. At this time, each camera (110-1 to 110-n) is controlled by a control command received from the center device 130, the monitoring area of each camera (110-1 to 110-n) is the center device ( 130).

센터 장치(130)는, 유무선 인터넷, 이동통신망 등이 될 수 있는 통신망(120)을 통해 연결되어 있는 각각의 카메라(110-1 내지 110-n)를 제어하는 기능과, 각각의 카메라(110-1 내지 110-n)로부터 수신된 영상을 기초로 불법 주정차 차량을 인식한 후, 과태료 고지서를 생성하는 기능을 수행한다. The center device 130 has a function of controlling each of the cameras 110-1 to 110-n connected through the communication network 120, which can be a wired or wireless Internet, a mobile communication network, or the like. 1 to 110-n), after recognizing the illegal parking vehicle on the basis of the image received from, performs a function of generating a fine bill.

도 2는 센터 장치(130)의 상세한 구성을 도시한 블럭도이다. 2 is a block diagram showing the detailed configuration of the center apparatus 130. As shown in FIG.

도 2를 참조하면, 센터 장치(130)는 사용자 인터페이스부(131), 감시 영역 설정부(132), 차량 인식부(133), 번호판 인식부(134), 카메라 제어부(135), 단속 수행부(136), 저장부(137) 및 망 접속부(138)로 구성된다.Referring to FIG. 2, the center device 130 includes a user interface unit 131, a surveillance area setting unit 132, a vehicle recognition unit 133, a license plate recognition unit 134, a camera control unit 135, and a enforcement unit. 136, a storage unit 137, and a network connection unit 138.

사용자 인터페이스부(131)는 각각의 카메라(110-1 내지 110-n)가 촬영한 영상과 센터 장치(130)의 상태 정보를 출력하고, 운영자로부터 명령을 입력받는 수단이다. The user interface unit 131 outputs images captured by the cameras 110-1 to 110-n and state information of the center apparatus 130, and is a means for receiving a command from an operator.

감시 영역 설정부(132)는 연결되어 있는 각각의 카메라(110-1 내지 110-n)의 감시 영역을 설정한다. 감시 영역은 카메라가 설치된 지점을 기준으로 전방 하위 감시 영역, 하방 하위 감시 영역, 및 후방 하위 감시 영역의 광역 감시 영역으로 구성될 수 있다. The surveillance region setting unit 132 sets the surveillance region of each of the cameras 110-1 to 110-n that are connected. The surveillance area may be configured as a wide area surveillance area of the front lower surveillance area, the lower lower surveillance area, and the rear lower surveillance area based on the point where the camera is installed.

차량 인식부(133)는 망 접속부(138)를 통해 단속장소에 설치된 각각의 카메라(110-1 내지 110-n)로부터 실시간으로 수신된 영상에 대한 이미지 처리를 통해 차량 영역을 추출한다. 즉, 차량 인식부(133)는 헤드라이트의 대칭성, 그림자의 존재, 유리창 형상의 존재여부 등을 기초로 수신된 영상에서 차량 영역을 추정한다.The vehicle recognizing unit 133 extracts a vehicle area through image processing on an image received in real time from each of the cameras 110-1 to 110-n installed at an intermittent place through the network connection unit 138. That is, the vehicle recognition unit 133 estimates the vehicle area from the received image based on the symmetry of the headlights, the presence of shadows, the presence of a window shape, and the like.

차량 인식부(133)로부터 추정된 차량 영역은 수신된 영상에서 차량으로 인식되는 영역의 좌상 및 우하 좌표(또는 우상 및 좌하 좌표)로 표시된다. 이 때, 차량 영역을 나타내는 좌표는 수신된 영상의 해상도를 기준으로 산출하거나 수신된 영상을 소정의 좌표상에 매칭시켜 산출한다. 차량 인식부(133)는 각각의 하위 감시 영역별로 차량 영역의 추출시점, 추출된 차량 영역의 좌표, 및 하위 감시 영역 식별 정보를 포함하는 차량 영역 인식 정보를 생성하여 저장부(137)에 저장한다. The vehicle area estimated by the vehicle recognition unit 133 is displayed as the upper left and lower right coordinates (or the upper right and lower left coordinates) of the area recognized as the vehicle in the received image. At this time, the coordinates representing the vehicle area are calculated based on the resolution of the received image or calculated by matching the received image on a predetermined coordinate. The vehicle recognizing unit 133 generates vehicle area recognition information including an extraction time of the vehicle area, coordinates of the extracted vehicle area, and lower monitoring area identification information for each lower monitoring area, and stores the vehicle area recognition information in the storage unit 137. .

번호판 인식부(134)는 추출된 차량 영역 또는 수신된 영상으로부터 번호판 의 위치를 추정하고, 위치가 추정된 번호판 영역에서 차량 번호를 판별한다. 즉, 번호판 인식부(134)는 촬영된 영상에서 차량의 번호판의 위치를 추정하고, 이어 위치가 추정된 번호판의 영역내의 문자를 인식하는 기능을 수행한다. 여기서, 번호판 인식부(134)가 차량의 번호판의 위치를 추정하는 방법에 대해서는 후술하기로 한다. The license plate recognition unit 134 estimates the position of the license plate from the extracted vehicle region or the received image, and determines the vehicle number in the license plate region where the position is estimated. That is, the license plate recognition unit 134 estimates the position of the license plate of the vehicle in the photographed image, and then performs a function of recognizing a character in an area of the license plate whose position is estimated. Here, a method of estimating the position of the license plate of the vehicle by the license plate recognition unit 134 will be described later.

본 실시예에 따른 센터 장치(130)는 차량 인식부(133)와 번호판 인식부(134) 모두를 포함하여 구성되어 있지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 센터 장치는 차량 인식부를 구비하지 않고 번호판 인식부만을 구비할 수도 있다. 그 경우에 번호판 인식부는 촬상된 영상으로부터 직접 차량의 번호판의 위치를 탐색하여 인식하게 된다.The center device 130 according to the present embodiment includes both the vehicle recognition unit 133 and the license plate recognition unit 134, but the present invention is not limited thereto. That is, according to the present invention, the center apparatus may include only the license plate recognition unit without the vehicle recognition unit. In that case, the license plate recognition unit searches and recognizes the position of the license plate of the vehicle directly from the captured image.

카메라 제어부(135)는 연결되어 있는 카메라(110-1 내지 110-n)의 동작을 제어한다. 센터에 위치한 운영자는 사용자 인터페이스부(131)를 이용하여 각각의 카메라(110-1 내지 110-n)의 팬/틸트/줌을 조절할 수 있으며, 카메라 제어부(135)는 운영자로부터 입력받은 제어명령에 해당하는 카메라의 수평각, 수직각, 줌레벨 및 감시시간을 포함하는 카메라 제어정보를 생성하여 망 접속부(138)를 통해 제어대상 카메라로 전송한다. 제어대상 카메라는 센터 장치(130)로부터 수신된 카메라 제어정보에 기초하여 동작하며, 카메라 제어정보가 감시 영역에 대한 설정정보일 경우에는 자체에 구비된 저장부에 수신된 카메라 제어정보를 저장한다. The camera controller 135 controls the operations of the cameras 110-1 to 110-n that are connected. The operator located in the center may adjust the pan / tilt / zoom of each of the cameras 110-1 to 110-n by using the user interface unit 131, and the camera controller 135 may control the control command received from the operator. Camera control information including the horizontal angle, the vertical angle, the zoom level, and the monitoring time of the corresponding camera is generated and transmitted to the control target camera through the network connection unit 138. The camera to be controlled operates based on the camera control information received from the center apparatus 130. When the camera control information is setting information for the surveillance area, the camera to be controlled stores the received camera control information in a storage unit provided therein.

단속 수행부(136)는 불법 주정차 차량에 대한 단속 업무를 처리한다. 단속 수행부(136)에 의한 단속업무는 다음과 같이 수행될 수 있다.The enforcement enforcement unit 136 processes the enforcement service for the illegal parking vehicle. The enforcement service by the enforcement enforcement unit 136 may be performed as follows.

즉, 단속 수행부(136)는 차량 인식부(133)에 의해 생성된 차량 영역 인식 정보를 기초로 일정시간(예를 들면, 5초)이상 동일한 위치에서 차량 영역이 인식되면, 해당 차량 영역에 존재하는 차량을 주정차 중인 차량으로 간주하여 해당 차량 영역 인식 정보를 주정차 차량 데이터 베이스에 기록한다.That is, if the vehicle area is recognized at the same position for a predetermined time (for example, 5 seconds) or more based on the vehicle area recognition information generated by the vehicle recognition unit 133, the enforcement unit 136 may not be assigned to the vehicle area. The existing vehicle is regarded as a parked vehicle and the corresponding vehicle area recognition information is recorded in the parked vehicle database.

주정차 중인 차량이 발견되면 단속 수행부(136)는 번호판 인식부(134)로 해당 차량 영역으로부터 번호판 위치를 추정하여 번호판의 문자를 인식하도록 지시하며, 번호판 인식부(134)에 의해 생성된 번호판 영역 인식 정보를 번호판 데이터 베이스에 기록한다. When the vehicle is stopped, the enforcement unit 136 instructs the license plate recognizing unit 134 to estimate the license plate position from the vehicle area to recognize the letters on the license plate, and generates the license plate area generated by the license plate recognition unit 134. Record the recognition information in the license plate database.

단속 수행부(136)는 주정차 중인 차량의 발견시점(즉, 해당 차량에 대한 번호판 영역 인식 정보를 번호판 데이터 베이스에 기록한 시점)으로부터 불법 주정차 단속 기준 시간(예를 들면, 5분)이 경과되면 대응되는 카메라가 해당 하위 감시 영역을 촬영하도록 제어한다. 이러한 카메라 제어는 단속 수행부(136)의 구동에 의해 카메라 제어부(135)가 수행하도록 구성될 수 있다. The enforcement enforcement unit 136 responds when the illegal parking regulation reference time (for example, 5 minutes) has elapsed from the discovery time of the vehicle being parked (that is, when the license plate area recognition information of the vehicle is recorded in the license plate database). The camera to capture the corresponding lower surveillance area. Such camera control may be configured to be performed by the camera controller 135 by driving the intermittent execution unit 136.

해당 하위 감시 영역에 대한 촬영이 수행되면 차량 인식부(133)는 카메라로부터 수신된 영상으로부터 차량 영역을 추출한다. 단속 수행부(136)는 추출된 차량 영역이 주정차 차량 데이터 베이스에 기록되어 있는 차량 영역 인식 정보에 포함된 차량 영역과 일치하면 해당 차량을 불법 주정차 차량으로 판단한다. When photographing of the lower surveillance area is performed, the vehicle recognition unit 133 extracts the vehicle area from the image received from the camera. The enforcement unit 136 determines that the vehicle is an illegal parking vehicle if the extracted vehicle region matches the vehicle region included in the vehicle region recognition information recorded in the parking vehicle database.

다음으로, 단속 수행부(136)는 번호판 인식부(134)로 추출된 차량 영역에서 번호판 영역을 추출하여 해당 차량의 차량 번호를 추정하여 번호판 데이터 베이스부에 저장되어 있는 해당 차량의 차량번호와 동일한지 여부를 확인하도록 제어한다. 이 때, 카메라의 제어를 위해 차량 인식부(133) 및 번호판 인식부(134)에 의해 추출된 차량 영역 및 번호판 영역의 좌표에 대응하는 카메라 제어정보가 이용될 수 있다. 만약, 동일한 차량으로 확인되면 단속 수행부(136)는 단속시점, 차량번호, 불법 주정차 단속 시작 시점의 촬영 영상의 저장 위치, 불법 주정차 단속 기준시간의 경과 시점의 촬영 영상의 저장 위치, 추출된 번호판 영역의 좌표, 및 하위 감시 영역 식별정보를 포함하는 단속 차량 정보를 생성하여 단속 차량 데이터 베이스에 기록한다.Next, the enforcement unit 136 extracts the license plate area from the vehicle area extracted by the license plate recognition unit 134, estimates the vehicle number of the vehicle, and matches the vehicle number of the vehicle stored in the license plate database unit. Control to check whether or not. In this case, camera control information corresponding to the coordinates of the vehicle area and the license plate area extracted by the vehicle recognition unit 133 and the license plate recognition unit 134 may be used for controlling the camera. If it is confirmed that the same vehicle, the enforcement unit 136 may control the control point, the vehicle number, the storage location of the captured image at the start of illegal parking control, the storage location of the captured image at the elapsed time of the illegal parking control reference time, and the extracted license plate. An intermittent vehicle information including the coordinates of the area and the lower surveillance area identification information is generated and recorded in the intermittent vehicle database.

또한, 단속 수행부(136)는 단속 차량 정보를 기초로 불법 주정차 중인 것으로 확인된 차량에 대한 과금 문서를 작성한다. 이 때 과금 문서에는 차량 번호, 차량의 단속 시간(주정차 시작 시각과 종료 시각), 단속시의 영상(주정차 시작 시점 및 불법 주정차 단속 기준의 초과 시점), 장소 등의 내용이 기재된다. In addition, the enforcement unit 136 creates a charging document for the vehicle identified as being illegally parked based on the enforcement vehicle information. At this time, the billing document describes the vehicle number, the crackdown time of the vehicle (start time and stop time of the vehicle), the image at the time of crackdown (the start point of the parking lot and the exceeding point of the illegal parking control criterion), and the place.

저장부(137)에는 각각의 카메라(110-1 내지 110-n)에 대응하는 감시 영역을 구성하는 하위 감시 영역을 촬영하기 위한 카메라 제어정보, 차량 영역 인식 정보, 번호판 영역 인식 정보, 주정차 차량 데이터 베이스, 차량 번호 데이터 베이스, 단속 차량 데이터 베이스 등이 저장된다. The storage unit 137 includes camera control information, vehicle area recognition information, license plate area recognition information, and parking vehicle data for capturing a lower surveillance area constituting a surveillance area corresponding to each of the cameras 110-1 to 110-n. The base, the vehicle number database, the intermittent vehicle database, and the like are stored.

망 접속부(138)는 유무선 통신망에 연결되어 각각의 카메라(110-1 내지 110-n)와 데이터를 송수신하기 위한 수단을 제공한다. 센터 장치(120)는 망 접속부(138)를 통해 각각의 카메라(110-1 내지 110-n)로 카메라 제어정보를 송신하며, 각각의 카메라(110-1 내지 110-n)로부터 촬영된 영상을 수신한다. The network connection unit 138 is connected to a wired or wireless communication network to provide a means for transmitting and receiving data with each of the cameras 110-1 to 110-n. The center device 120 transmits camera control information to each of the cameras 110-1 through 110-n through the network connection unit 138, and displays images captured from each of the cameras 110-1 through 110-n. Receive.

망 접속부(138)가 지원하는 네트워크 프로토콜의 예로는 TCP/IP, HTTP, ARP, PARP, ICMP, DHCP, FTP, SMTP 등이 있으며, 통신라인은 xDSL, 이더넷, LAN 등이 있다. 카메라(110-1 내지 110-n)와 센터 장치(130)는 다양한 통신방법에 의해 통신을 수행할 수 있으며, 일예로 xDSL 모뎀이 카메라(110-1 내지 110-n)와 센터 장치(130) 사이의 통신수단으로 채용될 수 있다.Examples of network protocols supported by the network connection unit 138 include TCP / IP, HTTP, ARP, PARP, ICMP, DHCP, FTP, SMTP, and the like, and communication lines include xDSL, Ethernet, and LAN. The cameras 110-1 to 110-n and the center device 130 may communicate by various communication methods. For example, the xDSL modem may include the cameras 110-1 to 110-n and the center device 130. It can be employed as a communication means between.

이하, 도 3 및 도 4를 참조하여, 번호판 인식부(134)가 차량의 번호판의 위치를 추정하는 방법에 대하여 상세히 설명한다.Hereinafter, a method of estimating the position of the license plate of the vehicle by the license plate recognition unit 134 will be described in detail with reference to FIGS. 3 and 4.

각각의 카메라(110-1 내지 110-n)로부터 실시간으로 수신된 영상에 대한 이미지 처리를 통해 차량 인식부(133)에 의해 차량 영역이 추출된 후, 추출된 차량 영역으로부터 번호판의 위치를 추정하게 된다. After the vehicle region is extracted by the vehicle recognition unit 133 through image processing on the image received in real time from each of the cameras 110-1 to 110-n, the position of the license plate can be estimated from the extracted vehicle region. do.

본 실시예에서는 차량 영역이 일단 추출된 후, 번호판 위치를 탐색하게 되나, 본 발명은 이에 한정하지 않는다. 즉, 전술한 바와 같이, 본 발명은 차량 인식부(133)를 구비하지 않을 수 있으며, 그 경우에는, 촬상된 영상으로부터 직접 차량의 번호판의 위치를 탐색하게 된다.In the present embodiment, once the vehicle area is extracted, the license plate position is searched for, but the present invention is not limited thereto. That is, as described above, the present invention may not include the vehicle recognition unit 133, in which case, the position of the license plate of the vehicle is directly searched from the captured image.

자세히 살펴보면, 먼저, 번호판 인식부(134)가 카메라(110-1 내지 110-n)로부터 촬상된 영상을 분석함으로써, 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 복수개 선정한다(단계 S1).In detail, first, the license plate recognition unit 134 analyzes the images captured by the cameras 110-1 through 110-n to select a plurality of candidate portions having a high possibility of the vehicle license plate being located among the captured images. (Step S1).

여기서, 후보 부분들을 복수개 선정하기 위해 영상을 분석하는 방법으로는 컬러 좌표계를 이용한 영상 필터링 방법과 질감을 이용한 영상 필터링 방법이 사용 될 수 있다.In this case, an image filtering method using a color coordinate system and an image filtering method using a texture may be used as an image analysis method for selecting a plurality of candidate parts.

컬러 좌표계를 이용하는 영상 필터링 방법은 공개특허공보 제2005-0042096에 개시된 방법을 사용할 수 있다. 즉, 컬러 좌표계를 이용하는 영상 필터링 방법은, i)컬러 영상을 HSI 컬러 좌표계의 Hue 채널을 획득하는 단계, ii)YIQ 컬러 좌표계의 I와 Q채널을 획득하는 단계, ⅲ)상기 단계에서 얻어진 Hue와 I,Q 채널을 합쳐 H-IQ 컬러 좌표계를 만드는 단계, ⅳ)H-IQ 좌표계에 대한 변위에 기초하여 영상을 필터링하는 단계, ⅴ)필터링된 컬러 영상 정보를 바탕으로 상응하는 컬러 영상 위치 정보를 획득하는 단계를 포함하여 구성된다.An image filtering method using a color coordinate system may use the method disclosed in Japanese Patent Laid-Open No. 2005-0042096. That is, the image filtering method using the color coordinate system includes: i) acquiring a Hue channel of the HSI color coordinate system from the color image; ii) acquiring I and Q channels of the YIQ color coordinate system; Combining the I and Q channels to create an H-IQ color coordinate system; i) filtering the image based on the displacement with respect to the H-IQ coordinate system; i) generating corresponding color image position information based on the filtered color image information. And acquiring.

또한, 질감을 이용한 영상 필터링 방법도 공개특허공보 제2005-0042096에 개시된 방법을 사용할 수 있다. 즉, 질감을 이용하는 영상 필터링 방법은, i)컬러 영상을 그레이 영상으로 변환하는 단계, ii)수직 엣지(edge)를 추정하는 단계, ⅲ)엣지를 돋보이게 하는 다일레이션(dilation) 단계를 포함하여 구성된다.In addition, an image filtering method using a texture may also use the method disclosed in Japanese Patent Laid-Open No. 2005-0042096. That is, the image filtering method using the texture includes i) converting a color image into a gray image, ii) estimating a vertical edge, and iii) dilation to make the edge stand out. do.

상기와 같은 본 실시예에 따른 영상 필터링 방법들에는 영상 신호 노이즈 감쇠(noise reduction)를 위한 과정과, 미리 설정된 번호판의 기준 크기 이하 또는 기준 크기 이상의 블랍(blob)을 무시하는 블랍 라벨링(blob labeling) 방법이 포함된다. Image filtering methods according to the present embodiment as described above includes a process for noise reduction of a video signal and blob labeling for ignoring blobs below a reference size or a reference size of a predetermined license plate. Method is included.

본 실시예의 영상 필터링 방법들은 공개특허공보 제2005-0042096에 개시된 방법을 사용하나, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 선정할 수 있다면, 그 방법에 있어 특별한 제한은 없다.Image filtering methods of the present embodiment use the method disclosed in Japanese Patent Laid-Open No. 2005-0042096, but the present invention is not limited thereto. That is, according to the present invention, if it is possible to select candidate parts which are likely to be located in the license plate among the parts of the captured image, there is no particular limitation on the method.

한편, 도 4는, 상기의 방법을 이용하여, 촬상된 영상의 차량 영역(140) 중에 차량 번호판이 위치할 가능성이 높은 후보 부분들이 4개로 선정된 모습을 보여주는 도면이다.Meanwhile, FIG. 4 is a diagram illustrating a state in which four candidate parts having a high possibility of locating a license plate in the vehicle area 140 of the captured image are selected using the above method.

여기서, 각 후보 부분들(141)(142)(143)(144)의 영상은 크기가 모두 상이하므로, 효율적인 영상처리 및 차후 기준 번호판 영상과의 비교를 위하여, 후보 부분들(141)(142)(143)(144)의 영상의 크기를 정규화한다(단계 S2). 즉, 각 후보 부분들(141)(142)(143)(144)의 크기를 동일하게 하는 작업을 수행한다.Here, since the images of the candidate parts 141, 142, 143, and 144 are all different in size, the candidate parts 141 and 142 may be used for efficient image processing and comparison with the reference plate image. The size of the image of (143) (144) is normalized (step S2). In other words, the sizes of the candidate parts 141, 142, 143, and 144 are the same.

그 다음, 후보 부분들(141)(142)(143)(144)의 영상들의 화질을 개선하는 단계를 수행한다(단계 S3). 여기서, 화질을 개선하는 방법으로서 컨트라스트(contrast) 향상 방법, 밝기 보상(lightness compensation) 방법 등이 사용될 수 있다.Then, the step of improving the image quality of the images of the candidate portions 141, 142, 143, 144 is performed (step S3). Here, as a method of improving image quality, a contrast enhancement method, a brightness compensation method, or the like may be used.

그 다음, 화질이 개선된 후보 부분들(141)(142)(143)(144)의 영상들의 신호를 주파수 이용 분류기 및 공간 정보 이용 분류기로 처리한다(단계 S4-1, S4-2).Next, the signals of the images of the candidate parts 141, 142, 143, and 144 with improved image quality are processed by the frequency use classifier and the spatial information use classifier (steps S4-1 and S4-2).

여기서, 주파수 이용 분류기란 영상 신호의 주파수를 FFT(Fast Fourier Transform), DCT(Discrete Cosine Transform) 등의 방법으로 처리하여 유사도 값을 산출하는 장치이다. Here, the frequency using classifier is a device that calculates a similarity value by processing a frequency of an image signal by a method such as a fast fourier transform (FFT) or a discrete cosine transform (DCT).

즉, 주파수 이용 분류기에는, 기준이 되는 번호판의 영상 신호의 기준 주파수 값들이 계산되어 미리 입력된다. 이 후, 후보 부분들(141)(142)(143)(144)의 영상들의 신호를 주파수 영역으로 처리하여, 상기 미리 입력된 기준 주파수 값들과 비교하여 유사도 값을 출력한다. 여기서, 유사도 값은 기준 번호판의 영상 신호와 비슷하면 비슷할 수록 높은 수치를 나타내는데, 본 실시예의 경우에는 단일의 수치로 나타내는데, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 출력되는 유사도 값은 복수개의 수치로 나타낼 수도 있다.That is, the reference frequency values of the image signal of the license plate as a reference are calculated and input to the frequency use classifier in advance. Thereafter, the signals of the images of the candidate parts 141, 142, 143, and 144 are processed in a frequency domain, and the similarity values are output by comparing the input frequency with the previously input reference frequency values. Here, the similarity value indicates a higher numerical value as it is similar to the video signal of the reference plate. In the present embodiment, the similarity value is represented as a single numerical value, but the present invention is not limited thereto. That is, according to the present invention, the output similarity value may be represented by a plurality of numerical values.

한편, 공간 정보 이용 분류기란 영상 신호를 Template 방법 등을 사용하여 픽셀 별로 처리하여, 유사도 값을 산출하는 장치이다. On the other hand, the spatial information use classifier is a device that calculates the similarity value by processing the image signal for each pixel using a template method.

즉, 공간 정보 이용 분류기에는, 기준이 되는 번호판 영상의 각 픽셀 당 계조 값들이 계산되어 미리 입력된다. 이 후, 후보 부분들(141)(142)(143)(144)의 영상들의 각 픽셀 당 계조 값들과, 그에 대응하는 상기 미리 입력된 번호판 영상의 각 픽셀 당 계조 값들과 비교하여 유사도 값을 출력한다. 여기서, 유사도 값은 기준 번호판의 영상 신호와 비슷하면 비슷할 수록 높은 수치를 나타내는데, 본 실시예의 경우에는 단일의 수치로 나타내는데, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 출력되는 유사도 값은 복수개의 수치로 나타낼 수도 있다.That is, the gray scale values for each pixel of the license plate image, which are the reference, are calculated and input to the spatial information utilization classifier. Thereafter, the similarity value is output by comparing the gray level values for each pixel of the images of the candidate parts 141, 142, 143, and 144 and the gray level values for each pixel of the pre-input license plate image corresponding thereto. do. Here, the similarity value indicates a higher numerical value as it is similar to the video signal of the reference plate. In the present embodiment, the similarity value is represented as a single numerical value, but the present invention is not limited thereto. That is, according to the present invention, the output similarity value may be represented by a plurality of numerical values.

본 실시예에 따른 공간 정보 이용 분류기는 번호판의 영상의 픽셀 당 계조 값을 계산하여 비교하나, 본 발명은 이에 한정하지 않는다. 즉, 계조 외에 픽셀 당 다른 성질을 서로 비교하여 유사도 값을 산출할 수 있다.The spatial information use classifier according to the present embodiment calculates and compares a gray value per pixel of an image of a license plate, but the present invention is not limited thereto. That is, similarity values may be calculated by comparing different properties per pixel in addition to gray levels.

본 실시예에서 후보 부분들(141)(142)(143)(144)의 영상들의 신호를 처리함에 있어서, 주파수 이용 분류기와 공간 정보 이용 분류기의 2가지 분류기를 거쳐서 처리하는 이유는 다음과 같다. 즉, 외부 조명의 변화나 번호판의 인위적인 변형에 의하여, 어떤 경우는 주파수 이용 분류기로부터 산출된 유사도 값이 높게 나타나는 경우가 있고, 또 어떤 경우는 공간 정보 이용 분류기로부터 산출된 유사도 값이 높 게 나타나는 경우가 있어, 두 개의 분류기를 모두 사용하여 분석하면, 누락됨이 없이 실제 번호판 영역을 효과적으로 찾을 수 있기 때문이다.In the present exemplary embodiment, in processing the signals of the images of the candidate parts 141, 142, 143, and 144, the reason for processing through the two classifiers of the frequency classifier and the spatial information classifier is as follows. In other words, due to a change in external lighting or an artificial deformation of the license plate, in some cases, the similarity value calculated from the frequency use classifier may be high, and in some cases, the similarity value calculated from the spatial information use classifier is high. This is because, using both classifiers, the analysis can effectively find the actual license plate area without omission.

그 다음, 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 각각 산출된 유사도 값들을 정규화하고, 상기 유사도 값들에 가중치를 부여한다(단계 S5-1, 단계 S5-2). 즉, 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 산출된 유사도 값들을 정규화하고, 가중치를 부여하여 서로 비교가 가능하게끔 가공한다.Then, similarity values respectively calculated from the frequency use classifier and the spatial information use classifier are normalized and weighted to the similarity values (steps S5-1 and S5-2). That is, the similarity values calculated from the frequency use classifier and the spatial information use classifier are normalized and weighted to be processed to be compared with each other.

우선, 주파수 이용 분류기로부터 바로 산출된 유사도 값을 정규화시킨다. 즉, 주파수 이용 분류기로부터 나온 유사도 값의 정규화의 기준으로는, 정규화된 유사도 값의 최소값이 0이고, 최대값이 1을 넘지 않도록 정규화시킴으로써, 정규화된 유사도 값 Sim_Fi을 구한다. 예를 들어, 주파수 이용 분류기로부터 나올 수 있는 유사도 값의 최소값이 0이고, 최대값이 1000이라고 가정하면, 주파수 이용 분류기로부터 바로 산출된 유사도 값이 500인 경우에, 그 유사도 값의 정규화된 값 Sim_Fi은 0.5의 값을 가지도록 정규화 된다. 즉, 그 경우, 바로 산출된 유사도 값 500에 정규화 인자 0.001을 곱하여 정규화를 행한다. First, the similarity value calculated directly from the frequency utilization classifier is normalized. That is, as a criterion of normalization of the similarity value from the frequency use classifier, the normalized similarity value Sim_Fi is obtained by normalizing the minimum value of the normalized similarity value to 0 and the maximum value not to exceed 1. For example, assuming that the minimum value of the similarity value that can come from the frequency use classifier is 0 and the maximum value is 1000, when the similarity value calculated directly from the frequency use classifier is 500, the normalized value of the similarity value Sim_Fi Is normalized to a value of 0.5. That is, in that case, normalization is performed by multiplying the similarity value 500 immediately calculated by the normalization factor 0.001.

마찬가지의 방법으로, 공간 정보 이용 분류기로부터 산출된 유사도 값을 정규화시킨다. 즉, 공간 정보 이용 분류기로부터 나온 유사도 값의 정규화의 기준으로는, 정규화된 유사도 값의 최소값이 0이고, 최대값이 1을 넘지 않도록 정규화시킴으로써, 정규화된 유사도 값 Sim_Si을 구한다. 예를 들어, 주파수 이용 분류기로부터 나올 수 있는 유사도 값의 최소값이 0이고, 최대값이 400이라고 가정하면, 주파수 이용 분류기로부터 바로 산출된 유사도 값이 100인 경우에, 그 유사도 값의 정규화된 값 Sim_Si은 0.25의 값을 가지도록 정규화 된다. 즉, 그 경우, 바로 산출된 유사도 값 100에 정규화 인자 0.0025를 곱하여 정규화를 행한다. In a similar manner, the similarity value calculated from the spatial information use classifier is normalized. That is, as a criterion of normalization of the similarity value from the spatial information use classifier, the normalized similarity value Sim_Si is obtained by normalizing the minimum value of the normalized similarity value to 0 and the maximum value not to exceed 1. For example, assuming that the minimum value of the similarity value that can come from the frequency use classifier is 0 and the maximum value is 400, when the similarity value calculated directly from the frequency use classifier is 100, the normalized value of the similarity value Sim_Si Is normalized to a value of 0.25. That is, in that case, normalization is performed by multiplying the similarity value 100 immediately calculated by the normalization factor 0.0025.

본 실시예에서는 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 나온 유사도 값의 정규화의 기준으로서, 정규화된 유사도 값의 최소값이 0이고, 최대값이 1을 넘지 않도록 정규화시키나, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 나온 유사도 값의 정규화의 기준이 동일하여, 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 나온 유사도 값의 비교가 용이할 수 있다면, 정규화의 기준에는 특별한 제한이 없다.In the present embodiment, as a criterion of normalization of the similarity value from the frequency use classifier and the spatial information use classifier, the normalized similarity value is normalized so that the minimum value is 0 and the maximum value does not exceed 1, but the present invention is not limited thereto. That is, according to the present invention, if the criteria for normalization of the similarity values from the frequency use classifier and the spatial information use classifier are the same, and the comparison of the similarity values from the frequency use classifier and the spatial information use classifier may be easy, There is no special limitation.

상기와 같이 정규화된 유사도 값 Sim_Fi 및 Sim_Si를 구한 후에는, 상기의 정규화된 유사도 값 Sim_Fi 및 Sim_Si에 가중치를 부여한다. After obtaining the normalized similarity values Sim_Fi and Sim_Si as described above, the normalized similarity values Sim_Fi and Sim_Si are weighted.

여기서, 가중치의 부여 방법은 가중치 인자 α(0≤α≤1)를 이용하는데, 다음의 수학식 1 및 수학식 2를 이용하여, 가중치가 부여된 유사도 값 Sim_Ff와 Sim_Sf를 구한다. Here, the weighting method uses a weighting factor α (0 ≦ α ≦ 1), and the weighted similarity values Sim_Ff and Sim_Sf are obtained using the following equations (1) and (2).

Figure 112007033917385-pat00001
Figure 112007033917385-pat00001

Figure 112007033917385-pat00002
Figure 112007033917385-pat00002

여기서, 가중치를 부여하는 이유는 주파수 이용 분류기와 공간 정보 이용 분 류기의 특성이 다르기 때문에 이를 적절하게 보정하기 위한 것이다. 즉, 가중치 인자 α를 구하기 위해서는, 주파수 이용 분류기와 공간 정보 이용 분류기를 이용하여, 실제 번호판의 위치 추정 실험을 반복 수행하여 구하게 된다. 또한, 가중치 인자 α는 카메라에서 얻어지는 영상의 화질, 영상의 압축 여부 등에 따라서 그 값이 조정될 수 있다.In this case, the weighting factor is appropriately corrected because the characteristics of the frequency use classifier and the spatial information use classifier are different. In other words, in order to obtain the weighting factor α, a frequency estimation classifier and a spatial information usage classifier are used to repeatedly obtain the position estimation experiment of the actual license plate. In addition, the weight factor α may be adjusted according to the image quality obtained by the camera, whether or not the image is compressed.

그 다음, 상기 정규화되고 가중치가 부여된 유사도 값들을 취합하여 서로 비교함으로써, 상기 정규화되고 가중치가 부여된 유사도 값들 중 가장 큰 값을 가지는 후보 부분을 차량 번호판 위치로 결정한다(단계 S6).Then, the normalized and weighted similarity values are collected and compared with each other to determine a candidate portion having the largest value among the normalized and weighted similarity values as the license plate position (step S6).

예를 들어, 도 4의 후보 부분들(141)(142)(143)(144)의 각각의 유사도 값이 다음과 같을 경우를 가정한다. 여기서, 가중치 인자 α를 0.6로 놓고 계산한다.For example, assume that the similarity values of the candidate portions 141, 142, 143, and 144 of FIG. 4 are as follows. Here, the weighting factor α is calculated to be 0.6.

Sim_FiSim_Fi Sim_SiSim_Si Sim_FfSim_Ff Sim_SfSim_Sf 후보 부분 141Candidate Part 141 0.30.3 0.50.5 0.180.18 0.20.2 후보 부분 142Candidate Part 142 0.50.5 0.80.8 0.30.3 0.320.32 후보 부분 143Candidate Part 143 0.40.4 0.60.6 0.240.24 0.240.24 후보 부분 144Candidate Part 144 0.20.2 0.30.3 0.120.12 0.120.12

여기서, 후보 부분들(141)(142)(143)(144)의 Sim_Ff 및 Sim_Sf의 값을 통틀어 가장 큰 값은 후보부분(142)의 Sim_Sf 값인 0.32이다. 따라서, 후보 부분(142)이 차량의 번호판 위치로 결정되게 된다.Here, the largest value of the Sim_Ff and Sim_Sf values of the candidate parts 141, 142, 143, and 144 is 0.32, which is the Sim_Sf value of the candidate part 142. Thus, the candidate portion 142 is determined to be the license plate position of the vehicle.

여기서, 차량의 번호판 위치로 결정되기 위해서는, 각 후보 부분의 Sim_Ff의 값과 Sim_Sf의 값을 더하거나 곱한 값으로 결정되는 것이 아니고, Sim_Ff 및 Sim_Sf의 값을 통틀어 가장 큰 최대값을 가지는 것이 선택되고, 그 최대값을 가지는 후보 부분이 번호판 영역으로 결정되게 된다.Here, in order to determine the position of the license plate of the vehicle, it is not determined by adding or multiplying the value of Sim_Ff and the value of Sim_Sf of each candidate portion, but having the largest maximum value through the values of Sim_Ff and Sim_Sf is selected. The candidate portion having the maximum value is determined as the license plate area.

상기와 같은 결정 방법은, 외부 조명, 기상 조건 등의 악화로 인해 촬상된 차량 번호판의 영상 신호가 왜곡됨으로써, 주파수 이용 분류기와 공간 정보 이용 분류기 중 어느 하나로부터 산출되는 유사도 값이 정확하게 나오지 않더라도 나머지 하나에서 산출되는 유사도 값으로 차량 번호판 위치를 결정할 수 있게 한다. As described above, the image signal of the license plate image is distorted due to deterioration of external lighting, weather conditions, etc., so that the similarity value calculated from either the frequency utilization classifier or the spatial information usage classifier may not be accurately obtained. The similarity value calculated in FIG. 3 allows the vehicle license plate position to be determined.

비교예를 들면, 도 4의 촬영 영상에서, 폭우로 인해 영상 신호가 왜곡되어 공간 정보 이용 분류기의 처리가 부정확해지는 경우, 다음의 표 2와 같이 유사도 값이 계산되었다고 가정한다. 이 때의 가중치 인자 α의 값도 전술한 예의 경우와 같이 0.6라 한다.For example, in the photographed image of FIG. 4, when the image signal is distorted due to heavy rain and the processing of the spatial information use classifier is incorrect, it is assumed that the similarity value is calculated as shown in Table 2 below. The value of the weighting factor α at this time is also 0.6 as in the case of the above-described example.

Sim_FiSim_Fi Sim_SiSim_Si Sim_FfSim_Ff Sim_SfSim_Sf 후보 부분 141Candidate Part 141 0.30.3 0.20.2 0.180.18 0.080.08 후보 부분 142Candidate Part 142 0.50.5 0.10.1 0.30.3 0.040.04 후보 부분 143Candidate Part 143 0.40.4 0.20.2 0.240.24 0.080.08 후보 부분 144Candidate Part 144 0.20.2 0.10.1 0.120.12 0.040.04

상기의 표 2에 나타난 바와 같이, 공간 정보 이용 분류기의 기능이 제대로 발휘되지 않아, 전체적으로 Sim_Sf 들의 유사도 값이 낮은데다가, 실제 번호판 영역인 후보 부분(142)의 Sim_Sf의 값은 후보 부분(143)의 Sim_Sf의 값 보다 작게 된다. 그러나, 본 실시예의 결정 방법에 따르면, Sim_Ff 및 Sim_Sf의 값을 통틀어 가장 큰 값인 0.3을 가지는 후보 부분(142)이 선택되기 때문에, 이 경우에도 후보 부분(142)이 번호판 영역으로 결정된다. 이와 같이, 본 실시예에 따르면, 공간 정보 이용 분류기로부터 산출되는 유사도 값이 정확하지 않더라도 차량 번호판 위치를 정확하게 결정할 수 있게 된다.As shown in Table 2 above, the function of the spatial information utilization classifier is not properly exhibited, so the similarity value of Sim_Sf is low overall, and the value of Sim_Sf of the candidate part 142 which is the actual license plate area is determined by the candidate part 143. It becomes smaller than the value of Sim_Sf. However, according to the determination method of the present embodiment, since the candidate portion 142 having the largest value 0.3 is selected throughout the values of Sim_Ff and Sim_Sf, the candidate portion 142 is determined as the license plate area even in this case. Thus, according to this embodiment, even if the similarity value calculated from the spatial information use classifier is not accurate, the vehicle license plate position can be determined accurately.

또한, 상기 비교예로서, 공간 정보 이용 분류기의 기능이 제대로 작동되지 않는 경우를 설명하였으나, 상기와 같은 설명은 주파수 영역 분류기의 기능이 제대로 작동되지 않은 경우에도 마찬가지로 적용될 수 있음은 물론이다. In addition, as a comparative example, the case where the function of the spatial information use classifier is not properly operated has been described, but the above description may be applied to the case where the function of the frequency domain classifier is not properly operated.

이상과 같은 방법으로, 번호판으로 결정되는 후보 부분이 결정되고 나면, 그 번호판으로 결정된 후보 부분(142)의 영역의 문자를 식별하는 공정이 진행되는데, 그러한 방법은 공지의 문자 인식 방법이 사용될 수 있다.In the above manner, after the candidate portion determined by the license plate is determined, a process of identifying a character in the area of the candidate portion 142 determined by the license plate is performed, and such a method may be a known character recognition method. .

본 실시예에 따르면, 번호판 인식부(134)가, 차량 번호판의 위치를 추정하는 작업과, 위치가 추정된 번호판의 문자를 인식하는 작업을 모두 수행하지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 상기와 같이 설명한 차량 번호판 위치 추정 방법만을 수행하는 별개의 차량 번호판 위치 추정 장치가 구성될 수 있다. 별개로 구성되는 경우, 그 차량 번호판 위치 추정 장치의 하드웨어 형식은, 전자 회로가 될 수 있고, 차량 번호판 위치 추정 방법의 소프트웨어가 탑재된 롬(ROM) 등의 형식이 될 수도 있다. 한편, 별개의 차량 번호판 위치 추정 장치가 구성되는 경우에는, 차량 번호판의 문자를 인식하는 별개의 차량 번호판 문자 인식 장치가 필요하게 된다. According to this embodiment, the license plate recognition unit 134 performs both the operation of estimating the position of the vehicle license plate and the operation of recognizing the characters of the license plate whose position is estimated, but the present invention is not limited thereto. That is, according to the present invention, a separate license plate position estimation apparatus for performing only the license plate position estimation method described above may be configured. When configured separately, the hardware type of the license plate position estimation device may be an electronic circuit, or may be a type such as a ROM in which software of the license plate position estimation method is mounted. On the other hand, when a separate license plate position estimation device is configured, a separate license plate character recognition device for recognizing characters on the license plate is required.

이상과 같이, 번호판의 위치를 추정한 후, 번호판의 문자를 인식하게 되면, 단속 수행부(136)는 전술한 바와 같이 단속 작업을 수행하게 된다. As described above, after estimating the position of the license plate and recognizing the letters of the license plate, the enforcement unit 136 performs the enforcement operation as described above.

이상과 같이 본 실시예의 차량 번호판 위치 추정 방법에 따르면, 주파수 이용 분류기와 공간 정보 이용 분류기로부터 산출된 유사도 값을 서로 비교가 가능하도록 정규화하고, 정규화된 유사도 값들 중 최대값을 가지는 후보 부분을 차량 번호판 영역으로 결정함으로써, 주파수 이용 분류기와 공간 정보 이용 분류기 중 어느 하나로부터 산출되는 유사도 값이 정확하게 나오지 않더라도 나머지 하나에서 산출되는 유사도 값으로도 정확한 번호판 위치를 결정할 수 있게 된다. 그렇게 되면, 촬상된 영상에서 차량 번호판의 위치를 정확하게 결정할 수 있게 됨으로써, 효율적인 주정차 단속이 이루어질 수 있게 된다.As described above, according to the license plate position estimation method of the present embodiment, the similarity values calculated from the frequency classifier and the spatial information classifier are normalized to be compared with each other, and the candidate part having the maximum value among the normalized similarity values is licensed. By determining the area, even if the similarity value calculated from either the frequency use classifier or the spatial information use classifier is not accurate, the exact license plate position can be determined using the similarity value calculated in the other. As a result, the position of the vehicle license plate can be accurately determined from the captured image, thereby enabling efficient parking control.

상술한 바와 같이, 본 발명에 따르면, 촬상 장치로부터 취득된 영상에서 차량의 번호판의 위치를 정확하게 추정할 수 있는 효과가 있다.As described above, according to the present invention, there is an effect of accurately estimating the position of the license plate of the vehicle in the image acquired from the imaging device.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims (10)

촬상 장치를 구비한 주정차 감시 시스템의 차량 번호판 위치 추정 방법에 있어서,In a vehicle license plate position estimation method of a parking lot monitoring system having an imaging device, (a) 상기 촬상 장치로부터 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 복수개 선정하는 단계;(a) selecting a plurality of candidate portions having a high possibility of the vehicle license plate being located among the portions of the image captured by the imaging device; (b) 상기 선정된 후보 부분들의 각각의 영상 신호를 이용하여 주파수 이용 분류기와 공간정보 이용 분류기가 유사도 값들을 각각 산출하는 단계;(b) calculating, by the frequency use classifier and the spatial information use classifier, the similarity values using the respective video signals of the selected candidate parts; (c) 상기 주파수 이용 분류기 및 상기 공간 정보 이용 분류기에서 산출된 유사도 값들을 상호 비교를 위해 정규화하고 가중치를 부여하는 단계; 및(c) normalizing and weighting the similarity values calculated by the frequency use classifier and the spatial information use classifier for mutual comparison; And (d) 상기 정규화되고 가중치가 부여된 유사도 값들을 취합하여 서로 비교함으로써, 상기 정규화되고 가중치가 부여된 유사도 값들 중 가장 큰 값을 가지는 후보 부분을 차량 번호판 위치로 결정하는 단계;를 포함하는 차량 번호판 위치 추정 방법.(d) determining the candidate portion having the largest value among the normalized and weighted similarity values as a license plate position by collecting and comparing the normalized and weighted similarity values to each other; Location estimation method. 제1항에 있어서, The method of claim 1, 상기 (a)단계에서 상기 후보 부분들을 선정하기 위하여, 상기 촬상된 영상에 컬러 좌표계를 이용한 영상 필터링 방법을 적용하는 차량 번호판 위치 추정 방법.And (b) applying an image filtering method using a color coordinate system to the captured images in order to select the candidate parts. 제1항에 있어서, The method of claim 1, 상기 (a)단계에서 상기 후보 부분들을 선정하기 위하여, 상기 촬상된 영상의 질감을 이용한 영상 필터링 방법을 적용하는 차량 번호판 위치 추정 방법.And (b) applying the image filtering method using the texture of the photographed image to select the candidate portions. 제2항 또는 제3항에 있어서, The method according to claim 2 or 3, 상기 영상 필터링 방법들은 일정 크기 이하 또는 일정 크기 이상의 블랍(blob)을 무시하는 블랍 라벨링(blob labeling) 방법을 이용하는 차량 번호판 위치 추정 방법.The image filtering methods of the vehicle license plate position estimation method using a blob labeling method that ignores blobs of a predetermined size or less than a predetermined size. 제1항에 있어서, The method of claim 1, 상기 (a)단계와 (b)단계 사이에서는,Between steps (a) and (b), (e) 상기 선정된 후보 부분들의 영상의 크기를 정규화하는 단계; 및(e) normalizing the size of an image of the selected candidate portions; And (f) 상기 (e)단계를 거친 영상들의 화질을 개선하는 단계;를 더 포함하는 차량 번호판 위치 추정 방법.and (f) improving image quality of the images passed through step (e). 제5항에 있어서, The method of claim 5, 상기 (f)단계에서 화질을 개선하는 단계는 컨트라스트(contrast) 향상 방법을 이용하는 차량 번호판 위치 추정 방법.The improving of the image quality in the step (f) is a vehicle license plate position estimation method using a contrast enhancement method. 제5항에 있어서, The method of claim 5, 상기 (f)단계에서 화질을 개선하는 단계는 밝기 보상(lightness compensation) 방법을 이용하는 차량 번호판 위치 추정 방법.The step of improving the image quality in the step (f) is a vehicle license plate position estimation method using a brightness compensation method. 제1항에 있어서,The method of claim 1, 상기 (b)단계에서 상기 선정된 후보 부분들의 각각의 영상 신호를 이용하여 상기 주파수 이용 분류기가 유사도 값을 산출하는 과정은,In the step (b), the frequency utilization classifier calculates a similarity value by using the video signals of the selected candidate parts. 미리 입력된 기준 번호판의 영상 신호의 주파수 값들과, 상기 선정된 후보 부분들의 영상 신호의 주파수 값들을 비교함으로써, 유사도 값을 산출하는 과정을 포함하는 차량 번호판 위치 추정 방법.And calculating a similarity value by comparing frequency values of a video signal of a reference plate pre-input with the frequency values of the video signals of the selected candidate parts. 제1항에 있어서,The method of claim 1, 상기 (b)단계에서 상기 선정된 후보 부분들의 각각의 영상 신호를 이용하여 상기 공간 정보 이용 분류기가 유사도 값을 산출하는 과정은,In the step (b), the spatial information use classifier calculates a similarity value by using the respective video signals of the selected candidate parts. 미리 입력된 기준 번호판의 영상의 픽셀들의 계조 값들과, 상기 선정된 후보 부분들의 영상의 픽셀들의 계조 값들을 비교함으로써, 유사도 값을 산출하는 과정을 포함하는 차량 번호판 위치 추정 방법.And calculating a similarity value by comparing grayscale values of pixels of an image of a reference license plate previously input with grayscale values of pixels of an image of the selected candidate parts. 삭제delete
KR1020070044210A 2007-05-07 2007-05-07 Method for location estimation of vehicle number plate KR101218302B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070044210A KR101218302B1 (en) 2007-05-07 2007-05-07 Method for location estimation of vehicle number plate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070044210A KR101218302B1 (en) 2007-05-07 2007-05-07 Method for location estimation of vehicle number plate

Publications (2)

Publication Number Publication Date
KR20080098850A KR20080098850A (en) 2008-11-12
KR101218302B1 true KR101218302B1 (en) 2013-01-03

Family

ID=40286075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070044210A KR101218302B1 (en) 2007-05-07 2007-05-07 Method for location estimation of vehicle number plate

Country Status (1)

Country Link
KR (1) KR101218302B1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101484043B1 (en) * 2010-09-02 2015-01-19 한국전자통신연구원 System and method for recognizing identifier of vehicle
KR101298937B1 (en) * 2011-11-11 2013-08-23 서강대학교산학협력단 Apparatus for recognizing signs, Method thereof, and Method for recognizing image
KR101869399B1 (en) * 2015-04-22 2018-06-20 한국전자통신연구원 Apparatus and method for detecting vehicle license plate
CN107203754B (en) * 2017-05-26 2019-04-12 北京邮电大学 A kind of license plate locating method and device based on deep learning
CN109270952A (en) * 2018-09-19 2019-01-25 清远市飞凡创丰科技有限公司 A kind of agricultural land information acquisition system and method
KR102222109B1 (en) * 2020-01-17 2021-03-03 유한회사 홍석 Integrated management system of parking enforcement image through deep learning
KR102383377B1 (en) * 2021-06-02 2022-04-08 (주)트루엔 Electronic device for recognizing license plate
KR102595910B1 (en) * 2021-09-13 2023-10-30 주식회사 디코 Vehicle number automatic recognition system and method therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050042096A (en) * 2005-03-21 2005-05-04 비알아이티(주) Color image positioning finding method and car number board position and number recognize apparatus thereof
KR100657970B1 (en) * 2005-09-15 2006-12-14 삼성전자주식회사 Method and apparatus for detecting a face using discrete cosine transform coefficient

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050042096A (en) * 2005-03-21 2005-05-04 비알아이티(주) Color image positioning finding method and car number board position and number recognize apparatus thereof
KR100657970B1 (en) * 2005-09-15 2006-12-14 삼성전자주식회사 Method and apparatus for detecting a face using discrete cosine transform coefficient

Also Published As

Publication number Publication date
KR20080098850A (en) 2008-11-12

Similar Documents

Publication Publication Date Title
KR101218302B1 (en) Method for location estimation of vehicle number plate
CN112106345B (en) Stereo camera device
KR101758684B1 (en) Apparatus and method for tracking object
CN101512549B (en) Real-time face tracking in a digital image acquisition device
KR101935399B1 (en) Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm
US20080158361A1 (en) Video surveillance equipment and video surveillance system
US8326084B1 (en) System and method of auto-exposure control for image acquisition hardware using three dimensional information
EP2659668A1 (en) Calibration device and method for use in a surveillance system for event detection
JP2003141545A (en) Automatic moving object tracking device and method
JP5071198B2 (en) Signal recognition device, signal recognition method, and signal recognition program
KR101224164B1 (en) Pre- processing method and apparatus for license plate recognition
KR101561626B1 (en) The Vehicle Black Box Capable of Real-Time Recognizing a License Number Plate for Moving Vehicle
JP2002074368A (en) Moving object recognizing and tracking device
KR101038650B1 (en) Adaptive modeling method for background image, detecting method and system for illegal-stopping and parking vehicle using it
KR100948382B1 (en) Security service method and system
KR101553589B1 (en) Appratus and method for improvement of low level image and restoration of smear based on adaptive probability in license plate recognition system
US20220366570A1 (en) Object tracking device and object tracking method
CN111582118A (en) Face recognition method and device
KR20110123512A (en) Partial image extractor and its partial image extracting method
KR101911239B1 (en) The channel extension operation system for detecting illegally parked vehicles
CN111666869B (en) Face recognition method and device based on wide dynamic processing and electronic equipment
KR100801989B1 (en) Recognition system for registration number plate and pre-processor and method therefor
KR100770157B1 (en) Movement license number of an automobil system
KR101547239B1 (en) System and method for adjusting camera brightness based extraction of background image
KR101381580B1 (en) Method and system for detecting position of vehicle in image of influenced various illumination environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 8