KR101298684B1 - Non sensor based vehicle number recognition system and operating method thereof - Google Patents

Non sensor based vehicle number recognition system and operating method thereof Download PDF

Info

Publication number
KR101298684B1
KR101298684B1 KR1020130018235A KR20130018235A KR101298684B1 KR 101298684 B1 KR101298684 B1 KR 101298684B1 KR 1020130018235 A KR1020130018235 A KR 1020130018235A KR 20130018235 A KR20130018235 A KR 20130018235A KR 101298684 B1 KR101298684 B1 KR 101298684B1
Authority
KR
South Korea
Prior art keywords
license plate
image
vehicle
recognition
extracted
Prior art date
Application number
KR1020130018235A
Other languages
Korean (ko)
Inventor
백청열
임동현
Original Assignee
임동현
백청열
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임동현, 백청열 filed Critical 임동현
Priority to KR1020130018235A priority Critical patent/KR101298684B1/en
Application granted granted Critical
Publication of KR101298684B1 publication Critical patent/KR101298684B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Character Discrimination (AREA)

Abstract

PURPOSE: A non sensor-based vehicle number recognizing system and an operating method thereof are provided to recognize a number and a number plate while performing city management by using an image photographed by a general CCTV. CONSTITUTION: A vehicle number recognizing system receives a video from a CCTV and a still image by frame (S11,S12). The system performs gray scale transformation for images for the recognition of a number plate and performs image correction operation through contrast (S13,S14). The system extracts a vertical/horizontal area from the image (S15). The system extracts a number plate image from the image and recognizes a vehicle number in the number plate image (S16). [Reference numerals] (AA) Extraction failure; (BB) Extraction success; (CC) Repeat; (S11) Input a video; (S12) Input still images by frame; (S13) Perform transformation into gray scale images; (S14) Perform image correction regarding brightness/contrast; (S15) Extract a horizontal/vertical area from the images; (S16) Extract a number plate image

Description

무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법{Non Sensor Based Vehicle Number Recognition System and Operating Method thereof}Non-sensor based vehicle number recognition system and its operation method {Non Sensor Based Vehicle Number Recognition System and Operating Method}

본 발명은 차량 번호 인식 시스템 및 그 동작방법에 관한 것으로서, 자세하게는 감지센서의 이용없이 차량의 번호판 및 번호를 인식할 수 있는 차량 번호 인식 시스템 및 그 동작방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle number recognition system and an operation method thereof, and more particularly, to a vehicle number recognition system and an operation method capable of recognizing a license plate and a number of a vehicle without using a sensor.

일반적으로, 도시를 관리하기 위한 목적이나 각종 범죄에 대한 증거자료 확보 및 대응을 하기 위하여 폐쇄 회로 티브이(CCTV)가 설치되고 있다. 관제 센터는 도시 곳곳에 설치된 CCTV로부터 촬영된 영상을 수신하고 이를 재생함으로써 모니터링에 의한 감시 동작을 수행할 수 있다. In general, closed-circuit television (CCTV) is installed for the purpose of managing the city, and for securing and responding to evidence against various crimes. The control center can perform surveillance by monitoring by receiving images taken from the CCTV installed in various places in the city and reproducing them.

그러나, 종래의 경우 관제 센터에서 CCTV로부터 촬영된 영상의 단순 모니터링만이 수행되며, 이에 따라 감시 사각지역이 발생하게 되어 도시 관리에 있어서 충분한 자료를 제공하지 못하는 문제가 발생할 뿐 아니라 각종 사고 등의 사전 방지가 어렵게 된다. 또한, 근래들어 차량을 이용한 범죄 발생률이 급증함에 따라 차량의 정확한 촬영, 그리고 차량을 구분할 수 있도록 차량의 번호판이 정확히 촬영될 필요가 있음에도 불구하고, 실질적으로 이와 같은 자료의 확보가 어려운 문제가 발생한다. 주로 과속 위반이나 갓길 주행 위반 등을 단속하기 위하여 차량의 번호판을 촬영하는 단속 카메라가 이용되는 경우가 있으나, 이는 고가의 촬영 장비임에 따라 도로의 일정 지점 등 일부에만 사용되며, 도시 전체를 관리하기 위한 카메라로써 이용되기는 어렵다.However, in the conventional case, only the simple monitoring of the images photographed from the CCTV is performed in the control center, and therefore, the obscured area is generated, so that there is a problem that sufficient data can not be provided in the city management, Prevention becomes difficult. In addition, despite the fact that the number of crimes using a vehicle has recently increased, accurate photographing of the vehicle, and the need to accurately photograph the license plate of the vehicle so as to distinguish the vehicle, it is difficult to obtain such data substantially . In order to crack down on speeding violations or shoulder driving violations, there are cases where a crackdown camera is used to photograph the license plate of a vehicle. However, this is expensive equipment and is used only at a certain point of the road. It is difficult to use as a camera for the purpose.

또한, CCTV를 통해 범죄에 이용된 차량 등이 정확히 촬영이 되었다 하더라도, 이는 차후 증거 자료 등을 위해 주로 이용되는 것으로서, 상기 범죄 등과 같은 특수한 상황에서 실시간으로 촬영 자료가 이용되기는 어려운 문제가 발생하게 된다.In addition, even if a vehicle used for a crime is accurately photographed through CCTV, this is mainly used for evidence data, etc., and thus it is difficult to use the photographing data in real time in a special situation such as the crime. .

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 일반 CCTV로 촬영한 영상을 기반으로 하여 도시 관리를 수행함과 함께 차량 번호판 및 번호를 인식하고, 인식된 차량 번호판 및 번호를 이용하여 차량 등을 이용한 범죄에 대처할 수 있는 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법을 제공하는 것을 목적으로 한다.The present invention is to solve the problems as described above, based on the image taken by the general CCTV, city management and vehicle license plate and number recognition, using the recognized vehicle license plate and number using a vehicle, etc. An object of the present invention is to provide a non-sensing sensor-based vehicle number recognition system and a method of operation thereof that can cope with crime.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 차량 번호 인식 시스템의 동작방법은, 하나 이상의 카메라들로부터의 동영상을 제1 초당 프레임으로 수신하는 단계와, 상기 수신된 동영상으로부터 제2 초당 프레임에 해당하는 정지 영상을 추출하는 단계와, 상기 정지 영상을 분석하여 모션 감지 및 주행방향 검출 결과 중 적어도 하나에 기반하여 차량 인식 결과를 출력하는 단계와, 차량이 존재하는 것으로 인식된 정지 영상으로부터 수평 및 수직 추출 동작을 통해 번호판을 추출하고, 추출된 번호판에 대해 기하학적 정형화 기법에 따른 번호판 정형화 동작을 수행하며, 정형화된 번호판 내에 존재하는 개별 문자를 추출함에 의하여 번호판을 감지하는 단계 및 추출된 개별 문자에 대한 번호 인식 처리동작을 수행함에 의하여 차량 번호의 인식 결과를 출력하는 단계를 구비하는 것을 특징으로 한다.In order to achieve the above object, a method of operating a vehicle number recognition system according to an embodiment of the present invention, receiving a video from one or more cameras in a first frame per second, and from the received video Extracting a still image corresponding to two frames per second; analyzing the still image to output a vehicle recognition result based on at least one of a motion detection and a driving direction detection result; and a still recognized that the vehicle exists Extracting the license plate through the horizontal and vertical extraction operation from the image, performing the license plate shaping operation according to the geometric shaping technique for the extracted license plate, and detecting and extracting the license plate by extracting individual characters existing in the standardized license plate Vehicle number by performing a number recognition operation on the individual characters And outputting a result of recognizing the call.

한편, 본 발명의 일실시예에 따른 차량 번호 인식 시스템은 번호 인식 서버를 포함하고, 상기 번호 인식 서버는, 하나 이상의 카메라들로부터의 동영상을 제1 초당 프레임으로 수신하고, 상기 수신된 동영상으로부터 제2 초당 프레임에 해당하는 정지 영상을 추출하며, 상기 추출된 정지 영상에 대해 그레이 스케일 변환 및 명암 대비를 통한 이미지 보정 동작을 포함하는 이미지 처리를 수행하는 이미지 처리부와, 상기 정지 영상을 분석하여 모션 감지 및 주행방향 검출 결과 중 적어도 하나에 기반하여 차량 인식 결과를 출력하는 차량 인식부 및 차량이 존재하는 것으로 인식된 정지 영상으로부터 수평 및 수직 추출 동작을 통해 번호판을 추출하고, 추출된 번호판에 대해 기하학적 정형화 기법에 따른 번호판 정형화 동작을 수행하며, 정형화된 번호판 내에 존재하는 개별 문자를 추출함에 의하여 번호판을 감지하고, 추출된 개별 문자에 대한 번호 인식 처리동작을 수행함에 의하여 차량 번호의 인식 결과를 출력하는 번호 인식부를 구비하는 것을 특징으로 한다.Meanwhile, a vehicle number recognition system according to an embodiment of the present invention includes a number recognition server, wherein the number recognition server receives a video from one or more cameras at a first frame per second, and receives a video from the received video. An image processor configured to extract a still image corresponding to two frames per second, and perform image processing on the extracted still image, including image correction operation through gray scale conversion and contrast, and detecting the motion by analyzing the still image And a license plate for outputting the vehicle recognition result based on at least one of the driving direction detection results, and a license plate through horizontal and vertical extraction operations from the still image recognized as the vehicle, and geometrically shaping the extracted license plate. Performs license plate shaping operation according to the technique As by the presence extract individual characters to the detect plate, and is characterized in that comprising a recognition number and outputting a recognition result of the train number, by performing the code recognition process operation for the extracted individual characters.

상기한 바와 같은 본 발명의 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법에 따르면, 일반 CCTV로 촬영한 영상을 이용하여 도시 관리를 수행함과 함께 차량 번호판 및 번호를 인식할 수 있으며, 또한 인식된 차량 번호판 및 번호를 이용하여 차량 등을 이용한 범죄에 대처할 수 있다.According to the non-sensing sensor-based vehicle number recognition system of the present invention and its operation method as described above, it is possible to recognize the license plate and the number, and also to recognize the city while performing city management using the image taken by the general CCTV By using the license plate number and the number, the crime can be coped with the vehicle.

또한, 본 발명의 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법에 따르면, 상대적으로 저렴한 CCTV를 통해 차량 번호를 인식하므로 CCTV의 증설을 통해 감시 사각지역을 최소화할 수 있으며, 인식 결과에 따른 이벤트 발생 및 전파를 통해 범죄 등에 신속히 대응할 수 있는 효과가 있다.In addition, according to the non-sensing sensor-based vehicle number recognition system of the present invention and its operation method, since the vehicle number is recognized through a relatively inexpensive CCTV, it is possible to minimize the blind spot by expanding the CCTV, according to the recognition result Through the occurrence and propagation of events, it is possible to respond quickly to crimes.

도 1은 본 발명의 일실시예에 따른 번호 인식 서버를 포함하는 차량 번호 인식 시스템의 일 구현예를 나타내는 블록도이다.
도 2는 도 1의 이미지 처리부의 구체적인 구현예를 나타내는 블록도이다.
도 3은 도 1의 차량 인식부의 구체적인 구현예를 나타내는 블록도이다.
도 4a,b는 도 1의 번호 인식부의 구체적인 구현예를 나타내는 블록도이다.
도 5는 본 발명의 일실시예에 따라 번호판을 추출하는 일 예를 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따라 차량 번호를 인식하는 일 예를 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 차량 번호 인식 시스템의 일 구현예를 나타내는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 차량 번호 인식 시스템의 동작방법을 나타내는 플로우차트이다.
도 9는 본 발명의 다른 실시예에 따른 공간 정보 시스템의 동작방법을 나타내는 플로우차트이다.
1 is a block diagram illustrating an embodiment of a vehicle number recognition system including a number recognition server according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a specific implementation of the image processor of FIG. 1.
3 is a block diagram illustrating a specific implementation of the vehicle recognition unit of FIG. 1.
4A and 4B are block diagrams illustrating exemplary implementations of the number recognition unit of FIG. 1.
5 is a diagram illustrating an example of extracting a license plate according to an embodiment of the present invention.
6 is a diagram illustrating an example of recognizing a vehicle number according to an embodiment of the present invention.
7 is a block diagram illustrating an embodiment of a vehicle number recognition system according to another embodiment of the present invention.
8 is a flowchart illustrating a method of operating a vehicle number recognition system according to an embodiment of the present invention.
9 is a flowchart illustrating a method of operating a spatial information system according to another embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.

도 1은 본 발명의 일실시예에 따른 번호 인식 서버를 포함하는 차량 번호 인식 시스템의 일 구현예를 나타내는 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 차량 번호 인식 시스템(100)은 번호 인식 서버(1000)를 포함할 수 있다. 도 1에서는, 번호 인식 서버(1000) 이외에 다수의 외부 카메라들(예컨대 CCTV, 110_1 - 110_N)과 영상 관제 서버(120)를 더 포함할 수 있다. 영상 관제 서버(120)는 유무선 통신망 등을 통하여 다수의 CCTV들(110_1 - 110_N)에 연결되며, 다수의 CCTV들(110_1 - 110_N)에서 촬영된 영상을 수신하고 디코딩 모듈(121)을 통해 영상을 디코딩할 수 있으며, 또한 내부 제어수단(미도시)을 통해 제어신호를 출력하여 다수의 CCTV들(110_1 - 110_N)의 촬영 동작을 제어할 수 있다. 1 is a block diagram illustrating an embodiment of a vehicle number recognition system including a number recognition server according to an embodiment of the present invention. As shown in FIG. 1, the vehicle number recognition system 100 according to an embodiment of the present invention may include a number recognition server 1000. In FIG. 1, the number recognition server 1000 may further include a plurality of external cameras (eg, CCTVs 110-110 -N) and an image control server 120. The video monitoring server 120 is connected to a plurality of CCTVs 110_1 to 110_N via a wired / wireless communication network, receives video images captured by the plurality of CCTVs 110_1 to 110_N, And can also control a photographing operation of a plurality of CCTVs 110_1 to 110_N by outputting a control signal through an internal control means (not shown).

다수의 CCTV들(110_1 - 110_N)은 차량 번호 인식 시스템(100)에 의한 관리 서비스가 제공되는 구역에 설치될 수 있다. 각각의 CCTV로부터 촬영된 영상(예컨대, 차량의 주행영상)은 영상 관제 서버(120)로 제공되며, 또한 영상 관제 서버(120)를 운영하는 사용자의 조작을 통해 다수의 CCTV들(110_1 - 110_N)의 패닝(Panning), 틸트(Tilt) 및 줌(Zoom) 등(PTZ)을 제어할 수 있다. 또는, 특정 상황(이벤트) 발생이 검출되는 경우 이에 대응하기 위한 정보들이 영상 관제 서버(120)로 제공될 수 있으며, 영상 관제 서버(120) 내부의 제어수단을 통해 다수의 CCTV들(110_1 - 110_N)의 PTZ가 자동 제어될 수 있다. The plurality of CCTVs 110_1-110_N may be installed in an area where a management service provided by the vehicle number recognition system 100 is provided. (For example, a traveling image of a vehicle) from each CCTV is provided to the video control server 120 and is also provided to a plurality of CCTVs 110_1 to 110_N through the operation of a user who operates the video control server 120. [ Such as panning, tilting, and zooming (PTZ). Alternatively, when occurrence of a specific situation (event) is detected, information for responding thereto may be provided to the video control server 120, and a plurality of CCTVs 110_1 to 110_N ) Can be automatically controlled.

본 발명의 실시예에 따라, 번호 인식 서버(1000)는 다수의 CCTV들(110_1 - 110_N)로부터 촬영된 차량의 주행 영상을 영상 관제 서버(120)를 통해 수신할 수 있다. 번호 인식 서버(1000)는 서버의 전반적인 동작을 제어하며, 본 발명의 실시예에 따라 CCTV에 의해 촬영된 주행 영상을 분석하여 차량을 인식하고 차량의 번호를 인식하는 기능의 전반을 제어하는 시스템 제어부(1100)를 포함할 수 있다. 또한, 번호 인식 서버(1000)는 이미지 처리부(1200), 차량 인식부(1300), 번호 인식부(1400) 및 데이터베이스부(1500)를 더 포함할 수 있다. According to the exemplary embodiment of the present invention, the number recognition server 1000 may receive a driving image of the vehicle photographed from the plurality of CCTVs 110_1 to 110_N through the image control server 120. The number recognition server 1000 controls the overall operation of the server. The number recognition server 1000 analyzes the traveling image photographed by the CCTV according to the embodiment of the present invention and recognizes the vehicle, (1100). The number recognition server 1000 may further include an image processing unit 1200, a vehicle recognition unit 1300, a number recognition unit 1400, and a database unit 1500.

이미지 처리부(1200)는 영상 관제 서버(120)로부터의 주행 영상을 수신하고, 수신된 영상에 대한 이미지 처리를 수행함으로써 차량 및 차량 번호 인식을 위한 변환 처리된 영상을 생성한다. 일예로서, 이미지 처리부(1200)는 주행 영상으로서 초당 다수의 프레임(예컨대, 초당 30 프레임)을 수신하고 이들 중 일부의 정지 영상 이미지를 인식용으로 추출한다. 예컨대, 초당 6-10 장의 정지영상 이미지를 추출할 수 있으며, 이는 번호 인식 서버(1000)의 하드웨어 성능에 따라 조절이 가능하다. 추출 방법으로서, 일련하게 수신되는 프레임들에 대해 순차적으로 추출이 가능하며, 예컨대 초당 10 장의 정지영상 이미지를 추출하는 경우 주행 영상의 3 개의 프레임마다 하나의 프레임을 선택하여 정지영상 이미지를 추출할 수 있다. The image processing unit 1200 receives the traveling image from the video monitoring server 120 and performs image processing on the received image to generate a converted image for vehicle and car number recognition. As an example, the image processing unit 1200 receives a plurality of frames per second (for example, 30 frames per second) as a running image and extracts some of the still image images for recognition. For example, it is possible to extract 6 to 10 still image images per second, which can be adjusted according to the hardware performance of the number recognition server 1000. As an extraction method, it is possible to sequentially extract frames received sequentially. For example, when extracting 10 still images per second, one frame may be selected for every three frames of the traveling image to extract a still image have.

또한, 이미지 처리부(1200)는 추출된 이미지에 대해 이미지 변환 처리를 수행한다. 예컨대, 추출된 이미지에 대해 명암 대비를 통한 이미지 보정 동작을 수행할 수 있으며, 이는 히스토그램 평준화 기법을 적용하는 등의 처리 동작을 통해 수행될 수 있다. 또한, 침식, 팽창 등의 모폴로지 기법을 적용하여 정지영상 이미지 잡영 제거를 수행할 수 있다. In addition, the image processing unit 1200 performs image conversion processing on the extracted image. For example, it is possible to perform an image correction operation on the extracted image through contrast, and this can be performed through a processing operation such as applying a histogram equalization technique. In addition, it is possible to perform still image degaussing by applying a morphology technique such as erosion and expansion.

차량 인식부(1300)는 이미지 처리된 영상을 분석하여 차량 인식 동작을 수행할 수 있다. 예컨대, 옵티컬 플로우(Optical Flow) 기법을 적용하여 차량 모션을 감지하여 차량을 인식할 수 있으며, 또한 차량의 주행 방향을 검출할 수 있다.The vehicle recognition unit 1300 may analyze the image-processed image to perform a vehicle recognition operation. For example, an optical flow technique can be applied to detect the vehicle motion to recognize the vehicle, and also to detect the running direction of the vehicle.

한편, 번호 인식부(1400)는 차량 인식부(1300)로부터의 인식 결과에 따라 번호판 인식 및 번호 인식 등의 동작을 위한 프로세스를 수행할 수 있으며, 예컨대 번호판 인식 등의 동작을 위한 프로세스는 다수의 영상들 중 차량 모션이 감지된 영상만을 대상으로 하여 수행될 수 있다. 번호 인식부(1400)는 오츠(OTSU) 알고리즘을 이용한 이진화 및 윤곽선 추출 기법 등을 적용하여 번호판의 위치를 추정할 수 있으며, 추정된 번호판의 위치로부터 개별 문자를 추출하고, 추출된 개별 문자를 인식함으로써 차량의 번호를 인식할 수 있다. On the other hand, the number recognition unit 1400 can perform a process for recognizing a license plate and a number recognition according to a recognition result from the vehicle recognition unit 1300. For example, a process for license plate recognition, It is possible to perform only the image in which the vehicle motion is detected among the images. The number recognizing unit 1400 can estimate the position of the license plate by applying a binarization and contour extraction technique using the OTSU algorithm, extract individual characters from the position of the estimated license plate, recognize the extracted individual characters The number of the vehicle can be recognized.

한편, 데이터베이스부(1500)는 번호 인식 서버(1000) 내의 각종 정보들을 저장할 수 있다. 예컨대, 번호 인식을 위해 이용될 차량 모션이 검출된 영상들이 데이터베이스부(1500) 내에 저장되거나, 또는 인식된 차량으로부터 검출된 번호판의 영상, 그리고 번호판으로부터 추출된 문자를 인식한 결과로서 차량 번호 인식 결과 등이 데이터베이스부(1500)에 저장될 수 있다. 이외에도, 번호 인식 서버(1000)를 구동하기 위한 각종 데이터들이 함께 저장될 수 있다. The database 1500 may store various types of information in the number recognition server 1000. For example, when the images in which the vehicle motion to be used for the number recognition is detected are stored in the database unit 1500, or the images of the license plate detected from the recognized vehicle and the characters extracted from the license plate, And the like may be stored in the database unit 1500. In addition, various data for driving the number recognition server 1000 may be stored together.

전술한 본 발명의 실시예에 따르면, CCTV로부터 촬영된 초당 다수의 프레임을 갖는 영상에 대해 이미지 처리를 수행한 후 차량 인식 동작을 수행하며, 인식 결과에 따른 일부의 영상을 이용한 차량 번호판 및 번호 인식 동작을 수행함으로써 일반 CCTV를 이용하여 차량 및 번호의 인식률을 향상시킬 수 있을 뿐 아니라, 감시 사각지대를 최소화함으로써 감시능력을 향상할 수 있게 된다.According to the embodiment of the present invention described above, an image having a plurality of frames per second taken from the CCTV is subjected to image processing, and then a vehicle recognition operation is performed. Then, a vehicle license plate and number recognition By performing the operation, it is possible to improve the recognition rate of the vehicle and the number by using the general CCTV, and to improve the surveillance ability by minimizing the monitoring blind spot.

도 2는 도 1의 이미지 처리부의 구체적인 구현예를 나타내는 블록도이다. 도 2에 도시된 바와 같이, 이미지 처리부(1200)는 주행 영상 수신부(1210), 정지 영상 추출부(1220) 및 이미지 변환부(1230)를 포함할 수 있다. FIG. 2 is a block diagram illustrating a specific implementation of the image processor of FIG. 1. As illustrated in FIG. 2, the image processor 1200 may include a driving image receiver 1210, a still image extractor 1220, and an image converter 1230.

주행 영상 수신부(1210)는 CCTV들(110_1 - 110_N)에 의해 촬영되어 영상 관제 서버(120)에 의해 디코딩된 주행 영상을 수신할 수 있다. 또한, 정지 영상 추출부(1220)는 소정의 프레임을 가지며 수신되는 주행 영상으로부터 정지 영상을 추출하며, 예컨대 초당 30 프레임으로 수신되는 주행 영상으로부터 소정의 추출 방법(예컨대, 순차적 추출)에 따라 일부의 정지 영상(예컨대, 3 개의 프레임마다 하나의 프레임을 선택하여 초당 10 개의 정지 영상)을 추출한다. The driving image receiver 1210 may receive the driving image photographed by the CCTVs 110_1 to 110_N and decoded by the image control server 120. In addition, the still image extracting unit 1220 extracts a still image from the received traveling image having a predetermined frame, and extracts a still image from the traveling image received at 30 frames per second according to a predetermined extraction method (e.g., sequential extraction) And extracts a still image (e.g., one frame per 3 frames to 10 still images per second).

이미지 변환부(1230)는 추출된 영상에 대한 이미지 변환 처리를 수행한다. 예컨대, 추출된 영상에 대해 그레이 스케일 변환 동작을 수행할 수 있으며, 또한 추출된 이미지에 대해 히스토그램 평준화 기법을 적용하는 등의 처리 동작에 의해 명암 대비를 통한 이미지 보정 동작을 수행할 수 있다. 변환 처리된 이미지는 차량의 인식 및 차량 번호 인식을 위해 이용될 수 있으며, 또한 이미지 변환 처리된 영상이 번호 인식 서버(1000) 내부의 데이터베이스에 저장될 수 있다.The image conversion unit 1230 performs an image conversion process on the extracted image. For example, a gray scale conversion operation may be performed on the extracted image, and an image correction operation using contrast may be performed by a processing operation such as applying a histogram equalization technique to the extracted image. The converted image may be used for vehicle recognition and vehicle number recognition, and the image converted image may be stored in a database inside the number recognition server 1000.

도 3은 도 1의 차량 인식부의 구체적인 구현예를 나타내는 블록도이다. 도 3에 도시된 바와 같이, 차량 인식부(1300)는 이미지 추출부(1310), 모션 감지부(1320) 및 주행방향 검출부(1330)를 포함할 수 있다. 3 is a block diagram illustrating a specific implementation of the vehicle recognition unit of FIG. 1. As illustrated in FIG. 3, the vehicle recognizer 1300 may include an image extractor 1310, a motion detector 1320, and a driving direction detector 1330.

이미지 추출부(1310)는 변환 처리된 영상 내에 차량이 존재하는지를 검출하기 위하여 상이 이미지(Different Image)를 추출하는 기법을 이용할 수 있다. 예컨대, 직전 프레임과 현재 프레임의 차이를 추출할 수 있으며, 차량 영상과 배경 영상의 구분으로 인식률이 향상될 수 있도록 한다. The image extracting unit 1310 may use a technique of extracting a different image to detect whether a vehicle exists in the transformed image. For example, the difference between the previous frame and the current frame can be extracted, and the recognition rate can be improved by distinguishing between the vehicle image and the background image.

모션 감지부(1320) 및 주행방향 검출부(1330)는 이미지 추출 결과에 기반하여 모션 감지 동작 및 차량의 주행 방향을 검출할 수 있다. 모션 감지부(1320)와 주행방향 검출부(1330)는 서로 다른 기능 블록으로 도시되었으나, 동일한 기능 블록에 의해 상기 감지 및 검출 동작이 수행되어도 무방하다. 차량 영상과 배경 영상의 구분, 그리고 직전 프레임과 현재 프레임의 추출된 차이에 근거하여 모션이 감지되는가의 여부에 따라 차량 인식 결과가 발생될 수 있다. 또한, 옵티컬 플로우(Optical Flow) 기법을 적용하여 영상의 특징점을 추출하고, 이동 벡터의 움직임을 찾아 방향을 추적하며, 직전 프레임과 현재 프레임의 방향값을 추출함에 의하여 차량의 주행 방향을 검출할 수 있다. 상기와 같은 차량 인식부(1300)의 이미지 처리 동작에 기반하여 차량 인식 결과가 도출될 수 있으며, 이를 이용하여 차량의 번호 인식 프로세스가 수행될 수 있다. The motion detection unit 1320 and the traveling direction detection unit 1330 can detect the motion sensing operation and the traveling direction of the vehicle based on the image extraction result. Although the motion detection unit 1320 and the traveling direction detection unit 1330 are illustrated as different functional blocks, the detection and detection operations may be performed by the same functional blocks. The vehicle recognition result may be generated depending on the distinction between the vehicle image and the background image, and whether motion is detected based on the extracted difference between the previous frame and the current frame. In addition, the optical flow method extracts the feature points of the image, finds the motion of the motion vector, tracks the direction, and extracts the direction values of the previous frame and the current frame to detect the running direction of the vehicle have. The vehicle recognition result may be derived based on the image processing operation of the vehicle recognition unit 1300, and the vehicle number recognition process may be performed using the recognition result.

도 4a,b는 도 1의 번호 인식부의 구체적인 구현예를 나타내는 블록도이다. 도 4a,b에 도시된 바와 같이, 번호 인식부(1400)는 번호판 감지부(1410) 및 번호 인식 처리부(1420)를 포함할 수 있다. 또한, 번호판 감지부(1410)는 이미지 보정부(1411), 번호판 위치 추정부(1412), 번호판 추출부(1413), 정형화부(1414), 문자 추출부(1415) 및 번호판 분류부(1416)를 포함할 수 있다. 또한, 번호 인식 처리부(1420)는 문자 인식부(1421), 필터링부(1422) 및 결과 출력부(1423)를 포함할 수 있다. 4A and 4B are block diagrams illustrating exemplary implementations of the number recognition unit of FIG. 1. As shown in FIGS. 4A and 4B, the number recognition unit 1400 may include a license plate detector 1410 and a number recognition processor 1420. The license plate detector 1410 includes an image corrector 1411, a license plate position estimator 1412, a license plate extractor 1413, a shaping unit 1414, a character extractor 1415, and a license plate classifier 1416. It may include. The number recognition processing unit 1420 may include a character recognition unit 1421, a filtering unit 1422, and a result output unit 1423.

번호 인식부(1400)는 차량 인식부(1300)로부터 차량 인식 결과가 발생될 때 차량 번호 인식을 위한 프로세스를 수행할 수 있다. 즉, 이미지 변환 처리된 영상으로부터 차량이 존재하거나 또는 차량이 이동하는 등 모션이 검출될 때 차량 번호 인식을 위한 프로세스가 선택적으로 수행될 수 있다. 번호판 감지부(1410)는 차량 인식 결과에 응답하여 영상으로부터 차량의 번호판을 감지하는 동작을 수행할 수 있으며, 이를 위하여 이미지 처리부(1200)로부터의 변환 이미지가 번호판 감지부(1410)로 제공될 수 있다. 또한, 번호 인식 처리부(1420)는 감지된 번호판 내에 기재된 개별 문자를 인식하고 최종 차량번호를 필터링함으로써 번호 인식 결과를 출력할 수 있다. The number recognition unit 1400 may perform a process for recognizing the vehicle number when the vehicle recognition result is generated from the vehicle recognition unit 1300. [ That is, a process for recognizing the car number can be selectively performed when motion is detected, such as when a vehicle exists from an image subjected to image conversion processing or when a vehicle moves. The license plate detecting unit 1410 may perform an operation of detecting a license plate of the vehicle from the image in response to the vehicle recognition result. To this end, the converted image from the image processing unit 1200 may be provided to the license plate detecting unit 1410 have. In addition, the number recognition processor 1420 can recognize the individual characters described in the sensed license plate and output the number recognition result by filtering the final car number.

상기 번호판 감지부(1410) 및 번호 인식 처리부(1420)의 구체적인 구현 예를 도 4b를 참조하여 설명하면 다음과 같다. A detailed implementation example of the license plate detector 1410 and the number recognition processor 1420 will be described with reference to FIG. 4B.

이미지 보정부(1411)는 수신된 이미지에 대하여 히스토그램 평준화 기법 등을 적용하여 명암 대비를 통한 이미지 보정을 수행할 수 있으며, 또한 침식, 팽창 모폴로지 기법 등을 적용하여 정지 영상 이미지에서 잡영을 제거할 수 있다. The image correction unit 1411 can perform image correction through contrast by applying a histogram equalization technique or the like to the received image, and can remove erroneous images from the still image by applying erosion, expansion morphology, have.

번호판 위치 추정부(1412)는, 이미지 처리된 영상으로부터 해당 영상에 포함된 번호판의 위치를 추정한다. 위치 추정 동작을 수행함에 있어서 오츠(OTSU) 알고리즘을 이용한 이진화 및 윤곽선 추출 기법을 적용하여 차량이 존재하는 것으로 인식된 영상으로부터 번호판의 위치를 추정한다. 또한, 번호판 추출부(1413)는 추정된 번호판의 위치를 참조하여 실제 번호판을 추출하며, 예컨대 번호판 추출을 위하여 번호판의 기울기를 보정하기 위한 동작으로서, 윤곽선을 기준으로 하여 삼각함수를 적용하여 기울기 보정을 수행하고, 번호판의 이미지를 개선하기 위하여 샤프닝 기법 및 미디언 필터를 적용함에 의하여 이미지 개선 동작을 수행할 수 있다. 또한, 실제 번호판을 추출하기 위하여 오츠(OTSU) 알고리즘을 이용한 이진화 및 윤곽선 추출 기법이 적용될 수 있다.The license plate position estimating unit 1412 estimates the position of the license plate included in the image from the image-processed image. In performing the position estimation operation, the position of the license plate is estimated from the images recognized as vehicles by applying the binarization and contour extraction technique using the OTSU algorithm. The license plate extracting unit 1413 extracts an actual license plate by referring to the estimated position of the license plate. For example, the license plate extracting unit 1413 corrects the license plate slope for license plate extraction. The license plate extracting unit 1413 applies a trigonometric function, And applying the sharpening technique and the median filter to improve the image of the license plate. In addition, binary and contour extraction techniques using the OTSU algorithm can be applied to extract the actual plate.

정형화부(1414)는 번호판의 추출 정보(또는, 번호판 위치 정보)를 이용한 기하학적 정형화 기법을 적용하여 번호판을 정형화할 수 있다. 또한, 문자 추출부(1415)는 번호판 정형화 결과에 의한 개별 문자를 추출하며, 번호판 분류부(1416)는 추출된 개별 문자에 근거하여 문자 위치를 정형화하고 패턴에 의한 분류 동작을 수행함으로써 번호판의 종류(예컨대, 구 번호판, 신형 번호판 등) 등을 분류한다. 상기와 같은 동작에 근거하여 번호판 감지 결과가 생성되어 번호 인식 처리부(1420)로 제공된다. The shaping unit 1414 can shape the license plate by applying a geometric shaping technique using extraction information (or license plate position information) of the license plate. Further, the character extracting unit 1415 extracts individual characters based on the number plate formatting result, and the license plate classifying unit 1416 shapes character positions based on the extracted individual characters and performs sorting operation by the pattern, (E.g., old license plate, new license plate, etc.). Based on the above operation, the license plate detection result is generated and provided to the number recognition processor 1420.

한편, 번호 인식 처리부(1420)는 번호판 감지 결과에 기반하여 실제 차량 번호를 판별하기 위한 번호 인식 처리 동작을 수행하며, 이에 따른 번호 인식 결과를 출력한다. 문자 인식부(1421)는 추출된 번호판의 개별 문자를 인식하며, 예컨대 이진화와 그물망 방식의 신경망 기법을 적용하여 문자 인식 동작이 수행될 수 있다. 또한, 필터링부(1422)는 인식된 문자와 정형화된 문자 위치를 적용하여 최종 차량 번호를 필터링하여 출력하며, 결과 출력부(1423)는 필터링된 정보를 근거로 하여 차량 번호를 인식한 결과를 출력한다. On the other hand, the number recognition processor 1420 carries out a number recognition processing operation to determine the actual vehicle number based on the license plate detection result, and outputs the number recognition result accordingly. The character recognition unit 1421 recognizes the individual characters of the extracted license plate, and character recognition can be performed by applying, for example, a binarization and a neural network technique. The filtering unit 1422 filters and outputs the final vehicle number by applying the recognized character and the formatted character position, and the result output unit 1423 outputs the recognition result of the vehicle number based on the filtered information do.

전술한 도 4a,b에 도시된 각각의 기능 블록은 하드웨어적 또는 소프트웨어적으로 구현될 수 있으며, 또한 도 4a,b에 도시된 기능 블록은 본 발명의 실시예에 따른 동작을 구분하여 설명하기 위해 서로 구분되게 도시되었을 뿐, 적어도 두 개의 기능 블록에서 수행되는 동작은 하나의 기능 블록 또는 하나의 소프트웨어 내에서 일련하게 수행되어도 무방할 것이다. Each of the functional blocks illustrated in FIGS. 4A and 4B may be implemented in hardware or software, and the functional blocks illustrated in FIGS. 4A and 4B may be used to separately describe the operation according to an embodiment of the present disclosure. Although shown separately from one another, operations performed in at least two functional blocks may be performed in series in one functional block or one software.

도 5는 본 발명의 일실시예에 따라 번호판을 추출하는 일 예를 나타내는 도면이다. 5 is a diagram illustrating an example of extracting a license plate according to an embodiment of the present invention.

도 5의 (a)에 도시된 바와 같이, 차량 인식 및 영상 추출 동작이 수행될 수 있으며, 예컨대 차량의 모션을 인식하고 모션 인식 결과를 이용하여 차량의 촬영 영역 통과 시간을 고려하여 차량 및 차량 번호 인식을 위한 프레임들이 확보되도록 한다. 차량의 이동이 촬영된 다수의 프레임으로부터 모션 인식 결과에 근거하여 일부의 인식용 정지 영상을 추출할 수 있으며, 도 5의 (a)에 도시된 바와 같이 차량 번호판이 촬영될 가능성이 높은 일부의 정지 영상의 추출이 가능하도록 한다. As shown in (a) of FIG. 5, the vehicle recognition and image extraction may be performed. For example, the vehicle and the vehicle number may be recognized in consideration of the photographing area passing time of the vehicle by recognizing the motion of the vehicle and using the motion recognition result. Allow frames for recognition. A part of the still image for recognition may be extracted based on the result of the motion recognition from a plurality of frames in which the movement of the vehicle is photographed. As shown in FIG. Allows extraction of images.

한편, 도 5의 (b)에 도시된 바와 같이, 인식용 정지 영상에 대한 이미지 처리 동작을 수행함으로써 차량 번호의 인식 확률을 향상할 수 있다. 예컨대, 추출된 이미지에 대한 그레이 스케일 변환 동작과 함께, 그레이 스케일 변환된 이미지에 대한 명담/대비 개선처리 동작을 수행할 수 있다. On the other hand, as shown in (b) of FIG. 5, it is possible to improve the recognition probability of the vehicle number by performing an image processing operation on the recognition still image. For example, in addition to the gray scale conversion operation on the extracted image, a bright / contrast improvement processing operation on the gray scale converted image may be performed.

또한, 도 5의 (c)에 도시된 바와 같이, 인식용 정지 영상으로부터 번호판(또는, 번호판 이미지)을 추출하기 위하여 영상 이미지의 수평 및 수직 연산을 통하여 번호판을 추출할 수 있으며, 예컨대 수평 영역을 추출한 후 수직 영역을 일련하게 추출함으로써 번호판이 추출될 수 있다.In addition, as shown in (c) of FIG. 5, in order to extract the license plate (or license plate image) from the still image for recognition, the license plate may be extracted through horizontal and vertical operations of the image image, for example, After extraction, the license plate can be extracted by serially extracting the vertical regions.

도 6은 본 발명의 일실시예에 따라 차량 번호를 인식하는 일 예를 나타내는 도면이다. 6 is a diagram illustrating an example of recognizing a vehicle number according to an embodiment of the present invention.

도 6의 (a)에 도시된 바와 같이, 문자 인식을 위하여 이미지의 불필요 부분 제거 및 문자 크기의 보정 동작이 수행될 수 있다. 먼저 번호판 잡음을 제거함으로써 문자의 인식에 불필요하거나 방해가 될 잡음 성분이 제거될 수 있으며, 이후 문자 크기를 보정하고 각각의 문자별로 구분 동작을 위한 프로세스가 수행될 수 있다. As shown in (a) of FIG. 6, an unnecessary portion of an image and a correction of a text size may be performed for character recognition. First, by removing the license plate noise, noise components that may be unnecessary or obstructive to the recognition of characters may be removed, and then, a process for correcting the character size and separating operation for each character may be performed.

또한, 도 6의 (b), (c)에 도시된 바와 같이, 패턴 인식 및 처리 동작이 수행되는 것과 함께 방향성 벡터를 적용하여 차량 번호 인식 동작이 수행될 수 있다. 예컨대, 도 6의 (b)에서와 같이 기존 문자와 패턴 매칭 처리를 수행하고 패턴 일치 문자 인식처리를 수행함으로써 차량 번호 인식 동작을 수행할 수 있으며, 또한 도 6의 (c)에서와 같이 오인식률이 높은 문자를 대상으로 방향성 벡터를 적용하여 재 인식 처리동작을 수행할 수 있다. 예컨대, 주요 오인식 문자를 대상으로 재 인식 처리가 적용될 수 있으며, 방향성 벡터로 재분석하는 과정을 통해 차량 번호의 인식 동작이 수행될 수 있다. In addition, as shown in FIGS. 6B and 6C, the vehicle number recognition operation may be performed by applying the directional vector together with the pattern recognition and processing operations. For example, the vehicle number recognition operation can be performed by performing a pattern matching process with an existing character and performing a pattern matching character recognition process as shown in FIG. 6B, and also as a false recognition rate as shown in FIG. 6C. Redirection processing can be performed by applying a directional vector to this high character. For example, the recognizing process may be applied to the main misrecognition character, and the vehicle number recognition operation may be performed through the process of reanalyzing the directional vector.

도 7은 본 발명의 다른 실시예에 따른 차량 번호 인식 시스템의 일 구현예를 나타내는 블록도이다. 도 7에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 차량 번호 인식 시스템(200)은 번호 인식 서버(230)를 포함할 수 있다. 도 7에서는, 차량 번호 인식 시스템(200)이 번호 인식 서버(230) 이외에 다수의 외부 카메라들(예컨대 CCTV, 210_1 - 210_N), 영상 관제 서버(220), 지능형 검색 서버(240), 정보 제공 서버(250), 상황 전파 서버(260) 및 GIS(270)를 더 포함하는 예가 도시된다. 영상 관제 서버(220)는 유무선 통신망 등을 통하여 다수의 CCTV들(210_1 - 210_N)에 연결되며, 다수의 CCTV들(210_1 - 210_N)에서 촬영된 영상을 수신하고 디코딩할 수 있으며, 또한 내부 제어수단(미도시)을 통해 제어신호를 출력하여 다수의 CCTV들(210_1 - 210_N)의 촬영 동작을 제어할 수 있다. 7 is a block diagram illustrating an embodiment of a vehicle number recognition system according to another embodiment of the present invention. As shown in FIG. 7, the vehicle number recognition system 200 according to another embodiment of the present invention may include a number recognition server 230. In FIG. 7, the vehicle number recognition system 200 includes a plurality of external cameras (for example, CCTVs 210_1-210_N), a video control server 220, an intelligent search server 240, and an information provision server in addition to the number recognition server 230. An example further includes 250, a context propagation server 260, and a GIS 270. The video control server 220 is connected to a plurality of CCTVs 210_1-210_N through wired and wireless communication networks, etc., and can receive and decode images captured by the plurality of CCTVs 210_1-210_N, and also internal control means. A control signal may be output through the control signal to control the photographing operation of the plurality of CCTVs 210_1 to 210_N.

번호 인식 서버(230)는 전술한 실시예에서와 동일 또는 유사하게 차량 인식 및 차량 번호 인식 동작을 수행할 수 있다. 본 발명의 실시예에서, 번호 인식 서버(230)는 CCTV로 촬영된 실제 차량의 주행 영상을 소정의 초당 프레임으로서 수신하고, 수신된 주행 영상의 일부의 프레임들에 대한 이미지 처리 동작을 통해 차량 번호 인식 결과를 출력한다. The number recognition server 230 may perform a vehicle recognition and a vehicle number recognition operation in the same or similar manner as in the above-described embodiment. In an embodiment of the present invention, the number recognition server 230 receives the driving image of the actual vehicle photographed by CCTV as a predetermined frame per second, and the vehicle number through an image processing operation for some frames of the received driving image Output the recognition result.

번호 인식 서버(230)로부터의 차량 번호 인식 결과는 이후 도시 관리를 위한 정보로 이용되거나 차량 등을 이용한 범죄에 즉각적으로 대응하기 위한 정보로 이용될 수 있다. 이를 위하여, 지능형 검색 서버(240)는 번호 인식 서버(230)로부터의 차량 번호 인식 결과를 수신함과 함께, 정보 제공 서버(250)에서 제공되는 각종 데이터베이스 정보를 함께 수신하고, 촬영된 영상에 존재하는 차량의 번호 인식 결과로부터 상기 차량이 수배 차량이거나 체납 차량에 해당하는지를 판단하기 위한 검색 동작을 수행할 수 있다. 정보 제공 서버(250)는 수배 차량의 실시간 조회를 위한 정보를 제공하는 경찰청 서버, 체납 차량의 실시간 조회를 위한 정보를 제공하는 체납 정보 서버 등 각종 종류의 서버들을 포함할 수 있다. 지능형 검색 서버(240)는 인식된 차량 번호와 문제 차량 데이터베이스에 저장된 정보의 비교를 통한 검색 동작을 수신하고, 동일한 차량 번호가 문제 차량 데이터베이스에 존재하는 등의 이벤트 발생시에 이를 나타내는 이벤트를 출력하여 상황 전파 서버(260)로 제공한다. The vehicle number recognition result from the number recognition server 230 may then be used as information for city management or as information for immediately responding to a crime using a vehicle. To this end, the intelligent search server 240 receives the vehicle number recognition result from the number recognition server 230, receives various database information provided from the information providing server 250, and is present in the captured image. A search operation for determining whether the vehicle corresponds to a wanted vehicle or a delinquent vehicle may be performed based on a result of the number recognition of the vehicle. The information providing server 250 may include various types of servers, such as a police agency server that provides information for real-time inquiry of a wanted vehicle and a delinquent information server that provides information for real-time inquiry of a delinquent vehicle. The intelligent search server 240 receives a search operation by comparing the recognized vehicle number with information stored in the problem vehicle database, and outputs an event indicating this when an event such as the same vehicle number exists in the problem vehicle database. Provided to the propagation server 260.

상황 전파 서버(260)는 수신된 이벤트에 대한 승인 절차를 통해 상황을 전파한다. 또한, 문제 차량의 이동 경로를 예측하기 위한 정보가 기 설정되어 구축될 수 있으며, 문제 차량의 이동 경로 표출을 위하여 GIS(270)와 연동하여 동작할 수 있다. 상황 전파 서버(260)를 관리하는 사용자는 이벤트 수신시 이에 대한 상황 전파를 승인하는 동작을 수행할 수 있으며, 상황 전파 승인에 응답하여 상황 전파 서버(260)는 기 설정된 이벤트 시나리오에 따라 추적 대상의 차량 정보가 타 서버와 공유된다. 예컨대, 상황 전파 서버(260)는 이벤트를 전달함에 있어서 타 서버로서 통합 영상 관리 서버(미도시)로 전달할 수 있으며, 이와 함께 공유 데이터베이스에 차량 이미지, 차량 번호, 위반 여부 및 인식 장소 등을 나타내는 각종 정보들을 저장함으로써, 타 서버에서 이벤트 발생에 따른 즉각적인 대응을 위한 정보의 참조가 가능하도록 한다. 통합 영상 관리 서버는 영상 관제 서버(220)로 다시 이벤트를 전달할 수 있으며(또는, 상황 전파 서버(260)가 직접 이벤트를 전달하여도 무방함), 또한 이벤트가 GIS(270)로 전달됨에 따라 GIS(270)는 공유 데이터베이스에 저장된 정보를 참조하여 문제 차량의 현재 위치, 이동 경로, 및 예측되는 예상 경로를 지도상에 표시할 수 있다. The situation propagation server 260 propagates the situation through an approval procedure for the received event. In addition, information for predicting a moving path of the problem vehicle may be preset and constructed, and may operate in conjunction with the GIS 270 to display the moving path of the problem vehicle. The user who manages the situation propagation server 260 may perform an operation of approving the situation propagation upon receiving the event, and in response to the situation propagation approval, the situation propagation server 260 may be configured to track the target according to a preset event scenario. Vehicle information is shared with other servers. For example, the situation propagation server 260 may deliver the event to another integrated video management server (not shown) as another server, and together with various images indicating a vehicle image, a vehicle number, a violation status, and a recognition place in a shared database. By storing the information, it is possible to refer to the information for immediate response when an event occurs in another server. The integrated video management server may deliver the event back to the video control server 220 (or the situation propagation server 260 may deliver the event directly), and the GIS as the event is delivered to the GIS 270. 270 may display the current location of the problem vehicle, the moving route, and the predicted predicted route on the map by referring to the information stored in the shared database.

도 8은 본 발명의 일 실시예에 따른 차량 번호 인식 시스템의 동작방법을 나타내는 플로우차트이다. 도 8은 CCTV로부터 촬영된 주행영상으로부터 차량 번호판을 인식하는 과정을 나타낸다.8 is a flowchart illustrating a method of operating a vehicle number recognition system according to an embodiment of the present invention. 8 shows a process of recognizing a vehicle license plate from a driving image photographed from CCTV.

먼저, 본 발명의 일 실시예에 따르면, 센서 기반의 차량 번호판 감지 동작(또는 차량 인식 동작)을 수행하지 않고, 일반적으로 이용되는 CCTV로부터 촬영된 주행 영상으로부터 차량 번호판을 감지한다. CCTV로부터 촬영된 소정의 프레임을 가지는 동영상이 입력되고(S11), 상기 주행 영상으로부터 소정의 추출 방법(예컨대, 순차적 추출)에 따라 일부의 정지 영상이 선택됨에 따라, 번호판 인식용 이미지로서 프레임별 정지 영상이 이후 프로세스를 수행하기 위한 수단으로 입력된다(S12).First, according to an embodiment of the present invention, without performing a sensor-based license plate detection operation (or vehicle recognition operation), the vehicle license plate is detected from the driving image captured from the commonly used CCTV. As a moving image having a predetermined frame photographed from CCTV is input (S11), and some still images are selected according to a predetermined extraction method (for example, sequential extraction) from the driving image, still images by frame as image recognition plates. The image is input as a means for performing a later process (S12).

또한, 번호판 인식용 이미지들에 대한 변환 처리가 수행되며, 예컨대 번호판 인식용 이미지들에 대해 그레이 스케일 변환 동작을 수행할 수 있으며(S13), 히스토그램 평준화 기법을 적용하는 등의 처리 동작에 의해 명암 대비를 통한 이미지 보정 동작을 수행할 수 있다(S14). 상기와 같이 이미지 변환 처리된 영상을 기반으로 하여, 해당 영상에 차량이 존재하는 지가 검출될 수 있으며, 또한 차량이 검출된 영상에 대해 선택적으로 번호판을 인식하는 과정이 수행된다. 해당 영상에 차량이 존재하는 지의 검출 동작은 차량 영상과 배경 영상의 구분을 위한 이미지 추출 동작, 그리고 옵티컬 플로우(Optical Flow) 기법 등을 적용함에 의하여 차량의 모션 및 주행 방향을 검출함에 의할 수 있다.In addition, a conversion process is performed on the images for license plate recognition, for example, a gray scale conversion operation may be performed on the images for license plate recognition (S13), and contrast may be achieved by a processing operation such as applying a histogram equalization technique. An image correction operation may be performed (S14). On the basis of the image converted image as described above, it can be detected whether the vehicle exists in the image, and the process of selectively identifying the license plate for the image detected by the vehicle is performed. The detection operation of whether the vehicle exists in the corresponding image may be performed by detecting the motion and driving direction of the vehicle by applying an image extraction operation for distinguishing the vehicle image from the background image, and an optical flow technique. .

예컨대, 번호판을 추출하기 위하여 상기 영상으로부터 수평/수직 영역을 추출하는 동작이 수행되며(S15), 예컨대 수평 영역을 추출한 후 수직 영역을 일련하게 추출하고, 이에 따라 영상 내에 존재하는 번호판 이미지가 추출될 수 있다(S16).For example, in order to extract the license plate, an operation of extracting a horizontal / vertical region from the image is performed (S15). For example, after extracting a horizontal region, a vertical region is sequentially extracted, and thus a license plate image existing in the image is extracted. It may be (S16).

도 9는 본 발명의 다른 실시예에 따른 공간 정보 시스템의 동작방법을 나타내는 플로우차트이다. 도 9는 추출된 차량 번호판 이미지로부터 차량 번호를 인식하는 과정을 나타낸다.9 is a flowchart illustrating a method of operating a spatial information system according to another embodiment of the present invention. 9 shows a process of recognizing a vehicle number from the extracted vehicle license plate image.

도 9에 도시된 바와 같이, 추출된 번호판 이미지가 번호 인식을 위한 기능 블록으로 입력된다(S21). 차량 번호 인식을 위하여, 먼저 수신된 번호판 이미지에 대하여 히스토그램 평준화 기법 등을 적용하여 명암 대비를 통한 이미지 보정을 수행하거나 침식, 팽창 모폴로지 기법 등을 적용하여 정지 영상 이미지에서 잡음을 제거할 수 있다(S22).As shown in FIG. 9, the extracted license plate image is input to a function block for number recognition (S21). In order to recognize the vehicle number, first, the received license plate image may be subjected to histogram equalization technique to correct an image through contrast, or to remove noise from a still image image by applying erosion or expansion morphology technique (S22). ).

이후, 이미지 처리된 영상으로부터 해당 영상에 포함된 번호판의 위치가 추정되며, OTSU 이진화 및 윤곽선 추출 기법 등이 적용되어 실제 번호판이 추출될 수 있으며, 실제 번호판이 추출되면 기하학적 정형화 기법을 적용하여 번호판을 정형화하는 동작을 통하여 번호판 내의 개별 문자가 분할될 수 있다(S23).Subsequently, the position of the license plate included in the image is estimated from the image processed image, the actual license plate can be extracted by applying OTSU binarization and contour extraction technique, and if the actual license plate is extracted, the license plate is applied by applying a geometric shaping technique. Individual characters in the license plate may be divided through the standardizing operation (S23).

상기와 같은 처리 결과를 기반으로 하여 차량 번호가 인식되며(S24), 예컨대 이진화와 그물망 방식의 신경망 기법을 적용하여 문자 인식 동작이 수행되고, 이에 따라 인식된 차량 번호에 관련된 데이터를 외부로 제공함과 함께, 촬영된 영상, 추출된 번호판 이미지, 및 차량 번호 정보를 내부 데이터베이스에 저장하거나, 외부 서버에 의해 이용 가능한 공통 데이터베이스에 저장할 수 있다(S25).The vehicle number is recognized based on the processing result as described above (S24), for example, a character recognition operation is performed by applying a neural network method of binarization and a mesh network method, thereby providing data related to the recognized vehicle number to the outside. Together, the captured image, the extracted license plate image, and the vehicle number information may be stored in an internal database or stored in a common database available by an external server (S25).

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims (7)

하나 이상의 카메라들로부터의 동영상을 제1 초당 프레임으로 수신하는 단계;
상기 수신된 동영상으로부터 제2 초당 프레임에 해당하는 정지 영상을 추출하는 단계;
상기 정지 영상을 분석하여 모션 감지 및 주행방향 검출 결과 중 적어도 하나에 기반하여 차량 인식 결과를 출력하는 단계;
차량이 존재하는 것으로 인식된 정지 영상으로부터 수평 및 수직 추출 동작을 통해 번호판을 추출하고, 추출된 번호판에 대해 기하학적 정형화 기법에 따른 번호판 정형화 동작을 수행하며, 정형화된 번호판 내에 존재하는 개별 문자를 추출함에 의하여 번호판을 감지하는 단계; 및
추출된 개별 문자에 대한 번호 인식 처리동작을 수행함에 의하여 차량 번호의 인식 결과를 출력하는 단계를 구비하며,
상기 번호판을 감지하는 단계는,
상기 정지 영상에 대해 잡영 제거를 포함하는 이미지 보정을 수행하는 단계;
윤곽선 추출 기법을 적용함에 의하여 번호판의 위치를 추정하는 단계;
윤곽선을 기준으로 하여 기울기 보정을 수행함으로써 번호판을 추출하는 단계;
상기 번호판의 추출 결과를 이용하여 기하학적 정형화 기법을 적용하여 번호판을 정형화하는 단계; 및
상기 번호판 정형화 결과에 기반하여 상기 번호판 내의 개별 문자를 추출하는 단계를 포함하는 것을 특징으로 하는 차량 번호 인식 시스템의 동작방법.
Receiving video from one or more cameras in a first frame per second;
Extracting a still image corresponding to a second frame per second from the received video;
Analyzing the still image to output a vehicle recognition result based on at least one of a motion detection and a driving direction detection result;
The license plate is extracted through horizontal and vertical extraction operations from a still image recognized as a vehicle, and the license plate shaping is performed according to the geometric shaping technique, and the individual characters existing in the standard license plate are extracted. Detecting the license plate; And
Outputting a recognition result of the vehicle number by performing a number recognition processing operation on the extracted individual characters,
Detecting the license plate,
Performing image correction including noise cancellation on the still image;
Estimating the position of the license plate by applying a contour extraction technique;
Extracting a license plate by performing a slope correction with respect to a contour line;
Shaping the license plate by applying the geometric shaping technique using the extraction result of the license plate; And
And extracting the individual characters in the license plate based on the license plate shaping result.
제1항에 있어서,
상기 추출된 정지 영상에 대해 그레이 스케일 변환 및 명암 대비를 통한 이미지 보정 동작을 포함하는 이미지 처리 단계를 더 구비하는 것을 특징으로 하는 차량 번호 인식 시스템의 동작방법.
The method of claim 1,
And an image processing step of correcting the image through the gray scale conversion and the contrast with respect to the extracted still image.
제1항에 있어서,
상기 번호판을 감지하는 단계 및 차량 번호의 인식 결과를 출력하는 단계는, 상기 차량이 존재하는 것으로 인식된 정지 영상에 대해 선택적으로 수행되는 것을 특징으로 하는 차량 번호 인식 시스템의 동작방법.
The method of claim 1,
Detecting the license plate and outputting a recognition result of the vehicle number are selectively performed on a still image recognized as the vehicle exists.
삭제delete 번호 인식 서버를 포함하는 차량 번호 인식 시스템에 있어서,
상기 번호 인식 서버는,
하나 이상의 카메라들로부터의 동영상을 제1 초당 프레임으로 수신하고, 상기 수신된 동영상으로부터 제2 초당 프레임에 해당하는 정지 영상을 추출하며, 상기 추출된 정지 영상에 대해 그레이 스케일 변환 및 명암 대비를 통한 이미지 보정 동작을 포함하는 이미지 처리를 수행하는 이미지 처리부;
상기 정지 영상을 분석하여 모션 감지 및 주행방향 검출 결과 중 적어도 하나에 기반하여 차량 인식 결과를 출력하는 차량 인식부; 및
차량이 존재하는 것으로 인식된 정지 영상으로부터 수평 및 수직 추출 동작을 통해 번호판을 추출하고, 추출된 번호판에 대해 기하학적 정형화 기법에 따른 번호판 정형화 동작을 수행하며, 정형화된 번호판 내에 존재하는 개별 문자를 추출함에 의하여 번호판을 감지하고, 추출된 개별 문자에 대한 번호 인식 처리동작을 수행함에 의하여 차량 번호의 인식 결과를 출력하는 번호 인식부를 구비하고,
상기 번호 인식부는,
윤곽선 추출 기법을 적용함에 의하여 번호판의 위치를 추정하고, 윤곽선을 기준으로 하여 기울기 보정을 수행함으로써 번호판을 추출하며, 상기 번호판의 추출 결과를 이용하여 기하학적 정형화 기법을 적용하여 번호판을 정형화하고, 상기 번호판 정형화 결과에 기반하여 상기 번호판 내의 개별 문자를 추출하는 것을 특징으로 하는 차량 번호 인식 시스템.
A vehicle number recognition system comprising a number recognition server,
The number recognition server comprises:
Receives a video from one or more cameras at a first frame per second, extracts a still image corresponding to a second frame per second from the received video, and images through gray scale conversion and contrast for the extracted still image An image processing unit which performs image processing including a correction operation;
A vehicle recognition unit configured to analyze the still image and output a vehicle recognition result based on at least one of a motion detection and a driving direction detection result; And
The license plate is extracted through horizontal and vertical extraction operations from a still image recognized as a vehicle, and the license plate shaping is performed according to the geometric shaping technique, and the individual characters existing in the standard license plate are extracted. And a number recognition unit for detecting the license plate and outputting a recognition result of the vehicle number by performing a number recognition processing operation on the extracted individual characters,
The number recognition unit,
The position of the license plate is estimated by applying the contour extraction technique, the license plate is extracted by performing the slope correction on the basis of the contour, and the license plate is shaped by applying the geometric shaping technique using the extraction result of the license plate, and the license plate Vehicle number recognition system, characterized in that for extracting the individual characters in the license plate based on the results of the standardization.
삭제delete 삭제delete
KR1020130018235A 2013-02-20 2013-02-20 Non sensor based vehicle number recognition system and operating method thereof KR101298684B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130018235A KR101298684B1 (en) 2013-02-20 2013-02-20 Non sensor based vehicle number recognition system and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130018235A KR101298684B1 (en) 2013-02-20 2013-02-20 Non sensor based vehicle number recognition system and operating method thereof

Publications (1)

Publication Number Publication Date
KR101298684B1 true KR101298684B1 (en) 2013-08-21

Family

ID=49220978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130018235A KR101298684B1 (en) 2013-02-20 2013-02-20 Non sensor based vehicle number recognition system and operating method thereof

Country Status (1)

Country Link
KR (1) KR101298684B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101407322B1 (en) * 2014-01-06 2014-06-16 주식회사 넥스파시스템 The Car Number Recognizing System Using Motion Recognition Based On Macro Block
KR20160057356A (en) 2016-03-10 2016-05-23 주식회사한맥아이피에스 Method and system for recognizing vehicle license plate
WO2016200085A1 (en) * 2015-06-10 2016-12-15 Samsung Electronics Co., Ltd. Electronic apparatus and method of extracting still images
KR101824446B1 (en) * 2017-07-24 2018-02-01 한국기술교육대학교 산학협력단 A reinforcement learning based vehicle number recognition method for CCTV
CN109949231A (en) * 2019-02-02 2019-06-28 浙江工业大学 A kind of method and device for urban managing information acquiring and processing
KR102082082B1 (en) * 2019-08-21 2020-02-26 주식회사 싸이토피아 Camera system for multi-lane recognizing number of vehicles
KR20210023447A (en) 2019-08-23 2021-03-04 주식회사 딥하이 Non sensor vehicle entrance control system based on video recognition using deep learning and method thereof
CN113642577A (en) * 2021-10-14 2021-11-12 深圳市爱深盈通信息技术有限公司 Low-contrast license plate recognition method, system, equipment and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553131B1 (en) 1999-09-15 2003-04-22 Siemens Corporate Research, Inc. License plate recognition with an intelligent camera
KR20050065883A (en) * 2003-12-26 2005-06-30 재단법인 포항산업과학연구원 Apparatus for recognizing number plate by using color image control
KR20050089099A (en) * 2004-03-03 2005-09-07 여성기 Auto-detection system of parking violation car
KR100703956B1 (en) * 2005-10-12 2007-04-04 정보안주식회사 Vehicle identification system and method of processing the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553131B1 (en) 1999-09-15 2003-04-22 Siemens Corporate Research, Inc. License plate recognition with an intelligent camera
KR20050065883A (en) * 2003-12-26 2005-06-30 재단법인 포항산업과학연구원 Apparatus for recognizing number plate by using color image control
KR20050089099A (en) * 2004-03-03 2005-09-07 여성기 Auto-detection system of parking violation car
KR100703956B1 (en) * 2005-10-12 2007-04-04 정보안주식회사 Vehicle identification system and method of processing the same

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101407322B1 (en) * 2014-01-06 2014-06-16 주식회사 넥스파시스템 The Car Number Recognizing System Using Motion Recognition Based On Macro Block
WO2016200085A1 (en) * 2015-06-10 2016-12-15 Samsung Electronics Co., Ltd. Electronic apparatus and method of extracting still images
KR20160145438A (en) * 2015-06-10 2016-12-20 삼성전자주식회사 Electronic apparatus and method for photograph extraction
US10511765B2 (en) 2015-06-10 2019-12-17 Samsung Electronics Co., Ltd Electronic apparatus and method of extracting still images
KR102336448B1 (en) 2015-06-10 2021-12-07 삼성전자주식회사 Electronic apparatus and method for photograph extraction
KR20160057356A (en) 2016-03-10 2016-05-23 주식회사한맥아이피에스 Method and system for recognizing vehicle license plate
KR101824446B1 (en) * 2017-07-24 2018-02-01 한국기술교육대학교 산학협력단 A reinforcement learning based vehicle number recognition method for CCTV
CN109949231A (en) * 2019-02-02 2019-06-28 浙江工业大学 A kind of method and device for urban managing information acquiring and processing
KR102082082B1 (en) * 2019-08-21 2020-02-26 주식회사 싸이토피아 Camera system for multi-lane recognizing number of vehicles
KR20210023447A (en) 2019-08-23 2021-03-04 주식회사 딥하이 Non sensor vehicle entrance control system based on video recognition using deep learning and method thereof
CN113642577A (en) * 2021-10-14 2021-11-12 深圳市爱深盈通信息技术有限公司 Low-contrast license plate recognition method, system, equipment and storage medium

Similar Documents

Publication Publication Date Title
KR101298684B1 (en) Non sensor based vehicle number recognition system and operating method thereof
WO2018223955A1 (en) Target monitoring method, target monitoring device, camera and computer readable medium
US8942913B2 (en) System and method for on-road traffic density analytics using video stream mining and statistical techniques
KR101793636B1 (en) Image processing system
Bas et al. Automatic vehicle counting from video for traffic flow analysis
CN105144705B (en) Object monitoring system, object monitoring method, and program for extracting object to be monitored
US9779311B2 (en) Integrated control system and method using surveillance camera for vehicle
KR101696801B1 (en) integrated image monitoring system based on IoT camera
WO2015166612A1 (en) Image analysis system, image analysis method, and image analysis program
US9159137B2 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
KR102217253B1 (en) Apparatus and method for analyzing behavior pattern
KR101678004B1 (en) node-link based camera network monitoring system and method of monitoring the same
TWI424146B (en) Tracking systems and methods
JPWO2017221643A1 (en) Image processing apparatus, image processing system, image processing method, and program
KR101515166B1 (en) A Parking Event Detection System Based on Object Recognition
JP6915219B2 (en) Computer implementation methods, imaging systems, and image processing systems
JP4852355B2 (en) Abandoned object detection device and abandoned object detection method
US20160210759A1 (en) System and method of detecting moving objects
KR20100053318A (en) A sensing system of a lane offense cars using the corner data and sensing method using the same
CN114494955A (en) Regional intrusion detection method and system based on video data and electronic equipment
KR101453386B1 (en) Vehicle Intelligent Search System and Operating Method thereof
CN111783618A (en) Garden brain sensing method and system based on video content analysis
US10916017B2 (en) Method and apparatus for detecting motion deviation in a video sequence
KR101669885B1 (en) method of detecting pedestrian collision and IoT apparatus thereof
KR100920937B1 (en) Apparatus and method for detecting motion, and storing video within security system

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
EXTG Ip right invalidated