KR101298684B1 - Non sensor based vehicle number recognition system and operating method thereof - Google Patents
Non sensor based vehicle number recognition system and operating method thereof Download PDFInfo
- Publication number
- KR101298684B1 KR101298684B1 KR1020130018235A KR20130018235A KR101298684B1 KR 101298684 B1 KR101298684 B1 KR 101298684B1 KR 1020130018235 A KR1020130018235 A KR 1020130018235A KR 20130018235 A KR20130018235 A KR 20130018235A KR 101298684 B1 KR101298684 B1 KR 101298684B1
- Authority
- KR
- South Korea
- Prior art keywords
- license plate
- image
- vehicle
- recognition
- extracted
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Character Discrimination (AREA)
Abstract
Description
본 발명은 차량 번호 인식 시스템 및 그 동작방법에 관한 것으로서, 자세하게는 감지센서의 이용없이 차량의 번호판 및 번호를 인식할 수 있는 차량 번호 인식 시스템 및 그 동작방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle number recognition system and an operation method thereof, and more particularly, to a vehicle number recognition system and an operation method capable of recognizing a license plate and a number of a vehicle without using a sensor.
일반적으로, 도시를 관리하기 위한 목적이나 각종 범죄에 대한 증거자료 확보 및 대응을 하기 위하여 폐쇄 회로 티브이(CCTV)가 설치되고 있다. 관제 센터는 도시 곳곳에 설치된 CCTV로부터 촬영된 영상을 수신하고 이를 재생함으로써 모니터링에 의한 감시 동작을 수행할 수 있다. In general, closed-circuit television (CCTV) is installed for the purpose of managing the city, and for securing and responding to evidence against various crimes. The control center can perform surveillance by monitoring by receiving images taken from the CCTV installed in various places in the city and reproducing them.
그러나, 종래의 경우 관제 센터에서 CCTV로부터 촬영된 영상의 단순 모니터링만이 수행되며, 이에 따라 감시 사각지역이 발생하게 되어 도시 관리에 있어서 충분한 자료를 제공하지 못하는 문제가 발생할 뿐 아니라 각종 사고 등의 사전 방지가 어렵게 된다. 또한, 근래들어 차량을 이용한 범죄 발생률이 급증함에 따라 차량의 정확한 촬영, 그리고 차량을 구분할 수 있도록 차량의 번호판이 정확히 촬영될 필요가 있음에도 불구하고, 실질적으로 이와 같은 자료의 확보가 어려운 문제가 발생한다. 주로 과속 위반이나 갓길 주행 위반 등을 단속하기 위하여 차량의 번호판을 촬영하는 단속 카메라가 이용되는 경우가 있으나, 이는 고가의 촬영 장비임에 따라 도로의 일정 지점 등 일부에만 사용되며, 도시 전체를 관리하기 위한 카메라로써 이용되기는 어렵다.However, in the conventional case, only the simple monitoring of the images photographed from the CCTV is performed in the control center, and therefore, the obscured area is generated, so that there is a problem that sufficient data can not be provided in the city management, Prevention becomes difficult. In addition, despite the fact that the number of crimes using a vehicle has recently increased, accurate photographing of the vehicle, and the need to accurately photograph the license plate of the vehicle so as to distinguish the vehicle, it is difficult to obtain such data substantially . In order to crack down on speeding violations or shoulder driving violations, there are cases where a crackdown camera is used to photograph the license plate of a vehicle. However, this is expensive equipment and is used only at a certain point of the road. It is difficult to use as a camera for the purpose.
또한, CCTV를 통해 범죄에 이용된 차량 등이 정확히 촬영이 되었다 하더라도, 이는 차후 증거 자료 등을 위해 주로 이용되는 것으로서, 상기 범죄 등과 같은 특수한 상황에서 실시간으로 촬영 자료가 이용되기는 어려운 문제가 발생하게 된다.In addition, even if a vehicle used for a crime is accurately photographed through CCTV, this is mainly used for evidence data, etc., and thus it is difficult to use the photographing data in real time in a special situation such as the crime. .
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 일반 CCTV로 촬영한 영상을 기반으로 하여 도시 관리를 수행함과 함께 차량 번호판 및 번호를 인식하고, 인식된 차량 번호판 및 번호를 이용하여 차량 등을 이용한 범죄에 대처할 수 있는 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법을 제공하는 것을 목적으로 한다.The present invention is to solve the problems as described above, based on the image taken by the general CCTV, city management and vehicle license plate and number recognition, using the recognized vehicle license plate and number using a vehicle, etc. An object of the present invention is to provide a non-sensing sensor-based vehicle number recognition system and a method of operation thereof that can cope with crime.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 차량 번호 인식 시스템의 동작방법은, 하나 이상의 카메라들로부터의 동영상을 제1 초당 프레임으로 수신하는 단계와, 상기 수신된 동영상으로부터 제2 초당 프레임에 해당하는 정지 영상을 추출하는 단계와, 상기 정지 영상을 분석하여 모션 감지 및 주행방향 검출 결과 중 적어도 하나에 기반하여 차량 인식 결과를 출력하는 단계와, 차량이 존재하는 것으로 인식된 정지 영상으로부터 수평 및 수직 추출 동작을 통해 번호판을 추출하고, 추출된 번호판에 대해 기하학적 정형화 기법에 따른 번호판 정형화 동작을 수행하며, 정형화된 번호판 내에 존재하는 개별 문자를 추출함에 의하여 번호판을 감지하는 단계 및 추출된 개별 문자에 대한 번호 인식 처리동작을 수행함에 의하여 차량 번호의 인식 결과를 출력하는 단계를 구비하는 것을 특징으로 한다.In order to achieve the above object, a method of operating a vehicle number recognition system according to an embodiment of the present invention, receiving a video from one or more cameras in a first frame per second, and from the received video Extracting a still image corresponding to two frames per second; analyzing the still image to output a vehicle recognition result based on at least one of a motion detection and a driving direction detection result; and a still recognized that the vehicle exists Extracting the license plate through the horizontal and vertical extraction operation from the image, performing the license plate shaping operation according to the geometric shaping technique for the extracted license plate, and detecting and extracting the license plate by extracting individual characters existing in the standardized license plate Vehicle number by performing a number recognition operation on the individual characters And outputting a result of recognizing the call.
한편, 본 발명의 일실시예에 따른 차량 번호 인식 시스템은 번호 인식 서버를 포함하고, 상기 번호 인식 서버는, 하나 이상의 카메라들로부터의 동영상을 제1 초당 프레임으로 수신하고, 상기 수신된 동영상으로부터 제2 초당 프레임에 해당하는 정지 영상을 추출하며, 상기 추출된 정지 영상에 대해 그레이 스케일 변환 및 명암 대비를 통한 이미지 보정 동작을 포함하는 이미지 처리를 수행하는 이미지 처리부와, 상기 정지 영상을 분석하여 모션 감지 및 주행방향 검출 결과 중 적어도 하나에 기반하여 차량 인식 결과를 출력하는 차량 인식부 및 차량이 존재하는 것으로 인식된 정지 영상으로부터 수평 및 수직 추출 동작을 통해 번호판을 추출하고, 추출된 번호판에 대해 기하학적 정형화 기법에 따른 번호판 정형화 동작을 수행하며, 정형화된 번호판 내에 존재하는 개별 문자를 추출함에 의하여 번호판을 감지하고, 추출된 개별 문자에 대한 번호 인식 처리동작을 수행함에 의하여 차량 번호의 인식 결과를 출력하는 번호 인식부를 구비하는 것을 특징으로 한다.Meanwhile, a vehicle number recognition system according to an embodiment of the present invention includes a number recognition server, wherein the number recognition server receives a video from one or more cameras at a first frame per second, and receives a video from the received video. An image processor configured to extract a still image corresponding to two frames per second, and perform image processing on the extracted still image, including image correction operation through gray scale conversion and contrast, and detecting the motion by analyzing the still image And a license plate for outputting the vehicle recognition result based on at least one of the driving direction detection results, and a license plate through horizontal and vertical extraction operations from the still image recognized as the vehicle, and geometrically shaping the extracted license plate. Performs license plate shaping operation according to the technique As by the presence extract individual characters to the detect plate, and is characterized in that comprising a recognition number and outputting a recognition result of the train number, by performing the code recognition process operation for the extracted individual characters.
상기한 바와 같은 본 발명의 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법에 따르면, 일반 CCTV로 촬영한 영상을 이용하여 도시 관리를 수행함과 함께 차량 번호판 및 번호를 인식할 수 있으며, 또한 인식된 차량 번호판 및 번호를 이용하여 차량 등을 이용한 범죄에 대처할 수 있다.According to the non-sensing sensor-based vehicle number recognition system of the present invention and its operation method as described above, it is possible to recognize the license plate and the number, and also to recognize the city while performing city management using the image taken by the general CCTV By using the license plate number and the number, the crime can be coped with the vehicle.
또한, 본 발명의 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법에 따르면, 상대적으로 저렴한 CCTV를 통해 차량 번호를 인식하므로 CCTV의 증설을 통해 감시 사각지역을 최소화할 수 있으며, 인식 결과에 따른 이벤트 발생 및 전파를 통해 범죄 등에 신속히 대응할 수 있는 효과가 있다.In addition, according to the non-sensing sensor-based vehicle number recognition system of the present invention and its operation method, since the vehicle number is recognized through a relatively inexpensive CCTV, it is possible to minimize the blind spot by expanding the CCTV, according to the recognition result Through the occurrence and propagation of events, it is possible to respond quickly to crimes.
도 1은 본 발명의 일실시예에 따른 번호 인식 서버를 포함하는 차량 번호 인식 시스템의 일 구현예를 나타내는 블록도이다.
도 2는 도 1의 이미지 처리부의 구체적인 구현예를 나타내는 블록도이다.
도 3은 도 1의 차량 인식부의 구체적인 구현예를 나타내는 블록도이다.
도 4a,b는 도 1의 번호 인식부의 구체적인 구현예를 나타내는 블록도이다.
도 5는 본 발명의 일실시예에 따라 번호판을 추출하는 일 예를 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따라 차량 번호를 인식하는 일 예를 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 차량 번호 인식 시스템의 일 구현예를 나타내는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 차량 번호 인식 시스템의 동작방법을 나타내는 플로우차트이다.
도 9는 본 발명의 다른 실시예에 따른 공간 정보 시스템의 동작방법을 나타내는 플로우차트이다.1 is a block diagram illustrating an embodiment of a vehicle number recognition system including a number recognition server according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a specific implementation of the image processor of FIG. 1.
3 is a block diagram illustrating a specific implementation of the vehicle recognition unit of FIG. 1.
4A and 4B are block diagrams illustrating exemplary implementations of the number recognition unit of FIG. 1.
5 is a diagram illustrating an example of extracting a license plate according to an embodiment of the present invention.
6 is a diagram illustrating an example of recognizing a vehicle number according to an embodiment of the present invention.
7 is a block diagram illustrating an embodiment of a vehicle number recognition system according to another embodiment of the present invention.
8 is a flowchart illustrating a method of operating a vehicle number recognition system according to an embodiment of the present invention.
9 is a flowchart illustrating a method of operating a spatial information system according to another embodiment of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.
도 1은 본 발명의 일실시예에 따른 번호 인식 서버를 포함하는 차량 번호 인식 시스템의 일 구현예를 나타내는 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 차량 번호 인식 시스템(100)은 번호 인식 서버(1000)를 포함할 수 있다. 도 1에서는, 번호 인식 서버(1000) 이외에 다수의 외부 카메라들(예컨대 CCTV, 110_1 - 110_N)과 영상 관제 서버(120)를 더 포함할 수 있다. 영상 관제 서버(120)는 유무선 통신망 등을 통하여 다수의 CCTV들(110_1 - 110_N)에 연결되며, 다수의 CCTV들(110_1 - 110_N)에서 촬영된 영상을 수신하고 디코딩 모듈(121)을 통해 영상을 디코딩할 수 있으며, 또한 내부 제어수단(미도시)을 통해 제어신호를 출력하여 다수의 CCTV들(110_1 - 110_N)의 촬영 동작을 제어할 수 있다. 1 is a block diagram illustrating an embodiment of a vehicle number recognition system including a number recognition server according to an embodiment of the present invention. As shown in FIG. 1, the vehicle
다수의 CCTV들(110_1 - 110_N)은 차량 번호 인식 시스템(100)에 의한 관리 서비스가 제공되는 구역에 설치될 수 있다. 각각의 CCTV로부터 촬영된 영상(예컨대, 차량의 주행영상)은 영상 관제 서버(120)로 제공되며, 또한 영상 관제 서버(120)를 운영하는 사용자의 조작을 통해 다수의 CCTV들(110_1 - 110_N)의 패닝(Panning), 틸트(Tilt) 및 줌(Zoom) 등(PTZ)을 제어할 수 있다. 또는, 특정 상황(이벤트) 발생이 검출되는 경우 이에 대응하기 위한 정보들이 영상 관제 서버(120)로 제공될 수 있으며, 영상 관제 서버(120) 내부의 제어수단을 통해 다수의 CCTV들(110_1 - 110_N)의 PTZ가 자동 제어될 수 있다. The plurality of CCTVs 110_1-110_N may be installed in an area where a management service provided by the vehicle
본 발명의 실시예에 따라, 번호 인식 서버(1000)는 다수의 CCTV들(110_1 - 110_N)로부터 촬영된 차량의 주행 영상을 영상 관제 서버(120)를 통해 수신할 수 있다. 번호 인식 서버(1000)는 서버의 전반적인 동작을 제어하며, 본 발명의 실시예에 따라 CCTV에 의해 촬영된 주행 영상을 분석하여 차량을 인식하고 차량의 번호를 인식하는 기능의 전반을 제어하는 시스템 제어부(1100)를 포함할 수 있다. 또한, 번호 인식 서버(1000)는 이미지 처리부(1200), 차량 인식부(1300), 번호 인식부(1400) 및 데이터베이스부(1500)를 더 포함할 수 있다. According to the exemplary embodiment of the present invention, the
이미지 처리부(1200)는 영상 관제 서버(120)로부터의 주행 영상을 수신하고, 수신된 영상에 대한 이미지 처리를 수행함으로써 차량 및 차량 번호 인식을 위한 변환 처리된 영상을 생성한다. 일예로서, 이미지 처리부(1200)는 주행 영상으로서 초당 다수의 프레임(예컨대, 초당 30 프레임)을 수신하고 이들 중 일부의 정지 영상 이미지를 인식용으로 추출한다. 예컨대, 초당 6-10 장의 정지영상 이미지를 추출할 수 있으며, 이는 번호 인식 서버(1000)의 하드웨어 성능에 따라 조절이 가능하다. 추출 방법으로서, 일련하게 수신되는 프레임들에 대해 순차적으로 추출이 가능하며, 예컨대 초당 10 장의 정지영상 이미지를 추출하는 경우 주행 영상의 3 개의 프레임마다 하나의 프레임을 선택하여 정지영상 이미지를 추출할 수 있다. The
또한, 이미지 처리부(1200)는 추출된 이미지에 대해 이미지 변환 처리를 수행한다. 예컨대, 추출된 이미지에 대해 명암 대비를 통한 이미지 보정 동작을 수행할 수 있으며, 이는 히스토그램 평준화 기법을 적용하는 등의 처리 동작을 통해 수행될 수 있다. 또한, 침식, 팽창 등의 모폴로지 기법을 적용하여 정지영상 이미지 잡영 제거를 수행할 수 있다. In addition, the
차량 인식부(1300)는 이미지 처리된 영상을 분석하여 차량 인식 동작을 수행할 수 있다. 예컨대, 옵티컬 플로우(Optical Flow) 기법을 적용하여 차량 모션을 감지하여 차량을 인식할 수 있으며, 또한 차량의 주행 방향을 검출할 수 있다.The
한편, 번호 인식부(1400)는 차량 인식부(1300)로부터의 인식 결과에 따라 번호판 인식 및 번호 인식 등의 동작을 위한 프로세스를 수행할 수 있으며, 예컨대 번호판 인식 등의 동작을 위한 프로세스는 다수의 영상들 중 차량 모션이 감지된 영상만을 대상으로 하여 수행될 수 있다. 번호 인식부(1400)는 오츠(OTSU) 알고리즘을 이용한 이진화 및 윤곽선 추출 기법 등을 적용하여 번호판의 위치를 추정할 수 있으며, 추정된 번호판의 위치로부터 개별 문자를 추출하고, 추출된 개별 문자를 인식함으로써 차량의 번호를 인식할 수 있다. On the other hand, the
한편, 데이터베이스부(1500)는 번호 인식 서버(1000) 내의 각종 정보들을 저장할 수 있다. 예컨대, 번호 인식을 위해 이용될 차량 모션이 검출된 영상들이 데이터베이스부(1500) 내에 저장되거나, 또는 인식된 차량으로부터 검출된 번호판의 영상, 그리고 번호판으로부터 추출된 문자를 인식한 결과로서 차량 번호 인식 결과 등이 데이터베이스부(1500)에 저장될 수 있다. 이외에도, 번호 인식 서버(1000)를 구동하기 위한 각종 데이터들이 함께 저장될 수 있다. The
전술한 본 발명의 실시예에 따르면, CCTV로부터 촬영된 초당 다수의 프레임을 갖는 영상에 대해 이미지 처리를 수행한 후 차량 인식 동작을 수행하며, 인식 결과에 따른 일부의 영상을 이용한 차량 번호판 및 번호 인식 동작을 수행함으로써 일반 CCTV를 이용하여 차량 및 번호의 인식률을 향상시킬 수 있을 뿐 아니라, 감시 사각지대를 최소화함으로써 감시능력을 향상할 수 있게 된다.According to the embodiment of the present invention described above, an image having a plurality of frames per second taken from the CCTV is subjected to image processing, and then a vehicle recognition operation is performed. Then, a vehicle license plate and number recognition By performing the operation, it is possible to improve the recognition rate of the vehicle and the number by using the general CCTV, and to improve the surveillance ability by minimizing the monitoring blind spot.
도 2는 도 1의 이미지 처리부의 구체적인 구현예를 나타내는 블록도이다. 도 2에 도시된 바와 같이, 이미지 처리부(1200)는 주행 영상 수신부(1210), 정지 영상 추출부(1220) 및 이미지 변환부(1230)를 포함할 수 있다. FIG. 2 is a block diagram illustrating a specific implementation of the image processor of FIG. 1. As illustrated in FIG. 2, the
주행 영상 수신부(1210)는 CCTV들(110_1 - 110_N)에 의해 촬영되어 영상 관제 서버(120)에 의해 디코딩된 주행 영상을 수신할 수 있다. 또한, 정지 영상 추출부(1220)는 소정의 프레임을 가지며 수신되는 주행 영상으로부터 정지 영상을 추출하며, 예컨대 초당 30 프레임으로 수신되는 주행 영상으로부터 소정의 추출 방법(예컨대, 순차적 추출)에 따라 일부의 정지 영상(예컨대, 3 개의 프레임마다 하나의 프레임을 선택하여 초당 10 개의 정지 영상)을 추출한다. The
이미지 변환부(1230)는 추출된 영상에 대한 이미지 변환 처리를 수행한다. 예컨대, 추출된 영상에 대해 그레이 스케일 변환 동작을 수행할 수 있으며, 또한 추출된 이미지에 대해 히스토그램 평준화 기법을 적용하는 등의 처리 동작에 의해 명암 대비를 통한 이미지 보정 동작을 수행할 수 있다. 변환 처리된 이미지는 차량의 인식 및 차량 번호 인식을 위해 이용될 수 있으며, 또한 이미지 변환 처리된 영상이 번호 인식 서버(1000) 내부의 데이터베이스에 저장될 수 있다.The
도 3은 도 1의 차량 인식부의 구체적인 구현예를 나타내는 블록도이다. 도 3에 도시된 바와 같이, 차량 인식부(1300)는 이미지 추출부(1310), 모션 감지부(1320) 및 주행방향 검출부(1330)를 포함할 수 있다. 3 is a block diagram illustrating a specific implementation of the vehicle recognition unit of FIG. 1. As illustrated in FIG. 3, the
이미지 추출부(1310)는 변환 처리된 영상 내에 차량이 존재하는지를 검출하기 위하여 상이 이미지(Different Image)를 추출하는 기법을 이용할 수 있다. 예컨대, 직전 프레임과 현재 프레임의 차이를 추출할 수 있으며, 차량 영상과 배경 영상의 구분으로 인식률이 향상될 수 있도록 한다. The
모션 감지부(1320) 및 주행방향 검출부(1330)는 이미지 추출 결과에 기반하여 모션 감지 동작 및 차량의 주행 방향을 검출할 수 있다. 모션 감지부(1320)와 주행방향 검출부(1330)는 서로 다른 기능 블록으로 도시되었으나, 동일한 기능 블록에 의해 상기 감지 및 검출 동작이 수행되어도 무방하다. 차량 영상과 배경 영상의 구분, 그리고 직전 프레임과 현재 프레임의 추출된 차이에 근거하여 모션이 감지되는가의 여부에 따라 차량 인식 결과가 발생될 수 있다. 또한, 옵티컬 플로우(Optical Flow) 기법을 적용하여 영상의 특징점을 추출하고, 이동 벡터의 움직임을 찾아 방향을 추적하며, 직전 프레임과 현재 프레임의 방향값을 추출함에 의하여 차량의 주행 방향을 검출할 수 있다. 상기와 같은 차량 인식부(1300)의 이미지 처리 동작에 기반하여 차량 인식 결과가 도출될 수 있으며, 이를 이용하여 차량의 번호 인식 프로세스가 수행될 수 있다. The
도 4a,b는 도 1의 번호 인식부의 구체적인 구현예를 나타내는 블록도이다. 도 4a,b에 도시된 바와 같이, 번호 인식부(1400)는 번호판 감지부(1410) 및 번호 인식 처리부(1420)를 포함할 수 있다. 또한, 번호판 감지부(1410)는 이미지 보정부(1411), 번호판 위치 추정부(1412), 번호판 추출부(1413), 정형화부(1414), 문자 추출부(1415) 및 번호판 분류부(1416)를 포함할 수 있다. 또한, 번호 인식 처리부(1420)는 문자 인식부(1421), 필터링부(1422) 및 결과 출력부(1423)를 포함할 수 있다. 4A and 4B are block diagrams illustrating exemplary implementations of the number recognition unit of FIG. 1. As shown in FIGS. 4A and 4B, the
번호 인식부(1400)는 차량 인식부(1300)로부터 차량 인식 결과가 발생될 때 차량 번호 인식을 위한 프로세스를 수행할 수 있다. 즉, 이미지 변환 처리된 영상으로부터 차량이 존재하거나 또는 차량이 이동하는 등 모션이 검출될 때 차량 번호 인식을 위한 프로세스가 선택적으로 수행될 수 있다. 번호판 감지부(1410)는 차량 인식 결과에 응답하여 영상으로부터 차량의 번호판을 감지하는 동작을 수행할 수 있으며, 이를 위하여 이미지 처리부(1200)로부터의 변환 이미지가 번호판 감지부(1410)로 제공될 수 있다. 또한, 번호 인식 처리부(1420)는 감지된 번호판 내에 기재된 개별 문자를 인식하고 최종 차량번호를 필터링함으로써 번호 인식 결과를 출력할 수 있다. The
상기 번호판 감지부(1410) 및 번호 인식 처리부(1420)의 구체적인 구현 예를 도 4b를 참조하여 설명하면 다음과 같다. A detailed implementation example of the
이미지 보정부(1411)는 수신된 이미지에 대하여 히스토그램 평준화 기법 등을 적용하여 명암 대비를 통한 이미지 보정을 수행할 수 있으며, 또한 침식, 팽창 모폴로지 기법 등을 적용하여 정지 영상 이미지에서 잡영을 제거할 수 있다. The
번호판 위치 추정부(1412)는, 이미지 처리된 영상으로부터 해당 영상에 포함된 번호판의 위치를 추정한다. 위치 추정 동작을 수행함에 있어서 오츠(OTSU) 알고리즘을 이용한 이진화 및 윤곽선 추출 기법을 적용하여 차량이 존재하는 것으로 인식된 영상으로부터 번호판의 위치를 추정한다. 또한, 번호판 추출부(1413)는 추정된 번호판의 위치를 참조하여 실제 번호판을 추출하며, 예컨대 번호판 추출을 위하여 번호판의 기울기를 보정하기 위한 동작으로서, 윤곽선을 기준으로 하여 삼각함수를 적용하여 기울기 보정을 수행하고, 번호판의 이미지를 개선하기 위하여 샤프닝 기법 및 미디언 필터를 적용함에 의하여 이미지 개선 동작을 수행할 수 있다. 또한, 실제 번호판을 추출하기 위하여 오츠(OTSU) 알고리즘을 이용한 이진화 및 윤곽선 추출 기법이 적용될 수 있다.The license plate
정형화부(1414)는 번호판의 추출 정보(또는, 번호판 위치 정보)를 이용한 기하학적 정형화 기법을 적용하여 번호판을 정형화할 수 있다. 또한, 문자 추출부(1415)는 번호판 정형화 결과에 의한 개별 문자를 추출하며, 번호판 분류부(1416)는 추출된 개별 문자에 근거하여 문자 위치를 정형화하고 패턴에 의한 분류 동작을 수행함으로써 번호판의 종류(예컨대, 구 번호판, 신형 번호판 등) 등을 분류한다. 상기와 같은 동작에 근거하여 번호판 감지 결과가 생성되어 번호 인식 처리부(1420)로 제공된다. The
한편, 번호 인식 처리부(1420)는 번호판 감지 결과에 기반하여 실제 차량 번호를 판별하기 위한 번호 인식 처리 동작을 수행하며, 이에 따른 번호 인식 결과를 출력한다. 문자 인식부(1421)는 추출된 번호판의 개별 문자를 인식하며, 예컨대 이진화와 그물망 방식의 신경망 기법을 적용하여 문자 인식 동작이 수행될 수 있다. 또한, 필터링부(1422)는 인식된 문자와 정형화된 문자 위치를 적용하여 최종 차량 번호를 필터링하여 출력하며, 결과 출력부(1423)는 필터링된 정보를 근거로 하여 차량 번호를 인식한 결과를 출력한다. On the other hand, the
전술한 도 4a,b에 도시된 각각의 기능 블록은 하드웨어적 또는 소프트웨어적으로 구현될 수 있으며, 또한 도 4a,b에 도시된 기능 블록은 본 발명의 실시예에 따른 동작을 구분하여 설명하기 위해 서로 구분되게 도시되었을 뿐, 적어도 두 개의 기능 블록에서 수행되는 동작은 하나의 기능 블록 또는 하나의 소프트웨어 내에서 일련하게 수행되어도 무방할 것이다. Each of the functional blocks illustrated in FIGS. 4A and 4B may be implemented in hardware or software, and the functional blocks illustrated in FIGS. 4A and 4B may be used to separately describe the operation according to an embodiment of the present disclosure. Although shown separately from one another, operations performed in at least two functional blocks may be performed in series in one functional block or one software.
도 5는 본 발명의 일실시예에 따라 번호판을 추출하는 일 예를 나타내는 도면이다. 5 is a diagram illustrating an example of extracting a license plate according to an embodiment of the present invention.
도 5의 (a)에 도시된 바와 같이, 차량 인식 및 영상 추출 동작이 수행될 수 있으며, 예컨대 차량의 모션을 인식하고 모션 인식 결과를 이용하여 차량의 촬영 영역 통과 시간을 고려하여 차량 및 차량 번호 인식을 위한 프레임들이 확보되도록 한다. 차량의 이동이 촬영된 다수의 프레임으로부터 모션 인식 결과에 근거하여 일부의 인식용 정지 영상을 추출할 수 있으며, 도 5의 (a)에 도시된 바와 같이 차량 번호판이 촬영될 가능성이 높은 일부의 정지 영상의 추출이 가능하도록 한다. As shown in (a) of FIG. 5, the vehicle recognition and image extraction may be performed. For example, the vehicle and the vehicle number may be recognized in consideration of the photographing area passing time of the vehicle by recognizing the motion of the vehicle and using the motion recognition result. Allow frames for recognition. A part of the still image for recognition may be extracted based on the result of the motion recognition from a plurality of frames in which the movement of the vehicle is photographed. As shown in FIG. Allows extraction of images.
한편, 도 5의 (b)에 도시된 바와 같이, 인식용 정지 영상에 대한 이미지 처리 동작을 수행함으로써 차량 번호의 인식 확률을 향상할 수 있다. 예컨대, 추출된 이미지에 대한 그레이 스케일 변환 동작과 함께, 그레이 스케일 변환된 이미지에 대한 명담/대비 개선처리 동작을 수행할 수 있다. On the other hand, as shown in (b) of FIG. 5, it is possible to improve the recognition probability of the vehicle number by performing an image processing operation on the recognition still image. For example, in addition to the gray scale conversion operation on the extracted image, a bright / contrast improvement processing operation on the gray scale converted image may be performed.
또한, 도 5의 (c)에 도시된 바와 같이, 인식용 정지 영상으로부터 번호판(또는, 번호판 이미지)을 추출하기 위하여 영상 이미지의 수평 및 수직 연산을 통하여 번호판을 추출할 수 있으며, 예컨대 수평 영역을 추출한 후 수직 영역을 일련하게 추출함으로써 번호판이 추출될 수 있다.In addition, as shown in (c) of FIG. 5, in order to extract the license plate (or license plate image) from the still image for recognition, the license plate may be extracted through horizontal and vertical operations of the image image, for example, After extraction, the license plate can be extracted by serially extracting the vertical regions.
도 6은 본 발명의 일실시예에 따라 차량 번호를 인식하는 일 예를 나타내는 도면이다. 6 is a diagram illustrating an example of recognizing a vehicle number according to an embodiment of the present invention.
도 6의 (a)에 도시된 바와 같이, 문자 인식을 위하여 이미지의 불필요 부분 제거 및 문자 크기의 보정 동작이 수행될 수 있다. 먼저 번호판 잡음을 제거함으로써 문자의 인식에 불필요하거나 방해가 될 잡음 성분이 제거될 수 있으며, 이후 문자 크기를 보정하고 각각의 문자별로 구분 동작을 위한 프로세스가 수행될 수 있다. As shown in (a) of FIG. 6, an unnecessary portion of an image and a correction of a text size may be performed for character recognition. First, by removing the license plate noise, noise components that may be unnecessary or obstructive to the recognition of characters may be removed, and then, a process for correcting the character size and separating operation for each character may be performed.
또한, 도 6의 (b), (c)에 도시된 바와 같이, 패턴 인식 및 처리 동작이 수행되는 것과 함께 방향성 벡터를 적용하여 차량 번호 인식 동작이 수행될 수 있다. 예컨대, 도 6의 (b)에서와 같이 기존 문자와 패턴 매칭 처리를 수행하고 패턴 일치 문자 인식처리를 수행함으로써 차량 번호 인식 동작을 수행할 수 있으며, 또한 도 6의 (c)에서와 같이 오인식률이 높은 문자를 대상으로 방향성 벡터를 적용하여 재 인식 처리동작을 수행할 수 있다. 예컨대, 주요 오인식 문자를 대상으로 재 인식 처리가 적용될 수 있으며, 방향성 벡터로 재분석하는 과정을 통해 차량 번호의 인식 동작이 수행될 수 있다. In addition, as shown in FIGS. 6B and 6C, the vehicle number recognition operation may be performed by applying the directional vector together with the pattern recognition and processing operations. For example, the vehicle number recognition operation can be performed by performing a pattern matching process with an existing character and performing a pattern matching character recognition process as shown in FIG. 6B, and also as a false recognition rate as shown in FIG. 6C. Redirection processing can be performed by applying a directional vector to this high character. For example, the recognizing process may be applied to the main misrecognition character, and the vehicle number recognition operation may be performed through the process of reanalyzing the directional vector.
도 7은 본 발명의 다른 실시예에 따른 차량 번호 인식 시스템의 일 구현예를 나타내는 블록도이다. 도 7에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 차량 번호 인식 시스템(200)은 번호 인식 서버(230)를 포함할 수 있다. 도 7에서는, 차량 번호 인식 시스템(200)이 번호 인식 서버(230) 이외에 다수의 외부 카메라들(예컨대 CCTV, 210_1 - 210_N), 영상 관제 서버(220), 지능형 검색 서버(240), 정보 제공 서버(250), 상황 전파 서버(260) 및 GIS(270)를 더 포함하는 예가 도시된다. 영상 관제 서버(220)는 유무선 통신망 등을 통하여 다수의 CCTV들(210_1 - 210_N)에 연결되며, 다수의 CCTV들(210_1 - 210_N)에서 촬영된 영상을 수신하고 디코딩할 수 있으며, 또한 내부 제어수단(미도시)을 통해 제어신호를 출력하여 다수의 CCTV들(210_1 - 210_N)의 촬영 동작을 제어할 수 있다. 7 is a block diagram illustrating an embodiment of a vehicle number recognition system according to another embodiment of the present invention. As shown in FIG. 7, the vehicle
번호 인식 서버(230)는 전술한 실시예에서와 동일 또는 유사하게 차량 인식 및 차량 번호 인식 동작을 수행할 수 있다. 본 발명의 실시예에서, 번호 인식 서버(230)는 CCTV로 촬영된 실제 차량의 주행 영상을 소정의 초당 프레임으로서 수신하고, 수신된 주행 영상의 일부의 프레임들에 대한 이미지 처리 동작을 통해 차량 번호 인식 결과를 출력한다. The number recognition server 230 may perform a vehicle recognition and a vehicle number recognition operation in the same or similar manner as in the above-described embodiment. In an embodiment of the present invention, the number recognition server 230 receives the driving image of the actual vehicle photographed by CCTV as a predetermined frame per second, and the vehicle number through an image processing operation for some frames of the received driving image Output the recognition result.
번호 인식 서버(230)로부터의 차량 번호 인식 결과는 이후 도시 관리를 위한 정보로 이용되거나 차량 등을 이용한 범죄에 즉각적으로 대응하기 위한 정보로 이용될 수 있다. 이를 위하여, 지능형 검색 서버(240)는 번호 인식 서버(230)로부터의 차량 번호 인식 결과를 수신함과 함께, 정보 제공 서버(250)에서 제공되는 각종 데이터베이스 정보를 함께 수신하고, 촬영된 영상에 존재하는 차량의 번호 인식 결과로부터 상기 차량이 수배 차량이거나 체납 차량에 해당하는지를 판단하기 위한 검색 동작을 수행할 수 있다. 정보 제공 서버(250)는 수배 차량의 실시간 조회를 위한 정보를 제공하는 경찰청 서버, 체납 차량의 실시간 조회를 위한 정보를 제공하는 체납 정보 서버 등 각종 종류의 서버들을 포함할 수 있다. 지능형 검색 서버(240)는 인식된 차량 번호와 문제 차량 데이터베이스에 저장된 정보의 비교를 통한 검색 동작을 수신하고, 동일한 차량 번호가 문제 차량 데이터베이스에 존재하는 등의 이벤트 발생시에 이를 나타내는 이벤트를 출력하여 상황 전파 서버(260)로 제공한다. The vehicle number recognition result from the number recognition server 230 may then be used as information for city management or as information for immediately responding to a crime using a vehicle. To this end, the
상황 전파 서버(260)는 수신된 이벤트에 대한 승인 절차를 통해 상황을 전파한다. 또한, 문제 차량의 이동 경로를 예측하기 위한 정보가 기 설정되어 구축될 수 있으며, 문제 차량의 이동 경로 표출을 위하여 GIS(270)와 연동하여 동작할 수 있다. 상황 전파 서버(260)를 관리하는 사용자는 이벤트 수신시 이에 대한 상황 전파를 승인하는 동작을 수행할 수 있으며, 상황 전파 승인에 응답하여 상황 전파 서버(260)는 기 설정된 이벤트 시나리오에 따라 추적 대상의 차량 정보가 타 서버와 공유된다. 예컨대, 상황 전파 서버(260)는 이벤트를 전달함에 있어서 타 서버로서 통합 영상 관리 서버(미도시)로 전달할 수 있으며, 이와 함께 공유 데이터베이스에 차량 이미지, 차량 번호, 위반 여부 및 인식 장소 등을 나타내는 각종 정보들을 저장함으로써, 타 서버에서 이벤트 발생에 따른 즉각적인 대응을 위한 정보의 참조가 가능하도록 한다. 통합 영상 관리 서버는 영상 관제 서버(220)로 다시 이벤트를 전달할 수 있으며(또는, 상황 전파 서버(260)가 직접 이벤트를 전달하여도 무방함), 또한 이벤트가 GIS(270)로 전달됨에 따라 GIS(270)는 공유 데이터베이스에 저장된 정보를 참조하여 문제 차량의 현재 위치, 이동 경로, 및 예측되는 예상 경로를 지도상에 표시할 수 있다. The
도 8은 본 발명의 일 실시예에 따른 차량 번호 인식 시스템의 동작방법을 나타내는 플로우차트이다. 도 8은 CCTV로부터 촬영된 주행영상으로부터 차량 번호판을 인식하는 과정을 나타낸다.8 is a flowchart illustrating a method of operating a vehicle number recognition system according to an embodiment of the present invention. 8 shows a process of recognizing a vehicle license plate from a driving image photographed from CCTV.
먼저, 본 발명의 일 실시예에 따르면, 센서 기반의 차량 번호판 감지 동작(또는 차량 인식 동작)을 수행하지 않고, 일반적으로 이용되는 CCTV로부터 촬영된 주행 영상으로부터 차량 번호판을 감지한다. CCTV로부터 촬영된 소정의 프레임을 가지는 동영상이 입력되고(S11), 상기 주행 영상으로부터 소정의 추출 방법(예컨대, 순차적 추출)에 따라 일부의 정지 영상이 선택됨에 따라, 번호판 인식용 이미지로서 프레임별 정지 영상이 이후 프로세스를 수행하기 위한 수단으로 입력된다(S12).First, according to an embodiment of the present invention, without performing a sensor-based license plate detection operation (or vehicle recognition operation), the vehicle license plate is detected from the driving image captured from the commonly used CCTV. As a moving image having a predetermined frame photographed from CCTV is input (S11), and some still images are selected according to a predetermined extraction method (for example, sequential extraction) from the driving image, still images by frame as image recognition plates. The image is input as a means for performing a later process (S12).
또한, 번호판 인식용 이미지들에 대한 변환 처리가 수행되며, 예컨대 번호판 인식용 이미지들에 대해 그레이 스케일 변환 동작을 수행할 수 있으며(S13), 히스토그램 평준화 기법을 적용하는 등의 처리 동작에 의해 명암 대비를 통한 이미지 보정 동작을 수행할 수 있다(S14). 상기와 같이 이미지 변환 처리된 영상을 기반으로 하여, 해당 영상에 차량이 존재하는 지가 검출될 수 있으며, 또한 차량이 검출된 영상에 대해 선택적으로 번호판을 인식하는 과정이 수행된다. 해당 영상에 차량이 존재하는 지의 검출 동작은 차량 영상과 배경 영상의 구분을 위한 이미지 추출 동작, 그리고 옵티컬 플로우(Optical Flow) 기법 등을 적용함에 의하여 차량의 모션 및 주행 방향을 검출함에 의할 수 있다.In addition, a conversion process is performed on the images for license plate recognition, for example, a gray scale conversion operation may be performed on the images for license plate recognition (S13), and contrast may be achieved by a processing operation such as applying a histogram equalization technique. An image correction operation may be performed (S14). On the basis of the image converted image as described above, it can be detected whether the vehicle exists in the image, and the process of selectively identifying the license plate for the image detected by the vehicle is performed. The detection operation of whether the vehicle exists in the corresponding image may be performed by detecting the motion and driving direction of the vehicle by applying an image extraction operation for distinguishing the vehicle image from the background image, and an optical flow technique. .
예컨대, 번호판을 추출하기 위하여 상기 영상으로부터 수평/수직 영역을 추출하는 동작이 수행되며(S15), 예컨대 수평 영역을 추출한 후 수직 영역을 일련하게 추출하고, 이에 따라 영상 내에 존재하는 번호판 이미지가 추출될 수 있다(S16).For example, in order to extract the license plate, an operation of extracting a horizontal / vertical region from the image is performed (S15). For example, after extracting a horizontal region, a vertical region is sequentially extracted, and thus a license plate image existing in the image is extracted. It may be (S16).
도 9는 본 발명의 다른 실시예에 따른 공간 정보 시스템의 동작방법을 나타내는 플로우차트이다. 도 9는 추출된 차량 번호판 이미지로부터 차량 번호를 인식하는 과정을 나타낸다.9 is a flowchart illustrating a method of operating a spatial information system according to another embodiment of the present invention. 9 shows a process of recognizing a vehicle number from the extracted vehicle license plate image.
도 9에 도시된 바와 같이, 추출된 번호판 이미지가 번호 인식을 위한 기능 블록으로 입력된다(S21). 차량 번호 인식을 위하여, 먼저 수신된 번호판 이미지에 대하여 히스토그램 평준화 기법 등을 적용하여 명암 대비를 통한 이미지 보정을 수행하거나 침식, 팽창 모폴로지 기법 등을 적용하여 정지 영상 이미지에서 잡음을 제거할 수 있다(S22).As shown in FIG. 9, the extracted license plate image is input to a function block for number recognition (S21). In order to recognize the vehicle number, first, the received license plate image may be subjected to histogram equalization technique to correct an image through contrast, or to remove noise from a still image image by applying erosion or expansion morphology technique (S22). ).
이후, 이미지 처리된 영상으로부터 해당 영상에 포함된 번호판의 위치가 추정되며, OTSU 이진화 및 윤곽선 추출 기법 등이 적용되어 실제 번호판이 추출될 수 있으며, 실제 번호판이 추출되면 기하학적 정형화 기법을 적용하여 번호판을 정형화하는 동작을 통하여 번호판 내의 개별 문자가 분할될 수 있다(S23).Subsequently, the position of the license plate included in the image is estimated from the image processed image, the actual license plate can be extracted by applying OTSU binarization and contour extraction technique, and if the actual license plate is extracted, the license plate is applied by applying a geometric shaping technique. Individual characters in the license plate may be divided through the standardizing operation (S23).
상기와 같은 처리 결과를 기반으로 하여 차량 번호가 인식되며(S24), 예컨대 이진화와 그물망 방식의 신경망 기법을 적용하여 문자 인식 동작이 수행되고, 이에 따라 인식된 차량 번호에 관련된 데이터를 외부로 제공함과 함께, 촬영된 영상, 추출된 번호판 이미지, 및 차량 번호 정보를 내부 데이터베이스에 저장하거나, 외부 서버에 의해 이용 가능한 공통 데이터베이스에 저장할 수 있다(S25).The vehicle number is recognized based on the processing result as described above (S24), for example, a character recognition operation is performed by applying a neural network method of binarization and a mesh network method, thereby providing data related to the recognized vehicle number to the outside. Together, the captured image, the extracted license plate image, and the vehicle number information may be stored in an internal database or stored in a common database available by an external server (S25).
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
Claims (7)
상기 수신된 동영상으로부터 제2 초당 프레임에 해당하는 정지 영상을 추출하는 단계;
상기 정지 영상을 분석하여 모션 감지 및 주행방향 검출 결과 중 적어도 하나에 기반하여 차량 인식 결과를 출력하는 단계;
차량이 존재하는 것으로 인식된 정지 영상으로부터 수평 및 수직 추출 동작을 통해 번호판을 추출하고, 추출된 번호판에 대해 기하학적 정형화 기법에 따른 번호판 정형화 동작을 수행하며, 정형화된 번호판 내에 존재하는 개별 문자를 추출함에 의하여 번호판을 감지하는 단계; 및
추출된 개별 문자에 대한 번호 인식 처리동작을 수행함에 의하여 차량 번호의 인식 결과를 출력하는 단계를 구비하며,
상기 번호판을 감지하는 단계는,
상기 정지 영상에 대해 잡영 제거를 포함하는 이미지 보정을 수행하는 단계;
윤곽선 추출 기법을 적용함에 의하여 번호판의 위치를 추정하는 단계;
윤곽선을 기준으로 하여 기울기 보정을 수행함으로써 번호판을 추출하는 단계;
상기 번호판의 추출 결과를 이용하여 기하학적 정형화 기법을 적용하여 번호판을 정형화하는 단계; 및
상기 번호판 정형화 결과에 기반하여 상기 번호판 내의 개별 문자를 추출하는 단계를 포함하는 것을 특징으로 하는 차량 번호 인식 시스템의 동작방법.Receiving video from one or more cameras in a first frame per second;
Extracting a still image corresponding to a second frame per second from the received video;
Analyzing the still image to output a vehicle recognition result based on at least one of a motion detection and a driving direction detection result;
The license plate is extracted through horizontal and vertical extraction operations from a still image recognized as a vehicle, and the license plate shaping is performed according to the geometric shaping technique, and the individual characters existing in the standard license plate are extracted. Detecting the license plate; And
Outputting a recognition result of the vehicle number by performing a number recognition processing operation on the extracted individual characters,
Detecting the license plate,
Performing image correction including noise cancellation on the still image;
Estimating the position of the license plate by applying a contour extraction technique;
Extracting a license plate by performing a slope correction with respect to a contour line;
Shaping the license plate by applying the geometric shaping technique using the extraction result of the license plate; And
And extracting the individual characters in the license plate based on the license plate shaping result.
상기 추출된 정지 영상에 대해 그레이 스케일 변환 및 명암 대비를 통한 이미지 보정 동작을 포함하는 이미지 처리 단계를 더 구비하는 것을 특징으로 하는 차량 번호 인식 시스템의 동작방법.The method of claim 1,
And an image processing step of correcting the image through the gray scale conversion and the contrast with respect to the extracted still image.
상기 번호판을 감지하는 단계 및 차량 번호의 인식 결과를 출력하는 단계는, 상기 차량이 존재하는 것으로 인식된 정지 영상에 대해 선택적으로 수행되는 것을 특징으로 하는 차량 번호 인식 시스템의 동작방법.The method of claim 1,
Detecting the license plate and outputting a recognition result of the vehicle number are selectively performed on a still image recognized as the vehicle exists.
상기 번호 인식 서버는,
하나 이상의 카메라들로부터의 동영상을 제1 초당 프레임으로 수신하고, 상기 수신된 동영상으로부터 제2 초당 프레임에 해당하는 정지 영상을 추출하며, 상기 추출된 정지 영상에 대해 그레이 스케일 변환 및 명암 대비를 통한 이미지 보정 동작을 포함하는 이미지 처리를 수행하는 이미지 처리부;
상기 정지 영상을 분석하여 모션 감지 및 주행방향 검출 결과 중 적어도 하나에 기반하여 차량 인식 결과를 출력하는 차량 인식부; 및
차량이 존재하는 것으로 인식된 정지 영상으로부터 수평 및 수직 추출 동작을 통해 번호판을 추출하고, 추출된 번호판에 대해 기하학적 정형화 기법에 따른 번호판 정형화 동작을 수행하며, 정형화된 번호판 내에 존재하는 개별 문자를 추출함에 의하여 번호판을 감지하고, 추출된 개별 문자에 대한 번호 인식 처리동작을 수행함에 의하여 차량 번호의 인식 결과를 출력하는 번호 인식부를 구비하고,
상기 번호 인식부는,
윤곽선 추출 기법을 적용함에 의하여 번호판의 위치를 추정하고, 윤곽선을 기준으로 하여 기울기 보정을 수행함으로써 번호판을 추출하며, 상기 번호판의 추출 결과를 이용하여 기하학적 정형화 기법을 적용하여 번호판을 정형화하고, 상기 번호판 정형화 결과에 기반하여 상기 번호판 내의 개별 문자를 추출하는 것을 특징으로 하는 차량 번호 인식 시스템.
A vehicle number recognition system comprising a number recognition server,
The number recognition server comprises:
Receives a video from one or more cameras at a first frame per second, extracts a still image corresponding to a second frame per second from the received video, and images through gray scale conversion and contrast for the extracted still image An image processing unit which performs image processing including a correction operation;
A vehicle recognition unit configured to analyze the still image and output a vehicle recognition result based on at least one of a motion detection and a driving direction detection result; And
The license plate is extracted through horizontal and vertical extraction operations from a still image recognized as a vehicle, and the license plate shaping is performed according to the geometric shaping technique, and the individual characters existing in the standard license plate are extracted. And a number recognition unit for detecting the license plate and outputting a recognition result of the vehicle number by performing a number recognition processing operation on the extracted individual characters,
The number recognition unit,
The position of the license plate is estimated by applying the contour extraction technique, the license plate is extracted by performing the slope correction on the basis of the contour, and the license plate is shaped by applying the geometric shaping technique using the extraction result of the license plate, and the license plate Vehicle number recognition system, characterized in that for extracting the individual characters in the license plate based on the results of the standardization.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130018235A KR101298684B1 (en) | 2013-02-20 | 2013-02-20 | Non sensor based vehicle number recognition system and operating method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130018235A KR101298684B1 (en) | 2013-02-20 | 2013-02-20 | Non sensor based vehicle number recognition system and operating method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101298684B1 true KR101298684B1 (en) | 2013-08-21 |
Family
ID=49220978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130018235A KR101298684B1 (en) | 2013-02-20 | 2013-02-20 | Non sensor based vehicle number recognition system and operating method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101298684B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101407322B1 (en) * | 2014-01-06 | 2014-06-16 | 주식회사 넥스파시스템 | The Car Number Recognizing System Using Motion Recognition Based On Macro Block |
KR20160057356A (en) | 2016-03-10 | 2016-05-23 | 주식회사한맥아이피에스 | Method and system for recognizing vehicle license plate |
WO2016200085A1 (en) * | 2015-06-10 | 2016-12-15 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of extracting still images |
KR101824446B1 (en) * | 2017-07-24 | 2018-02-01 | 한국기술교육대학교 산학협력단 | A reinforcement learning based vehicle number recognition method for CCTV |
CN109949231A (en) * | 2019-02-02 | 2019-06-28 | 浙江工业大学 | A kind of method and device for urban managing information acquiring and processing |
KR102082082B1 (en) * | 2019-08-21 | 2020-02-26 | 주식회사 싸이토피아 | Camera system for multi-lane recognizing number of vehicles |
KR20210023447A (en) | 2019-08-23 | 2021-03-04 | 주식회사 딥하이 | Non sensor vehicle entrance control system based on video recognition using deep learning and method thereof |
CN113642577A (en) * | 2021-10-14 | 2021-11-12 | 深圳市爱深盈通信息技术有限公司 | Low-contrast license plate recognition method, system, equipment and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6553131B1 (en) | 1999-09-15 | 2003-04-22 | Siemens Corporate Research, Inc. | License plate recognition with an intelligent camera |
KR20050065883A (en) * | 2003-12-26 | 2005-06-30 | 재단법인 포항산업과학연구원 | Apparatus for recognizing number plate by using color image control |
KR20050089099A (en) * | 2004-03-03 | 2005-09-07 | 여성기 | Auto-detection system of parking violation car |
KR100703956B1 (en) * | 2005-10-12 | 2007-04-04 | 정보안주식회사 | Vehicle identification system and method of processing the same |
-
2013
- 2013-02-20 KR KR1020130018235A patent/KR101298684B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6553131B1 (en) | 1999-09-15 | 2003-04-22 | Siemens Corporate Research, Inc. | License plate recognition with an intelligent camera |
KR20050065883A (en) * | 2003-12-26 | 2005-06-30 | 재단법인 포항산업과학연구원 | Apparatus for recognizing number plate by using color image control |
KR20050089099A (en) * | 2004-03-03 | 2005-09-07 | 여성기 | Auto-detection system of parking violation car |
KR100703956B1 (en) * | 2005-10-12 | 2007-04-04 | 정보안주식회사 | Vehicle identification system and method of processing the same |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101407322B1 (en) * | 2014-01-06 | 2014-06-16 | 주식회사 넥스파시스템 | The Car Number Recognizing System Using Motion Recognition Based On Macro Block |
WO2016200085A1 (en) * | 2015-06-10 | 2016-12-15 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of extracting still images |
KR20160145438A (en) * | 2015-06-10 | 2016-12-20 | 삼성전자주식회사 | Electronic apparatus and method for photograph extraction |
US10511765B2 (en) | 2015-06-10 | 2019-12-17 | Samsung Electronics Co., Ltd | Electronic apparatus and method of extracting still images |
KR102336448B1 (en) | 2015-06-10 | 2021-12-07 | 삼성전자주식회사 | Electronic apparatus and method for photograph extraction |
KR20160057356A (en) | 2016-03-10 | 2016-05-23 | 주식회사한맥아이피에스 | Method and system for recognizing vehicle license plate |
KR101824446B1 (en) * | 2017-07-24 | 2018-02-01 | 한국기술교육대학교 산학협력단 | A reinforcement learning based vehicle number recognition method for CCTV |
CN109949231A (en) * | 2019-02-02 | 2019-06-28 | 浙江工业大学 | A kind of method and device for urban managing information acquiring and processing |
KR102082082B1 (en) * | 2019-08-21 | 2020-02-26 | 주식회사 싸이토피아 | Camera system for multi-lane recognizing number of vehicles |
KR20210023447A (en) | 2019-08-23 | 2021-03-04 | 주식회사 딥하이 | Non sensor vehicle entrance control system based on video recognition using deep learning and method thereof |
CN113642577A (en) * | 2021-10-14 | 2021-11-12 | 深圳市爱深盈通信息技术有限公司 | Low-contrast license plate recognition method, system, equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101298684B1 (en) | Non sensor based vehicle number recognition system and operating method thereof | |
WO2018223955A1 (en) | Target monitoring method, target monitoring device, camera and computer readable medium | |
US8942913B2 (en) | System and method for on-road traffic density analytics using video stream mining and statistical techniques | |
KR101793636B1 (en) | Image processing system | |
Bas et al. | Automatic vehicle counting from video for traffic flow analysis | |
CN105144705B (en) | Object monitoring system, object monitoring method, and program for extracting object to be monitored | |
US9779311B2 (en) | Integrated control system and method using surveillance camera for vehicle | |
KR101696801B1 (en) | integrated image monitoring system based on IoT camera | |
WO2015166612A1 (en) | Image analysis system, image analysis method, and image analysis program | |
US9159137B2 (en) | Probabilistic neural network based moving object detection method and an apparatus using the same | |
KR102217253B1 (en) | Apparatus and method for analyzing behavior pattern | |
KR101678004B1 (en) | node-link based camera network monitoring system and method of monitoring the same | |
TWI424146B (en) | Tracking systems and methods | |
JPWO2017221643A1 (en) | Image processing apparatus, image processing system, image processing method, and program | |
KR101515166B1 (en) | A Parking Event Detection System Based on Object Recognition | |
JP6915219B2 (en) | Computer implementation methods, imaging systems, and image processing systems | |
JP4852355B2 (en) | Abandoned object detection device and abandoned object detection method | |
US20160210759A1 (en) | System and method of detecting moving objects | |
KR20100053318A (en) | A sensing system of a lane offense cars using the corner data and sensing method using the same | |
CN114494955A (en) | Regional intrusion detection method and system based on video data and electronic equipment | |
KR101453386B1 (en) | Vehicle Intelligent Search System and Operating Method thereof | |
CN111783618A (en) | Garden brain sensing method and system based on video content analysis | |
US10916017B2 (en) | Method and apparatus for detecting motion deviation in a video sequence | |
KR101669885B1 (en) | method of detecting pedestrian collision and IoT apparatus thereof | |
KR100920937B1 (en) | Apparatus and method for detecting motion, and storing video within security system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
EXTG | Ip right invalidated |