KR100801989B1 - Recognition system for registration number plate and pre-processor and method therefor - Google Patents

Recognition system for registration number plate and pre-processor and method therefor Download PDF

Info

Publication number
KR100801989B1
KR100801989B1 KR1020060114365A KR20060114365A KR100801989B1 KR 100801989 B1 KR100801989 B1 KR 100801989B1 KR 1020060114365 A KR1020060114365 A KR 1020060114365A KR 20060114365 A KR20060114365 A KR 20060114365A KR 100801989 B1 KR100801989 B1 KR 100801989B1
Authority
KR
South Korea
Prior art keywords
license plate
image information
plate area
recognition system
pixels
Prior art date
Application number
KR1020060114365A
Other languages
Korean (ko)
Inventor
김영모
이동식
김현우
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020060114365A priority Critical patent/KR100801989B1/en
Application granted granted Critical
Publication of KR100801989B1 publication Critical patent/KR100801989B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

A system for recognizing a number plate, and a preprocessing apparatus and a method thereof are provided to compare brightness values between pixels at the same position for each pixel of image information about two number plate areas and select pixels with low brightness values among two pixels as a pixel at a corresponding position, and reconstruct the number plate area, thereby improving the accuracy of the recognition of the number plate of a driving car in a poor environment such as rain and snow. A preprocessing method for a number plate recognition system comprises the following steps of: extracting the area of a number plate for each of plural image information continuously photographed in the front of a driving car(210,212); adjusting the size of the extracted plural number plate areas to be identical(214); comparing brightness values between pixels at the same position for each pixel of the plural number plate areas of which the size is adjusted(216); selecting pixels with low brightness values as a pixel at a corresponding position, reconstructing and outputting image information about the number plate areas.

Description

번호판 인식 시스템，전처리 장치 및 방법{Recognition system for registration number plate and pre-processor and method therefor}Recognition system for registration number plate and pre-processor and method therefor}

도 1은 본 발명의 바람직한 실시예에 따른 번호판 인식 시스템의 구성도.1 is a block diagram of a license plate recognition system according to a preferred embodiment of the present invention.

도 2 및 도 3은 우천시의 차량 전면을 촬상한 예를 도시한 도면. 2 and 3 are diagrams showing examples of photographing the front surface of a vehicle in rainy weather.

도 4는 본 발명의 바람직한 실시예에 따라 번호판 영역을 재구성하는 예를 도시한 도면. 4 shows an example of reconstructing a license plate area according to a preferred embodiment of the present invention.

도 5는 본 발명의 바람직한 실시예에 따른 번호판 인식 시스템의 전처리부의 처리 흐름도를 도시한 도면. 5 is a flowchart illustrating a processing of a preprocessor of a license plate recognition system according to a preferred embodiment of the present invention.

본 발명은 주차 관리 시스템에 관한 것으로, 더욱 상세하게는 번호판이 인식되지 않은 차량에 대해 주차 관리 서비스를 제공하기 위한 주차 관리 시스템 및 방법에 관한 것이다. The present invention relates to a parking management system, and more particularly, to a parking management system and method for providing a parking management service for a vehicle whose license plate is not recognized.

지능형 교통 시스템(ITS:INTELLIGENT TRANSPORTATION SYSTEM)은 산업 기술의 발달과 함께 급격히 증가하는 교통량을 효율적으로 처리하기 위한 시스템으로, 정보통신 기술, 컴퓨터 비전, 영상 처리 등의 기술을 기반으로 하여 신호등 제어, 차 량의 정보 및 위치 추적, 주차 관리의 자동화 등에 활용되고 있다. INTELLIGENT TRANSPORTATION SYSTEM (ITS: INTELLIGENT TRANSPORTATION SYSTEM) is a system for efficiently handling the rapidly increasing traffic volume with the development of industrial technology.It is based on information communication technology, computer vision, image processing, etc. It is used for tracking information, location tracking, and automating parking management.

상기한 ITS 사업 중 첨단 교통 관리(ATMS;ADVANCED TRAFFIC MANAGEMENT SYSTEM) 분야의 자동 교통 단속 시스템이나 주차 관제 시스템 등에는 차량 식별을 위한 고유 정보가 기록된 차량 번호판을 인식하는 차량 번호판 인식 시스템이 구비된다. Among the ITS projects, an automatic traffic control system or a parking control system in an advanced traffic management system (ATMS) field includes a license plate recognition system for recognizing a vehicle license plate on which unique information for identifying a vehicle is recorded.

상기 차량 번호판 인식 기술은 크게 촬상 영상으로부터 번호판 영역을 검출하여 문자를 추출하는 기능과 상기 추출한 문자와 숫자를 인식하는 기능으로 나눌 수 있다. The license plate recognition technology can be classified into a function of detecting a license plate area from a captured image and extracting a character and a function of recognizing the extracted letter and number.

상기 촬상 영상으로부터 번호판 영역을 검출한 후에 문자를 추출하기에 용이한 상태로 전처리하는 전처리 기술로는 메디안 필터링 기술, 침식(EROSION) 및 팽창(DELATION) 필터링 기술 등이 있으나, 상기한 전처리 기술은 비 또는 눈이 오는 열악한 환경 조건에서는 성능이 저하되는 문제가 있었다. 즉, 빗방울이나 눈 입자가 번호판의 문자를 부분적으로 가리기 때문에 상기한 종래 기술에 따라 전처리된 번호판 영역정보로부터는 문자 또는 숫자를 효과적으로 추출할 수 없는 문제가 있었다. Pre-processing techniques for pre-processing in an easy-to-extract state after detecting the license plate area from the captured image include median filtering technology, erosion and expansion filtering technology. Or there was a problem that the performance is degraded in the harsh environmental conditions of snow. That is, since raindrops and snow particles partially obscure the characters of the license plate, there is a problem that letters or numbers cannot be effectively extracted from the license plate area information pre-processed according to the above-described prior art.

이에 종래에는 상기한 문제를 해소하고자 정지한 차량의 전면을 다수회 촬상하고, 상기 다수회 촬상된 영상을 비교하여 빗방울이나 눈 입자에 의해 가려진 부분을 보정하는 기술이 제안되기도 하였다. In order to solve the above problem, a technique of capturing a front surface of a stationary vehicle a plurality of times and comparing the images captured a plurality of times and correcting a portion covered by raindrops or snow particles has been proposed.

그러나 상기한 기술은 정지한 차량에 대해 적용 가능하므로, 차량이 정지할 수 없는 교통 단속이나 신속한 주차 서비스를 제공하고자 하는 경우에는 적용하기 가 곤란한 문제가 있었다. However, since the above technology is applicable to a stationary vehicle, there is a problem that it is difficult to apply when providing a traffic control or a fast parking service that the vehicle cannot stop.

본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 비 또는 눈이 오는 열악한 환경에서 주행중인 차량의 번호판 인식의 정확도를 향상시킬 수 있는 번호판 인식 시스템, 전처리 장치 및 방법을 제공하는 것을 그 목적으로 한다. Disclosure of Invention The present invention is to overcome the above-mentioned conventional problems, and to provide a license plate recognition system, a preprocessing device and a method which can improve the accuracy of license plate recognition of a vehicle running in a rainy or snowy environment. do.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위한 본 발명에 따르는 상기한 본 발명에 따르는 번호판 인식 시스템은, 주행중인 차량의 전면을 촬상하는 촬상장치; 상기 촬상장치가 연속되게 촬상한 다수의 영상정보 각각에 대해 번호판 영역을 추출하고, 상기 추출된 다수의 번호판 영역의 크기를 동일하게 조정하고, 상기 크기가 조정된 다수의 번호판 영역 각 픽셀들에 대해 동일 위치의 픽셀들간의 밝기값을 비교하고, 상기 밝기값이 작은 픽셀을 해당 위치의 픽셀로 선택하여 번호판 영역의 영상정보를 재구성하여 출력하는 전처리장치; 상기 전처리 장치가 출력하는 번호판 영역의 영상정보로부터 숫자 및/또는 문자를 인식하는 번호판 인식부를 포함하는 것을 특징으로 한다. According to the present invention for achieving the above object and to solve the problems of the prior art, the license plate recognition system according to the present invention comprises: an imaging device for photographing a front surface of a vehicle in motion; The image pick-up device extracts a license plate area for each of a plurality of image information continuously captured, adjusts the size of the extracted plurality of license plate areas equally, and controls each of the pixels of the adjusted number plate area. A pre-processing apparatus for comparing brightness values between pixels at the same position, selecting pixels having the smallest brightness value as pixels at corresponding positions, and reconstructing and outputting image information of the license plate area; And a license plate recognition unit for recognizing numbers and / or letters from the image information of the license plate area output by the preprocessor.

본 발명은 촬상장치가 촬상한 영상정보를 통해 현재 환경이 비 또는 눈이 오는 열악한 환경으로 판단되면, 주행중인 차량의 전면을 다수회 촬상하고, 상기 다수회 촬상에 따른 다수의 영상정보 각각으로부터 번호판 영역을 추출하고, 상기 다수개의 번호판 영역의 크기가 동일하게 되도록 영상 처리한 후에, 상기 다수의 번호판 영역의 각 픽셀에 대해 픽셀값을 비교하여, 가장 낮은 픽셀값으로 해당 픽셀 값을 보정한다. 이로서, 본 발명은 번호판 영역에서의 빗방울 또는 눈 입자 등에 의한 영향을 제거하여, 번호판에 대한 인식의 정확도를 향상한다. According to the present invention, if it is determined that the current environment is a poor environment in which rain or snow is present through the image information captured by the image pickup device, the front surface of the driving vehicle is imaged a plurality of times, and the license plate from each of the plurality of image informations according to the plurality of times of image capture. After extracting an area and image processing the same size of the plurality of license plate areas, pixel values are compared for each pixel of the plurality of license plate areas, and the corresponding pixel value is corrected to the lowest pixel value. As a result, the present invention eliminates the effects of raindrops or snow particles in the license plate area, thereby improving the accuracy of recognition on the license plate.

상기한 본 발명의 바람직한 실시예에 따른 번호판 인식 시스템의 구성을 도 1을 참조하여 설명한다. The configuration of the license plate recognition system according to the preferred embodiment of the present invention described above will be described with reference to FIG.

상기 번호판 인식 시스템은 크게 촬상장치(100), 전처리부(PP), 번호판 인식부(112)로 구성되며, 상기 전처리부(PP)는 환경 판단부(102), 입차 검출부(104), 연속 영상정보 처리부(106), 제1전처리부(1080, 제2전처리부(110)로 구성된다. The license plate recognition system is largely comprised of an image pickup device 100, a preprocessor PP, and a license plate recognition unit 112. The preprocessor PP includes an environment determiner 102, a parking detector 104, and a continuous image. The information processor 106, the first preprocessor 1080, and the second preprocessor 110 are configured.

상기 촬상장치(100)는 영상정보의 전송속도가 빠른 고기능의 카메라가 채용되며, 대향면을 소정 주기로 촬상하며, 상기 촬상장치(100)의 대향방향은 차량의 진입방향에 대응된다. 상기 촬상장치(100)는 촬상에 따른 영상정보를 상기 환경 판단부(102)로 전송한다. The image pickup device 100 employs a high-performance camera having a high transmission speed of image information, and picks up an opposite surface at a predetermined period, and the opposite direction of the image pickup device 100 corresponds to the entry direction of the vehicle. The imaging apparatus 100 transmits the image information according to the imaging to the environment determination unit 102.

상기 환경 판단부(102)는 상기 촬상장치(100)로부터 제공되는 영상정보에 대해 에지를 검출하고, 상기 검출된 에지 분포에 대한 분산값을 산출하고, 상기 분산값이 소정치 이상이면 비 또는 눈이 오는 열악한 환경으로 판단하고, 그렇지 않으면 정상 환경으로 판단하며, 상기 판단 결과를 입차 검출부(104)에 제공한다. The environment determining unit 102 detects an edge with respect to the image information provided from the imaging apparatus 100, calculates a variance value for the detected edge distribution, and if the variance value is equal to or greater than a predetermined value, rain or snow. This is determined to be a poor environment, otherwise it is determined to be a normal environment, and the determination result is provided to the entrance detecting unit 104.

여기서, 상기 환경 판단 근거는 도 2에 도시한 바와 같이 비 또는 눈이 오는 환경에서는 빗방울 및 눈 입자에 차량의 헤드 라이트 또는 촬상장치(100) 근방에 구비된 조명 장치에 의한 광이 반사되어 백색 등으로 촬상되며, 상기 백색으로 촬상된 빗방울 또는 눈 입자는 에지로 검출되기 때문이다. Here, as shown in FIG. 2, in the rain or snow environment, as shown in FIG. 2, the rain light and snow particles reflect light from the vehicle headlight or the illumination device provided in the vicinity of the imaging device 100, and the like. This is because raindrops or snow particles photographed with white are detected as edges.

또한 상기 환경 판단부(102)는 상기 환경 판단 결과 및 상기 촬상장치(100) 로부터의 영상정보를 입차 검출부(104)에 제공한다. In addition, the environmental determination unit 102 provides the result of the environmental determination and the image information from the imaging apparatus 100 to the entrance detection unit 104.

상기 입차 검출부(104)는 상기 환경 판단부(102)를 통해 제공되는 영상 정보를 처리하여 입차 여부를 판단하고, 상기 차량이 입차한 경우에는 상기 환경 판단부(102)의 환경 판단 결과에 따라 연속되는 두 프레임의 영상정보를 연속 영상정보 처리부(106)로 제공하거나, 한 프레임의 영상정보를 제2전처리부(108)로 제공한다. 여기서, 연속되는 두 프레임의 영상정보를 편이상 제1 및 제2영상정보라 칭하고, 제1영상정보를 최근 영상정보로, 제2영상정보를 나중 영상정보로 정한다. The entrance detecting unit 104 processes the image information provided through the environment determination unit 102 to determine whether the vehicle is occupied, and when the vehicle is occupied, consecutively according to the environmental determination result of the environment determination unit 102. The image information of the two frames is provided to the continuous image information processing unit 106, or the image information of one frame is provided to the second preprocessor 108. Here, the image information of two consecutive frames is referred to as first and second image information, and the first image information is determined as the latest image information, and the second image information is determined as the later image information.

상기 연속 영상정보 처리부(106)는 상기 제1영상정보로부터 번호판 영역을 추출하고, 상기 추출된 번호판 영역과 상기 제2영상정보에 대해 블록 매칭을 이행하여 상기 제2영상정보로부터 번호판 영역을 추출한다.The continuous image information processing unit 106 extracts the license plate area from the first image information, performs block matching on the extracted license plate area and the second image information, and extracts the license plate area from the second image information. .

여기서, 상기 제1 및 제2영상정보는 주행중인 차량의 전면을 촬상한 것이므로, 상기 제1 및 제2영상정보의 번호판 영역이 서로 상이하다. 즉, 제1영상정보를 예시한 도 3의 (A)의 번호판 영역은 제2영상정보를 예시한 도 3의 (B)의 번호판 영역보다 크다. Here, since the first and second image information are obtained by photographing a front surface of a driving vehicle, license plate areas of the first and second image information are different from each other. That is, the license plate area of FIG. 3A illustrating the first image information is larger than the license plate area of FIG. 3B illustrating the second image information.

상기한 바와 같이 제1 및 제2영상정보의 번호판 영역이 서로 상이하므로, 상기 연속 영상정보 처리부(106)는 제2영상정보의 번호판 영역을 제1영상정보의 번호판 영역에 대응되게 확장한다. 상기 확장 방법으로는 픽셀간 인터폴레이션(interpolation) 또는 바이리니어(bilinear) 방식을 채용할 수 있다. 여기서, 상기 두 번호판 영역을 동일화하기 위해 제1영상정보의 번호판 영역을 제2영상정보의 번호판 영역에 대응되게 축소할 수 있음은 본 발명에 의해 당업자에게 자명하다. As described above, since the license plate areas of the first and second image information are different from each other, the continuous image information processing unit 106 expands the license plate area of the second image information to correspond to the license plate area of the first image information. As the extension method, an interpolation or bilinear method may be employed. Here, it will be apparent to those skilled in the art by the present invention that the license plate area of the first image information can be reduced to correspond to the license plate area of the second image information in order to equalize the two license plate areas.

상기 제1 및 제2영상정보의 번호판 영역을 동일하게 조정한 후에, 상기 연속 영상정보 처리부(106)는 상기 두 번호판 영역의 영상정보를 제1전처리부(108)에 제공한다. After adjusting the license plate areas of the first and second image information in the same manner, the continuous image information processing unit 106 provides the image information of the two license plate areas to the first preprocessor 108.

상기 제1전처리부(108)는 상기 두 번호판 영역의 각 픽셀에 대해 동일 위치의 픽셀들간 밝기값을 각각 비교하여, 작은 밝기값을 가지는 픽셀을 해당 위치의 픽셀로 선택함으로써, 해당 차량의 번호판 영역의 영상정보를 재구성한다. 상기한 바와 같이 번호판 영역이 새로이 구성되면, 상기 제1전처리부(108)는 상기 재구성된 번호판 영역의 영상정보를 번호판 인식부(112)로 제공한다. The first preprocessor 108 compares brightness values between pixels of the same position with respect to each pixel of the two license plate areas, and selects a pixel having a small brightness value as a pixel of the corresponding position, thereby obtaining the corresponding license plate area of the vehicle. Reconstruct the video information of the. When the license plate area is newly configured as described above, the first preprocessor 108 provides the license plate recognition unit 112 with image information of the reconstructed license plate area.

상기한 제1전처리부(108)에 의한 번호판 영역의 영상정보 재구성 과정을 도 4를 참조하여 간략히 설명한다. 상기 도 4의 (a)는 제1영상정보로부터의 번호판 영역을 도시한 것이고, 상기 도 4의 (b)는 제2영상정보의 번호판 영역을 도시한 것이며, 상기 도 4의 (c)는 상기 제1전처리부(108)에 의해 재구성된 번호판 영역을 도시한 것이다. 상기 도 4의 (a) 및 (b)는 시간의 경과에 의해 밝기값이 큰 빗방울 또는 눈입자 촬상 부분이 상이하므로, 본 발명의 제1전처리부(108)가 각 픽셀에 대해 동일 위치의 픽셀들간 밝기값을 비교하여, 작은 밝기값을 가지는 픽셀을 해당 위치의 픽셀로 선택함으로써, 도 4의 (c)에 나타낸 바와 같이 빗방울 또는 눈입자 촬상 부분이 제거되어 번호판이 명확하게 표식되는 번호판 영역을 획득할 수 있다. The image information reconstruction process of the license plate area by the first preprocessor 108 will be briefly described with reference to FIG. 4. 4A illustrates a license plate area from the first image information, FIG. 4B illustrates a license plate area of the second image information, and FIG. 4C illustrates the license plate area from the first image information. The license plate area reconstructed by the first preprocessor 108 is shown. 4A and 4B, since raindrops or snow particle imaging portions having a large brightness value are different with time, the first preprocessing unit 108 of the present invention uses the same position for each pixel. By comparing the brightness values among them, by selecting a pixel having a small brightness value as the pixel of the corresponding position, as shown in (c) of FIG. Can be obtained.

그리고, 상기한 제2전처리부(110)는 상기 입차 검출부(104)가 제공하는 영상정보로부터 번호판 영역을 추출하고, 그 추출된 번호판 영역의 영상정보를 번호판 인식부(112)로 제공한다. The second preprocessor 110 extracts the license plate area from the image information provided by the occupancy detection unit 104, and provides the license plate recognition unit 112 with image information of the extracted license plate area.

상기 번호판 인식부(112)는 제1 또는 제2전처리부(108,110)가 제공하는 번호판 영역의 영상정보를 제공받아, 상기 번호판 영역에 포함되는 문자 및 숫자를 추출하여 인식한다. The license plate recognition unit 112 receives image information of the license plate area provided by the first or second preprocessors 108 and 110, and extracts and recognizes letters and numbers included in the license plate area.

상기한 바와 같이 구성되는 전처리부(PP)의 동작을 도 5의 처리 흐름도를 참조하여 좀더 상세히 설명한다. An operation of the preprocessing unit PP configured as described above will be described in more detail with reference to the processing flowchart of FIG. 5.

상기 전처리부(PP)는 상기 촬상장치(100)로부터 제공되는 영상정보로부터 차량의 입차가 검출되는지를 체크한다(200단계). The preprocessing unit PP checks whether or not a vehicle entrance is detected from the image information provided from the imaging apparatus 100 (step 200).

상기 차량의 입차가 검출되면, 상기 전처리부(PP)는 상기 영상정보의 에지를 검출하고 상기 에지의 분포에 대한 분산값을 산출하고, 상기 분산값에 따라 열악환경 또는 정상환경을 판별한다(202단계). When the occupancy of the vehicle is detected, the preprocessor PP detects an edge of the image information, calculates a dispersion value for the distribution of the edge, and determines a poor environment or a normal environment according to the dispersion value (202). step).

상기 판별결과가 정상환경이면, 상기 전처리부(PP)는 상기 촬상장치(100)로부터 제공되는 영상정보로부터 번호판 영역을 추출하고, 그 번호판 영역의 영상정보를 번호판 인식부(112)로 제공한다(204,206단계). If the determination result is a normal environment, the preprocessing unit PP extracts the license plate area from the image information provided from the imaging apparatus 100 and provides the license plate recognition unit 112 with the image information of the license plate area ( Steps 204,206).

상기한 바와 다르게 상기 판별결과가 열악환경이면, 상기 전처리부(PP)는 연속되는 제1 및 제2영상정보를 임시저장하고, 상기 제1영상정보로부터 번호판 영역을 추출하고, 상기 추출된 제1영상정보의 번호판 영역과 상기 제2영상정보에 대해 블럭 매칭을 이행하여 상기 제2영상정보에서의 번호판 영역을 추출한다(210,212단계). Unlike the above, if the determination result is a poor environment, the preprocessing unit PP temporarily stores consecutive first and second image information, extracts a license plate area from the first image information, and extracts the extracted first. Block matching is performed on the license plate area of the image information and the second image information to extract the license plate area from the second image information (steps 210 and 212).

상기 제1 및 제2영상정보 각각으로부터 번호판 영역이 추출되면, 상기 전처리부(PP)는 상기 제1 및 제2영상정보의 번호판 영역의 크기가 동일하게 되도록 두 번호판 영역의 크기를 조정한다(214단계). 여기서, 상기 크기 조정은 상기 제2영상정보에 대한 크기를 확장하는 것으로 이행되며, 상기 확장은 인터폴레이션 또는 바이리니어 방식이 채용된다. When the license plate area is extracted from each of the first and second image information, the preprocessor PP adjusts the sizes of the two license plate areas so that the size of the license plate areas of the first and second image information is the same (214). step). In this case, the size adjustment is performed by extending the size of the second image information, and the expansion is performed by an interpolation or bilinear method.

상기 크기가 동일하게 된 두 번호판 영역의 영상정보에 대해, 상기 전처리부(PP)는 두 번호판 영역의 영상정보의 각 픽셀에 대해 동일 위치의 픽셀들간 밝기값을 비교하며, 두 픽셀 중 밝기값이 작은 픽셀을 해당 위치의 픽셀로 선택하여 번호판 영역을 재구성한다(216단계).For the image information of the two license plate areas having the same size, the preprocessing unit PP compares the brightness values between the pixels at the same position for each pixel of the image information of the two license plate areas, A small pixel is selected as a pixel of the corresponding position to reconstruct the license plate area (step 216).

상기 번호판 영역이 재구성되면, 상기 전처리부(PP)는 상기 재구성된 번호판 영역의 영상신호를 상기 번호판 인식부(112)로 전송한다(218단계). When the license plate area is reconstructed, the preprocessing unit PP transmits the image signal of the reconstructed license plate area to the license plate recognition unit 112 (step 218).

상술한 바와 같이 본 발명은 비 또는 눈이 오는 열악한 환경에서 주행중인 차량의 번호판 인식의 정확도를 향상시킬 수 있는 이점이 있다. As described above, the present invention has an advantage of improving the accuracy of license plate recognition of a vehicle running in a harsh environment in rain or snow.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible.

따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications thereof will belong to the scope of the present invention.

Claims (12)

번호판 인식 시스템의 전처리 방법에 있어서,In the preprocessing method of the license plate recognition system, 주행중인 차량의 전면을 연속되게 촬상한 다수의 영상정보 각각에 대해 번호판 영역을 추출하는 단계;Extracting a license plate area for each of a plurality of pieces of image information obtained by continuously photographing a front surface of a driving vehicle; 상기 추출된 다수의 번호판 영역의 크기를 동일하게 조정하는 단계;Adjusting the size of the extracted plurality of license plate areas equally; 상기 크기가 조정된 다수의 번호판 영역 각 픽셀들에 대해 동일 위치의 픽셀들간의 밝기값을 비교하는 단계;Comparing brightness values of pixels of the same position for each pixel of the resized number plate area; 상기 밝기값이 작은 픽셀을 해당 위치의 픽셀로 선택하여 번호판 영역의 영상정보를 재구성하여 출력하는 단계Reconstructing and outputting image information of a license plate area by selecting a pixel having a small brightness value as a pixel of a corresponding position; 를 포함하는 것을 특징으로 하는 번호판 인식 시스템의 전처리 방법. Preprocessing method of a license plate recognition system comprising a. 제1항에 있어서, The method of claim 1, 상기 다수의 영상정보에 대한 번호판 영역의 추출은, Extraction of the license plate area for the plurality of image information, 어느 한 영상정보로부터 번호판 영역을 추출하고, Extract the license plate area from any video information, 상기 추출된 번호판 영역과 나머지 영상정보를 블럭 매칭하여 나머지 영상정보에서의 번호판 영역을 추출하는 것임을 특징으로 하는 번호판 인식 시스템의 전처리 방법. Pre-processing the license plate recognition system, wherein the license plate area is extracted from the remaining image information by block matching the extracted license plate area and the remaining image information. 제1항에 있어서, The method of claim 1, 상기 영상정보에 대해 에지를 검출하고, 상기 에지 분포의 분산값을 산출하여, 상기 분산값이 소정치 이하이면 상기 차량의 전면을 촬상한 단일의 영상정보로부터 번호판 영역을 추출하여 출력하는 단계를 더 구비함을 특징으로 하는 번호판 인식 시스템의 전처리 방법. Detecting an edge of the image information, calculating a variance value of the edge distribution, and extracting and outputting a license plate area from a single image information of the front surface of the vehicle when the variance value is less than or equal to a predetermined value. A pre-processing method of a license plate recognition system characterized in that it comprises. 제1항에 있어서, The method of claim 1, 다수의 번호판 영역은 인터폴레이션 또는 바이리니어 방식에 따라 크기가 조정됨을 특징으로 하는 번호판 인식 시스템의 전처리 방법. And a plurality of license plate areas are resized according to an interpolation or bilinear scheme. 번호판 인식 시스템에 있어서,In the license plate recognition system, 주행중인 차량의 전면을 촬상하는 촬상장치;An imaging device for capturing the front surface of the vehicle in motion; 상기 촬상장치가 연속되게 촬상한 다수의 영상정보 각각에 대해 번호판 영역을 추출하고, 상기 추출된 다수의 번호판 영역의 크기를 동일하게 조정하고, 상기 크기가 조정된 다수의 번호판 영역 각 픽셀들에 대해 동일 위치의 픽셀들간의 밝기값을 비교하고, 상기 밝기값이 작은 픽셀을 해당 위치의 픽셀로 선택하여 번호판 영역의 영상정보를 재구성하여 출력하는 전처리장치;The image pick-up device extracts a license plate area for each of a plurality of image information continuously captured, adjusts the size of the extracted plurality of license plate areas equally, and controls each of the pixels of the adjusted number plate area. A pre-processing apparatus for comparing brightness values between pixels at the same position, selecting pixels having the smallest brightness value as pixels at corresponding positions, and reconstructing and outputting image information of the license plate area; 상기 전처리 장치가 출력하는 번호판 영역의 영상정보로부터 숫자 및/또는 문자를 인식하는 번호판 인식부License plate recognition unit for recognizing numbers and / or letters from the image information of the license plate area output by the preprocessor 를 포함하는 것을 특징으로 하는 번호판 인식 시스템.License plate recognition system comprising a. 제5항에 있어서, The method of claim 5, 상기 전처리장치는, The pretreatment device, 어느 한 영상정보로부터 번호판 영역을 추출하고, Extract the license plate area from any video information, 상기 추출된 번호판 영역과 나머지 영상정보를 블럭 매칭하여 나머지 영상정보에서의 번호판 영역을 추출함을 특징으로 하는 번호판 인식 시스템.And license plate extraction from the remaining image information by block matching the extracted license plate area and the remaining image information. 제5항에 있어서, The method of claim 5, 상기 전처리장치는, The pretreatment device, 상기 영상정보에 대해 에지를 검출하고, 상기 에지 분포의 분산값을 산출하여, 상기 분산값이 소정치 이하이면 상기 차량의 전면을 촬상한 단일의 영상정보로부터 번호판 영역을 추출하여 출력함을 특징으로 하는 번호판 인식 시스템. Edges are detected with respect to the image information, a dispersion value of the edge distribution is calculated, and when the dispersion value is less than or equal to a predetermined value, the license plate area is extracted and output from the single image information photographing the front surface of the vehicle. License plate recognition system. 제5항에 있어서, The method of claim 5, 다수의 번호판 영역은 인터폴레이션 또는 바이리니어 방식에 따라 크기가 조정됨을 특징으로 하는 번호판 인식 시스템. A license plate recognition system, characterized in that a plurality of license plate areas are sized according to an interpolation or bilinear scheme. 차량의 전면을 연속되게 촬상하는 촬상장치와 번호판 영역의 영상신호를 제공받아 인식하는 번호판 인식부를 구비하는 번호판 인식 시스템에서의 전처리 장치에 있어서,A pre-processing apparatus in a license plate recognition system comprising an image pickup device for continuously photographing the front surface of a vehicle and a license plate recognition unit for receiving and recognizing an image signal of a license plate area. 상기 촬상장치가 연속되게 촬상한 영상정보에 대해 에지를 검출하고, 상기 에지 분포의 분산값을 산출하여 상기 분산값이 소정치 이상이면 열악환경으로 판단하는 환경 판단부;An environmental determination unit which detects an edge of the image information continuously captured by the imaging device, calculates a dispersion value of the edge distribution, and determines that the environment is poor when the dispersion value is greater than or equal to a predetermined value; 상기 환경 판단부가 열악환경으로 판단하면, 상기 촬상장치가 촬상한 영상정보를 처리하여 입차여부를 검출하고, 상기 입차가 검출되면 상기 촬상장치가 연속되게 촬상한 다수의 영상정보를 제공받아 출력하는 입차 검출부; If the environment judging unit determines that the environment is poor, the image processing apparatus processes the image information captured by the image pickup device to detect whether or not the entrance is detected, and when the entrance detection is detected, the image pickup device receives and outputs a plurality of image information continuously captured Detection unit; 상기 다수의 영상정보를 제공받아, 상기 다수의 영상정보 각각에 대해 번호판 영역을 추출하고, 상기 추출된 다수의 번호판 영역의 크기를 동일하게 조정하여 출력하는 연속 영상정보 처리부; A continuous image information processor receiving the plurality of image information, extracting license plate regions for each of the plurality of image information, and adjusting and outputting the same size of the extracted plurality of license plate regions; 상기 크기가 조정된 다수의 번호판 영역의 영상정보를 제공받아, 상기 다수의 번호판 영역의 각 픽셀들에 대해 동일 위치의 픽셀들간의 밝기값을 비교하고, 상기 밝기값이 작은 픽셀을 해당 위치의 픽셀로 선택하여 번호판 영역의 영상정보를 재구성하여 상기 번호판 인식부로 제공하는 전처리부The image information of the plurality of scaled license plate areas is provided to compare brightness values of pixels of the same position with respect to each pixel of the plurality of license plate areas, and the pixels having the smallest brightness value are pixels of the corresponding positions. Pre-processing unit for reconstructing the image information of the license plate area to provide to the license plate recognition unit 를 포함하는 것을 특징으로 하는 번호판 인식 시스템의 전처리 장치. Pre-processing device of a license plate recognition system comprising a. 제9항에 있어서, The method of claim 9, 상기 연속 영상정보 처리부는, The continuous image information processing unit, 어느 한 영상정보로부터 번호판 영역을 추출하고, Extract the license plate area from any video information, 상기 추출된 번호판 영역과 나머지 영상정보를 블럭 매칭하여 나머지 영상정보에서의 번호판 영역을 추출함을 특징으로 하는 번호판 인식 시스템의 전처리 장치.Pre-processing the license plate recognition system, wherein the license plate area is extracted from the remaining image information by block matching the extracted license plate area and the remaining image information. 제9항에 있어서, The method of claim 9, 단일의 영상정보로부터 번호판 영역을 추출하여 상기 번호판 인식부로 제공하는 정상환경 전처리부를 더 구비하며,It further comprises a normal environment pre-processing unit for extracting the license plate area from the single image information provided to the license plate recognition unit, 상기 환경 판단부가 열악환경으로 판단하지 않으면, 상기 촬상장치가 촬상한 영상정보를 처리하여 입차여부를 검출하고, 상기 입차가 검출되면 상기 촬상장치가 촬상한 단일의 영상정보를 제공받아 상기 정상환경 전처리부로 출력하는 것을 특징으로 하는 번호판 인식 시스템의 전처리 장치. If the environment judging unit does not determine that the environment is poor, the image processing apparatus processes the image information captured by the image pickup device to detect whether or not the entrance is detected. A pre-processing device for a license plate recognition system, characterized in that outputted by negative. 제9항에 있어서, The method of claim 9, 상기 연속 영상정보 처리부는The continuous image information processing unit 다수의 번호판 영역에 대해 인터폴레이션 또는 바이리니어 방식에 따라 크기를 조정함을 특징으로 하는 번호판 인식 시스템의 전처리 장치.A preprocessing apparatus of a license plate recognition system, characterized in that the size is adjusted according to an interpolation or bilinear scheme for a plurality of license plate areas.
KR1020060114365A 2006-11-20 2006-11-20 Recognition system for registration number plate and pre-processor and method therefor KR100801989B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060114365A KR100801989B1 (en) 2006-11-20 2006-11-20 Recognition system for registration number plate and pre-processor and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060114365A KR100801989B1 (en) 2006-11-20 2006-11-20 Recognition system for registration number plate and pre-processor and method therefor

Publications (1)

Publication Number Publication Date
KR100801989B1 true KR100801989B1 (en) 2008-02-12

Family

ID=39342716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060114365A KR100801989B1 (en) 2006-11-20 2006-11-20 Recognition system for registration number plate and pre-processor and method therefor

Country Status (1)

Country Link
KR (1) KR100801989B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973999B1 (en) 2010-03-05 2010-08-05 (주)나인정보시스템 Robust method of segmenting characters of license plate on irregular illumination condition
KR101058726B1 (en) 2009-11-11 2011-08-22 삼성전자주식회사 Image correction device and method for removing lighting components
KR101240617B1 (en) 2012-08-31 2013-03-11 딕스비전 주식회사 Licence plate recognition system and method using dualized recognition algorithm
KR101403876B1 (en) 2012-03-19 2014-06-09 한밭대학교 산학협력단 Method and Apparatus for Vehicle License Plate Recognition

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309495A (en) * 1993-04-21 1994-11-04 Japan Radio Co Ltd Device for determining number plate area
JPH06348892A (en) * 1993-06-11 1994-12-22 Nippon Signal Co Ltd:The Picture data binarization method
JPH08190691A (en) * 1995-01-11 1996-07-23 Nippon Signal Co Ltd:The Number plate extractor
JP2001126027A (en) 1999-10-28 2001-05-11 Mitsubishi Heavy Ind Ltd Number plate recognition system
KR20030038013A (en) * 2001-11-08 2003-05-16 삼성전자주식회사 Vehicle plate recognition method
KR20050075989A (en) * 2004-01-19 2005-07-26 민태홍 Automatic licensed plate recognition system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309495A (en) * 1993-04-21 1994-11-04 Japan Radio Co Ltd Device for determining number plate area
JPH06348892A (en) * 1993-06-11 1994-12-22 Nippon Signal Co Ltd:The Picture data binarization method
JPH08190691A (en) * 1995-01-11 1996-07-23 Nippon Signal Co Ltd:The Number plate extractor
JP2001126027A (en) 1999-10-28 2001-05-11 Mitsubishi Heavy Ind Ltd Number plate recognition system
KR20030038013A (en) * 2001-11-08 2003-05-16 삼성전자주식회사 Vehicle plate recognition method
KR20050075989A (en) * 2004-01-19 2005-07-26 민태홍 Automatic licensed plate recognition system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101058726B1 (en) 2009-11-11 2011-08-22 삼성전자주식회사 Image correction device and method for removing lighting components
US8538191B2 (en) 2009-11-11 2013-09-17 Samsung Electronics Co., Ltd. Image correction apparatus and method for eliminating lighting component
KR100973999B1 (en) 2010-03-05 2010-08-05 (주)나인정보시스템 Robust method of segmenting characters of license plate on irregular illumination condition
KR101403876B1 (en) 2012-03-19 2014-06-09 한밭대학교 산학협력단 Method and Apparatus for Vehicle License Plate Recognition
KR101240617B1 (en) 2012-08-31 2013-03-11 딕스비전 주식회사 Licence plate recognition system and method using dualized recognition algorithm

Similar Documents

Publication Publication Date Title
US8798314B2 (en) Detection of vehicles in images of a night time scene
KR101717613B1 (en) The moving vehicle detection system using an object tracking algorithm based on edge information, and method thereof
US10423843B2 (en) Vehicle vision system with enhanced traffic sign recognition
EP1837803A2 (en) Headlight, taillight and streetlight detection
Kaur et al. An efficient approach for number plate extraction from vehicles image under image processing
CN110520898B (en) Image processing method for eliminating bright area
WO1997016926A1 (en) Method and apparatus for determining ambient conditions from an image sequence
KR101561626B1 (en) The Vehicle Black Box Capable of Real-Time Recognizing a License Number Plate for Moving Vehicle
CN111046741A (en) Method and device for identifying lane line
KR101026778B1 (en) Vehicle image detection apparatus
JP3550874B2 (en) Monitoring device
KR100801989B1 (en) Recognition system for registration number plate and pre-processor and method therefor
KR101705061B1 (en) Extracting License Plate for Optical Character Recognition of Vehicle License Plate
JP5353531B2 (en) Vehicle light recognition device and program
CN112949423B (en) Object recognition method, object recognition device and robot
US20210089818A1 (en) Deposit detection device and deposit detection method
JP2004086417A (en) Method and device for detecting pedestrian on zebra crossing
EP2756450A1 (en) Method for detection of a rain drop on the windscreen of a vehicle and driver assistance system
CN110321828B (en) Front vehicle detection method based on binocular camera and vehicle bottom shadow
CN110363192B (en) Object image identification system and object image identification method
JP2970168B2 (en) Vehicle detection device
CN108259819B (en) Dynamic image feature enhancement method and system
US11393128B2 (en) Adhered substance detection apparatus
KR101547239B1 (en) System and method for adjusting camera brightness based extraction of background image
JPH11219493A (en) Method for processing traffic information

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130116

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131205

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141211

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160524

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee