KR20190058863A - License plate matching system by using learning algorithm and method thereof - Google Patents

License plate matching system by using learning algorithm and method thereof Download PDF

Info

Publication number
KR20190058863A
KR20190058863A KR1020170156228A KR20170156228A KR20190058863A KR 20190058863 A KR20190058863 A KR 20190058863A KR 1020170156228 A KR1020170156228 A KR 1020170156228A KR 20170156228 A KR20170156228 A KR 20170156228A KR 20190058863 A KR20190058863 A KR 20190058863A
Authority
KR
South Korea
Prior art keywords
data
learning algorithm
image
module
vehicle
Prior art date
Application number
KR1020170156228A
Other languages
Korean (ko)
Other versions
KR101987671B1 (en
Inventor
김영문
정재석
임도훈
백현복
조현희
Original Assignee
한국도로공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국도로공사 filed Critical 한국도로공사
Priority to KR1020170156228A priority Critical patent/KR101987671B1/en
Publication of KR20190058863A publication Critical patent/KR20190058863A/en
Application granted granted Critical
Publication of KR101987671B1 publication Critical patent/KR101987671B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

According to the present invention, a vehicle number recognition system comprises: an image input module (10) installed on a toll gate of a highway to continuously receive an input image of a license plate of a vehicle; a vehicle number identification module (20) for determining the license plate of the vehicle received from the image input module (10) and extracting an image of the license plate to output first data (D_1) for a character string of the vehicle number; a learning algorithm module (30) outputting second data (D_2) for the character string of the vehicle number by the image of the license plate of the vehicle received from the image input module (10) separately from the vehicle number identification module (20) and correcting a learning algorithm for tracking of the image data and extracting of the character string by the continuous image from the image input module (10) for the license plate of the vehicle when there is a difference by comparing the second data (D_2) with the first data (D_1) outputted by the vehicle number identification module (20); and a data output module (40) for outputting data by the learning algorithm module (30).

Description

학습 알고리즘을 이용한 차량번호 인식 시스템 및 그 방법{License plate matching system by using learning algorithm and method thereof}[0001] The present invention relates to a vehicle identification number recognition system using a learning algorithm,

본 발명은 학습 알고리즘을 이용한 차량번호 인식 시스템에 관한 것으로서, 보다 상세하게는 딥러닝 알고리즘을 이용하여 차량 영상을 학습하고, 학습한 데이터를 기반으로 차량 번호를 인식한 후 스스로 인식결과에 대한 신뢰도를 검증함으로써 정확한 차량번호를 인식할 수 있는 학습 알고리즘을 이용한 차량번호 인식 시스템 및 그 방법에 관한 것이다.More particularly, the present invention relates to a vehicle number recognition system using a learning algorithm. More specifically, the present invention relates to a vehicle number recognition system using a deep learning algorithm to learn a vehicle image and recognize the vehicle number based on the learned data, The present invention relates to a system and method for recognizing a vehicle number using a learning algorithm capable of recognizing an accurate vehicle number by verification.

일반적으로 차량번호는 각 차량마다 식별을 위해 부여된 고유번호로서,차량번호를 통해서 차량의 이름/제작사/제작년월/배기량/원동기 형식 등 기본정보의 확인이 가능하며 차량에 관한 중요정보의 확인도 가능하다. In general, the vehicle number is a unique number assigned to each vehicle. The vehicle number can be used to identify basic information such as the name of the vehicle, the manufacturer, the production date, the amount of displacement, and the prime mover type. It is possible.

특히 고속도로와 같은 유료도로에서 차량번호판을 기준으로 이를 인식하여 요금을 부과하는 기술이 보급되고 있다. 이와 관련하여 국가 ITS 아키텍처 중에 하나인 전자지불 서비스의 일환으로 한국도로공사는 2007년에 하이패스 시스템을 전국 고속도로 톨게이트에 도입하여 수동 요금징수로 인한 교통 정체의 문제를 해소하는데 크게 기여하였으며, 2014년에는 다차로 무정차 요금징수 방식의 스마트톨링 시스템을 서부산영업소에 구축하여 시범운영 중에 있으며, 2020년에는 스마트톨링 시스템의 전국 확대를 추진 중에 있다. 이 때 반드시 필요한 장비 중의 하나가 차량번호 인식장비이다. Especially, on the toll roads such as the expressway, a technique of charging the fee by recognizing the license plate based on the license plate is becoming widespread. As a part of the electronic payment service, which is one of the national ITS architecture, Korea Highway Corporation introduced high pass system to the highway toll gate nationwide in 2007 and contributed to solve the problem of traffic congestion due to manual fare collection. , A smart tolling system based on multi-tariff charging system is being installed at the Seobu-san Office and is under trial operation. In 2020, the Smart Tolling System is being expanded nationwide. One of the essential equipments is vehicle number recognition equipment.

차량번호 인식과 관련하여 종래 카메라로부터 차량의 전면을 촬영한 상태에서 차량번호판을 추출한 후에 차량의 번호를 인식하는 기술이 이용되어 왔다.A technique of recognizing the number of a vehicle after extracting a license plate in a state in which a front surface of the vehicle has been photographed from a conventional camera has been used.

그러나 종래 차량번호인식기는 태양과 환경변화 등에 조도조절 기계 대응이 빠르게 작동할 수가 없는 이유로 에러율이 많이 발생할 수밖에 없어 사용에 한계가 있었으며, 종래의 차량번호인식기는 야간에 차량용 조명이 켜져 번호판이 촬영할 수 없게 되고, 번호판 촬영을 위해 차량의 조명 이상의 조명을 차량에 비추게 되면, 운전자의 시야가 가려지는 현상이 발생하기 때문에 적외선 조명을 사용할 수밖에 없는데, 모든 전자 카메라의 사용되는 이미지소자(CMOS와 CCD)는 가시광선외 거의 모든 파장대의 빛을 촬영할 수가 있으나 인간의 눈은 가시광선 외에 빛을 거의 볼 수가 없고 볼 필요도 없기 때문에 양질의 가시광선을 볼 수 있으면서도 자외선에 의한 촬영소자의 수명단축을 위해, 가시광선외 모든 빛을 차단하는 적외선 차단필터가 끼워져 사용되어 왔는데, 차량번호인식용 장치에서는 야간에 적외선 조명을 켜야 하는 이유로 적외선 차단필터를 제거하여 사용하게 된다.However, in the conventional car number recognizer, there is a limit to the use of the car number recognizer because it can not operate quickly because of the lack of quick response to the adjustment of the sun and the environment. The conventional car number recognizer has a car light (CMOS and CCD) of all the electronic cameras. In this case, it is necessary to use infrared light because the driver's vision is blocked. Is capable of capturing light of almost all wavelengths outside visible light, but since the human eye can not see or need to see light in addition to visible light, it can display visible light of good quality. In order to shorten the lifetime of the imaging element by ultraviolet rays, An infrared cut-off filter is used to block all over-the-board light. In the car identification system, the infrared cut filter is removed for the reason of turning on the infrared light at night.

그러나 이로 인해 주간 촬영시에 가시광선과 기타 모든 광선의 빛의 굴절 각도가 달라 초점거리가 달라지기 때문에 선명한 해상도 촬영이 불가능하고, 정확한 색상구현의 조건 등에 매시간 다르게 변하게 되므로, 인식률이 시간에 따라 달라지는 문제점이 있었으며, 종래 차량번호인식기에 사용되는 카메라 렌즈는 태양광 양에 따른 자동 조리개가 부착된 AUTO-IRIS용을 사용할 경우 태양광이 번호인식기가 설치된 곳의 중앙에 위치할 때는 번호판 위치에 그림자와 반사광이 발생하지 않아 좋은 영상을 촬영할 수 있으나, 자동조리개는 주변조도 변화에 반응속도가 느리기 때문에, 차량번호인식을 위한 순간에 구름에 의한 순간 조도변화나, 태양광 빛이 위치한 곳에 따라 차량에 의한 반사광/역광/측광 등으로 인해, 영상 촬영이 불가능한 시간대가 발생하여 그에 따른 차량번호의 인식률이 저하되거나 차량번호 인식이 불가능한 상태가 발생되었다.However, since the focal distance varies depending on the angle of refraction of the light of the visible ray and all the other rays during the daytime shooting, it is impossible to take a clear resolution, and the conditions of accurate color implementation are changed differently from hour to hour. And the camera lens used in the conventional car number recognizer is located at the center of the place where the number recognizer is installed when using the AUTO-IRIS with automatic iris according to the amount of sunlight, the shadow of the license plate and the reflected light The automatic iris is slow in response to the variation of the ambient illuminance. Therefore, the instantaneous illuminance change due to the cloud at the moment of recognizing the car number, the reflection light by the vehicle depending on the position of the sun light, / Backlight / Metering, etc., a time zone in which shooting is not possible occurs The recognition of the license plate number, or decreased accordingly has occurred while the vehicle code unreadable.

따라서 이러한 문제점을 해결하기 위하여 특허 제10-1146581호는, 도 1에 도시된 바와 같이, 태양 또는 조명의 위치에 따라 그림자가 달라지는 것을 감지하여 광원의 위치를 판독하고, 조도량을 측정하는 태양/조명위치판별센서부(11), 상기 태양/조명위치판별센서부(11)로부터 측정된 조도량이 판독되면, 사전에 설정된 조도량에 따른 주간/야간/눈/비/안개/구름에 따른 대비 데이터와 비교하여 주간/야간을 판단하여 카메라부(13)의 필터를 체인지하고, 촬영 영상이 입력되면 번호인식알고리즘을 통해 차량번호를 인식하는 컴퓨터부(12), 주간일 경우 컴퓨터부(12)의 제어신호에 의해 콘트롤부(14)에서 입력되는 구동신호에 따라, 태양광 중 가시광선만을 투과시키는 적외선제거용필터(13a)와 야간일 경우 컴퓨터부(12)의 제어신호에 의해 콘트롤부(14)에서 입력되는 구동신호에 따라 자동차 헤드라이트에서 조사되는 가시광선을 차단하고, 적외선램프부(15)가 비춘 동일 파장대의 빛만 투과시키는 적외선통과용필터(13b)를 포함하며, 측광에 의한 에러 방지를 위해 모터에 의해 90도 각도로 정/역회전하는 카메라부(13)로 이루어진 차량번호 인식 시스템을 제공하고 있다.In order to solve such a problem, Japanese Patent No. 10-1146581, as shown in Fig. 1, describes a method for detecting a shadow by changing the position of a sun or an illumination, reading the position of the light source, When the illuminance measured by the illuminated position discrimination sensor unit 11 and the sun / illuminated position discrimination sensor unit 11 is read, contrast data corresponding to day / night / eye / rain / fog / A computer unit 12 for recognizing the vehicle number through a number recognition algorithm when the photographed image is input, and a computer unit 12 for recognizing the vehicle number during the daytime An infrared ray removing filter 13a for transmitting visible light only in the sunlight according to a drive signal inputted from the control unit 14 by a control signal and a control unit 14a for controlling the infrared ray removing filter 13a ) And an infrared ray passing filter 13b that blocks visible light emitted from the automobile headlight according to the driving signal and transmits only the light of the same wavelength band emitted by the infrared lamp unit 15. In order to prevent error by metering, And a camera unit 13 that rotates in the forward / reverse directions at an angle of 90 degrees.

그러나 이러한 종래 차량번호 인식 시스템의 경우 차량번호 인식장비에 차량번호 인식률의 성능을 평가하는 단체표준(ITSK-00041, ITSK-00088)을 적용한 결과 고속도로에 도입되는 차량번호 인식장비가 성능평가 표준을 준수하여 번호 인식률을 만족하여도 실제 고속도로에 도입하여 운영시에는 폭설, 역광, 번호판 훼손·오염 등 환경적 요인과 기술적 한계로 인하여 성능평가표준의 번호 인식률에 미치지 못하는 실정이다.However, in the case of the conventional car number recognition system, as a result of applying the group standard (ITSK-00041, ITSK-00088) which evaluates the performance of the car number recognition rate to the car number recognition device, the car number recognition device introduced to the highway meets the performance evaluation standard However, even if it satisfies the number recognition rate, it is introduced into the actual highway and it is not able to reach the number recognition rate of the performance evaluation standard due to environmental factors and technical limitations such as snowfall, backlighting, license plate damage and pollution.

더욱이 고속도로의 원톨링 시스템(2016년) 및 스마트톨링 시스템(2020년)의In addition, the highway tolling system (2016) and the smart tolling system (2020)

도입으로 차량번호 인식장치가 단순히 면탈, 도주 등의 적발을 위한 보조적인 수단에서 일반차량(단말기 미부착 차량)에 대한 통행료 고지를 위한 주요수단으로 기능이 확대됨에 따라 차량번호 인식장치의 차량번호 인식률 및 인식 정확성에 대한 검증이 더욱 중요해지고 있다. As the function is expanded as a main means for notifying the toll on a general vehicle (unattended vehicle) from an auxiliary means for detecting a vehicle number recognition device such as getting out or getting out, the vehicle number recognition rate of the vehicle number recognition device Verification of recognition accuracy is becoming more important.

차량번호 인식장비의 정확도가 100%에 미치지 못함에 따라 운영기관에서는 영상심사 담당자로 하여금 육안식별과 영상보정 등 업무처리를 통해 이러한 문제를 해결하고 있고, 이는 차량번호 인식시스템의 자동화에 큰 걸림돌이 되고 있다.Since the accuracy of vehicle number recognition equipment is less than 100%, the operating agency solves these problems through visual identification and image correction, which is a big obstacle to the automation of car number recognition system. .

따라서 차량번호판의 문자, 숫자, 지역문자 뿐 아니라 번호판 영역 자체에 대하여 다양한 환경하에서 이를 스스로 인지하고 이를 바탕으로 차량번호를 인식할 수 있는 기술의 개발이 요구되고 있다.Therefore, it is required to develop a technology for recognizing the license plate area itself, as well as characters, numbers and local characters of the license plate, under various circumstances and recognizing the license number based on the recognition.

또한, 열악한 외부환경으로 인해 미인식된 차량번호를 재인식하고, 현장설비In addition, due to the poor external environment, it is possible to recognize the unrecognized vehicle number,

에서 인식된 전체 인식결과에 대해 오인식 여부를 자동으로 판별할 수 있는 기술의 개발이 요구되고 있다.There is a need to develop a technology capable of automatically determining whether or not an error has occurred in the entire recognition result recognized by the user.

따라서 본 발명의 목적은 차량번호판의 문자, 숫자, 지역문자 뿐 아니라 번호판 영역 자체에 대하여 다양한 환경하에서 이를 스스로 인지하고 그에 따른 인식오류에 대한 학습을 통하여 차량번호를 보다 정확하게 인식할 수 있는 학습 알고리즘을 이용한 차량번호 인식 시스템을 제공하는 것이다.Therefore, it is an object of the present invention to provide a learning algorithm capable of recognizing the license plate area itself in various environments as well as letters, numbers and local characters of the license plate, And to provide a vehicle identification system using the vehicle identification number.

또한, 본 발명의 다른 목적은 열악한 외부환경으로 인해 미인식된 차량번호를 재인식하고 현장설비에서 인식된 전체 인식결과에 대해 오인식 여부를 자동으로 판별함으로써 학습 알고리즘을 이용한 차량번호 인식 시스템을 제공하는 것이다.Another object of the present invention is to provide a vehicle number recognition system using a learning algorithm by re-recognizing an unrecognized vehicle number due to a poor external environment and automatically determining whether or not the recognition result is correct for all recognition results recognized in the field facility .

본 발명의 제1 면에 의하면, 고속도로의 톨게이트에 설치되어 차량의 번호판에 대한 영상을 연속하여 입력받기 위한 영상 입력모듈(10); 영상 입력모듈(10)로부터 입력받은 차량의 번호판을 판별하며 차량 번호판의 이미지를 추출하여 차량번호의 문자열에 관한 제1 데이터(D_1)를 출력하기 위한 차량번호 식별모듈(20); 차량번호 식별모듈(20)과 별도로 영상 입력모듈(10)에 의하여 입력받은 차량의 번호판의 이미지에 의하여 차량번호의 문자열에 대한 제2 데이터(D_2)를 출력하며 상기 제2 데이터(D_2)를 상기 차량번호 식별모듈(20)에 의하여 출력된 제1 데이터(D_1)에 대하여 비교하여 차이가 발생할 경우 해당 차량번호판에 관한 영상 입력모듈(10)에 의한 연속 영상에 의하여 이미지 데이터의 추적과 문자열 추출에 대한 학습알고리즘을 보정하기 위한 학습 알고리즘모듈(30); 및 학습 알고리즘모듈(30)에 의한 데이터를 출력하기 위한 데이터 출력모듈(40)로 이루어지는 학습 알고리즘을 이용한 차량번호 인식 시스템이 제공된다.According to a first aspect of the present invention, there is provided an image display apparatus, comprising: a video input module (10) installed on a toll gate of a highway to continuously input an image of a license plate of a vehicle; A vehicle number identification module 20 for identifying a license plate of the vehicle received from the image input module 10 and extracting an image of the license plate to output first data D_1 related to the character string of the vehicle number; The second data D_2 for the string of the vehicle number is outputted by the image of the license plate of the vehicle received by the image input module 10 separately from the vehicle identification module 20, When the difference is compared with respect to the first data D_1 outputted by the vehicle number identification module 20, the image data is tracked by the continuous image by the image input module 10 related to the vehicle license plate, A learning algorithm module (30) for correcting the learning algorithm; And a data output module (40) for outputting data by the learning algorithm module (30).

여기서, 영상 입력모듈(10)은 고속도로의 톨게이트에 설치되어 차량의 번호판에 대한 영상을 연속하여 입력받기 위한 CCD 카메라로 이루어지는 것이 바람직하다.Here, the image input module 10 is preferably a CCD camera installed on a toll gate of a highway to continuously receive an image of a license plate of a vehicle.

또한, 영상 입력모듈(10)은 서로 위치를 달리하여 차량 번호판의 인식각도를 달리하도록 하기 위한 제1 영상입력부(12)와 제2 영상입력부(14)로 이루어지는 것이 바람직하다.The image input module 10 may include a first image input unit 12 and a second image input unit 14 for differentiating the recognition angle of the vehicle license plate from each other.

또한, 차량번호 식별모듈(20)은 영상 입력모듈(10)로부터 입력받은 차량의 번호판을 판별하기 위한 차량번호판 판별부(22), 차량번호판 판별부(22)로부터 추출된 차량번호판의 이미지로부터 차량번호판의 외관상태에 관한 정보의 이미지를 추출하기 위한 이미지 추출부(24), 및 차량번호판 판별부(22)와 이미지 추출부(24)로부터 추출된 이미지의 데이터로부터 차량번호의 문자열을 추출하여 차량번호에 관한 제1 데이터(D_1)를 출력하기 위한 문자열 추출부(26)로 이루어지는 것이 바람직하다.The car number identification module 20 further includes a car license plate discriminating part 22 for discriminating the car license plate received from the image input module 10, An image extracting unit 24 for extracting an image of information on the appearance state of the license plate and a character string of the vehicle number from the data of the image extracted from the license plate discriminating unit 22 and the image extracting unit 24, And a character string extracting unit 26 for outputting the first data D_1 related to the number.

또한, 차량번호 식별모듈(20)의 차량번호판 판별부(22)는 영상 입력모듈(10)의 제1 영상입력부(12) 또는 제2 영상입력부(14)로부터 입력받은 영상 이미지로부터 차량의 윤곽과 차량 번호판의 위치/모양의 외곽에 관한 이미지에 기초하여 차량 번호판을 판별하여 출력하는 것이 바람직하다.The car license plate discriminating unit 22 of the car number identifying module 20 detects the car contour of the vehicle from the video image received from the first video input unit 12 or the second video input unit 14 of the video input module 10 It is preferable to identify and output the license plate based on the image of the outer shape of the position / shape of the license plate.

또한, 차량번호 식별모듈(20)의 이미지 추출부(24)는 차량번호판 판별부(22)로부터 추출된 차량번호판의 이미지로부터 차량번호판의 외관상태에 관한 정보의 이미지를 추출하는 것이 바람직하다.The image extracting section 24 of the car number identification module 20 preferably extracts an image of the information on the appearance state of the license plate from the image of the car license plate extracted from the license plate discriminating section 22.

또한, 차량번호 식별모듈(20)의 문자열 추출부(26)는 차량번호판 판별부(22)와 이미지 추출부(24)로부터 추출된 이미지의 데이터로부터 차량번호의 문자열을 추출하여 차량번호에 관한 제1 데이터(D_1)를 출력하는 것이 바람직하다.The character string extracting unit 26 of the car number identification module 20 extracts the string of the car number from the data of the image extracted from the license plate discriminating unit 22 and the image extracting unit 24, 1 data (D_1).

또한, 차량번호 식별모듈(20)의 문자열 추출부(26)는 글자 전체 영역별로 문자를 추출하는 문자열추출 알고리즘모듈(26A)과 각 문자 영역에 대한 화소단위로 문자를 추출하는 화소추출 알고리즘모듈(26B)로 이루어지는 것이 바람직하다.The character string extracting unit 26 of the car number identification module 20 includes a character string extraction algorithm module 26A for extracting characters in the entire character area and a pixel extraction algorithm module 26B).

또한, 문자열추출 알고리즘모듈(26A)은 글자 전체 영역에서 문자의 배열에 따른 문자를 추출하는 알고리즘으로 이루어지며, 화소추출 알고리즘모듈(26B)은 각 문자 단위의 영역 내에서 화소단위별로 명암의 대비로 나타나는 화소의 분포로 각 문자의 구성을 이루는 화소를 추출하여 대응되는 문자를 추출하는 알고리즘으로 이루어지는 것이 바람직하다.The character extraction algorithm module 26A includes an algorithm for extracting characters according to the arrangement of characters in the entire character area, and the pixel extraction algorithm module 26B compares the contrast of each pixel unit And an algorithm for extracting the pixels constituting each character from the distribution of the appearing pixels and extracting corresponding characters.

또한, 학습 알고리즘모듈(30)은 차량번호의 인식에 대한 학습 알고리즘 및 차량번호판 이미지에 관한 제2 데이터(D_2)가 저장된 학습 데이터베이스(31), 차량번호 식별모듈(20)과 별도로 영상 입력모듈(10)에 의하여 입력받은 차량 번호판의 이미지에 의하여 차량번호의 문자열에 대한 제3 데이터(D_3)를 출력하기 위한 문자열추출 입력부(32), 차량번호 식별모듈(20)의 문자열 추출부(26)로부터 출력된 제1 데이터(D_1)에 있어서 미인식된 섹터를 추출하기 위한 미인식 섹터추출부(33), 및 미인식 섹터추출부(33)에 의하여 차량 번호판의 미인식된 섹터에 대하여 차량번호 식별모듈(20)의 이미지 추출부(24)에 의하여 추출되는 이미지를 학습 데이터베이스(31)에 저장된 제2 데이터(D_2)와 비교하여 문자열 데이터를 보강하여 출력되는 제4 데이터(D_4)를 생성하기 위한 문자열 데이터보강부(34)로 이루어지는 것이 바람직하다.The learning algorithm module 30 includes a learning database 31 in which second data D_2 relating to the recognition of the vehicle number and the second license plate data D_2 are stored and a video input module A character string extracting and inputting section 32 for outputting third data D_3 of a character string of the vehicle number by an image of the license plate inputted by the character string extracting section 26 of the car number identifying module 20, An unrecognized sector extracting unit 33 for extracting an unrecognized sector in the output first data D_1 and an unrecognized sector extracting unit 33 for extracting a vehicle number identification (D_2) stored in the learning database (31) so as to enhance the character string data to generate fourth data (D_4) to be output by comparing the image extracted by the image extracting section (24) of the module (20) with the second data text And a column data enhancer 34 as shown in FIG.

또한, 학습 알고리즘모듈(30)은 문자열 데이터보강부(34)에 의하여 생성되는 제4 데이터(D_4)에 대하여 영상 입력모듈(10)의 제2 영상입력부(14)로부터 입력되어 문자열추출 입력부(32)에 의하여 출력되는 차량번호의 문자열에 대한 제3 데이터(D_3)를 비교함으로써 문자열 데이터보강부(34)의 학습 알고리즘을 검증하기 위한 학습알고리즘 검증부(35)를 더 포함하는 것이 바람직하다.The learning algorithm module 30 receives the fourth data D_4 generated by the string data enhancer 34 from the second image input unit 14 of the image input module 10 and outputs the extracted data to the character string extraction unit 32 And a learning algorithm verification unit 35 for verifying the learning algorithm of the character string data enhancement unit 34 by comparing the third data D_3 with the character string of the car number outputted by the character string verification unit 35. [

또한, 학습 알고리즘모듈(30)은 학습알고리즘 검증부(35)에 의하여 검증되는 결과에 따라 문자열 데이터보강부(34)의 학습 알고리즘을 보정하기 위한 학습알고리즘 보정부(36)를 더 포함하는 것이 바람직하다.The learning algorithm module 30 preferably further includes a learning algorithm correcting section 36 for correcting the learning algorithm of the character string data enhancing section 34 in accordance with the result verified by the learning algorithm verifying section 35 Do.

또한, 학습 알고리즘모듈(30)의 학습 데이터베이스(31)는 차량번호의 인식에 대한 학습 알고리즘 및 차량번호판 이미지로부터 차량번호에 관한 제2 데이터(D_2)가 저장되는 것이 바람직하다.It is preferable that the learning database 31 of the learning algorithm module 30 stores the second data D_2 relating to the vehicle number from the learning algorithm for recognition of the vehicle number and the license plate image.

또한, 학습 알고리즘모듈(30)의 학습 데이터베이스(31)는 학습알고리즘 보정부(36)에 의하여 문자열 데이터보강부(34)에 관하여 보정되는 학습 알고리즘에 관한 데이터가 갱신되어 저장되는 것이 바람직하다.It is preferable that the learning database 31 of the learning algorithm module 30 is updated with the data related to the learning algorithm corrected by the learning algorithm correcting unit 36 with respect to the character string data enhancing unit 34. [

또한, 학습 알고리즘모듈(30)의 문자열추출 입력부(32)는 차량번호 식별모듈(20)과 별도로 영상 입력모듈(10)의 제2 영상입력부(14)에 의하여 입력받은 차량 번호판의 이미지에 의하여 차량번호의 문자열에 대한 제3 데이터(D_3)를 출력하는 것이 바람직하다.The character string extracting and inputting section 32 of the learning algorithm module 30 can recognize the vehicle number of the vehicle by the image of the license plate inputted by the second image inputting section 14 of the image inputting module 10, It is preferable to output the third data D_3 to the character string of the number.

또한, 차량번호의 문자열에 대한 제3 데이터(D_3)는 영상 입력모듈(10)의 제2 영상입력부(14)에 의하여 입력되는 영상을 분석하여 이루어지는 문자열에 대한 데이터로 주어지는 것이 바람직하다.The third data D_3 for the character string of the car number is preferably given as data on a character string obtained by analyzing the image input by the second image input unit 14 of the image input module 10. [

또한, 학습 알고리즘모듈(30)의 미인식 섹터추출부(33)는 차량번호 식별모듈(20)의 문자열 추출부(26)로부터 출력된 제1 데이터(D_1)에 있어서 미인식된 섹터를 추출하는 것이 바람직하다.The unrecognized sector extracting unit 33 of the learning algorithm module 30 extracts the unrecognized sector in the first data D_1 output from the character string extracting unit 26 of the car number identifying module 20 .

또한, 미인식 섹터추출부(33)는 미인식된 섹터는 역광, 조도, 차량 번호판의 꺾임이나 오염/훼손으로 분류되며, 그에 따라 학습 데이터베이스(31)로부터 차량번호판의 문자열에 관한 데이터를 보강하도록 하기 위한 문자열 데이터보강부(34)를 제어하도록 하는 것이 바람직하다.The unrecognized sector extracting unit 33 classifies unrecognized sectors as backlight, illumination, breakage or contamination / damage of the license plate, thereby reinforcing the data on the character string of the license plate from the learning database 31 It is preferable to control the character string data enhancement unit 34 to perform the character string enhancement.

또한, 학습 알고리즘모듈(30)의 문자열 데이터보강부(34)는 미인식 섹터추출부(33)에 의하여 차량 번호판의 미인식된 섹터에 대하여 차량번호 식별모듈(20)의 이미지 추출부(24)에 의하여 추출되는 이미지를 학습 데이터베이스(31)에 저장된 제2 데이터(D_2)와 비교하여 문자열 데이터를 보강하여 출력되는 제4 데이터(D_4)를 생성하는 것이 바람직하다.The character string enhancing unit 34 of the learning algorithm module 30 determines the unrecognized sector of the license plate by the unrecognized sector extracting unit 33 from the image extracting unit 24 of the vehicle number identifying module 20, (D_2) stored in the learning database (31) to enhance the character string data to generate the fourth data (D_4) to be output.

또한, 문자열을 보강함에 있어서 차량번호 식별모듈(20)의 문자열 추출부(26)의 문자열추출 알고리즘모듈(26A)과 화소추출 알고리즘모듈(26B)에 의하여 각각 추출되는 문자열 단위의 문자열 추출과 각 문자 단위의 영역 내에서 화소단위별로 명암의 대비로 나타나는 화소의 분포로 각 문자의 구성을 이루는 화소를 추출하여 대응되는 문자 추출의 대비로서 이루어지는 것이 바람직하다.It is also possible to extract a character string in a character string unit extracted by the character extraction algorithm module 26A and the pixel extraction algorithm module 26B of the character string extraction unit 26 of the car number identification module 20, It is preferable that pixels constituting each character are extracted as a distribution of pixels appearing as a contrast of light and dark for each pixel unit within the area of a unit, and are made as a contrast of corresponding character extraction.

또한, 학습 알고리즘모듈(30)의 학습알고리즘 검증부(35)는 미인식 섹터추출부(33)에 의하여 미인식된 섹터가 추출되거나 문자열 데이터보강부(34)에 의하여 문자열의 데이터가 보강될 경우, 문자열 데이터보강부(34)에 의하여 생성되는 제4 데이터(D_4)에 대하여 영상 입력모듈(10)의 제2 영상입력부(14)로부터 입력되어 문자열추출 입력부(32)에 의하여 출력되는 차량번호의 문자열에 대한 제3 데이터(D_3)를 비교함으로써 문자열 데이터보강부(34)의 학습 알고리즘을 검증하는 것이 바람직하다.The learning algorithm verification unit 35 of the learning algorithm module 30 determines whether the unrecognized sector is extracted by the unrecognized sector extraction unit 33 or the string data is reinforced by the string data enhancement unit 34 , The character string data input from the second image input unit 14 of the image input module 10 and output by the character string extraction unit 32 to the fourth data D_4 generated by the string data enhancer 34 It is preferable to verify the learning algorithm of the character string data enhancing unit 34 by comparing the third data D_3 with respect to the character string.

또한, 학습 알고리즘모듈(30)의 학습알고리즘 보정부(36)는 학습알고리즘 검증부(35)에 의하여 검증되는 결과에 따라 문자열 데이터보강부(34)의 학습 알고리즘을 보정하는 것이 바람직하다.It is preferable that the learning algorithm correcting unit 36 of the learning algorithm module 30 corrects the learning algorithm of the character string data enhancing unit 34 according to the result verified by the learning algorithm verifying unit 35. [

또한, 학습 알고리즘모듈(30)은 학습알고리즘 검증부(35)에 의한 검증에 있어서 학습알고리즘 검증의 신뢰성을 판별하기 위한 학습알고리즘 검증판별부(37)를 더 구비하는 것이 바람직하다.The learning algorithm module 30 preferably further comprises a learning algorithm verification / discrimination section 37 for discriminating the reliability of the learning algorithm verification in the verification by the learning algorithm verification section 35. [

또한, 학습 알고리즘모듈(30)의 학습알고리즘 검증판별부(37)는 차량번호 식별모듈(20)의 문자열 추출부(26)의 문자열추출 알고리즘모듈(26A)과 화소추출 알고리즘모듈(26B)에 의하여 각각 추출되는 문자에 대한 정확도의 가중치를 곱함으로써 일정 가중치 이상인지 유무에 따라 학습 알고리즘모듈(30)의 학습알고리즘 보정부(36)에 대한 학습 알고리즘 보정여부를 제어하는 것이 바람직하다.The learning algorithm verifying and discriminating section 37 of the learning algorithm module 30 judges whether or not the character string extracted by the character extracting algorithm module 26A and the pixel extracting algorithm module 26B of the character extracting section 26 of the car number identifying module 20 It is preferable to control whether or not the learning algorithm is corrected for the learning algorithm corrector 36 of the learning algorithm module 30 according to whether or not the weight is greater than or equal to a certain weight by multiplying the weights of the extracted characters by the weights.

또한, 학습 알고리즘모듈(30)의 학습 데이터베이스(31)에 있어서 차량 등록에 의하여 입력된 제조사, 모델명, 차종, 색상 및 차량번호에 관한 데이터가 입력되는 것이 바람직하다.It is preferable that data on the manufacturer, model name, model, color, and vehicle number input by the vehicle registration in the learning database 31 of the learning algorithm module 30 are input.

또한, 차량번호 식별모듈(20)의 이미지 추출부(24)는 영상 입력모듈(10)로부터 입력되는 영상의 데이터로부터 모델명, 차종, 색상 및 제조사에 관한 데이터를 더 추출하는 것이 바람직하다.The image extracting unit 24 of the car number identification module 20 may further extract data on the model name, vehicle type, color, and manufacturer from the image data input from the image input module 10.

또한, 모델명, 차종 및 제조사에 관한 데이터는 차량에 부착된 앰블런이나 제조사/모델명/차종 등에 관한 데이터를 추출하는 알고리즘에 의하여 수행되는 것이 바람직하다.Further, it is preferable that the data on the model name, the vehicle type, and the manufacturer are performed by an algorithm for extracting data on the amble, the maker / model name / vehicle type, etc. attached to the vehicle.

또한, 본 발명의 다른 일면에 의하면, 차량 번호판의 영상 이미지 및 이와 관련된 데이터에 대하여 데이터 베이스를 초기화하는 제1 단계; 영상 입력모듈(10)에 의하여 차량 번호판 관련 영상 이미지가 입력되는 제2 단계; 차량번호 식별모듈(20)의 문자열 추출부(26)에 의하여 차량 번호판의 이미지를 연속적으로 추출함과 동시에 연속 이미지의 변화를 추적하는 제3 단계; 학습 알고리즘모듈(30)의 미인식 섹터추출부(33)는 외부환경 등에 따른 차량번호판의 비표준화로 인한 차량 번호판의 미인식 섹터를 추출하는 제4 단계; 학습 알고리즘모듈(30)의 미인식 섹터추출부(33)는 차량번호판의 미인식 섹터에 대하여 학습 데이터베이스(31) 내의 유사 섹터에 관한 데이터로 이루어진 섹터와 비교하는 제5 단계; 학습 알고리즘모듈(30)의 학습알고리즘 검증부(35)에 의하여 차량의 연속 이미지 변화에 따른 차량 번호판의 이미지에 관한 데이터와 미인식 섹터에 관한 데이터를 비교함으로써 학습 알고리즘의 수행결과를 검증하는 제6 단계; 및 학습 알고리즘의 수행결과에 따라 연속 이미지 데이터로부터 미인식 섹터 이미지에 대한 표준 데이터값을 산출하여 학습 알고리즘모듈(30)의 학습 데이터베이스(31)를 업데이트하는 제7 단계를 포함하는 학습 알고리즘을 이용한 차량번호 인식이 제공된다.According to another aspect of the present invention, there is provided a method for initializing a database of a vehicle license plate image and related data, A second step of inputting a video image related to a license plate by the video input module 10; A third step of successively extracting the image of the license plate by the character extracting unit (26) of the car number identification module (20) and tracking the change of the continuous image; The unrecognized sector extracting unit 33 of the learning algorithm module 30 extracts an unrecognized sector of the license plate due to the non-standardization of the license plate according to the external environment or the like; The unrecognized sector extracting unit 33 of the learning algorithm module 30 compares the unrecognized sector of the license plate with the sector of the similar sector in the learning database 31; The learning algorithm verification unit 35 of the learning algorithm module 30 compares the data on the image of the license plate with the data on the unrecognized sector according to the continuous image change of the vehicle, step; And a seventh step of calculating a standard data value for an unrecognized sector image from the continuous image data according to a result of the learning algorithm and updating the learning database 31 of the learning algorithm module 30, Number recognition is provided.

여기서, 미인식 섹터에 관련된 표준 데이터의 업데이트와 동시에 미인식 섹터를 유형별로 코드화하며, 미인식 섹터의 코드화에 따른 영상 이미지 데이터를 학습화하는 제8 단계를 더 포함하는 것이 바람직하다.The method may further include an eighth step of categorizing the unrecognized sectors by types and updating the standard image data related to the unrecognized sectors and learning image image data according to the encoding of unrecognized sectors.

또한, 인식의 정확도에 따른 미인식 섹터의 유형화와 더불어 데이터 처리에 대한 심화 학습이 수행되도록 하는 제9 단계를 더 포함하는 것이 바람직하다.In addition, it is preferable to further include a ninth step of performing deep learning about data processing in addition to the type of unrecognized sectors according to recognition accuracy.

따라서 본 발명에 의하면, 차량번호판의 문자, 숫자, 지역문자 뿐 아니라 번호판 영역 자체에 대하여 다양한 환경하에서 이를 스스로 인지하고 그에 따른 인식오류에 대한 학습을 통하여 차량번호를 보다 정확하게 인식할 수 있으며, 열악한 외부환경으로 인해 미인식된 차량번호를 재인식하고 현장설비에서 인식된 전체 인식결과에 대해 오인식 여부를 자동으로 판별함으로써 학습량을 획기적으로 줄일 수 있다.Therefore, according to the present invention, it is possible to recognize the vehicle number more accurately by recognizing the license plate area itself in various environments in addition to the letters, numbers and local characters of the license plate, and learning about the recognition error accordingly, The amount of learning can be drastically reduced by re-recognizing the unrecognized car number due to the environment and automatically determining whether or not the recognition result is correct for all recognition results recognized in the field facility.

도 1은 특허 제10-1146581호의 개략적인 블록도이다.
도 2는 본 발명의 바람직한 제1 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템이 적용되는 개략도이다.
도 3은 본 발명의 바람직한 제1 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템의 개략적인 블록도이다.
도 4는 본 발명의 바람직한 제2 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템이 적용되는 개략도이다.1 is a schematic block diagram of the patent 10-1146581.
FIG. 2 is a schematic view of a vehicle number recognition system using a learning algorithm according to a first preferred embodiment of the present invention.
3 is a schematic block diagram of a vehicle number recognition system using a learning algorithm according to a first preferred embodiment of the present invention.
FIG. 4 is a schematic view of a vehicle number recognition system using a learning algorithm according to a second preferred embodiment of the present invention.

이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템에 대하여 상세히 설명하기로 한다.Hereinafter, a car number recognition system using a learning algorithm according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 바람직한 제1 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템이 적용되는 개략도이며, 도 3은 본 발명의 바람직한 제1 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템의 개략적인 블록도이며, 도 4는 본 발명의 바람직한 제2 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템이 적용되는 개략도이다.FIG. 2 is a schematic view of a vehicle number recognition system using a learning algorithm according to a first preferred embodiment of the present invention. FIG. 3 is a schematic view of a vehicle number recognition system using a learning algorithm according to a first preferred embodiment of the present invention FIG. 4 is a schematic diagram illustrating a vehicle number recognition system using a learning algorithm according to a second preferred embodiment of the present invention. Referring to FIG.

도 2에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템에 의하면, 고속도로의 톨게이트에 설치되어 차량의 번호판에 대한 영상을 연속하여 입력받기 위한 영상 입력모듈(10), 영상 입력모듈(10)로부터 입력받은 차량의 번호판을 판별하며 차량 번호판의 이미지를 추출하여 차량번호의 문자열에 관한 제1 데이터(D_1)를 출력하기 위한 차량번호 식별모듈(20), 차량번호 식별모듈(20)과 별도로 영상 입력모듈(10)에 의하여 입력받은 차량의 번호판의 이미지에 의하여 차량번호의 문자열에 대한 제2 데이터(D_2)를 출력하며 상기 제2 데이터(D_2)를 상기 차량번호 식별모듈(20)에 의하여 출력된 제1 데이터(D_1)에 대하여 비교하여 차이가 발생할 경우 해당 차량번호판에 관한 영상 입력모듈(10)에 의한 연속 영상에 의하여 이미지 데이터의 추적과 문자열 추출에 대한 학습알고리즘을 보정하기 위한 학습 알고리즘모듈(30), 및 학습 알고리즘모듈(30)에 의한 데이터를 출력하기 위한 데이터 출력모듈(40)로 이루어진 학습 알고리즘을 이용한 차량번호 인식 시스템이 제공된다.As shown in FIG. 2, the vehicle number recognition system using the learning algorithm according to the preferred embodiment of the present invention includes an image input module 10 installed in a toll gate of a highway to continuously receive images of a license plate of a vehicle A vehicle number identification module 20 for identifying a license plate of the vehicle received from the image input module 10 and extracting an image of the license plate to output first data D_1 relating to the character string of the vehicle number, The second data D_2 for the character string of the vehicle number is outputted by the image of the license plate inputted by the image input module 10 separately from the identification module 20 and the second data D_2 is stored in the vehicle number The first data D_1 outputted by the identification module 20 is compared with the first data D_1 outputted from the image input module 10, A learning algorithm module 30 for correcting a learning algorithm for tracing image data and character string extraction, and a data output module 40 for outputting data by a learning algorithm module 30, A number recognition system is provided.

영상 입력모듈(10)은 고속도로의 톨게이트에 설치되어 차량의 번호판에 대한 영상을 연속하여 입력받기 위한 CCD 카메라로 이루어지며, 이 때 영상 입력모듈(10)은 연속촬영이 가능한 영상 입력장치로 이루어지는 것이 바람직하다. The image input module 10 includes a CCD camera installed on a toll gate of a highway to continuously input images of a license plate of a vehicle. In this case, the image input module 10 includes an image input device desirable.

한편, 영상 입력모듈(10)은 서로 위치를 달리하여 차량 번호판의 인식각도를 달리하도록 하기 위한 제1 영상입력부(12)와 제2 영상입력부(14)로 이루어지는 것이 바람직하다.The image input module 10 may include a first image input unit 12 and a second image input unit 14 for differentiating the recognition angle of the vehicle license plate from each other.

차량번호 식별모듈(20)은 영상 입력모듈(10)로부터 입력받은 차량의 번호판을 판별하기 위한 차량번호판 판별부(22), 차량번호판 판별부(22)로부터 추출된 차량번호판의 이미지로부터 차량번호판의 외관상태에 관한 정보의 이미지를 추출하기 위한 이미지 추출부(24), 및 차량번호판 판별부(22)와 이미지 추출부(24)로부터 추출된 이미지의 데이터로부터 차량번호의 문자열을 추출하여 차량번호에 관한 제1 데이터(D_1)를 출력하기 위한 문자열 추출부(26)로 이루어진다.The vehicle number identification module 20 includes a vehicle license plate discriminating portion 22 for discriminating the license plate of the vehicle received from the image input module 10 and a vehicle license plate discriminating portion 22 for discriminating the vehicle license plate from the image of the license plate extracted from the license plate discriminating portion 22. [ An image extracting unit 24 for extracting an image of information on the appearance state, and a character string of the vehicle number from the data of the image extracted from the license plate discriminating unit 22 and the image extracting unit 24, And a character string extracting unit 26 for outputting the first data D_1 relating to the first data D_1.

차량번호 식별모듈(20)의 차량번호판 판별부(22)는 영상 입력모듈(10)의 제1 영상입력부(12) 또는 제2 영상입력부(14)로부터 입력받은 영상 이미지로부터 차량의 윤곽과 차량 번호판의 위치/모양의 외곽에 관한 이미지에 기초하여 차량 번호판을 판별하여 출력한다.The vehicle license plate identification unit 22 of the vehicle identification module 20 extracts the vehicle profile and the vehicle license plate from the video image received from the first image input unit 12 or the second image input unit 14 of the image input module 10, The vehicle license plate is discriminated and output based on the image about the outline of the position / shape of the vehicle.

차량번호 식별모듈(20)의 이미지 추출부(24)는 차량번호판 판별부(22)로부터 추출된 차량번호판의 이미지로부터 차량번호판의 외관상태에 관한 정보의 이미지를 추출한다. The image extracting unit 24 of the car number identification module 20 extracts an image of information about the appearance state of the license plate from the image of the license plate extracted from the car license plate discrimination unit 22. [

한편, 차량번호 식별모듈(20)의 문자열 추출부(26)는 차량번호판 판별부(22)와 이미지 추출부(24)로부터 추출된 이미지의 데이터로부터 차량번호의 문자열을 추출하여 차량번호에 관한 제1 데이터(D_1)를 출력한다. On the other hand, the character string extracting unit 26 of the car number identification module 20 extracts the string of the car number from the data of the image extracted from the car license plate discriminating unit 22 and the image extracting unit 24, 1 data D_1.

이 때, 차량번호 식별모듈(20)의 문자열 추출부(26)는 글자 전체 영역별로 문자를 추출하는 문자열추출 알고리즘모듈(26A)과 각 문자 영역에 대한 화소단위로 문자를 추출하는 화소추출 알고리즘모듈(26B)로 이루어진다.At this time, the character string extracting unit 26 of the car number identification module 20 includes a character string extracting algorithm module 26A for extracting characters in the entire character area, and a pixel extracting algorithm module (26B).

문자열추출 알고리즘모듈(26A)은 글자 전체 영역에서 문자의 배열에 따른 문자를 추출하는 알고리즘으로 이루어지며, 화소추출 알고리즘모듈(26B)은 각 문자 단위의 영역 내에서 화소단위별로 명암의 대비로 나타나는 화소의 분포로 각 문자의 구성을 이루는 화소를 추출하여 대응되는 문자를 추출하는 알고리즘으로 이루어진다.The character extraction algorithm module 26A is composed of an algorithm for extracting characters according to the arrangement of characters in the entire character area, and the pixel extraction algorithm module 26B is a module for extracting characters And extracts corresponding characters from the pixels constituting each character.

학습 알고리즘모듈(30)은 차량번호의 인식에 대한 학습 알고리즘 및 차량번호판 이미지에 관한 제2 데이터(D_2)가 저장된 학습 데이터베이스(31), 차량번호 식별모듈(20)과 별도로 영상 입력모듈(10)에 의하여 입력받은 차량 번호판의 이미지에 의하여 차량번호의 문자열에 대한 제3 데이터(D_3)를 출력하기 위한 문자열추출 입력부(32), 차량번호 식별모듈(20)의 문자열 추출부(26)로부터 출력된 제1 데이터(D_1)에 있어서 미인식된 섹터를 추출하기 위한 미인식 섹터추출부(33), 미인식 섹터추출부(33)에 의하여 차량 번호판의 미인식된 섹터에 대하여 차량번호 식별모듈(20)의 이미지 추출부(24)에 의하여 추출되는 이미지를 학습 데이터베이스(31)에 저장된 제2 데이터(D_2)와 비교하여 문자열 데이터를 보강하여 출력되는 제4 데이터(D_4)를 생성하기 위한 문자열 데이터보강부(34), 문자열 데이터보강부(34)에 의하여 생성되는 제4 데이터(D_4)에 대하여 영상 입력모듈(10)의 제2 영상입력부(14)로부터 입력되어 문자열추출 입력부(32)에 의하여 출력되는 차량번호의 문자열에 대한 제3 데이터(D_3)를 비교함으로써 문자열 데이터보강부(34)의 학습 알고리즘을 검증하기 위한 학습알고리즘 검증부(35), 및 학습알고리즘 검증부(35)에 의하여 검증되는 결과에 따라 문자열 데이터보강부(34)의 학습 알고리즘을 보정하기 위한 학습알고리즘 보정부(36)로 이루어진다.The learning algorithm module 30 includes a learning database 31 in which second data D_2 related to recognition of the vehicle number and the second license plate data D_2 are stored, a vehicle identification module 20, a video input module 10, A character string extracting and inputting section 32 for outputting third data D_3 of the character string of the car number according to the image of the license plate inputted by the character string extracting section 26, An unrecognized sector extracting unit 33 for extracting an unrecognized sector in the first data D_1 and a vehicle number identifying module 20 for an unrecognized sector of the license plate by the unrecognized sector extracting unit 33 For generating fourth data D_4 output by comparing the image extracted by the image extracting unit 24 with the second data D_2 stored in the learning database 31 to enhance the character string data, The reinforcement unit 34 is inputted from the second image input unit 14 of the image input module 10 to the fourth data D_4 generated by the character string enhancing unit 34, A learning algorithm verifying unit 35 for verifying the learning algorithm of the character string data enhancing unit 34 by comparing the third data D_3 with the character string of the outputted car number and the verification by the learning algorithm verifying unit 35 And a learning algorithm correcting unit 36 for correcting the learning algorithm of the string data enhancing unit 34 according to the result of the comparison.

학습 알고리즘모듈(30)의 학습 데이터베이스(31)는 차량번호의 인식에 대한 학습 알고리즘 및 차량번호판 이미지로부터 차량번호에 관한 제2 데이터(D_2)가 저장되며, 학습알고리즘 보정부(36)에 의하여 문자열 데이터보강부(34)에 관하여 보정되는 학습 알고리즘에 관한 데이터가 갱신되어 저장된다.The learning database 31 of the learning algorithm module 30 stores the second data D_2 related to the vehicle number from the learning algorithm for recognition of the vehicle number and the license plate image, The data relating to the learning algorithm to be corrected with respect to the data enhancing unit 34 is updated and stored.

학습 알고리즘모듈(30)의 문자열추출 입력부(32)는 차량번호 식별모듈(20)과 별도로 영상 입력모듈(10)의 제2 영상입력부(14)에 의하여 입력받은 차량 번호판의 이미지에 의하여 차량번호의 문자열에 대한 제3 데이터(D_3)를 출력한다.The character string extracting and inputting section 32 of the learning algorithm module 30 extracts the character string of the vehicle number by the image of the license plate inputted by the second image input section 14 of the image input module 10 separately from the vehicle number identifying module 20. [ And outputs the third data D_3 for the character string.

이 때, 차량번호의 문자열에 대한 제3 데이터(D_3)는 영상 입력모듈(10)의 제2 영상입력부(14)에 의하여 입력되는 영상을 분석하여 이루어지는 문자열에 대한 데이터로 주어진다.At this time, the third data D_3 for the character string of the car number is given as data on a character string obtained by analyzing the image input by the second image input unit 14 of the image input module 10. [

학습 알고리즘모듈(30)의 미인식 섹터추출부(33)는 차량번호 식별모듈(20)의 문자열 추출부(26)로부터 출력된 제1 데이터(D_1)에 있어서 미인식된 섹터를 추출한다.The unrecognized sector extracting unit 33 of the learning algorithm module 30 extracts the unrecognized sector in the first data D_1 outputted from the character extracting unit 26 of the vehicle number identifying module 20. [

이 때 미인식 섹터추출부(33)는 미인식된 섹터는 역광, 조도, 차량 번호판의 꺾임이나 오염/훼손으로 분류하며, 그에 따라 학습 데이터베이스(31)로부터 차량번호판의 문자열에 관한 데이터를 보강하도록 하기 위한 문자열 데이터보강부(34)를 제어하도록 한다. 이와 같이 본 발명에 있어서 학습 데이터베이스(31)는 미인식된 섹터를 역광, 조도, 차량 번호판의 꺾임이나 오염/훼손으로 분류되어 저장되는 차량 번호판의 문자열에 관한 데이터를 저장함으로써 학습량을 줄여 학습기능을 향상시킬 수 있다.At this time, the unrecognized sector extracting unit 33 classifies the unrecognized sector as backlight, illuminance, breakage or contamination / damage of the license plate, and thereby reinforces data on the character string of the license plate from the learning database 31 And controls the character string data enhancement unit 34 to perform the character string conversion. As described above, in the present invention, the learning database 31 of the present invention stores data related to the character string of the license plate stored in the non-recognized sector classified as backlight, illuminance, car license plate breakage or contamination / damage, Can be improved.

한편, 학습 알고리즘모듈(30)의 문자열 데이터보강부(34)는 미인식 섹터추출부(33)에 의하여 차량 번호판의 미인식된 섹터에 대하여 차량번호 식별모듈(20)의 이미지 추출부(24)에 의하여 추출되는 이미지를 학습 데이터베이스(31)에 저장된 제2 데이터(D_2)와 비교하여 문자열 데이터를 보강하여 출력되는 제4 데이터(D_4)를 생성한다.On the other hand, the character string enhancing unit 34 of the learning algorithm module 30 recognizes the unrecognized sector of the license plate by the unrecognized sector extracting unit 33 from the image extracting unit 24 of the vehicle number identifying module 20, And the second data D_2 stored in the learning database 31 to enhance the character string data to generate the fourth data D_4 output.

이 때, 문자열을 보강함에 있어서 차량번호 식별모듈(20)의 문자열 추출부(26)의 문자열추출 알고리즘모듈(26A)과 화소추출 알고리즘모듈(26B)에 의하여 각각 추출되는 문자열 단위의 문자열 추출과 각 문자 단위의 영역 내에서 화소단위별로 명암의 대비로 나타나는 화소의 분포로 각 문자의 구성을 이루는 화소를 추출하여 대응되는 문자 추출의 대비로서 이루어진다.At this time, in order to reinforce the character string, character string extraction in the character string unit extracted by the character extraction algorithm module 26A and the pixel extraction algorithm module 26B of the character string extraction unit 26 of the car number identification module 20, And extracts pixels constituting each character from the distribution of pixels appearing as a contrast of light and dark in each pixel unit within a character unit area, and is made as a contrast of corresponding character extraction.

본 발명의 바람직한 제1 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템에 의하면, 이와 같이 학습 알고리즘모듈(30)의 학습알고리즘 검증부(35)에 있어서, 차량번호 식별모듈(20)의 문자열 추출부(26)의 문자열추출 알고리즘모듈(26A)과 화소추출 알고리즘모듈(26B)에 의하여 각각 추출되는 문자열 단위의 문자열 추출과 각 문자 단위의 영역 내에서 화소단위별로 명암의 대비로 나타나는 화소의 분포로 각 문자의 구성을 이루는 화소를 추출하여 대응되는 문자 추출의 대비로서 이루어짐으로써 보다 정확한 문자 식별과 미인식 섹터에 대한 학습 능력을 향상시킬 수 있다.The learning algorithm verification unit 35 of the learning algorithm module 30 performs the string extraction of the vehicle number identification module 20 as described above in the vehicle number recognition system using the learning algorithm according to the first preferred embodiment of the present invention, The extraction of the character string by the character string extracted by the character extraction algorithm module 26A and the pixel extraction algorithm module 26B of the character recognition unit 26 and the distribution of the pixels appearing as the contrast of light and dark for each pixel unit within each character unit The pixels constituting each character are extracted and compared with the corresponding character extraction, so that more accurate character recognition and learning ability for unrecognized sectors can be improved.

학습 알고리즘모듈(30)의 학습알고리즘 검증부(35)는 미인식 섹터추출부(33)에 의하여 미인식된 섹터가 추출되거나 문자열 데이터보강부(34)에 의하여 문자열의 데이터가 보강될 경우, 문자열 데이터보강부(34)에 의하여 생성되는 제4 데이터(D_4)에 대하여 영상 입력모듈(10)의 제2 영상입력부(14)로부터 입력되어 문자열추출 입력부(32)에 의하여 출력되는 차량번호의 문자열에 대한 제3 데이터(D_3)를 비교함으로써 문자열 데이터보강부(34)의 학습 알고리즘을 검증한다.The learning algorithm verifying unit 35 of the learning algorithm module 30 determines whether the unrecognized sector is extracted by the unrecognized sector extracting unit 33 or the character string data is enhanced by the string data enhancing unit 34, The character string of the vehicle number input from the second image input unit 14 of the image input module 10 and output by the character string extraction unit 32 to the fourth data D_4 generated by the data enhancer 34 The learning algorithm of the character string data enhancement unit 34 is verified by comparing the third data D_3.

학습 알고리즘모듈(30)의 학습알고리즘 보정부(36)는 학습알고리즘 검증부(35)에 의하여 검증되는 결과에 따라 문자열 데이터보강부(34)의 학습 알고리즘을 보정한다.The learning algorithm correcting unit 36 of the learning algorithm module 30 corrects the learning algorithm of the character string data enhancing unit 34 in accordance with the result verified by the learning algorithm verifying unit 35. [

전술한 바와 같이, 본 발명의 바람직한 제1 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템에 의하면, 먼저, 학습 알고리즘모듈(30)의 학습 데이터베이스(31)에 있어서, 차량 번호판의 영상 이미지 및 이와 관련된 데이터에 대하여 데이터 베이스를 초기화한다.As described above, according to the vehicle number recognition system using the learning algorithm according to the first preferred embodiment of the present invention, in the learning database 31 of the learning algorithm module 30, Initialize the database for related data.

이후, 영상 입력모듈(10)에 의하여 차량 번호판 관련 영상 이미지가 입력된다.Thereafter, the video image related to the license plate is input by the video input module 10.

이후, 차량번호 식별모듈(20)의 문자열 추출부(26)에 의하여 차량 번호판의 이미지를 연속적으로 추출함과 동시에 연속 이미지의 변화를 추적한다. Thereafter, the string extracting unit 26 of the car number identification module 20 successively extracts the image of the license plate and tracks the change of the continuous image.

이후, 학습 알고리즘모듈(30)의 미인식 섹터추출부(33)는 외부환경 등에 따른 차량번호판의 비표준화로 인한 차량 번호판의 미인식 섹터를 추출한다.Thereafter, the unrecognized sector extracting unit 33 of the learning algorithm module 30 extracts an unrecognized sector of the license plate due to the non-standardization of the license plate according to the external environment or the like.

이후, 학습 알고리즘모듈(30)의 미인식 섹터추출부(33)는 차량번호판의 미인식 섹터에 대하여 학습 데이터베이스(31) 내의 유사 섹터에 관한 데이터로 이루어진 섹터와 비교한다.Thereafter, the unrecognized sector extracting unit 33 of the learning algorithm module 30 compares the unrecognized sector of the license plate with the sector of the similar-sector data in the learning database 31.

이후, 학습 알고리즘모듈(30)의 학습알고리즘 검증부(35)에 의하여 차량의 연속 이미지 변화에 따른 차량 번호판의 이미지에 관한 데이터와 미인식 섹터에 관한 데이터를 비교함으로써 학습 알고리즘의 수행결과를 검증한다.Thereafter, the learning algorithm verification unit 35 of the learning algorithm module 30 verifies the execution result of the learning algorithm by comparing the data on the image of the license plate with the data on the unrecognized sector according to the continuous image change of the vehicle .

이후, 학습 알고리즘의 수행결과에 따라 연속 이미지 데이터로부터 미인식 섹터 이미지에 대한 표준 데이터값을 산출하여 학습 알고리즘모듈(30)의 학습 데이터베이스(31)를 업데이트한다.Then, a standard data value for an unrecognized sector image is calculated from the continuous image data according to the execution result of the learning algorithm, and the learning database 31 of the learning algorithm module 30 is updated.

이 때, 미인식 섹터에 관련된 표준 데이터의 업데이트와 동시에 미인식 섹터를 유형별로 코드화하며, 미인식 섹터의 코드화에 따른 영상 이미지 데이터를 학습화한다.At this time, at the same time of updating the standard data related to the unrecognized sector, the unrecognized sector is coded by type, and the image data of the unrecognized sector is coded.

또한, 인식의 정확도에 따른 미인식 섹터의 유형화와 더불어 데이터 처리에 대한 심화 학습이 수행되도록 한다.In addition, in order to classify unrecognized sectors according to the accuracy of recognition, deep learning about data processing is performed.

전술한 바와 같이, 본 발명의 바람직한 제1 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템에 의하면, 미인식 섹터를 추출하며, 그에 대한 문자열 데이터를 보강함에 있어서 학습 알고리즘을 검증한 결과에 따라 학습 알고리즘을 보정하도록 함으로써 차량 번호판의 인식률을 향상시킬 수 있었으나, 본 발명의 바람직한 제2 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템에 의하면, 학습 알고리즘모듈(30)은 제1 실시예와 달리 학습 알고리즘모듈(30)의 학습알고리즘 검증부(35)에 의한 검증에 있어서 학습알고리즘 검증의 신뢰성을 판별하기 위한 학습알고리즘 검증판별부(37)를 더 구비한다.As described above, according to the vehicle number recognition system using the learning algorithm according to the first preferred embodiment of the present invention, unrecognized sectors are extracted, and in accordance with the result of verifying the learning algorithm in reinforcing the character string data, It is possible to improve the recognition rate of the license plate by correcting the algorithm. However, according to the car number recognition system using the learning algorithm according to the second preferred embodiment of the present invention, the learning algorithm module 30, unlike the first embodiment, And a learning algorithm verification / discrimination section (37) for discriminating the reliability of the learning algorithm verification in the verification by the learning algorithm verification section (35) of the algorithm module (30).

학습 알고리즘모듈(30)의 학습알고리즘 검증판별부(37)는 차량번호 식별모듈(20)의 문자열 추출부(26)의 문자열추출 알고리즘모듈(26A)과 화소추출 알고리즘모듈(26B)에 의하여 각각 추출되는 문자에 대한 정확도의 가중치를 곱함으로써 일정 가중치 이상인지 유무에 따라 학습 알고리즘모듈(30)의 학습알고리즘 보정부(36)에 대한 학습 알고리즘 보정여부를 제어한다.The learning algorithm verification and discrimination section 37 of the learning algorithm module 30 extracts and extracts the character strings by the character string extraction algorithm module 26A and the pixel extraction algorithm module 26B of the character string extraction section 26 of the car number identification module 20, And controls whether or not the learning algorithm is corrected for the learning algorithm correcting unit 36 of the learning algorithm module 30 based on whether or not the weight is greater than or equal to a predetermined weight.

본 발명의 바람직한 제3 실시예에 따른 학습 알고리즘을 이용한 차량번호 인식 시스템에 의하면, 제1 및 제2 실시예와 달리 학습 알고리즘모듈(30)의 학습 데이터베이스(31)에 있어서 차량 등록에 의하여 입력된 제조사, 모델명, 차종, 색상 및 차량번호에 관한 데이터가 별도로 입력된다.According to the vehicle number recognition system using the learning algorithm according to the third preferred embodiment of the present invention, unlike the first and second embodiments, in the learning database 31 of the learning algorithm module 30, Data regarding manufacturer, model name, model, color, and vehicle number are input separately.

또한, 차량번호 식별모듈(20)의 이미지 추출부(24)는 영상 입력모듈(10)로부터 입력되는 영상의 데이터로부터 모델명, 차종, 색상 및 제조사에 관한 데이터를 더 추출한다.The image extracting unit 24 of the vehicle number identifying module 20 further extracts model name, vehicle type, color, and manufacturer-related data from the image data input from the image input module 10.

이 때, 모델명, 차종 및 제조사에 관한 데이터는 차량에 부착된 앰블런이나 제조사/모델명/차종 등에 관한 데이터를 추출하는 알고리즘에 의하여 수행된다.At this time, the data of the model name, the vehicle type, and the manufacturer are performed by an algorithm for extracting data on the amble, the maker / model name / the vehicle type attached to the vehicle.

그에 따라 보다 정확하게 미인식 섹터에 대하여 데이터를 보강할 수 있도록 한다.Thereby enabling to more accurately reinforce data for unrecognized sectors.

따라서 전술한 바와 같이 차량번호판의 문자, 숫자, 지역문자 뿐 아니라 번호판 영역 자체에 대하여 다양한 환경하에서 이를 스스로 인지하고 그에 따른 인식오류에 대한 학습을 통하여 차량번호를 보다 정확하게 인식할 수 있을 뿐만 아니라, 열악한 외부환경으로 인해 미인식된 차량번호를 재인식하고 현장설비에서 인식된 전체 인식결과에 대해 오인식 여부를 자동으로 판별할 수 있음으로써 학습량을 획기적으로 줄일 수 있다.Therefore, as described above, not only can the vehicle number be recognized more accurately by recognizing the license plate area itself in various environments in addition to the letters, numbers, and local characters of the license plate, learning about recognition errors according to the license plate area itself, It is possible to re-recognize the unrecognized vehicle number due to the external environment, and to automatically determine whether or not the recognition result is true for the entire recognition result recognized in the field facility, thereby drastically reducing the amount of learning.

10: 영상 입력모듈
12: 제1 영상입력부
14: 제2 영상입력부
20: 차량번호 식별모듈
22: 차량번호판 판별부
24: 이미지 추출부
26: 문자열 추출부
30: 학습 알고리즘모듈
31: 학습 데이터베이스
32: 문자열추출 입력부
33: 미인식 섹터추출부
34: 문자열 데이터보강부
35: 학습알고리즘 검증부
36: 학습알고리즘 보정부
40: 데이터 출력모듈10: Image input module
12: first image input section
14: Second image input unit
20: vehicle number identification module
22: License plate discrimination unit
24: image extracting unit
26:
30: Learning algorithm module
31: Learning database
32: String extraction input section
33: Unknown sector extracting unit
34: String data reinforcement unit
35: learning algorithm verification unit
36: Learning Algorithm Correction
40: Data output module

Claims (22)

고속도로의 톨게이트에 설치되어 차량의 번호판에 대한 영상을 연속하여 입력받기 위한 영상 입력모듈(10);
영상 입력모듈(10)로부터 입력받은 차량의 번호판을 판별하며 차량 번호판의 이미지를 추출하여 차량번호의 문자열에 관한 제1 데이터(D_1)를 출력하기 위한 차량번호 식별모듈(20);
차량번호 식별모듈(20)과 별도로 영상 입력모듈(10)에 의하여 입력받은 차량의 번호판의 이미지에 의하여 차량번호의 문자열에 대한 제2 데이터(D_2)를 출력하며 상기 제2 데이터(D_2)를 상기 차량번호 식별모듈(20)에 의하여 출력된 제1 데이터(D_1)에 대하여 비교하여 차이가 발생할 경우 해당 차량번호판에 관한 영상 입력모듈(10)에 의한 연속 영상에 의하여 이미지 데이터의 추적과 문자열 추출에 대한 학습알고리즘을 보정하기 위한 학습 알고리즘모듈(30); 및
학습 알고리즘모듈(30)에 의한 데이터를 출력하기 위한 데이터 출력모듈(40)로 이루어지는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.An image input module (10) installed on a toll gate of a highway to continuously receive images of a license plate of a vehicle;
A vehicle number identification module 20 for identifying a license plate of the vehicle received from the image input module 10 and extracting an image of the license plate to output first data D_1 related to the character string of the vehicle number;
The second data D_2 for the string of the vehicle number is outputted by the image of the license plate of the vehicle received by the image input module 10 separately from the vehicle identification module 20, When the difference is compared with respect to the first data D_1 outputted by the vehicle number identification module 20, the image data is tracked by the continuous image by the image input module 10 related to the vehicle license plate, A learning algorithm module (30) for correcting the learning algorithm; And
And a data output module (40) for outputting data by the learning algorithm module (30). 제1항에 있어서, 영상 입력모듈(10)은 서로 위치를 달리하여 차량 번호판의 인식각도를 달리하도록 하기 위한 제1 영상입력부(12)와 제2 영상입력부(14)로 이루어지는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The image input module according to claim 1, characterized in that the image input module (10) comprises a first image input part (12) and a second image input part (14) Vehicle Number Identification System Using Algorithm. 제1항 또는 제2항에 있어서, 차량번호 식별모듈(20)은 영상 입력모듈(10)로부터 입력받은 차량의 번호판을 판별하기 위한 차량번호판 판별부(22), 차량번호판 판별부(22)로부터 추출된 차량번호판의 이미지로부터 차량번호판의 외관상태에 관한 정보의 이미지를 추출하기 위한 이미지 추출부(24), 및 차량번호판 판별부(22)와 이미지 추출부(24)로부터 추출된 이미지의 데이터로부터 차량번호의 문자열을 추출하여 차량번호에 관한 제1 데이터(D_1)를 출력하기 위한 문자열 추출부(26)로 이루어지는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The car navigation system according to claim 1 or 2, wherein the car number identification module (20) comprises: a car license plate discrimination part (22) for discriminating a car license plate received from the video input module (10) An image extracting section 24 for extracting an image of the information on the appearance state of the license plate from the extracted image of the license plate and an image extracting section 24 for extracting an image of the image extracted from the image extracted from the license plate discriminating section 22 and the image extracting section 24 And a character string extraction unit (26) for extracting a string of the vehicle number and outputting the first data (D_1) related to the vehicle number. 제3항에 있어서, 차량번호 식별모듈(20)의 차량번호판 판별부(22)는 영상 입력모듈(10)의 제1 영상입력부(12) 또는 제2 영상입력부(14)로부터 입력받은 영상 이미지로부터 차량의 윤곽과 차량 번호판의 위치/모양의 외곽에 관한 이미지에 기초하여 차량 번호판을 판별하여 출력하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The vehicle license plate identification module (22) of claim 3, wherein the license plate identification module (22) comprises: a license plate identification module (20) for identifying the vehicle license plate from the image image received from the first image input part (12) or the second image input part Wherein the vehicle identification number is identified based on an image of an outline of a vehicle and an outline of a location / shape of the license plate, and the license plate is output. 제4항에 있어서, 차량번호 식별모듈(20)의 문자열 추출부(26)는 차량번호판 판별부(22)와 이미지 추출부(24)로부터 추출된 이미지의 데이터로부터 차량번호의 문자열을 추출하여 차량번호에 관한 제1 데이터(D_1)를 출력하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.5. The vehicle identification system according to claim 4, wherein the character string extracting unit (26) of the vehicle number identification module (20) extracts a string of the vehicle number from the data of the image extracted from the license plate discriminating unit (22) And outputs the first data (D_1) related to the number. 제5항에 있어서, 차량번호 식별모듈(20)의 문자열 추출부(26)는 글자 전체 영역별로 문자를 추출하는 문자열추출 알고리즘모듈(26A)과 각 문자 영역에 대한 화소단위로 문자를 추출하는 화소추출 알고리즘모듈(26B)로 이루어지는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.6. The car navigation system according to claim 5, wherein the character string extraction unit (26) of the car number identification module (20) comprises a character string extraction algorithm module (26A) for extracting characters in the entire character area, And an extraction algorithm module (26B). 제6항에 있어서, 문자열추출 알고리즘모듈(26A)은 글자 전체 영역에서 문자의 배열에 따른 문자를 추출하는 알고리즘으로 이루어지며, 화소추출 알고리즘모듈(26B)은 각 문자 단위의 영역 내에서 화소단위별로 명암의 대비로 나타나는 화소의 분포로 각 문자의 구성을 이루는 화소를 추출하여 대응되는 문자를 추출하는 알고리즘으로 이루어지는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.7. The method of claim 6, wherein the character string extraction algorithm module (26A) comprises an algorithm for extracting characters according to an arrangement of characters in the entire character area, and the pixel extraction algorithm module (26B) And an algorithm for extracting corresponding characters by extracting pixels constituting each character with a distribution of pixels appearing as a contrast of light and darkness. 제7항에 있어서, 학습 알고리즘모듈(30)은 차량번호의 인식에 대한 학습 알고리즘 및 차량번호판 이미지에 관한 제2 데이터(D_2)가 저장된 학습 데이터베이스(31), 차량번호 식별모듈(20)과 별도로 영상 입력모듈(10)에 의하여 입력받은 차량 번호판의 이미지에 의하여 차량번호의 문자열에 대한 제3 데이터(D_3)를 출력하기 위한 문자열추출 입력부(32), 차량번호 식별모듈(20)의 문자열 추출부(26)로부터 출력된 제1 데이터(D_1)에 있어서 미인식된 섹터를 추출하기 위한 미인식 섹터추출부(33), 및 미인식 섹터추출부(33)에 의하여 차량 번호판의 미인식된 섹터에 대하여 차량번호 식별모듈(20)의 이미지 추출부(24)에 의하여 추출되는 이미지를 학습 데이터베이스(31)에 저장된 제2 데이터(D_2)와 비교하여 문자열 데이터를 보강하여 출력되는 제4 데이터(D_4)를 생성하기 위한 문자열 데이터보강부(34)로 이루어지는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The learning algorithm module (30) according to claim 7, wherein the learning algorithm module (30) further comprises a learning algorithm for recognition of the vehicle number and a learning database (31) in which second data (D_2) A character string extracting / inputting section 32 for outputting third data D_3 of a character string of the vehicle number according to the image of the license plate inputted by the image input module 10, Unidentified sector extracting section 33 for extracting unidentified sectors in the first data D_1 outputted from the unregistered sector extracting section 26 and unidentified sector extracting section 33 for extracting unidentified sectors The fourth data D_4 outputted by reinforcing the character string data by comparing the image extracted by the image extracting section 24 of the car number identification module 20 with the second data D_2 stored in the learning database 31, Create And a character string data enhancing unit (34) for recognizing the vehicle number. 제8항에 있어서, 학습 알고리즘모듈(30)은 문자열 데이터보강부(34)에 의하여 생성되는 제4 데이터(D_4)에 대하여 영상 입력모듈(10)의 제2 영상입력부(14)로부터 입력되어 문자열추출 입력부(32)에 의하여 출력되는 차량번호의 문자열에 대한 제3 데이터(D_3)를 비교함으로써 문자열 데이터보강부(34)의 학습 알고리즘을 검증하기 위한 학습알고리즘 검증부(35)를 더 포함하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The learning algorithm module (30) according to claim 8, wherein the learning algorithm module (30) receives the fourth data (D_4) generated by the character string data enhancement unit (34) from the second image input unit (14) And a learning algorithm verification unit 35 for verifying the learning algorithm of the character string data enhancement unit 34 by comparing the third data D_3 with the character string of the car number output by the extraction input unit 32 A Vehicle Identification System Using Learning Algorithm. 제9항에 있어서, 학습 알고리즘모듈(30)은 학습알고리즘 검증부(35)에 의하여 검증되는 결과에 따라 문자열 데이터보강부(34)의 학습 알고리즘을 보정하기 위한 학습알고리즘 보정부(36)를 더 포함하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The learning algorithm module (30) according to claim 9, further comprising a learning algorithm correcting section (36) for correcting the learning algorithm of the character string data enhancing section (34) according to the result of verification by the learning algorithm verifying section Wherein the vehicle identification number is a vehicle identification number. 제10항에 있어서, 학습 알고리즘모듈(30)의 문자열추출 입력부(32)는 차량번호 식별모듈(20)과 별도로 영상 입력모듈(10)의 제2 영상입력부(14)에 의하여 입력받은 차량 번호판의 이미지에 의하여 차량번호의 문자열에 대한 제3 데이터(D_3)를 출력하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.11. The vehicle navigation system according to claim 10, wherein the character string extracting and inputting unit (32) of the learning algorithm module (30) And the third data (D_3) of the character string of the vehicle number is outputted by the image. 제11항에 있어서, 차량번호의 문자열에 대한 제3 데이터(D_3)는 영상 입력모듈(10)의 제2 영상입력부(14)에 의하여 입력되는 영상을 분석하여 이루어지는 문자열에 대한 데이터로 주어지는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.12. The method according to claim 11, characterized in that the third data (D_3) of the character string of the car number is given as data on a character string obtained by analyzing an image inputted by the second image input part (14) of the image input module Vehicle Number Identification System Using Learning Algorithm. 제11항에 있어서, 학습 알고리즘모듈(30)의 미인식 섹터추출부(33)는 차량번호 식별모듈(20)의 문자열 추출부(26)로부터 출력된 제1 데이터(D_1)에 있어서 미인식된 섹터를 추출하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.12. The method according to claim 11, wherein the unrecognized sector extracting unit (33) of the learning algorithm module (30) recognizes the unrecognized sector in the first data (D_1) output from the character string extracting unit (26) And extracting a sector from the extracted vehicle identification number. 제13항에 있어서, 미인식 섹터추출부(33)는 미인식된 섹터는 역광, 조도, 차량 번호판의 꺾임이나 오염/훼손으로 분류되며, 그에 따라 학습 데이터베이스(31)로부터 차량번호판의 문자열에 관한 데이터를 보강하도록 하기 위한 문자열 데이터보강부(34)를 제어하도록 하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The method according to claim 13, wherein the unrecognized sector extracting unit (33) classifies unrecognized sectors into backlight, illuminance, breakage or contamination / damage of the license plate, And to control the character string data enhancement unit (34) to reinforce the data. 제14항에 있어서, 문자열을 보강함에 있어서 차량번호 식별모듈(20)의 문자열 추출부(26)의 문자열추출 알고리즘모듈(26A)과 화소추출 알고리즘모듈(26B)에 의하여 각각 추출되는 문자열 단위의 문자열 추출과 각 문자 단위의 영역 내에서 화소단위별로 명암의 대비로 나타나는 화소의 분포로 각 문자의 구성을 이루는 화소를 추출하여 대응되는 문자 추출의 대비로서 이루어지는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The method according to claim 14, characterized in that, when the string is reinforced, a character string unit string extracted by the string extraction algorithm module (26A) and the pixel extraction algorithm module (26B) of the character string extraction unit (26) And extracting pixels constituting each character as a distribution of pixels appearing as a contrast of light and dark in each pixel unit within the region of each character unit, system. 제15항에 있어서, 학습 알고리즘모듈(30)의 학습알고리즘 검증부(35)는 미인식 섹터추출부(33)에 의하여 미인식된 섹터가 추출되거나 문자열 데이터보강부(34)에 의하여 문자열의 데이터가 보강될 경우, 문자열 데이터보강부(34)에 의하여 생성되는 제4 데이터(D_4)에 대하여 영상 입력모듈(10)의 제2 영상입력부(14)로부터 입력되어 문자열추출 입력부(32)에 의하여 출력되는 차량번호의 문자열에 대한 제3 데이터(D_3)를 비교함으로써 문자열 데이터보강부(34)의 학습 알고리즘을 검증하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The method according to claim 15, wherein the learning algorithm verification unit (35) of the learning algorithm module (30) extracts unrecognized sectors by the unrecognized sector extraction unit (33) The fourth data D_4 generated by the string data enhancer 34 is input from the second image input unit 14 of the image input module 10 and output by the string extracting and inputting unit 32 And verifies the learning algorithm of the character string data enhancing unit (34) by comparing the third data (D_3) with the character string of the car number. 제16항에 있어서, 학습 알고리즘모듈(30)의 학습알고리즘 보정부(36)는 학습알고리즘 검증부(35)에 의하여 검증되는 결과에 따라 문자열 데이터보강부(34)의 학습 알고리즘을 보정하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The learning algorithm correcting unit (36) of the learning algorithm module (30) corrects the learning algorithm of the character string data enhancing unit (34) according to the result verified by the learning algorithm verifying unit Vehicle Number Identification System Using Learning Algorithm. 제17항에 있어서, 학습 알고리즘모듈(30)은 학습알고리즘 검증부(35)에 의한 검증에 있어서 학습알고리즘 검증의 신뢰성을 판별하기 위한 학습알고리즘 검증판별부(37)를 더 구비하며,
학습 알고리즘모듈(30)의 학습알고리즘 검증판별부(37)는 차량번호 식별모듈(20)의 문자열 추출부(26)의 문자열추출 알고리즘모듈(26A)과 화소추출 알고리즘모듈(26B)에 의하여 각각 추출되는 문자에 대한 정확도의 가중치를 곱함으로써 일정 가중치 이상인지 유무에 따라 학습 알고리즘모듈(30)의 학습알고리즘 보정부(36)에 대한 학습 알고리즘 보정여부를 제어하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The learning algorithm module (30) according to claim 17, further comprising a learning algorithm verification / discrimination section (37) for discriminating the reliability of the learning algorithm verification in the verification by the learning algorithm verification section (35)
The learning algorithm verification and discrimination section 37 of the learning algorithm module 30 extracts and extracts the character strings by the character string extraction algorithm module 26A and the pixel extraction algorithm module 26B of the character string extraction section 26 of the car number identification module 20, And the learning algorithm is corrected for the learning algorithm correction unit (36) of the learning algorithm module (30) according to whether or not the weight is greater than or equal to a predetermined weight by multiplying a weight Recognition system. 제18항에 있어서, 학습 알고리즘모듈(30)는 차량 등록에 관하여 입력된 제조사, 모델명, 차종, 색상 및 차량번호에 관한 데이터가 입력되는 학습 알고리즘모듈(30)의 학습 데이터베이스(31)에 있어서 차량 등록에 의하여 입력된 제조사, 모델명, 차종, 색상 및 차량번호에 관한 데이터가 입력되며,
모델명, 차종 및 제조사에 관한 데이터는 차량에 부착된 앰블런이나 제조사/모델명/차종 등에 관한 데이터를 추출하는 알고리즘에 의하여 수행되는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 시스템.The learning algorithm module (30) according to claim 18, wherein in the learning database (31) of the learning algorithm module (30) in which data relating to the manufacturer, model name, model, Data about the manufacturer, model name, car type, color, and car number input by registration are inputted,
Wherein the data on the model name, the vehicle type, and the manufacturer is performed by an algorithm for extracting data on amble, a maker / model name / vehicle type, etc. attached to the vehicle. 차량번호 식별모듈(20)의 문자열 추출부(26)에 의하여 차량 번호판의 이미지를 연속적으로 추출함과 동시에 연속 이미지의 변화를 추적하는 제3 단계;
학습 알고리즘모듈(30)의 미인식 섹터추출부(33)는 외부환경 등에 따른 차량번호판의 비표준화로 인한 차량 번호판의 미인식 섹터를 추출하는 제4 단계;
학습 알고리즘모듈(30)의 미인식 섹터추출부(33)는 차량번호판의 미인식 섹터에 대하여 학습 데이터베이스(31) 내의 유사 섹터에 관한 데이터로 이루어진 섹터와 비교하는 제5 단계;
학습 알고리즘모듈(30)의 학습알고리즘 검증부(35)에 의하여 차량의 연속 이미지 변화에 따른 차량 번호판의 이미지에 관한 데이터와 미인식 섹터에 관한 데이터를 비교함으로써 학습 알고리즘의 수행결과를 검증하는 제6 단계; 및
학습 알고리즘의 수행결과에 따라 연속 이미지 데이터로부터 미인식 섹터 이미지에 대한 표준 데이터값을 산출하여 학습 알고리즘모듈(30)의 학습 데이터베이스(31)를 업데이트하는 제7 단계를 포함하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 방법.A third step of successively extracting the image of the license plate by the character extracting unit (26) of the car number identification module (20) and tracking the change of the continuous image;
The unrecognized sector extracting unit 33 of the learning algorithm module 30 extracts an unrecognized sector of the license plate due to the non-standardization of the license plate according to the external environment or the like;
The unrecognized sector extracting unit 33 of the learning algorithm module 30 compares the unrecognized sector of the license plate with the sector of the similar sector in the learning database 31;
The learning algorithm verification unit 35 of the learning algorithm module 30 compares the data on the image of the license plate with the data on the unrecognized sector according to the continuous image change of the vehicle, step; And
And a seventh step of calculating a standard data value of the unrecognized sector image from the continuous image data according to the execution result of the learning algorithm and updating the learning database 31 of the learning algorithm module 30. [ A method of recognizing a car number using the. 제20항에 있어서, 미인식 섹터에 관련된 표준 데이터의 업데이트와 동시에 미인식 섹터를 유형별로 코드화하며, 미인식 섹터의 코드화에 따른 영상 이미지 데이터를 학습화하는 제8 단계를 더 포함하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 방법.The method as claimed in claim 20, further comprising an eighth step of categorizing unrecognized sectors by type at the same time of updating standard data related to unrecognized sectors, and learning image image data according to encoding of unrecognized sectors A method of recognizing a car number using a learning algorithm. 제21항에 있어서, 인식의 정확도에 따른 미인식 섹터의 유형화와 더불어 데이터 처리에 대한 심화 학습이 수행되도록 하는 제9 단계를 더 포함하는 것을 특징으로 하는 학습 알고리즘을 이용한 차량번호 인식 방법.22. The method of claim 21, further comprising a ninth step of performing deep learning on data processing in addition to the type of unrecognized sectors according to recognition accuracy.
KR1020170156228A 2017-11-22 2017-11-22 License plate matching system by using learning algorithm and method thereof KR101987671B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170156228A KR101987671B1 (en) 2017-11-22 2017-11-22 License plate matching system by using learning algorithm and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170156228A KR101987671B1 (en) 2017-11-22 2017-11-22 License plate matching system by using learning algorithm and method thereof

Publications (2)

Publication Number Publication Date
KR20190058863A true KR20190058863A (en) 2019-05-30
KR101987671B1 KR101987671B1 (en) 2019-06-11

Family

ID=66675928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170156228A KR101987671B1 (en) 2017-11-22 2017-11-22 License plate matching system by using learning algorithm and method thereof

Country Status (1)

Country Link
KR (1) KR101987671B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210066337A (en) * 2019-11-28 2021-06-07 파킹클라우드 주식회사 Method and computer readable storage medium to operate parking lot for monitoring designated vehicles
KR102288098B1 (en) * 2020-07-20 2021-08-11 한국도로공사 How to analyze and statistics on the cause of vehicle number recognition failure
KR20220003218A (en) * 2020-07-01 2022-01-10 인하대학교 산학협력단 Misidentification Prevention Apparatus for Identifying Vehicle Number Plate With Adversarial Attack And Method Thereof
KR102428930B1 (en) * 2022-03-16 2022-08-02 양석원 Method and system for payment of car wash charge based on car identification
KR102594384B1 (en) * 2022-09-05 2023-10-26 주식회사 셀플러스코리아 Image recognition learning apparatus of autonomous vehicle using error data insertion and image recognition learning method using the same
KR102644659B1 (en) * 2023-08-29 2024-03-12 주식회사 델타엑스 Road managing system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155126A (en) * 2004-11-29 2006-06-15 Mitsubishi Heavy Ind Ltd Vehicle number recognition device
KR101625384B1 (en) * 2016-02-26 2016-06-13 (주)토마토전자 System and method for identifying vehicles
KR101784764B1 (en) * 2017-09-05 2017-10-12 주식회사한맥아이피에스 The highway toll payment method for electric vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155126A (en) * 2004-11-29 2006-06-15 Mitsubishi Heavy Ind Ltd Vehicle number recognition device
KR101625384B1 (en) * 2016-02-26 2016-06-13 (주)토마토전자 System and method for identifying vehicles
KR101784764B1 (en) * 2017-09-05 2017-10-12 주식회사한맥아이피에스 The highway toll payment method for electric vehicle

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210066337A (en) * 2019-11-28 2021-06-07 파킹클라우드 주식회사 Method and computer readable storage medium to operate parking lot for monitoring designated vehicles
KR20220003218A (en) * 2020-07-01 2022-01-10 인하대학교 산학협력단 Misidentification Prevention Apparatus for Identifying Vehicle Number Plate With Adversarial Attack And Method Thereof
KR102288098B1 (en) * 2020-07-20 2021-08-11 한국도로공사 How to analyze and statistics on the cause of vehicle number recognition failure
KR102428930B1 (en) * 2022-03-16 2022-08-02 양석원 Method and system for payment of car wash charge based on car identification
KR102594384B1 (en) * 2022-09-05 2023-10-26 주식회사 셀플러스코리아 Image recognition learning apparatus of autonomous vehicle using error data insertion and image recognition learning method using the same
KR102644659B1 (en) * 2023-08-29 2024-03-12 주식회사 델타엑스 Road managing system and method

Also Published As

Publication number Publication date
KR101987671B1 (en) 2019-06-11

Similar Documents

Publication Publication Date Title
KR101987671B1 (en) License plate matching system by using learning algorithm and method thereof
CA2945452C (en) Intelligent automatic license plate recognition for electronic tolling environments
US8699754B2 (en) Clear path detection through road modeling
JP5423631B2 (en) Image recognition device
CN103824452B (en) A kind of peccancy parking detector based on panoramic vision of lightweight
US8634593B2 (en) Pixel-based texture-less clear path detection
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
CN101950350B (en) Clear path detection using a hierachical approach
KR101688695B1 (en) Apparatus and method for recognizing the number of cars and a computer-readable recording program for performing the said method, the recording medium
US20090268948A1 (en) Pixel-based texture-rich clear path detection
KR102383377B1 (en) Electronic device for recognizing license plate
WO2013018708A1 (en) Vehicle detection device and vehicle detection method
AU2017261601A1 (en) Intelligent automatic license plate recognition for electronic tolling environments
JP2014074939A (en) Vehicle detection device
CN112101147A (en) Vehicle-mounted intelligent recognition detection system
CN114266993A (en) Image-based road environment detection method and device
JP5447162B2 (en) Mobile object identification apparatus, computer program, and mobile object identification method
CN116894855A (en) Intersection multi-target cross-domain tracking method based on overlapping view
JP5447164B2 (en) Mobile object identification apparatus, computer program, and mobile object identification method
Shahrear et al. An automatic traffic rules violation detection and number plate recognition system for Bangladesh
KR102596437B1 (en) Estimating Method and System of Perception Distance using Image Data on Road
CN116052135B (en) Foggy day traffic sign recognition method based on texture features
CN112241004B (en) Object recognition device
TWI734050B (en) Vehicle recognition method and system using the same, object recognition method and system using the same
KR20050077160A (en) Management method of parking entry car using image matching method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant