KR102008630B1 - Apparatus and method for increasing image recognition rate - Google Patents
Apparatus and method for increasing image recognition rate Download PDFInfo
- Publication number
- KR102008630B1 KR102008630B1 KR1020180161382A KR20180161382A KR102008630B1 KR 102008630 B1 KR102008630 B1 KR 102008630B1 KR 1020180161382 A KR1020180161382 A KR 1020180161382A KR 20180161382 A KR20180161382 A KR 20180161382A KR 102008630 B1 KR102008630 B1 KR 102008630B1
- Authority
- KR
- South Korea
- Prior art keywords
- license plate
- vehicle
- image
- unit
- recognized
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000011109 contamination Methods 0.000 claims description 8
- 238000002845 discoloration Methods 0.000 claims description 2
- 238000012015 optical character recognition Methods 0.000 claims description 2
- 230000037303 wrinkles Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 11
- 230000003287 optical effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G06K9/3258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G06K2209/15—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Character Discrimination (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 이미지 인식률 증대 장치 및 방법에 관한 것으로서, 보다 상세하게는 SRGAN 학습을 통하여, 저 해상도의 차량 번호판을 고 해상도의 차량 번호판으로 해상도를 높이는 차량 번호판의 인식률 증대 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for increasing image recognition rate, and more particularly, to an apparatus and method for increasing recognition rate of a license plate for increasing a resolution of a low-resolution vehicle license plate into a high-resolution vehicle license plate through SRGAN learning.
현대인의 이동수단으로 사용되는 각종 차량 및 오토바이 등에는 관련 법규에 따라 번호판을 반드시 부착하여 운행하도록 의무화 되었다. 이러한 차량의 번호판은 단순히 차량을 식별하기 위함뿐 아니라 블랙박스나 CCTV에 찍힌 차량의 번호판을 식별하여 수사자료에 참조되거나 자동주차와 같이 차량의 번호판을 인식할 때 등 다양하게 활용되고 있다. Various vehicles and motorcycles used as a means of transportation for modern people are required to operate by attaching license plates in accordance with related laws. The license plate of the vehicle is not only used to identify the vehicle but also variously used to identify the license plate of a vehicle captured by a black box or CCTV and refer to the investigation data or recognize the license plate of a vehicle such as an automatic parking lot.
그러나, 종래의 차량 번호판을 인식하기 위해서는 전문적인 인식 장치 등을 별도로 구비하여야 하고, 기존의 장비와는 손쉽게 호환이 되지 않아 경제적인 문제점이 있었다. However, in order to recognize a conventional license plate, a professional recognition device or the like must be provided separately, and there is an economic problem because it is not easily compatible with existing equipment.
따라서, 전문적인 인식 장치 보다 선명한 해상도로 차량의 번호판을 인식할 수 있으며, 기존의 장비의 업 그레이드 없이도 편리하게 호환이 가능한 차량 인식률 증대 장치 및 방법의 개발이 시급한 실정이다. Accordingly, it is urgent to develop a vehicle recognition rate increasing device and method that can recognize a license plate of a vehicle at a sharper resolution than a professional recognition device and can be conveniently compatible without upgrading existing equipment.
[관련기술문헌][Related Technical Documents]
1. 차량번호 인식시스템 및 그 시스템을 이용한 차량 번호판 영상의 선명도 개선 방법(특허출원번호 제10-2005-0030669호)1. Vehicle number recognition system and method for improving the sharpness of vehicle license plate image using the system (Patent Application No. 10-2005-0030669)
본 발명이 해결하고자 하는 과제는 원본 이미지와 매칭되는 축소 이미지가 함께 저장된 데이터 베이스를 기반으로, SRGAN 및 SRCNN 학습 중 적어도 하나의 학습을 수행시킨 알고리즘을 이용하기 때문에 보다 해상도가 높은 선명한 이미지를 획득할 수 있도록 하는 이미지 인식률 증대 장치 및 방법을 제공하는 것이다. The problem to be solved by the present invention is to use the algorithm that performed at least one of the training of SRGAN and SRCNN based on a database in which a reduced image matching the original image is stored together to obtain a higher resolution clear image. An apparatus and method for increasing image recognition rate may be provided.
본 발명이 해결하고자 하는 다른 과제는 오염된 차량의 번호판을 설정된 알고리즘에 따라 복원해 낼 수 있어, 번호판을 인식하는 사업장이나 수사기관 등에 유용하게 활용될 수 있는 이미지 인식률 증대 장치 및 방법을 제공하는 것이다. Another problem to be solved by the present invention is to provide an apparatus and method for increasing image recognition rate, which can be used to restore a license plate of a contaminated vehicle according to a set algorithm, which can be usefully used for a business or investigative agency that recognizes a license plate. .
본 발명이 해결하고자 하는 또 다른 과제는 이동성 디스크 형태로 구성되거나 클라우드 기반의 애플리케이션 형태로 제공될 수 있어, 기존의 장비의 업 그레이드 없이 사용될 수 있어, 사용자의 경제성이나 편리성을 향상시켜 줄 수 있는 차량 번호판의 인식률 증대 장치 및 방법을 제공하는 것이다. Another problem to be solved by the present invention can be configured in the form of a removable disk or provided in the form of a cloud-based application, can be used without upgrading the existing equipment, which can improve the economics or convenience of the user The present invention provides an apparatus and a method for increasing the recognition rate of a vehicle license plate.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 차량 인식률 증대 장치는, 이미지 전처리를 수행하여, 이미지에 포함된 노이즈를 제거하는 이미지 전처리부; 전처리된 이미지에서 차량 번호판을 검출하는 차량 번호판 검출부; 검출된 차량 번호판의 이미지만을 추출하는 차량 번호판 이미지 추출부; 추출된 차량 번호판의 이미지를 SRGAN 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원하는 이미지 복원부; 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출하는 문자 영역 검출부; 검출된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 광학적 문자 판독장치를 이용하여 판독하는 문자 판독부; 및 전반적인 동작을 제어하는 제어부를 포함한다. In order to solve the above problems, the vehicle recognition rate increasing apparatus according to an embodiment of the present invention, the image pre-processing unit to remove the noise included in the image by performing image pre-processing; A vehicle license plate detection unit for detecting a vehicle license plate in the preprocessed image; A vehicle license plate image extraction unit for extracting only an image of the detected vehicle license plate; An image restoring unit for restoring the extracted image of the license plate to an image having a predetermined resolution or more using an SRGAN algorithm; A character area detector for detecting at least one of a number, a symbol, and a text area in an image of the vehicle license plate restored to a set resolution or more; A character reading unit that reads at least one of the detected numbers, symbols, and character areas using an optical character reading device; And a control unit for controlling the overall operation.
본 발명이 해결하고자 하는 다른 과제는 SRGAN 알고리즘은, 저장된 데이터 베이스를 기반으로, SRGAN 학습이 완료된 알고리즘이다.Another problem to be solved by the present invention is the SRGAN algorithm, the SRGAN learning is completed based on the stored database.
본 발명이 해결하고자 하는 또 다른 과제는 차량 번호판을 구성하는 숫자, 기호 및 문자 중 적어도 하나로 이루어진 원본 이미지 및 원본 이미지와 동일한 이미지에 대하여 설정된 해상도 이하의 축소 이미지를 각각 비교하여 저장하는 데이터 베이스를 더 포함한다.Another problem to be solved by the present invention further comprises a database for comparing and storing the original image consisting of at least one of the numbers, symbols, and letters constituting the license plate and a reduced image having a resolution equal to or smaller than the set resolution for the same image. Include.
본 발명이 해결하고자 하는 또 다른 과제는 판독된 숫자, 기호 및 문자 중 적어도 하나에 대해 텍스트로 추출하는 텍스트 추출부; 및 텍스트 추출부에서 추출된 텍스트를 저장하는 저장부를 더 포함한다.Another problem to be solved by the present invention is a text extraction unit for extracting at least one of the read numbers, symbols and characters as text; And a storage unit which stores the text extracted by the text extraction unit.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 차량 인식률 증대 방법은, 이미지 전처리부에서, 이미지 전처리를 수행하여, 이미지에 포함된 노이즈를 제거하는 단계; 차량 번호판 검출부에서, 전처리된 이미지에서 차량 번호판을 검출하는 단계; 차량 번호판 이미지 추출부에서, 검출된 차량 번호판의 이미지만을 추출하는 단계; 이미지 복원부에서, 추출된 차량 번호판의 이미지를 SRGAN 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원하는 단계; 문자 영역 검출부에서, 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출하는 단계; 문자 판독부에서, 검출된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 광학적 문자 판독장치를 이용하여 판독하는 단계; 및 제어부에서, 전반적인 동작을 제어하는 단계를 포함한다. In order to solve the above problems, the vehicle recognition rate increase method according to an embodiment of the present invention, the image pre-processing unit, performing the image pre-processing, to remove the noise contained in the image; Detecting, by the vehicle license plate detection unit, the vehicle license plate in the preprocessed image; Extracting only the image of the detected vehicle license plate by the vehicle license plate image extractor; Restoring, by the image restoration unit, the extracted image of the license plate to an image having a predetermined resolution or more by using the SRGAN algorithm; Detecting, by the character area detection unit, at least one of a number, a symbol, and a character area in an image of the vehicle license plate restored to a set resolution or more; In the character reading unit, reading at least one of the detected numbers, symbols, and character areas by using the optical character reading device; And controlling, by the controller, the overall operation.
본 발명은 원본 이미지와 매칭되는 축소 이미지가 함께 저장된 데이터 베이스를 기반으로, SRGAN 및 SRCNN 학습 중 적어도 하나의 학습을 수행시킨 알고리즘을 이용하기 때문에 보다 해상도가 높은 선명한 이미지를 획득할 수 있는 차량 번호판의 인식률 증대 장치 및 방법을 제공할 수 있다. The present invention uses an algorithm that performs at least one of SRGAN and SRCNN learning based on a database in which a reduced image matching the original image is stored together. An apparatus and method for increasing recognition rate may be provided.
본 발명은 오염된 차량의 번호판을 설정된 알고리즘에 따라 복원해 낼 수 있어, 번호판을 인식하는 사업장이나 수사기관 등에 유용하게 활용될 수 있는 차량 번호판의 인식률 증대 장치 및 방법을 제공할 수 있다. The present invention can restore the license plate of a contaminated vehicle according to a set algorithm, it is possible to provide an apparatus and method for increasing the recognition rate of a vehicle license plate that can be usefully used in businesses or investigation agencies that recognize the license plate.
본 발명은 해결하고자 하는 또 다른 과제는 이동성 디스크 형태로 구성되거나 클라우드 기반의 애플리케이션 형태로 제공될 수 있어, 기존의 장비의 업 그레이드 없이 사용될 수 있어, 사용자의 경제성이나 편리성을 향상시켜 줄 수 있다. Another object of the present invention is to be configured in the form of a removable disk or provided in the form of a cloud-based application, can be used without upgrading the existing equipment, it can improve the economics or convenience of the user .
발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the invention are not limited by the contents exemplified above, and more various effects are included in the present specification.
도 1a 내지 도 1e는 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치의 구성을 개략적으로 나타낸 블록도 및 오염된 번호판을 인식하는 내용을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 학습 데이터 베이스를 생성하는 내용을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치에서 SRGAN 학습을 수행하는 내용을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치의 동작 순서를 나타내는 순서도이다.1A to 1E are block diagrams schematically illustrating a configuration of an apparatus for increasing a recognition rate of a vehicle license plate according to an embodiment of the present invention, and a diagram for describing contents of recognizing a contaminated license plate.
2 is a diagram for describing contents of generating a learning database according to an exemplary embodiment.
3 is a view for explaining the content of the SRGAN learning in the apparatus for increasing the recognition rate of the vehicle license plate according to an embodiment of the present invention.
4 is a flowchart illustrating an operation sequence of an apparatus for increasing a recognition rate of a vehicle license plate according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and methods for achieving them will be apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, only the embodiments are to make the disclosure of the present invention complete, and those skilled in the art to which the present invention pertains. It is provided to fully inform the scope of the invention, and the invention is defined only by the scope of the claims.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 펌웨어 (firmware), 소프트웨어 (software), 또는 하드웨어 (hardware) 로 구성된, 알고리즘 또는 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 알고리즘 또는 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 디지털 신호 처리 디바이스 (Digital Signal Processing Device) 의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 알고리즘 또는 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block of the accompanying block diagrams and respective steps of the flowcharts may be performed by algorithms or computer program instructions, consisting of firmware, software, or hardware. These algorithms or computer program instructions may be embedded in a processor of a general purpose computer, special purpose computer, or other programmable digital signal processing device, so that instructions executed through a processor of a computer or other programmable data processing equipment. These will create means for performing the functions described in each block of the block diagram or in each step of the flowchart. These algorithms or computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer available or computer readable. It is also possible for the instructions stored in the capable memory to produce an article of manufacture containing instructions means for performing the functions described in each block or flow chart step of the block diagram. Computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps may be performed on the computer or other programmable data processing equipment to create a computer-implemented process to create a computer or other programmable data. Instructions that perform processing equipment may also provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or step may represent a portion of a module, segment or code that includes one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative embodiments, the functions noted in the blocks or steps may occur out of order. For example, the two blocks or steps shown in succession may in fact be executed substantially concurrently or the blocks or steps may sometimes be performed in the reverse order, depending on the functionality involved.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numerals refer to like elements throughout.
본 발명의 여러 실시 예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시 예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each of the features of the various embodiments of the present invention may be combined or combined with each other, partly or wholly, various technically interlocking and driving as can be understood by those skilled in the art, each of the embodiments may be independently implemented with respect to each other It may be possible to carry out together in an association.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예들을 상세히 설명한다.Hereinafter, various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.
도 1a 내지 도 1e는 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치의 구성을 개략적으로 나타낸 블록도 및 오염된 번호판을 인식하는 내용을 설명하기 위한 도면이다. 1A to 1E are block diagrams schematically illustrating a configuration of an apparatus for increasing a recognition rate of a vehicle license plate according to an embodiment of the present invention, and a diagram for describing contents of recognizing a contaminated license plate.
도 1a는 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치의 구성을 개략적으로 나타낸 블록도이다. 먼저, 도 1a에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치(100)는 이미지 전처리부(110), 차량 번호판 검출부(111), 차량 번호판 이미지 추출부(112), 이미지 복원부(113), 문자 영역 검출부(114), 문자 판독부(115), 텍스트 추출부(116), 저장부(117), 데이터 베이스(118) 및 제어부(120)를 포함한다. 1A is a block diagram schematically illustrating a configuration of an apparatus for increasing a recognition rate of a vehicle license plate according to an embodiment of the present invention. First, as shown in FIG. 1A, the
차량 번호판의 인식률 증대 장치(100)는 스마트폰, 태블릿 PC, 노트북 및 데스크탑 등과 같은 다양한 전자 장치일 수 있고, USB 등과 같이 이동 저장공간 디스크 형태로 구성되어, 스마트폰, 태블릿 PC, 노트북 및 데스크탑 등과 같은 다양한 전자 장치와 연결하여 딥러닝 머신을 제공하는 형태로 전자 장치의 업 그레이드 없이 바로 이용 가능할 수도 있다. The
또한, 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치(100)는 디바이스 형태로 구성된 것으로 예를 들어 설명하였지만, 디바이스의 종류와 관계없이 클라우드 기반의 애플리케이션을 제공할 수도 있다. In addition, the
이미지 전처리부(110)는 이미지 전처리(image preprocessing)를 수행하여, 이미지에 포함된 노이즈(noise)를 제거한다. The image preprocessing
차량 번호판 검출부(111)는 전처리된 이미지에서 차량 번호판을 검출(detection)한다. 구체적으로, 차량 번호판 검출부(111)는 전처리된 전체 이미지에서 차량 번호판만을 검출한다. The vehicle
차량 번호판 이미지 추출부(112)는 검출된 차량 번호판의 이미지만을 추출한다. 구체적으로, 차량 번호판 이미지 추출부(112)는 차량 번호판 검출부(111)에서 검출된 차량 번호판에서 차량 번호판만의 이미지를 추출한다. The vehicle license plate
이미지 복원부(113)는 추출된 차량 번호판의 이미지를 SRGAN(Super Resolution Generation Adversarial Network) 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원한다. The
보다 구체적으로, 이미지 복원부(113)는 추출된 차량 번호판의 이미지를 SRGAN 알고리즘을 이용하여, 저해상도의 추출된 차량 번호판의 이미지를 고해상도의 차량 번호판의 이미지로 복원한다. More specifically, the
여기서, SRGAN 알고리즘이란 GAN(Generative Adversarial Networks)을 기반으로 한 알고리즘으로, MES(Manufacturing Execution System) 보다 특성이 우수한 손실함수(Loss Function)를 적용한 알고리즘이다. Here, the SRGAN algorithm is an algorithm based on GAN (Generative Adversarial Networks), and is an algorithm that applies a loss function having superior characteristics to MES (Manufacturing Execution System).
문자 영역 검출부(114)는 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출한다. 구체적으로, 문자 영역 검출부(114)는 고해상도로 복원된 차량 번호판의 이미지에 포함된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출한다. The
예를 들어, 고해상도의 복원된 차량 번호판의 이미지가 “00가1234”일 경우, 문자 영역 검출부(114)는 “0”, “0”, “가”, “1”, “2”, “3”, 및 “4”라는 숫자 및 문자를 각각 검출할 수 있다. For example, when the image of the high-resolution restored license plate is "00 is 1234", the character
문자 판독부(115)는 검출된 문자 영역을 광학적 문자 판독장치(Optical Character Reader)를 이용하여 판독한다. 예를 들면, 상술한 예에서, 문자 판독부(115)는 “0”, “0”, “가”, “1”, “2”, “3”, 및 “4”라는 숫자 및 문자를 문자 판독장치를 이용하여, 차량의 번호판은 “00가1234”라고 판독할 수 있다. The
텍스트 추출부(116)는 판독된 숫자, 기호 및 문자 중 적어도 하나에 대해 텍스트로 추출한다. The
저장부(117)는 텍스트 추출부(116)에서 추출된 텍스트를 저장한다. The
데이터 베이스(118)는 차량 번호판을 구성하는 숫자, 기호 및 문자 중 적어도 하나로 이루어진 원본 이미지 및 상기 원본 이미지와 동일한 이미지에 대하여 설정된 해상도 이하의 축소 이미지를 각각 비교하여 저장한다. The
여기서, 축소 이미지란 원본 이미지와 동일한 이미지로, 해상도만 원본 이미지와 비교하여 설정된 해상도만큼 떨어지는 이미지이다. Here, the reduced image is the same image as the original image, and only the resolution is an image falling by the set resolution compared to the original image.
예를 들어, 설정된 해상도 이상의 원본 이미지에 표시된 차량 번호판이 “00가1234”일 경우, 데이터 베이스(118)는 제어부(120)의 제어에 따라 원본 이미지에 표시된 “00가1234”라는 차량 번호판과 축소된 이미지에 표시된 “00가1234”라는 차량 번호판을 각각 비교하여 저장할 수 있다. For example, when the license plate displayed on the original image having a resolution higher than the set resolution is “00 is 1234”, the
즉, 데이터 베이스(118)에는 해상도가 높은 원본 이미지와 해상도가 떨어지는 축소 이미지를 각각 저장된다. That is, the
제어부(120)는 차량 번호판의 인식률 증대 장치(100)를 전반적으로 제어한다. 본 발명의 일 실시 예에서는 각각의 구성요소(110 내지 118)와 제어부(120)를 구별하여 표시하였지만, 모든 동작을 제어부(120)에서 수행할 수도 있음은 물론이다. The
도 1b는 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치(100)에 포함된 제어부(120)의 세부적인 구성을 개략적으로 도시한 블록도이고, 도 1c는 본 발명의 일 실시 예에 따른 오염된 차량 번호판을 설명하기 위한 상황도이다. 이하, 설명의 편의상 도 1b 및 도 1c를 함께 설명하겠다. FIG. 1B is a block diagram schematically showing a detailed configuration of the
먼저, 도 1b에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치(100)의 제어부(120)는 오염 번호판 인식부(121), 오염 번호판 추정부(122), 차량 번호판 조회부(123) 및 결과 산출부(124)를 포함한다. First, as shown in Figure 1b, the
오염 번호판 인식부(121)는 차량 번호판이 오염된 번호판인지 여부를 판단한다. 여기서, 오염된 번호판이란 차량의 번호판이 각종 물질들이나 외부의 충격 등에 의하여 인식될 수 없는 차량의 번호판이다. The pollution license
즉, 차량 번호판에 포함된 숫자, 기호 및 문자 중 어느 하나라도 완전히 인식되지 않을 경우, 오염 번호판 인식부(121)는 차량 번호판이 오염되었다고 판단한다. That is, when any one of the numbers, symbols, and letters included in the license plate is not completely recognized, the pollution license
예를 들면, 도 1c에 도시된 바와 같이, 오염 번호판 인식부(121)는 인식하고자 하는 차량의 번호판(130)에 포함된 문자 “가” 뒤에 위치한 세 번째 숫자(131)가 인식되지 않을 경우, 차량의 번호판(130)이 오염되었다고 판단한다. For example, as illustrated in FIG. 1C, when the license
만약, 오염 번호판 인식부(121)에서 차량 번호판이 오염되었다고 판단될 경우, 오염 번호판 인식부(121)는 인식하고자 하는 차량의 번호판(130)이 오염된 번호판이라고 인식한다. If the license
이후, 오염 번호판 추정부(122)는 오염된 번호판에 포함된 숫자, 기호 및 문자 중 인식되지 않는 하나 이상의 숫자, 기호 및 문자를 추정한다. 예를 들면, 도 1c에 도시된 인식하고자 하는 차량의 번호판(130)에 포함된 문자 “가” 뒤에 위치한 세 번째 숫자(131)가 오염되기 전 어떤 숫자인지 추정한다. Thereafter, the contamination
이때, 오염 번호판 추정부(122)는 상술한 데이터 베이스(118)에 저장된 원본 이미지 및 축소 이미지를 비교하여, 오염된 숫자가 오염되기 전 어떤 숫자인지 추정한다. At this time, the pollution
구체적인 예를 들면, 오염 번호판 추정부(122)는 오염된 숫자(131)의 영역 중 오염되지 않은 영역에 표시된 형태를 보고 오염된 숫자가 “0”인지, “6”인지 아님 “8”인지 여부를 추정할 수 있다. For example, the
여기서, 오염 번호판 추정부(122)는 각각의 추정되는 숫자, 기호 및 문자 등을 퍼센트 형식으로 추정할 수 있다. 상술한 예에서, 오염 번호판 추정부(122)는 오염된 숫자(131)가 “0”, “6” 및 “8” 중 어느 하나라고 각각 100퍼센트 추정할 수도 있고, 30퍼센트, 50퍼센트 및 20퍼센트라고 추정할 수도 있다. Here, the pollution
차량 번호판 조회부(123)는 인식하고자 하는 차량의 번호판에 포함된 숫자, 기호 및 문자 중 어느 하나라도 오염으로 인하여 완전히 인식되지 않을 경우, 차량의 차종과 최종적으로 인식된 번호판을 기반으로, 설정된 기관의 데이터 베이스에 저장된 등록 차량 번호판과 조회한다.The vehicle license
예를 들면, 오염 번호판 추정부(122)에서 오염 번호판을 식별한 결과 “00가12X4”까지 추정하였고, “X”로 표시된 숫자를 인식하지 못하였으며, 인식하고자 하는 번호판의 차종이 “A” 차종일 경우에 대하여 설명해 보겠다. For example, when the pollution
상술한 예에서, 차량 번호판 조회부(123)는 설정된 기관의 서버에 저장된 데이터 베이스를 기반으로, “A” 차종에 발부된 차량 번호판이 “00가1234”라는 정보를 취득할 수 있다. In the above-described example, the vehicle license
결과 산출부(124)는 오염 번호판 추정부(122) 또는 차량 번호판 조회부(123)로부터 데이터를 전송받아 차량 번호판의 인식 결과를 산출한다. 예를 들면, 결과 산출부(124)는 오염 번호판 추정부(122)에서 추정된 차량 번호판과 그 추정된 차량 번호판의 퍼센트를 함께 표시할 수도 있고, 차량 번호판 조회부(123)로부터 확인된 차량의 번호판에 포함된 숫자, 기호 및 문자 등을 표시할 수도 있다. The
본 발명의 일 실시 예에서는 설명하지 않았지만, 차량 번호판의 인식률 증대 장치는 딥러닝에 기반한 비정형 데이터 학습을 위한 툴을 생성할 수도 있다. 예를 들면, 차량 번호판의 인식률 증대 장치는 딥러닝에 기반한 비정형 데이터 학습을 위한 툴을 생성하여, 반투명도, 명암, 이미지 필터, 원근 표현, 상하 좌우 회전 등을 통해 동일 이미지에 대한 다양한 왜곡 이미지를 딥러닝 학습에 포함시킬 수도 있다. Although not described in an embodiment of the present disclosure, the apparatus for increasing the recognition rate of the vehicle license plate may generate a tool for learning unstructured data based on deep learning. For example, the license plate recognition device of the license plate generates tools for learning unstructured data based on deep learning, and displays various distortion images of the same image through semi-transparency, contrast, image filter, perspective expression, and vertical rotation. You can also include it in deep learning.
본 발명의 일 실시 예에서는 설명하지 않았지만, 차량 번호판의 인식률 증대 장치는 수집된 번호판 이미지 상에 오염 번호판 이미지 필터를 거쳐 재 생성된 비정형 이미지를 비정형 번호판 이미지 학습기로 지도 학습하여 이미지 왜곡에도 유연하게 인식하게 할 수도 있다. Although not described in an embodiment of the present invention, the apparatus for increasing the recognition rate of a vehicle license plate recognizes an irregular image reconstructed through a dirty license plate image filter on a collected license plate image with an atypical license plate image learner to flexibly recognize image distortion. You can also
도 1d는 본 발명의 또 다른 실시 예에 따른 차량 번호판의 인식률 증대 장치(100)에 포함된 제어부(120)의 세부적인 구성을 개략적으로 도시한 블록도이고, 도 1e는 본 발명의 또 다른 실시 예에 따른 영역 유사도 판단부에서 영역 유사도를 판단하는 내용을 설명하기 위한 상황도이다. 이하, 설명의 편의상 도 1d 및 도 1e를 함께 설명하겠다. FIG. 1D is a block diagram schematically showing a detailed configuration of the
먼저, 도 1d에 도시된 바와 같이, 본 발명의 또 다른 실시 예에 따른 차량 번호판의 인식률 증대 장치(100)의 제어부(120)는 차종 확인부(125), 인식 위치 확인부(126), 인식 시간대 확인부(127), 영역 유사도 판단부(128), 가중치 결정부(129) 및 차량 번호판 산출부(129-1)를 포함한다. First, as shown in FIG. 1D, the
차종 확인부(125)는 인식하고자 하는 차량의 번호판에 포함된 숫자, 문자 및 기호 등이 인식되지 않는 오염된 번호판일 경우, 오염된 번호판의 차량에 대한 차종을 확인한다. If the vehicle
인식 위치 확인부(126)는 현재 오염된 번호판의 차량이 위치한 지역의 세부적인 위치를 확인한다. 예를 들면, 인식 위치 확인부(126)는 차량 번호판의 인식률 증대 장치(100) 내에 구성된 GPS 모듈 등으로 특정 음식점, 사우나, 아파트, 공공기관 및 빌딩과 같은 현재 차량이 위치한 지역의 세부적인 위치를 확인할 수 있다. The recognition
인식 시간대 확인부(127)는 현재 오염된 번호판의 차량을 인식한 구체적인 시간을 확인한다. 예를 들면, 인식 시간대 확인부(127)는 현재 오염된 번호판의 차량을 인식한 시간대가 오전 및 오후인지와 구체적인 시간을 함께 확인한다. The recognition
영역 유사도 판단부(128)는 인식하고자 하는 차량의 번호판이 오염된 번호판일 경우, 기존에 완전하게 인식된 차량의 번호판과 비교하여, 번호판의 영역의 유사도를 판단한다. If the license plate of the vehicle to be recognized is a contaminated license plate, the area
구체적으로, 인식하고자 하는 차량의 번호판에 포함된 숫자, 문자 및 기호 등 중에서 일부가 인식되지 않는 오염된 번호판일 경우, 영역 유사도 판단부(128)는 저장부(117) 또는 데이터 베이스(118)에 저장된 기존에 완전하게 인식된 차량의 번호판과 비교하여, 설정된 영역 중 유사도가 인정되는 영역을 판단한다. Specifically, in the case of a contaminated license plate in which some of numbers, letters, and symbols included in the license plate of the vehicle to be recognized are not recognized, the area
예를 들면, 도 1e에 도시된 바와 같이, 제1영역 내지 제3영역(132 내지 134)으로 구획된 오염된 차량의 번호판(130)의 영역 중 현재 오염된 영역이 제1영역(132)이고, 기존에 완전하게 인식된 번호판에 대한 데이터가 저장되어 있는 경우에 대하여 설명해 보겠다. For example, as shown in FIG. 1E, the currently contaminated region among the regions of the
상술한 예에서, 오염된 영역인 제1영역(132)을 제외한 나머지 제2영역 및 제3영역(133, 134)이 기존에 완전하게 인식된 번호판과 동일할 경우, 영역 유사도 판단부(128)는 기존에 인식된 번호판과 66.6퍼센트가 유사하다고 판단할 수 있다. In the above-described example, when the second and
본 실시 예에서는 차량의 번호판을 제1영역 내지 제3영역(132 내지 134)으로 구분하는 예를 설명하였지만, 이에 한정되지 않고 차량의 번호판은 설정된 개수만큼 구분하여 유사도를 보다 정밀하게 판단할 수도 있다. In the present exemplary embodiment, an example of dividing the license plate of the vehicle into the first to
또한, 유사도 판단부(128)는 오염된 번호판과 기존에 인식된 번호판과의 고유영역이 일치하는지 여부를 추가적으로 판단하여, 유사도의 판단의 확률을 보다 높일 수도 있다. In addition, the
여기서, 고유영역이란 다른 차량의 번호판과 구별될 수 있는 영역으로써, 예를 들면, 흠집, 구겨짐, 변색 및 특유의 마크 등과 같은 본 차량의 번호판만의 특유의 영역이다. Here, the unique area is an area which can be distinguished from other license plates of the vehicle, and is a unique area only for the license plate of the vehicle such as, for example, scratches, wrinkles, discoloration, and unique marks.
또한, 유사도 판단부(128)는 저장된 번호판과 오염된 번호판의 전 영역을 매칭하는 전 범위 매칭과 일부 영역을 매칭하는 일부 영역 매칭으로 이원화하여 구동될 수도 있다. 구체적으로, 유사도 판단부(128)는 저장된 번호판과 오염된 번호판의 전 영역을 매칭하는 전 범위 매칭과 저장된 번호판 중 일부의 영역과 오염된 번호판 중 인식이 되지 않는 일부의 영역을 상호 매칭하는 일부 영역 매칭으로 이원화하여 구동될 수 있다. Also, the
이에 따라, 본 발명의 유사도 판단부에 따르면, 저장된 번호판과 오염된 번호판 전 영역을 매칭할 수 있을 뿐만 아니라 사용자의 설정 또는 오염된 번호판의 위치에 따라 특정 영역만을 매칭할 수도 있기 때문에 차량 번호판의 인식률 증대 장치의 전체적인 로드를 줄여 줄 수 있는 장점이 있다.Accordingly, according to the similarity determination unit of the present invention, the recognition rate of the vehicle license plate may not only match the stored license plate with the entire area of the contaminated license plate but also may match only a specific area according to the user's setting or the position of the contaminated license plate. There is an advantage to reduce the overall load of the augmentation device.
또한, 본 발명의 유사도 판단부에 따르면, 차량의 번호판이 오염되어 인식되지 않는 번호판의 부분을 중점적으로 인식할 수 있기 때문에 오염된 번호판의 영역만을 보다 정밀하게 인식할 수 있는 장점이 있다. In addition, according to the similarity determination unit of the present invention, since the portion of the license plate that is not recognized due to contamination of the vehicle plate may be mainly recognized, there is an advantage of more precisely recognizing only the area of the contamination plate.
가중치 결정부(129)는 차종 확인부(125), 인식 위치 확인부(126), 인식 시간대 확인부(127) 및 영역 유사도 판단부(128)에서 출력된 결과를 기반으로, 특정 데이터에 가중치를 차별화하여 부여한다. The
예를 들면, 인식하고자 하는 차량의 번호판 중 “X”라는 숫자가 오염되어, “00가 123X”로 불완전하게 차량의 번호판이 인식되었고, 차종 확인부(125)에서 확인된 차종은 A차종으로 확인되었으며, 기존에 완전하게 인식된 차량의 번호판이 “00가 1234”이며, 차종이 A차종일 경우에 대하여 설명해보겠다.For example, the number "X" in the license plate of the vehicle to be recognized is contaminated, so that the license plate of the vehicle is incompletely recognized as "00 is 123X", and the vehicle model confirmed by the vehicle
상술한 예에서, 가중치 결정부(129)는 불완전하게 인식된 차량의 번호판에 대하여 기존에 인식된 차량의 번호판의 숫자 및 문자 중 “X”숫자를 제외한 모든 숫자가 일치할 뿐만 아니라 차종 역시 A차종으로 일치하므로, 차종에 대한 데이터에 설정된 퍼센트만큼의 가중치를 더 부여할 수 있다. In the above-described example, the
또 다른 예를 들면, 인식하고자 하는 차량의 번호판 중 “X”라는 숫자가 오염되어, “00가 123X”로 불완전하게 차량의 번호판이 인식되었고, 인식 위치 확인부(126)에서 확인된 위치는 A아파트로 확인되었으며, 기존에 A아파트 부근에서 인식된 차량의 번호판이 “00가 1234”일 경우에 대하여 설명해보겠다.As another example, the number "X" in the license plate of the vehicle to be recognized is contaminated, so that the license plate of the vehicle is incompletely recognized as "00 is 123X", and the position confirmed by the recognition
상술한 예에서, 가중치 결정부(129)는 불완전하게 인식된 차량의 번호판에 대하여 기존에 인식된 차량의 번호판의 숫자 및 문자 중 “X”숫자를 제외한 모든 숫자가 일치할 뿐만 아니라 차량의 위치 역시 A아파트 부근으로 유사하므로, 인식 위치에 대한 데이터에 설정된 퍼센트만큼의 가중치를 더 부여할 수 있다. In the above-described example, the
또 다른 예를 들면, 인식하고자 하는 차량의 번호판 중 “X”라는 숫자가 오염되어, “00가 123X”로 불완전하게 차량의 번호판이 인식되었고, 인식 시간대 확인부(127)에서 확인된 시간대는 오전 10시로 확인되었으며, 기존에 오전 10시경에 인식된 차량의 번호판이 “00가 1234”일 경우에 대하여 설명해보겠다.As another example, the number "X" in the license plate of the vehicle to be recognized is contaminated, and the license plate of the vehicle is incompletely recognized as "00 is 123X", and the time zone checked by the recognition
상술한 예에서, 가중치 결정부(129)는 불완전하게 인식된 차량의 번호판에 대하여 기존에 인식된 차량의 번호판의 숫자 및 문자 중 “X”숫자를 제외한 모든 숫자가 일치할 뿐만 아니라 차량의 시간대 역시 오전 10시로 유사하므로, 인식 시간대에 대한 데이터에 설정된 퍼센트만큼의 가중치를 더 부여할 수 있다. In the above-described example, the
또 다른 예를 들면, 인식하고자 하는 차량의 번호판 중 “X”라는 숫자가 오염되어, “00가 123X”로 불완전하게 차량의 번호판이 인식되었고, 영역 유사도 판단부(127)에서 고유영역이 감지되었으며, 기존에 동일한 고유영역을 가지는 차량의 번호판이 “00가 1234”일 경우에 대하여 설명해보겠다.As another example, the number "X" in the license plate of the vehicle to be recognized is contaminated, the license plate of the vehicle is incompletely recognized as "00 is 123X", and the unique area is detected by the area
상술한 예에서, 가중치 결정부(129)는 불완전하게 인식된 차량의 번호판에 대하여 기존에 인식된 차량의 번호판의 숫자 및 문자 중 “X”숫자를 제외한 모든 숫자가 일치할 뿐만 아니라 차량의 번호판에 포함된 고유영역 역시 일치하므로, 영역 유사도에 대한 데이터에 설정된 퍼센트만큼의 가중치를 더 부여할 수 있다. In the above-described example, the
차량 번호판 산출부(129-1)는 가중치 결정부(129)에서 결정된 가중치를 기반으로, 오염된 차량 번호판을 최종적으로 산출한다. 구체적으로, 차량 번호판 산출부(129-1)는 오염된 차량 번호판을 소유한 차량의 차종, 인식 위치, 인식 시간대 및 번호판 영역 유사도를 종합한 가중치를 기반으로, 오염된 차량 번호판을 최종적으로 산출한다. The vehicle license plate calculator 129-1 finally calculates a contaminated vehicle license plate based on the weight determined by the
도 2는 본 발명의 일 실시 예에 따른 학습 데이터 베이스를 생성하는 내용을 설명하기 위한 도면이다. 먼저, 도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 자동차 번호판 데이터 베이스는 번호판 원본 이미지와 번호판 축소 이미지가 각각 저장된다. 2 is a diagram for describing contents of generating a learning database according to an exemplary embodiment. First, as shown in FIG. 2, the license plate database according to an embodiment of the present invention stores an original license plate image and a license plate reduced image, respectively.
여기서, 원본 이미지란 차량의 번호판을 식별할 수 있는 설정된 해상도 이상의 이미지이고, 축소 이미지란 원본 이미지와 동일한 이미지로, 해상도만 원본 이미지와 비교하여 설정된 해상도만큼 떨어지는 이미지이다. Here, the original image is an image having a set resolution or more that can identify the license plate of the vehicle, and the reduced image is the same image as the original image, and the resolution is an image that is lowered by the set resolution compared to the original image.
구체적으로, 자동차 번호판 데이터 베이스에는 원본 이미지와 이와 매칭되는 축소 이미지를 각각 비교하여 저장된다. 즉, 자동차 번호판 데이터 베이스에는 원본 이미지와 이와 매칭되는 축소 이미지가 각각 저장되어 학습 데이터 베이스가 생성된다. In detail, the license plate database stores and compares the original image and the reduced image matching the original image. That is, in the license plate database, the original image and the reduced image corresponding thereto are stored, respectively, to generate a learning database.
본 발명의 일 실시 예에 따른 자동차 번호판 데이터 수집 방법에는 각국의 번호판이 저장될 수 있는데, 국내에서 수집하기 어려운 미국과 중국 번호판은 블랙박스 영상으로 1차로 수집될 수 있다. 이때, 차량 후면에 대한 자동차 번호판의 데이터를 수집하게 되는 제약과 저 해상도라는 제약이 있지만 추후에 설명할 학습에 도움이 될 수 있다. In the vehicle license plate data collection method according to an embodiment of the present invention, license plates of each country may be stored. US and Chinese license plates which are difficult to collect in Korea may be collected primarily as a black box image. At this time, there is a constraint of collecting data of the license plate on the rear of the vehicle and a constraint of low resolution, but it may be helpful for learning to be described later.
또한, 자동차 번호판 데이터 베이스에는 숫자, 영문자, 한국, 중국어 문자 기반 자동 생성 이미지를 2차로 수집할 수도 있다. In addition, the license plate database may automatically collect images based on numbers, alphabets, Korean, and Chinese characters.
도 3은 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치에서 SRGAN 학습을 수행하는 내용을 설명하기 위한 도면이다. 먼저, 도 3에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치에서 SRGAN 학습을 수행할 때, 차량 번호판의 인식률 증대 장치는 생성된 데이터 베이스를 기반으로, SRGAN 학습을 수행한다. 3 is a view for explaining the content of the SRGAN learning in the apparatus for increasing the recognition rate of the vehicle license plate according to an embodiment of the present invention. First, as shown in FIG. 3, when performing SRGAN learning in the apparatus for increasing the recognition rate of a vehicle license plate according to an embodiment of the present disclosure, the apparatus for increasing the recognition rate of a vehicle license plate may perform SRGAN learning based on the generated database. To perform.
여기서, 차량 번호판의 인식률 증대 장치는 자동차의 블랙박스에서 촬영되어 저장된 자동차 데이터 베이스, 도로 데이터 베이스 및 도로 위 객체 데이터 베이스를 기반으로 생성된 데이터 베이스를 기반으로, SRGAN 학습을 수행한다. Here, the apparatus for increasing the recognition rate of the license plate performs SRGAN learning based on a database generated based on a car database, a road database, and an object database on a road, which are photographed and stored in a black box of a vehicle.
즉, 차량 번호판 인식률 증대 장치에서는 원본 이미지와 이와 매칭되는 축소 이미지가 함께 저장된 데이터 베이스를 기반으로, SRGAN 학습을 수행하기 때문에 보다 해상도가 높은 선명한 이미지를 획득할 수 있는 장점이 있다. That is, the apparatus for increasing a license plate recognition rate has an advantage of obtaining a clearer image having a higher resolution because SRGAN learning is performed based on a database in which an original image and a reduced image matching the original image are stored together.
본 발명의 일 실시 예에서는 차량 번호판의 인식률 증대 장치에서 생성된 데이터 베이스를 기반으로, SRGAN 학습을 수행하는 것을 설명하였지만, SRGAN 학습에 한정되지 않는다.In an embodiment of the present invention, the SRGAN learning is described based on the database generated by the apparatus for increasing the recognition rate of the license plate, but the present invention is not limited to the SRGAN learning.
구체적으로, 딥러닝 학습 기반 SR(Super-Resolution)의 종류로는 SRGAN에 한정되지 않고, SRCNN(Super-Resolution Convolutional Neural Network)일 수도 있다. 즉, 본 발명에서는 CNN(Convolutional Neural Network) 기반의 SR 학습 알고리즘으로 학습을 수행하는 것도 가능하다.Specifically, the type of deep learning learning-based super-resolution (SR) is not limited to SRGAN, but may be a super-resolution convolutional neural network (SRCNN). That is, in the present invention, it is also possible to perform learning with an SR learning algorithm based on CNN (Convolutional Neural Network).
따라서, 차량 번호판의 인식률 증대 장치에서 생성된 데이터 베이스를 기반으로, SRGAN 학습 또는 SRCNN 학습을 수행하기 때문에 보다 해상도가 높은 선명한 이미지를 획득할 수 있는 장점이 있다. Therefore, since the SRGAN learning or the SRCNN learning is performed based on the database generated by the apparatus for increasing the recognition rate of the vehicle license plate, it is possible to obtain a clearer image having a higher resolution.
도 4는 본 발명의 일 실시 예에 따른 차량 번호판의 인식률 증대 장치의 동작 순서를 나타내는 순서도이다. 먼저, 도 4에 도시된 바와 같이, 이미지 전처리부는 이미지 전처리를 수행하여, 이미지에 포함된 노이즈를 제거한다(S410).4 is a flowchart illustrating an operation sequence of an apparatus for increasing a recognition rate of a vehicle license plate according to an embodiment of the present invention. First, as shown in FIG. 4, the image preprocessing unit performs image preprocessing to remove noise included in an image (S410).
이후, 차량 번호판 검출부는, 전처리된 이미지에서 차량 번호판을 검출한다(S420).Thereafter, the vehicle license plate detection unit detects the vehicle license plate from the preprocessed image (S420).
이후, 차량 번호판 이미지 추출부는, 검출된 차량 번호판의 이미지만을 추출한다(S430).Thereafter, the vehicle license plate image extractor extracts only an image of the detected vehicle license plate (S430).
이후, 이미지 복원부는, 추출된 차량 번호판의 이미지에서 SRGAN 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원한다(S440).Thereafter, the image restoring unit restores an image having a predetermined resolution or more by using the SRGAN algorithm from the extracted image of the license plate (S440).
이후, 문자 영역 검출부는, 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 문자 영역을 검출한다(S450).Thereafter, the character area detection unit detects the character area in the image of the vehicle license plate restored to the set resolution or more (S450).
이후, 문자 판독부는, 검출된 문자 영역을 광학적 문자 판독장치를 이용하여 판독한다(S460).Thereafter, the character reading unit reads the detected character area using the optical character reading apparatus (S460).
이후, 텍스는 추출부는, 판독된 문자에 대해 텍스트로 추출한다(S470).Thereafter, the text extracting unit extracts the read text as text (S470).
이후, 저장부는, 텍스트 추출부에서 추출된 텍스트를 저장한다(S480).Thereafter, the storage unit stores the text extracted by the text extraction unit (S480).
본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In this specification, each block or each step may represent a portion of a module, segment or code containing one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative embodiments, the functions noted in the blocks or steps may occur out of order. For example, the two blocks or steps shown in succession may in fact be executed substantially concurrently or the blocks or steps may sometimes be performed in the reverse order, depending on the functionality involved.
본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.The steps of a method or algorithm described in connection with the embodiments disclosed herein may be implemented directly in hardware, a software module or a combination of the two executed by a processor. The software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM or any other form of storage medium known in the art. An exemplary storage medium is coupled to the processor, which can read information from and write information to the storage medium. In the alternative, the storage medium may be integral to the processor. The processor and the storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside in a user terminal. In the alternative, the processor and the storage medium may reside as discrete components in a user terminal.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications can be made without departing from the spirit of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
100 차량 번호판의 인식률 증대 장치
110 이미지 전처리부
112 차량 번호판 이미지 추출부
113 이미지 복원부
114 문자 영역 검출부
115 문자 판독부
116 텍스트 추출부
117 저장부
118 데이터 베이스
120 제어부
121 오염 번호판 인식부
122 오염 번호판 추정부
123 차량 번호판 조회부
124 결과 산출부
125 차종 확인부
126 인식 위치 확인부
127 인식 시간대 확인부
128 영역 유사도 판단부
129 가중치 결정부
129-1 차량 번호판 산출부
130 오염된 번호판
131 오염된 숫자
132 제1영역
133 제2영역
134 제3영역Device for increasing recognition rate of 100 license plate
110 Image Preprocessor
112 license plate image extraction unit
113 Image Restoration Unit
114 character area detection unit
115 character reader
116 Text Extraction Unit
117 storage
118 databases
120 control unit
121 Pollution Plate Recognition Unit
122 Pollution Plate Estimator
123 license plate tracking
124 result calculator
125 model confirmation
126 Recognition Position Confirmation Unit
127 Time Zone Confirmation Section
128 region similarity determining unit
129 weight determination unit
129-1 license plate calculator
130 Dirty Plates
131 Contaminated Number
132 First Zone
133 Second Area
134 Third Area
Claims (1)
상기 전처리된 이미지에서 차량 번호판을 검출(detection)하는 차량 번호판 검출부;
상기 검출된 차량 번호판의 이미지만을 추출하는 차량 번호판 이미지 추출부;
상기 추출된 차량 번호판의 이미지를 SRGAN(Super Resolution Generation Adversarial Network) 알고리즘을 이용하여, 설정된 해상도 이상의 이미지로 복원하는 이미지 복원부;
상기 설정된 해상도 이상으로 복원된 차량 번호판의 이미지에서 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 검출하는 문자 영역 검출부;
상기 검출된 숫자, 기호 및 문자 영역 중 적어도 하나의 영역을 광학적 문자 판독장치(Optical Character Reader)를 이용하여 판독하는 문자 판독부;
전반적인 동작을 제어하는 제어부;
차량 번호판을 구성하는 숫자, 기호 및 문자 중 적어도 하나로 이루어진 원본 이미지 및 상기 원본 이미지와 동일한 이미지에 대하여 설정된 해상도 이하의 축소 이미지를 각각 비교하여 저장하는 데이터 베이스;
상기 판독된 숫자, 기호 및 문자 중 적어도 하나에 대해 텍스트로 추출하는 텍스트 추출부; 및
상기 텍스트 추출부에서 추출된 텍스트를 저장하는 저장부를 포함하되,
상기 제어부는
번호판의 오염 여부를 판단하는 오염 번호판 인식부;
오염된 숫자, 기호 또는 문자의 영역 중 오염되지 않은 영역에 표시된 형태에 기반하여 퍼센트 형식으로 오염 전 내용을 추정하는 오염 번호판 추정부;
인식하고자 하는 차량의 번호판에 포함된 숫자, 기호 및 문자 중 어느 하나라도 오염으로 인하여 완전히 인식되지 않을 경우 차량의 차종과 최종적으로 인식된 번호판을 기반으로, 설정된 기관의 데이터베이스에 저장된 등록 차량 번호판과 비교하여 조회하는 차량 번호판 조회부;
상기 오염 번호판 추정부 및 차량 번호판 조회부 중 적어도 하나로부터 테이터를 전송받아 차량 번호판의 인식 결과를 산출하는 결과 산출부;
인식하고자 하는 차량의 번호판에 포함된 숫자, 문자 및 기호 중 적어도 하나가 인식되지 않는 오염된 번호판에 대한 차종을 확인하는 차종 확인부;
오염된 번호판의 차량이 위치한 지역의 세부 위치를 확인하는 인식 위치 확인부;
오염된 번호판의 차량을 인식한 시간대를 확인하는 인식 시간대 확인부;
인식하고자 하는 차량의 번호판이 오염된 번호판인 경우, 기존에 완전하게 인식된 차량의 번호판과 비교하되, 흠집, 구겨짐, 변색 및 마크 유무를 포함하는 항목인 고유영역이 일치하는지 여부를 판단하는 것을 기반으로 번호판 영역의 유사도를 판단하는 유사도 판단부;
상기 차종 확인부, 인식 위치 확인부, 인식 시간대 확인부 및 유사도 판단부에서 출력된 결과 데이터들 중 일치하는 데이터에 기 설정된 퍼센트만큼의 가중치를 부여하는 가중치 결정부;
상기 가중치 결정부에서 결정된 가중치를 기반으로 하여 오염된 차량의 최종 번호판을 산출하는 차량 번호판 산출부;를 포함하며,
상기 SRGAN 알고리즘은,
저장된 데이터 베이스를 기반으로, SRGAN 학습이 완료된 알고리즘인, 이미지 인식률 증대 장치.An image preprocessing unit performing image preprocessing to remove noise included in an image;
A vehicle license plate detector detecting a vehicle license plate in the preprocessed image;
A vehicle license plate image extraction unit for extracting only the image of the detected vehicle license plate;
An image restoring unit for restoring the extracted image of the license plate to an image having a predetermined resolution or more using a Super Resolution Generation Adversarial Network (SRGAN) algorithm;
A text area detector for detecting at least one of a number, a sign, and a text area in an image of the license plate restored to at least the set resolution;
A character reader configured to read at least one of the detected numbers, symbols, and character areas using an optical character reader;
A controller for controlling the overall operation;
A database for comparing and storing an original image consisting of at least one of numbers, symbols, and letters constituting a vehicle license plate, and a reduced image having a resolution lower than or equal to a set resolution with respect to the same image as the original image;
A text extraction unit for extracting at least one of the read numbers, symbols, and characters as text; And
Including a storage unit for storing the text extracted by the text extraction unit,
The control unit
A pollution license plate recognition unit determining whether the license plate is dirty;
A pollution license plate estimator for estimating the contents before pollution in a percentage form based on the type displayed in the non-contaminated area among the contaminated numbers, symbols, or letters;
If any of the numbers, symbols, and letters included in the license plate of the vehicle to be recognized are not fully recognized due to contamination, compared with the registered vehicle license plate stored in the database of the established institution, based on the vehicle model and the finally recognized license plate Vehicle license plate inquiry unit to query by;
A result calculator for receiving data from at least one of the pollution license plate estimator and the license plate inquiry unit, and calculating a recognition result of the license plate;
A vehicle model identification unit for identifying a vehicle model for a contaminated license plate in which at least one of numbers, letters and symbols included in the license plate of the vehicle to be recognized is not recognized;
Recognition location check unit for confirming the detailed location of the area where the vehicle of the dirty plate is located;
A recognition time zone checking unit for identifying a time zone in which the vehicle of the contaminated license plate is recognized;
If the license plate of the vehicle to be recognized is a contaminated license plate, the license plate of the vehicle is compared with the previously recognized license plate of the vehicle, and based on judging whether or not the unique area corresponding to the scratches, wrinkles, discolorations, and marks is identical. A similarity determination unit that determines the similarity of the license plate area;
A weight determination unit for assigning a weighted percentage to the matched data among the result data output from the vehicle type identification unit, the recognition position identification unit, the recognition time zone identification unit, and the similarity determination unit;
And a vehicle license plate calculator configured to calculate a final license plate of the contaminated vehicle based on the weight determined by the weight determiner.
The SRGAN algorithm is
An apparatus for increasing image recognition rate, which is an algorithm for which SRGAN learning is completed based on a stored database.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180161382A KR102008630B1 (en) | 2018-12-13 | 2018-12-13 | Apparatus and method for increasing image recognition rate |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180161382A KR102008630B1 (en) | 2018-12-13 | 2018-12-13 | Apparatus and method for increasing image recognition rate |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180034614A Division KR101931804B1 (en) | 2018-03-26 | 2018-03-26 | Device and method of increasing a recognition rate in a license plate |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102008630B1 true KR102008630B1 (en) | 2019-08-07 |
Family
ID=67621496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180161382A KR102008630B1 (en) | 2018-12-13 | 2018-12-13 | Apparatus and method for increasing image recognition rate |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102008630B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021107763A1 (en) * | 2019-11-29 | 2021-06-03 | Mimos Berhad | System and method for processing moving image |
CN113762233A (en) * | 2020-06-05 | 2021-12-07 | 北京都是科技有限公司 | License plate detection method, system and device and thermal infrared image processor |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030038013A (en) * | 2001-11-08 | 2003-05-16 | 삼성전자주식회사 | Vehicle plate recognition method |
KR101428728B1 (en) * | 2013-06-25 | 2014-08-13 | 중앙대학교 산학협력단 | Apparatus and method for recognition license plate number |
-
2018
- 2018-12-13 KR KR1020180161382A patent/KR102008630B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030038013A (en) * | 2001-11-08 | 2003-05-16 | 삼성전자주식회사 | Vehicle plate recognition method |
KR101428728B1 (en) * | 2013-06-25 | 2014-08-13 | 중앙대학교 산학협력단 | Apparatus and method for recognition license plate number |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021107763A1 (en) * | 2019-11-29 | 2021-06-03 | Mimos Berhad | System and method for processing moving image |
CN113762233A (en) * | 2020-06-05 | 2021-12-07 | 北京都是科技有限公司 | License plate detection method, system and device and thermal infrared image processor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101931804B1 (en) | Device and method of increasing a recognition rate in a license plate | |
KR102179435B1 (en) | Device for recognizing of image of contaminated car number plate | |
JP6163344B2 (en) | Reliable cropping of license plate images | |
US9042647B2 (en) | Adaptive character segmentation method and system for automated license plate recognition | |
US11657631B2 (en) | Scalable, flexible and robust template-based data extraction pipeline | |
US9613299B2 (en) | Method of identifying pattern training need during verification of recognized text | |
CN112200172B (en) | Driving region detection method and device | |
CN110287952B (en) | Method and system for recognizing characters of dimension picture | |
CN105678213B (en) | Dual-mode mask person event automatic detection method based on video feature statistics | |
KR101727137B1 (en) | Method and apparatus for extracting text area, and automatic recognition system of number plate using the same | |
CN111259878A (en) | Method and equipment for detecting text | |
KR102008630B1 (en) | Apparatus and method for increasing image recognition rate | |
CN110291527B (en) | Information processing method, system, cloud processing device and computer program product | |
Abdellatif et al. | A low cost IoT-based Arabic license plate recognition model for smart parking systems | |
JP4498203B2 (en) | Meter recognition system, meter recognition method, and meter recognition program | |
KR101014125B1 (en) | Method for detecting traffic sign board in intelligent vehicle and system for executing the method | |
CN111222409A (en) | Vehicle brand labeling method, device and system | |
CN114005105B (en) | Driving behavior detection method and device and electronic equipment | |
CN111291619A (en) | Method, device and client for on-line recognition of characters in claim settlement document | |
Kiew et al. | Vehicle route tracking system based on vehicle registration number recognition using template matching algorithm | |
CN113486856A (en) | Driver irregular behavior detection method based on semantic segmentation and convolutional neural network | |
CN110826551A (en) | Intelligent discrimination method for VIN code rubbing die image of motor vehicle | |
CN115311630A (en) | Method and device for generating distinguishing threshold, training target recognition model and recognizing target | |
CN115063826A (en) | Mobile terminal driver license identification method and system based on deep learning | |
CN111060507B (en) | Vehicle verification method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |