KR102220643B1 - CCTV for recognizing car number based on deep learning - Google Patents

CCTV for recognizing car number based on deep learning Download PDF

Info

Publication number
KR102220643B1
KR102220643B1 KR1020190081086A KR20190081086A KR102220643B1 KR 102220643 B1 KR102220643 B1 KR 102220643B1 KR 1020190081086 A KR1020190081086 A KR 1020190081086A KR 20190081086 A KR20190081086 A KR 20190081086A KR 102220643 B1 KR102220643 B1 KR 102220643B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
group
images
partial images
Prior art date
Application number
KR1020190081086A
Other languages
Korean (ko)
Other versions
KR20210004529A (en
Inventor
김용운
Original Assignee
김용운
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김용운 filed Critical 김용운
Priority to KR1020190081086A priority Critical patent/KR102220643B1/en
Publication of KR20210004529A publication Critical patent/KR20210004529A/en
Application granted granted Critical
Publication of KR102220643B1 publication Critical patent/KR102220643B1/en

Links

Images

Classifications

    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV가 개시된다. 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV는 차량을 촬영하여 차량 영상을 생성하는 영상 촬영부; 상기 차량 영상을 분석하여 상기 차량의 차량번호를 결정하는 영상 분석부; 및 상기 차량 영상과 상기 차량 번호를 관제 센터 서버로 전송하는 통신부를 포함하되, 상기 영상 분석부는, 복수의 차량 번호판 이미지들에서 추출된 샘플 문자 이미지들을 저장하는 데이터 저장부; 및 상기 차량 영상에서 상기 차량의 번호판을 구성하는 개별 문자 이미지들을 생성하고, 상기 샘플 문자 이미지들을 통해 학습된 딥러닝 알고리즘을 통해 상기 개별 문자 이미지들로부터 상기 차량번호를 결정하는 데이터 처리부를 포함할 수 있다.A CCTV that can recognize vehicle numbers based on deep learning is disclosed. A CCTV capable of recognizing a vehicle number based on deep learning includes an image capture unit for generating a vehicle image by photographing a vehicle; An image analysis unit that analyzes the vehicle image and determines a vehicle number of the vehicle; And a communication unit for transmitting the vehicle image and the vehicle number to a control center server, wherein the image analysis unit includes: a data storage unit for storing sample character images extracted from a plurality of vehicle license plate images; And a data processing unit that generates individual character images constituting the license plate of the vehicle from the vehicle image, and determines the vehicle number from the individual character images through a deep learning algorithm learned through the sample character images. have.

Description

딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV{CCTV for recognizing car number based on deep learning}CCTV that can recognize vehicle number based on deep learning {CCTV for recognizing car number based on deep learning}

본 발명은 차량번호를 인식할 수 있는 CCTV에 관련된 것으로, 보다 상세하게는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV에 관한 것이다. The present invention relates to a CCTV capable of recognizing a vehicle number, and more particularly, to a CCTV capable of recognizing a vehicle number based on deep learning.

현대인의 이동수단으로 사용되는 각종 차량 및 오토바이 등에는 관련 법규에 따라 번호판을 반드시 부착하여 운행하도록 의무화 되었다. 이러한 차량의 번호판은 단순히 차량을 식별하기 위함뿐 아니라 블랙박스나 CCTV에 찍힌 차량의 번호판을 식별하여 수사자료에 참조되거나 자동주차와 같이 차량의 번호판을 인식할 때 등 다양하게 활용되고 있다.Various vehicles and motorcycles used as a means of transportation for modern people are obligated to operate with license plates attached in accordance with relevant laws and regulations. The license plate of such a vehicle is used not only to identify the vehicle, but also to identify the license plate of a vehicle photographed on a black box or CCTV and refer to the investigation data or to recognize the license plate of the vehicle such as automatic parking.

그러나, 종래의 차량 번호판을 인식하기 위해서는 전문적인 인식 장치 등을 별도로 구비하여야 하고, 기존의 장비와는 손쉽게 호환이 되지 않아 경제적인 문제점이 있었다. 따라서, 전문적인 인식 장치 보다 선명한 해상도로 차량의 번호판을 인식할 수 있으며, 기존의 장비의 업 그레이드 없이도 편리하게 호환이 가능한 차량 인식률 증대 장치 및 방법의 개발이 시급한 실정이다.However, in order to recognize a conventional vehicle license plate, a specialized recognition device or the like must be separately provided, and there is an economic problem because it is not easily compatible with existing equipment. Accordingly, there is an urgent need to develop a vehicle recognition rate increasing device and method that can recognize the license plate of a vehicle with a clearer resolution than a professional recognition device, and that can be conveniently compatible without upgrading existing equipment.

한국등록특허 제10-1931804호Korean Patent Registration No. 10-1931804

본 발명은 자체적으로 딥러닝 알고리즘을 탑재한 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV를 제공한다.The present invention provides a CCTV capable of recognizing a vehicle number based on deep learning with its own deep learning algorithm.

또한, 본 발명은 딥러닝 알고리즘에 의한 차량번호 인식의 정확성을 향상시킬 수 있는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV를 제공한다.In addition, the present invention provides a CCTV capable of recognizing a vehicle number based on deep learning that can improve the accuracy of vehicle number recognition by a deep learning algorithm.

본 발명에 따른 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV는 차량을 촬영하여 차량 영상을 생성하는 영상 촬영부; 상기 차량 영상을 분석하여 상기 차량의 차량번호를 결정하는 영상 분석부; 및 상기 차량 영상과 상기 차량 번호를 관제 센터 서버로 전송하는 통신부를 포함하되, 상기 영상 분석부는, 복수의 차량 번호판 이미지들에서 추출된 샘플 문자 이미지들을 저장하는 데이터 저장부; 및 상기 차량 영상에서 상기 차량의 번호판을 구성하는 개별 문자 이미지들을 생성하고, 상기 샘플 문자 이미지들을 통해 학습된 딥러닝 알고리즘을 통해 상기 개별 문자 이미지들로부터 상기 차량번호를 결정하는 데이터 처리부를 포함할 수 있다.CCTV capable of recognizing a vehicle number based on deep learning according to the present invention comprises: an image photographing unit for generating a vehicle image by photographing a vehicle; An image analysis unit that analyzes the vehicle image and determines a vehicle number of the vehicle; And a communication unit for transmitting the vehicle image and the vehicle number to a control center server, wherein the image analysis unit includes: a data storage unit for storing sample character images extracted from a plurality of vehicle license plate images; And a data processing unit that generates individual character images constituting the license plate of the vehicle from the vehicle image, and determines the vehicle number from the individual character images through a deep learning algorithm learned through the sample character images. have.

또한, 상기 데이터 처리부는, 상기 개별 문자 이미지들은 기 설정된 사이즈로 생성하고, 상기 개별 문자 이미지들 각각으로부터 기준 픽셀을 추출하고, 상기 기준 픽셀로부터 기 설정된 방향으로 이동하며 단위 픽셀별로 부분 영상을 추출하고, 상기 부분 영상을 상기 딥러닝 알고리즘에 적용할 수 있다.In addition, the data processing unit generates the individual character images in a preset size, extracts a reference pixel from each of the individual character images, moves in a preset direction from the reference pixel, and extracts a partial image for each unit pixel. , The partial image may be applied to the deep learning algorithm.

또한, 상기 데이터 처리부는 상기 기준 픽셀로부터 제1방향으로 이동하며 상기 단위 픽셀별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 상기 기준 픽셀로부터 상기 제1방향과 상이한 제2방향으로 이동하며, 상기 단위 픽셀별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고, 상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용할 수 있다.In addition, the data processing unit moves in a first direction from the reference pixel, extracts a partial image for each unit pixel to generate a first group of partial images, and moves from the reference pixel in a second direction different from the first direction. The partial images of the second group may be generated by extracting the partial images for each unit pixel, and the partial images of the first group and the partial images of the second group may be applied to the deep learning algorithm.

또한, 상기 데이터 처리부는 상기 기준 픽셀로부터 m×m(m은 자연수)의 상기 단위 픽셀로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 상기 기준 픽셀로부터 n×n(n은 자연수, m≠n)의 상기 단위 픽셀로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고, 상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용할 수 있다.In addition, the data processing unit generates partial images of the first group by extracting partial images from the reference pixel into the unit pixel of m×m (m is a natural number), and n×n (n is a natural number, A partial image of a second group may be generated by extracting a partial image with the unit pixel of m≠n), and the partial images of the first group and the partial images of the second group may be applied to the deep learning algorithm. .

또한, 상기 데이터 처리부는 제1기준 픽셀과, 상기 제1기준 픽셀과 위치가 상이한 제2기준 픽셀을 상기 기준 픽셀로 추출하고, 상기 제1기준 픽셀로부터 제1방향으로 이동하며 상기 단위 픽셀별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 상기 제2기준 픽셀로부터 상기 제1방향과 상이한 제2방향으로 이동하며, 상기 단위 픽셀별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고, 상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용할 수 있다. In addition, the data processing unit extracts a first reference pixel and a second reference pixel having a different position from the first reference pixel as the reference pixel, moves in a first direction from the first reference pixel, Extracting images to generate partial images of a first group, moving from the second reference pixel in a second direction different from the first direction, extracting partial images for each unit pixel to generate partial images of a second group And, the partial images of the first group and the partial images of the second group may be applied to the deep learning algorithm.

본 발명에 따르면, CCTV의 일 구성으로 샘플 문자 이미지들을 저장하는 데이터 저장부와 상기 샘플 문자 이미지들을 통해 학습이 가능한 딥러닝 알고리즘을 탑재한 데이터 처리부를 포함하므로, CCTV 내에서 차량번호 인식이 가능하다.According to the present invention, a data storage unit storing sample character images as a configuration of a CCTV and a data processing unit equipped with a deep learning algorithm capable of learning through the sample character images are included, so that vehicle number recognition is possible within the CCTV. .

또한, 본 발명에 따르면, 딥러닝 알고리즘의 기계적 학습에 사용되는 샘플 문자 이미지들이 관제 센터 서버로부터 전송되므로, 반복적 기계적 학습을 통한 차량번호 인식의 정확성이 향상될 수 있다.Further, according to the present invention, since sample character images used for machine learning of a deep learning algorithm are transmitted from the control center server, accuracy of vehicle number recognition through repetitive mechanical learning can be improved.

도 1은 본 발명의 실시 예에 따른 CCTV와 관제 센터 서버를 나타내는 도면이다.
도 2는 도 1의 영상 분석부를 나타내는 도면이다.
도 3은 CCTV에서 관제 센터 서버로 전송되는 데이터들을 나타내는 도면이다.
도 4는 기존 차량의 번호판들을 촬영한 샘플 이미지들을 나타내는 사진이다.
도 5는 본 발명의 실시 예에 따라 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
도 6은 샘플 문자 이미지로부터 추출된 부분 영상들 중 일부를 나타내는 도면이다.
도 7은 본 발명의 제1실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
도 8은 본 발명의 제2실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.
도 9는 본 발명의 제3실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.1 is a view showing a CCTV and a control center server according to an embodiment of the present invention.
2 is a diagram illustrating an image analysis unit of FIG. 1.
3 is a diagram showing data transmitted from CCTV to a control center server.
4 is a photograph showing sample images of license plates of an existing vehicle.
5 is a diagram illustrating an example in which a deep learning algorithm learns a sample character image according to an embodiment of the present invention.
6 is a diagram illustrating some of partial images extracted from a sample character image.
7 is a diagram illustrating an example in which a deep learning algorithm according to the first embodiment of the present invention learns a sample character image.
8 is a diagram illustrating an example in which a deep learning algorithm according to a second embodiment of the present invention learns a sample character image.
9 is a diagram illustrating an example in which a deep learning algorithm according to a third embodiment of the present invention learns a sample character image.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the technical idea of the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. In the present specification, when a component is referred to as being on another component, it means that it may be formed directly on the other component or that a third component may be interposed between them. In addition, in the drawings, thicknesses of films and regions are exaggerated for effective description of technical content.

또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.In addition, in various embodiments of the present specification, terms such as first, second, and third are used to describe various components, but these components should not be limited by these terms. These terms are only used to distinguish one component from another component. Accordingly, what is referred to as a first component in one embodiment may be referred to as a second component in another embodiment. Each embodiment described and illustrated herein also includes its complementary embodiment. In addition, in the present specification,'and/or' is used to mean including at least one of the elements listed before and after.

명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다. In the specification, expressions in the singular include plural expressions unless the context clearly indicates otherwise. In addition, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, elements, or a combination of the features described in the specification, and one or more other features, numbers, steps, and configurations It is not to be understood as excluding the possibility of the presence or addition of elements or combinations thereof. In addition, in the present specification, "connection" is used as a meaning including both indirectly connecting a plurality of constituent elements and direct connecting.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.Further, in the following description of the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.

도 1은 본 발명의 실시 예에 따른 CCTV와 관제 센터 서버를 나타내는 도면이고, 도 2는 도 1의 영상 분석부를 나타내는 도면이고, 도 3은 CCTV에서 관제 센터 서버로 전송되는 데이터들을 나타내는 도면이다.1 is a diagram illustrating a CCTV and a control center server according to an embodiment of the present invention, FIG. 2 is a view showing an image analysis unit of FIG. 1, and FIG. 3 is a view showing data transmitted from a CCTV to a control center server.

도 1 내지 도 3을 참조하며, 본 발명에 따른 CCTV(100)는 딥러닝을 기반으로 차량 영상으로부터 차량번호를 인식한다. CCTV(100)는 차량이 다니는 도로 또는 주차장 등에 설치될 수 있다. CCTV(100)는 영상 촬영부(110), 영상 분석부(120), 그리고 통신부(130)를 포함한다.1 to 3, the CCTV 100 according to the present invention recognizes the vehicle number from the vehicle image based on deep learning. The CCTV 100 may be installed on a road or a parking lot where the vehicle goes. The CCTV 100 includes an image capture unit 110, an image analysis unit 120, and a communication unit 130.

영상 촬영부(110)는 차량을 촬영할 수 있는 카메라로, 차량 영상을 생성한다. 생성된 차량 영상은 영상 분석부(120)에 제공된다. 차량 영상은 도 2의 (A)와 같이 영상 이미지로 제공될 수 있다. 영상 촬영부(110)는 주야간에 차량 번호 인식이 용이하도록 Full HD 카메라가 사용될 수 있다.The image photographing unit 110 is a camera capable of photographing a vehicle and generates a vehicle image. The generated vehicle image is provided to the image analysis unit 120. The vehicle image may be provided as an image image as shown in FIG. 2A. The image capturing unit 110 may use a Full HD camera to facilitate vehicle number recognition during the day and night.

영상 분석부(120)는 영상 촬영부(110)에서 전송된 차량 영상을 분석하여 차량번호를 결정한다. 영상 분석부(120)는 데이터 저장부(121)와 데이터 처리부를 포함한다.The image analysis unit 120 determines the vehicle number by analyzing the vehicle image transmitted from the image capture unit 110. The image analysis unit 120 includes a data storage unit 121 and a data processing unit.

데이터 저장부(121)는 복수의 차량 번호판 이미지들에서 추출된 샘플 문자 이미지들을 저장한다. 도 4는 기존 차량의 번호판들을 촬영한 샘플 이미지들로, 상기 차량 번호판 이미지들에서 개별 문자들이 추출되며, 추출된 문자들은 샘플 문자 이미지로 저장된다.The data storage unit 121 stores sample text images extracted from a plurality of vehicle license plate images. 4 is a sample image of license plates of an existing vehicle. Individual characters are extracted from the vehicle license plate images, and the extracted characters are stored as sample character images.

데이터 처리부(122)는 영상 촬영부(110)에서 전송된 차량 영상으로부터 차량 번호판의 외곽선을 식별하여 도 2의 (B)와 같이 차량 번호판 영상을 생성하고, 차량 번호판 영상으로부터 차량 번호판을 구성하는 개별 문자를 검출하고, 검출된 문자별로 개별 문자 이미지를 생성한다. 그리고 개별 문자 이미지들에 딥러닝 알고리즘을 적용하여 개별 문자 이미지에 포함된 문자를 결정한다. 그리고 이들 문자들을 결합하여 도 2의 (C)와 같이 차량 번호를 최종 결정한다.The data processing unit 122 identifies the outline of the vehicle license plate from the vehicle image transmitted from the image photographing unit 110, generates a vehicle license plate image as shown in Fig. 2B, and configures the vehicle license plate from the vehicle license plate image. It detects characters and generates individual character images for each detected character. Then, a deep learning algorithm is applied to individual character images to determine characters included in individual character images. And by combining these characters, the vehicle number is finally determined as shown in (C) of FIG. 2.

상기 딥러닝 알고리즘은 데이터 저장부(121)에 저장된 샘플 문자 이미지들을 통해 학습하고, 샘플 문자 이미지들에 포함되는 문자들을 결정한다.The deep learning algorithm learns through sample character images stored in the data storage unit 121 and determines characters included in the sample character images.

도 5는 본 발명의 실시 예에 따라 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이고, 도 6은 샘플 문자 이미지로부터 추출된 부분 영상들 중 일부를 나타내는 도면이다.5 is a diagram illustrating an example in which a deep learning algorithm learns a sample character image according to an embodiment of the present invention, and FIG. 6 is a diagram illustrating some of partial images extracted from the sample character image.

도 5 및 도 6을 참조하면, 샘플 문자 이미지(10)는 기 설정된 사이즈의 사각 이미지로, a X b(a, b는 자연수)의 픽셀(P)로 구성될 수 있다. 데이터 처리부(122)는 샘플 문자 이미지(10)에서 기준 픽셀(P1 내지 P4)을 추출할 수 있다. 실시 예에 의하면, 데이터 처리부(122)는 샘플 문자 이미지(10)의 꼭지점에 위치하는 4개의 픽셀(P1 내지 P4)을 기준 픽셀로 추출할 수 있다.Referring to FIGS. 5 and 6, the sample character image 10 is a rectangular image having a preset size, and may be composed of pixels P of a X b (a and b are natural numbers). The data processing unit 122 may extract reference pixels P1 to P4 from the sample character image 10. According to an embodiment, the data processing unit 122 may extract four pixels P1 to P4 positioned at a vertex of the sample character image 10 as reference pixels.

데이터 처리부(122)는 기준 픽셀(P1 내지 P4)로부터 기 설정된 방향(d1)으로 이동하며, 단위 픽셀별(UP1, UP2, ···)로 부분 영상(M1, M2, M3, ···)을 추출하고, 추출된 부분 영상(M1, M2, M3, ···)들을 분석하여 샘플 문자 이미지(10)에 포함된 문자를 결정할 수 있다. 구체적으로, 부분 영상(M1, M2, M3, ···)에 포함된 화상의 경계선을 추출하고, 부분 영상(M1, M2, M3, ···)들의 위치 정보와 화상의 경계선들을 조합하여 상기 문자를 최종 결정할 수 있다. 상기 화상의 경계선은 밝기 정보를 통해 부분 영상(M1, M2, M3, ···)으로부터 추출할 수 있다.The data processing unit 122 moves in a predetermined direction d1 from the reference pixels P1 to P4, and partial images M1, M2, M3, ... for each unit pixel (UP1, UP2, ...) A character included in the sample character image 10 may be determined by extracting and analyzing the extracted partial images (M1, M2, M3, ...). Specifically, the boundary line of the image included in the partial image (M1, M2, M3, ...) is extracted, and the position information of the partial image (M1, M2, M3, ...) and the boundary line of the image are combined. The letter can be finally decided. The boundary line of the image may be extracted from partial images M1, M2, M3, ... through brightness information.

도 7은 본 발명의 제1실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.7 is a diagram illustrating an example in which a deep learning algorithm according to the first embodiment of the present invention learns a sample character image.

도 7을 참조하면, 데이터 처리부(122)는 기준 픽셀(P1)로부터 제1방향(d1)으로 이동하며 단위 픽셀 단위(UP1, UP2, ···)로 순차적으로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성할 수 있다. 그리고 데이터 처리부(122)는 기준 픽셀(P2)로부터 제2방향(d2)으로 이동하며 단위 픽셀(NP1, NP2, ···) 단위로 순차적으로 제2그룹의 부분 영상들을 추출할 수 있다. 여기서 상기 제2방향(d2)은 상기 제1방향(d1)과 상이한 방향으로, 일 예에 의하면, 제1방향(d1)은 수평 방향일 수 있고, 제2방향(d2)은 수직 방향일 수 있다. 단위 픽셀(UP1, UP2, ···)은 적어도 하나 이상의 픽셀(P)을 포함하며, m×n(m, n은 자연수) 픽셀로 구성될 수 있다. 제1방향(d1)으로 획득되는 단위 픽셀(UP1, UP2, ···)과 제2방향(d2)으로 획득되는 단위 픽셀(NP1, NP2, ···)에 포함된 픽셀(P)들의 수는 같거나 다를 수 있다.Referring to FIG. 7, the data processing unit 122 moves from the reference pixel P1 in the first direction d1 and sequentially extracts partial images in unit pixel units (UP1, UP2, ...) to obtain a first group. You can create partial images of. In addition, the data processing unit 122 moves from the reference pixel P2 in the second direction d2 and may sequentially extract the partial images of the second group in units of unit pixels NP1, NP2, .... Here, the second direction (d2) may be a direction different from the first direction (d1), according to an example, the first direction (d1) may be a horizontal direction, and the second direction (d2) may be a vertical direction. have. The unit pixels UP1, UP2, ... include at least one pixel P, and may be composed of m×n (m, n are natural numbers) pixels. The number of pixels P included in the unit pixels UP1, UP2, ... acquired in the first direction d1 and the unit pixels NP1, NP2, ... acquired in the second direction d2 Can be the same or different.

제1그룹의 부분 영상들은 기준 픽셀(P1)로부터 수평 방향(d1)으로 이동하면서 순차적으로 단위 픽셀(UP1, UP2, ···) 단위로 얻은 영상이고, 제2그룹의 부분 영상들은 기준 픽셀(P1)로부터 수직 방향(d2)으로 이동하면서 순차적으로 단위 픽셀(NP1, NP2, ···) 단위로 얻은 영상이다. 데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 데이터 처리부(122)는 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 데이터 처리부(122)는 제1후보 문자와 제2후보 문자가 일치하는 경우, 이를 최종 문자로 결정한다.The partial images of the first group are images sequentially obtained in units of unit pixels UP1, UP2, ... while moving from the reference pixel P1 in the horizontal direction d1, and the partial images of the second group are the reference pixels ( It is an image obtained in units of unit pixels (NP1, NP2, ...) sequentially while moving from P1) in the vertical direction (d2). The data processing unit 122 extracts a boundary line of the image from each of the partial images of the first group, and determines a first candidate character by combining the location information of the partial images and the boundary line of the image. In addition, the data processing unit 122 extracts a boundary line of the image from each of the partial images of the second group, and determines a second candidate character by combining the location information of the partial images of the second group and the boundary line of the image. When the first candidate character and the second candidate character match, the data processing unit 122 determines this as the final character.

이처럼, 본 발명의 제1실시 예에서는 서로 상이한 방향(d1, d2)으로 단위 픽셀(UP1, UP2, ···)별로 부분 영상을 추출하고, 각각의 단위 픽셀(UP1, UP2, ···)에서 제1방향(d1)과 제2방향(d2)으로 화상의 경계선을 추출하여 해당 샘플 문자 이미지(10)의 문자를 최종 결정하므로, 문자 인식의 정확도를 향상시킬 수 있다.As such, in the first embodiment of the present invention, partial images are extracted for each unit pixel (UP1, UP2, ...) in different directions (d1, d2), and each unit pixel (UP1, UP2, ...) In the first direction (d1) and the second direction (d2) extracts the border of the image to determine the final character of the sample character image 10, it is possible to improve the accuracy of character recognition.

도 8은 본 발명의 제2실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.8 is a diagram illustrating an example in which a deep learning algorithm according to a second embodiment of the present invention learns a sample character image.

도 8을 참조하면, 데이터 처리부(122)는 기준 픽셀(P1)로부터 기 설정된 방향(d1)으로 이동하며 m×m(m은 자연수)의 픽셀을 단위 픽셀(UP1, UP2, ···)로 하여 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성할 수 있다. 그리고 데이터 처리부(122)는 기준 픽셀(P1)로부터 기 설정된 방향(d1)으로 이동하며 n×n(n은 자연수, m≠n)의 픽셀을 단위 픽셀(NP1, NP2, ···)로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성할 수 있다. 여기서 제1그룹의 부분 영상과 제2그룹의 부분 영상은 기준 픽셀(P1)로부터 동일한 방향(d1)으로 이동하며 생성될 수 있다. 일 예에 의하면, 제1그룹의 부분 영상들은 2×2의 단위 픽셀(UP1, UP2, ···)로 생성될 수 있고, 제2그룹의 부분 영상들은 4×4의 단위 픽셀(NP1, NP2, ···)로 생성될 수 있다.Referring to FIG. 8, the data processing unit 122 moves from the reference pixel P1 in a preset direction d1, and converts a pixel of m×m (m is a natural number) to unit pixels UP1, UP2, ... Thus, the partial images of the first group may be generated by extracting the partial images. In addition, the data processing unit 122 moves from the reference pixel P1 in a preset direction d1, and partially converts n×n (n is a natural number, m≠n) pixels into unit pixels NP1, NP2, ... Partial images of the second group may be generated by extracting the image. Here, the partial image of the first group and the partial image of the second group may be generated while moving in the same direction d1 from the reference pixel P1. According to an example, partial images of the first group may be generated as 2×2 unit pixels UP1, UP2, ..., and partial images of the second group are 4×4 unit pixels NP1 and NP2. , ...).

데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 데이터 처리부(122)는 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 데이터 처리부는 제1후보 문자와 제2후보 문자가 일치하는 경우, 이를 최종 문자로 결정한다The data processing unit 122 extracts a boundary line of the image from each of the partial images of the first group, and determines a first candidate character by combining the location information of the partial images and the boundary line of the image. In addition, the data processing unit 122 extracts a boundary line of the image from each of the partial images of the second group, and determines a second candidate character by combining the location information of the partial images of the second group and the boundary line of the image. When the first candidate character and the second candidate character match, the data processing unit determines this as the final character.

이처럼, 본 발명의 제2실시 예에서는 서로 상이한 크기의 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)을 갖는 부분 영상들을 추출하고, 각각의 부분 영상에서 화상의 경계선을 추출하여 해당 샘플 문자 이미지의 문자를 최종 결정하므로, 문자 인식의 정확도를 향상시킬 수 있다.As described above, in the second embodiment of the present invention, partial images having unit pixels (UP1, UP2, ...) (NP1, NP2, ...) of different sizes are extracted, and the boundary of the image from each partial image is extracted. Since the character of the corresponding sample character image is finally determined by extracting, the accuracy of character recognition can be improved.

도 9는 본 발명의 제3실시 예에 따른 딥러닝 알고리즘이 샘플 문자 이미지를 학습하는 예를 나타내는 도면이다.9 is a diagram illustrating an example in which a deep learning algorithm according to a third embodiment of the present invention learns a sample character image.

도 9를 참조하면, 데이터 처리부(122)는 기준 픽셀(P1, P4)을 달리하여 부분 영상을 추출할 수 있다. 구체적으로 데이터 처리부(122)는 샘플 문자 이미지(10)에서 제1기준 픽셀(P1)과 제2기준 픽셀(P4)을 기준 픽셀로 추출할 수 있다. 제2기준 픽셀(P4)은 제1기준 픽셀(P1)과 위치가 상이하다. 일 예에 의하면, 제1기준 픽셀(P1)은 샘플 문자 이미지(10)의 일 꼭지점에 위치하는 픽셀일 수 있고, 제2기준 픽셀(P4)은 샘플 문자 이미자(10)의 다른 꼭지점에 위치하는 픽셀일 수 있다. 데이터 처리부(122)는 제1기준 픽셀(P1)로부터 제1방향(d1)으로 이동하며 단위 픽셀(UP1, UP2, ···)별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 제2기준 픽셀(P4)로부터 제2방향(d2)으로 이동하며 단위 픽셀(NP1, NP2, ···)별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성할 수 있다. 여기서 제2방향(d2)은 제1방향(d1)과 상이한 방향이며, 일 예에 의하면 제1방향(d1)은 수평 방향, 제2방향(d2)은 수직 방향일 수 있다. 그리고 제1그룹의 부분 영상들과 제2그룹의 부분 영상들은 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)들의 크기가 동일할 수 있다. 이와 달리, 제1그룹의 부분 영상들과 제2그룹의 부분 영상들은 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)들의 크기가 상이할 수 있다.Referring to FIG. 9, the data processing unit 122 may extract a partial image by varying the reference pixels P1 and P4. In more detail, the data processing unit 122 may extract the first reference pixel P1 and the second reference pixel P4 from the sample character image 10 as reference pixels. The second reference pixel P4 has a different position from the first reference pixel P1. According to an example, the first reference pixel P1 may be a pixel located at one vertex of the sample character image 10, and the second reference pixel P4 is located at another vertex of the sample character image 10. It can be a pixel. The data processing unit 122 moves from the first reference pixel P1 in the first direction d1 and extracts partial images for each unit pixel UP1, UP2, ... to generate partial images of the first group, The partial images of the second group may be generated by moving from the second reference pixel P4 in the second direction d2 and extracting partial images for each unit pixel NP1, NP2, .... Here, the second direction d2 is a direction different from the first direction d1, and according to an example, the first direction d1 may be a horizontal direction, and the second direction d2 may be a vertical direction. In addition, the partial images of the first group and the partial images of the second group may have the same size of the unit pixels UP1, UP2, ...) (NP1, NP2, ...). In contrast, the partial images of the first group and the partial images of the second group may have different sizes of the unit pixels UP1, UP2, ...) (NP1, NP2, ...).

데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 데이터 처리부(122)는 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 데이터 처리부(122)는 제1후보 문자와 제2후보 문자가 일치하는 경우, 이를 최종 문자로 결정한다The data processing unit 122 extracts a boundary line of the image from each of the partial images of the first group, and determines a first candidate character by combining the location information of the partial images and the boundary line of the image. In addition, the data processing unit 122 extracts a boundary line of the image from each of the partial images of the second group, and determines a second candidate character by combining the location information of the partial images of the second group and the boundary line of the image. When the first candidate character and the second candidate character match, the data processing unit 122 determines this as the final character.

이처럼, 본 발명의 제3실시 예에서는 위치가 다른 두 개의 기준 픽셀(P1, P4)로부터 이동 방향(d1, d2)을 달리하며 부분 영상들을 추출하고, 각각의 부분 영상에서 화상의 경계선을 추출하여 해당 샘플 문자 이미지의 문자를 최종 결정하므로, 문자 인식의 정확도를 향상시킬 수 있다.As described above, in the third embodiment of the present invention, partial images are extracted from two reference pixels P1 and P4 having different positions in different movement directions d1 and d2, and the boundary of the image is extracted from each partial image. Since the character of the corresponding sample character image is finally determined, the accuracy of character recognition can be improved.

상기 딥러닝 알고리즘은 상기 실시 예들에 설명한 문자 결정 방법을 통해 기계적으로 학습된다.The deep learning algorithm is mechanically learned through the character determination method described in the above embodiments.

한편, 데이터 처리부(122)는 상술한 딥러닝 알고리즘 중 어느 하나의 실시 예를 개별 문자 이미지들에 적용하여 개별 문자 이미지에 포함된 문자를 결정한다. 이하, 도 7 내지 9를 참조하여, 데이터 처리부(122)가 개별 문자 이미지에 포함된 문자를 결정하는 방법에 대해 설명한다.Meanwhile, the data processing unit 122 determines a character included in the individual character image by applying any one of the above-described deep learning algorithms to individual character images. Hereinafter, a method of determining the characters included in the individual character images by the data processing unit 122 will be described with reference to FIGS. 7 to 9.

먼저 도 7을 참조하면, 데이터 처리부(122)는 기 설정된 사이즈를 갖는 개별 문자 이미지(20)로부터 기준 픽셀(P1)을 추출하고, 기준 픽셀(P1)로부터 제1방향(d1)으로 이동하며 단위 픽셀(UP1, UP2, ···) 단위로 순차적으로 부분 영상을 추출하여 제1그룹의 부분 영상을 생성한다. 그리고 제1방향(d1)과 상이한 제2방향(d2)으로 이동하며, 단위 픽셀(NP1, NP2, ···) 단위로 순차적으로 부분 영상을 추출하여 제2그룹의 부분 영상을 생성한다. 일 예에 의하면, 기준 픽셀(P1)은 개별 문자 이미지(20)의 일 꼭지점에 위치하는 픽셀이며, 제1방향(d1)은 수평 방향일 수 있고, 제2방향(d2)은 수직 방향일 수 있다. 그리고 상기 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)은 m×n(m, n은 자연수)일 수 있다. 데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 제1후보 문자와 제2후보 문자를 상술한 제1실시 예에 따른 샘플 문자 이미지(10)의 학습 결과와 비교하여 최종 문자를 결정한다.First, referring to FIG. 7, the data processing unit 122 extracts a reference pixel P1 from an individual character image 20 having a preset size, moves from the reference pixel P1 in the first direction d1, and A partial image of the first group is generated by sequentially extracting partial images in units of pixels UP1, UP2, .... Then, it moves in a second direction d2 different from the first direction d1, and sequentially extracts partial images in units of unit pixels NP1, NP2, ... to generate a second group of partial images. According to an example, the reference pixel P1 is a pixel located at a vertex of the individual character image 20, the first direction d1 may be a horizontal direction, and the second direction d2 may be a vertical direction. have. In addition, the unit pixels UP1, UP2, ...) (NP1, NP2, ...) may be m×n (m, n are natural numbers). The data processing unit 122 extracts a boundary line of the image from each of the partial images of the first group, and determines a first candidate character by combining the location information of the partial images and the boundary line of the image. Then, a boundary line of the image is extracted from each of the partial images of the second group, and position information of the partial images of the second group and the boundary line of the image are combined to determine a second candidate character. A final character is determined by comparing the first and second candidate characters with the learning result of the sample character image 10 according to the first embodiment described above.

도 8을 참조하면, 데이터 처리부(122)는 기 설정된 사이즈를 갖는 개별 문자 이미지(20)로부터 기준 픽셀(P1)을 추출하고, 기준 픽셀로(P1)부터 일 방향(d1)으로 이동하며 m×m(m은 자연수)의 단위 픽셀(UP1, UP2, ···)로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성할 수 있다. 그리고 기준 픽셀(P1)로부터 동일한 방향(d1)으로 이동하며 n×n(n은 자연수, m≠n)의 단위 픽셀(NP1, NP2, ···)로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성할 수 있다. 일 예에 의하면, 제1그룹의 부분 영상들은 2×2의 픽셀 단위(UP1, UP2, ···)로 생성될 수 있고, 제2그룹의 부분 영상들은 4×4의 픽셀 단위(NP1, NP2, ···)로 생성될 수 있다.Referring to FIG. 8, the data processing unit 122 extracts a reference pixel P1 from an individual character image 20 having a preset size, moves from the reference pixel P1 in one direction d1, and moves m× The partial images of the first group may be generated by extracting partial images from unit pixels UP1, UP2, ... of m (m is a natural number). Then, it moves in the same direction (d1) from the reference pixel (P1) and extracts a partial image with unit pixels (NP1, NP2, ...) of n×n (n is a natural number, m≠n), You can create images. According to an example, partial images of the first group may be generated in units of 2×2 pixels (UP1, UP2, ...), and partial images of the second group may be generated in units of 4×4 pixels (NP1, NP2). , ...).

데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 제1후보 문자와 제2후보 문자를 상술한 제2실시 예에 따른 샘플 문자 이미지(10)의 학습 결과와 비교하여 최종 문자를 결정한다.The data processing unit 122 extracts a boundary line of the image from each of the partial images of the first group, and determines a first candidate character by combining the location information of the partial images and the boundary line of the image. Then, a boundary line of the image is extracted from each of the partial images of the second group, and position information of the partial images of the second group and the boundary line of the image are combined to determine a second candidate character. The final character is determined by comparing the first candidate character and the second candidate character with the learning result of the sample character image 10 according to the second embodiment described above.

도 9를 참조하면, 데이터 처리부(122)는 개별 문자 이미지(20)로부터 서로 다른 지점에 위치하는 제1기준 픽셀(P1)과 제2기준 픽셀(P4)을 추출하고, 제1기준 픽셀(P1)로부터 제1방향(d1)으로 이동하며 단위 픽셀(UP1, UP2, ···)별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고, 제2기준 픽셀(P4)로부터 제2방향(d2)으로 이동하며 단위 픽셀(NP1, NP2, ···)별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성할 수 있다. 여기서 제2방향(d2)은 제1방향(d1)과 상이한 방향이며, 일 예에 의하면 제1방향(d1)은 수평 방향, 제2방향(d2)은 수직 방향일 수 있다. 제1그룹의 부분 영상들과 제2그룹의 부분 영상들은 단위 픽셀(UP1, UP2, ···) (NP1, NP2, ···)에 포함된 픽셀(P)의 수가 동일하거나 다를 수 있다.Referring to FIG. 9, the data processing unit 122 extracts a first reference pixel P1 and a second reference pixel P4 positioned at different points from an individual character image 20, and a first reference pixel P1 ) To the first direction (d1) and extracts partial images for each unit pixel (UP1, UP2, ...) to generate partial images of the first group, and from the second reference pixel P4 to the second direction ( Moving to d2), partial images of the second group may be generated by extracting partial images for each unit pixel NP1, NP2, .... Here, the second direction d2 is a direction different from the first direction d1, and according to an example, the first direction d1 may be a horizontal direction, and the second direction d2 may be a vertical direction. The partial images of the first group and the partial images of the second group may have the same or different number of pixels P included in the unit pixels UP1, UP2, ...) (NP1, NP2, ...).

데이터 처리부(122)는 제1그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제1후보 문자를 결정한다. 그리고 제2그룹의 부분 영상들 각각으로부터 상기 화상의 경계선을 추출하고, 제2그룹의 부분 영상들의 위치 정보와 화상의 경계선을 조합하여 제2후보 문자를 결정한다. 제1후보 문자와 제2후보 문자를 상술한 제3실시 예에 따른 샘플 문자 이미지(10)의 학습 결과와 비교하여 최종 문자를 결정한다.The data processing unit 122 extracts a boundary line of the image from each of the partial images of the first group, and determines a first candidate character by combining the location information of the partial images and the boundary line of the image. Then, a boundary line of the image is extracted from each of the partial images of the second group, and position information of the partial images of the second group and the boundary line of the image are combined to determine a second candidate character. The final character is determined by comparing the first candidate character and the second candidate character with the learning result of the sample character image 10 according to the third embodiment described above.

다시 도 1 및 도 2를 참조하면, 통신부(130)는 영상 분석부(120)로부터 차량 영상, 차량 번호판 영상, 그리고 차량 번호를 전달받고 이들을 관제 센터 서버(200)에 전송한다. Referring back to FIGS. 1 and 2, the communication unit 130 receives a vehicle image, a vehicle license plate image, and a vehicle number from the image analysis unit 120 and transmits them to the control center server 200.

관제 센터 서버(200)는 상기 통신부(130)를 통해 전달된 데이터를 저장하고, 자체 딥러닝 알고리즘을 통해 상기 통신부(130)를 통해 전달된 차량 번호판 영상으로부터 차량 번호를 추출하고, 추출된 차량 번호와 상기 통신부(130)에서 전송된 차량 번호를 비교하여 상기 데이터 처리부(122)에서 실행되는 딥러닝 알고리즘의 정확성을 검증한다.The control center server 200 stores the data transmitted through the communication unit 130, extracts the vehicle number from the vehicle license plate image transmitted through the communication unit 130 through its own deep learning algorithm, and extracts the vehicle number. The accuracy of the deep learning algorithm executed by the data processing unit 122 is verified by comparing the vehicle number transmitted from the communication unit 130 with the vehicle number.

관제 센터 서버(200)는 상기 데이터 저장부(121)에 저장된 샘플 문자 이미지들뿐만 아니라, 복수의 CCTV 각각으로부터 전송된 차량 번호판 영상들에서 추출된 샘플 문자 이미지들을 모두 저장하고 있으므로, 기계적 학습을 위한 샘플 데이터가 데이터 저장부(121)에 저장된 샘플 데이터보다 많다. 때문에, 관제 센터 서버(200)는 데이터 처리부(122)보다 차량 번호 인식에 있어 높은 정확성을 가진다.Since the control center server 200 stores all sample text images extracted from vehicle license plate images transmitted from each of a plurality of CCTVs, as well as the sample text images stored in the data storage unit 121, The sample data is larger than the sample data stored in the data storage unit 121. Therefore, the control center server 200 has higher accuracy in recognizing the vehicle number than the data processing unit 122.

관제 센터 서버(200)는 자체 딥러닝 알고리즘에 의해 추출된 차량 번호가 상기 통신부(130)에서 전송된 차량 번호가 일치하지 않을 경우, 자체 딥러닝 알고리즘의 구동에서 해당 차량 번호의 추출에 사용된 샘플 문자 이미지들을 분류하고, 분류된 샘플 문자 이미지들을 CCTV에 전송한다. When the vehicle number extracted by its own deep learning algorithm does not match the vehicle number transmitted from the communication unit 130, the control center server 200 uses a sample used for extracting the vehicle number in driving its own deep learning algorithm. Character images are classified, and the classified sample character images are transmitted to CCTV.

관제 센터 서버(200)로부터 전송된 샘플 문자 이미지들은 통신부(130)를 통해 수신되어 데이터 저장부(121)에 저장된다. 데이터 처리부(122)는 데이터 저장부(121)에 저장된 기존 샘플 문자 이미지들과 관제 센터 서버(200)로부터 전송된 샘플 문자 이미지들을 포함하여 기계적 학습을 반복한다. 이에 의해, 데이터 처리부(122)는 상기 차량 번호판 영상에 대해 관제 센터 서버(200)에서 추출된 차량 번호와 동일한 차량 번호를 추출할 수 있다.The sample text images transmitted from the control center server 200 are received through the communication unit 130 and stored in the data storage unit 121. The data processing unit 122 repeats the mechanical learning including the existing sample text images stored in the data storage unit 121 and the sample text images transmitted from the control center server 200. Accordingly, the data processing unit 122 may extract the same vehicle number as the vehicle number extracted from the control center server 200 for the vehicle license plate image.

이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.In the above, the present invention has been described in detail using preferred embodiments, but the scope of the present invention is not limited to specific embodiments, and should be interpreted by the appended claims. In addition, those who have acquired ordinary knowledge in this technical field should understand that many modifications and variations can be made without departing from the scope of the present invention.

100: CCTV
110: 영상 촬영부
120: 영상 분석부
130: 통신부
200: 관제 센터 서버100: CCTV
110: video recording unit
120: image analysis unit
130: communication department
200: control center server

Claims (5)

차량을 촬영하여 차량 영상을 생성하는 영상 촬영부;
상기 차량 영상을 분석하여 상기 차량의 차량번호를 결정하는 영상 분석부; 및
상기 차량 영상과 상기 차량 번호를 관제 센터 서버로 전송하는 통신부를 포함하되,
상기 영상 분석부는,
복수의 차량 번호판 이미지들에서 추출된 샘플 문자 이미지들을 저장하는 데이터 저장부; 및
상기 차량 영상에서 상기 차량의 번호판을 구성하는 개별 문자 이미지들을 생성하고, 상기 샘플 문자 이미지들을 통해 학습된 딥러닝 알고리즘을 통해 상기 개별 문자 이미지들로부터 상기 차량번호를 결정하는 데이터 처리부를 포함하며,
상기 데이터 처리부는,
상기 개별 문자 이미지들은 기 설정된 사이즈로 생성하고,
상기 개별 문자 이미지들 각각으로부터 기준 픽셀을 추출하고,
상기 기준 픽셀로부터 제1방향으로 이동하며 단위 픽셀별로 순차적으로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고,
상기 기준 픽셀로부터 상기 제1방향과 상이한 제2방향으로 이동하며, 단위 픽셀별로 순차적으로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고,
상기 제1그룹의 부분 영상들 각각으로부터 상기 제1그룹의 부분 영상들에 포함된 화상의 경계선을 추출하고, 상기 제1그룹의 부분 영상들의 위치 정보와 상기 제1그룹의 부분 영상들에 포함된 화상의 경계선을 조합하여 제1후보 문자를 결정하고,
상기 제2그룹의 부분 영상들 각각으로부터 상기 제2그룹의 부분 영상들에 포함된 화상의 경계선을 추출하고, 상기 제2그룹의 부분 영상들의 위치 정보와 상기 제2그룹의 부분 영상들에 포함된 화상의 경계선을 조합하여 제2후보 문자를 결정하고,
상기 제1후보 문자와 상기 제2후보 문자가 일치하는 경우, 상기 제1후보 문자와 상기 제2후보 문자를 최종 문자로 결정하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.An image photographing unit that photographs a vehicle and generates a vehicle image;
An image analysis unit that analyzes the vehicle image and determines a vehicle number of the vehicle; And
Including a communication unit for transmitting the vehicle image and the vehicle number to the control center server,
The image analysis unit,
A data storage unit for storing sample character images extracted from a plurality of vehicle license plate images; And
A data processing unit that generates individual character images constituting the license plate of the vehicle from the vehicle image, and determines the vehicle number from the individual character images through a deep learning algorithm learned through the sample character images,
The data processing unit,
The individual text images are generated in a preset size,
Extracting a reference pixel from each of the individual character images,
Moving in a first direction from the reference pixel and sequentially extracting partial images for each unit pixel to generate partial images of a first group,
Moving from the reference pixel in a second direction different from the first direction, and sequentially extracting partial images for each unit pixel to generate partial images of a second group,
A boundary line of an image included in the partial images of the first group is extracted from each of the partial images of the first group, and location information of the partial images of the first group and the partial images of the first group are extracted. The first candidate character is determined by combining the borders of the image,
A boundary line of an image included in the partial images of the second group is extracted from each of the partial images of the second group, and location information of the partial images of the second group and the partial images of the second group are extracted. The second candidate character is determined by combining the borders of the image,
CCTV capable of recognizing a vehicle number based on deep learning in which the first candidate character and the second candidate character are determined as final characters when the first candidate character and the second candidate character match. 제 1 항에 있어서,
상기 데이터 처리부는,
상기 개별 문자 이미지들은 기 설정된 사이즈로 생성하고,
상기 개별 문자 이미지들 각각으로부터 기준 픽셀을 추출하고,
상기 기준 픽셀로부터 기 설정된 방향으로 이동하며 단위 픽셀별로 부분 영상을 추출하고,
상기 부분 영상을 상기 딥러닝 알고리즘에 적용하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.The method of claim 1,
The data processing unit,
The individual text images are generated in a preset size,
Extracting a reference pixel from each of the individual character images,
Moving in a preset direction from the reference pixel and extracting a partial image for each unit pixel,
CCTV capable of recognizing a vehicle number based on deep learning that applies the partial image to the deep learning algorithm. 제 2 항에 있어서,
상기 데이터 처리부는
상기 기준 픽셀로부터 제1방향으로 이동하며 상기 단위 픽셀별로 부분 영상을 추출하여 제1그룹의 부분 영상들을 생성하고,
상기 기준 픽셀로부터 상기 제1방향과 상이한 제2방향으로 이동하며, 상기 단위 픽셀별로 부분 영상을 추출하여 제2그룹의 부분 영상들을 생성하고,
상기 제1그룹의 부분 영상들과 상기 제2그룹의 부분 영상들을 상기 딥러닝 알고리즘에 적용하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.The method of claim 2,
The data processing unit
It moves in a first direction from the reference pixel and extracts a partial image for each unit pixel to generate a first group of partial images,
Moving from the reference pixel in a second direction different from the first direction, extracting a partial image for each unit pixel to generate a second group of partial images,
CCTV capable of recognizing a vehicle number based on deep learning that applies partial images of the first group and partial images of the second group to the deep learning algorithm. 제 1 항에 있어서,
상기 데이터 처리부는
상기 기준 픽셀로부터 m×m(m은 자연수)의 상기 단위 픽셀로 부분 영상을 추출하여 상기 제1그룹의 부분 영상들을 생성하고,
상기 기준 픽셀로부터 n×n(n은 자연수, m≠n)의 상기 단위 픽셀로 부분 영상을 추출하여 상기 제2그룹의 부분 영상들을 생성하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.The method of claim 1,
The data processing unit
A partial image of the first group is generated by extracting a partial image from the reference pixel into the unit pixel of m×m (m is a natural number),
CCTV capable of recognizing a vehicle number based on deep learning for generating partial images of the second group by extracting a partial image from the reference pixel into the unit pixel of n×n (n is a natural number, m≠n). 제 1 항에 있어서,
상기 데이터 처리부는
제1기준 픽셀과, 상기 제1기준 픽셀과 위치가 상이한 제2기준 픽셀을 상기 기준 픽셀로 추출하고,
상기 제1기준 픽셀로부터 상기 제1방향으로 이동하며 상기 단위 픽셀별로 부분 영상을 추출하여 상기 제1그룹의 부분 영상들을 생성하고,
상기 제2기준 픽셀로부터 상기 제2방향으로 이동하며, 상기 단위 픽셀별로 부분 영상을 추출하여 상기 제2그룹의 부분 영상들을 생성하는 딥러닝을 기반으로 차량번호를 인식할 수 있는 CCTV.
The method of claim 1,
The data processing unit
A first reference pixel and a second reference pixel having a different position from the first reference pixel are extracted as the reference pixel,
Moving in the first direction from the first reference pixel and extracting partial images for each unit pixel to generate partial images of the first group,
A CCTV capable of recognizing a vehicle number based on deep learning that moves from the second reference pixel in the second direction and generates partial images of the second group by extracting partial images for each unit pixel.
KR1020190081086A 2019-07-05 2019-07-05 CCTV for recognizing car number based on deep learning KR102220643B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190081086A KR102220643B1 (en) 2019-07-05 2019-07-05 CCTV for recognizing car number based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190081086A KR102220643B1 (en) 2019-07-05 2019-07-05 CCTV for recognizing car number based on deep learning

Publications (2)

Publication Number Publication Date
KR20210004529A KR20210004529A (en) 2021-01-13
KR102220643B1 true KR102220643B1 (en) 2021-02-26

Family

ID=74142865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190081086A KR102220643B1 (en) 2019-07-05 2019-07-05 CCTV for recognizing car number based on deep learning

Country Status (1)

Country Link
KR (1) KR102220643B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230164382A (en) 2022-05-25 2023-12-04 주식회사 딥비전 Method and apparatus for recognizing driving vehicle properties in an intersection multi-lane
KR102612656B1 (en) * 2023-07-06 2023-12-12 주식회사 아이티코어스 Method of recognizing vehicle number using sequential detection method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756848B1 (en) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 Unlawfulness parking and no standing control system and method thereof
KR101986592B1 (en) * 2019-04-22 2019-06-10 주식회사 펜타게이트 Recognition method of license plate number using anchor box and cnn and apparatus using thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101931804B1 (en) 2018-03-26 2018-12-21 장경익 Device and method of increasing a recognition rate in a license plate

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756848B1 (en) * 2016-11-01 2017-07-12 주식회사한맥아이피에스 Unlawfulness parking and no standing control system and method thereof
KR101986592B1 (en) * 2019-04-22 2019-06-10 주식회사 펜타게이트 Recognition method of license plate number using anchor box and cnn and apparatus using thereof

Also Published As

Publication number Publication date
KR20210004529A (en) 2021-01-13

Similar Documents

Publication Publication Date Title
US10108860B2 (en) Systems and methods for generating composite images of long documents using mobile video data
WO2019105342A1 (en) Method and apparatus for detecting fake license plates of vehicles, readable storage medium, and electronic device
US9363483B2 (en) Method for available parking distance estimation via vehicle side detection
CN101339697B (en) Vehicle jaywalk checking system and method
CN103358993A (en) A system and method for recognizing a parking space line marking for a vehicle
CN110580808B (en) Information processing method and device, electronic equipment and intelligent traffic system
KR102220643B1 (en) CCTV for recognizing car number based on deep learning
KR100948382B1 (en) Security service method and system
KR101809490B1 (en) The vehicle entrance and exit management and crime prevention system based on high definition images
KR20160040036A (en) A car number plate recognition method and recognition device that uses a number of IP cameras
KR102338912B1 (en) Recognition method of vehicles license plate using super resolution
US20120250105A1 (en) Method Of Analyzing Digital Document Images
CN101124610A (en) Image processing method, image processing system, image processing device and computer program
WO2019085929A1 (en) Image processing method, device for same, and method for safe driving
Ali et al. License plate recognition system
Ashtari et al. A new reliable approach for Persian license plate detection on colour images
US10417518B2 (en) Vehicle camera system
Julliand et al. Automated image splicing detection from noise estimation in raw images
KR101696519B1 (en) Number plate of vehicle having boundary code at its edge, and device, system, and method for providing vehicle information using the same
KR101653385B1 (en) System for cracking down on parking violation of automatic movable using tablet pc and method therefor
KR101370011B1 (en) Driving type auto traffic enforcement system and method for monitoring illegal stopping and parking vehicles using image stabilization and restoration method
CN109429044A (en) The method and image processing equipment of part for detection image
JP4211681B2 (en) Travel path recognition device
KR100538526B1 (en) Automatic police enforcement system of a illegal stopping and parking vehicles
KR102251799B1 (en) Non-supervised-learning-based poor vehicle number image recovery learning method and device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant