KR20210050803A - Server for recognizing information on vehicle registration plates - Google Patents

Server for recognizing information on vehicle registration plates Download PDF

Info

Publication number
KR20210050803A
KR20210050803A KR1020190135279A KR20190135279A KR20210050803A KR 20210050803 A KR20210050803 A KR 20210050803A KR 1020190135279 A KR1020190135279 A KR 1020190135279A KR 20190135279 A KR20190135279 A KR 20190135279A KR 20210050803 A KR20210050803 A KR 20210050803A
Authority
KR
South Korea
Prior art keywords
license plate
information
vehicle
data
virtual
Prior art date
Application number
KR1020190135279A
Other languages
Korean (ko)
Other versions
KR102287742B1 (en
Inventor
박구만
조성만
이재현
이승주
김청화
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020190135279A priority Critical patent/KR102287742B1/en
Publication of KR20210050803A publication Critical patent/KR20210050803A/en
Application granted granted Critical
Publication of KR102287742B1 publication Critical patent/KR102287742B1/en

Links

Images

Classifications

    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G06K2209/15—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Provided is a device for recognizing information on a vehicle license plate, which includes: an information setting unit for receiving license plate information and virtual environment information for generating virtual vehicle license plate data; a license plate generation unit for generating virtual vehicle license plate data based on the set license plate information and virtual environment information; and a license plate recognition unit for learning a license plate detection model based on the generated virtual vehicle license plate data, and recognizing the information on the actual vehicle license plate using the learned license plate detection model.

Description

차량용 번호판의 정보를 인식하는 장치{SERVER FOR RECOGNIZING INFORMATION ON VEHICLE REGISTRATION PLATES}Device that recognizes information on vehicle license plates{SERVER FOR RECOGNIZING INFORMATION ON VEHICLE REGISTRATION PLATES}

본 발명은 차량용 번호판의 정보를 인식하는 장치에 관한 것이다. The present invention relates to an apparatus for recognizing information on a license plate for a vehicle.

최근 딥러닝 기술의 발달로 딥러닝 신경망을 학습시키기 위한 학습 데이터에 대한 중요성이 강조되고 있다. With the recent development of deep learning technology, the importance of learning data for training deep learning neural networks is being emphasized.

딥러닝에 대한 정확도를 향상시키기 위해서는 양질의 학습 데이터에 대한 확보가 중요한데 이러한 학습 데이터를 확보하기에는 많은 시간적, 금전적 자원이 소모된다. In order to improve the accuracy of deep learning, it is important to secure high-quality learning data, and a lot of time and financial resources are consumed to secure such learning data.

한편, 다양한 모양과 크기를 갖는 차량용 번호판 데이터는 실제 도로에 설치된 영상 촬영 장치로부터 획득될 수 있으나, 개인의 사적인 정보를 갖는 차량용 번호판 데이터의 획득에는 큰 제약이 따르게 될 수 밖에 없다. On the other hand, vehicle license plate data having various shapes and sizes may be obtained from an image photographing apparatus installed on an actual road, but there is a great limitation in obtaining vehicle license plate data having personal information.

또한, 차량용 번호판 데이터의 규격이 변경되거나 새롭게 추가된다면 이를 반영하기 위하여 차량용 번호판 데이터를 수집 및 확보하는 과정에서 막대한 시간적, 금전적인 비용이 들어간다. In addition, if the standard of vehicle license plate data is changed or newly added, enormous time and financial costs are incurred in the process of collecting and securing vehicle license plate data to reflect this.

따라서, 번호판 검출 및 내부 문자 인식 알고리즘을 딥러닝을 활용하여 설계하기 위한 데이터를 확보하기 위한 연구가 필요하다.Therefore, there is a need for research to secure data for designing license plate detection and internal character recognition algorithms using deep learning.

한국등록특허공보 제10-1979654호 (2019.05.13. 등록)Korean Registered Patent Publication No. 10-1979654 (registered on May 13, 2019)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 설정받은 가상 차량용 번호판 데이터의 생성을 위한 번호판에 대한 정보 및 환경 정보에 기초하여 가상 차량용 번호판 데이터를 생성하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. The present invention is to solve the above-described problems of the prior art, and it is intended to generate virtual vehicle license plate data based on information on the license plate and environment information for generating the set virtual vehicle license plate data. However, the technical problem to be achieved by the present embodiment is not limited to the technical problems as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 차량용 번호판의 정보를 인식하는 장치는 가상 차량용 번호판 데이터의 생성을 위한 번호판에 대한 정보 및 가상 환경 정보를 설정받는 정보 설정부; 상기 설정된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 상기 가상 차량용 번호판 데이터를 생성하는 번호판 생성부; 및 상기 생성된 가상 차량용 번호판 데이터에 기초하여 번호판 검출 모델을 학습시키고, 상기 학습된 번호판 검출 모델을 이용하여 실제의 차량용 번호판의 정보를 인식하는 번호판 인식부를 포함할 수 있다. As a technical means for achieving the above-described technical problem, the apparatus for recognizing information on the license plate for a vehicle according to the first aspect of the present invention sets information on the license plate for generation of the virtual vehicle license plate data and the virtual environment information. part; A license plate generator configured to generate license plate data for the virtual vehicle based on the set license plate information and virtual environment information; And a license plate recognition unit that learns a license plate detection model based on the generated virtual vehicle license plate data, and recognizes information on an actual license plate for a vehicle using the learned license plate detection model.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present invention. In addition to the above-described exemplary embodiments, there may be additional embodiments described in the drawings and detailed description of the invention.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 설정받은 가상 차량용 번호판 데이터의 생성을 위한 번호판에 대한 정보 및 환경 정보에 기초하여 가상 차량용 번호판 데이터를 생성할 수 있다. 이를 통해, 본 발명은 차량용 번호판의 샘플 데이터를 대량으로 생성할 수 있어 차량용 번호판을 수집하기 위해 소요되는 시간 및 비용을 절감할 수 있다. 또한, 본 발명은 실제 번호판의 업데이트 버전을 가상 차량용 번호판 데이터로도 생성할 수 있기 때문에 산업현장에 빠르게 대응할 수 있고, 실제 차량용 번호판을 이용하는 것이 아닌 가상 차량용 번호판 데이터를 생성하기 때문에 개인 정보 침해 문제가 발생하지 않는다. According to any one of the above-described problem solving means of the present invention, the present invention can generate virtual vehicle license plate data based on information on the license plate and environment information for generating the set virtual vehicle license plate data. Through this, the present invention can generate a large amount of sample data of the vehicle license plate, it is possible to reduce the time and cost required to collect the vehicle license plate. In addition, since the present invention can generate an updated version of an actual license plate as virtual vehicle license plate data, it is possible to quickly respond to industrial sites, and because it generates virtual vehicle license plate data instead of using an actual vehicle license plate, there is a problem of personal information infringement. Does not occur.

도 1은 본 발명의 일 실시예에 따른, 번호판 인식 장치의 블록도이다.
도 2a 내지 2e는 본 발명의 일 실시예에 따른, 다양한 번호판의 유형을 도시한 도면이다.
도 3a 내지 3b는 본 발명의 일 실시예에 따른, 가상 환경에 따른 번호판을 도시한 도면이다.
도 4a 내지 4b는 본 발명의 일 실시예에 따른, 가상 차량용 번호판 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 5a 내지 5b는 본 발명의 다른 실시예에 따른, 가상 차량용 번호판 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 6a 내지 6b는 본 발명의 다른 실시예에 따른, 가상 차량용 번호판 데이터를 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른, 차량용 번호판의 정보를 인식하는 방법을 나타낸 흐름도이다. 1 is a block diagram of an apparatus for recognizing a license plate according to an embodiment of the present invention.
2A to 2E are diagrams illustrating various types of license plates according to an embodiment of the present invention.
3A to 3B are diagrams illustrating a license plate according to a virtual environment according to an embodiment of the present invention.
4A to 4B are diagrams for explaining a method of generating license plate data for a virtual vehicle according to an embodiment of the present invention.
5A to 5B are diagrams for explaining a method of generating license plate data for a virtual vehicle according to another exemplary embodiment of the present invention.
6A to 6B are diagrams for explaining a method of generating license plate data for a virtual vehicle according to another embodiment of the present invention.
7 is a flowchart illustrating a method of recognizing information on a license plate for a vehicle according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to be "connected" with another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. In the present specification, the term "unit" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized by using two or more hardware, or two or more units may be realized by one piece of hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다. In this specification, some of the operations or functions described as being performed by the terminal or device may be performed instead in a server connected to the terminal or device. Likewise, some of the operations or functions described as being performed by the server may also be performed by a terminal or device connected to the server.

이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다. Hereinafter, with reference to the accompanying configuration diagram or processing flow chart, it will be described in detail for the implementation of the present invention.

도 1은 본 발명의 일 실시예에 따른, 번호판 인식 장치(10)의 블록도이다. 1 is a block diagram of a license plate recognition apparatus 10 according to an embodiment of the present invention.

도 1을 참조하면, 번호판 인식 장치(10)는 정보 설정부(100), 번호판 생성부(110) 및 번호판 인식부(120)를 포함할 수 있다. 다만, 도 1에 도시된 번호판 인식 장치(10)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. Referring to FIG. 1, the license plate recognition apparatus 10 may include an information setting unit 100, a license plate generation unit 110, and a license plate recognition unit 120. However, the license plate recognition apparatus 10 shown in FIG. 1 is only one example of the present invention, and various modifications are possible based on the components shown in FIG. 1.

이하에서는 도 1과 함께 도 2a 내지 6b를 참조하여 설명하기로 한다. Hereinafter, it will be described with reference to FIGS. 2A to 6B together with FIG. 1.

모든 차량용 번호판은 번호판의 생김새(번호판의 모양(도 2a 참조), 색상(도 2b 참조), 재질(도 2c 참조))가 다르고, 번호판의 문자 영역(즉, 글자 위치, 도 2d 참조) 및 폰트(도 2e 참조)가 각각 다르다. 또한, 차량용 번호판의 유형에 따라 번호판의 글자수가 달라질 수 있고, 차량용 번호판에 지역 문자가 존재하거나 없을 수도 있다. 따라서, 차량용 번호판의 유형마다 번호판의 생김새, 문자 영역의 위치, 폰트를 각각 다르게 설정할 필요가 있다. All vehicle license plates differ in the appearance of the license plate (the shape of the license plate (see Fig. 2a), color (see Fig. 2b), and material (see Fig. 2c)), and the character area of the license plate (i.e., character position, see Fig. 2d) and font (See Fig. 2e) are each different. In addition, the number of letters of the license plate may vary according to the type of the license plate for a vehicle, and a local character may or may not be present on the license plate for a vehicle. Therefore, it is necessary to set the appearance of the license plate, the position of the character area, and the font differently for each type of the vehicle license plate.

또한, 카메라에 의해 촬영된 차량용 번호판 영상의 경우, 주변 환경에 의해 차량용 번호판에 대한 시야가 가려지거나 흐릿하게 보이는 등의 상황이나 차량용 번호판의 노후화 정도 등에 따라 실제 차량용 번호판의 식별이 어려울 수 있다. In addition, in the case of a vehicle license plate image taken by a camera, it may be difficult to identify an actual vehicle license plate depending on circumstances such as the field of view of the vehicle license plate being obscured or blurred by the surrounding environment, or the degree of aging of the vehicle license plate.

본 발명은 이러한 문제점들을 고려하여 가상 차량용 번호판 데이터를 생성할 수 있다. The present invention can generate license plate data for a virtual vehicle in consideration of these problems.

정보 설정부(100)는 가상 차량용 번호판 데이터의 생성을 위한 번호판에 대한 정보 및 가상 환경 정보를 설정받을 수 있다. 여기서, 번호판에 대한 정보는 번호판의 모양, 재질, 색상, 문자 영역, 폰트 중 적어도 하나 이상을 포함할 수 있다. 가상 환경 정보는 기상 정보(예컨대, 안개, 비, 맑음 등), 조도 정보(예컨대, 역광 등) 및 주야간 정보 중 적어도 하나 이상을 포함할 수 있다. The information setting unit 100 may receive information on a license plate for generating license plate data for a virtual vehicle and virtual environment information. Here, the information on the license plate may include at least one of a shape, a material, a color, a character area, and a font of the license plate. The virtual environment information may include at least one of weather information (eg, fog, rain, sunny, etc.), illumination information (eg, backlight, etc.), and day/night information.

예를 들어, 정보 설정부(100)는 차량용 번호판 데이터의 유형에 따라 기설정된 복수의 번호판 모양 리스트, 번호판의 복수의 재질 리스트(예컨대, 페인트식 재질, 재귀반사식 필름 재질 등), 복수의 색상 리스트, 복수의 문자 영역 리스트, 복수의 폰트 리스트를 사용자의 단말로 제공한 경우, 사용자의 단말로부터 차량용 번호판 데이터의 유형 별로 하나씩 설정받을 수 있다. 만일, 사용자의 단말에 의해 설정받지 못한 번호판의 유형이 존재하는 경우, 번호판 인식 장치에 의해 랜덤으로 설정될 수 있다. 또한, 정보 설정부(100)는 가상 환경 정보에 포함된 기상 정보, 조도 정보, 주야간 정보 각각에 대하여 사용자의 단말로부터 설정받을 수 있다. 만일, 사용자의 단말에 의해 설정받지 못한 가상 환경 정보가 존재하는 경우, 번호판 인식 장치에 의해 랜덤으로 설정될 수 있다. For example, the information setting unit 100 includes a list of a plurality of license plate shapes preset according to the type of license plate data for a vehicle, a list of a plurality of materials of the license plate (for example, a paint type material, a retroreflective film material, etc.), and a plurality of colors. When a list, a plurality of character area lists, and a plurality of font lists are provided to the user's terminal, one can be set for each type of vehicle license plate data from the user's terminal. If there is a type of license plate that has not been set by the user's terminal, it may be randomly set by the license plate recognition device. In addition, the information setting unit 100 may receive each of the weather information, illumination information, and day/night information included in the virtual environment information from the user's terminal. If there is virtual environment information that has not been set by the user's terminal, it may be randomly set by the license plate recognition device.

번호판 생성부(110)는 설정된 번호판에 대한 정보, 및 가상 환경 정보에 기초하여 가상 차량용 번호판 데이터를 생성할 수 있다. The license plate generator 110 may generate license plate data for a virtual vehicle based on information on the set license plate and virtual environment information.

예를 들어, 번호판 생성부(110)는 표준 번호판 규정에 기초하여, 번호판에 대한 정보에 포함된 문자 영역의 위치를 자동으로 설정하고, 번호판에 대한 정보에 포함된 번호판의 모양, 재질, 색상, 폰트에 맞추어 가상 차량용 번호판 데이터를 생성할 수 있다. 예를 들어, 번호판 생성부(110)는 차량용 번호판의 종류 인식을 위한 번호판의 색상을 기상 환경 및 조도 변화에 따라 가상 차량용 번호판 데이터를 다양하게 생성할 수 있다. For example, the license plate generation unit 110 automatically sets the position of the character area included in the information on the license plate, based on the standard license plate regulation, and the shape, material, color, and shape of the license plate included in the information on the license plate. Virtual vehicle license plate data can be created according to the font. For example, the license plate generation unit 110 may variously generate virtual vehicle license plate data according to a weather environment and a change in illumination intensity of the color of the license plate for recognizing the type of the vehicle license plate.

예를 들어, 도 3a를 참조하면, 번호판 생성부(110)는 사용자에 의해 설정된 제 1 번호판에 대한 정보 및 제 1 기상 정보(예컨대, 안개)에 따라 제 1 가상 차량용 번호판 데이터(301)를 생성할 수 있다. 또한, 번호판 생성부(110)는 설정된 제 1 번호판에 대한 정보 및 제 2 기상 정보(예컨대, 비)에 따라 제 2 가상 차량용 번호판 데이터(303)를 생성할 수 있다. 도 3b를 참조하면, 번호판 생성부(110)는 설정된 제 1 번호판에 대한 정보 및 주간 정보에 따라 제 3 가상 차량용 번호판 데이터(305)를 생성할 수 있다. 번호판 생성부(110)는 설정된 제 1 번호판에 대한 정보 및 야간 정보에 따라 제 4 가상 차량용 번호판 데이터(307)를 생성할 수 있다. For example, referring to FIG. 3A, the license plate generation unit 110 generates first virtual vehicle license plate data 301 according to information on a first license plate set by a user and first weather information (eg, fog). can do. In addition, the license plate generator 110 may generate the second virtual vehicle license plate data 303 according to the set information on the first license plate and the second weather information (eg, rain). Referring to FIG. 3B, the license plate generator 110 may generate third virtual vehicle license plate data 305 according to the set information on the first license plate and weekly information. The license plate generator 110 may generate the fourth virtual vehicle license plate data 307 according to the set information on the first license plate and night information.

한편, 표준 번호판 규정에 따르면 번호판의 색상은 파란색, 노란색, 흰색, 녹색 등 여러 색상으로 규정되어 있다. 영상에서 색상 표현 범위는 물체가 가지고 있는 고유 색상뿐만 아니라, 주변 환경 및 촬영한 카메라의 사양에 따라 여러 색상으로 표현될 수 있다. 따라서, 도 4a와 같이, 번호판 생성부(110)는 주변 환경 및 카메라의 사양에 따라 나타낼 수 있는 번호판의 색상을 다양하게 반영하여 복수의 가상 차량용 번호판 데이터를 생성할 수 있다. Meanwhile, according to the standard license plate regulations, the color of the license plate is specified in various colors such as blue, yellow, white, and green. The range of color expression in the image can be expressed in multiple colors depending on the surrounding environment and the specifications of the photographed camera, as well as the unique color of the object. Accordingly, as shown in FIG. 4A, the license plate generator 110 may generate a plurality of virtual vehicle license plate data by variously reflecting the colors of the license plate that can be represented according to the surrounding environment and the specifications of the camera.

번호판 생성부(110)는 가상 차량의 진입 각도 및 상기 가상 차량을 촬영하는 가상 카메라의 설치 위치에 더 기초하여 3D 워핑(Warping) 방식을 이용하여 가상 차량용 번호판 데이터를 생성할 수 있다. 예를 들어, 도 4b를 참조하면, 차량이 카메라를 향해 진입하는 각도 및 해당 차량을 촬영하는 카메라의 설치 위치에 따라 같은 번호판 이미지라도 다르게 보이기 때문에, 이러한 특징을 가상 차량용 번호판 데이터에 반영하기 위해 3D 워핑을 통해 번호판 이미지의 형태를 변형시킬 수 있다. The license plate generation unit 110 may generate license plate data for a virtual vehicle using a 3D warping method further based on an entry angle of the virtual vehicle and an installation position of a virtual camera photographing the virtual vehicle. For example, referring to FIG. 4B, since even the same license plate image looks different depending on the angle at which the vehicle enters the camera and the installation position of the camera photographing the vehicle, 3D Warping can change the shape of the license plate image.

한편, 차량용 번호판의 재질(예컨대, 페인트식 번호판, 필름번호판)에 따라 차량의 차량용 번호판이 촬영된 영상에서 차량용 번호판에 대한 다른 특징이 나타나기 때문에 이러한 특징을 가상 차량용 번호판에 반영할 필요가 있다. 이를 위해, 번호판 생성부(110)는 텍스처 기술을 이용하여, 설정받은 번호판에 대한 정보에 포함된 번호판의 재질의 특징을 가상 차량용 번호판 데이터에 반영할 수 있다. On the other hand, depending on the material of the vehicle license plate (for example, paint type license plate, film license plate), different characteristics of the vehicle license plate appear in the image taken of the vehicle license plate of the vehicle, so it is necessary to reflect these characteristics on the virtual vehicle license plate. To this end, the license plate generation unit 110 may reflect the characteristics of the material of the license plate included in the information on the set license plate to the license plate data for a virtual vehicle by using a texture technology.

정보 설정부(100)는 시간 경과에 따른 번호판의 부식 정도에 대한 정보를 더 설정받을 수 있다. 만일, 사용자의 단말에 의해 번호판의 부식 정도에 대한 정보를 추가로 설정받지 못한 경우, 정보 설정부(100)는 랜덤으로 시간 경과에 따른 번호판의 부식 정도에 대한 정보를 설정할 수 있다. The information setting unit 100 may further receive information on the degree of corrosion of the license plate over time. If additional information on the degree of corrosion of the license plate is not additionally set by the user's terminal, the information setting unit 100 may randomly set information on the degree of corrosion of the license plate over time.

번호판 생성부(110)는 설정받은 번호판의 부식 정보에 대한 정보에 더 기초하여 가상 차량용 번호판 데이터를 생성할 수 있다. 구체적으로, 번호판 생성부(110)는 설정된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 생성된 복수의 가상 차량용 번호판 데이터에 시간 경과에 따른 번호판의 부식 정보에 대한 정보를 반영할 수 있다. The license plate generator 110 may generate license plate data for a virtual vehicle further based on information on corrosion information of the set license plate. Specifically, the license plate generation unit 110 may reflect information on corrosion information of the license plate over time in the plurality of virtual vehicle license plate data generated based on the set information on the license plate and the virtual environment information.

또는, 번호판 생성부(110)는 설정된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 생성된 복수의 가상 차량용 번호판 데이터를 가상 카메라의 설치 위치 및 촬영 각도에 따라 다양한 형태로 변형시키고, 다양한 형태로 변형된 복수의 가상 차량용 번호판 데이터에 시간 경과에 따른 번호판의 부식 정보에 대한 정보를 반영할 수 있다. Alternatively, the license plate generation unit 110 transforms the plurality of virtual vehicle license plate data generated based on the set license plate information and virtual environment information into various forms according to the installation position and shooting angle of the virtual camera, and transforms into various forms. Information on corrosion information of the license plate over time may be reflected in the plurality of virtual vehicle license plate data.

예를 들어, 도 5a를 참조하면, 번호판 생성부(110)는 제 1 번호판에 대한 정보 및 제 1 기상 정보에 따라 생성된 제 1 가상 차량용 번호판 데이터(500)에 제 1 기간 경과(예컨대, 1년)에 따른 번호판의 부식 정보를 반영하여 녹슨 이미지에 해당하는 제 2 가상 차량용 번호판 데이터(501)를 생성할 수 있다. 또는, 번호판 생성부(110)는 제 1 번호판에 대한 정보 및 제 1 기상 정보에 따라 생성된 제 1 가상 차량용 번호판 데이터(500)에 제 2 기간 경과(예컨대, 10년)에 따른 번호판의 부식 정보를 반영하여 녹슨 이미지에 해당하는 제 3 가상 차량용 번호판 데이터(503)를 생성할 수 있다. For example, referring to FIG. 5A, the license plate generation unit 110 includes information on the first license plate and the first virtual vehicle license plate data 500 generated according to the first weather information. The second virtual vehicle license plate data 501 corresponding to the rusty image may be generated by reflecting corrosion information of the license plate according to the year). Alternatively, the license plate generation unit 110 includes information on the first license plate and corrosion information of the license plate according to the lapse of the second period (eg, 10 years) in the first virtual vehicle license plate data 500 generated according to the first weather information. By reflecting it, third virtual vehicle license plate data 503 corresponding to the rusty image may be generated.

도 5b를 참조하면, 번호판 생성부(110)는 제 1 번호판에 대한 정보 및 제 1 기상 정보에 따라 생성된 제 1 가상 차량용 번호판 데이터(500)에 제 2 기간 경과(예컨대, 10년)에 따른 번호판의 부식 정보를 반영하여 노화로 인한 부식된 이미지에 해당하는 제 4 가상 차량용 번호판 데이터(505)를 생성할 수 있다. 또는, 번호판 생성부(110)는 제 1 번호판에 대한 정보 및 제 1 기상 정보에 따라 생성된 제 1 가상 차량용 번호판 데이터(500)에 제 1 기간 경과(예컨대, 1년)에 따른 번호판의 부식 정보를 반영하여 노화로 인한 부식된 이미지에 해당하는 제 5 가상 차량용 번호판 데이터(507)를 생성할 수 있다.Referring to FIG. 5B, the license plate generation unit 110 includes information on the first license plate and the first virtual vehicle license plate data 500 generated according to the first weather information according to the lapse of a second period (eg, 10 years). By reflecting the corrosion information of the license plate, the fourth virtual vehicle license plate data 505 corresponding to the corroded image due to aging may be generated. Alternatively, the license plate generation unit 110 provides information on the first license plate and corrosion information of the license plate according to the lapse of the first period (eg, 1 year) in the first virtual vehicle license plate data 500 generated according to the first weather information. By reflecting it, the fifth virtual vehicle license plate data 507 corresponding to the image corroded due to aging may be generated.

이처럼, 본 발명은 주변 상황(예컨대, 기상상황, 도로 환경, 카메라 촬영 각도 등)을 고려하여 가상 차량용 번호판 데이터를 생성할 수 있기 때문에 여러 상황에 대응 가능한 번호판 데이터의 생성이 가능하다. As described above, since the present invention can generate license plate data for a virtual vehicle in consideration of surrounding conditions (eg, weather conditions, road conditions, camera shooting angles, etc.), it is possible to generate license plate data that can respond to various situations.

한편, 실상에서는 차량 주변의 장애물 또는 공기 오염도 등으로 인해 실제 번호판의 일정 부분이 가려지는 현상이 발생할 수 있다. 이러한 문제를 해결하기 위해, 본 발명은 생성된 가상 차량용 번호판 데이터와 실제 번호판과의 유사도를 향상시키기 위해, 블러링(Blurring) 모델을 이용할 수 있다. Meanwhile, in reality, a certain part of the actual license plate may be covered due to obstacles or air pollution around the vehicle. In order to solve this problem, the present invention may use a blurring model in order to improve the similarity between the generated virtual vehicle license plate data and the actual license plate.

구체적으로, 번호판 생성부(110)는 생성된 가상 차량용 번호판 데이터에 실제 번호판에서 발생 가능한 번호판의 오염 정도에 대한 블러링 모델을 적용할 수 있다. 예를 들어, 도 6a를 참조하면, 번호판 생성부(110)는 제 1 번호판에 대한 정보 및 제 1 기상 정보에 따라 생성된 제 1 가상 차량용 번호판 데이터(600)에 제 1 오염 정도(예컨대, 공기질이 나쁨 단계인 경우)에 대한 블러링 모델을 적용하여 브러링 이미지에 해당하는 제 2 가상 차량용 번호판 데이터(602)를 생성할 수 있다. Specifically, the license plate generator 110 may apply a blurring model for the degree of contamination of the license plate that can occur in the actual license plate to the generated license plate data for a virtual vehicle. For example, referring to FIG. 6A, the license plate generation unit 110 provides a first degree of contamination (eg, air quality) in the first virtual vehicle license plate data 600 generated according to the information on the first license plate and the first weather information. In the case of this bad stage), the blurring model for) may be applied to generate the second virtual vehicle license plate data 602 corresponding to the brushed image.

또는, 번호판 생성부(110)는 제 1 번호판에 대한 정보 및 제 1 기상 정보에 따라 생성된 제 1 가상 차량용 번호판 데이터(600)에 제 2 오염 정도(예컨대, 공기질이 매우 나쁨 단계인 경우)에 대한 블러링 모델을 적용하여 브러링 이미지에 해당하는 제 3 가상 차량용 번호판 데이터(604)를 생성할 수 있다. Alternatively, the license plate generation unit 110 determines the second degree of contamination (for example, when the air quality is at a very bad stage) in the first virtual vehicle license plate data 600 generated according to the information on the first license plate and the first weather information. The third virtual vehicle license plate data 604 corresponding to the brushing image may be generated by applying the for blurring model.

도 6b를 참조하면, 번호판 생성부(110)는 녹슨 이미지에 해당하는 가상 차량용 번호판 데이터(606)에 제 3 오염 정도(예컨대, 오물이 묻은 경우)에 대한 블러링 모델을 적용하여 제 4 가상 차량용 번호판 데이터(608)를 생성할 수 있다. Referring to FIG. 6B, the license plate generation unit 110 applies a blurring model for a third degree of contamination (for example, when dirty) to the virtual vehicle license plate data 606 corresponding to the rusty image, and is used for the fourth virtual vehicle. License plate data 608 can be generated.

번호판 생성부(110)는 번호판에 영향을 줄 수 있는 다수의 영향 인자에 기초하여 생성된 가상 차량용 번호판 데이터를 데이터베이스에 저장할 수 있다. The license plate generator 110 may store license plate data for a virtual vehicle generated based on a number of influencing factors that may affect the license plate in a database.

번호판 인식부(120)는 생성된 복수의 가상 차량용 번호판 데이터에 기초하여 번호판 검출 모델을 학습시키고, 학습된 번호판 검출 모델을 이용하여 카메라에 의해 촬영된 차량 영상으로부터 실제의 차량용 번호판의 정보를 인식할 수 있다. 예를 들어, 번호판 인식부(120)는 번호판의 문자인식을 위해 시간 경과에 따른 부식 및 주변 환경 상황 정보를 고려하여 생성된 복수의 가상 차량용 번호판 데이터를 이용하여 번호판 검출 모델을 학습시킬 수 있다. 이를 통해, 번호판 검출 모델의 검출 효과를 향상시킬 수 있다. The license plate recognition unit 120 learns a license plate detection model based on the generated license plate data for a plurality of virtual vehicles, and recognizes the actual vehicle license plate information from the vehicle image captured by the camera using the learned license plate detection model. I can. For example, the license plate recognition unit 120 may learn a license plate detection model using a plurality of virtual vehicle license plate data generated in consideration of corrosion over time and information on surrounding environment conditions for character recognition of the license plate. Through this, it is possible to improve the detection effect of the license plate detection model.

한편, 당업자라면, 정보 설정부(100), 번호판 생성부(110) 및 번호판 인식부(120) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다. On the other hand, those skilled in the art will fully understand that each of the information setting unit 100, the license plate generation unit 110, and the license plate recognition unit 120 may be implemented separately, or one or more of them may be integrated and implemented.

도 7은 본 발명의 일 실시예에 따른, 차량용 번호판을 인식하는 방법을 나타낸 흐름도이다. 7 is a flowchart illustrating a method of recognizing a license plate for a vehicle according to an embodiment of the present invention.

도 7을 참조하면, 단계 S701에서 번호판 인식 장치(10)는 가상 차량용 번호판 데이터의 생성을 위한 번호판에 대한 정보 및 가상 환경 정보를 설정받을 수 있다. Referring to FIG. 7, in step S701, the license plate recognition apparatus 10 may receive information on a license plate for generating license plate data for a virtual vehicle and virtual environment information.

단계 S703에서 번호판 인식 장치(10)는 설정된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 가상 차량용 번호판 데이터를 생성할 수 있다. In step S703, the license plate recognition apparatus 10 may generate license plate data for a virtual vehicle based on information on the set license plate and virtual environment information.

단계 S705에서 번호판 인식 장치(10)는 생성된 가상 차량용 번호판 데이터에 기초하여 번호판 검출 모델을 학습시킬 수 있다. In step S705, the license plate recognition apparatus 10 may learn a license plate detection model based on the generated license plate data for a virtual vehicle.

단계 S707에서 번호판 인식 장치(10)는 학습된 번호판 검출 모델을 이용하여 실제의 차량용 번호판의 정보를 인식할 수 있다. In step S707, the license plate recognition apparatus 10 may recognize the actual vehicle license plate information by using the learned license plate detection model.

상술한 설명에서, 단계 S701 내지 S707은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. In the above description, steps S701 to S707 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted as necessary, or the order between steps may be changed.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Further, the computer-readable medium may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and are not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. .

10: 번호판 인식 장치
100: 정보 설정부
110: 번호판 생성부
120: 번호판 인식부10: license plate recognition device
100: information setting unit
110: license plate generation unit
120: license plate recognition unit

Claims (5)

차량용 번호판의 정보를 인식하는 장치에 있어서,
가상 차량용 번호판 데이터의 생성을 위한 번호판에 대한 정보 및 가상 환경 정보를 설정받는 정보 설정부;
상기 설정된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 상기 가상 차량용 번호판 데이터를 생성하는 번호판 생성부; 및
상기 생성된 가상 차량용 번호판 데이터에 기초하여 번호판 검출 모델을 학습시키고, 상기 학습된 번호판 검출 모델을 이용하여 실제의 차량용 번호판의 정보를 인식하는 번호판 인식부
를 포함하는 것인, 번호판 인식 장치.
In the device for recognizing information on a vehicle license plate,
An information setting unit configured to set information on a license plate and virtual environment information for generating license plate data for a virtual vehicle;
A license plate generator configured to generate license plate data for the virtual vehicle based on the set license plate information and virtual environment information; And
A license plate recognition unit that learns a license plate detection model based on the generated virtual vehicle license plate data, and recognizes information on the actual license plate for a vehicle using the learned license plate detection model.
That includes, license plate recognition device.
 제 1 항에 있어서,
상기 번호판에 대한 정보는 번호판의 모양, 재질, 색상, 문자 영역 및 폰트 중 하나 이상을 포함하고,
상기 가상 환경 정보는 기상 정보, 조도 정보 및 주야간 정보 중 하나 이상을 포함하는 것인, 번호판 인식 장치.
The method of claim 1,
The information on the license plate includes one or more of the shape, material, color, character area, and font of the license plate,
The virtual environment information includes one or more of weather information, illumination information, and day and night information.
 제 1 항에 있어서,
상기 번호판 생성부는 가상 차량의 진입 각도 및 상기 가상 차량을 촬영하는 가상 카메라의 설치 위치에 더 기초하여 3D 워핑(Warping) 방식을 이용하여 상기 가상 차량용 번호판 데이터를 생성하는 것인, 번호판 인식 장치.
The method of claim 1,
The license plate generation unit generates the license plate data for the virtual vehicle using a 3D warping method further based on an entry angle of the virtual vehicle and an installation position of a virtual camera photographing the virtual vehicle.
 제 3 항에 있어서,
상기 정보 설정부는 시간 경과에 따른 상기 번호판의 부식 정도에 대한 정보를 더 설정받고,
상기 번호판 생성부는 상기 번호판의 부식 정보에 대한 정보에 더 기초하여 상기 가상 차량용 번호판 데이터를 생성하는 것인, 번호판 인식 장치.
The method of claim 3,
The information setting unit further receives information on the degree of corrosion of the license plate over time,
The license plate generator to generate the license plate data for the virtual vehicle further based on information on the corrosion information of the license plate.
 제 1 항에 있어서,
상기 번호판 생성부는 상기 생성된 가상 차량용 번호판 데이터에 실제 번호판에서 발생 가능한 번호판의 오염 정도에 대한 블러링(Blurring) 모델을 적용하는 것인, 번호판 인식 장치. The method of claim 1,
The license plate generator is to apply a blurring model for the degree of contamination of the license plate that can occur in the actual license plate to the generated license plate data for a virtual vehicle.
KR1020190135279A 2019-10-29 2019-10-29 Server for recognizing information on vehicle registration plates KR102287742B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190135279A KR102287742B1 (en) 2019-10-29 2019-10-29 Server for recognizing information on vehicle registration plates

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190135279A KR102287742B1 (en) 2019-10-29 2019-10-29 Server for recognizing information on vehicle registration plates

Publications (2)

Publication Number Publication Date
KR20210050803A true KR20210050803A (en) 2021-05-10
KR102287742B1 KR102287742B1 (en) 2021-08-09

Family

ID=75917173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190135279A KR102287742B1 (en) 2019-10-29 2019-10-29 Server for recognizing information on vehicle registration plates

Country Status (1)

Country Link
KR (1) KR102287742B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049695A (en) * 2021-09-28 2022-02-15 深圳市顺易通信息科技有限公司 Method, device and system for processing parking fee of virtual license plate number

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102431894B1 (en) * 2021-11-22 2022-08-16 (주)이노씨앤에스 Method And System for Monitoring Parking Lot of Disabled Person

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101146581B1 (en) * 2011-11-11 2012-06-14 아이티에스엔지니어링 주식회사 Car number recognize system
KR20160044836A (en) * 2014-10-16 2016-04-26 렉스젠(주) Apparatus for inputting vehicle number and method thereof
KR20180110891A (en) * 2017-03-30 2018-10-11 삼성전자주식회사 Device and method for recognizing objects included in input image
KR101979654B1 (en) 2018-01-15 2019-05-17 주식회사 비엔인더스트리 License plate recognition apparatus and the method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101146581B1 (en) * 2011-11-11 2012-06-14 아이티에스엔지니어링 주식회사 Car number recognize system
KR20160044836A (en) * 2014-10-16 2016-04-26 렉스젠(주) Apparatus for inputting vehicle number and method thereof
KR20180110891A (en) * 2017-03-30 2018-10-11 삼성전자주식회사 Device and method for recognizing objects included in input image
KR101979654B1 (en) 2018-01-15 2019-05-17 주식회사 비엔인더스트리 License plate recognition apparatus and the method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049695A (en) * 2021-09-28 2022-02-15 深圳市顺易通信息科技有限公司 Method, device and system for processing parking fee of virtual license plate number

Also Published As

Publication number Publication date
KR102287742B1 (en) 2021-08-09

Similar Documents

Publication Publication Date Title
JP6873237B2 (en) Image-based vehicle damage assessment methods, equipment, and systems, as well as electronic devices
Zhang et al. CAMOU: Learning physical vehicle camouflages to adversarially attack detectors in the wild
US10635935B2 (en) Generating training images for machine learning-based objection recognition systems
Rateke et al. Road surface detection and differentiation considering surface damages
CN111598182B (en) Method, device, equipment and medium for training neural network and image recognition
CN104504744A (en) License plate image composition simulating method and device
CN109871845B (en) Certificate image extraction method and terminal equipment
KR102287742B1 (en) Server for recognizing information on vehicle registration plates
Uy et al. Automated traffic violation apprehension system using genetic algorithm and artificial neural network
CN111325769A (en) Target object detection method and device
CA3122346A1 (en) Crowdsourced on-demand ai data annotation, collection and processing
EP3657390A1 (en) Object recognition system and method using simulated object images
Milford et al. Long exposure localization in darkness using consumer cameras
Liu et al. Soft prototyping camera designs for car detection based on a convolutional neural network
Zhang et al. Camou: Learning a vehicle camouflage for physical adversarial attack on object detections in the wild
Heidecker et al. Towards Corner Case Detection by Modeling the Uncertainty of Instance Segmentation Networks
Yang et al. Finding physical adversarial examples for autonomous driving with fast and differentiable image compositing
Alam et al. Learning light fields for improved lane detection
Švorc et al. An infrared video detection and categorization system based on machine learning
Thomas et al. Smart car parking system using convolutional neural network
CN113971795A (en) Violation inspection system and method based on self-driving visual sensing
Saad et al. Camera vignetting model and its effects on deep neural networks for object detection
Ziou et al. Estimation of light source colours for light pollution assessment
Hagn et al. Optimized data synthesis for DNN training and validation by sensor artifact simulation
Weis et al. Anomaly detection for automotive visual signal transition estimation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant