WO2021242048A1 - 객체의 번호판 정보를 인식하는 장치 및 방법 - Google Patents

객체의 번호판 정보를 인식하는 장치 및 방법 Download PDF

Info

Publication number
WO2021242048A1
WO2021242048A1 PCT/KR2021/006689 KR2021006689W WO2021242048A1 WO 2021242048 A1 WO2021242048 A1 WO 2021242048A1 KR 2021006689 W KR2021006689 W KR 2021006689W WO 2021242048 A1 WO2021242048 A1 WO 2021242048A1
Authority
WO
WIPO (PCT)
Prior art keywords
license plate
information
vehicle
data
similarity
Prior art date
Application number
PCT/KR2021/006689
Other languages
English (en)
French (fr)
Inventor
이승주
박구만
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Publication of WO2021242048A1 publication Critical patent/WO2021242048A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image

Definitions

  • the present invention relates to an apparatus and method for recognizing license plate information of an object.
  • the range of change in the rate of change of object recognition is large depending on the characteristics of the learning data corresponding to a specific field.
  • vehicle license plate data captured by a photographing device e.g., a drone, a camera installed in a parking blocker of vehicle entrance, etc.
  • the performance of object recognition using a deep learning model will be greatly reduced.
  • vehicle license plate data having various shapes and sizes may be obtained from an image photographing device installed on an actual road, but there is no choice but to impose great restrictions on the acquisition of vehicle license plate data having personal information.
  • the license plate may be changed from 7 digits to 8 digits, and in the case of an electric vehicle, the color of the license plate may be changed. If the license plate is changed, the license plate recognition program installed in most parking blockers may not properly recognize the new license plate, and users using the parking service may experience inconvenience.
  • the ship license plate for identifying the ship may be obtained when the ship is anchored at the pier.
  • a ship license plate photographed under these conditions is used for ship identification when an actual ship is operating, there is a high probability that it will not be helpful for ship recognition due to a sense of separation from the real environment.
  • the present invention is to solve the problems of the prior art described above, and based on the similarity between the virtual object license plate data and real object license plate data generated based on license plate information and virtual environment information, learning a license plate detection model, the learned license plate We want to recognize the license plate information of the real object through the detection model.
  • the device for recognizing the license plate information of the object is a license plate generation unit for generating virtual object license plate data based on the pre-stored license plate information and virtual environment information ;
  • a similarity derivation unit for deriving a degree of similarity between the real object license plate data and the virtual object license plate data;
  • a license plate recognition unit for recognizing license plate information of an actual object using the learned license plate detection model.
  • a method for recognizing information on a license plate of an object includes: generating virtual object license plate data based on information about the license plate and virtual environment information stored in advance; deriving a similarity between the real object license plate data and the virtual object license plate data; learning a license plate detection model based on the derived similarity; And using the learned license plate detection model may include the step of recognizing the license plate information of the real object.
  • the present invention trains the license plate detection model based on the similarity between the virtual object license plate data and the real object license plate data generated based on the license plate information and virtual environment information, learning It is possible to recognize the license plate information of the real object through the license plate detection model.
  • the present invention can generate a large amount of sample data of the object license plate, it is possible to reduce the time and cost required to collect the object license plate.
  • the present invention can quickly respond to the industrial field because an updated version of the real object license plate can be created with virtual object license plate data, and the problem of privacy infringement because it creates virtual object license plate data rather than using the real object license plate does not occur
  • the present invention learns the license plate detection model based on the similarity between the virtual object license plate data and the real object license plate data generated in consideration of various environments (eg, weather environment, etc.), so the license plate information of the real object in the real service environment. It may be beneficial to recognize
  • FIG. 1 is a block diagram of a license plate recognition apparatus according to an embodiment of the present invention.
  • Figure 2a is a view for explaining a method of extracting and generating information about the license plate, according to an embodiment of the present invention.
  • Figure 2b is a view for explaining a method of extracting and generating information about the license plate, according to an embodiment of the present invention.
  • Figure 2c is a view for explaining a method of extracting and generating information on the license plate, according to an embodiment of the present invention.
  • Figure 3a is a view showing the virtual object license plate data, according to an embodiment of the present invention.
  • Figure 3b is a view showing the virtual object license plate data, according to an embodiment of the present invention.
  • Figure 3c is a view showing the virtual object license plate data, according to an embodiment of the present invention.
  • Figure 3d is a view showing the virtual object license plate data, according to an embodiment of the present invention.
  • FIG. 4 is a view showing a result of synthesizing virtual object license plate data with actual background data, according to an embodiment of the present invention.
  • 5A is a diagram for explaining a method of recognizing license plate information of a real object, according to an embodiment of the present invention.
  • 5B is a diagram for explaining a method of recognizing license plate information of a real object, according to an embodiment of the present invention.
  • 5C is a view for explaining a method of recognizing license plate information of a real object, according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of recognizing license plate information of an object, according to an embodiment of the present invention.
  • a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both.
  • one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.
  • Some of the operations or functions described as being performed by the terminal or device in this specification may be instead performed by a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal or device connected to the server.
  • FIG. 1 is a block diagram of a license plate recognition device 10 according to an embodiment of the present invention.
  • the license plate recognition device 10 is a license plate generating unit 100, similarity deriving unit 110, selecting unit 120, license plate synthesis unit 130, learning unit 140, license plate recognition unit ( 150), the license plate information DB 170, the virtual environment information DB 180 and may include a virtual license plate DB (190).
  • the license plate recognition device 10 shown in FIG. 1 is only one embodiment of the present invention, and various modifications are possible based on the components shown in FIG. 1 .
  • FIGS. 2A to 5C together with FIG. 1 .
  • the license plates of all objects have a different appearance (shape, color, material) of the license plate, and the character area (ie, character position) and font of the license plate are different.
  • the number of characters on the license plate may vary depending on the type of object license plate, and local characters may or may not exist on the object license plate. Therefore, it is necessary to set the appearance of the license plate, the position of the character area, and the font differently for each type of object license plate.
  • the present invention can generate virtual object license plate data in consideration of these problems.
  • the license plate environment generation unit 160 may variously generate information about the license plate and virtual environment information based on license plate data of a plurality of pre-collected real objects (eg, vehicles, ships, road name signs, etc.). At this time, information on the generated license plate is stored in the license plate information DB 170, the virtual environment information may be stored in the virtual environment information DB (180).
  • the information about the license plate may include, for example, at least one or more of the license plate background color and background format, the shape of the license plate, material (coating or film material of the license plate), color, character area, font and position of text. have.
  • Virtual environment information is, for example, aging information (corrosion degree) of the license plate, weather information (eg, fog, rain, sunny, etc.), illuminance information (eg, backlight, etc.), at least one of the photographing angle information of the license plate and day/night information may include more than one.
  • the license plate environment generating unit 160 is a background area (solid line) including a text area (dotted line) and a text area from the license plate data of a plurality of pre-collected real objects. information can be extracted.
  • the license plate environment generation unit 160 extracts information about the background area including the text area and the text area from the actual object license plate data by using the coordinate information of the text area and the background area, and the extracted text area and Information on the background area may be stored in the license plate information DB (170).
  • the license plate environment generation unit 160 extracts the font information (eg, font size, font color, font gradient, font thickness, etc.) of the license plate from the license plate data of a plurality of pre-collected real objects to extract the license plate It may be stored in the information DB 170 .
  • the license plate environment generation unit 160 may generate font information of a different type from the font information of the extracted license plate and store it in the license plate information DB 170 .
  • the license plate environment generation unit 160 extracts the actual environmental information of the license plate (eg, the degree of light reflection of the actual license plate, the degree of rusting, the degree of erased characters in the character area, etc.) from the license plate data of a plurality of pre-collected real objects and extracts it It may be stored in the virtual environment information DB 180 .
  • the license plate environment generation unit 160 may generate a different type of virtual environment information from the extracted real environment information and store it in the virtual environment information DB 180 .
  • the license plate generation unit 100 may generate virtual object license plate data of a virtual object based on pre-stored license plate information and virtual environment information.
  • the virtual object may include, for example, at least one of a vehicle, a ship, and a road name sign.
  • the license plate generation unit 100 may generate virtual object license plate data by applying the background color and format of the virtual object license plate data according to the license plate background color and format extracted from the license plate information DB 170 . .
  • the license plate generation unit 100 applies at least one font information extracted from the license plate information DB 170 to a character font constituting license plate data of a virtual object (vehicle, virtual vessel, virtual road name sign). By doing so, virtual object license plate data can be created.
  • the license plate generation unit 100 is based on at least one virtual environment information extracted from the virtual environment information DB 180, various environments in the license plate data of the virtual object (vehicle, virtual vessel, virtual road name sign) By applying the information, virtual object license plate data can be created.
  • the license plate generation unit 100 by changing the background color of the license plate, text in the text area, etc. according to the weather environment, illuminance change and aging degree (rust or erased degree of characters), day and night information, etc. virtual object license plate data It can be created in various ways.
  • the license plate generating unit 100 may change the size (or shape, rotation, etc.) of the license plate of a virtual object through 3D warping technology by varying the installation position and shooting angle of the camera.
  • the license plate generation unit 100 when receiving an actual object license plate image (or a license plate image including a standard distributed by the country), extracts a text area and a background area from the actual object license plate image, the extracted A text format to be included in the text area and a background color to be applied to the extracted background area may be selected from the license plate information DB 170 .
  • the license plate generating unit 100 is the text of the license plate based on the format of [city name] [kor code] [front number] [behind number] (For example, 11 1111 Seoul Street, 222 2222 Gangwon Na) can be created.
  • the license plate generation unit 100 may select font information (eg, font, font size, thickness and color, etc.) of the text to be included in the character area from the license plate information DB 170 .
  • the license plate generation unit 100 may generate the virtual object license plate data of the virtual object based on the text format, background color and font information of the selected character area.
  • the similarity deriving unit 110 may derive the similarity between the real object license plate data and the virtual object license plate data.
  • the similarity derivation unit 110 may derive the similarity between the real object license plate data and the virtual object license plate data based on a preset comparison algorithm (eg, histogram comparison algorithm, template matching algorithm, feature matching algorithm, etc.) .
  • a preset comparison algorithm eg, histogram comparison algorithm, template matching algorithm, feature matching algorithm, etc.
  • the learning unit 140 may learn the license plate detection model based on the derived similarity.
  • the similarity derivation unit 110 may measure the similarity between the real object license plate data and the virtual object license plate data based on a plurality of preset similarities.
  • the plurality of preset similarities may include at least one of a color similarity, a font similarity, and a character string position similarity.
  • the similarity deriving unit 110 may measure the color similarity for each of the background area and character string (text included in the character area) between the real object license plate data and the virtual object license plate data.
  • the similarity derivation unit 110 may measure the font similarity of the character string between the real object license plate data and the virtual object license plate data.
  • the similarity derivation unit 110 may measure the string position similarity based on the string position information between the actual object license plate data and the virtual object license plate data. Thereafter, the similarity deriving unit 110 may determine whether the sum of the measured color similarity, font similarity, and character string position similarity exceeds a preset threshold.
  • the selection unit 120 may select the virtual object license plate data having a similarity with the actual object license plate data of at least one virtual object license plate data equal to or greater than a preset threshold. Specifically, the selection unit 120 may select a virtual object license plate in which the total measurement values for color similarity, font similarity, and character string position similarity with real object license plate data among at least one virtual object license plate data is equal to or greater than a preset threshold value. .
  • the learning unit 140 may learn the license plate detection model using the selected virtual object license plate data.
  • the license plate synthesizing unit 130 may synthesize the selected virtual object license plate data with the actual background data.
  • the virtual object license plate data synthesized in the actual background data may be stored in the virtual license plate DB (190).
  • the license plate synthesizing unit 130 may synthesize virtual vehicle license plate data with a license plate located on the front part of the vehicle included in the actual background data.
  • the license plate synthesizing unit 130 may synthesize the virtual vessel license plate data into a specific area of the vessel included in the actual background data.
  • the learning unit 140 may learn the license plate detection model based on the virtual object license plate data having a similarity with the actual object license plate data equal to or greater than a preset threshold.
  • the license plate recognition unit 150 may recognize license plate information of a real object using the learned license plate detection model.
  • the real object may include, for example, at least one of a vehicle, a ship, and a road name sign.
  • the license plate recognition unit 150 may determine at least one of the vehicle use for the vehicle and the presence or absence of a vehicle permit from the text information and color information of the vehicle front license plate of the vehicle recognized through the license plate detection model. .
  • the license plate recognition unit 150 based on the character information of the vehicle front license plate of the real vehicle recognized through the license plate detection model is a specific area (eg, only the registered vehicle number entry and exit is allowed) It is possible to determine whether a vehicle is licensed to pass through the zone), and to distinguish the intended use of the actual vehicle.
  • the license plate recognition unit 150 may determine the vehicle type of the actual vehicle through the text information included in the first region 501 of the vehicle front license plate, and in the second region 503 of the vehicle front license plate Through the text information included, it is possible to determine the actual vehicle's vehicle use (eg, courier service, rental, business, etc.) It can be determined whether the vehicle is allowed to enter and exit.
  • the actual vehicle's vehicle use eg, courier service, rental, business, etc.
  • the license plate recognition unit 150 is based on the color information of the vehicle front license plate of the actual vehicle recognized through the license plate detection model whether the actual vehicle is a non-business vehicle, whether it is a vehicle for automobile transportation business, an electric vehicle vehicle, a government office It can be determined whether the vehicle is owned or not. For example, when the license plate recognition unit 150 is configured with black text on a yellow background color of the first vehicle front license plate 507 of the real vehicle, the real vehicle is a business vehicle (eg, taxi, bus, courier). vehicle, etc.). As another example, the license plate recognition unit 150 may determine the real vehicle as a general vehicle when the second vehicle front license plate 509 of the real vehicle is configured with black text on a white background color.
  • the license plate recognition unit 150 may determine the actual vehicle as a diplomatic vehicle. As another example, if the license plate recognition unit 150 has an electric vehicle mark pattern on the fourth vehicle front license plate 513 of the actual vehicle, and the fourth vehicle front license plate 513 is composed of black text on a blue background color , the actual vehicle may be determined as an eco-friendly vehicle. As another example, the license plate recognition unit 150 may determine the actual vehicle as a heavy equipment vehicle for construction machinery for business when the fifth vehicle front license plate 515 of the actual vehicle is composed of white text on an orange background color.
  • the license plate recognition unit 150 can determine the actual vehicle as a construction machinery heavy equipment vehicle owned by a government office when the sixth vehicle front license plate 517 of the actual vehicle is composed of black text on a white background color. . In addition, when the seventh vehicle front license plate 519 of the real vehicle is composed of white text on a green background color, the license plate recognition unit 150 may determine the actual vehicle as a self-owned heavy equipment vehicle.
  • the license plate recognition unit 150 from the character string information included in the vehicle rear image of the vehicle vehicle model information 521, vehicle fuel type information 523, vehicle size information (eg, small, semi-medium) , medium, large, SUV) and displacement information may be determined.
  • the license plate recognition unit 150 can recognize at least one of fishing type information, ship weight information, and ship number information about the ship from the text information included in the ship license plate of the ship through the license plate detection model. have. In addition, the license plate recognition unit 150 may determine whether the operation is a permitted vessel based on the recognized information.
  • the license plate recognition unit 150 may recognize the road name information and the building number information from the license plate of the road name sign through the license plate detection model.
  • the recognized road name information and building number information may be used when searching for a vehicle's route guidance. For example, when searching for a destination building according to road view, navigation, and autonomous driving, the location information of the destination building is determined based on the location information where the road name sign recognized through the license plate detection model is installed and the information on the road name sign. It is possible to correct and guide the route of the destination building based on the corrected location information.
  • license plate generation unit 100 similarity derivation unit 110, selection unit 120, license plate synthesis unit 130, learning unit 140, license plate recognition unit 150, license plate information DB (170) ), the virtual environment information DB 180 and the virtual license plate DB 190 will be fully understood that each is implemented separately, or that one or more of these can be integrated and implemented.
  • FIG. 6 is a flowchart illustrating a method of recognizing license plate information of an object, according to an embodiment of the present invention.
  • the license plate recognition device 10 in step S601 may generate virtual object license plate data based on pre-stored information about the license plate and virtual environment information.
  • the license plate recognition device 10 may derive a degree of similarity between the real object license plate data and the virtual object license plate data.
  • the license plate recognition device 10 may learn a license plate detection model based on the derived similarity.
  • the license plate recognition device 10 may recognize the license plate information of the real object using the learned license plate detection model.
  • steps S601 to S607 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention.
  • some steps may be omitted as necessary, and the order between steps may be changed.
  • An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

객체의 번호판 정보를 인식하는 장치는 기저장된 번호판 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 번호판 생성부, 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 도출하는 유사도 도출부, 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 학습부; 및 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 번호판 인식부를 포함할 수 있다.

Description

객체의 번호판 정보를 인식하는 장치 및 방법
본 발명은 객체의 번호판 정보를 인식하는 장치 및 방법에 관한 것이다.
최근 딥러닝 기술의 발달로 딥러닝 신경망을 학습시키기 위한 학습 데이터에 대한 중요성이 강조되고 있다. 특히 학습 데이터가 필요한 지도 학습 기반의 딥러닝 모델의 경우, 학습 데이터의 양과 질에 비례하여 좋은 성능을 보이기 때문에 지도 학습 기반의 딥러닝 모델을 학습시키기 위해서는 데이터의 양과 질이 핵심적인 요소이다. 그러나 양질의 학습 데이터를 확보하기에는 많은 시간적, 금전적 자원이 소모된다.
딥러닝 모델의 경우, 특정 분야에 대응하는 학습 데이터의 특성에 따라 객체 인식의 변동률 변화 폭이 크다. 예를 들어, 높은 위치에서 촬영 기기(예컨대, 드론, 차량진출입의 주차차단기에 설치된 카메라 등)를 통해 촬영된 차량 번호판 데이터를 학습데이터로 사용할 경우, 딥러닝 모델을 이용한 객체 인식의 성능은 크게 떨어질 수 있다.
한편, 다양한 모양과 크기를 갖는 차량용 번호판 데이터는 실제 도로에 설치된 영상 촬영 장치로부터 획득될 수 있으나, 개인의 사적인 정보를 갖는 차량용 번호판 데이터의 획득에는 큰 제약이 따르게 될 수 밖에 없다.
또한, 차량용 번호판 데이터의 규격이 변경되거나 새롭게 추가된다면 이를 반영하기 위하여 차량용 번호판 데이터를 수집 및 확보하는 과정에서 막대한 시간적, 금전적인 비용이 들어간다.
예를 들어, 차량 번호판이 7자리에서 8자리로 변경될 수도 있고, 전기차의 경우 번호판 색상이 변경될 수도 있다. 차량 번호판이 변경된다면, 대다수의 주차차단기에 설치된 번호판 인식프로그램은 신규 번호판을 제대로 인식하지 못하게 되고 주차 서비스를 이용하는 사용자들은 불편을 겪을 수 있다.
다른 예로, 선박을 식별하기 위한 선박 번호판은 배가 부두에 정박할 때 획득할 수 있다. 하지만, 이러한 조건에서 촬영한 선박 번호판을 실제 선박이 조업할 때 선박 확인을 위해 사용하게 될 경우, 실제 환경과의 괴리감으로 인해 선박 인식에 도움이 되지 않을 확률이 높다.
따라서, 객체의 번호판 검출 및 내부 문자 인식 알고리즘을 딥러닝을 활용하여 설계하기 위한 데이터를 확보하기 위한 연구가 필요하다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 번호판 정보 및 가상 환경 정보에 기초하여 생성된 가상 객체 번호판 데이터 및 실제 객체 번호판 데이터 간의 유사도에 기초하여 번호판 검출 모델을 학습시키고, 학습된 번호판 검출 모델을 통해 실제 객체의 번호판 정보를 인식하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 객체의 번호판 정보를 인식하는 장치는 기저장된 번호판 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 번호판 생성부; 실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 도출하는 유사도 도출부; 상기 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 학습부; 및 상기 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 번호판 인식부를 포함할 수 있다.
본 발명의 제 2 측면에 따른 객체의 번호판의 정보를 인식하는 방법은 기저장된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 단계; 실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 도출하는 단계; 상기 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 단계; 및 상기 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 단계를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 번호판 정보 및 가상 환경 정보에 기초하여 생성된 가상 객체 번호판 데이터 및 실제 객체 번호판 데이터 간의 유사도에 기초하여 번호판 검출 모델을 학습시키고, 학습된 번호판 검출 모델을 통해 실제 객체의 번호판 정보를 인식할 수 있다.
이를 통해, 본 발명은 객체 번호판의 샘플 데이터를 대량으로 생성할 수 있어 객체 번호판을 수집하기 위해 소요되는 시간 및 비용을 절감할 수 있다. 또한, 본 발명은 실제 객체 번호판의 업데이트 버전을 가상 객체 번호판 데이터로도 생성할 수 있기 때문에 산업현장에 빠르게 대응할 수 있고, 실제 객체 번호판을 이용하는 것이 아닌 가상 객체 번호판 데이터를 생성하기 때문에 개인 정보 침해 문제가 발생하지 않는다. 또한, 본 발명은 다양한 환경(예컨대, 기상 환경 등)을 고려하여 생성된 가상 객체 번호판 데이터 및 실제 객체 번호판 데이터 간의 유사도에 기초하여 번호판 검출 모델에 학습시키기 때문에 실제 서비스 환경에서 실제 객체의 번호판 정보를 인식하는데 유리할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 번호판 인식 장치의 블록도이다.
도 2a는 본 발명의 일 실시예에 따른, 번호판에 대한 정보를 추출 및 생성하는 방법을 설명하기 위한 도면이다.
도 2b는 본 발명의 일 실시예에 따른, 번호판에 대한 정보를 추출 및 생성하는 방법을 설명하기 위한 도면이다.
도 2c는 본 발명의 일 실시예에 따른, 번호판에 대한 정보를 추출 및 생성하는 방법을 설명하기 위한 도면이다.
도 3a는 본 발명의 일 실시예에 따른, 가상 객체 번호판 데이터를 나타낸 도면이다.
도 3b는 본 발명의 일 실시예에 따른, 가상 객체 번호판 데이터를 나타낸 도면이다.
도 3c는 본 발명의 일 실시예에 따른, 가상 객체 번호판 데이터를 나타낸 도면이다.
도 3d는 본 발명의 일 실시예에 따른, 가상 객체 번호판 데이터를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, 가상 객체 번호판 데이터를 실제 배경 데이터에 합성시킨 결과를 나타낸 도면이다.
도 5a는 본 발명의 일 실시예에 따른, 실제 객체의 번호판 정보를 인식하는 방법을 설명하기 위한 도면이다.
도 5b는 본 발명의 일 실시예에 따른, 실제 객체의 번호판 정보를 인식하는 방법을 설명하기 위한 도면이다.
도 5c는 본 발명의 일 실시예에 따른, 실제 객체의 번호판 정보를 인식하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 객체의 번호판 정보를 인식하는 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 번호판 인식 장치(10)의 블록도이다.
도 1을 참조하면, 번호판 인식 장치(10)는 번호판 생성부(100), 유사도 도출부(110), 선정부(120), 번호판 합성부(130), 학습부(140), 번호판 인식부(150), 번호판 정보 DB(170), 가상 환경 정보 DB(180) 및 가상 번호판 DB(190)를 포함할 수 있다. 다만, 도 1에 도시된 번호판 인식 장치(10)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
이하에서는 도 1과 함께 도 2a 내지 5c를 함께 참조하여 설명하기로 한다.
모든 객체(예컨대, 차량, 오토바이, 선박, 도로명 표지판 등)의 번호판은 번호판의 생김새(번호판의 모양, 색상, 재질)가 다르고, 번호판의 문자 영역(즉, 글자 위치) 및 폰트가 각각 다르다. 또한, 객체 번호판의 유형에 따라 번호판의 글자수가 달라질 수 있고, 객체 번호판에 지역 문자가 존재하거나 없을 수도 있다. 따라서, 객체 번호판의 유형마다 번호판의 생김새, 문자 영역의 위치, 폰트를 각각 다르게 설정할 필요가 있다.
또한, 카메라에 의해 촬영된 번호판 영상의 경우, 주변 환경에 의해 번호판에 대한 시야가 가려지거나 흐릿하게 보이는 등의 상황이나 번호판의 노후화 정도 등에 따라 실제 번호판의 식별이 어려울 수 있다.
본 발명은 이러한 문제점들을 고려하여 가상 객체 번호판 데이터를 생성할 수 있다.
번호판 환경 생성부(160)는 기수집된 복수의 실제 객체(예컨대, 차량, 선박 및 도로명 표지판 등)의 번호판 데이터에 기초하여 번호판에 대한 정보 및 가상 환경 정보를 다양하게 생성할 수 있다. 이 때, 생성된 번호판에 대한 정보는 번호판 정보 DB(170)에 저장되고, 가상 환경 정보는 가상 환경 정보 DB(180)에 저장될 수 있다. 여기서, 번호판에 대한 정보는 예를 들어, 번호판 배경 색상 및 배경 형식, 번호판의 모양, 재질(번호판의 코팅 또는 필름 재질), 색상, 문자 영역, 텍스트의 폰트 및 위치 중 적어도 하나 이상을 포함할 수 있다. 가상 환경 정보는 예를 들어, 번호판의 노후화 정보(부식 정도), 기상 정보(예컨대, 안개, 비, 맑음 등), 조도 정보(예컨대, 역광 등), 번호판의 촬영 각도 정보 및 주야간 정보 중 적어도 하나 이상을 포함할 수 있다.
예를 들어, 도 2a 내지 2b를 함께 참조하면, 번호판 환경 생성부(160)는 기수집된 복수의 실제 객체의 번호판 데이터로부터 문자 영역(점선) 및 문자 영역이 포함된 배경 영역(실선)에 대한 정보를 추출할 수 있다. 예를 들어, 번호판 환경 생성부(160)는 문자 영역 및 배경 영역의 좌표 정보를 이용하여 실제 객체 번호판 데이터로부터 문자 영역 및 문자 영역이 포함된 배경 영역에 대한 정보를 추출하고, 추출된 문자 영역 및 배경 영역에 대한 정보를 번호판 정보 DB(170)에 저장할 수 있다.
도 2c를 참조하면, 번호판 환경 생성부(160)는 기수집된 복수의 실제 객체의 번호판 데이터로부터 번호판의 폰트 정보(예컨대, 폰트 크기, 폰트 색상, 폰트 기울기, 폰트 굵기 등)를 추출하여 이를 번호판 정보 DB(170)에 저장할 수 있다. 또한, 번호판 환경 생성부(160)는 추출된 번호판의 폰트 정보와 다른 유형의 폰트 정보를 생성하여 번호판 정보 DB(170)에 저장할 수 있다.
번호판 환경 생성부(160)는 기수집된 복수의 실제 객체의 번호판 데이터로부터 번호판의 실제 환경 정보(예컨대, 실제 번호판의 빛반사 정도, 녹슨 정도, 문자 영역 내 문자의 지워진 정도 등)를 추출하여 이를 가상 환경 정보 DB(180)에 저장할 수 있다. 또한, 번호판 환경 생성부(160)는 추출된 실제 환경 정보와 다른 유형의 가상 환경 정보를 생성하여 이를 가상 환경 정보 DB(180)에 저장할 수 있다.
번호판 생성부(100)는 기저장된 번호판 정보 및 가상 환경 정보에 기초하여 가상 객체의 가상 객체 번호판 데이터를 생성할 수 있다. 여기서, 가상 객체는 예를 들어, 차량, 선박 및 도로명 표지판 중 적어도 하나를 포함할 수 있다.
도 3a를 참조하면, 번호판 생성부(100)는 번호판 정보 DB(170)로부터 추출된 번호판 배경 색상 및 형식에 따라 가상 객체 번호판 데이터의 배경 색상 및 형식을 적용하여 가상 객체 번호판 데이터를 생성할 수 있다.
도 3b를 참조하면, 번호판 생성부(100)는 번호판 정보 DB(170)로부터 추출된 적어도 하나의 폰트 정보를 가상 객체(차량, 가상 선박, 가상 도로명 표지판)의 번호판 데이터를 구성하는 문자 폰트에 적용함으로써 가상 객체 번호판 데이터를 생성할 수 있다.
도 3c를 참조하면, 번호판 생성부(100)는 가상 환경 정보 DB(180)로부터 추출된 적어도 하나의 가상 환경 정보에 기초하여 가상 객체(차량, 가상 선박, 가상 도로명 표지판)의 번호판 데이터에 다양한 환경 정보를 적용함으로써 가상 객체 번호판 데이터를 생성할 수 있다. 예를 들어, 번호판 생성부(100)는 번호판의 배경 색상, 문자 영역 내 텍스트 등을 기상 환경, 조도 변화 및 노후화 정도(녹슬거나 문자의 지워짐 정도), 주야간 정보 등에 따라 변화시킴으로써 가상 객체 번호판 데이터를 다양하게 생성할 수 있다.
도 3d를 참조하면, 실제 객체를 촬영하는 카메라의 설치 위치 및 촬영 각도에 기초하여 같은 번호판 이미지라도 다르게 보이기 때문에 이러한 특징을 가상 객체 번호판 데이터에 반영해야 한다. 이를 위해, 번호판 생성부(100)는 카메라의 설치 위치 및 촬영 각도를 다르게 하여 3D 워핑 기술을 통해 가상 객체 번호판의 크기(또는 형태, 회전 등)를 변형시킬 수 있다.
일 실시예로, 번호판 생성부(100)는 실제 객체 번호판 이미지(또는 국가에서 배포한 규격이 포함된 번호판 이미지)를 입력받은 경우, 실제 객체 번호판 이미지로부터 문자 영역 및 배경 영역을 추출하고, 추출된 문자 영역에 포함될 텍스트 형식과 추출된 배경 영역에 적용할 배경 색상을 번호판 정보 DB(170)로부터 선택할 수 있다. 예를 들어, 번호판 생성부(100)는 문자 영역에 들어갈 텍스트가 차량번호판의 텍스트인 경우, [city name] [kor code] [front number] [behind number] 순의 형식에 기초하여 차량번호판의 텍스트(예컨대, 서울 가 11 1111, 강원 나 222 2222)를 생성할 수 있다.
또한, 번호판 생성부(100)는 번호판 정보 DB(170)로부터 문자 영역에 포함될 텍스트의 폰트 정보(예컨대, 글씨체, 글씨크기, 굵기 및 색상 등)을 선택할 수 있다. 또한, 번호판 생성부(100)는 선택된 문자 영역의 텍스트 형식, 배경 색상 및 폰트 정보에 기초하여 가상 객체의 가상 객체 번호판 데이터를 생성할 수 있다.
다시 도 1로 돌아오면, 유사도 도출부(110)는 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 도출할 수 있다. 예를 들어, 유사도 도출부(110)는 기설정된 비교 알고리즘(예컨대, 히스토그램 비교 알고리즘, 템플릿 매칭 알고리즘, 피처 매칭 알고리즘 등)에 기초하여 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 도출할 수 있다.
학습부(140)는 도출된 유사도에 기초하여 번호판 검출 모델을 학습시킬 수 있다.
유사도 도출부(110)는 기설정된 복수의 유사도에 기초하여 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 측정할 수 있다. 여기서, 기설정된 복수의 유사도는 색상 유사도, 폰트 유사도 및 문자열 위치 유사도 중 적어도 하나를 포함할 수 있다. 예를 들어, 유사도 도출부(110)는 실제 객체 번호판 데이터와 가상 객체 번호판 데이터 간의 배경 영역 및 문자열(문자 영역 내에 포함된 텍스트) 각각에 대한 색상 유사도를 측정할 수 있다. 또한, 유사도 도출부(110)는 실제 객체 번호판 데이터와 가상 객체 번호판 데이터 간의 문자열 특징에 대한 폰트 유사도를 측정할 수 있다. 또한, 유사도 도출부(110)는 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 문자열 위치 정보에 기초하여 문자열 위치 유사도를 측정할 수 있다. 이후, 유사도 도출부(110)는 측정된 색상 유사도, 폰트 유사도 및 문자열 위치 유사도의 합산 결과가 기설정된 임계치를 초과하는지 여부를 판별할 수 있다.
선정부(120)는 적어도 하나의 가상 객체 번호판 데이터 중 실제 객체 번호판 데이터와의 유사도가 기설정된 임계치 이상인 가상 객체 번호판 데이터를 선정할 수 있다. 구체적으로, 선정부(120)는 적어도 하나의 가상 객체 번호판 데이터 중 실제 객체 번호판 데이터와의 색상 유사도, 폰트 유사도 및 문자열 위치 유사도에 대한 총 측정값이 기설정된 임계치 이상인 가상 객체 번호판을 선정할 수 있다.
학습부(140)는 선정된 가상 객체 번호판 데이터를 이용하여 번호판 검출 모델을 학습시킬 수 있다.
번호판 합성부(130)는 선정된 가상 객체 번호판 데이터를 실제 배경 데이터에 합성시킬 수 있다. 이 때, 실제 배경 데이터에 합성된 가상 객체 번호판 데이터는 가상 번호판 DB(190)에 저장될 수 있다. 예를 들어, 도 4를 참조하면, 번호판 합성부(130)는 가상 차량 번호판의 경우, 가상 차량 번호판 데이터를 실제 배경 데이터에 포함된 차량의 전면부에 위치한 번호판에 합성시킬 수 있다. 또는, 번호판 합성부(130)는 가상 선박 번호판의 경우, 가상 선박 번호판 데이터를 실제 배경 데이터에 포함된 선박의 특정 영역에 합성시킬 수 있다.
학습부(140)는 실제 객체 번호판 데이터와의 유사도가 기설정된 임계치 이상인 가상 객체 번호판 데이터에 기초하여 번호판 검출 모델을 학습시킬 수 있다.
번호판 인식부(150)는 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식할 수 있다. 여기서, 실제 객체는 예를 들어, 차량, 선박 및 도로명 표지판 중 적어도 하나를 포함할 수 있다.
번호판 인식부(150)는 실제 객체가 차량인 경우, 번호판 검출 모델을 통해 인식된 차량의 차량 전면 번호판의 문자 정보 및 색상 정보로부터 차량에 대한 차량 용도 및 차량 허가 유무 중 적어도 하나를 판별할 수 있다.
도 5a를 참조하면, 번호판 인식부(150)는 번호판 검출 모델을 통해 인식된 실제 차량의 차량 전면 번호판의 문자 정보에 기초하여 해당 실제 차량이 특정 구역(예컨대, 등록된 차량 번호만 입출입이 허용되는 구역)을 통과하도록 허가된 허가 차량인지 여부를 판별하고, 해당 실제 차량의 용도를 구분할 수 있다.
예를 들어, 번호판 인식부(150)는 차량 전면 번호판의 제 1 영역(501)에 포함된 문자 정보를 통해 실제 차량의 차량 종류를 판별할 수 있고, 차량 전면 번호판의 제 2 영역(503)에 포함된 문자 정보를 통해 실제 차량의 차량 용도(예컨대, 택배, 대여, 사업용 등)를 판별할 수 있고, 차량 전면 번호판의 제 3 영역(505)에 포함된 문자 정보를 통해 실제 차량이 특정 구역에 입출입이 허용된 차량인지 여부를 판별할 수 있다.
도 5b를 참조하면, 번호판 인식부(150)는 번호판 검출 모델을 통해 인식된 실제 차량의 차량 전면 번호판의 색상 정보에 기초하여 실제 차량이 비사업용 차량인지, 자동차운수사업용 차랑인지, 전기차 차량인지, 관공서 소유차량인지 여부를 판별할 수 있다. 예를 들어, 번호판 인식부(150)는 실제 차량의 제 1 차량 전면 번호판(507)이 노란색 배경 색상에 검은색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 사업용 차량(예컨대, 택시, 버스, 택배 차량 등)로서 판별할 수 있다. 다른 예로, 번호판 인식부(150)는 실제 차량의 제 2 차량 전면 번호판(509)이 흰색 배경 색상에 검은색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 일반 차량으로서 판별할 수 있다. 또한, 번호판 인식부(150)는 실제 차량의 제 3 차량 전면 번호판(511)이 검은색 배경 색상에 흰색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 외교용 차량으로서 판별할 수 있다. 다른 예로, 번호판 인식부(150)는 실제 차량의 제 4 차량 전면 번호판(513)에 전기자동차 표식 문양이 있고, 제 4 차량 전면 번호판(513)이 파란색 배경 색상에 검은색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 친환경 차량으로서 판별할 수 있다. 다른 예로, 번호판 인식부(150)는 실제 차량의 제 5 차량 전면 번호판(515)이 주황색 배경 색상에 흰색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 사업용 건설기계 중장비 차량으로서 판별할 수 있다. 또한, 번호판 인식부(150)는 실제 차량의 제 6 차량 전면 번호판(517)이 흰색 바탕 색상에 검은색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 관공서 소유의 건설기계 중장비 차량으로서 판별할 수 있다. 또한, 번호판 인식부(150)는 실제 차량의 제 7 차량 전면 번호판(519)이 녹색 바탕 색상에 흰색 텍스트로 구성되어 있는 경우, 해당 실제 차량을 자가 소유의 건설기계 중장비 차량으로서 판별할 수 있다.
도 5c를 참조하면, 번호판 인식부(150)는 차량의 차량 후면 이미지에 포함된 문자열 정보로부터 차량에 대한 차종 정보(521), 차량 연료 타입 정보(523), 차량 크기 정보(예컨대, 소형, 준중형, 중형, 대형, SUV) 및 배기량 정보 중 적어도 하나를 판별할 수 있다.
실제 객체가 선박인 경우, 번호판 인식부(150)는 번호판 검출 모델을 통해 선박의 선박 번호판에 포함된 문자 정보로부터 선박에 대한 어업 형태 정보, 선박 중량 정보 및 선박 번호 정보 중 적어도 하나를 인식할 수 있다. 또한, 번호판 인식부(150)는 인식된 정보에 기초하여 조업이 허가된 선박인지 여부를 판별할 수 있다.
실제 객체가 도로명 표지판인 경우, 번호판 인식부(150)는 번호판 검출 모델을 통해 도로명 표지판의 번호판으로부터 도로명 정보 및 건물 번호 정보를 인식할 수 있다. 이 때, 인식된 도로명 정보 및 건물 번호 정보는 차량의 경로 안내 검색 시에 사용될 수 있다. 예를 들어, 로드뷰, 네비게이션, 자율주행 시에 따른 목적지 건물의 검색을 하는 경우, 번호판 검출 모델을 통해 인식된 도로명 표지판이 설치된 위치 정보 및 도로명 표지판에 대한 정보에 기초하여 목적지 건물의 위치 정보를 보정하고, 보정된 위치 정보에 기초하여 목적지 건물의 경로를 안내할 수 있다.
한편, 당업자라면, 번호판 생성부(100), 유사도 도출부(110), 선정부(120), 번호판 합성부(130), 학습부(140), 번호판 인식부(150), 번호판 정보 DB(170), 가상 환경 정보 DB(180) 및 가상 번호판 DB(190) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 6은 본 발명의 일 실시예에 따른, 객체의 번호판 정보를 인식하는 방법을 나타낸 흐름도이다.
도 6을 참조하면, 단계 S601에서 번호판 인식 장치(10)는 기저장된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성할 수 있다.
단계 S603에서 번호판 인식 장치(10)는 실제 객체 번호판 데이터 및 가상 객체 번호판 데이터 간의 유사도를 도출할 수 있다.
단계 S605에서 번호판 인식 장치(10)는 도출된 유사도에 기초하여 번호판 검출 모델을 학습시킬 수 있다.
단계 S607에서 번호판 인식 장치(10)는 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식할 수 있다.
상술한 설명에서, 단계 S601 내지 S607은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 객체의 번호판 정보를 인식하는 장치에 있어서,
    기저장된 번호판 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 번호판 생성부;
    실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 도출하는 유사도 도출부;
    상기 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 학습부; 및
    상기 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 번호판 인식부
    를 포함하는 것인, 번호판 인식 장치.
  2. 제 1 항에 있어서,
    상기 객체는 차량, 선박 및 도로명 표지판 중 적어도 하나를 포함하는 것인, 번호판 인식 장치.
  3. 제 1 항에 있어서,
    상기 번호판 정보는 번호판의 모양, 재질, 색상, 문자 영역 및 폰트 중 하나 이상을 포함하고,
    상기 가상 환경 정보는 상기 번호판의 노후화 정보, 기상 정보, 조도 정보 및 주야간 정보 중 하나 이상을 포함하는 것인, 번호판 인식 장치.
  4. 제 1 항에 있어서,
    적어도 하나의 가상 객체 번호판 데이터 중 상기 실제 객체 번호판 데이터와의 유사도가 기설정된 임계치 이상인 가상 객체 번호판 데이터를 선정하는 선정부 및
    상기 선정된 가상 객체 번호판 데이터를 실제 배경 데이터에 합성시키는 번호판 합성부를 더 포함하는 것인, 번호판 인식 장치.
  5. 제 2 항에 있어서,
    상기 학습부는
    상기 실제 객체 번호판 데이터와의 유사도가 기설정된 임계치 이상인 가상 객체 번호판 데이터에 기초하여 번호판 검출 모델을 학습시키는 것인, 번호판 인식 장치.
  6. 제 1 항에 있어서,
    상기 유사도 도출부는 기설정된 복수의 유사도에 기초하여 상기 실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 측정하고,
    상기 기설정된 복수의 유사도는 색상 유사도, 폰트 유사도 및 문자열 위치 유사도 중 적어도 하나를 포함하는 것인, 번호판 인식 장치.
  7. 제 1 항에 있어서,
    상기 번호판 인식부는
    상기 실제 객체가 차량인 경우,
    상기 번호판 검출 모델을 통해 인식된 상기 차량의 차량 전면 번호판의 문자 정보 및 색상 정보로부터 상기 차량에 대한 차량 용도 및 차량 허가 유무 중 적어도 하나를 판별하고,
    상기 차량의 차량 후면의 문자열 정보로부터 상기 차량에 대한 차종 정보, 차량 연료 타입 정보, 차량 크기 정보 및 배기량 정보 중 적어도 하나를 판별하는 것인, 번호판 인식 장치.
  8. 제 1 항에 있어서,
    상기 번호판 인식부는
    상기 실제 객체가 선박인 경우,
    상기 번호판 검출 모델을 통해 상기 선박의 선박 번호판의 문자 정보로부터 상기 선박에 대한 어업 형태 정보, 선박 중량 정보 및 선박 번호 정보 중 적어도 하나를 인식하고,
    상기 인식된 정보에 기초하여 조업이 허가된 선박인지 여부를 판별하는 것인, 번호판 인식 장치.
  9. 제 1 항에 있어서,
    상기 번호판 인식부는
    상기 실제 객체가 도로명 표지판인 경우,
    상기 번호판 검출 모델을 통해 상기 도로명 표지판의 번호판으로부터 도로명 정보 및 건물 번호 정보를 인식하고,
    상기 인식된 도로명 정보 및 건물 번호 정보는 차량의 경로 안내 검색 시에 사용되는 것인, 번호판 인식 장치.
  10. 번호판 인식 장치에 의해 수행되는 객체의 번호판의 정보를 인식하는 방법에 있어서,
    기저장된 번호판에 대한 정보 및 가상 환경 정보에 기초하여 가상 객체 번호판 데이터를 생성하는 단계;
    실제 객체 번호판 데이터 및 상기 가상 객체 번호판 데이터 간의 유사도를 도출하는 단계;
    상기 도출된 유사도에 기초하여 번호판 검출 모델을 학습시키는 단계; 및
    상기 학습된 번호판 검출 모델을 이용하여 실제 객체의 번호판 정보를 인식하는 단계
    를 포함하는 것인, 번호판 인식 방법.
PCT/KR2021/006689 2020-05-29 2021-05-28 객체의 번호판 정보를 인식하는 장치 및 방법 WO2021242048A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200065168A KR102419698B1 (ko) 2020-05-29 2020-05-29 객체의 번호판 정보를 인식하는 장치 및 방법
KR10-2020-0065168 2020-05-29

Publications (1)

Publication Number Publication Date
WO2021242048A1 true WO2021242048A1 (ko) 2021-12-02

Family

ID=78744760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006689 WO2021242048A1 (ko) 2020-05-29 2021-05-28 객체의 번호판 정보를 인식하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102419698B1 (ko)
WO (1) WO2021242048A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102480582B1 (ko) * 2021-12-15 2022-12-23 주식회사 펜타게이트 번호인식 학습용 가상번호판 생성시스템 및 이를 이용한 번호인식 학습용 가상번호판 생성방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125463A (ko) * 2014-04-30 2015-11-09 렉스젠(주) 차량번호 실사화 장치, 그 제어방법 및 이를 이용한 차량번호 판독시스템
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법
KR20190110967A (ko) * 2019-09-11 2019-10-01 엘지전자 주식회사 객체 식별 장치 및 방법
KR20200008240A (ko) * 2018-07-16 2020-01-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101657962B1 (ko) * 2014-10-16 2016-09-21 렉스젠(주) 차량 번호 입력 장치 및 그 방법
KR102179435B1 (ko) * 2018-11-07 2020-11-16 주식회사 지디에프랩 오염된 차량 번호판 인식이 가능한 이미지 인식 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125463A (ko) * 2014-04-30 2015-11-09 렉스젠(주) 차량번호 실사화 장치, 그 제어방법 및 이를 이용한 차량번호 판독시스템
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법
KR20200008240A (ko) * 2018-07-16 2020-01-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치
KR20190110967A (ko) * 2019-09-11 2019-10-01 엘지전자 주식회사 객체 식별 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE SEUNGJU, GOOMAN PARK: "Proposal for Deep Learning based Character Recognition System by Virtual Data Generation", JOURNAL OF BROADCAST ENGINEERING, HAN-GUG BANG-SONG GONG-HAG-HOE, KOREA, vol. 25, no. 2, 31 March 2020 (2020-03-31), Korea , pages 275 - 278, XP055871731, ISSN: 1226-7953, DOI: 10.5909/JBE.2020.25.2.275 *

Also Published As

Publication number Publication date
KR20210147637A (ko) 2021-12-07
KR102419698B1 (ko) 2022-07-12

Similar Documents

Publication Publication Date Title
WO2022050473A1 (ko) 카메라 포즈 추정 장치 및 방법
CN110969160B (zh) 一种基于深度学习的车牌图像校正、识别方法及系统
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN108091141B (zh) 车牌识别系统
CN110837807A (zh) 一种套牌车辆的识别方法及系统
CN109147340A (zh) 违法停车案件的鉴别方法、装置和计算机设备
WO2020122301A1 (ko) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
WO2020091421A1 (ko) 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터
CN104766042A (zh) 交通标志板识别方法及装置
EA016732B1 (ru) Система и способ определения средней скорости транспортных средств в целях управления дорожным движением
WO2022039319A1 (ko) 개인정보 비식별화 처리 방법, 검증 방법 및 시스템
WO2021242048A1 (ko) 객체의 번호판 정보를 인식하는 장치 및 방법
WO2020017829A1 (ko) 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치
WO2016208870A1 (ko) 차량 번호 판독 장치 및 그 방법
Sun et al. License plate detection and recognition based on the YOLO detector and CRNN-12
CN105184301A (zh) 一种利用四轴飞行器判别车辆方位的方法
CN116597413A (zh) 一种基于改进的YOLOv5的实时交通标志检测方法
CN103679209A (zh) 基于稀疏理论的字符识别方法
WO2022139009A1 (ko) 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치
KR102157990B1 (ko) 신경망을 이용한 차량 번호판 인식 방법 및 시스템
CN109325755A (zh) 基于汽车轮毂的电子计费系统
CN112750128B (zh) 图像语义分割方法、装置、终端及可读存储介质
WO2022255786A1 (ko) 차량번호판 위조 대응 시스템 및 방법
WO2015167202A1 (ko) 차량번호 실사화 장치, 방법 및 이를 이용한 차량번호 판독시스템
CN111639640B (zh) 基于人工智能的车牌识别方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21813892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21813892

Country of ref document: EP

Kind code of ref document: A1