WO2020116680A1 - 차량 번호판 검출 및 인식 시스템 및 방법 - Google Patents

차량 번호판 검출 및 인식 시스템 및 방법 Download PDF

Info

Publication number
WO2020116680A1
WO2020116680A1 PCT/KR2018/015359 KR2018015359W WO2020116680A1 WO 2020116680 A1 WO2020116680 A1 WO 2020116680A1 KR 2018015359 W KR2018015359 W KR 2018015359W WO 2020116680 A1 WO2020116680 A1 WO 2020116680A1
Authority
WO
WIPO (PCT)
Prior art keywords
license plate
area
character
candidate
text
Prior art date
Application number
PCT/KR2018/015359
Other languages
English (en)
French (fr)
Inventor
김승훈
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2020116680A1 publication Critical patent/WO2020116680A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction

Definitions

  • the present invention relates to a vehicle license plate detection and recognition system and method, and more particularly, a vehicle license plate detection and recognition system and method for accurately detecting a license plate region or a character region of a vehicle license plate and accurately recognizing characters included in the license plate. It is about.
  • Korean Registered Patent No. 10-1182173 relates to a method for recognizing a vehicle license plate, receiving an image of a vehicle with a license plate attached, estimating an area of the license plate using a DoG filter, and determining the license plate according to a threshold value.
  • a method for recognizing a vehicle license plate comprising binarizing a region to distinguish each character included in the region of the license plate, and recognizing each character using a neural network character recognizer.
  • embodiments of the present invention are a vehicle license plate detection and recognition system and method for generating a license plate candidate area and determining the license plate area based on the geometric characteristics of the square estimated from the license plate candidate area or the license plate candidate area.
  • the purpose is to provide.
  • embodiments of the present invention binarizes the image information based on different thresholds or binarizes by adding different levels of noise to the image information, estimates the contour, and generates a license plate detection and recognition system for generating license plate candidate areas.
  • the purpose is to provide.
  • embodiments of the present invention detects and recognizes a vehicle license plate that determines the license plate area based on the ratio of the number of corners, edge angle, side length, width, or binarized pixel values of the square estimated from the license plate candidate area or license plate candidate area.
  • the purpose is to provide a system.
  • embodiments of the present invention detect the license plate area from the image information and generate a license plate candidate area from the image information corresponding to the detected license plate area and the detected license plate area, and estimated from the license plate candidate area or license plate candidate area.
  • An object of the present invention is to provide a vehicle license plate detection and recognition system that determines a license plate area based on a geometric feature of a square and recognizes characters included in the license plate based on the determined license plate area.
  • embodiments of the present invention detects a text candidate area from image information using a text detection model and merges or deletes the text candidate area based on the geometric characteristics of the text candidate area, adjusts the size of the text candidate area, or adjusts the new text.
  • An object of the present invention is to provide a vehicle license plate detection and recognition system and method for correcting a text candidate area by adding an area to the text candidate area and recognizing the characters included in the license plate based on the corrected text candidate area.
  • embodiments of the present invention may merge or delete a text candidate area based on the height, position or overlapping area width of the text candidate area, adjust the size of the text candidate area, or add the distance from the center position of the text candidate area.
  • An object of the present invention is to provide a vehicle license plate detection and recognition system that calculates at least one straight line that is a minimum value and detects a new text area whose center position is close to the straight line and adds it to the text candidate area.
  • embodiments of the present invention detects a text candidate area from image information using a text detection model and merges or deletes the text candidate area based on the geometric characteristics of the text candidate area, adjusts the size of the text candidate area, or adjusts the new text.
  • a vehicle license plate detection and recognition system and method for correcting a text candidate area by adding an area to the text candidate area, detecting a license plate area including the corrected text candidate area, and recognizing the characters included in the license plate based on the detected license plate area The purpose is to provide.
  • embodiments of the present invention provide a vehicle license plate detection and recognition system and method for recognizing a character included in a license plate based on various systems or methods described above and inferring the character recognition result by voting with the recognized character. There is a purpose.
  • An embodiment of the present invention for achieving the above object is an input unit that receives image information including a vehicle license plate, generates a license plate candidate region from the image information, and geometric features of a square estimated from the license plate candidate region or license plate candidate region It provides a vehicle license plate detection and recognition system comprising a first license plate area detection unit for determining a license plate area based on and a character recognition unit for recognizing the characters included in the license plate based on the license plate area.
  • the first license plate area detection unit may binarize the image information based on different threshold values or binarize by adding different noises to the image information and estimate the contour to generate the license plate candidate region.
  • the first license plate area detection unit may determine the license plate area based on the ratio of the number of corners, edge angles, side lengths, widths, or binarized pixel values of a square estimated from the license plate candidate area or license plate candidate area. .
  • the vehicle license plate detection and recognition system includes a license plate detection unit that detects a license plate area from the image information, and the first license plate area detection unit corresponds to the detected license plate area and a peripheral area of the detected license plate area.
  • a license plate candidate region is generated from the image information, and a license plate region is determined based on the geometric characteristics of the square estimated from the license plate candidate region or the license plate candidate region, and the character recognition unit recognizes the characters included in the license plate based on the determined license plate region. Can be recognized.
  • another embodiment of the present invention for achieving the above object is an input unit for receiving image information including a vehicle license plate, a first character region detection unit for detecting a text candidate region from the image information using a character detection model, A second character area detection unit for correcting the text candidate area by merging or deleting the text candidate area, adjusting the size of the text candidate area, or adding a new text area to the text candidate area based on the geometric characteristics of the text candidate area and the correction It provides a vehicle license plate detection and recognition system comprising a character recognition unit for recognizing the characters contained in the license plate based on the character candidate area.
  • the second text area detection unit may merge or delete the text candidate area or adjust the size of the text candidate area based on the height, position, or width of the overlapped area.
  • the second character area detection unit calculates one or more straight lines in which the sum of the distances from the center position of the text candidate area is the minimum value, and detects a new text area whose center position is close to the straight line to detect the text. Can be added to the candidate area.
  • another embodiment of the present invention for achieving the above object is an input unit for receiving image information including a vehicle license plate, a first character region detection unit for detecting a text candidate region from the image information using a character detection model, Based on the geometric characteristics of the text candidate area, merge or delete the text candidate area, adjust the size of the text candidate area, or add a new text area to the text candidate area to correct the text candidate area and include the corrected text candidate area.
  • a vehicle license plate detection and recognition system comprising a second license plate area detection unit for detecting a license plate area and a character recognition unit for recognizing characters included in the license plate based on the license plate area.
  • another embodiment of the present invention for achieving the above object is an input unit for receiving image information including a vehicle license plate, a detection unit for determining or detecting at least one license plate area or a text candidate area from the image information, the license plate A character recognition unit for recognizing characters included in a license plate based on a region or a candidate candidate region, and a recognition result inference unit for inferring a character recognition result by voting with the recognized character, wherein the detection unit is a license plate candidate from the image information.
  • a first license plate area detection unit that generates an area and determines a license plate area based on a geometrical feature of a square estimated from a license plate candidate area or a license plate candidate area, a first that detects a character candidate area from the image information using a character detection model
  • a second character area that corrects the text candidate area by merging or deleting the text candidate area, adjusting the size of the text candidate area, or adding a new text area to the text candidate area based on the geometric features of the text area detection unit and the text candidate area
  • a vehicle license plate detection and recognition system comprising at least one of a second license plate area detection unit that corrects a text candidate area by adding a new text area to the text candidate area and detects a license plate area including the corrected text candidate area.
  • another embodiment of the present invention for achieving the above object is an input step of receiving image information including a vehicle license plate, generating a license plate candidate region from the image information and a square estimated from the license plate candidate region or license plate candidate region
  • a vehicle license plate detection and recognition method comprising a first license plate area detection step of determining a license plate area based on the geometrical features of the, and a character recognition step of recognizing the characters included in the license plate area based on the license plate area.
  • another embodiment of the present invention for achieving the above object is an input step of receiving image information including a vehicle license plate, a first character region detection for detecting a text candidate region from the image information using a character detection model Step, a second character area detection step of correcting the text candidate area by merging or deleting the text candidate area, adjusting the size of the text candidate area, or adding a new text area to the text candidate area based on the geometric characteristics of the text candidate area And a character recognition step of recognizing a character included in the license plate based on the corrected character candidate area.
  • another embodiment of the present invention for achieving the above object is an input step of receiving image information including a vehicle license plate, a first character region detection for detecting a text candidate region from the image information using a character detection model Step, correct or remove the text candidate area by merging or deleting the text candidate area, adjusting the size of the text candidate area, or adding a new text area to the text candidate area based on the geometric characteristics of the text candidate area.
  • a vehicle license plate detection and recognition method comprising a second license plate area detection step of detecting an included license plate area and a character recognition step of recognizing a character included in the license plate based on the license plate area.
  • another embodiment of the present invention for achieving the above object is an input step of receiving image information including a vehicle license plate, a detection step of determining or detecting at least one license plate area or character area from the image information, the And a character recognition step of recognizing the characters included in the number plate based on the license plate area or the character area, and a recognition result inference step of inferring a character recognition result by voting with the recognized character
  • the detection step comprises: A first license plate area detection step of generating a license plate candidate area and determining a license plate area based on the geometric characteristics of a square estimated from the license plate candidate area or the license plate candidate area, and detecting the text candidate area from the image information using a text detection model Based on the first character area detection step and geometric features of the text candidate area, the text candidate area is corrected by merging or deleting the text candidate area, adjusting the size of the text candidate area, or adding a new text area to the text candidate area.
  • embodiments of the present invention can improve the accuracy of license plate detection and license plate recognition by generating license plate candidate regions and determining license plate regions based on geometric features of the square estimated from license plate candidate regions or license plate candidate regions. You can.
  • embodiments of the present invention binarize image information based on different thresholds or binarize by adding different levels of noise to the image information and generate a license plate candidate region by estimating contours to detect license plate region detection and license plate recognition Can improve the accuracy of.
  • embodiments of the present invention can detect the license plate area by determining the license plate area based on the ratio of the number of corners, the corner angle, the length of the sides, the width or the binarized pixel values estimated from the license plate candidate area or the license plate candidate area. The accuracy of license plate recognition can be improved.
  • embodiments of the present invention detect the license plate area from the image information and generate a license plate candidate area from the image information corresponding to the detected license plate area and the detected license plate area, and estimated from the license plate candidate area or license plate candidate area.
  • embodiments of the present invention detects a text candidate area from image information using a text detection model and merges or deletes the text candidate area based on the geometric characteristics of the text candidate area, adjusts the size of the text candidate area, or adjusts the new text.
  • the text candidate area is corrected and the characters included in the license plate are recognized based on the corrected text candidate area, thereby improving the speed and accuracy of text area detection and license plate recognition.
  • embodiments of the present invention may merge or delete a text candidate area based on the height, position or overlapping area width of the text candidate area, adjust the size of the text candidate area, or add the distance from the center position of the text candidate area.
  • embodiments of the present invention detects a text candidate area from image information using a text detection model and merges or deletes the text candidate area based on the geometric characteristics of the text candidate area, adjusts the size of the text candidate area, or adjusts the new text.
  • the text candidate area is corrected, the license plate area containing the corrected text candidate area is detected, and the characters included in the license plate are recognized based on the detected license plate area, thereby allowing the detection of license plate area and license plate recognition. Accuracy can be improved.
  • embodiments of the present invention can improve the accuracy of the number plate recognition by recognizing the characters included in the number plate based on the various systems or methods described above and inferring the character recognition result by voting with the recognized character.
  • FIG. 1 is a view exemplarily showing an example of a vehicle license plate detection and recognition system according to the present invention.
  • Figure 2 is a view showing an example of a vehicle license plate detection and recognition device according to the present invention.
  • 3 and 4 are views showing an example of an algorithm performed by the license plate detection unit.
  • 5 exemplarily shows an example of contour estimation according to the present invention.
  • 6 is a diagram exemplarily showing an example of square estimation.
  • FIG. 7 exemplarily shows an example of a corner angle and a side length of a rectangle according to the present invention.
  • FIG. 8 is a diagram illustrating an example of a square estimated from a binarized image.
  • 9 and 10 are views exemplarily showing an example of an algorithm performed by the first license plate area detection unit.
  • 11 and 12 are views exemplarily showing an example of a license plate candidate region generation algorithm performed by the first license plate region detection unit.
  • FIG. 13 and 14 are views exemplarily showing an example of a license plate candidate region determination algorithm performed by the first license plate region detection unit.
  • 15 to 17 are views exemplarily showing an example of an algorithm performed by the first character area detection unit.
  • FIGS. 18 and 19 are views exemplarily showing an example of an algorithm performed by the second character area detection unit.
  • 20 and 21 are views exemplarily showing an example of a first character candidate region adjustment algorithm performed by the second character region detection unit.
  • 22 and 23 are views exemplarily showing an example of a linear detection algorithm performed by the second character area detection unit.
  • 24 and 25 are views exemplarily showing an example of a text candidate area addition algorithm performed by the second text area detection unit.
  • 26 and 27 are views exemplarily showing an example of the second character candidate region adjustment algorithm performed by the second character region detection unit.
  • 28 is a view exemplarily showing an example in which the second license plate area detection unit is performed.
  • 29 and 30 are views exemplarily showing an example of an algorithm performed by the character recognition unit.
  • 31 and 32 are views showing an example of an algorithm performed by the recognition result inference unit.
  • FIG 33 is a flowchart exemplarily showing an example of a vehicle license plate detection and recognition method 500 according to the present invention.
  • 34 and 35 are flowcharts illustrating an example of voting with recognized characters based on the license plate area determined in the first license plate area detection step.
  • 36 is a flowchart illustrating an example of voting with recognized characters based on a character candidate region detected in the first character region detection step and corrected in the second character region detection step.
  • 37 and 38 are flowcharts exemplarily illustrating an example of voting with a recognized character based on the detected license plate area by correcting the character candidate area detected in the first character area detection step in the second license plate area detection step.
  • FIGS. 34 to 38 is a flowchart illustrating an example of voting using all of the methods of FIGS. 34 to 38.
  • FIG. 1 is a view exemplarily showing an example of a vehicle license plate detection and recognition system according to the present invention.
  • a vehicle license plate detection and recognition system 100 includes a vehicle license plate detection and recognition device 200 and a camera 300.
  • the vehicle license plate detection and recognition device 200 and the camera 300 may be connected to a communication network.
  • the communication network may mean a wide-concept network including a wired or wireless communication network.
  • the vehicle license plate detection and recognition device 200 may be connected to the camera 300 and may be configured to include an input unit 210 to a control unit 294. Each configuration of the vehicle license plate detection and recognition device 200 will be described with reference to FIG. 2.
  • the camera 300 may be connected to the vehicle license plate detection and recognition device 200 and may transmit image information captured by photographing the vehicle license plates 400a and 400b to the vehicle license plate detection and recognition device 200 through a communication network. have.
  • Figure 2 is a view showing an example of a vehicle license plate detection and recognition device according to the present invention.
  • the vehicle license plate detection and recognition device 200 includes an input unit 210, a license plate detection unit 220, a first license plate area detection unit 230, and a second license plate area detection unit 240, Includes a first character area detection unit 250, a second character area detection unit 260, a character recognition unit 270, a recognition result inference unit 280, a transceiver unit 290, a database 292, and a control unit 294 It is configured by.
  • the input unit 210 may receive image information including a vehicle license plate from the camera 300 through the transmission/reception unit 290 or receive image information from the database 292.
  • the license plate detection unit 220 Before looking at the license plate detection unit 220, the license plate detection unit 220, the first license plate area detection unit 230, and the second license plate area detection unit 240 are briefly compared as follows.
  • the number plate detection unit 220 is different from the first number plate region detection unit 230 and the second number plate region detection unit 240 in which the detection method is specified in that the number plate region can be detected in various ways.
  • the methods used in the first license plate area detector 230 and the second license plate area detector 240 are excluded from the various methods.
  • the first license plate area detection unit 230 and the second license plate area detection unit 240 differ in that they detect the license plate area in different specific ways.
  • the license plate detection unit 220 the first license plate area detection unit 230 and the second license plate area detection unit 240 will be described.
  • the license plate detection unit 220 can detect the license plate area from the image information received from the input unit 210 and deliver the detected license plate area to the first license plate area detection unit 230 or to the first character area detection unit 250. have. At this time, the license plate detection unit 220 may detect the license plate area in various ways, for example, using an artificial neural network such as deep learning.
  • the number plate detection unit 220 may also transmit image information corresponding to the detected peripheral area of the number plate area.
  • 3 and 4 are views showing an example of an algorithm performed by the license plate detection unit according to the present invention.
  • the license plate detection unit 220 receives coordinate information (eg, contour information of a motorcycle) existing in the image information and the image information and receives pixels other than the motorcycle area.
  • the value can be set to 0 and the license plate area can be detected using the license plate detection model, and the detected license plate area can be transmitted to the first license plate area detection unit 230 or the first character area detection unit 250.
  • the license plate detection unit 220 may directly calculate coordinate information of a motorcycle vehicle.
  • the license plate detection unit 220 may use, for example, a deep learning model as a license plate detection model.
  • the license plate detection model is not limited to a deep learning model.
  • the detected license plate area is a peripheral area of the image to deliver the image information corresponding to the peripheral area of the detected license plate area. It is possible to generate the detected license plate area, including.
  • the peripheral region may mean, for example, an area in which 20 pixels of each of the upper, lower, left, and right sides extend from the four sides of the rectangle including the license plate area to the outside of the rectangle.
  • the license plate detection unit 220 first detects the license plate area before performing the detection in the first license plate area detection unit 230 or the first character area detection unit 250 to detect the first license plate area detection unit 230 or the first. Since the character area detection unit 250 narrows the range of the image to detect the license plate area or the character area, the first license plate area detection unit 230 or the first character area detection unit 250 rapidly applies various methods to detect and recognize the license plate. It can improve the speed and accuracy.
  • the license plate detection unit 220 transmits the detected license plate area and its surrounding area to the first license plate area detection unit 230 together, even when the license plate detection unit 220 incorrectly detects the license plate area. ), so it is possible to improve the accuracy of license plate detection and recognition.
  • the first license plate area detection unit 230 receives the image information corresponding to the license plate area and the surrounding area detected by the license plate detection unit 220 to generate a license plate candidate area from the received image information and from the license plate candidate area or license plate candidate area
  • the license plate candidate region (the first license plate region) can be determined based on the estimated geometric characteristics of the square.
  • the first license plate area detection unit 230 may receive image information directly from the input unit 210 rather than receiving image information from the license plate detection unit 220.
  • the first license plate area detection unit 230 receives the image information from the input unit 210, generates a license plate candidate area from the received image information, and generates a license plate candidate area or a license plate based on the geometric characteristics of the square estimated from the license plate candidate area.
  • a candidate area (first license plate area) can be determined.
  • a method for generating a license plate candidate region and determining a license plate candidate region (first license plate region) in the first license plate region detection unit 230 will be described.
  • the first license plate region detector 230 binarizes the received image information based on different thresholds or binaries by adding different noises to the image information and estimates the contours to determine the license plate candidate region. Can be created.
  • binarization may mean changing the value of each pixel of the image information to be black (0) or white (255) based on a threshold (hereinafter, a binarization threshold). If the binarization threshold is set between the value of the pixel (A) at the license plate boundary and the value of the pixel (B) surrounding the license plate boundary (value between A and B), the license plate area can be accurately detected through binarization. have.
  • the first license plate area detector 230 does not calculate the binarization threshold to be a value between A and B, but predetermines several binarization thresholds and binarizes them to predetermined thresholds to generate multiple license plate candidate regions. After determining the license plate area by evaluating the license plate candidate area, the accuracy of plate detection can be improved even if the values of A and B are similar. The method of determining the license plate candidate area (first license plate area) will be described later.
  • adding noise is to change the pixel value of the image information so that pixels arranged in series do not have a specific pattern. For example, when pixels arranged in a row in a row have the same value and have a linear pattern of a specific length, adding noise to these pixels may cause the linear pattern of a specific length to disappear.
  • Adding different amounts of noise around the license plate border and around the license plate border can make it easier to distinguish the license plate border from the perimeter of the license plate border. For example, a method of adding Gaussian noise may correspond to this.
  • Gaussian noise the more light (higher pixel value) or darker (smaller pixel value) in the image information, the less noise is added, and the medium brightness (the middle of pixel value) noise is added. Can be.
  • the pattern is eliminated because the noise is added to the rest of the image except for the bright or dark portion, but the pattern is maintained because the noise is added to the bright or dark portion, so the pattern is clearer than the rest.
  • the border of the license plate corresponds to the edge of the object and the edge of the object may be brighter or darker than other parts
  • adding Gaussian noise to the image information makes the pattern (for example, a rectangle) constituting the border of the license plate become clear and thus the license plate area The accuracy of detection can be improved.
  • the C corresponding to the edge may be lighter or darker than D, so adding Gaussian noise will result in D rather than C. If noise is added to C to make it clearer and binarizing an image to which Gaussian noise is added, C and D can be more clearly distinguished due to the difference in the amount of added noise, thus improving the accuracy of license plate area detection. Can be.
  • canny edge detection may be used as a method of estimating the contour.
  • 5 exemplarily shows an example of contour estimation according to the present invention.
  • the first license plate area detector 230 estimates a contour line from a binarized image according to an embodiment, polygons having four or more vertices (points and corners) constituting the contour line due to noise are formed. It can be confirmed.
  • the first license plate region detector 230 is based on the ratio of the number of edges, edge angle, side length, width, or binarized pixel values of a square estimated from the license plate candidate region or license plate candidate region. The area can be determined.
  • the first license plate area detection unit 230 may recognize that the license plate candidate area is normally generated as a square. That is, the first license plate area detector 230 can easily determine the license plate area based on the number of corners of the license plate candidate area.
  • FIG. 6 with respect to a method for estimating a rectangle from the license plate candidate region
  • FIG. 7 with respect to the corner angle and side length of the rectangle
  • FIG. 8 with respect to the ratio of the binarized pixel values of the rectangle. Take a look.
  • 6 is a diagram exemplarily showing an example of square estimation.
  • a rectangle according to an embodiment may be estimated using, for example, a Ramer-Douglas-Peucker algorithm. Specifically, while increasing a parameter value related to polygon estimation accuracy until a rectangle is estimated A square can be estimated by removing some of the points (vertexes, corners) constituting the outline (polygon) estimated in 5.
  • the first license plate area detection unit 230 can easily determine the license plate area based on whether a rectangle is estimated from the contour of the license plate candidate area.
  • FIG. 7 exemplarily shows an example of a corner angle and a side length of a rectangle according to the present invention.
  • the length of the side of the square may correspond to the length of the actual side of the square estimated in FIG. 6 (for example, w1 or w2), or based on a coordinate axis of image information for convenience of calculation It can also be replaced by the vertical height (h1, h2) or the horizontal width of the rectangle.
  • w1 and w2 denote two opposite sides of a square, and an angle between two adjacent sides corresponds to an angle of an angle.
  • the length of the side is equal to the distance between two vertices at both ends of the side, and the corner angle can be obtained by using the inner product of the two vectors.
  • h1 and h2 correspond to the difference between the Y-axis values of the two vertices of the vertical side of the rectangle.
  • FIG. 8 is a diagram illustrating an example of a square estimated from a binarized image.
  • the first license plate area detection unit 230 estimates (right) a square by binarizing an input image (left), an area in which the license plate area is not apparent inside the estimated square r (black pixels, e) ) Can be included. To prevent such a square r from being determined as a license plate area, the black and white ratio (binarization ratio) of the pixel value inside the square is calculated. Can be excluded.
  • the ratio of the value of the black pixel inside r may be larger than the ratio of the value of the black pixel inside the binned license plate region normally detected because of the e portion, and the black pixel inside the binned license plate region detected normally. Since the ratio of values can be easily calculated in advance, it can be determined whether r is determined as the license plate area based on the pre-calculated value.
  • the first license plate area detector 230 can easily determine the license plate area based on the binarization ratio.
  • 9 and 10 are views exemplarily showing an example of an algorithm performed by the first license plate area detection unit.
  • the first license plate area detecting unit 230 is pre-processed (pre-processed) such as bilateral filtering on an input image when it is performed N times and is performed every (I-th) times
  • pre-processed such as bilateral filtering on an input image when it is performed N times and is performed every (I-th) times
  • the license plate area is normalized (image warping) to convert it into a rectangle of the same size to obtain the same effect as viewing the inclined license plate from the front, and the black and white of the pixel value of the binary license plate area
  • the ratio (binarization ratio) is less than the specified value (40)
  • the normalized license plate candidate region can be determined as the first license plate region and included as one of the N first license plate region candidates. It can be configured to re-detect the license plate area.
  • the license plate candidate region determination and the first license plate region determination are distinct, but unlike FIG. 9, the binarization ratio for the determined license plate candidate region
  • the judgment may be regarded as included in the method for determining the license plate candidate area, and the determined license plate candidate area and the first license plate area may be viewed identically.
  • the generation of the license plate candidate region and the determination of the license plate candidate region are described in FIGS. 11 to 14.
  • 11 and 12 are views exemplarily showing an example of a license plate candidate region generation algorithm performed by the first license plate region detection unit.
  • the first license plate area detector 230 corrects (preprocesses) an input image and random noise (eg, Gaussian random noise) having a noise level (noise intensity) of 10 in the corrected input image ).
  • random noise eg, Gaussian random noise
  • the first license plate area detection unit 230 may add random noise again before binarization or binarization of the image in this state.
  • the first license plate area detector 230 may use different binarization thresholds Thr or different noise levels NL as described above when binarizing or adding noise.
  • the first license plate area detection unit 230 uses various binarization thresholds Thr when performing binarization, and each binarization threshold Thr is set to have a minute difference (+3) from 20 to 255.
  • a and B can be distinguished from black and white through binarization, thereby improving the accuracy of license plate area detection. Can be improved.
  • the first license plate area detection unit 230 uses various noise levels (NL, noise intensity) when adding noise, so that each noise level NL has a small difference (+3) from 0 to 30. Since it is set, even if the value of the pixel (C) of the license plate border and the value of the pixel (D) surrounding the license plate border are similar, the amount of noise added to C and D varies, so that C and D can be more clearly distinguished. . Therefore, it is possible to improve the accuracy of the license plate area detection.
  • noise levels NL, noise intensity
  • the first license plate area detection unit 230 adds random noise and estimates the contour line in the binarized image so that the ratio of the height (h) and width (w) of the rectangle including the contour is less than 2 and is composed of the contour.
  • a license plate candidate region can be generated by including the estimated contour line in the license plate candidate region only when the polygonal area is 9000 or less, or when the number of polygonal points (edges) composed of contours is 4 and the area is 2400 or more.
  • the height and width of the rectangle including the outline are obtained from the coordinates of the vertices constituting the estimated outline, as shown in FIG. 5, by obtaining the minimum and maximum values for each of the X and Y axes, and the maximum and the maximum coordinates. It may correspond to the height and width of a rectangle that diagonally divides the line segments connecting the coordinates consisting of.
  • the number of points (edges) is as described in FIGS. 5 and 6.
  • the height of the rectangle including the outline, the ratio of the width or the number of points (edges), and the width may vary depending on the geometric characteristics of the license plate to be detected.
  • the ratio or the number of points (edges) and the value of the area are not limited to the values of FIG. 11.
  • this determination corresponds to the license plate candidate area determining method.
  • the first license plate area detection unit 230 not only changes the binarization threshold, but also adds random noise (eg, Gaussian random noise) and noise by changing the noise level (noise intensity) to the same input image.
  • random noise eg, Gaussian random noise
  • noise level noise intensity
  • Various contour lines can be estimated for different number plate candidate areas.
  • the first license plate area detection unit 230 may generate various binary images while changing the noise and binarization thresholds added from the input image.
  • FIG. 13 and 14 are views exemplarily showing an example of a license plate candidate region determination algorithm performed by the first license plate region detection unit.
  • the first license plate area detection unit 230 estimates a polygon using the Ramer-Douglas-Peucker algorithm from the contour of the license plate candidate area for the license plate candidate areas, and the edge of the polygon is 4 If it is a dog, that is, if the square is estimated, it is included in the license plate candidate area, and if the square is not estimated, it is excluded from the license plate candidate area.
  • the first license plate area detector 230 uses a variety of values as a parameter value related to polygon estimation accuracy when estimating polygons.
  • Each ratio value has a small difference (+0.1) from 10 to 15. Since it can be set, various polygons can be estimated, thereby improving the accuracy of license plate area detection.
  • the Ramer-Douglas-Peucker algorithm estimates a polygon by removing some of the points (vertexes and corners) that make up the contour.At this time, as the ratio increases, the polygon with less number of vertices is estimated, so the rectangle is estimated. Probability can be high.
  • the first license plate area detection unit 230 should have an estimated corner angle value between 60 and 120 degrees, and the length difference values (w1-w2 and h1-h2) of the opposite sides should be less than 5, so that the license plate candidate area is If not, it can be excluded from the license plate candidate area.
  • corner angles, w1, w2, h1, and h2 are as described in connection with FIG. 7 and the binarization ratio is as described in FIG. 8.
  • the binarization ratio should be less than 40 to be included in the license plate candidate region and otherwise excluded from the license plate candidate region.
  • the first license plate area detector 230 may determine a license plate candidate area in which the sum of the length difference values of opposite sides of the rectangle (sum of w1-w2 and h1-h2) is the minimum, as the final license plate candidate area.
  • the specific method and values for determining the license plate candidate region in FIG. 13 may be changed according to the geometric characteristics of the license plate, so the present invention is not limited to the method illustrated in FIG. 13.
  • the first license plate area detection unit 230 estimates a square according to the algorithm of FIG. 13 and selects only squares close to the shape of a parallelogram or a rectangle among the estimated squares as a license plate candidate region and selects the selected license plate candidate region Among them, a final license plate candidate area (first license plate area) is determined.
  • the first license plate area detection unit 230 generates a license plate candidate area in various ways and determines the license plate candidate area (first license plate area) based on the geometric characteristics of the square estimated from the license plate candidate area or the license plate candidate area. The accuracy of license plate detection and recognition can be improved.
  • the license plate candidate is detected from the license plate area detected by the license plate detection unit 220 and image information corresponding to the surrounding area.
  • the license plate region detected by the license plate detector 220 can be corrected. Since the license plate candidate region is re-detected only for the license plate region and the peripheral region detected at 220, the speed and accuracy of license plate detection and recognition can be improved.
  • the license plate detection model used by the license plate detection unit 220 may be supplemented.
  • the first license plate area detection unit 230 may supplement the deep learning model used by the license plate detection unit 220.
  • the second license plate area detection unit 240 Since the second license plate area detection unit 240 is related to the character area detection, it will be described after examining the first character area detection unit 250 and the second character area detection unit 260.
  • the first text area detection unit 250 and the second text area detection unit 260 are briefly compared as follows.
  • the first text area detection unit 250 and the second text area detection unit 260 both perform a similar function because they detect the text area.
  • the first character area detection unit 250 is different from the second character area detection unit 260 in which the detection method is specified in that it can detect the license plate area in various ways.
  • the method used in the second character area detection unit 260 is excluded from various methods.
  • the first character area detection unit 250 receives image information from the input unit 210 or the license plate area detection unit 220, the first license plate area detection unit 230 or the second license plate area detection unit 240 from the license plate area, N number Text candidate area can be detected and detected using a character detection model from the received and received image information corresponding to 1 license plate area (first license plate area candidate) or second license plate area (hereinafter, license plate area).
  • the first character candidate region may be transmitted to the second character region detection unit 260, the second license plate region detection unit 240, or the character recognition unit 270.
  • the first character region detecting unit 250 may detect the first character candidate region in various ways, for example, an artificial neural network such as deep learning may be used.
  • 15 to 17 are views exemplarily showing an example of an algorithm performed by the first character area detection unit.
  • the first character region detection unit 250 detects a first character candidate region from image information corresponding to an input image or a license plate region by using a character detection model to detect characters. Coordinate information can be generated.
  • one input image of FIG. 16 can be received from the input unit 210 or the second license plate area detection unit 240 and corresponds to the N first license plate areas (first license plate area candidates) of FIG. 17 Can be received from the first license plate area detector 230.
  • the input image of FIG. 16 and the first license plate area candidate of FIG. 17 differ in whether the license plate area is warped.
  • a deep learning model may be used as a character detection model.
  • the character detection model is not limited to the deep learning model.
  • the first character area detection unit 250 detects the character area before performing the second character area detection unit 260 or the second license plate area detection unit 240 to detect the second character area detection unit 260. In can improve the accuracy of the character area detection and narrow the range of the image to detect the license plate area in the second license plate area detection unit 240, it is possible to improve the speed and accuracy of the license plate area detection.
  • the second text area detection unit 260 receives the text candidate area from the first text area detection unit 250, merges or deletes the text candidate area based on the geometric characteristics of the text candidate area, adjusts the size of the text candidate area, or changes the size of the text candidate area.
  • the text candidate area can be corrected by adding the text area to the text candidate area.
  • the second text area detection unit 260 may merge or delete the text candidate area or adjust the size of the text candidate area based on the height, position, or width of the overlapped area.
  • the second character area detection unit 260 calculates one or more straight lines in which the sum of the distances from the center position of the text candidate area is the minimum value, detects a new text area whose center position is close to the straight line, and enters the text candidate area. Can be added.
  • FIGS. 18 and 19 are views exemplarily showing an example of an algorithm performed by the second character area detection unit.
  • the second character region detection unit 260 receives the character candidate region, adjusts (corrects) the character candidate region, detects a straight line, preprocesses and binarizes the image, and then displays the character candidate region.
  • a primary character candidate group can be detected by adding (correcting) and adjusting (correcting) the character candidate region again.
  • the primary character candidate group may correspond to a character region detected relatively independently of the character arrangement format of the license plate.
  • the second character area detecting unit 260 further corrects the character area according to the character arrangement format of a specific number plate (for example, a number plate of a specific country) based on the detected character area of the primary character candidate group, thereby correcting the character area detection accuracy. To improve.
  • the second character area detection unit 260 detects a part of the character area of the upper line or the lower line in a number plate in which 4 characters are arranged in the upper line and 5 characters are arranged in the lower line. If the average distance between neighboring character areas is calculated, and the distance between neighboring text areas R1 and R2 is greater than the average distance multiplied by 1.3, the text area is detected again for the area between R1 and R2. Can be added to a realm.
  • the second character area detection unit 260 merges the character candidate areas even if the redundant or incorrectly detected or undetected text candidate areas are input from the first text area detector 250 according to an embodiment.
  • the text candidate area can be corrected by deleting, resizing the text candidate area, or adding a new text area to the text candidate area.
  • the first character candidate region adjustment, straight line detection, character candidate region addition, and second character candidate region adjustment of FIG. 18 are described with reference to FIGS. 20, 22, 24, and 26, respectively.
  • 20 and 21 are views exemplarily showing an example of a first character candidate region adjustment algorithm performed by the second character region detection unit.
  • the second character region detection unit 260 receives M character candidate regions and compares two different character candidate regions while overlapping regions between the two regions is 80% or more. In this case, the two regions can be merged.
  • the second character area detection unit 260 calculates the average height of the text candidate area, and if the height of each candidate area is less than 60% of the average, it is regarded as a false text candidate area and excluded (deleted) from the candidate area. Can be.
  • the second character area detection unit 260 may adjust the height of the candidate area to the average height if the height of each candidate area is 60% or more of the average and less than 80%.
  • 22 and 23 are views exemplarily showing an example of a linear detection algorithm performed by the second character area detection unit.
  • the second character region detection unit 260 receives M character candidate regions and obtains a straight line L passing through the center positions of two different character candidate regions and M The distance between the center position and the straight line L of the dog candidate area is calculated, and if the distance is less than D, the distance value is accumulated. If it is greater than D, the distance is not accumulated.
  • the second character area detection unit 260 may set the straight line L having the smallest distance value to the straight line 1 for M*(M-1) straight lines L obtained in this way.
  • the center position of the text candidate region can be calculated from the coordinate values of the four vertices constituting the text candidate region, for example, from the coordinate values of the four vertices, the maximum and minimum values for each of the X and Y axes are obtained and the maximum.
  • the value and the minimum value can be added and the sum divided by 2 can be set as the center position of the text candidate area for the X and Y axes.
  • the reason why the distance value is not accumulated is that when the straight line L passing through the upper line of the license plate in FIG. 23 is obtained, the distance from the straight line L is greater than D. This is to exclude the character candidate area located on the line. Therefore, it is desirable to set the value of D to a sufficiently large value to exclude the character candidate region located on the lower line.
  • the reason why the straight line L having the smallest distance value to the straight line L is set to the straight line 1 is to obtain a straight line that best penetrates the center position of the character candidate areas located in, for example, the upper line in FIG. 23.
  • the second character area detection unit 260 excludes the candidate area having a distance of D or less from the straight line 1 from the candidate area. For example, when straight line 1 in FIG. 23 is the straight line that best penetrates the center of the text candidate area located on the upper line, the straight line 2 is obtained for the text candidate area located on the lower line except for the text candidate area located on the upper line.
  • the second character region detection unit 260 may obtain the straight line 2 in the same manner as the method for obtaining the straight line 1 for the remaining P candidate regions except for the candidate region having a distance of D or less from the straight line 1 in the candidate region.
  • finding the straight line 1 and the straight line 2 can be useful only when the license plate consists of two lines. That is, since the detection of two straight lines in FIGS. 22 and 23 is only an example, the number of straight lines calculated by the second character area detection unit 260 is not limited to two.
  • 24 and 25 are views exemplarily showing an example of a text candidate area addition algorithm performed by the second text area detection unit.
  • the second character area detection unit 260 deletes all existing text areas and newly generates characters based on the center line (straight line 1 and straight line 2). Regions can be extracted. Specifically, the second character region detection unit 260 extracts a contour line for the binarized image and labels it, so if the number of labeled regions is M, the size ratio of the labeled region to the M labeled regions is satisfied to satisfy a certain criterion Then, the labeled area can be added to the text candidate area only when the center of the labeled area exists near the straight line 1 or the straight line 2 and the binarization ratio of the labeled area passes.
  • the second character area detection unit 260 may include a case where the width of the rectangle surrounding the labeled area is less than twice the height or the area of the rectangle is within a certain range. It can only be decided that the criteria are satisfied.
  • the fact that the center (center position) of the labeled area exists near the straight line 1 or the straight line 2 means that the distance between the center (center position) of the labeled area and the straight line 1 or straight line 2 is less than a certain value. can do.
  • the center (center position) of the labeled area can be obtained in the same way as the method for obtaining the center position of the above-described character candidate area.
  • the second character region detection unit 260 may determine that the binarization ratio should be less than 40 to pass the examination.
  • the second character region detector 260 detects binarization and contours and labels the detected contours to label the character region Since the new position is detected, when the center position of the character area is close to the calculated straight line 1 or straight line 2, the undetected text area may be added to the text candidate area.
  • the second text area detection unit 260 may exclude the text candidate area. In this way, the second character region detection unit 260 may exclude the false-detected character region shown in FIG. 23 from the character candidate region.
  • 26 and 27 are views exemplarily showing an example of the second character candidate region adjustment algorithm performed by the second character region detection unit.
  • the second character region detection unit 260 receives M character candidate regions and compares two different character candidate regions while overlapping regions between the two regions is 80% or more. In this case, if two regions are merged and the overlapping region between the two regions is less than 80% and more than 30%, a smaller size region of the two regions can be deleted from the candidate region.
  • the second character area detection unit 260 calculates the average height of the character candidate area, and if the height of each candidate area is less than or equal to 60% of the average, it is regarded as a false text candidate area and excluded from the candidate area (deleted) )can do.
  • the second character area detection unit 260 may adjust the height of the candidate area to the average height if the height of each candidate area is greater than 60% of the average and less than or equal to 80%.
  • the second character area detection unit 260 can improve the accuracy of the character area detection by supplementing the character candidate area detected by the first character area detection unit 250.
  • the second character region detection unit 260 may supplement the character detection model used by the first character region detection unit 250.
  • the second character region detection unit 260 may supplement the deep learning model used by the first character region detection unit 250.
  • the second license plate area detection unit 240 is very similar to the second character area detection unit 260, which has the biggest difference in that it detects a license plate area including a corrected text candidate area.
  • the second license plate area detection unit 240 receives the first text candidate area from the first text area detection unit 250, merges or deletes the first text candidate area based on the geometric characteristics of the first text candidate area, or merges or deletes the first text candidate area. By adjusting the size of the candidate area or adding a new text area to the first text candidate area, the first text candidate area may be corrected and a second license plate area including the corrected first text candidate area may be detected.
  • the second license plate area detection unit 240 may merge or delete the first text candidate area or adjust the size of the first text candidate area based on the height, position, or width of the overlapped area. have.
  • the second license plate area detection unit 240 calculates one or more straight lines in which the sum of the distances from the center position of the first character candidate area is the minimum value, and detects a new text area whose center position is close to the straight line. It can be added to the text candidate area.
  • the second license plate area detection unit 240 may warp the license plate area when detecting the second license plate area including the corrected first character candidate area.
  • 28 is a view exemplarily showing an example in which the second license plate area detection unit is performed.
  • the second license plate area detection unit 240 receives a text candidate area, corrects a text candidate area, detects a second license plate area including the corrected text candidate area, and detects the detected second license plate area. 2
  • the license plate area can be output by warping.
  • the text candidate area correction may be performed through at least one of merging, deleting, resizing, or adding text candidate areas.
  • the addition of the undetected text area may be performed by detecting a straight line penetrating the center of the text area and newly detecting the text area centered on the detected straight line, similar to the second text area detection unit 260.
  • the second license plate area detection unit 240 corrects the character candidate area detected by the first character area detection unit 250 and detects the second license plate area including the corrected text candidate area, thereby speeding up the detection of the license plate area and Accuracy can be improved.
  • the character recognition unit 270 may recognize characters included in the number plate based on the number plate area or the text candidate area, and may use a deep learning model for character recognition.
  • 29 and 30 are views exemplarily showing an example of an algorithm performed by the character recognition unit.
  • the character recognition unit 270 may receive a license plate image and a character candidate region and recognize characters corresponding to the character candidate region. At this time, when a specific rule is set in the character arrangement of the license plate, the speed and accuracy of character recognition can be improved by recognizing the character by applying the rule.
  • FIG. 29 shows an algorithm for recognizing a license plate which is arranged such that only numbers are arranged on the lower line, only the third position is alphabetic and the remaining positions are arranged on the upper line. Therefore, it is possible to prevent the character candidate region from being incorrectly recognized as a character other than a number by forcing the recognition of the character candidate region in the lower line as only a number.
  • the recognition result inference unit 280 may infer the character recognition result by voting with the character recognized by the character recognition unit 270.
  • the recognition result inference unit 280 detects the same image information by (i) the first license plate area detection unit 230 determined by the first license plate area, (ii) the first character area detection unit 250 and the second The second character candidate area corrected by the character area detection unit 260 and (iii) the second number plate area detected by correcting the character candidate area detected by the first character area detection unit 250 by the second license plate area detection unit 240
  • the result of character recognition may be inferred by voting with a recognized character based on at least one of them.
  • the recognition result inference unit 280 votes with the recognized character string based on the N first license plate regions determined by the first license plate region detection unit 230, and finally recognizes the character string that exists the most among the N character strings. Can be calculated as
  • 31 and 32 are views showing an example of an algorithm performed by the recognition result inference unit.
  • the recognition result inference unit 280 receives string candidates and receives the string candidates only when 4 characters exist for the upper line string of the candidate string and the string candidate is 2 or more.
  • the maximum number of voting and the second maximum number of voting is different by voting with the character for each position for the string, infer the character with the maximum number of voting as the recognition result. If the maximum number of voting and the second maximum number of voting are the same, “?” Text can be inferred as a result of recognition.
  • the recognition result inference unit 280 differs only in that the candidate string is a voting target only when there are 5 characters for the lower line string of the candidate string, and recognizes the recognition result in the same way as the algorithm for the string of the upper line. Can deduce.
  • FIG. 31 shows an algorithm for voting a character string for a license plate in which 4 characters are arranged in the upper line and 5 characters are arranged in the lower line, and thus is only an example of inferring license plate recognition results.
  • the recognition result inference unit 280 infers the recognition result by voting the recognized characters in various ways, it is possible to improve the accuracy of license plate recognition.
  • the transceiver 290 may allow the input unit 210 to receive image information from the camera 300.
  • the database 292 can store image information and the like.
  • the database 292 is a concept including a computer-readable recording medium, and includes not only a consultative database, but also a database with a broad meaning including data recording based on a file system. Therefore, if data can be extracted, it is included in the scope of the database referred to in the present invention.
  • the control unit 294 controls the overall operation of the vehicle license plate detection and recognition system 200, the input unit 210, the license plate detection unit 220, the first license plate area detection unit 230, the second license plate area detection unit 240, Control flow or data flow between the first character region detection unit 250, the second character region detection unit 260, the character recognition unit 270, the recognition result inference unit 280, the transmission/reception unit 290, and the database 292. Can be controlled.
  • FIG 33 is a flowchart exemplarily showing an example of a vehicle license plate detection and recognition method 500 according to the present invention.
  • the vehicle license plate detection and recognition method 500 includes an input step (S510), a license plate detection step (S520), a first license plate area detection step (S530), and a second license plate area detection step. (S540), the first character area detection step (S550), the second character area detection step (S560), the character recognition step (S570), and comprises a recognition result inference step (S580).
  • the vehicle license plate detection and recognition system 200 may receive image information including the vehicle license plate from the camera 300 through the transceiver 290 or receive image information from the database 292. have.
  • the vehicle license plate detection and recognition system 200 may detect a license plate area from the image information received in the input step S510. At this time, the vehicle license plate detection and recognition system 200 may detect the license plate area in various ways, for example, deep learning may be used.
  • the vehicle license plate detection and recognition system 200 In the first license plate area detection step (S530), the vehicle license plate detection and recognition system 200 generates a license plate candidate area from the image information input in the input step (S510), and of the square estimated from the license plate candidate area or license plate candidate area.
  • the license plate candidate area (first license plate area) can be determined based on the geometric features.
  • the vehicle license plate detection and recognition system 200 generates a license plate candidate region from the image information corresponding to the license plate region and the surrounding region detected in the license plate detection step (S520), and the square estimated from the license plate candidate region or license plate candidate region Based on the geometrical characteristics of the license plate candidate region (first license plate region) can be determined.
  • the vehicle license plate detection and recognition system 200 may binarize the image information based on different threshold values or binarize by adding different noises to the image information and estimate the contour to generate a license plate candidate region.
  • the vehicle license plate detection and recognition system 200 based on the ratio of the number of corners, the corner angle, the length of the sides, the width or the binarized pixel values estimated from the license plate candidate region or the license plate candidate region ( First license plate area).
  • the vehicle license plate detection and recognition system 200 determines the first character candidate area based on the geometric characteristics of the first character candidate area detected in the first character area detection step (S550 ). Merge or delete, resize the first text candidate area, or add a new text area to the first text candidate area to correct the first text candidate area and detect the second license plate area including the corrected first text candidate area can do.
  • the vehicle license plate detection and recognition system 200 merges or deletes the first text candidate area or adjusts the size of the first text candidate area based on the height, position, or width of the overlapped area. Can be.
  • the vehicle license plate detection and recognition system 200 calculates one or more straight lines in which the sum of the distances from the center position of the first character candidate area is the minimum value, and detects a new text area where the center position is close to the straight line. 1 Can be added to the text candidate area.
  • vehicle license plate detection and recognition system 200 may warp the license plate area when detecting the second license plate area including the corrected first character candidate area.
  • the vehicle license plate detection and recognition system 200 includes the image information or the license plate area detection step (S520), the first license plate area detection step (S530), or the like, input in the input step (S510). Using the character detection model from the image information corresponding to the license plate area, N first license plate area (first license plate area candidate) or the second license plate area (hereinafter, license plate area) received in the second license plate area detection step (S540). By doing so, the first character candidate region can be detected. At this time, the vehicle license plate detection and recognition system 200 may detect the first character candidate area in various ways, for example, deep learning may be used.
  • the vehicle license plate detection and recognition system 200 determines the first text candidate area based on the geometric characteristics of the first text candidate area detected in the first text area detection step (S550 ).
  • the first character candidate region can be corrected by merging or deleting, resizing the first character candidate region, or adding a new character region to the first character candidate region.
  • the vehicle license plate detection and recognition system 200 merges or deletes the first text candidate area or adjusts the size of the first text candidate area based on the height, position, or width of the overlapped area. Can be.
  • the vehicle license plate detection and recognition system 200 calculates one or more straight lines in which the sum of the distances from the center position of the first character candidate area is the minimum value, and detects a new text area where the center position is close to the straight line. 1 Can be added to the text candidate area.
  • the vehicle license plate detection and recognition system 200 may recognize characters included in the license plate based on the license plate area or the first text candidate area, and may use a deep learning model for character recognition. .
  • the vehicle license plate detection and recognition system 200 may infer the character recognition result by voting with the characters recognized in the character recognition step S570.
  • the vehicle license plate detection and recognition system 200 may perform the same image information in (i) the first license plate area detection step (S530), and (ii) the first character area detection step (S550).
  • the second character candidate region detected and corrected in the second character region detection step (S560) and (iii) the character candidate region detected in the first character region detection step (S550) is corrected in the second license plate region detection step (S540).
  • FIGS. 34 and 35 are referred to in relation to (i), and FIG. 36 is related to (ii), and FIGS. 37 and 38 are related to (iii).
  • 34 and 35 are flowcharts illustrating an example of voting with recognized characters based on the license plate area determined in the first license plate area detection step.
  • the vehicle license plate detection and recognition method 500 includes an input step (S510 ), a license plate detection step (S520 ), a first license plate area detection step (S530 ), and a first character area detection step. (S550), the second character area detection step (S560), the character recognition step (S570) and the recognition result inference step (S580) through the first license plate area detection step (S530) determined based on the license plate area to the recognized characters You can infer text recognition results by voting.
  • the vehicle license plate detection and recognition method 500 can determine N different first license plate area candidates as shown in FIG.
  • N character strings may be recognized through the character region detection steps S550 and S560 and the character recognition step S570, respectively, and the character recognition results may be inferred by voting with N character strings.
  • 36 is a flowchart illustrating an example of voting with recognized characters based on the second character candidate region detected in the first character region detection step and corrected in the second character region detection step.
  • the vehicle license plate detection and recognition method 500 includes an input step (S510 ), a license plate detection step (S520 ), a first character area detection step (S550 ), and a second character area detection step. (S560), the second character candidate area detected in the first character area detection step (S550) and corrected in the second character area detection step (S560) through the character recognition step (S570) and the recognition result inference step (S580). It is possible to infer the result of text recognition by voting with the text recognized as the basis.
  • the vehicle license plate detection and recognition method 500 can recognize one character string for the same image information input in the input step (S510), and character recognition by voting with one character string The results can be inferred.
  • 37 and 38 are flowcharts illustrating an example of voting with a recognized character based on the second license plate area detected by correcting the character candidate area detected in the first character area detection step in the second license plate area detection step. to be.
  • the vehicle license plate detection and recognition method 500 includes an input step (S510 ), a license plate detection step (S520 ), a first character area detection step (S550 ), and a second license plate area detection step. (S540), the first character area detection step (S550), the second character area detection step (S560), the character recognition step (S570) and the recognition result inference step (S580) through the first character area detection step (S550)
  • the detected character candidate area is corrected in step S540 to be sent as a recognized character based on the detected second license plate area to infer the character recognition result.
  • the vehicle license plate detection and recognition method 500 can recognize one character string for the same image information input in the input step (S510) and voting with one character string You can deduce the result of character recognition.
  • FIGS. 34 to 38 is a flowchart illustrating an example of voting using all of the methods of FIGS. 34 to 38.
  • the vehicle license plate detection and recognition method 500 recognizes N character strings using the methods of FIGS. 34 and 35 and uses the methods of FIGS. 36, 37, and 38, respectively. By recognizing 1 string each, it is possible to infer the recognition result by voting a total of 2*N+3 strings.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명의 실시예들은 차량 번호판을 포함하는 영상정보를 입력받는 입력부, 상기 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하는 제1 번호판영역 검출부 및 상기 번호판영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식부를 포함하여 구성되는 차량 번호판 검출 및 인식 시스템을 제공한다. 또한, 본 발명의 실시예들은 차량 번호판을 포함하는 영상정보를 입력받는 입력부, 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출부, 상기 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하는 제2 문자영역 검출부 및 상기 보정된 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식부를 포함하여 구성되는 차량 번호판 검출 및 인식 시스템을 제공한다. 이에, 본 발명의 실시예들은 입력받은 영상정보로부터 번호판후보영역을 생성하여 번호판후보영역의 특징을 기초로 번호판영역을 결정하거나 제2 문자영역 검출부가 제1 문자영역 검출부에서 검출된 문자후보영역을 보완하도록 함으로써 번호판 검출 및 인식의 정확도를 향상시킬 수 있다.

Description

차량 번호판 검출 및 인식 시스템 및 방법
본 발명은 차량 번호판 검출 및 인식 시스템 및 방법에 관한 것이며, 더욱 상세하게는, 차량 번호판의 번호판영역 또는 문자영역을 정확하게 검출하고 번호판에 포함된 문자를 정확하게 인식하기 위한 차량 번호판 검출 및 인식 시스템 및 방법에 관한 것이다.
차량 주행 단속 카메라의 경우에는 촬영된 영상정보에 포함된 번호판을 인식한 결과를 기초로 차량의 운행자에게 행정적 처분이 내려질 수 있으므로 번호판 인식의 정확도를 향상시키는 것이 중요하다.
번호판 인식의 정확도를 저해하는 요인으로는 햇빛에 의한 스미어(smear) 현상이나 조명에 의한 블러링(blurring)이 대표적이므로 번호판 인식의 정확도를 향상시키기 위해서는 이러한 요인을 극복할 수 있어야 한다.
이와 관련된 종래기술을 살펴보면 다음과 같다.
한국등록특허 제10-1182173호는 차량 번호판 인식 방법에 관한 것으로서, 번호판이 부착된 차량의 영상을 수신하는 단계, DoG 필터를 이용하여 상기 번호판의 영역을 추정하는 단계, 임계값에 따라 상기 번호판의 영역을 이진화하여 상기 번호판의 영역에 포함된 각 문자를 구분하는 단계 및 신경망 문자 인식기를 이용하여 상기 각 문자를 인식하는 단계를 포함하는 차량 번호판 인식 방법을 개시한다.
그러나, 종래기술은 이진화를 위한 임계값과 같은 파라미터 값을 다양하게 적용하지 않고 다양한 방법으로 문자를 인식하지 않으므로 여러가지 상황에서 높은 정확도를 담보할 수 없다.
전술한 문제점을 해결하기 위하여, 본 발명의 실시예들은 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하는 차량 번호판 검출 및 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시예들은 영상정보를 서로 다른 임계값을 기준으로 이진화하거나 영상정보에 서로 다른 레벨의 노이즈를 추가하여 이진화하고 윤곽선을 추정하여 번호판후보영역을 생성하는 차량 번호판 검출 및 인식 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시예들은 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 모서리 개수, 모서리 각도, 변의 길이, 넓이 또는 이진화된 픽셀 값의 비율을 기초로 번호판영역을 결정하는 차량 번호판 검출 및 인식 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시예들은 영상정보로부터 번호판영역을 검출하고 검출된 번호판영역 및 검출된 번호판영역의 주변영역에 해당하는 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하며 결정된 번호판영역을 기초로 번호판에 포함된 문자를 인식하는 차량 번호판 검출 및 인식 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시예들은 문자검출모델을 이용하여 영상정보로부터 문자후보영역을 검출하고 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하며 보정된 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 차량 번호판 검출 및 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시예들은 문자후보영역의 높이, 위치 또는 중복영역 넓이를 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 상기 문자후보영역의 중심위치로부터 거리의 합이 최소 값이 되는 하나 이상의 직선을 산출하고 중심위치가 상기 직선에 근접한 새로운 문자영역을 검출하여 상기 문자후보영역에 추가하는 차량 번호판 검출 및 인식 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시예들은 문자검출모델을 이용하여 영상정보로부터 문자후보영역을 검출하고 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하고 보정된 문자후보영역을 포함하는 번호판영역을 검출하며 검출된 번호판영역을 기초로 번호판에 포함된 문자를 인식하는 차량 번호판 검출 및 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시예들은 전술한 다양한 시스템 또는 방법을 기초로 번호판에 포함된 문자를 인식하고 상기 인식된 문자로 보팅하여 문자인식결과를 추론하는 차량 번호판 검출 및 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예는 차량 번호판을 포함하는 영상정보를 입력받는 입력부, 상기 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하는 제1 번호판영역 검출부 및 상기 번호판영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식부를 포함하여 구성되는 차량 번호판 검출 및 인식 시스템을 제공한다.
일 실시예에서, 상기 제1 번호판영역 검출부는 상기 영상정보를 서로 다른 임계값을 기준으로 이진화하거나 상기 영상정보에 서로 다른 노이즈를 추가하여 이진화하고 윤곽선을 추정하여 상기 번호판후보영역을 생성할 수 있다.
일 실시예에서, 상기 제1 번호판영역 검출부는 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 모서리 개수, 모서리 각도, 변의 길이, 넓이 또는 이진화된 픽셀 값의 비율을 기초로 번호판영역을 결정할 수 있다.
일 실시예에서, 상기 차량 번호판 검출 및 인식 시스템은 상기 영상정보로부터 번호판영역을 검출하는 번호판 검출부를 포함하고, 상기 제1 번호판영역 검출부는 상기 검출된 번호판영역 및 검출된 번호판영역의 주변영역에 해당하는 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하고, 상기 문자 인식부는 상기 결정된 번호판영역을 기초로 번호판에 포함된 문자를 인식할 수 있다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 차량 번호판을 포함하는 영상정보를 입력받는 입력부, 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출부, 상기 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하는 제2 문자영역 검출부 및 상기 보정된 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식부를 포함하여 구성되는 차량 번호판 검출 및 인식 시스템을 제공한다.
다른 일 실시예에서, 상기 제2 문자영역 검출부는 상기 문자후보영역의 높이, 위치 또는 중복되는 영역의 넓이를 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정할 수 있다.
다른 일 실시예에서, 상기 제2 문자영역 검출부는 상기 문자후보영역의 중심위치로부터 거리의 합이 최소 값이 되는 하나 이상의 직선을 산출하고 중심위치가 상기 직선에 근접한 새로운 문자영역을 검출하여 상기 문자후보영역에 추가할 수 있다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 차량 번호판을 포함하는 영상정보를 입력받는 입력부, 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출부, 상기 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하고 보정된 문자후보영역을 포함하는 번호판영역을 검출하는 제2 번호판영역 검출부 및 상기 번호판영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식부를 포함하여 구성되는 차량 번호판 검출 및 인식 시스템을 제공한다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 차량 번호판을 포함하는 영상정보를 입력받는 입력부, 상기 영상정보로부터 적어도 하나 이상의 번호판영역 또는 문자후보영역을 결정하거나 검출하는 검출부, 상기 번호판영역 또는 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식부 및 상기 인식된 문자로 보팅하여 문자인식결과를 추론하는 인식결과추론부를 포함하고, 상기 검출부는, 상기 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하는 제1 번호판영역 검출부, 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출부와 상기 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하는 제2 문자영역 검출부 및 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출부와 상기 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하고 보정된 문자후보영역을 포함하는 번호판영역을 검출하는 제2 번호판영역 검출부 중 적어도 하나 이상을 포함하여 구성되는 차량 번호판 검출 및 인식 시스템을 제공한다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 차량 번호판을 포함하는 영상정보를 입력받는 입력단계, 상기 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하는 제1 번호판영역 검출단계, 및 상기 번호판영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식단계를 포함하여 구성되는 차량 번호판 검출 및 인식 방법을 제공한다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 차량 번호판을 포함하는 영상정보를 입력받는 입력단계, 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출단계, 상기 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하는 제2 문자영역 검출단계 및 상기 보정된 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식단계를 포함하여 구성되는 차량 번호판 검출 및 인식 방법을 제공한다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 차량 번호판을 포함하는 영상정보를 입력받는 입력단계, 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출단계, 상기 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하고 보정된 문자후보영역을 포함하는 번호판영역을 검출하는 제2 번호판영역 검출단계 및 상기 번호판영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식단계를 포함하여 구성되는 차량 번호판 검출 및 인식 방법을 제공한다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 차량 번호판을 포함하는 영상정보를 입력받는 입력단계, 상기 영상정보로부터 적어도 하나 이상의 번호판영역 또는 문자영역을 결정하거나 검출하는 검출단계, 상기 번호판영역 또는 문자영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식단계 및 상기 인식된 문자로 보팅하여 문자인식결과를 추론하는 인식결과추론단계를 포함하고, 상기 검출단계는, 상기 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하는 제1 번호판영역 검출단계, 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출단계와 상기 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하는 제2 문자영역 검출단계 및 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출단계와 상기 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하고 보정된 문자후보영역을 포함하는 번호판영역을 검출하는 제2 번호판영역 검출단계 중 적어도 하나 이상을 포함하여 구성되는 차량 번호판 검출 및 인식 방법을 제공한다.
이상과 같이, 본 발명의 실시예들은 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정함으로써, 번호판영역 검출 및 번호판 인식의 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예들은 영상정보를 서로 다른 임계값을 기준으로 이진화하거나 영상정보에 서로 다른 레벨의 노이즈를 추가하여 이진화하고 윤곽선을 추정하여 번호판후보영역을 생성함으로써, 번호판영역 검출 및 번호판 인식의 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예들은 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 모서리 개수, 모서리 각도, 변의 길이, 넓이 또는 이진화된 픽셀 값의 비율을 기초로 번호판영역을 결정함으로써, 번호판영역 검출 및 번호판 인식의 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예들은 영상정보로부터 번호판영역을 검출하고 검출된 번호판영역 및 검출된 번호판영역의 주변영역에 해당하는 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하며 결정된 번호판영역을 기초로 번호판에 포함된 문자를 인식함으로써, 번호판영역 검출 및 번호판 인식의 속도 및 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예들은 문자검출모델을 이용하여 영상정보로부터 문자후보영역을 검출하고 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하며 보정된 문자후보영역을 기초로 번호판에 포함된 문자를 인식함으로써, 문자영역 검출 및 번호판 인식의 속도 및 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예들은 문자후보영역의 높이, 위치 또는 중복영역 넓이를 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 상기 문자후보영역의 중심위치로부터 거리의 합이 최소 값이 되는 하나 이상의 직선을 산출하고 중심위치가 상기 직선에 근접한 새로운 문자영역을 검출하여 상기 문자후보영역에 추가함으로써, 문자영역 검출 및 번호판 인식의 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예들은 문자검출모델을 이용하여 영상정보로부터 문자후보영역을 검출하고 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정하고 보정된 문자후보영역을 포함하는 번호판영역을 검출하며 검출된 번호판영역을 기초로 번호판에 포함된 문자를 인식함으로써, 번호판영역 검출 및 번호판 인식의 정확도를 향상시킬 수 있다.
또한, 본 발명의 실시예들은 전술한 다양한 시스템 또는 방법을 기초로 번호판에 포함된 문자를 인식하고 상기 인식된 문자로 보팅하여 문자인식결과를 추론함으로써, 번호판 인식의 정확도를 향상시킬 수 있다.
이상의 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1은 본 발명에 따른 차량 번호판 검출 및 인식 시스템의 일례를 예시적으로 나타낸 도면이다.
도 2는 본 발명에 따른 차량 번호판 검출 및 인식 장치의 일례를 예시적으로 나타낸 도면이다.
도 3 및 도 4는 번호판 검출부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 5는 본 발명에 따른 윤곽선 추정의 일례를 예시적으로 나타낸 도면이다.
도 6은 사각형 추정의 일례를 예시적으로 나타낸 도면이다.
도 7은 본 발명에 따른 사각형의 모서리 각도, 변의 길이의 일례를 예시적으로 나타낸 도면이다.
도 8은 이진화된 영상으로부터 추정된 사각형의 일례를 예시적으로 나타낸 도면이다.
도 9 및 도 10은 제1 번호판영역 검출부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 11 및 도 12는 제1 번호판영역 검출부에서 수행되는 번호판후보영역 생성 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 13 및 도 14는 제1 번호판영역 검출부에서 수행되는 번호판후보영역 결정 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 15 내지 도 17은 제1 문자영역 검출부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 18 및 도 19는 제2 문자영역 검출부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 20 및 도 21은 제2 문자영역 검출부에서 수행되는 제1 문자후보영역 조정 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 22 및 도 23은 제2 문자영역 검출부에서 수행되는 직선 검출 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 24 및 도 25는 제2 문자영역 검출부에서 수행되는 문자후보영역 추가 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 26 및 도 27은 제2 문자영역 검출부에서 수행되는 제2 문자후보영역 조정 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 28은 제2 번호판영역 검출부가 수행되는 일례를 예시적으로 나타낸 도면이다.
도 29 및 도 30은 문자 인식부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 31 및 도 32는 인식결과추론부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 33은 본 발명에 따른 차량 번호판 검출 및 인식 방법(500)의 일례를 예시적으로 나타낸 순서도이다.
도 34 및 도 35는 제1 번호판영역 검출단계에서 결정된 번호판영역을 기초로 인식된 문자로 보팅하는 일례를 예시적으로 나타낸 순서도이다.
도 36은 제1 문자영역 검출단계에서 검출되고 제2 문자영역 검출단계에서 보정한 문자후보영역을 기초로 인식된 문자로 보팅하는 일례를 예시적으로 나타낸 순서도이다.
도 37 및 도 38은 제1 문자영역 검출단계에서 검출된 문자후보영역을 제2 번호판영역 검출단계에서 보정하여 검출한 번호판영역을 기초로 인식된 문자로 보팅하는 일례를 예시적으로 나타낸 순서도이다.
도 39는 도 34 내지 도 38의 방법을 모두 사용하여 보팅하는 일례를 예시적으로 나타낸 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예들에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
또한, 이하에 첨부되는 도면들은 본 발명의 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
이하의 실시예들에서 개시되는 차량 번호판 검출 및 인식 시스템에 대해 각 도면을 참조하여 보다 구체적으로 살펴보기로 한다.
도 1은 본 발명에 따른 차량 번호판 검출 및 인식 시스템의 일례를 예시적으로 나타낸 도면이다.
도 1을 참조하면, 일 실시예에 따른 차량 번호판 검출 및 인식 시스템(100)은 차량 번호판 검출 및 인식 장치(200) 및 카메라(300)를 포함하여 구성된다. 차량 번호판 검출 및 인식 장치(200) 및 카메라(300)는 통신 네트워크로 연결될 수 있다.
여기에서, 통신 네트워크는 유선 또는 무선 통신망을 포함하는 넓은 개념의 네트워크를 의미할 수 있다.
차량 번호판 검출 및 인식 장치(200)는 카메라(300)와 연결될 수 있고 입력부(210) 내지 제어부(294)를 포함하여 구성될 수 있다. 차량 번호판 검출 및 인식 장치(200)의 각 구성은 도 2에서 살펴본다.
카메라(300)는 차량 번호판 검출 및 인식 장치(200)와 연결될 수 있고 차량의 번호판(400a, 400b)을 촬영하여 촬영된 영상정보를 통신 네트워크를 통해 차량 번호판 검출 및 인식 장치(200)에 전송할 수 있다.
도 2는 본 발명에 따른 차량 번호판 검출 및 인식 장치의 일례를 예시적으로 나타낸 도면이다.
도 2를 참조하면, 일 실시예에 따른 차량 번호판 검출 및 인식 장치(200)는 입력부(210), 번호판 검출부(220), 제1 번호판영역 검출부(230), 제2 번호판영역 검출부(240), 제1 문자영역 검출부(250), 제2 문자영역 검출부(260), 문자 인식부(270), 인식결과추론부(280), 송수신부(290), 데이터베이스(292) 및 제어부(294)를 포함하여 구성된다.
입력부(210)는 차량 번호판을 포함하는 영상정보를 송수신부(290)를 통해 카메라(300)로부터 전송받거나 데이터베이스(292)로부터 영상정보를 입력받을 수 있다.
번호판 검출부(220)에 대해 살펴보기에 앞서서 번호판 검출부(220), 제1 번호판영역 검출부(230) 및 제2 번호판영역 검출부(240)를 간략히 비교하면 다음과 같다.
번호판 검출부(220), 제1 번호판영역 검출부(230) 및 제2 번호판영역 검출부(240)는 모두 번호판영역을 검출하므로 유사한 기능을 수행한다.
그러나, 번호판 검출부(220)는 다양한 방법으로 번호판영역을 검출할 수 있다는 점에서 검출 방법이 특정된 제1 번호판영역 검출부(230) 및 제2 번호판영역 검출부(240)와 다르다. 여기에서, 다양한 방법에는 제1 번호판영역 검출부(230) 및 제2 번호판영역 검출부(240)에서 사용되는 방법은 제외된다.
제1 번호판영역 검출부(230)와 제2 번호판영역 검출부(240)는 서로 다른 특정한 방법으로 번호판영역을 검출한다는 점에서 차이가 있다.
이하, 번호판 검출부(220), 제1 번호판영역 검출부(230) 및 제2 번호판영역 검출부(240)에 대해 살펴본다.
번호판 검출부(220)는 입력부(210)로부터 전달받은 영상정보로부터 번호판영역을 검출할 수 있고 검출된 번호판영역을 제1 번호판영역 검출부(230)에 전달하거나 제1 문자영역 검출부(250)에 전달할 수 있다. 이 때에, 번호판 검출부(220)는 다양한 방법으로 번호판영역을 검출할 수 있는데 예를 들면 딥러닝과 같은 인공신경망을 이용하여 검출할 수 있다.
번호판 검출부(220)는 검출된 번호판영역을 제1 번호판영역 검출부(230)에 전달할 경우에는 검출된 번호판영역의 주변영역에 해당하는 영상정보를 함께 전달할 수 있다.
도 3 및 도 4는 본 발명에 따른 번호판 검출부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 3 및 도 4를 참조하면, 일 실시예에 따른 번호판 검출부(220)는 영상정보 및 영상정보에 존재하는 오토바이 차량의 좌표정보(예컨대, 오토바이의 윤곽선 정보)를 입력받아 오토바이 영역 이외의 픽셀의 값을 0으로 설정하고 번호판 검출 모델을 이용하여 번호판영역을 검출할 수 있고 검출된 번호판영역을 제1 번호판영역 검출부(230) 또는 제1 문자영역 검출부(250)에 전달할 수 있다.
이 때에, 도 3과 달리 번호판 검출부(220)는 오토바이 차량의 좌표정보를 직접 산출할 수도 있다.
또한, 전술한 바와 같이 번호판 검출부(220)는 번호판 검출 모델로 예컨대 딥러닝모델을 사용할 수 있다. 다만, 번호판 검출 모델은 딥러닝모델에 한정되지 않는다.
또한, 번호판 검출부(220)는 검출된 번호판영역을 제1 번호판영역 검출부(230)에 전달할 경우에는 검출된 번호판영역의 주변영역에 해당하는 영상정보를 함께 전달하기 위해 검출된 번호판영역 영상의 주변영역을 포함하여 검출된 번호판영역을 생성할 수 있다. 여기에서, 주변영역이란 예컨대 번호판영역을 포함하는 직사각형의 4 개의 변으로부터 직사각형의 외부로 상하좌우 각 20픽셀씩 확장시킨 영역을 의미할 수 있다.
이와 같이, 번호판 검출부(220)는 제1 번호판영역 검출부(230) 또는 제1 문자영역 검출부(250)에서 검출을 수행하기 이전에 번호판영역을 먼저 검출하여 제1 번호판영역 검출부(230) 또는 제1 문자영역 검출부(250)에서 번호판영역 또는 문자영역을 검출해야 하는 영상의 범위를 좁혀주므로 제1 번호판영역 검출부(230) 또는 제1 문자영역 검출부(250)에서는 다양한 방법을 빠르게 적용하여 번호판 검출 및 인식의 속도 및 정확도를 향상시킬 수 있다.
또한, 번호판 검출부(220)는 제1 번호판영역 검출부(230)에 검출된 번호판영역 및 그 주변영역을 함께 전달함으로써 번호판 검출부(220)가 번호판영역을 잘못 검출한 경우에도 제1 번호판영역 검출부(230)에서 정정이 가능하도록 하므로 번호판 검출 및 인식의 정확도를 향상시킬 수 있다.
제1 번호판영역 검출부(230)는 번호판 검출부(220)에서 검출된 번호판영역 및 그 주변영역에 해당하는 영상정보를 전달받고 전달받은 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판후보영역(제1 번호판영역)을 결정할 수 있다.
한편, 제1 번호판영역 검출부(230)는 번호판 검출부(220)로부터 영상정보를 전달받는 것이 아니라 입력부(210)로부터 직접 영상정보를 전달받을 수도 있다.
즉, 제1 번호판영역 검출부(230)는 입력부(210)로부터 영상정보를 전달받아 전달받은 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판후보영역(제1 번호판영역)을 결정할 수 있다.
제1 번호판영역 검출부(230)에서 번호판후보영역을 생성하고 번호판후보영역(제1 번호판영역)을 결정하는 방법에 대해 살펴본다.
번호판후보영역 생성과 관련하여, 제1 번호판영역 검출부(230)는 전달받은 영상정보를 서로 다른 임계값을 기준으로 이진화하거나 영상정보에 서로 다른 노이즈를 추가하여 이진화하고 윤곽선을 추정하여 번호판후보영역을 생성할 수 있다.
여기에서, 이진화란 영상정보의 각 픽셀의 값을 임계값(이하, 이진화 임계값)을 기준으로 흑색(0) 또는 백색(255)이 되도록 변경하는 것을 의미할 수 있다. 이진화 임계값이 번호판 경계의 픽셀의 값(A)과 번호판 경계를 둘러싸는 픽셀의 값(B)의 사이의 값(A와 B 사이의 값)으로 설정되면 이진화를 통해 번호판영역을 정확하게 검출할 수 있다.
그런데, 이진화 임계값을 A와 B 사이의 값으로 정확하게 계산하기 위해서는 번호판 경계의 픽셀과 번호판 경계를 둘러싸는 픽셀을 구별해야 하는데 이러한 구별이 어렵고 특히 A와 B의 값이 비슷한 경우에는 번호판영역을 외부와 구별하기 어려워서 A와 B 사이의 이진화 임계값을 계산하는 것은 더욱 어려울 수 있다.
따라서, 제1 번호판영역 검출부(230)는 이진화 임계값을 A와 B 사이의 값이 되도록 계산하는 것이 아니라 여러 개의 이진화 임계값을 미리 정해놓고 미리 정해진 임계값으로 이진화하여 여러 개의 번호판후보영역을 생성한 후에 번호판후보영역을 평가하여 번호판영역을 결정함으로써 A와 B의 값이 비슷한 경우라도 번호판 검출의 정확도를 향상시킬 수 있다. 번호판후보영역(제1 번호판영역)의 결정 방법은 후술한다.
또한 여기에서, 노이즈를 추가한다는 것은 영상정보의 픽셀 값에 변화를 주어 연속되어 배치된 픽셀들이 특정한 패턴을 가지지 못하도록 하는 것이다. 예를 들면, 연속되어 일렬로 배치된 픽셀들이 동일한 값을 가져서 특정한 길이의 직선 패턴을 갖는 경우에 이 픽셀들에 노이즈를 추가하면 특정한 길이의 직선 패턴이 사라질 수 있다.
번호판 경계와 번호판 경계의 주변에 서로 다른 양의 노이즈를 추가하면 번호판 경계를 번호판 경계의 주변과 구별하기 용이해질 수 있다. 예를 들면, 가우시안 노이즈를 추가하는 방법이 이에 해당할 수 있다.
가우시안 노이즈를 추가하면 영상정보에서 밝거나(픽셀 값이 큰 부분) 어두운 부분(픽셀 값이 작은 부분)일수록 노이즈가 적게 추가되고 중간 밝기를 가질수록(픽셀 값이 중간인 부분) 노이즈가 많이 추가될 수 있다.
가우시안 노이즈를 추가하면 영상정보에서 밝거나 어두운 부분을 제외한 나머지 부분은 노이즈가 많이 추가되어 패턴이 없어지지만 밝거나 어두운 부분은 노이즈가 적게 추가되어 패턴이 유지되므로 나머지 부분에 비해 패턴이 선명해진다.
그런데, 번호판의 경계는 물체의 모서리에 해당하고 통상적으로 물체의 모서리는 다른 부분보다 밝거나 어두울 수 있으므로 영상정보에 가우시안 노이즈를 추가하면 번호판의 경계를 구성하는 패턴(예컨대 사각형)이 선명해져서 번호판영역 검출의 정확도를 향상시킬 수 있다.
특히, 번호판 경계의 픽셀(C)의 값과 번호판 경계를 둘러싸는 픽셀(D)의 값이 비슷한 경우라도 모서리에 해당하는 C가 D보다는 더 밝거나 더 어두울 수 있으므로 가우시안 노이즈를 추가하면 C보다는 D에 노이즈가 많이 추가되어 C가 더 선명해질 수 있고 가우시안 노이즈가 추가된 영상을 이진화하면 추가된 노이즈의 양의 차이로 인해 C와 D가 더 명확하게 구별될 수 있으므로 번호판영역 검출의 정확도를 향상시킬 수 있다.
또한 여기에서, 윤곽선을 추정하는 방법으로 예컨대 캐니 에지 검출(canny edge detection)이 사용될 수 있다.
도 5는 본 발명에 따른 윤곽선 추정의 일례를 예시적으로 나타낸 도면이다.
도 5를 참조하면, 일 실시예에 따른 제1 번호판영역 검출부(230)가 이진화된 영상으로부터 윤곽선을 추정하면 노이즈로 인해 윤곽선을 구성하는 정점(포인트, 모서리)의 개수가 4개 이상인 다각형이 형성되는 것을 확인할 수 있다.
번호판후보영역 결정과 관련하여, 제1 번호판영역 검출부(230)는 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 모서리 개수, 모서리 각도, 변의 길이, 넓이 또는 이진화된 픽셀 값의 비율을 기초로 번호판영역을 결정할 수 있다.
여기에서, 번호판후보영역의 모서리 개수를 기초로 번호판영역을 결정하는 일례를 살펴보면 다음과 같다.
도 5와 달리, 윤곽선을 구성하는 정점(포인트, 모서리)의 개수가 4개라면 제1 번호판영역 검출부(230)는 번호판후보영역이 사각형으로 정상적으로 생성되었음을 알 수 있다. 즉, 제1 번호판영역 검출부(230)는 번호판후보영역의 모서리 개수를 기준으로 용이하게 번호판영역을 결정할 수 있다.
또한 여기에서, 번호판후보영역으로부터 사각형을 추정하는 방법과 관련하여 도 6을 살펴보고 사각형의 모서리 각도, 변의 길이와 관련하여 도 7을 살펴보고 사각형의 이진화된 픽셀 값의 비율과 관련하여 도 8을 살펴본다.
도 6은 사각형 추정의 일례를 예시적으로 나타낸 도면이다.
도 6을 참조하면, 일 실시예에 따른 사각형은 예컨대 Ramer-Douglas-Peucker 알고리즘을 이용하여 추정할 수 있는데 구체적으로, 다각형 추정 정확도와 관련된 파라미터(Ratio) 값을 사각형이 추정될 때까지 증가시키면서 도 5에서 추정된 윤곽선(다각형)을 구성하는 포인트(꼭지점, 모서리) 중 일부를 제거하면서 사각형을 추정할 수 있다.
도 6에서, Ratio 값이 1%에서 10%로 증가함에 따라 윤곽선을 구성하는 포인트(모서리) 개수가 점차 감소하고 Ratio 값이 10%일 때에 포인트(모서리) 개수가 4개가 되어 사각형이 추정됨을 알 수 있다.
이와 같이, 제1 번호판영역 검출부(230)는 번호판후보영역의 윤곽선으로부터 사각형이 추정되는지를 기준으로 용이하게 번호판영역을 결정할 수 있다.
도 7은 본 발명에 따른 사각형의 모서리 각도, 변의 길이의 일례를 예시적으로 나타낸 도면이다.
도 7을 참조하면, 일 실시예에 따른 사각형의 변의 길이는 도 6에서 추정된 사각형의 실제 변의 길이(예컨대, w1 또는 w2)에 해당할 수도 있고 계산의 편의를 위해 영상정보의 좌표축을 기준으로 사각형의 수직 높이(h1, h2) 또는 수평 너비로 갈음할 수도 있다. w1 및 w2은 사각형의 대향하는 두 변을 나타내고 인접하는 두 변의 사이 각이 모서리 각도(Angle)에 해당한다. 변의 길이는 변의 양쪽 끝에 존재하는 두 꼭지점 사이의 거리와 같고 모서리 각도는 두 벡터의 내적(inner product)을 이용하여 구할 수 있다. h1 및 h2는 사각형의 세로변의 두 꼭지점의 Y축 값의 차에 해당한다.
도 8은 이진화된 영상으로부터 추정된 사각형의 일례를 예시적으로 나타낸 도면이다.
도 8을 참조하면, 제1 번호판영역 검출부(230)가 입력영상(왼쪽)을 이진화하여 사각형을 추정(오른쪽)할 때에 추정된 사각형 r의 내부에 번호판 영역이 명백하게 아닌 영역(검은색 픽셀, e)이 포함될 수 있는데 이와 같은 사각형 r이 번호판영역으로 결정되는 것을 방지하기 위해 사각형의 내부의 픽셀 값의 흑백 비율(이진화 비율)을 계산하여 이진화 비율이 특정한 값 이상이면 사각형이 잘못 만들어진 것으로 판단하여 사각형을 제외시킬 수 있다.
구체적으로, 도 8에서 r 내부의 검은색 픽셀 값의 비율은 e 부분 때문에 정상적으로 검출된 이진화된 번호판 영역 내부의 검은색 픽셀 값의 비율보다 클 수 있는데 정상적으로 검출된 이진화된 번호판 영역 내부의 검은색 픽셀 값의 비율은 미리 용이하게 계산할 수 있으므로 미리 계산된 값을 기준으로 r을 번호판영역으로 결정할지 판단할 수 있다.
이와 같이, 제1 번호판영역 검출부(230)는 이진화 비율을 기준으로 번호판영역을 용이하게 결정할 수 있다.
도 9 및 도 10은 제1 번호판영역 검출부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 9 및 도 10을 참조하면, 일 실시예에 따른 제1 번호판영역 검출부(230)는 N 번 수행되고 매번(I 번째) 수행될 때에 입력영상에 대해서 bilateral filtering과 같은 사전 처리(전처리)를 하고 번호판후보영역을 생성 및 결정한 후에 번호판영역을 정규화(이미지 워핑, image warping)하여 크기가 동일한 직사각형으로 변환함으로써 기울어진 번호판을 정면에서 보는 것과 같은 효과를 얻고 이진화된 번호후보판영역의 픽셀 값의 흑백 비율(이진화 비율)이 특정값(40) 미만이면 정규화된 번호판후보영역을 제1 번호판영역으로 결정하고 N 개의 제1 번호판영역 후보 중 하나로 포함시킬 수 있고 특정값(40) 이상이면 I 번째 제1 번호판영역 검출을 다시 해야 하도록 구성될 수 있다.
도 9에서, 번호판후보영역을 결정한 후에 이진화 비율을 판단하여 제1 번호판영역을 결정하므로 번호판후보영역 결정과 제1 번호판영역 결정은 구별되어 있지만, 도 9와 달리, 결정된 번호판후보영역에 대한 이진화 비율 판단을 번호판후보영역을 결정하는 방법에 포함되는 것으로 보고 결정된 번호판후보영역과 제1 번호판영역을 동일하게 볼 수도 있다.
번호판후보영역 생성 및 번호판후보영역 결정은 도 11 내지 도 14에서 살펴본다.
도 11 및 도 12는 제1 번호판영역 검출부에서 수행되는 번호판후보영역 생성 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 11을 참조하면, 일 실시예에 따른 제1 번호판영역 검출부(230)는 입력영상을 수정(전처리)하고 수정된 입력영상에 노이즈 레벨(노이즈 강도)이 10인 랜덤노이즈(예컨대, 가우시안 랜덤 노이즈)를 추가한다.
또한, 제1 번호판영역 검출부(230)는 이와 같은 상태의 영상을 이진화하거나 이진화를 수행하기 전에 다시 랜덤노이즈를 추가할 수 있다. 제1 번호판영역 검출부(230)는 이진화를 하거나 노이즈를 추가할 때에 전술한 바와 같이 서로 다른 이진화 임계값(Thr) 또는 서로 다른 노이즈 레벨(NL)을 사용할 수 있다.
이 때에, 제1 번호판영역 검출부(230)는 이진화를 수행할 때에 다양한 이진화 임계값(Thr)을 사용하는데 각 이진화 임계값(Thr)은 20부터 255까지 미세한 차이(+3)를 가지도록 설정되므로 전술한 바와 같이 번호판 경계의 픽셀의 값(A)과 번호판 경계를 둘러싸는 픽셀의 값(B)이 비슷한 경우라도 이진화를 통해 A와 B를 흑색과 백색으로 구별할 수 있어서 번호판영역 검출의 정확도를 향상시킬 수 있다.
또한 이 때에, 제1 번호판영역 검출부(230)는 노이즈를 추가할 때에 다양한 노이즈 레벨(NL, 노이즈 강도)을 사용하는데 각 노이즈 레벨(NL)은 0부터 30까지 미세한 차이(+3)를 가지도록 설정되므로 번호판 경계의 픽셀(C)의 값과 번호판 경계를 둘러싸는 픽셀(D)의 값이 비슷한 경우라도 C와 D에 추가되는 노이즈의 양이 다양해져서 C와 D가 더 명확하게 구별될 수 있다. 따라서, 번호판영역 검출의 정확도를 향상시킬 수 있다.
또한, 제1 번호판영역 검출부(230)는 랜덤노이즈를 추가하고 이진화를 한 영상에서 윤곽선을 추정하여 윤곽선을 포함하는 직사각형의 높이(h), 너비(w)의 비율이 2보다 작고 윤곽선으로 구성되는 다각형의 넓이가 9000이하인 경우이거나 윤곽선으로 구성되는 다각형의 포인트(모서리) 개수가 4개이고 넓이가 2400이상인 경우에만 추정된 윤곽선을 번호판후보영역에 포함시킴으로써 번호판후보영역을 생성할 수 있다.
여기에서, 윤곽선을 포함하는 직사각형의 높이와 너비는 도 5와 같이 추정된 윤곽선을 구성하는 꼭지점의 좌표들 중에서 X축, Y축 각각에 대한 최소값과 최대값을 구하여 최소값으로 구성되는 좌표와 최대값으로 구성되는 좌표를 연결한 선분을 대각선으로 하는 직사각형의 높이와 너비에 해당할 수 있다. 포인트(모서리) 개수는 도 5 및 도 6에서 살펴본 바와 같다.
또한 여기에서, 윤곽선을 포함하는 직사각형의 높이, 너비의 비율 또는 포인트(모서리) 개수, 넓이는 검출하고자 하는 번호판의 기하학적 특징에 따라 변할 수 있고 도 11은 일 실시예에 불과하므로 직사각형의 높이, 너비의 비율 또는 포인트(모서리) 개수, 넓이의 값은 도 11의 값들에 한정되지 않는다.
또한 여기에서, 윤곽선을 포함하는 직사각형의 높이, 너비의 비율 또는 포인트(모서리) 개수에 따라서 추정된 윤곽선이 번호판후보영역에 포함될지 여부가 결정되므로 이와 같은 판단은 번호판후보영역 결정 방법에 해당한다.
이와 같이, 제1 번호판영역 검출부(230)는 이진화 임계값을 변화시킬 뿐만 아니라 랜덤한 노이즈(예컨대, 가우시안 랜덤 노이즈)를 추가하고 노이즈 레벨(노이즈 강도)을 변화시킨 노이즈를 추가함으로써 동일한 입력영상에 대해서 다양한 윤곽선이 추정되어 다양한 번호판후보영역이 생성될 수 있다.
도 12를 참조하면, 제1 번호판영역 검출부(230)는 입력영상으로부터 추가되는 노이즈 및 이진화 임계값을 변화시키면서 다양한 이진 영상을 생성할 수 있다.
도 13 및 도 14는 제1 번호판영역 검출부에서 수행되는 번호판후보영역 결정 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 13을 참조하면, 일 실시예에 따른 제1 번호판영역 검출부(230)는 번호판후보영역들에 대해서 번호판후보영역의 윤곽선으로부터 Ramer-Douglas-Peucker 알고리즘을 이용하여 다각형을 추정하고 다각형의 모서리가 4개라면 즉, 사각형이 추정된다면 번호판후보영역에 포함시키고 사각형이 추정되지 않는다면 번호판후보영역에서 제외시킨다.
이 때에, 제1 번호판영역 검출부(230)는 다각형을 추정할 때에 다각형 추정 정확도와 관련된 파라미터(Ratio)의 값으로 다양한 값을 사용하는데 각 Ratio 값은 10부터 15까지 미세한 차이(+0.1)를 가지도록 설정되므로 다양한 다각형이 추정될 수 있어서 번호판영역 검출의 정확도를 향상시킬 수 있다.
여기에서, Ramer-Douglas-Peucker 알고리즘은 윤곽선을 구성하는 포인트(꼭지점, 모서리) 중 일부를 제거하면서 다각형을 추정하는 것으로서 이 때에 Ratio 값이 증가할수록 꼭지점의 개수가 적은 다각형이 추정되므로 사각형이 추정될 확률이 높아질 수 있다.
또한, 제1 번호판영역 검출부(230)는 추정된 사각형의 모서리 각도 값이 60도에서 120도 사이에 해당하고 대향하는 변의 길이 차이 값(w1-w2 및 h1-h2)이 5보다 작아야 번호판후보영역에 포함시키고 그렇지 않으면 번호판후보영역에서 제외시킬 수 있다.
여기에서, 모서리 각도, w1, w2, h1 및 h2는 도 7과 관련하여 살펴본 바와 같고 이진화 비율은 도 8에서 살펴본 바와 같다.
또한, 도 9에서 살펴본 바와 같이 이진화 비율 판단을 번호판후보영역을 결정하는 방법에 포함시킨다면 이진화 비율이 40보다 작아야 번호판후보영역에 포함시키고 그렇지 않으면 번호판후보영역에서 제외시킬 수 있다.
또한, 제1 번호판영역 검출부(230)는 사각형의 대향하는 변의 길이 차이 값의 합(w1-w2 와 h1-h2의 합)이 최소가 되는 번호판후보영역을 최종 번호판후보영역으로 결정할 수 있다.
한편, 도 13에서 번호판후보영역을 결정하기 위한 구체적인 방법 및 값들은 번호판의 기하학적 특징 등에 따라서 변경될 수 있으므로 본 발명은 도 13에 도시된 방법에 한정되는 것은 아니다.
도 14를 참조하면, 제1 번호판영역 검출부(230)는 도 13의 알고리즘에 따라 사각형을 추정하고 추정된 사각형들 중에서 평행사변형 또는 직사각형의 형상에 가까운 사각형들만 번호판후보영역으로 선택하고 선택된 번호판후보영역 중에서 최종 번호판후보영역(제1 번호판영역)을 결정한다.
이와 같이, 제1 번호판영역 검출부(230)는 다양한 방법으로 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판후보영역(제1 번호판영역)을 결정함으로써 번호판 검출 및 인식의 정확도를 향상시킬 수 있다.
또한, 제1 번호판영역 검출부(230)는 번호판 검출부(220)로부터 번호판영역 및 그 주변영역을 입력받는 경우에는 번호판 검출부(220)에서 검출된 번호판영역 및 그 주변영역에 해당하는 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판후보영역(제1 번호판영역)을 결정함으로써 번호판 검출부(220)에서 검출된 번호판영역을 정정할 수 있고 번호판 검출부(220)에서 검출된 번호판영역 및 주변영역에 대해서만 번호판후보영역을 다시 검출하므로 번호판 검출 및 인식의 속도 및 정확도를 향상시킬 수 있다.
또한, 제1 번호판영역 검출부(230)는 번호판 검출부(220)에서 검출된 번호판영역에 대해서 번호판영역을 다시 검출하므로 번호판 검출부(220)에서 사용하는 번호판 검출 모델을 보완할 수 있다. 예컨대, 제1 번호판영역 검출부(230)는 번호판 검출부(220)에서 사용하는 딥러닝 모델을 보완할 수 있다.
제2 번호판영역 검출부(240)는 문자영역 검출과 관련되므로 제1 문자영역 검출부(250) 및 제2 문자영역 검출부(260)를 살펴본 후에 설명한다.
제1 문자영역 검출부(250)에 대해 살펴보기에 앞서서 제1 문자영역 검출부(250) 및 제2 문자영역 검출부(260)를 간략히 비교하면 다음과 같다.
제1 문자영역 검출부(250) 및 제2 문자영역 검출부(260)는 모두 문자영역을 검출하므로 유사한 기능을 수행한다.
그러나, 제1 문자영역 검출부(250)는 다양한 방법으로 번호판영역을 검출할 수 있다는 점에서 검출 방법이 특정된 제2 문자영역 검출부(260)와 다르다. 여기에서, 다양한 방법에는 제2 문자영역 검출부(260)에서 사용되는 방법은 제외된다.
이하, 제1 문자영역 검출부(250) 및 제2 문자영역 검출부(260)에 대해 살펴본다.
제1 문자영역 검출부(250)는 입력부(210)로부터 영상정보를 전달받거나 번호판영역 검출부(220), 제1 번호판영역 검출부(230) 또는 제2 번호판영역 검출부(240)로부터 번호판영역, N 개의 제1 번호판영역(제1 번호판영역 후보) 또는 제2 번호판영역(이하, 번호판영역)에 해당하는 영상정보를 전달받고 전달받은 영상정보로부터 문자검출모델을 이용하여 문자후보영역을 검출할 수 있고 검출된 제1 문자후보영역을 제2 문자영역 검출부(260), 제2 번호판영역 검출부(240) 또는 문자 인식부(270)에 전달할 수 있다. 이 때에, 제1 문자영역 검출부(250)는 다양한 방법으로 제1 문자후보영역을 검출할 수 있는데 예를 들면 딥러닝과 같은 인공신경망을 이용할 수도 있다.
도 15 내지 도 17은 제1 문자영역 검출부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 15 내지 도 17를 참조하면, 일 실시예에 따른 제1 문자영역 검출부(250)는 문자검출모델을 이용하여 입력영상 또는 번호판영역에 해당하는 영상정보로부터 제1 문자후보영역을 검출하여 문자들의 좌표 정보를 생성할 수 있다.
여기에서, 도 16의 한 개의 입력영상은 입력부(210) 또는 제2 번호판영역 검출부(240)로부터 전달받을 수 있고 도 17의 N개의 제1 번호판영역(제1 번호판영역 후보)에 해당하는 입력영상은 제1 번호판영역 검출부(230)로부터 전달받을 수 있다. 도 16의 입력영상과 도 17의 제1 번호판영역 후보는 번호판영역이 정규화(warping) 되었는지 여부에 차이가 있다.
이 때에, 전술한 바와 같이 문자검출모델로 예컨대 딥러닝모델이 사용될 수 있다. 다만, 문자검출모델은 딥러닝모델에 한정되지 않는다.
이와 같이, 제1 문자영역 검출부(250)는 제2 문자영역 검출부(260) 또는 제2 번호판영역 검출부(240)에서 검출을 수행하기 이전에 문자영역을 먼저 검출함으로써 제2 문자영역 검출부(260)에서 문자영역 검출의 정확도를 향상시킬 수 있고 제2 번호판영역 검출부(240)에서 번호판영역을 검출해야 하는 영상의 범위를 좁혀주므로 번호판영역 검출의 속도 및 정확도를 향상시킬 수 있다.
제2 문자영역 검출부(260)는 제1 문자영역 검출부(250)로부터 문자후보영역을 전달받아서 문자후보영역의 기하학적 특징을 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정할 수 있다.
이 때에, 제2 문자영역 검출부(260)는 문자후보영역의 높이, 위치 또는 중복되는 영역의 넓이를 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정할 수 있다.
또한 이 때에, 제2 문자영역 검출부(260)는 문자후보영역의 중심위치로부터 거리의 합이 최소 값이 되는 하나 이상의 직선을 산출하고 중심위치가 직선에 근접한 새로운 문자영역을 검출하여 문자후보영역에 추가할 수 있다.
도 18 및 도 19는 제2 문자영역 검출부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 18을 참조하면, 일 실시예에 따른 제2 문자영역 검출부(260)는 문자후보영역을 전달받아서 문자후보영역을 조정(보정)하고 직선을 검출하고 영상을 전처리 및 이진화한 후에 문자후보영역을 추가(보정)하고 다시 문자후보영역을 조정(보정)하여 1차 문자후보군을 검출할 수 있다. 여기에서, 1차 문자후보군은 번호판의 문자 배열 형식에 비교적 독립적으로 검출되는 문자영역에 해당할 수 있다.
그런데, 제2 문자영역 검출부(260)는 검출된 1차 문자후보군의 문자영역을 기초로 특정한 번호판(예컨대, 특정 국가의 번호판)의 문자 배열 형식에 따라 문자영역을 더 보정함으로써 문자영역 검출의 정확도를 향상시킬 수 있다.
예를 들면, 도 18에서, 제2 문자영역 검출부(260)는 윗줄에는 4개의 문자가 배열되고 아랫줄에는 5개의 문자가 배열되는 형식의 번호판에서 윗줄 또는 아랫줄의 문자영역 중 일부가 미검출된 경우에 이웃하는 문자영역 사이의 평균 거리를 구하고 이웃하는 문자영역 R1 및 R2 사이의 거리가 평균 거리에 1.3을 곱한 값보다 크다면 R1 및 R2 사이의 지역에 대해 다시 문자영역을 검출하여 문자후보영역에 추가할 수 있다.
도 19를 참조하면, 일 실시예에 따른 제2 문자영역 검출부(260)는 중복검출되거나 오검출되거나 미검출된 문자후보영역을 제1 문자영역 검출부(250)로부터 입력 받더라도 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하거나 새로운 문자영역을 문자후보영역에 추가하여 문자후보영역을 보정할 수 있다.
도 18의 제1 문자후보영역 조정, 직선 검출, 문자후보영역 추가, 제2 문자후보영역 조정은 각각 도 20, 도 22, 도 24, 도 26에서 살펴본다.
도 20 및 도 21은 제2 문자영역 검출부에서 수행되는 제1 문자후보영역 조정 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 20 및 도 21를 참조하면, 일 실시예에 따른 제2 문자영역 검출부(260)는 M개의 문자후보영역을 입력받고 서로 다른 두 개의 문자후보영역을 비교하면서 두 영역간 중복되는 영역이 80%이상인 경우에는 두 영역을 병합할 수 있다.
또한, 제2 문자영역 검출부(260)는 문자후보영역의 평균높이를 계산하고 각 후보 영역의 높이가 평균의 60%보다 작다면 오검출된 문자후보영역으로 간주하고 후보 영역에서 제외(삭제)할 수 있다.
또한, 제2 문자영역 검출부(260)는 각 후보 영역의 높이가 평균의 60% 이상이면서 80%보다 작다면 후보 영역의 높이를 평균 높이로 조정할 수 있다.
도 22 및 도 23은 제2 문자영역 검출부에서 수행되는 직선 검출 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 22 및 도 23를 참조하면, 일 실시예에 따른 제2 문자영역 검출부(260)는 M개의 문자후보영역을 입력받고 임의의 서로 다른 두 개의 문자후보영역의 중심위치를 지나는 직선 L을 구하고 M개의 문자후보영역의 중심위치와 직선 L 사이의 거리를 구하여 거리가 D이하이면 거리값을 누적하고 D보다 크면 누적시키지 않는다. 제2 문자영역 검출부(260)는 이러한 방법으로 구한 M*(M-1)개의 직선 L에 대해서 거리값이 최소인 직선 L을 직선 1로 설정할 수 있다.
여기에서, 문자후보영역의 중심위치는 문자후보영역을 구성하는 4개의 꼭지점의 좌표 값으로부터 계산할 수 있는데, 예컨대 4개의 꼭지점의 좌표 값으로부터 X축 및 Y축 각각에 대해 최대값 및 최소값을 구하고 최대값 및 최소값을 합산하고 합산한 값을 2로 나눈 값을 X축 및 Y축에 대한 문자후보영역의 중심위치로 설정할 수 있다.
또한 여기에서, 직선 L과 문자후보영역의 중심위치 사이의 거리가 D보다 크면 거리값을 누적시키지 않는 이유는 도 23에서 번호판의 윗줄을 지나는 직선 L을 구할 때에는 직선 L로부터 거리가 D보다 큰 아랫줄에 위치한 문자후보영역을 제외하기 위함이다. 따라서, D의 값은 아랫줄에 위치한 문자후보영역을 제외하기 위해서 충분히 큰 값으로 정하는 것이 바람직하다.
또한 여기에서, 직선 L에 대해서 거리값이 최소인 직선 L을 직선 1로 설정하는 이유는 도 23에서 예컨대 윗줄에 위치한 문자후보영역들의 중심위치를 가장 잘 관통하는 직선을 구하기 위함이다.
또한, 제2 문자영역 검출부(260)는 직선 1을 구한 후에는 직선 1과 거리가 D 이하인 후보영역을 후보영역에서 제외한다. 예컨대, 도 23에서 직선 1이 윗줄에 위치한 문자후보영역의 중심을 가장 잘 관통하는 직선인 경우에 윗줄에 위치한 문자후보영역을 제외하고 아랫줄에 위치한 문자후보영역에 대해서 직선 2를 구하기 위함이다.
또한, 제2 문자영역 검출부(260)는 직선 1과 거리가 D 이하인 후보영역을 후보영역에서 제외하고 남은 P개의 후보영역에 대해서 직선 1을 구한 방법과 동일한 방법으로 직선 2를 구할 수 있다.
여기에서, 직선 1 및 직선 2를 구한 것은 번호판이 두 줄로 구성된 경우에만 유용할 수 있다. 즉, 도 22 및 도 23에서 직선을 2개 검출하는 것은 일례에 불과하므로 제2 문자영역 검출부(260)에서 산출하는 직선의 개수는 2개로 한정되지 않는다.
도 24 및 도 25는 제2 문자영역 검출부에서 수행되는 문자후보영역 추가 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 24를 참조하면, 일 실시예에 따른 제2 문자영역 검출부(260)는 직선 1 및 직선 2를 계산한 후에 기존의 문자영역은 모두 삭제하고 새롭게 중심선(직선 1 및 직선 2)을 기준으로 문자영역을 추출할 수 있다. 구체적으로, 제2 문자영역 검출부(260)는 이진화 영상에 대해서 윤곽선을 추출하고 라벨링을 하여 라벨링된 영역이 M개라면 M개의 라벨링된 영역에 대해 라벨링된 영역의 사이즈 비율을 검사하여 일정한 기준을 만족하고 라벨링된 영역의 중심이 직선 1 또는 직선 2 근처에 존재하며 라벨링된 영역의 이진화 비율을 검사하여 통과한 경우에만 라벨링된 영역을 문자후보영역에 추가할 수 있다.
여기에서, 라벨링된 영역의 사이즈 비율을 검사하는 기준의 일례로서 제2 문자영역 검출부(260)는 라벨링된 영역을 둘러싸는 직사각형의 너비가 높이의 2배 미만인 경우 또는 직사각형의 면적이 일정 범위 이내인 경우에만 기준을 만족한 것으로 정할 수 있다.
또한 여기에서, 라벨링된 영역의 중심(중심위치)이 직선 1 또는 직선 2 근처에 존재한다는 것은 라벨링된 영역의 중심(중심위치)과 직선 1 또는 직선 2 사이의 거리가 일정한 값보다 작다는 것을 의미할 수 있다. 라벨링된 영역의 중심(중심위치)은 전술한 문자후보영역의 중심위치를 구하는 방법과 동일한 방법으로 구할 수 있다.
또한 여기에서, 이진화 비율을 검사하는 일례로서 제2 문자영역 검출부(260)는 이진화 비율이 40보다 작아야 검사를 통과하도록 정할 수 있다.
도 25를 참조하면, 제2 문자영역 검출부(260)가 입력받은 문자후보영역에서 미검출된 문자가 있더라도 제2 문자영역 검출부(260)는 이진화 및 윤곽선을 검출하고 검출된 윤곽선을 라벨링하여 문자영역을 새로 검출하므로 문자영역의 중심위치가 산출된 직선 1 또는 직선 2에 근접한 경우에는 미검출된 문자영역이 문자후보영역에 추가될 수 있다.
한편, 제2 문자영역 검출부(260)는 문자후보영역 중에서 문자후보영역의 중심위치와 직선 1 또는 직선 2 사이의 거리가 일정한 값 이상이면 문자후보영역을 제외할 수 있다. 이와 같은 방법으로, 제2 문자영역 검출부(260)는 도 23에 표시된 오 검출된 문자영역을 문자후보영역에서 제외시킬 수 있다.
도 26 및 도 27은 제2 문자영역 검출부에서 수행되는 제2 문자후보영역 조정 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 26 및 도 27를 참조하면, 일 실시예에 따른 제2 문자영역 검출부(260)는 M개의 문자후보영역을 입력받고 서로 다른 두 개의 문자후보영역을 비교하면서 두 영역간 중복되는 영역이 80%이상인 경우에는 두 영역을 병합하고 두 영역간 중복되는 영역이 80% 미만이면서 30% 이상인 경우에는 두 영역 중 작은 사이즈의 영역을 후보영역에서 삭제할 수 있다.
또한, 제2 문자영역 검출부(260)는 문자후보영역의 평균높이를 계산하고 각 후보 영역의 높이가 평균의 60%보다 작거나 같다면 오검출된 문자후보영역으로 간주하고 후보 영역에서 제외(삭제)할 수 있다.
또한, 제2 문자영역 검출부(260)는 각 후보 영역의 높이가 평균의 60% 보다 크면서 80%보다 작거나 같다면 후보 영역의 높이를 평균 높이로 조정할 수 있다.
이와 같이, 제2 문자영역 검출부(260)는 제1 문자영역 검출부(250)에서 검출된 문자후보영역을 보완함으로써 문자영역 검출의 정확도를 향상시킬 수 있다.
또한, 제2 문자영역 검출부(260)는 제1 문자영역 검출부(250)에서 사용하는 문자 검출 모델을 보완할 수 있다. 예컨대, 제2 문자영역 검출부(260)는 제1 문자영역 검출부(250)에서 사용하는 딥러닝 모델을 보완할 수 있다.
전술한 바와 같이, 제1 문자영역 검출부(250) 및 제2 문자영역 검출부(260)에 대해 살펴보았으므로 제2 번호판영역 검출부(240)에 대해서 살펴본다.
우선, 간단히 살펴보면, 제2 번호판영역 검출부(240)는 제2 문자영역 검출부(260)와 매우 유사한데 보정된 문자후보영역을 포함하는 번호판영역을 검출한다는 점에서 가장 큰 차이가 있다.
제2 번호판영역 검출부(240)는 제1 문자영역 검출부(250)로부터 제1 문자후보영역을 전달받아서 제1 문자후보영역의 기하학적 특징을 기초로 제1 문자후보영역을 병합 또는 삭제하거나 제1 문자후보영역의 크기를 조정하거나 새로운 문자영역을 제1 문자후보영역에 추가하여 제1 문자후보영역을 보정하고 보정된 제1 문자후보영역을 포함하는 제2 번호판영역을 검출할 수 있다.
이 때에, 제2 번호판영역 검출부(240)는 제1 문자후보영역의 높이, 위치 또는 중복되는 영역의 넓이를 기초로 제1 문자후보영역을 병합 또는 삭제하거나 제1 문자후보영역의 크기를 조정할 수 있다.
또한 이 때에, 제2 번호판영역 검출부(240)는 제1 문자후보영역의 중심위치로부터 거리의 합이 최소 값이 되는 하나 이상의 직선을 산출하고 중심위치가 직선에 근접한 새로운 문자영역을 검출하여 제1 문자후보영역에 추가할 수 있다.
또한, 제2 번호판영역 검출부(240)는 보정된 제1 문자후보영역을 포함하는 제2 번호판영역을 검출할 때에 번호판영역을 정규화(warping)를 할 수 있다.
도 28은 제2 번호판영역 검출부가 수행되는 일례를 예시적으로 나타낸 도면이다.
도 28를 참조하면, 일 실시예에 따른 제2 번호판영역 검출부(240)는 문자후보영역을 전달받아서 문자후보영역을 보정하고 보정된 문자후보영역을 포함하는 제2 번호판영역을 검출하며 검출된 제2 번호판영역을 정규화(warping)하여 출력할 수 있다. 여기에서, 문자후보영역 보정은 문자후보영역의 병합, 삭제, 크기 조정 또는 추가 중 적어도 하나를 통해 이루어질 수 있다.
이 때에, 미검출된 문자영역의 추가는 제2 문자영역 검출부(260)와 마찬가지로 문자영역의 중심을 관통하는 직선을 검출하고 검출된 직선에 중심을 두는 문자영역을 새로 검출함으로써 수행될 수 있다.
이와 같이, 제2 번호판영역 검출부(240)는 제1 문자영역 검출부(250)에서 검출된 문자후보영역을 보정하고 보정된 문자후보영역을 포함하는 제2 번호판영역을 검출하므로 번호판영역 검출의 속도 및 정확도를 향상시킬 수 있다.
문자 인식부(270)는 번호판영역 또는 문자후보영역을 기초로 번호판에 포함된 문자를 인식할 수 있고 문자 인식을 위해 딥러닝 모델을 사용할 수 있다.
도 29 및 도 30는 문자 인식부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 29 및 도 30를 참조하면, 일 실시예에 따른 문자 인식부(270)는 번호판 영상 및 문자후보영역을 입력 받아서 문자후보영역에 해당하는 문자를 인식할 수 있다. 이 때에, 번호판의 문자 배열에 특정한 규칙이 정해져 있는 경우에는 그 규칙을 적용하여 문자를 인식함으로써 문자인식의 속도 및 정확도를 향상시킬 수 있다.
도 29는 아랫줄에는 숫자만 배열되고 윗줄에서는 세번째 위치만 알파벳이고 나머지 위치는 숫자가 배열되도록 정해져 있는 번호판을 인식하는 알고리즘을 나타낸다. 따라서, 아랫줄의 문자후보영역에 대해서 숫자로만 인식되도록 강제하여 문자후보영역이 숫자 이외의 문자로 잘못인식되는 것을 방지할 수 있다.
인식결과추론부(280)는 문자 인식부(270)에서 인식된 문자로 보팅하여 문자인식결과를 추론할 수 있다.
구체적으로, 인식결과추론부(280)는 동일한 영상정보에 대해서 (i) 제1 번호판영역 검출부(230)에서 결정된 제1 번호판영역, (ii) 제1 문자영역 검출부(250)에서 검출되고 제2 문자영역 검출부(260)에서 보정한 제2 문자후보영역 및 (iii) 제1 문자영역 검출부(250)에서 검출된 문자후보영역을 제2 번호판영역 검출부(240)에서 보정하여 검출한 제2 번호판영역 중 적어도 하나 이상을 기초로 인식된 문자로 보팅하여 문자인식결과를 추론할 수 있다.
예를 들면, 인식결과추론부(280)는 제1 번호판영역 검출부(230)에서 결정된 N개의 제1 번호판영역을 기초로 인식된 문자열로 보팅하여 N개의 문자열 중에서 가장 많이 존재하는 문자열을 최종 인식 결과로 산출할 수 있다.
(i), (ii), (iii)과 관련하여 도 34 내지 도 39에서 살펴본다.
도 31 및 도 32는 인식결과추론부에서 수행되는 알고리즘의 일례를 예시적으로 나타낸 도면이다.
도 31 및 도 32를 참조하면, 일 실시예에 따른 인식결과추론부(280)는 문자열 후보들을 입력 받고 후보 문자열의 윗줄 문자열에 대해서 4개의 문자가 존재하고 문자열 후보가 2 이상인 경우에만 문자열 후보의 문자열에 대해서 각 위치 별 문자로 보팅하여 최대 보팅 횟수와 두번째 최대 보팅 횟수가 다른 경우에 최대 보팅 횟수를 갖는 문자를 인식결과로 추론하고 최대 보팅 횟수와 두번째 최대 보팅 횟수가 동일한 경우에는 “?” 문자를 인식결과로 추론할 수 있다.
또한, 인식결과추론부(280)는 후보 문자열의 아랫줄 문자열에 대해서 5개의 문자가 존재해야 후보 문자열이 보팅 대상이 된다는 점에서만 차이가 있을 뿐 윗줄의 문자열에 대한 알고리즘과 동일한 방법으로 인식결과를 추론할 수 있다.
도 31은 윗줄에는 4개의 문자가 배열되고 아랫줄에는 5개의 문자가 배열되도록 정해져 있는 번호판에 대해서 문자열을 보팅하는 알고리즘을 나타내는 것이므로 번호판 인식결과 추론의 일례에 불과하다.
이와 같이, 인식결과추론부(280)는 다양한 방법으로 인식된 문자를 보팅하여 인식결과를 추론하므로 번호판 인식의 정확도를 향상시킬 수 있다.
송수신부(290)는 입력부(210)가 카메라(300)로부터 영상정보를 수신할 수 있도록 할 수 있다.
데이터베이스(292)는 영상정보 등을 저장할 수 있다.
이러한 데이터베이스(292)는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하여 지칭하며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스의 범주안에 포함된다.
제어부(294)는 차량 번호판 검출 및 인식 시스템(200)의 전체적인 동작을 제어하고, 입력부(210), 번호판 검출부(220), 제1 번호판영역 검출부(230), 제2 번호판영역 검출부(240), 제1 문자영역 검출부(250), 제2 문자영역 검출부(260), 문자 인식부(270), 인식결과추론부(280), 송수신부(290) 및 데이터베이스(292)간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
도 33은 본 발명에 따른 차량 번호판 검출 및 인식 방법(500)의 일례를 예시적으로 나타낸 순서도이다.
도 33을 참조하면, 일 실시예에 따른 차량 번호판 검출 및 인식 방법(500)은 입력단계(S510), 번호판 검출단계(S520), 제1 번호판영역 검출단계(S530), 제2 번호판영역 검출단계(S540), 제1 문자영역 검출단계(S550), 제2 문자영역 검출단계(S560), 문자 인식단계(S570), 인식결과추론단계(S580)를 포함하여 구성된다.
입력단계(S510)에서, 차량 번호판 검출 및 인식 시스템(200)은 차량 번호판을 포함하는 영상정보를 송수신부(290)를 통해 카메라(300)로부터 전송받거나 데이터베이스(292)로부터 영상정보를 입력받을 수 있다.
번호판 검출단계(S520)에서, 차량 번호판 검출 및 인식 시스템(200)은 입력단계(S510)에서 전달받은 영상정보로부터 번호판영역을 검출할 수 있다. 이 때에, 차량 번호판 검출 및 인식 시스템(200)은 다양한 방법으로 번호판영역을 검출할 수 있는데 예를 들면 딥러닝을 이용할 수도 있다.
제1 번호판영역 검출단계(S530)에서, 차량 번호판 검출 및 인식 시스템(200)은 입력단계(S510)에서 입력받은 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판후보영역(제1 번호판영역)을 결정할 수 있다.
또한, 차량 번호판 검출 및 인식 시스템(200)은 번호판 검출단계(S520)에서 검출된 번호판영역 및 그 주변영역에 해당하는 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판후보영역(제1 번호판영역)을 결정할 수 있다.
이 때에, 차량 번호판 검출 및 인식 시스템(200)은 영상정보를 서로 다른 임계값을 기준으로 이진화하거나 영상정보에 서로 다른 노이즈를 추가하여 이진화하고 윤곽선을 추정하여 번호판후보영역을 생성할 수 있다.
또한 이 때에, 차량 번호판 검출 및 인식 시스템(200)은 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 모서리 개수, 모서리 각도, 변의 길이, 넓이 또는 이진화된 픽셀 값의 비율을 기초로 번호판후보영역(제1 번호판영역)을 결정할 수 있다.
제2 번호판영역 검출단계(S540)에서, 차량 번호판 검출 및 인식 시스템(200)은 제1 문자영역 검출단계(S550)에서 검출된 제1 문자후보영역의 기하학적 특징을 기초로 제1 문자후보영역을 병합 또는 삭제하거나 제1 문자후보영역의 크기를 조정하거나 새로운 문자영역을 제1 문자후보영역에 추가하여 제1 문자후보영역을 보정하고 보정된 제1 문자후보영역을 포함하는 제2 번호판영역을 검출할 수 있다.
이 때에, 차량 번호판 검출 및 인식 시스템(200)은 제1 문자후보영역의 높이, 위치 또는 중복되는 영역의 넓이를 기초로 제1 문자후보영역을 병합 또는 삭제하거나 제1 문자후보영역의 크기를 조정할 수 있다.
또한 이 때에, 차량 번호판 검출 및 인식 시스템(200)은 제1 문자후보영역의 중심위치로부터 거리의 합이 최소 값이 되는 하나 이상의 직선을 산출하고 중심위치가 직선에 근접한 새로운 문자영역을 검출하여 제1 문자후보영역에 추가할 수 있다.
또한, 차량 번호판 검출 및 인식 시스템(200)은 보정된 제1 문자후보영역을 포함하는 제2 번호판영역을 검출할 때에 번호판영역을 정규화(warping)를 할 수 있다.
제1 문자영역 검출단계(S550)에서, 차량 번호판 검출 및 인식 시스템(200)은 입력단계(S510)에서 입력받은 영상정보 또는 번호판영역 검출단계(S520), 제1 번호판영역 검출단계(S530) 또는 제2 번호판영역 검출단계(S540)에서 전달받은 번호판영역, N 개의 제1 번호판영역(제1 번호판영역 후보) 또는 제2 번호판영역(이하, 번호판영역)에 해당하는 영상정보로부터 문자검출모델을 이용하여 제1 문자후보영역을 검출할 수 있다. 이 때에, 차량 번호판 검출 및 인식 시스템(200)은 다양한 방법으로 제1 문자후보영역을 검출할 수 있는데 예를 들면 딥러닝을 이용할 수도 있다.
제2 문자영역 검출단계(S560)에서, 차량 번호판 검출 및 인식 시스템(200)은 제1 문자영역 검출단계(S550)에서 검출된 제1 문자후보영역의 기하학적 특징을 기초로 제1 문자후보영역을 병합 또는 삭제하거나 제1 문자후보영역의 크기를 조정하거나 새로운 문자영역을 제1 문자후보영역에 추가하여 제1 문자후보영역을 보정할 수 있다.
이 때에, 차량 번호판 검출 및 인식 시스템(200)은 제1 문자후보영역의 높이, 위치 또는 중복되는 영역의 넓이를 기초로 제1 문자후보영역을 병합 또는 삭제하거나 제1 문자후보영역의 크기를 조정할 수 있다.
또한 이 때에, 차량 번호판 검출 및 인식 시스템(200)은 제1 문자후보영역의 중심위치로부터 거리의 합이 최소 값이 되는 하나 이상의 직선을 산출하고 중심위치가 직선에 근접한 새로운 문자영역을 검출하여 제1 문자후보영역에 추가할 수 있다.
문자 인식단계(S570)에서, 차량 번호판 검출 및 인식 시스템(200)은 번호판영역 또는 제1 문자후보영역을 기초로 번호판에 포함된 문자를 인식할 수 있고 문자 인식을 위해 딥러닝 모델을 사용할 수 있다.
인식결과추론단계(S580)에서, 차량 번호판 검출 및 인식 시스템(200)은 문자 인식단계(S570)에서 인식된 문자로 보팅하여 문자인식결과를 추론할 수 있다.
구체적으로, 차량 번호판 검출 및 인식 시스템(200)은 동일한 영상정보에 대해서 (i) 제1 번호판영역 검출단계(S530)에서 결정된 제1 번호판영역, (ii) 제1 문자영역 검출단계(S550)에서 검출되고 제2 문자영역 검출단계(S560)에서 보정한 제2 문자후보영역 및 (iii) 제1 문자영역 검출단계(S550)에서 검출된 문자후보영역을 제2 번호판영역 검출단계(S540)에서 보정하여 검출한 제2 번호판영역 중 적어도 하나 이상을 기초로 인식된 문자로 보팅하여 문자인식결과를 추론할 수 있다.
여기에서, (i)과 관련하여 도 34 및 도 35를 살펴보고 (ii)와 관련하여 도 36을 살펴보고 (iii)과 관련된 하여 도 37 및 도 38에서 살펴본다.
도 34 및 도 35는 제1 번호판영역 검출단계에서 결정된 번호판영역을 기초로 인식된 문자로 보팅하는 일례를 예시적으로 나타낸 순서도이다.
도 34을 참조하면, 일 실시예에 따른 차량 번호판 검출 및 인식 방법(500)은 입력단계(S510), 번호판 검출단계(S520), 제1 번호판영역 검출단계(S530), 제1 문자영역 검출단계(S550), 제2 문자영역 검출단계(S560), 문자 인식단계(S570) 및 인식결과추론단계(S580)를 거쳐서 제1 번호판영역 검출단계(S530)에서 결정된 번호판영역을 기초로 인식된 문자로 보팅하여 문자인식결과를 추론할 수 있다.
도 35는 도 34에서 제2 문자영역 검출단계(S560)만 거치지 않는다.
도 34 및 도 35의 제1 번호판영역 검출단계(S530)에서 차량 번호판 검출 및 인식 방법(500)은 도 8에서 살펴본 바와 같이 N 개의 서로 다른 제1 번호판영역 후보를 결정할 수 있으므로 N 개의 제1 번호판영역 후보에 대해 각각 문자영역 검출단계(S550, S560) 및 문자 인식단계(S570)를 거쳐 N 개의 문자열을 인식할 수 있고 N 개의 문자열로 보팅하여 문자인식결과를 추론할 수 있다.
도 36은 제1 문자영역 검출단계에서 검출되고 제2 문자영역 검출단계에서 보정한 제2 문자후보영역을 기초로 인식된 문자로 보팅하는 일례를 예시적으로 나타낸 순서도이다.
도 36을 참조하면, 일 실시예에 따른 차량 번호판 검출 및 인식 방법(500)은 입력단계(S510), 번호판 검출단계(S520), 제1 문자영역 검출단계(S550), 제2 문자영역 검출단계(S560), 문자 인식단계(S570) 및 인식결과추론단계(S580)를 거쳐서 제1 문자영역 검출단계(S550)에서 검출되고 제2 문자영역 검출단계(S560)에서 보정한 제2 문자후보영역을 기초로 인식된 문자로 보팅하여 문자인식결과를 추론할 수 있다.
도 36의 각 단계를 그대로 수행할 경우에 차량 번호판 검출 및 인식 방법(500)은 입력단계(S510)에서 입력받은 동일한 영상정보에 대해서 1개의 문자열을 인식할 수 있고 1개의 문자열로 보팅하여 문자인식결과를 추론할 수 있다.
다만, 도 36의 입력단계(S510) 직후에 입력단계(S510)에서 입력받은 영상정보에 랜덤노이즈를 추가하는 등의 방법으로 여러 개의 서로 다른 영상정보를 생성한 경우에는 여러 개의 문자열을 인식할 수 있으므로 인식된 여러 개의 문자열로 보팅하여 문자인식결과를 추론할 수도 있다.
도 37 및 도 38은 제1 문자영역 검출단계에서 검출된 문자후보영역을 제2 번호판영역 검출단계에서 보정하여 검출한 제2 번호판영역을 기초로 인식된 문자로 보팅하는 일례를 예시적으로 나타낸 순서도이다.
도 37을 참조하면, 일 실시예에 따른 차량 번호판 검출 및 인식 방법(500)은 입력단계(S510), 번호판 검출단계(S520), 제1 문자영역 검출단계(S550), 제2 번호판영역 검출단계(S540), 다시 제1 문자영역 검출단계(S550), 제2 문자영역 검출단계(S560), 문자 인식단계(S570) 및 인식결과추론단계(S580)를 거쳐서 제1 문자영역 검출단계(S550)에서 검출된 문자후보영역을 제2 번호판영역 검출단계(S540)에서 보정하여 검출한 제2 번호판영역 을 기초로 인식된 문자로 보팅하여 문자인식결과를 추론할 수 있다.
도 38은 도 37에서 제2 문자영역 검출단계(S560)만 거치지 않는다.
도 37 및 도 38의 각 단계를 그대로 수행할 경우에 차량 번호판 검출 및 인식 방법(500)은 입력단계(S510)에서 입력받은 동일한 영상정보에 대해서 1개의 문자열을 인식할 수 있고 1개의 문자열로 보팅하여 문자인식결과를 추론할 수 있다.
다만, 도 37 및 도 38의 입력단계(S510) 직후에 입력단계(S510)에서 입력받은 영상정보에 랜덤노이즈를 추가하는 등의 방법으로 여러 개의 서로 다른 영상정보를 생성한 경우에는 여러 개의 문자열을 인식할 수 있으므로 인식된 여러 개의 문자열로 보팅하여 문자인식결과를 추론할 수도 있다.
도 39는 도 34 내지 도 38의 방법을 모두 사용하여 보팅하는 일례를 예시적으로 나타낸 순서도이다.
도 39을 참조하면, 일 실시예에 따른 차량 번호판 검출 및 인식 방법(500)은 도 34 및 도 35의 방법을 사용하여 각각 N 개의 문자열을 인식하고 도 36, 도 37 및 도 38의 방법을 사용하여 각각 1 개의 문자열을 인식하므로 총 2*N+3 개의 문자열을 보팅하여 인식결과를 추론할 수 있다.
이상에서와 같이, 본 출원의 바람직한 실시예 들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

  1. 차량 번호판을 포함하는 영상정보를 입력받는 입력부;
    상기 입력부에 의한 영상정보를 기초로 하여 인공신경망을 통해 번호판을 포함하는 번호판영역을 검출하는 번호판검출부;
    상기 번호판영역을 필터링하여 번호판후보영역을 생성하되, 필터링 기준을 달리한 복수의 필터링 결과를 비교하여 상기 생성한 번호판후보영역의 등록 또는 삭제를 결정하는 제1 번호판영역 검출부;
    상기 번호판후보영역으로부터 인공신경망을 통해 문자후보영역을 검출하는 제1문자영역 검출부;
    상기 문자후보영역의 높이 또는 면적을 기초로 문자후보영역을 병합 또는 삭제하는 보정을 수행하는 제2 문자영역 검출부; 및
    상기 보정된 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식부를 포함하여 구성되는 차량 번호판 검출 및 인식 시스템.
  2. 제1항에 있어서,
    상기 필터링 기준은 이진화 임계값 및 둘 이상의 노이즈 중 하나 이상이고, 상기 제1번호판영역 검출부는 상기 필터링 결과 윤곽선을 추정함으로써 상기 번호판후보영역을 생성하는 차량 번호판 검출 및 인식 시스템.
  3. 제2항에 있어서,
    상기 제1 번호판영역 검출부는 상기 윤곽선을 기초로 하여 사각형을 추정하고, 상기 추정된 사각형의 높이, 너비의 비율, 면적, 모서리 개수, 모서리 각도, 변의 길이, 이진화된 픽셀값의 비율 중 하나 이상이 소정의 기준을 만족하는지 판단하여 상기 번호판후보영역을 문자후보영역에 포함시키는 것을 특징으로 하는 차량 번호판 검출 및 인식 시스템.
  4. 차량 번호판을 포함하는 영상정보를 입력받는 입력부;
    문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 제1 문자영역 검출부;
    상기 문자후보영역의 기하학적 특징을 기초로 상기 문자후보영역을 보정하는 제2 문자영역 검출부; 및
    상기 보정된 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식부를 포함하여 구성되는 차량 번호판 검출 및 인식 시스템.
  5. 제4항에 있어서,
    상기 제2 문자영역 검출부는 상기 문자후보영역의 높이, 위치 또는 중복되는 영역의 넓이를 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하고,
    상기 문자후보영역의 중심위치로부터 거리의 합이 최소 값이 되는 하나 이상의 직선을 산출하고 중심위치가 상기 직선에 근접한 새로운 문자영역을 검출하여 상기 문자후보영역에 추가하는 차량 번호판 검출 및 인식 시스템.
  6. 제4항에 있어서,
    상기 보정된 문자후보영역을 포함하는 번호판영역을 검출하는 제2 번호판영역 검출부를 더 포함하는 차량 번호판 검출 및 인식 시스템.
  7. 차량 번호판을 포함하는 영상정보를 입력받는 입력부;
    상이한 복수 개의 영역검출방법으로 상기 영상정보로부터 적어도 하나 이상의 번호판영역 또는 문자후보영역을 결정하거나 검출하는 검출부;
    상기 번호판영역 또는 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 문자인식부; 및
    상기 상이한 복수 개의 방법으로 인식된 복수 개의 문자를 보팅하여 문자인식결과를 추론하는 인식결과추론부를 포함하여 구성되는 차량 번호판 검출 및 인식 시스템.
  8. 제7항에 있어서,
    상기 인식결과 추론부는, 상이한 복수 개의 영역 검출방법으로 검출된 상기 복수개의 번호판영역 및 상기 복수개의 문자후보영역을 하나 이상의 기준에 의해 보팅하는 것을 특징으로 하는 차량 번호판 검출 및 인식 시스템.
  9. 차량 번호판을 포함하는 영상정보를 입력받는 입력단계;
    상기 영상정보로부터 번호판후보영역을 생성하고 번호판후보영역 또는 번호판후보영역으로부터 추정된 사각형의 기하학적 특징을 기초로 번호판영역을 결정하는 제1 번호판영역 검출단계; 및
    상기 번호판영역을 기초로 번호판에 포함된 문자를 인식하는 문자 인식단계를 포함하여 구성되는 차량 번호판 검출 및 인식 방법.
  10. 입력부에서 차량 번호판을 포함하는 영상정보를 입력받는 단계;
    번호판검출부에서 상기 입력부에 의한 영상정보를 기초로 하여 인공신경망을 통해 번호판을 포함하는 번호판영역을 검출하는 단계;
    제1 번호판영역 검출부에서 상기 번호판영역을 필터링하여 번호판후보영역을 생성하되, 필터링 기준을 달리한 복수의 필터링 결과를 비교하여 상기 생성한 번호판후보영역의 등록 또는 삭제를 결정하는 단계;
    제1문자영역 검출부에서 상기 번호판후보영역으로부터 인공신경망을 통해 문자후보영역을 검출하는 단계;
    제2 문자영역 검출부에서 상기 문자후보영역의 높이 또는 면적을 기초로 문자후보영역을 병합 또는 삭제하는 보정을 수행하는 단계; 및
    문자 인식부에서 상기 보정된 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 단계를 포함하여 수행되는 차량 번호판 검출 및 인식 방법.
  11. 제10항에 있어서,
    상기 필터링 기준은 이진화 임계값 및 둘 이상의 노이즈 중 하나 이상이고, 상기 제1번호판영역 검출부는 상기 필터링 결과 윤곽선을 추정함으로써 상기 번호판후보영역을 생성하는 차량 번호판 검출 및 인식 방법.
  12. 제11항에 있어서,
    상기 제1 번호판영역 검출부는 상기 윤곽선을 기초로 하여 사각형을 추정하고, 상기 추정된 사각형의 높이, 너비의 비율, 면적, 모서리 개수, 모서리 각도, 변의 길이, 이진화된 픽셀값의 비율 중 하나 이상이 소정의 기준을 만족하는지 판단하여 상기 번호판후보영역을 문자후보영역에 포함시키는 것을 특징으로 하는 차량 번호판 검출 및 인식 방법.
  13. 입력부에 의해 차량 번호판을 포함하는 영상정보를 입력받는 단계;
    제1 문자영역 검출부에 의해 문자검출모델을 이용하여 상기 영상정보로부터 문자후보영역을 검출하는 단계;
    제2 문자영역 검출부에 의해 상기 문자후보영역의 기하학적 특징을 기초로 상기 문자후보영역을 보정하는 단계; 및
    문자 인식부에 의해 상기 보정된 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 단계를 포함하여 구성되는 차량 번호판 검출 및 인식 방법.
  14. 제13항에 있어서,
    상기 제2 문자영역 검출부는 상기 문자후보영역의 높이, 위치 또는 중복되는 영역의 넓이를 기초로 문자후보영역을 병합 또는 삭제하거나 문자후보영역의 크기를 조정하고,
    상기 문자후보영역의 중심위치로부터 거리의 합이 최소 값이 되는 하나 이상의 직선을 산출하고 중심위치가 상기 직선에 근접한 새로운 문자영역을 검출하여 상기 문자후보영역에 추가하는 차량 번호판 검출 및 인식 방법.
  15. 입력부에 의해 차량 번호판을 포함하는 영상정보를 입력받는 단계;
    검출부에 의해 상이한 복수 개의 영역검출방법으로 상기 영상정보로부터 적어도 하나 이상의 번호판영역 또는 문자후보영역을 결정하거나 검출하는 단계;
    문자인식부에 의해 상기 번호판영역 또는 문자후보영역을 기초로 번호판에 포함된 문자를 인식하는 단계; 및
    인식결과추론부에 의해 상기 상이한 복수 개의 방법으로 인식된 복수 개의 문자를 보팅하여 문자인식결과를 추론하는 단계를 포함하여 구성되는 차량 번호판 검출 및 인식 방법.
  16. 제15항에 있어서,
    상기 인식결과 추론부는, 상이한 복수 개의 영역 검출방법으로 검출된 상기 복수개의 번호판영역 및 상기 복수개의 문자후보영역을 하나 이상의 기준에 의해 보팅하는 것을 특징으로 하는 차량 번호판 검출 및 인식 방법.
PCT/KR2018/015359 2018-12-04 2018-12-06 차량 번호판 검출 및 인식 시스템 및 방법 WO2020116680A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180154711A KR102181861B1 (ko) 2018-12-04 2018-12-04 차량 번호판 검출 및 인식 시스템 및 방법
KR10-2018-0154711 2018-12-04

Publications (1)

Publication Number Publication Date
WO2020116680A1 true WO2020116680A1 (ko) 2020-06-11

Family

ID=70974761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015359 WO2020116680A1 (ko) 2018-12-04 2018-12-06 차량 번호판 검출 및 인식 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102181861B1 (ko)
WO (1) WO2020116680A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102492230B1 (ko) * 2020-09-29 2023-01-26 한국공학대학교산학협력단 영상 워핑을 이용한 번호판 검출 장치 및 방법
KR102383377B1 (ko) * 2021-06-02 2022-04-08 (주)트루엔 차량용 번호판을 인식하기 위한 전자 장치
KR102313804B1 (ko) * 2021-06-02 2021-10-19 (주)트루엔 차량의 전방 또는 후방을 판별하기 위한 전자 장치 및 그 방법
KR102377715B1 (ko) 2021-12-13 2022-03-23 주식회사 서경산업 레이어 적층방식의 객체 검출 시스템
KR20230132179A (ko) 2022-03-08 2023-09-15 주식회사 하이컴텍 도면 생성 장치, 도면 생성 방법 및 기록 매체
KR102447798B1 (ko) * 2022-07-06 2022-09-27 (주)토페스 차량번호판 크기 인식방법 및 그를 이용한 차량 이동속도 검출방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3053723B2 (ja) * 1993-09-14 2000-06-19 松下電器産業株式会社 ナンバープレート文字認識方法およびその装置
US20130148857A1 (en) * 2011-12-12 2013-06-13 Electronics And Telecommunications Research Institute Apparatus for extracting character area in vehicle number plate and method thereof
KR101403876B1 (ko) * 2012-03-19 2014-06-09 한밭대학교 산학협력단 차량 번호판 인식 방법과 그 장치
KR101715273B1 (ko) * 2016-10-05 2017-03-10 한밭대학교 산학협력단 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
KR101858099B1 (ko) * 2017-02-03 2018-06-27 인천대학교 산학협력단 자동차 번호판 검출 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3053723B2 (ja) * 1993-09-14 2000-06-19 松下電器産業株式会社 ナンバープレート文字認識方法およびその装置
US20130148857A1 (en) * 2011-12-12 2013-06-13 Electronics And Telecommunications Research Institute Apparatus for extracting character area in vehicle number plate and method thereof
KR101403876B1 (ko) * 2012-03-19 2014-06-09 한밭대학교 산학협력단 차량 번호판 인식 방법과 그 장치
KR101715273B1 (ko) * 2016-10-05 2017-03-10 한밭대학교 산학협력단 고해상도 360° 전방위 ip 카메라 제작과 이를 이용한 다중 자동차 번호판 인식 시스템 및 방법
KR101858099B1 (ko) * 2017-02-03 2018-06-27 인천대학교 산학협력단 자동차 번호판 검출 방법 및 장치

Also Published As

Publication number Publication date
KR20200071853A (ko) 2020-06-22
KR102181861B1 (ko) 2020-11-23

Similar Documents

Publication Publication Date Title
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
WO2018223857A1 (zh) 文本行识别方法及系统
WO2018016837A1 (en) Method and apparatus for iris recognition
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2016133293A1 (ko) 메타데이터 기반 영상 처리 방법 및 장치
EP3440593A1 (en) Method and apparatus for iris recognition
WO2016088960A1 (ko) 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템
WO2012002742A2 (en) Camera module and method for driving the same
WO2023120831A1 (ko) 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2016163609A2 (ko) Lpr 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법
WO2019045521A1 (ko) 전자 장치 및 그 제어 방법
WO2015199354A1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치
WO2013077522A1 (en) Apparatus and method for hierarchical stereo matching
WO2021246822A1 (ko) 객체 이미지 개선 방법 및 장치
WO2022103195A1 (ko) 로봇 시스템
WO2022092451A1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
WO2018097677A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium thereof
WO2023153723A1 (ko) 개용 표시 장치 및 이의 구동 방법
WO2023055033A1 (en) Method and apparatus for enhancing texture details of images
WO2018105830A1 (ko) 동공 중심 검출 방법
WO2022039575A1 (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
WO2020251299A1 (ko) 라인 검출 방법
WO2015035705A1 (zh) 光学识别方法及移动设备
EP4189638A1 (en) Method and electronic device for managing artifacts of image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18942466

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18942466

Country of ref document: EP

Kind code of ref document: A1