WO2022240207A1 - 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법 - Google Patents

차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법 Download PDF

Info

Publication number
WO2022240207A1
WO2022240207A1 PCT/KR2022/006790 KR2022006790W WO2022240207A1 WO 2022240207 A1 WO2022240207 A1 WO 2022240207A1 KR 2022006790 W KR2022006790 W KR 2022006790W WO 2022240207 A1 WO2022240207 A1 WO 2022240207A1
Authority
WO
WIPO (PCT)
Prior art keywords
license plate
image
vehicle
plate image
correction
Prior art date
Application number
PCT/KR2022/006790
Other languages
English (en)
French (fr)
Inventor
임종윤
Original Assignee
주식회사 실리콘큐브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 실리콘큐브 filed Critical 주식회사 실리콘큐브
Priority to JP2023570353A priority Critical patent/JP2024518582A/ja
Publication of WO2022240207A1 publication Critical patent/WO2022240207A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images

Definitions

  • the present invention relates to a license plate image processing device for recognizing license plates and a method for correcting license plate images using the same, and more particularly, for recognizing license plates capable of correcting an obliquely photographed license plate image to its original form with a relatively small amount of calculation It relates to a license plate image processing device and a license plate image correction method using the same.
  • the license plate image is obtained by photographing the vehicle using a photographing device installed at the entrance of a place where access management of a vehicle is required, such as a parking lot.
  • the recognition of the vehicle number consists of a combination of the steps of license plate identification from a photographed image, license plate verification, code (letters, numbers, symbols) separation and code recognition, implemented as software and performed in a computer system.
  • 1 is a diagram illustrating a conventional license plate identification process for recognizing a vehicle number, and identification of a license plate is performed by detecting an outline of the license plate.
  • the photographing device when the photographing device is installed obliquely from the entry direction of the vehicle, or the vehicle enters the entrance obliquely, the license plate of the vehicle may be obliquely photographed.
  • the obliquely photographed license plate may have a horizontal and vertical ratio different from the standard ratio of a general license plate, and has a shape rotated at a predetermined angle in contrast to an image taken from the front of the license plate.
  • the oblique license plate image is corrected to the original license plate form for accurate vehicle number recognition.
  • the outline of the license plate must be accurately extracted.
  • license plate recognition devices installed at entrances and exits have limitations in processing performance due to installation locations or device specifications, making it difficult to perform high computational tasks.
  • quality of an acquired vehicle image is degraded due to a problem of focus or the like, there is a problem in that accurate extraction of the license plate outline becomes more difficult because the pixels constituting the boundary of the license plate in the image are reduced.
  • the technical problem to be achieved by the present invention is a license plate image processing device for recognizing a license plate capable of correcting an obliquely photographed license plate image to its original form with a relatively small amount of calculation and a license plate image correction method using the same is to provide
  • an embodiment of the present invention is a vehicle image acquisition unit for acquiring a photographed image including the vehicle by photographing the vehicle; a license plate detection unit detecting a license plate image of the vehicle from the captured image and generating location data for a position of the license plate image in the captured image; a database unit storing pre-calculated image correction data for each location of the license plate image in the photographed image; a correction value generation unit that loads the image correction data corresponding to the location data from the database unit and generates license plate image correction values based on the loaded image correction data; and a license plate image correction unit for correcting the license plate image based on the license plate image correction value.
  • the photographed image is divided into a plurality of zones, the image correction data is pre-calculated for each zone and stored in the database unit, and the correction value generating unit generates the image correction data corresponding to a zone to which the location data belongs.
  • the image correction data may include a first correction value for correcting the scale of the license plate image and a second correction value for correcting rotation of the license plate image.
  • the database unit further stores a pre-calculated aspect ratio reference value for each position of the license plate image in the photographed image, and the correction value generating unit based on the difference between the aspect ratio reference value corresponding to the location data and the aspect ratio of the license plate image At least one of the first correction value and the second correction value may be corrected.
  • the vehicle image obtaining unit photographs the vehicle at a predetermined capturing location
  • the correction value generating unit corrects the location data based on a height difference between the ground at the location where the vehicle image obtaining unit is installed and the ground at the predetermined capturing location.
  • the correction value generation unit may load the image correction data corresponding to the corrected location data.
  • the correction value generation unit may further correct the location data using inclination angle data of the ground at the predetermined photographing location.
  • the location data may include two-dimensional coordinate data including a horizontal axis value and a vertical axis value, and the correction value generator may correct a vertical axis value of the location data based on the height difference.
  • the second correction value may be corrected based on an angle between a photographing direction of the vehicle image acquisition unit and a direction of an access road where the vehicle is located when photographing.
  • the license plate image correction unit may correct the rotation of the license plate image based on the second correction value and then correct the scale of the license plate image based on the first correction value.
  • an embodiment of the present invention is a) photographing a vehicle to obtain a photographed image including the vehicle, and detecting a license plate image from the photographed image; b) generating location data for the location of the license plate image in the photographed image; c) Loading the image correction data corresponding to the location data from a database unit in which pre-calculated image correction data for each position of the license plate image in the photographed image is stored, and a license plate image correction value based on the loaded image correction data generating; and d) correcting the license plate image based on the license plate image correction value.
  • the captured image is divided into a plurality of zones, the image correction data is pre-calculated for each zone and stored in the database unit, and step c) stores the image correction data corresponding to the zone to which the location data belongs. It can be loaded from the database unit.
  • the database unit further stores a pre-calculated aspect ratio reference value for each location of the license plate image in the photographed image, and the step c) includes loading image correction data corresponding to the location data from the database unit; and correcting image correction data based on a difference between an aspect ratio reference value corresponding to the location data and an aspect ratio of the license plate image.
  • Step c) may include loading image correction data corresponding to the location data from a database unit; and correcting the image correction data based on an angle between a photographing direction of the vehicle image acquisition unit and a direction of an access road where the vehicle is located.
  • the photographed image is acquired using a vehicle image acquisition unit for photographing the vehicle, and between the steps b) and c), the location based on the height difference between the ground at the location where the vehicle image acquisition unit is installed and the ground at a predetermined capturing location
  • a step of correcting the data may be further included.
  • the location data may be further corrected based on inclination angle data of the ground at the predetermined shooting location.
  • the image correction data includes a first correction value for correcting the scale of the license plate image and a second correction value for correcting rotation of the license plate image, and the step d) includes the license plate image based on the second correction value. After correcting the rotation, the scale of the license plate image may be corrected based on the first correction value.
  • the license plate image processing apparatus may correct the license plate image using pre-calculated image correction data for each position of the license plate image in the captured image. That is, the license plate image processing device can estimate the shape of the license plate image without a process of extracting an outline using a complex operation such as a Generalized Hough Transform. Therefore, the license plate image processing apparatus can correct a license plate image photographed at an angle to the original license plate shape with a relatively small amount of calculation.
  • the license plate image processing apparatus may store an aspect ratio reference value for each region of a photographed image. And since the license plate image device corrects the image correction data based on the difference between the aspect ratio reference value of the area where the photographed license plate image is located and the aspect ratio of the photographed license plate image, the photographed license plate image can be corrected more similar to the license plate standard shape. have.
  • the license plate image processing device corrects the image correction data based on the angle between the shooting direction of the vehicle image acquisition unit and the direction of the driveway where the vehicle to be photographed is located, so the license plate image can be corrected accurately.
  • the license plate image processing device corrects the location data based on the height difference between the ground at the location where the vehicle image acquisition unit is installed and the ground at the predetermined shooting location, the license plate image can be accurately corrected. .
  • the license plate image processing device further corrects the location data based on the inclination angle data of the ground at the predetermined shooting location, the license plate image can be corrected more accurately.
  • 1 is a diagram illustrating a conventional license plate identification process for vehicle number recognition.
  • FIG. 2 is a schematic block diagram of a license plate image processing apparatus according to an embodiment of the present invention.
  • 3 is a view for explaining an example of a license plate image photographed at an angle.
  • FIG. 4 is a detailed block diagram illustrating a license plate image processing apparatus according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a photographed image acquired by a vehicle image acquisition unit according to an embodiment of the present invention.
  • FIG. 6 is a diagram showing the standardized shape of a license plate image of each zone in a photographed image according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining an image correction data table pre-calculated and stored for each region of a captured image according to an embodiment of the present invention.
  • FIG. 8 is a diagram for explaining an example in which an aspect ratio correction unit corrects image correction data according to an embodiment of the present invention.
  • FIG. 9 is a diagram for explaining an example of correcting image correction data by a photographing direction correction unit according to an embodiment of the present invention.
  • FIG. 10 is a diagram for explaining an example in which a ground height corrector corrects position data according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a license plate image correction method using a license plate image processing apparatus according to an embodiment of the present invention.
  • step S220 is a diagram showing detailed steps of step S220 according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of a license plate image processing apparatus 100 according to an embodiment of the present invention.
  • Figure 3 is a view for explaining an example of a license plate image photographed obliquely.
  • the license plate image processing device 100 includes a vehicle image acquisition unit 110, a license plate detection unit 120, a correction value generator 130, a license plate image correction unit 140, and a database unit (D).
  • a vehicle image acquisition unit 110 includes a license plate detection unit 120, a correction value generator 130, a license plate image correction unit 140, and a database unit (D).
  • D can include
  • the vehicle image acquisition unit 110 may obtain a photographed image including the vehicle 1 by photographing the vehicle 1 .
  • the vehicle image acquisition unit 110 may be a camera installed at an entrance of a place where vehicle access management is required.
  • the license plate detection unit 120 may detect the license plate image of the vehicle 1 from the photographed image. At this time, the license plate may be photographed at an angle as shown in (a) of FIG. In order to accurately recognize the vehicle number from the license plate image, the obliquely photographed license plate image Pa may be corrected into a license plate image Pb having an original shape as shown in FIG. 3(b). To this end, the license plate detection unit 120 may generate location data about the location of the license plate image in the photographed image. Specific utilization examples of location data will be described in detail with reference to FIGS. 5 to 7 .
  • the database unit (D) may store pre-calculated image correction data for each position of the license plate image in the photographed image.
  • the image correction data can be used for correction of the license plate image.
  • the correction value generating unit 130 may load image correction data corresponding to the location data from the database unit D. That is, the correction value generation unit 130 may load different image correction data according to the location of the license plate image in the photographed image. Further, the correction value generating unit 130 may generate a license plate image correction value based on the loaded image correction data.
  • the license plate image correction unit 140 may correct the license plate image using the license plate image correction value.
  • each component of the license plate image processing device 100 is integrated and installed at the entrance of a place where access management of a vehicle is required has been described as an example.
  • each component of the license plate image processing device 100 may be installed in different locations.
  • the vehicle image acquisition unit 110 is installed at the entrance of the vehicle 1, and other components may be provided in a separate location or mounted on an external server to communicate with the vehicle image acquisition unit 110.
  • FIG. 4 is a detailed block diagram showing a license plate image processing device 100 according to an embodiment of the present invention.
  • the license plate detection unit 120 may receive a photographed image from the vehicle image acquisition unit 110 .
  • the captured image may be an image including a vehicle.
  • the license plate detection unit 120 may include a license plate image detection unit 121 and a license plate location determination unit 122 .
  • the license plate image detection unit 121 may detect a license plate image in a photographed image. That is, the license plate image detection unit 121 may generate a license plate image.
  • the license plate location determination unit 122 may generate location data representing the location of the license plate image within the photographed image.
  • the location data may be 2D coordinate data using a specific location of the photographed image as a reference point.
  • the location data may have a horizontal axis value and a vertical axis value.
  • the location data may be polar coordinates.
  • the location data may be the coordinates of the central point of the license plate image.
  • the center point may be the center of gravity of the license plate image.
  • the location data may be data indicating a specific area within a photographed image.
  • the photographed image may be divided into a plurality of regions.
  • the license plate location determining unit 122 may determine which zone the location of the license plate image (for example, the location of the central point of the license plate image) belongs to.
  • the license plate position determining unit 122 may generate information of the corresponding area as location data.
  • the license plate detection unit 120 may transmit the license plate image and location data to the correction value generator 130 .
  • the correction value generation unit 130 may generate a license plate image correction value necessary for correction of the license plate image.
  • the correction value generator 130 may include an image correction data loader 131 , an aspect ratio corrector 132 , a photographing direction corrector 133 and a ground height corrector 134 .
  • the image correction data loading unit 131 may load image correction data corresponding to the location data from the database unit D.
  • the database unit (D) may be in a state in which image correction data calculated in advance for each position of the license plate image in the photographed image is stored.
  • the image correction data may include a first correction value for correcting the scale of the license plate image and a second correction value for correcting the rotation of the license plate image.
  • the image correction data may be pre-calculated data for each area of the captured image.
  • correction value generation unit 130 may select the loaded image correction data as a license plate image correction value.
  • the correction value generation unit 130 corrects the image correction data loaded using the aspect ratio correction unit 132, the shooting direction correction unit 133, and the ground height correction unit 134 to more accurately correct the license plate image.
  • the aspect ratio correction unit 132 may correct the loaded image correction data based on the aspect ratio of the license plate image acquired through shooting.
  • the aspect ratio reference value may be stored in the database unit D.
  • the aspect ratio reference value may be an aspect ratio of the license plate image pre-calculated for each position of the license plate image in the photographed image.
  • the aspect ratio correction unit 132 may correct the image correction data based on the difference between the aspect ratio reference value corresponding to the location data and the aspect ratio of the license plate image. A specific example in which aspect ratio correction is performed will be described in detail with reference to FIG. 8 .
  • the photographing direction correction unit 133 may correct image correction data based on an angle between a photographing direction of the vehicle image acquisition unit 110 and a direction of an access road where a photographing target vehicle is located.
  • the vehicle image acquisition unit 110 may be installed at an angle to the vehicle access road.
  • the photographing direction correction unit 133 adds or subtracts the angle between the photographing direction of the vehicle image acquisition unit 110 and the direction of the driveway where the photographing target vehicle is located to the second correction value of the image correction data. can be corrected.
  • a specific example in which photographing direction correction is performed will be described in detail with reference to FIG. 9 .
  • the ground height correction unit 134 may correct the location data using a height difference between the ground at the location where the vehicle image acquisition unit 110 is installed and the ground at the photographing location.
  • the correction value generation unit 130 may select the final corrected image correction data as the license plate image correction value.
  • the license plate image correction unit 140 may correct the license plate image using the license plate image correction value.
  • the license plate image correction unit 140 may include a scale correction unit 141 and a rotation correction unit 142 .
  • the scale correction unit 141 may correct the scale of the license plate image using the first correction value.
  • the scale correction unit 141 may increase or decrease the license plate image in the left and right or up and down directions.
  • the rotation correction unit 142 may perform rotation correction on the license plate image using the second correction value.
  • FIG. 5 is a diagram illustrating an example of a photographed image acquired by the vehicle image acquisition unit 110 according to an embodiment of the present invention.
  • FIG 5 illustrates that the first to third vehicles C1, C2, and C3 are included in one captured image to explain examples of captured images captured in different environments (locations).
  • the location and shape of the license plate of the photographed vehicle may vary depending on the relative location of the vehicle and the vehicle image acquisition unit 110 . That is, the location and shape of the license plate may vary depending on the distance between the vehicle and the vehicle image acquisition unit 110 and the direction of photography.
  • the same license plate image P1 as that of the first vehicle C1 may be acquired.
  • the same license plate image P2 as that of the second vehicle C2 may be obtained.
  • a license plate image P3 such as that of the third vehicle C3 may be obtained.
  • FIG. 6 is a diagram showing the standardized shape of a license plate image of each zone in a photographed image according to an embodiment of the present invention.
  • 7 is a diagram for explaining an image correction data table calculated in advance for each region of a captured image according to an embodiment of the present invention.
  • the license plate image shown in each zone in the photographed image of FIG. 6 shows the shape of the license plate image estimated when the license plate is photographed in the corresponding zone. Since the vehicle access route viewed by the license plate image processing apparatus 100 is fixed, the shape of the license plate image captured in each zone can be estimated.
  • the image correction data loading unit 131 may load image correction data corresponding to the first area A1 from the database unit D. Referring to FIG. 7 , a first correction value ALP_RATIO1 and a second correction value ALP_ANGLE1 are stored as image correction data in the first area A1.
  • the first correction value ALP_RATIO1 and the second correction value ALP_ANGLE1 of the first area A1 may be correction values for converting the first license plate image shape S1 into a preset license plate image shape.
  • the preset license plate image shape may be a shape when the license plate is photographed from the front, that is, a standard shape of the license plate.
  • the image correction data loading unit 131 includes a first correction value ALP_RATIO8 and a second correction value ALT_ANGLE8 of the image correction data corresponding to the second area A2 in order to correct the license plate image of the second vehicle C2. ) can be loaded from the database unit (D).
  • the image correction data loading unit 131 includes a first correction value ALP_RATIO15 and a second correction value ALT_ANGLE15 of the image correction data corresponding to the third area A3 in order to correct the license plate image of the third vehicle C3. ) can be loaded from the database unit (D).
  • the license plate image processing device 100 can estimate the shape of the license plate image without a process of extracting an outline using a complex operation such as a Generalized Hough Transform. That is, the license plate image processing apparatus 100 can correct a license plate image photographed at an angle to its original form even with a small amount of calculation.
  • the license plate image of FIG. 8 is a license plate image of a fourth vehicle (not shown) captured in the fourth zone A4.
  • the license plate image of the fourth vehicle may have a slightly different aspect ratio from the fourth license plate image shape S4 of the fourth area A4. This is because, as described above, the position or direction of the vehicle when image correction data is calculated may be slightly different from the position or direction of the vehicle when photographing.
  • the database unit D may further store a pre-calculated aspect ratio reference value for each position of the license plate image in the photographed image. It goes without saying that the aspect ratio reference value may be pre-calculated for each zone.
  • the aspect ratio correction unit 132 may correct the image correction data based on the difference between the aspect ratio reference value corresponding to the location data and the aspect ratio of the license plate image (eg, P4w/P4h). Specifically, the aspect ratio correction unit 132 may correct at least one of the first correction value and the second correction value included in the image correction data.
  • the captured license plate image can be corrected to be more similar to the standard shape of the license plate.
  • FIG. 9 is a diagram for explaining an example of correcting image correction data by the shooting direction correction unit 133 according to an embodiment of the present invention.
  • the photographing direction correction unit 133 adjusts the image of the vehicle image acquisition unit 110
  • Image correction data may be corrected based on the angle T between the photographing direction and the direction of the access road where the vehicle is located when photographing.
  • the corrected image correction data may be a second correction value.
  • the photographing direction correction unit 133 adds or subtracts the angle between the photographing direction W1 of the vehicle image acquisition unit 110 and the direction W2 of the driveway where the photographing target vehicle is located to the second correction value of the image correction data. In this way, the second correction value may be corrected.
  • the direction W2 of the access road where the vehicle is located may be replaced with the forward direction of the vehicle 1 .
  • the angle T between the shooting direction of the vehicle image acquisition unit 110 and the direction of the driveway where the vehicle 1 as the shooting target is located is measured when the license plate image processing device 100 is installed, and the shooting direction correction unit 133 It can be a value entered in .
  • the photographed license plate image can be corrected to be similar to the license plate standard shape.
  • FIG. 10 is a diagram for explaining an example in which the ground height correction unit 134 corrects position data according to an embodiment of the present invention.
  • the height of the ground at the location where the vehicle image acquisition unit 110 is installed may be different from the height of the ground at the capturing location.
  • the photographing position means a position where the license plate is photographed. Such a photographing position may be determined in advance according to the focus or photographing performance of the vehicle image acquisition unit 110 .
  • FIG. 10(a) is a diagram illustrating a case in which the ground at a photographing location is higher than the ground at a location where the vehicle image acquisition unit 110 is installed.
  • the photographing position is R1
  • the height difference between the ground at the location where the vehicle image acquisition unit 110 is installed and the ground at the R1 location is H1.
  • the ground height correcting unit 134 may correct the location data based on the H1 value. For example, when the location data is two-dimensional coordinate data having a horizontal axis value and a vertical axis value, the ground height correction unit 134 may correct a vertical axis value of the location data.
  • FIG. 10 is a diagram illustrating a case where the height of the ground at the photographing location R2 is the same as the height of the ground at the location where the vehicle image acquisition unit 110 is installed.
  • the ground height correction unit 134 may omit correction of position data.
  • FIG. 10(c) is a diagram illustrating a case where the ground at the photographing location is lower than the ground at the location where the vehicle image acquisition unit 110 is installed.
  • the photographing position is R3
  • the height difference between the ground at the location where the vehicle image acquisition unit 110 is installed and the ground at the R3 location is H3.
  • the ground height correction unit 134 may correct the location data based on the H3 value in the same principle as shown in (a) of FIG. 10 .
  • the ground height corrector 134 may further correct position data using inclination data of the ground at the shooting location. This is because even if the height of the ground in front of the vehicle where the license plate is located is the same as the height of the ground where the vehicle image acquisition unit 110 is installed, the height of the ground where the rear of the vehicle is located may be different.
  • FIG. 11 is a flowchart illustrating a license plate image correction method using the license plate image processing apparatus 100 according to an embodiment of the present invention.
  • the license plate image processing apparatus 100 may acquire a photographed image including the vehicle by photographing the vehicle and detect the license plate image from the photographed image. (S200)
  • the license plate image processing device 100 may generate position data indicating a location of a license plate image within a photographed image.
  • the license plate image processing device 100 may load image correction data corresponding to the location data from the database unit D, and generate a license plate image correction value based on the loaded image correction data. (S220)
  • the license plate image processing device 100 may correct the license plate image using the license plate image correction value.
  • the license plate image may be rotated based on the second correction value and then scale corrected based on the first correction value.
  • step S220 is a diagram showing detailed steps of step S220 according to an embodiment of the present invention.
  • step S220 may include correcting location data based on a difference in height between the ground at a location where the vehicle image acquisition unit 110 is installed and the ground at a predetermined capturing location. (S221)
  • the location data when the location data is two-dimensional coordinate data having a horizontal axis value and a vertical axis value, the location data may be corrected through [Equation 1] below.
  • Center X % width may be a value representing the horizontal axis position of the center point of the license plate image in the photographed image.
  • Center Y % height may be a value indicating a vertical axis position of a center point of a license plate image in a photographed image.
  • ALP_Ratio[Center X% width][Center Y % height] may be a first correction value of image correction data corresponding to the first area A1.
  • ALP_Ratio[Center X% width][(Center Y + Entrance Height Diff)% height] may be a first correction value of image correction data corresponding to an area located below the first area A1.
  • Alpha value may be a correction ratio coefficient preset according to the installation location of the license plate image processing device 100.
  • W_H_Ratio may be an aspect ratio of a license plate image extracted from a photographed image. If W_H_Ratio is calculated as a negative value, Alpha value may be set as a negative value.
  • the predetermined photographing position may be a predetermined position according to the focus or photographing performance of the vehicle image acquisition unit 110 . Also, if the Entrance Height Diff is 0, that is, if there is no height difference between the ground surfaces, step S221 may be omitted.
  • the image correction data may include a first correction value for correcting the scale of the license plate image and a second correction value for correcting the rotation of the license plate image.
  • a first correction value for correcting the scale of the license plate image may be corrected.
  • a second correction value for correcting the rotation of the license plate image may be corrected.
  • a first correction value may be corrected through [Equation 2] below, and a second correction value may be corrected through [Equation 3].
  • Center X % width may be a value indicating the horizontal axis position of the center point of the license plate image in the photographed image.
  • Center Y % height may be a value indicating a vertical axis position of a center point of a license plate image in a photographed image.
  • ALP_Ratio[Center X% width][Center Y % height] may be a first correction value of image correction data corresponding to the first area A1.
  • the Alpha value may be a correction ratio coefficient preset according to the installation location of the license plate image processing device 100.
  • W_H_Ratio may be an aspect ratio of a license plate image extracted from a photographed image. If W_H_Ratio is calculated as a negative value, Alpha value may be set as a negative value.
  • Center X % width may be a value representing the horizontal axis position of the center point of the license plate image in the photographed image.
  • Center Y % height may be a value indicating a vertical axis position of a center point of a license plate image in a photographed image.
  • ALP_Angle[Center X% width][Center Y % height] may be a second correction value of image correction data corresponding to the first area A1.
  • the Beta value may be a correction ratio coefficient preset according to the installation location of the license plate image processing device 100 .
  • W_H_Ratio may be an aspect ratio of a license plate image extracted from a photographed image. If W_H_Ratio is calculated as a negative value, the Beta value may be set as a negative value.
  • a step of correcting image correction data may be performed based on an angle between a photographing direction of the vehicle image acquisition unit 110 and a direction of an access road where a vehicle to be photographed is located.
  • the second correction value of the image correction data may be corrected through [Equation 4] below.
  • [Equation 4] differs from [Equation 3] in that the second correction value is corrected using LP_CAR_Photo_Angle, which represents the angle between the photographing direction of the vehicle image acquisition unit 110 and the direction of the driveway where the photographing target vehicle is located.
  • LP_CAR_Photo_Angle represents the angle between the photographing direction of the vehicle image acquisition unit 110 and the direction of the driveway where the photographing target vehicle is located.
  • the license plate image processing apparatus may store an aspect ratio reference value for each region of a captured image, and the license plate image apparatus Since image correction data is corrected based on the difference between the aspect ratio reference value of the area where the license plate image is located and the aspect ratio of the captured license plate image, the license plate image is corrected in its original form with a relatively small amount of computation, which can be performed in various conditions and industrial sites. can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예는 차량을 촬영하여 상기 차량이 포함된 촬영 이미지를 획득하는 차량 영상 획득부; 상기 촬영 이미지로부터 상기 차량의 번호판 이미지를 검출하고, 상기 촬영 이미지 내 상기 번호판 이미지의 위치에 대한 위치 데이터를 생성하는 번호판 검출부; 상기 촬영 이미지 내 상기 번호판 이미지의 위치 별로 미리 계산된 이미지 보정 데이터가 저장된 데이터베이스부; 상기 데이터베이스부로부터 상기 위치 데이터에 대응되는 상기 이미지 보정 데이터를 로드하고, 로드한 상기 이미지 보정 데이터를 기초로 번호판 이미지 보정 값을 생성하는 보정 값 생성부; 및 상기 번호판 이미지 보정 값에 기초하여 상기 번호판 이미지를 보정하는 번호판 이미지 보정부를 포함하는 차량번호 인식을 위한 번호판 이미지 처리 장치를 제공한다.

Description

차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법
본 발명은 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법에 관한 것으로, 더욱 상세하게는 비교적 적은 연산량으로 비스듬히 촬영된 번호판 이미지를 본래의 형태로 보정할 수 있는 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법에 관한 것이다.
이미지 인식 기술의 발전으로 차량의 번호판 이미지를 이용한 차량번호 자동 인식이 가능해졌으며, 현재는 대다수의 차량 출입 관리 시스템이 이러한 방식을 채택하고 있다.
번호판 이미지는 주차장과 같이 차량의 출입관리가 필요한 장소의 출입구에 설치된 촬영 장치를 이용해 차량을 촬영함으로써 획득된다. 그리고 차량번호의 인식은 촬영 이미지로부터의 번호판 식별, 번호판 검증, 부호(문자, 숫자, 기호) 분리 및 부호 인식의 단계의 결합으로 구성되며, 소프트웨어로 구현되어 컴퓨터 시스템에서 수행된다.
도 1은 차량번호 인식을 위한 종래의 번호판 식별 과정을 도시한 도면으로, 번호판의 식별은 번호판의 외곽선을 검출하는 방식으로 이루어진다.
먼저 주차장의 입구 또는 출구에 마련되는 카메라를 통해 입차 차량 또는 출차 차량의 촬영이 이루어진다.(S11) 그리고 촬영된 차량의 이미지에 포함된 번호판 이미지의 윤곽선을 추출하여 최종적으로 번호판 이미지를 획득하게 된다.(S12)
한편, 촬영 장치가 차량의 진입 방향으로부터 비스듬히 설치되거나, 출입구에 차량이 비스듬하게 진입할 경우에는 차량의 번호판이 비스듬히 촬영될 수 있다.
도 1에 도시된 바와 같이 비스듬히 촬영된 번호판은 가로, 세로 비율이 일반 번호판의 규격 비율과 상이할 수 있으며, 번호판을 정면에서 촬영한 이미지와 대비하여 소정의 각도로 회전된 형상을 가지게 된다.
이처럼 비스듬한 번호판 이미지는 정확한 차량번호 인식을 위해 본래 번호판 형태로의 보정이 이루어지게 되는데, 정확한 보정을 위해서는 번호판의 외곽선이 정확히 추출되어야 한다.
이때 번호판 외곽선의 추출은 통상적으로 하흐 변환(Generalized Hough Transform)을 통해 이루어지는데, 이 방법은 화소에 의존하여 계산하므로 높은 연산량을 필요로 한다.
그러나 출입구에 설치되는 차량번호 인식 장치들은 설치 장소나 기기 스펙의 문제로 처리 성능에 제약이 있으므로 높은 연산량의 작업을 수행하기 어려운 문제점이 있다. 특히 초점 등의 문제로 취득한 차량 영상의 품질이 떨어지는 경우, 영상 내 번호판의 경계를 이루는 화소가 줄어들기 때문에 번호판 외곽선의 정확한 추출이 더욱 어려워지는 문제점이 있다.
상기한 문제점을 해결하기 위해 본 발명이 이루고자 하는 기술적 과제는 비교적 적은 연산량으로 비스듬히 촬영된 번호판 이미지를 본래의 형태로 보정할 수 있는 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예는 차량을 촬영하여 상기 차량이 포함된 촬영 이미지를 획득하는 차량 영상 획득부; 상기 촬영 이미지로부터 상기 차량의 번호판 이미지를 검출하고, 상기 촬영 이미지 내 상기 번호판 이미지의 위치에 대한 위치 데이터를 생성하는 번호판 검출부; 상기 촬영 이미지 내 상기 번호판 이미지의 위치 별로 미리 계산된 이미지 보정 데이터가 저장된 데이터베이스부; 상기 데이터베이스부로부터 상기 위치 데이터에 대응되는 상기 이미지 보정 데이터를 로드하고, 로드한 상기 이미지 보정 데이터를 기초로 번호판 이미지 보정 값을 생성하는 보정 값 생성부; 및 상기 번호판 이미지 보정 값에 기초하여 상기 번호판 이미지를 보정하는 번호판 이미지 보정부를 포함하는 차량번호 인식을 위한 번호판 이미지 처리 장치를 제공한다.
상기 촬영 이미지는 복수의 구역으로 구획되고, 상기 이미지 보정 데이터는 각 상기 구역별로 미리 계산되어 상기 데이터베이스부에 저장되고, 상기 보정 값 생성부는 상기 위치 데이터가 속하는 기 구역에 해당하는 상기 이미지 보정 데이터를 로드할 수 있다.
상기 이미지 보정 데이터는 상기 번호판 이미지의 스케일을 보정하는 제1 보정 값과, 상기 번호판 이미지를 회전 보정하는 제2 보정 값을 포함할 수 있다.
상기 데이터베이스부는 상기 촬영 이미지 내 상기 번호판 이미지의 위치 별로 미리 계산된 종횡비 기준 값을 더 저장하고, 상기 보정 값 생성부는 상기 위치 데이터에 대응하는 상기 종횡비 기준 값과 상기 번호판 이미지의 종횡비 간의 차이에 기초하여 상기 제1 보정 값과 상기 제2 보정 값 중 적어도 하나를 보정할 수 있다.
상기 차량 영상 획득부는 미리 정해진 촬영 위치 상의 상기 차량을 촬영하고, 상기 보정 값 생성부는, 상기 차량 영상 획득부가 설치된 위치의 지면과 상기 미리 정해진 촬영 위치의 지면 간의 높이 차이에 기초하여 상기 위치 데이터를 보정하고, 상기 보정 값 생성부는 보정된 상기 위치 데이터에 대응하는 상기 이미지 보정 데이터를 로드할 수 있다.
상기 보정 값 생성부는 상기 미리 정해진 촬영 위치의 지면의 경사각 데이터를 이용해 상기 위치 데이터를 더 보정할 수 있다.
상기 위치 데이터는 가로축 값과 세로축 값을 포함하는 2차원 좌표 데이터로 이루어지고, 상기 보정 값 생성부는 상기 높이 차이에 기초하여 상기 위치 데이터의 세로축 값을 보정할 수 있다.
상기 제2 보정 값은 상기 차량 영상 획득부의 촬영 방향과 상기 촬영 시 상기 차량이 위치한 진입로의 방향 사이의 각도에 기초하여 보정될 수 있다.
상기 번호판 이미지 보정부는 상기 제2 보정 값에 기초하여 상기 번호판 이미지를 회전 보정한 후, 상기 제1 보정 값에 기초하여 상기 번호판 이미지의 스케일을 보정할 수 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예는 a) 차량을 촬영하여 상기 차량이 포함된 촬영 이미지를 획득하고, 상기 촬영 이미지로부터 번호판 이미지를 검출하는 단계; b) 상기 촬영 이미지 내 상기 번호판 이미지의 위치에 대한 위치 데이터를 생성하는 단계; c) 상기 촬영 이미지 내 상기 번호판 이미지의 위치 별로 미리 계산된 이미지 보정 데이터가 저장된 데이터베이스부로부터 상기 위치 데이터에 대응되는 상기 이미지 보정 데이터를 로드하고, 로드한 상기 이미지 보정 데이터를 기초로 번호판 이미지 보정 값을 생성하는 단계; 및 d) 상기 번호판 이미지 보정 값에 기초하여 상기 번호판 이미지를 보정하는 단계를 포함하는 차량번호 인식을 위한 번호판 이미지 보정 방법을 제공한다.
상기 촬영 이미지는 복수의 구역으로 구획되고, 상기 이미지 보정 데이터는 각 상기 구역별로 미리 계산되어 상기 데이터베이스부에 저장되고, 상기 c) 단계는 상기 위치 데이터가 속하는 상기 구역에 해당하는 상기 이미지 보정 데이터를 상기 데이터베이스부로부터 로드할 수 있다.
상기 데이터베이스부는 상기 촬영 이미지 내 상기 번호판 이미지의 위치 별로 미리 계산된 종횡비 기준 값을 더 저장하고, 상기 c) 단계는 상기 위치 데이터에 대응하는 이미지 보정 데이터를 데이터베이스부로부터 로드하는 단계; 및 상기 위치 데이터에 대응하는 종횡비 기준 값과 번호판 이미지의 종횡비 간의 차이에 기초하여 이미지 보정 데이터를 보정하는 단계를 포함할 수 있다.
상기 c) 단계는 상기 위치 데이터에 대응하는 이미지 보정 데이터를 데이터베이스부로부터 로드하는 단계; 및 상기 차량 영상 획득부의 촬영 방향과 상기 차량이 위치한 진입로의 방향 간의 각도에 기초하여 상기 이미지 보정 데이터를 보정하는 단계를 포함할 수 있다.
상기 촬영 이미지는 상기 차량을 촬영하는 차량 영상 획득부를 이용해 획득되고 상기 b) 단계와 c) 단계 사이에, 상기 차량 영상 획득부가 설치된 위치의 지면과 미리 정해진 촬영 위치의 지면 간의 높이 차이에 기초하여 위치 데이터를 보정하는 단계를 더 포함할 수 있다.
상기 위치 데이터는 상기 미리 정해진 촬영 위치의 지면의 경사각 데이터를 기초로 더 보정될 수 있다.
상기 이미지 보정 데이터는 상기 번호판 이미지의 스케일을 보정하는 제1 보정 값과, 상기 번호판 이미지를 회전 보정하는 제2 보정 값을 포함하고, 상기 d) 단계는 상기 제2 보정 값에 기초하여 상기 번호판 이미지를 회전 보정한 후, 상기 제1 보정 값에 기초하여 상기 번호판 이미지의 스케일을 보정하는 것일 수 있다.
본 발명의 실시예에 따르면, 번호판 이미지 처리 장치는 촬영 이미지 내 번호판 이미지의 위치 별로 미리 계산된 이미지 보정 데이터를 이용해 번호판 이미지를 보정할 수 있다. 즉 번호판 이미지 처리 장치는 하흐 변환(Generalized Hough Transform)과 같은 복잡한 연산을 이용해 외곽선을 추출하는 과정 없이도 번호판 이미지의 형상을 추정해 낼 수 있다. 따라서 번호판 이미지 처리 장치는 비교적 적은 연산량으로 비스듬히 촬영된 번호판 이미지를 본래의 번호판 형태로 보정할 수 있다.
또한 본 발명의 실시예에 따르면, 번호판 이미지 처리 장치는 촬영 이미지의 각 구역 별로 종횡비 기준 값을 저장할 수 있다. 그리고 번호판 이미지 장치는 촬영된 번호판 이미지가 위치한 구역의 종횡비 기준 값과 촬영된 번호판 이미지의 종횡비의 차이를 기초로 이미지 보정 데이터를 보정하므로, 촬영된 번호판 이미지는 번호판 규격 형상과 보다 유사하게 보정될 수 있다.
또한 본 발명의 실시예에 따르면, 번호판 이미지 처리 장치는 차량 영상 획득부의 촬영 방향과 촬영 대상인 차량이 위치한 진입로의 방향 간의 각도에 기초하여 이미지 보정 데이터를 보정하므로, 번호판 이미지의 보정은 정확히 이루어질 수 있다.
또한 본 발명의 실시예에 따르면, 번호판 이미지 처리 장치는 차량 영상 획득부가 설치된 위치의 지면과 미리 정해진 촬영 위치의 지면 간의 높이 차이에 기초하여 위치 데이터를 보정하므로, 번호판 이미지의 보정은 정확히 이루어질 수 있다.
또한 본 발명의 실시예에 따르면, 번호판 이미지 처리 장치는 미리 정해진 촬영 위치의 지면의 경사각 데이터를 기초로 위치 데이터를 더 보정하므로, 번호판 이미지의 보정은 보다 정확히 이루어질 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 차량번호 인식을 위한 종래의 번호판 식별 과정을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 번호판 이미지 처리 장치를 개략적으로 도시한 블록도이다.
도 3은 비스듬히 촬영된 번호판 이미지의 예를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 번호판 이미지 처리 장치를 도시한 세부 블록도이다.
도 5는 본 발명의 실시예에 따른 차량 영상 획득부가 획득한 촬영 이미지의 예를 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 촬영 이미지 내 각 구역의 번호판 이미지 형상을 정형화시켜 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 촬영 이미지의 구역 별로 미리 계산되어 저장된 이미지 보정 데이터 테이블을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 종횡비 보정부가 이미지 보정 데이터를 보정하는 예를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 촬영 방향 보정부가 이미지 보정 데이터를 보정하는 예를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 지면 높이 보정부가 위치 데이터를 보정하는 예를 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 번호판 이미지 처리 장치를 이용한 번호판 이미지 보정 방법을 도시한 순서도이다.
도 12는 본 발명의 실시예에 따른 단계 S220의 세부 단계를 도시한 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 번호판 이미지 처리 장치(100)를 개략적으로 도시한 블록도이다. 그리고 도 3은 비스듬히 촬영된 번호판 이미지의 예를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이 번호판 이미지 처리 장치(100)는 차량 영상 획득부(110), 번호판 검출부(120), 보정 값 생성부(130), 번호판 이미지 보정부(140) 및 데이터베이스부(D)를 포함할 수 있다.
차량 영상 획득부(110)는 차량(1)을 촬영하여 차량(1)이 포함된 촬영 이미지를 획득할 수 있다. 일 예로 차량 영상 획득부(110)는 차량의 출입 관리가 필요한 장소의 출입구에 설치된 카메라일 수 있다.
번호판 검출부(120)는 촬영 이미지로부터 차량(1)의 번호판 이미지를 검출할 수 있다. 이때 번호판은 도 3의 (a)에 도시된 바와 같이 비스듬히 촬영될 수 있다. 번호판 이미지로부터 차량번호를 정확히 인식하기 위해, 비스듬히 촬영된 번호판 이미지(Pa)는 도 3의 (b)와 같이 본래의 형상을 갖는 번호판 이미지(Pb)로 보정될 수 있다. 이를 위해 번호판 검출부(120)는 촬영 이미지 내 번호판 이미지의 위치에 대한 위치 데이터를 생성할 수 있다. 위치 데이터의 구체적인 활용 예는 도 5 내지 7을 통해 상세히 설명하기로 한다.
데이터베이스부(D)는 촬영 이미지 내 번호판 이미지의 위치 별로 미리 계산된 이미지 보정 데이터를 저장할 수 있다. 이미지 보정 데이터는 번호판 이미지의 보정에 사용될 수 있다.
보정 값 생성부(130)는 위치 데이터에 대응되는 이미지 보정 데이터를 데이터베이스부(D)로부터 로드할 수 있다. 즉 보정 값 생성부(130)는 촬영 이미지 내 번호판 이미지의 위치에 따라 다른 이미지 보정 데이터를 로드할 수 있다. 그리고 보정 값 생성부(130)는 로드한 이미지 보정 데이터에 기초하여 번호판 이미지 보정 값을 생성할 수 있다.
그리고 번호판 이미지 보정부(140)는 번호판 이미지 보정 값을 이용해 번호판 이미지를 보정할 수 있다.
도 2에서는 번호판 이미지 처리 장치(100)의 각 구성이 일체화되어 차량의 출입 관리가 필요한 장소의 출입구에 설치된 경우를 예로 설명하였다. 그러나 번호판 이미지 처리 장치(100)의 각 구성은 서로 다른 위치에 설치될 수도 있다. 예컨대 차량 영상 획득부(110)는 차량(1)의 출입구에 설치되고, 이 외의 구성들은 별도의 장소에 구비되거나 또는 외부의 서버에 탑재되어 차량 영상 획득부(110)와 통신할 수도 있다.
도 4는 본 발명의 실시예에 따른 번호판 이미지 처리 장치(100)를 도시한 세부 블록도이다.
도 4에 도시된 바와 같이 번호판 검출부(120)는 차량 영상 획득부(110)로부터 촬영 이미지를 수신할 수 있다. 촬영 이미지는 차량이 포함된 이미지일 수 있다.
번호판 검출부(120)는 번호판 이미지 검출부(121) 및 번호판 위치 판단부(122)를 포함할 수 있다.
번호판 이미지 검출부(121)는 촬영 이미지 내의 번호판 이미지를 검출할 수 있다. 즉 번호판 이미지 검출부(121)는 번호판 이미지를 생성할 수 있다.
번호판 위치 판단부(122)는 촬영 이미지 내 번호판 이미지의 위치를 나타내는 위치 데이터를 생성할 수 있다. 위치 데이터는 촬영 이미지의 특정 위치를 기준점으로 하는 2차원 좌표 데이터일 수 있다. 위치 데이터는 가로축 값과 세로축 값을 가질 수 있다. 위치데이터는 극좌표일 수도 있다. 위치 데이터는 번호판 이미지 중심점의 좌표일 수 있다. 일 예로 중심점은 번호판 이미지의 무게중심일 수 있다.
한편 위치 데이터는 촬영 이미지 내 특정 구역을 나타내는 데이터일 수도 있다.
구체적으로 촬영 이미지는 복수의 구역으로 구획될 수 있다. 그리고 번호판 위치 판단부(122)는 번호판 이미지의 위치(예컨대 번호판 이미지 중심점의 위치)가 어느 구역에 속하는지 판단할 수 있다. 그리고 번호판 위치 판단부(122)는 해당 구역의 정보를 위치 데이터로서 생성할 수 있다.
그리고 번호판 검출부(120)는 번호판 이미지 및 위치 데이터를 보정 값 생성부(130)로 전달할 수 있다.
보정 값 생성부(130)는 번호판 이미지의 보정에 필요한 번호판 이미지 보정 값을 생성할 수 있다.
보정 값 생성부(130)는 이미지 보정 데이터 로드부(131), 종횡비 보정부(132), 촬영 방향 보정부(133) 및 지면 높이 보정부(134)를 포함할 수 있다.
이미지 보정 데이터 로드부(131)는 위치 데이터에 대응되는 이미지 보정 데이터를 데이터베이스부(D)로부터 로드할 수 있다.
이때 데이터베이스부(D)는 촬영 이미지 내 번호판 이미지의 위치 별로 미리 계산된 이미지 보정 데이터가 저장된 상태일 수 있다. 일 예로 이미지 보정 데이터는 번호판 이미지의 스케일 보정을 위한 제1 보정 값과, 번호판 이미지의 회전 보정을 위한 제2 보정 값을 포함할 수 있다. 또한 이미지 보정 데이터는 촬영 이미지의 각 구역 별로 미리 계산된 데이터일 수도 있다.
그리고, 보정 값 생성부(130)는 로드한 이미지 보정 데이터를 번호판 이미지 보정 값으로 선정할 수 있다.
한편 보정 값 생성부(130)는 번호판 이미지를 보다 정확히 보정하기 위해 종횡비 보정부(132), 촬영 방향 보정부(133) 및 지면 높이 보정부(134)를 이용하여 로드한 이미지 보정 데이터를 보정할 수 있다.
이는 이미지 보정 데이터가 계산될 시의 차량 위치 또는 방향이 촬영 시의 차량 위치 또는 방향과 소폭 다를 수 있기 때문이다.
종횡비 보정부(132)는 촬영을 통해 획득한 번호판 이미지의 종횡비에 기초하여 로드한 이미지 보정 데이터를 보정할 수 있다. 이때 데이터베이스부(D)에는 종횡비 기준 값이 저장된 상태일 수 있다. 종횡비 기준 값은 촬영 이미지 내 번호판 이미지의 위치 별로 미리 계산된 번호판 이미지의 가로세로 비율일 수 있다.
구체적으로 종횡비 보정부(132)는 위치 데이터에 대응하는 종횡비 기준 값과 번호판 이미지의 종횡비 간의 차이를 기초로 이미지 보정 데이터를 보정할 수 있다. 종횡비 보정이 이루어지는 구체적인 예는 도 8을 통해 상세히 살펴보기로 한다.
촬영 방향 보정부(133)는 차량 영상 획득부(110)의 촬영 방향과 촬영 대상인 차량이 위치한 진입로의 방향 간의 각도에 기초하여 이미지 보정 데이터를 보정할 수 있다.
이는 차량 영상 획득부(110)가 차량 진입로와 비스듬한 위치에 설치될 수도 있기 때문이다. 일 예로 촬영 방향 보정부(133)는 이미지 보정 데이터의 제2 보정 값에 차량 영상 획득부(110)의 촬영 방향과 촬영 대상인 차량이 위치한 진입로의 방향 간의 각도를 더하거나 또는 빼는 방식으로 제2 보정 값을 보정할 수 있다. 촬영 방향 보정이 이루어지는 구체적인 예는 도 9를 통해 상세히 살펴보기로 한다.
지면 높이 보정부(134)는 차량 영상 획득부(110)가 설치된 위치의 지면과 촬영 위치의 지면 간의 높이 차이 값을 이용해 위치 데이터를 보정할 수 있다.
이는 차량 영상 획득부(110)가 설치된 위치의 지면 높이와 미리 설정된 촬영 위치의 지면 높이가 서로 다를 경우, 번호판의 중심점 위치가 동일하더라도 번호판의 촬영 각도가 달라질 수 있기 때문이다. 지면 높이 보정이 이루어지는 구체적인 예는 도 10을 통해 상세히 살펴보기로 한다.
그리고, 보정 값 생성부(130)는 최종 보정된 이미지 보정 데이터를 번호판 이미지 보정 값으로 선정할 수 있다.
번호판 이미지 보정부(140)는 번호판 이미지 보정 값을 이용해 번호판 이미지를 보정할 수 있다.
번호판 이미지 보정부(140)는 스케일 보정부(141) 및 회전 보정부(142)를 포함할 수 있다.
스케일 보정부(141)는 제1 보정 값을 이용해 번호판 이미지의 스케일(Scale)을 보정할 수 있다. 일 예로 스케일 보정부(141)는 번호판 이미지를 좌우 또는 상하 방향으로 늘리거나 줄일 수 있다. 그리고 회전 보정부(142)는 제2 보정 값을 이용해 번호판 이미지를 회전 보정할 수 있다.
도 5는 본 발명의 실시예에 따른 차량 영상 획득부(110)가 획득한 촬영 이미지의 예를 도시한 도면이다.
도 5는 서로 다른 환경(위치)에서 촬영된 촬영 이미지의 예를 설명하기 위해 하나의 촬영 이미지에 제1 내지 제3 차량(C1, C2, C3)이 포함된 것으로 도시하였다.
도 5에 도시된 바와 같이 촬영된 차량의 번호판 위치와 형상은 차량과 차량 영상 획득부(110)의 상대적 위치에 따라 달라질 수 있다. 즉, 번호판의 위치와 형상은 차량과 차량 영상 획득부(110) 간의 거리 및 촬영 방향에 따라 달라질 수 있다.
일 예로 차량 영상 획득부(110) 설치 위치의 지면에 비해 촬영 위치의 지면이 북서쪽에 위치하는 경우, 제1 차량(C1)과 같은 번호판 이미지(P1)가 획득될 수 있다.
일 예로 차량 영상 획득부(110) 설치 위치의 지면이 촬영 위치 지면의 정면에 위치하는 경우, 제2 차량(C2)과 같은 번호판 이미지(P2)가 획득될 수 있다.
일 예로 차량 영상 획득부(110) 설치 위치의 지면에 비해 촬영 위치의 지면이 동남쪽에 위치하는 경우, 제3 차량(C3)과 같은 번호판 이미지(P3)가 획득될 수 있다.
도 6은 본 발명의 실시예에 따른 촬영 이미지 내 각 구역의 번호판 이미지 형상을 정형화시켜 도시한 도면이다. 그리고, 도 7은 본 발명의 실시예에 따른 촬영 이미지의 구역 별로 미리 계산된 이미지 보정 데이터 테이블을 설명하기 위한 도면이다.
도 6과 도 7의 실시예는 촬영 이미지가 5열 3행의 15개 구역으로 구획되고, 각 구역 별로 이미지 보정 데이터가 할당된 것으로 가정하였다.
도 6의 촬영 이미지 내 각 구역에 도시된 번호판 이미지는 해당 구역에서 번호판이 촬영되었을 경우 추정되는 번호판 이미지의 형상을 나타낸 것이다. 번호판 이미지 처리 장치(100)가 바라보는 차량 출입로는 고정되어 있으므로, 각 구역에서 촬영되는 번호판 이미지의 형상은 추정이 가능한 것이다.
일 예로 도 5의 제1 차량(C1)의 번호판은 제1 구역(A1)에 위치하므로 제1 번호판 이미지 형상(S1)을 가질 것으로 추정될 수 있다. 그리고 이미지 보정 데이터 로드부(131)는 제1 구역(A1)에 해당하는 이미지 보정 데이터를 데이터베이스부(D)로부터 로드할 수 있다. 도 7을 참조하면 제1 구역(A1)에는 이미지 보정 데이터로서 제1 보정 값(ALP_RATIO1)과 제2 보정 값(ALP_ANGLE1)이 저장되어 있다.
이때 제1 구역(A1)의 제1 보정 값(ALP_RATIO1)과 제2 보정 값(ALP_ANGLE1)은 제1 번호판 이미지 형상(S1)을 기 설정된 번호판 이미지 형상으로 변환하기 위한 보정 값일 수 있다. 여기서 기 설정된 번호판 이미지 형상은 번호판을 정면에서 촬영하였을 때의 형상, 즉 번호판의 규격 형상일 수 있다.
이와 동일한 원리로 제2 차량(C2)의 번호판은 제2 구역(A2)에 위치하므로 제2 번호판 이미지의 형상(S2)을 가질 것으로 추정될 수 있다. 그리고 이미지 보정 데이터 로드부(131)는 제2 차량(C2)의 번호판 이미지를 보정하기 위해 제2 구역(A2)에 해당하는 이미지 보정 데이터의 제1 보정 값(ALP_RATIO8)과 제2 보정 값(ALT_ANGLE8)을 데이터베이스부(D)로부터 로드할 수 있다.
또한 제3 차량(C3)의 번호판은 제3 구역(A3)에 위치하므로 제3 번호판 이미지의 형상(S3)을 가질 것으로 추정될 수 있다. 그리고 이미지 보정 데이터 로드부(131)는 제3 차량(C3)의 번호판 이미지를 보정하기 위해 제3 구역(A3)에 해당하는 이미지 보정 데이터의 제1 보정 값(ALP_RATIO15)과 제2 보정 값(ALT_ANGLE15)을 데이터베이스부(D)로부터 로드할 수 있다.
이에 따르면, 번호판 이미지 처리 장치(100)는 하흐 변환(Generalized Hough Transform)과 같은 복잡한 연산을 이용해 외곽선을 추출하는 과정 없이도 번호판 이미지의 형상을 추정해 낼 수 있다. 즉 번호판 이미지 처리 장치(100)는 적은 연산량으로도 비스듬히 촬영된 번호판 이미지를 본래 형태로 보정할 수 있다.
도 8은 본 발명의 실시예에 따른 종횡비 보정부(132)가 이미지 보정 데이터를 보정하는 예를 설명하기 위한 도면이다. 도 8의 번호판 이미지는 제4 구역(A4)에서 촬영된 제4 차량(미도시)의 번호판 이미지이다. 이때 제4 차량의 번호판 이미지는 제4 구역(A4)의 제4 번호판 이미지 형상(S4)과 종횡비가 소폭 상이할 수 있다. 이는 전술한 바와 같이 이미지 보정 데이터가 계산될 시의 차량 위치 또는 방향이 촬영 시의 차량 위치 또는 방향과 소폭 다를 수 있기 때문이다.
이의 보정을 위해 데이터베이스부(D)는 촬영 이미지 내 번호판 이미지의 위치 별로 미리 계산된 종횡비 기준 값을 더 저장할 수 있다. 이러한 종횡비 기준 값은 구역 별로 미리 계산될 수도 있음은 물론이다.
그리고 종횡비 보정부(132)는 위치 데이터에 대응하는 종횡비 기준 값과 번호판 이미지의 종횡비(예컨대 P4w/P4h) 간의 차이에 기초하여 이미지 보정 데이터를 보정할 수 있다. 구체적으로 종횡비 보정부(132)는 이미지 보정 데이터에 포함된 제1 보정 값과 제2 보정 값 중 적어도 하나를 보정할 수 있다.
이에 따르면 촬영된 번호판 이미지의 종횡비에 기초하여 이미지 보정 데이터가 보정되므로, 촬영된 번호판 이미지가 번호판 규격 형상과 보다 유사하게 보정될 수 있다.
도 9는 본 발명의 실시예에 따른 촬영 방향 보정부(133)가 이미지 보정 데이터를 보정하는 예를 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 차량 영상 획득부(110)의 촬영 방향(W1)과 차량의 진입로 방향(W2)이 비스듬할 경우, 촬영 방향 보정부(133)는 차량 영상 획득부(110)의 촬영 방향과 촬영 시 차량이 위치한 진입로의 방향 사이의 각도(T)에 기초하여 이미지 보정 데이터를 보정할 수 있다. 이때 보정되는 이미지 보정 데이터는 제2 보정 값일 수 있다.
일 예로 촬영 방향 보정부(133)는 이미지 보정 데이터의 제2 보정 값에 차량 영상 획득부(110)의 촬영 방향(W1)과 촬영 대상인 차량이 위치한 진입로의 방향(W2) 간의 각도를 더하거나 또는 빼는 방식으로 제2 보정 값을 보정할 수 있다. 이때 차량이 위치한 진입로의 방향(W2)은 차량(1)의 전방 방향으로 대체될 수도 있음은 물론이다.
일 예로 차량 영상 획득부(110)의 촬영 방향과 촬영 대상인 차량(1)이 위치한 진입로의 방향 간의 각도(T)는 번호판 이미지 처리 장치(100)의 설치 시에 측정되어 촬영 방향 보정부(133)에 입력된 값일 수 있다.
이에 따르면 차량 영상 획득부(110)가 번호판을 비스듬히 촬영하도록 설치되더라도 촬영된 번호판 이미지는 번호판 규격 형상과 유사하게 보정될 수 있다.
도 10은 본 발명의 실시예에 따른 지면 높이 보정부(134)가 위치 데이터를 보정하는 예를 설명하기 위한 도면이다.
도 10에 도시된 바와 같이 차량 영상 획득부(110)가 설치된 위치의 지면 높이와 촬영 위치의 지면 높이는 서로 다를 수 있다. 이때 촬영 위치는 번호판의 촬영이 이루어지는 위치를 의미한다. 이러한 촬영 위치는 차량 영상 획득부(110)의 초점이나 촬영 성능에 따라 미리 정해질 수 있다.
도 10의 (a)는 촬영 위치의 지면이 차량 영상 획득부(110)가 설치된 위치의 지면에 비해 높은 경우를 도시한 도면이다. 도 10의 (a)에서 촬영 위치는 R1으로, 차량 영상 획득부(110)가 설치된 위치의 지면과 R1위치 지면의 높이 차이는 H1이다.
그리고 지면 높이 보정부(134)는 H1 값을 기초로 위치 데이터를 보정할 수 있다. 일 예로 위치 데이터가 가로축 값과 세로축 값을 갖는 2차원 좌표 데이터인 경우, 지면 높이 보정부(134)는 위치 데이터의 세로축 값을 보정할 수 있다.
한편, 도 10의 (b)는 촬영 위치(R2)의 지면 높이가 차량 영상 획득부(110)가 설치된 위치의 지면 높이와 동일한 경우를 도시한 도면이다. 이 경우 지면 높이 보정부(134)는 위치 데이터의 보정을 생략할 수 있다.
도 10의 (c)는 촬영 위치의 지면이 차량 영상 획득부(110)가 설치된 위치의 지면에 비해 낮은 경우를 도시한 도면이다. 도 10의 (c)에서 촬영 위치는 R3으로, 차량 영상 획득부(110)가 설치된 위치의 지면과 R3위치 지면의 높이 차이는 H3이다.
그리고 지면 높이 보정부(134)는 도 10의 (a)와 같은 원리로 H3 값에 기초하여 위치 데이터를 보정할 수 있다.
한편, 지면 높이 보정부(134)는 촬영 위치 지면의 경사각 데이터를 이용해 위치 데이터를 더 보정할 수 있다. 이는 번호판이 위치한 차량 전방의 지면 높이가 차량 영상 획득부(110)가 설치된 위치의 지면의 높이와 동일하더라도 차량 후방이 위치한 지면의 높이는 다를 수 있기 때문이다.
도 11은 본 발명의 실시예에 따른 번호판 이미지 처리 장치(100)를 이용한 번호판 이미지 보정 방법을 도시한 순서도이다.
먼저 번호판 이미지 처리 장치(100)는 차량을 촬영하여 차량이 포함된 촬영 이미지를 획득하고 촬영 이미지로부터 번호판 이미지를 검출할 수 있다. (S200)
그리고 번호판 이미지 처리 장치(100)는 촬영 이미지 내 번호판 이미지의 위치를 나타내는 위치 데이터를 생성할 수 있다. (S210)
그리고 번호판 이미지 처리 장치(100)는 위치 데이터에 대응하는 이미지 보정 데이터를 데이터베이스부(D)로부터 로드하고, 로드한 이미지 보정 데이터를 기초로 번호판 이미지 보정 값을 생성할 수 있다. (S220)
그리고 번호판 이미지 처리 장치(100)는 번호판 이미지 보정 값을 이용해 번호판 이미지를 보정할 수 있다. (S230)
단계 S230에서 번호판 이미지는 제2 보정 값에 기초하여 회전 보정된 후 제1 보정 값에 기초하여 스케일이 보정될 수 있다.
도 12는 본 발명의 실시예에 따른 단계 S220의 세부 단계를 도시한 도면이다.
도 12에 도시된 바와 같이 단계 S220은 차량 영상 획득부(110)가 설치된 위치의 지면과 미리 정해진 촬영 위치의 지면 간의 높이 차이에 기초하여 위치 데이터를 보정하는 단계를 포함할 수 있다. (S221)
일 예로 위치 데이터가 가로축 값과 세로축 값을 갖는 2차원 좌표 데이터인 경우, 위치 데이터는 하기 [식1]을 통해 보정될 수 있다.
Figure PCTKR2022006790-appb-img-000001
[식1]
[식1]에서 Center X % width는 촬영 이미지 내 번호판 이미지의 중심점의 가로축 위치를 나타내는 값일 수 있다. Center Y % height는 촬영 이미지 내 번호판 이미지의 중심점의 세로축 위치를 나타내는 값일 수 있다.
일 예로 도 5와 같이 촬영 이미지가 5열 3행으로 구획된 경우 번호판 이미지 중심점의 가로축 위치가 0~20% 이내이고, 세로축 위치가 66.6~100% 이내이면 ALP_Ratio[Center X% width][Center Y% height]는 제1 구역(A1)에 해당하는 이미지 보정 데이터의 제1 보정 값일 수 있다.
이때 차량 영상 획득부(110)가 설치된 위치의 지면과 미리 정해진 촬영 위치의 지면 간의 높이 차로 인해 Enterance Height Diff 가 음수로 산출될 경우 ALP_Ratio[Center X% width][(Center Y + Entrance Height Diff)% height]는 제1 구역(A1)의 아래에 위치한 구역에 해당하는 이미지 보정 데이터의 제1 보정 값일 수 있다.
그리고 Alpha값은 번호판 이미지 처리 장치(100)의 설치 장소에 따라 미리 설정된 보정 비율 계수일 수 있다. W_H_Ratio는 촬영 이미지로부터 추출한 번호판 이미지의 종횡비일 수 있다. 만약, W_H_Ratio가 음수 값으로 산출된 경우, Alpha 값은 음수 값으로 설정될 수 있다.
한편 미리 정해진 촬영 위치는 차량 영상 획득부(110)의 초점이나 촬영 성능에 따라 미리 정해진 위치일 수 있다. 또한 Entrance Height Diff가 0이라면, 즉 각 지면 간의 높이 차이가 없다면 단계 S221은 생략될 수도 있다.
다음으로 위치 데이터에 대응하는 이미지 보정 데이터를 데이터베이스부(D)로부터 로드하는 단계가 수행될 수 있다. (S222)
그리고 위치 데이터에 대응하는 종횡비 기준 값과 번호판 이미지의 종횡비 간의 차이에 기초하여 이미지 보정 데이터를 보정하는 단계가 수행될 수 있다. (S223)
일 예로 이미지 보정 데이터는 번호판 이미지의 스케일 보정을 위한 제1 보정 값과, 번호판 이미지의 회전 보정을 위한 제2 보정 값을 포함할 수 있다. 그리고 단계 S223에서 제1 보정 값과 제2 보정 값 중 적어도 하나가 보정될 수 있다.
일 예로 이미지 보정 데이터는 하기 [식2]를 통해 제1 보정 값이 보정되고, [식 3]을 통해 제2 보정 값이 보정될 수 있다.
Figure PCTKR2022006790-appb-img-000002
[식2]
[식2]에서 Center X % width는 촬영 이미지 내 번호판 이미지의 중심점의 가로축 위치를 나타내는 값일 수 있다. Center Y % height는 촬영 이미지 내 번호판 이미지의 중심점의 세로축 위치를 나타내는 값일 수 있다.
일 예로 도 5와 같이 촬영 이미지가 5열 3행으로 구획된 경우 번호판 이미지 중심점의 가로축 위치가 0~20% 이내이고, 세로축 위치가 66.6~100% 이내이면 ALP_Ratio[Center X% width][Center Y% height]는 제1 구역(A1)에 해당하는 이미지 보정 데이터의 제1 보정 값일 수 있다. 그리고 Alpha값은 번호판 이미지 처리 장치(100)의 설치 장소에 따라 미리 설정된 보정 비율 계수일 수 있다. W_H_Ratio는 촬영 이미지로부터 추출한 번호판 이미지의 종횡비일 수 있다. 만약, W_H_Ratio가 음수 값으로 산출된 경우, Alpha 값은 음수 값으로 설정될 수 있다.
Figure PCTKR2022006790-appb-img-000003
[식3]
[식3]에서 Center X % width는 촬영 이미지 내 번호판 이미지의 중심점의 가로축 위치를 나타내는 값일 수 있다. Center Y % height는 촬영 이미지 내 번호판 이미지의 중심점의 세로축 위치를 나타내는 값일 수 있다.
일 예로 도 5와 같이 촬영 이미지가 5열 3행으로 구획된 경우 번호판 이미지 중심점의 가로축 위치가 0~20% 이내이고, 세로축 위치가 66.6~100% 이내이면 ALP_Angle[Center X% width][Center Y% height]는 제1 구역(A1)에 해당하는 이미지 보정 데이터의 제2 보정 값일 수 있다. 그리고 Beta값은 번호판 이미지 처리 장치(100)의 설치 장소에 따라 미리 설정된 보정 비율 계수일 수 있다. W_H_Ratio는 촬영 이미지로부터 추출한 번호판 이미지의 종횡비일 수 있다. 만약, W_H_Ratio가 음수 값으로 산출된 경우, Beta 값은 음수 값으로 설정될 수 있다.
그리고 차량 영상 획득부(110)의 촬영 방향과 촬영 대상인 차량이 위치한 진입로의 방향 간의 각도에 기초하여 이미지 보정 데이터를 보정하는 단계가 수행될 수 있다. (S224)
일 예로 이미지 보정 데이터는 하기 [식4]를 통해 제2 보정 값이 보정될 수 있다.
Figure PCTKR2022006790-appb-img-000004
[식4]
[식 4]는 차량 영상 획득부(110)의 촬영 방향과 촬영 대상인 차량이 위치한 진입로의 방향 간의 각도를 나타내는 LP_CAR_Photo_Angle을 이용해 제2 보정 값을 보정하는 점에서 [식3]과 차이가 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 실시예에 따른 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법은, 번호판 이미지 처리 장치는 촬영 이미지의 각 구역 별로 종횡비 기준 값을 저장할 수 있고, 번호판 이미지 장치는 촬영된 번호판 이미지가 위치한 구역의 종횡비 기준 값과 촬영된 번호판 이미지의 종횡비의 차이를 기초로 이미지 보정 데이터를 보정하므로, 비교적 적은 연산량으로 번호판 이미지를 본래의 형태로 보정을 진행함으로써 다양한 조건 및 산업 현장에서 수행할 수 있다.

Claims (14)

  1. 차량을 촬영하여 상기 차량이 포함된 촬영 이미지를 획득하는 차량 영상 획득부;
    상기 촬영 이미지로부터 상기 차량의 번호판 이미지를 검출하고, 상기 촬영 이미지 내 상기 번호판 이미지의 위치에 대한 위치 데이터를 생성하는 번호판 검출부;
    상기 촬영 이미지 내 상기 번호판 이미지의 위치 별로 미리 계산된 이미지 보정 데이터가 저장된 데이터베이스부;
    상기 데이터베이스부로부터 상기 위치 데이터에 대응되는 상기 이미지 보정 데이터를 로드하고, 로드한 상기 이미지 보정 데이터를 기초로 번호판 이미지 보정 값을 생성하는 보정 값 생성부; 및
    상기 번호판 이미지 보정 값에 기초하여 상기 번호판 이미지를 보정하는 번호판 이미지 보정부를 포함하고,
    상기 촬영 이미지는 복수의 구역으로 구획되고,
    상기 이미지 보정 데이터는 각 상기 구역별로 미리 계산되어 상기 데이터베이스부에 저장되고,
    상기 보정 값 생성부는 상기 위치 데이터가 속하는 상기 구역에 해당하는 상기 이미지 보정 데이터를 로드하는 것인 차량번호 인식을 위한 번호판 이미지 처리 장치.
  2. 제1항에 있어서,
    상기 이미지 보정 데이터는 상기 번호판 이미지의 스케일을 보정하는 제1 보정 값과, 상기 번호판 이미지를 회전 보정하는 제2 보정 값을 포함하는 것인 차량번호 인식을 위한 번호판 이미지 처리 장치.
  3. 제2항에 있어서,
    상기 데이터베이스부는 상기 촬영 이미지 내 상기 번호판 이미지의 위치 별로 미리 계산된 종횡비 기준 값을 더 저장하고,
    상기 보정 값 생성부는 상기 위치 데이터에 대응하는 상기 종횡비 기준 값과 상기 번호판 이미지의 종횡비 간의 차이에 기초하여 상기 제1 보정 값과 상기 제2 보정 값 중 적어도 하나를 보정하는 것인 차량번호 인식을 위한 번호판 이미지 처리 장치.
  4. 제2항에 있어서,
    상기 차량 영상 획득부는 미리 정해진 촬영 위치 상의 상기 차량을 촬영하고,
    상기 보정 값 생성부는, 상기 차량 영상 획득부가 설치된 위치의 지면과 상기 미리 정해진 촬영 위치의 지면 간의 높이 차이에 기초하여 상기 위치 데이터를 보정하고,
    상기 보정 값 생성부는 보정된 상기 위치 데이터에 대응하는 상기 이미지 보정 데이터를 로드하는 것인 차량번호 인식을 위한 번호판 이미지 처리 장치.
  5. 제4항에 있어서,
    상기 보정 값 생성부는 상기 미리 정해진 촬영 위치의 지면의 경사각 데이터를 이용해 상기 위치 데이터를 더 보정하는 것인 번호판 이미지 처리 장치.
  6. 제4항에 있어서,
    상기 위치 데이터는 가로축 값과 세로축 값을 포함하는 2차원 좌표 데이터로 이루어지고,
    상기 보정 값 생성부는 상기 높이 차이에 기초하여 상기 위치 데이터의 세로축 값을 보정하는 것인 차량번호 인식을 위한 번호판 이미지 처리 장치.
  7. 제2항에 있어서,
    상기 제2 보정 값은 상기 차량 영상 획득부의 촬영 방향과 상기 촬영 시 상기 차량이 위치한 진입로의 방향 사이의 각도에 기초하여 보정되는 것인 차량번호 인식을 위한 번호판 이미지 처리 장치.
  8. 제2항에 있어서,
    상기 번호판 이미지 보정부는 상기 제2 보정 값에 기초하여 상기 번호판 이미지를 회전 보정한 후, 상기 제1 보정 값에 기초하여 상기 번호판 이미지의 스케일을 보정하는 것인 차량번호 인식을 위한 번호판 이미지 처리 장치.
  9. a) 차량을 촬영하여 상기 차량이 포함된 촬영 이미지를 획득하고, 상기 촬영 이미지로부터 번호판 이미지를 검출하는 단계;
    b) 상기 촬영 이미지 내 상기 번호판 이미지의 위치에 대한 위치 데이터를 생성하는 단계;
    c) 상기 촬영 이미지 내 상기 번호판 이미지의 위치 별로 미리 계산된 이미지 보정 데이터가 저장된 데이터베이스부로부터 상기 위치 데이터에 대응되는 상기 이미지 보정 데이터를 로드하고, 로드한 상기 이미지 보정 데이터를 기초로 번호판 이미지 보정 값을 생성하는 단계; 및
    d) 상기 번호판 이미지 보정 값에 기초하여 상기 번호판 이미지를 보정하는 단계를 포함하고,
    상기 촬영 이미지는 복수의 구역으로 구획되고,
    상기 이미지 보정 데이터는 각 상기 구역별로 미리 계산되어 상기 데이터베이스부에 저장되고,
    상기 c) 단계는
    상기 위치 데이터가 속하는 상기 구역에 해당하는 상기 이미지 보정 데이터를 상기 데이터베이스부로부터 로드하는 것인 차량번호 인식을 위한 번호판 이미지 보정 방법.
  10. 제9항에 있어서,
    상기 데이터베이스부는 상기 촬영 이미지 내 상기 번호판 이미지의 위치 별로 미리 계산된 종횡비 기준 값을 더 저장하고,
    상기 c) 단계는
    상기 위치 데이터에 대응하는 이미지 보정 데이터를 데이터베이스부로부터 로드하는 단계; 및
    상기 위치 데이터에 대응하는 종횡비 기준 값과 번호판 이미지의 종횡비 간의 차이에 기초하여 이미지 보정 데이터를 보정하는 단계를 포함하는 것인 차량번호 인식을 위한 번호판 이미지 보정 방법.
  11. 제9항에 있어서,
    상기 촬영 이미지는 상기 차량을 촬영하는 차량 영상 획득부를 이용해 획득되고
    상기 c) 단계는
    상기 위치 데이터에 대응하는 이미지 보정 데이터를 데이터베이스부로부터 로드하는 단계; 및
    상기 차량 영상 획득부의 촬영 방향과 상기 차량이 위치한 진입로의 방향 간의 각도에 기초하여 상기 이미지 보정 데이터를 보정하는 단계를 포함하는 것인 차량번호 인식을 위한 번호판 이미지 보정 방법.
  12. 제9항에 있어서,
    상기 촬영 이미지는 상기 차량을 촬영하는 차량 영상 획득부를 이용해 획득되고
    상기 b) 단계와 c) 단계 사이에
    상기 차량 영상 획득부가 설치된 위치의 지면과 미리 정해진 촬영 위치의 지면 간의 높이 차이에 기초하여 위치 데이터를 보정하는 단계를 더 포함하는 것인 차량번호 인식을 위한 번호판 이미지 보정 방법.
  13. 제12항에 있어서,
    상기 위치 데이터는 상기 미리 정해진 촬영 위치의 지면의 경사각 데이터를 기초로 더 보정되는 것인 차량번호 인식을 위한 번호판 이미지 보정 방법.
  14. 제9항에 있어서,
    상기 이미지 보정 데이터는 상기 번호판 이미지의 스케일을 보정하는 제1 보정 값과, 상기 번호판 이미지를 회전 보정하는 제2 보정 값을 포함하고,
    상기 d) 단계는
    상기 제2 보정 값에 기초하여 상기 번호판 이미지를 회전 보정한 후, 상기 제1 보정 값에 기초하여 상기 번호판 이미지의 스케일을 보정하는 것인 차량번호 인식을 위한 번호판 이미지 보정 방법.
PCT/KR2022/006790 2021-05-12 2022-05-12 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법 WO2022240207A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023570353A JP2024518582A (ja) 2021-05-12 2022-05-12 自動車登録番号の認識のためのナンバープレート画像処理装置及びこれを用いたナンバープレート画像補正方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0061519 2021-05-12
KR1020210061519A KR102339686B1 (ko) 2021-05-12 2021-05-12 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법

Publications (1)

Publication Number Publication Date
WO2022240207A1 true WO2022240207A1 (ko) 2022-11-17

Family

ID=79033152

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/006790 WO2022240207A1 (ko) 2021-05-12 2022-05-12 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법

Country Status (3)

Country Link
JP (1) JP2024518582A (ko)
KR (1) KR102339686B1 (ko)
WO (1) WO2022240207A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110115927A (ko) * 2010-04-16 2011-10-24 경북대학교 산학협력단 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치
KR101307234B1 (ko) * 2012-07-10 2013-09-11 (주)에스디시스템 객체인식 기반의 주차관리 시스템
KR20160083226A (ko) * 2014-12-30 2016-07-12 순천향대학교 산학협력단 차량 번호판 인식 장치 및 방법
KR101654267B1 (ko) * 2016-02-18 2016-09-09 주식회사 아프로시스템즈 다종 cctv의 번호인식용 도로방범 클라우드 시스템
KR102091590B1 (ko) * 2019-09-04 2020-05-29 (주)아이피캠프 향상된 차량 번호 인식 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110115927A (ko) * 2010-04-16 2011-10-24 경북대학교 산학협력단 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치
KR101307234B1 (ko) * 2012-07-10 2013-09-11 (주)에스디시스템 객체인식 기반의 주차관리 시스템
KR20160083226A (ko) * 2014-12-30 2016-07-12 순천향대학교 산학협력단 차량 번호판 인식 장치 및 방법
KR101654267B1 (ko) * 2016-02-18 2016-09-09 주식회사 아프로시스템즈 다종 cctv의 번호인식용 도로방범 클라우드 시스템
KR102091590B1 (ko) * 2019-09-04 2020-05-29 (주)아이피캠프 향상된 차량 번호 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR102339686B1 (ko) 2021-12-16
JP2024518582A (ja) 2024-05-01

Similar Documents

Publication Publication Date Title
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2011052826A1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
WO2020171553A1 (en) An electronic device applying bokeh effect to image and controlling method thereof
WO2018201638A1 (zh) 基于图像识别的信息采集方法、移动终端及存储介质
WO2020034534A1 (zh) 基于行车记录仪的举证方法、装置、设备和存储介质
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2020076128A1 (en) Method and electronic device for switching between first lens and second lens
WO2018117353A1 (ko) 홍채와 공막의 경계선 검출 방법
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2015080470A1 (ko) 차량 위치 제공 로봇, 그리고 그를 이용한 주차 위치 안내 시스템 및 주차 위치 안내 방법
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2022240207A1 (ko) 차량번호 인식을 위한 번호판 이미지 처리 장치 및 이를 이용한 번호판 이미지 보정 방법
WO2022196883A1 (ko) 카메라와 레이더를 이용한 구간 단속 방법 및 구간 단속 시스템
WO2012015156A2 (ko) 열적외선을 이용한 환경독립형 교통검지시스템
WO2013151208A1 (ko) 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법
WO2015167262A1 (en) System and method for correcting distortion image due to curved surface
WO2020130209A1 (ko) 영상 처리를 이용한 차량 속도 측정 방법 및 장치
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2023191542A1 (ko) 정체현상 없이 차량을 정확하게 식별하거나 식별자를 이용하는 주차 관리 시스템
WO2023128113A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물의 실제 크기를 추정할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2023136414A1 (ko) 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법
WO2019194544A1 (en) Method and system for handling 360 degree image content
WO2020230921A1 (ko) 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807854

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023570353

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22807854

Country of ref document: EP

Kind code of ref document: A1