WO2015167202A1 - Apparatus and method for generating photographic image of license plate number, and license plate number reading system using same - Google Patents

Apparatus and method for generating photographic image of license plate number, and license plate number reading system using same Download PDF

Info

Publication number
WO2015167202A1
WO2015167202A1 PCT/KR2015/004219 KR2015004219W WO2015167202A1 WO 2015167202 A1 WO2015167202 A1 WO 2015167202A1 KR 2015004219 W KR2015004219 W KR 2015004219W WO 2015167202 A1 WO2015167202 A1 WO 2015167202A1
Authority
WO
WIPO (PCT)
Prior art keywords
license plate
image
vehicle number
unit
read
Prior art date
Application number
PCT/KR2015/004219
Other languages
French (fr)
Korean (ko)
Inventor
안순현
박상춘
Original Assignee
렉스젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렉스젠(주) filed Critical 렉스젠(주)
Priority to CN201580035712.XA priority Critical patent/CN106462770A/en
Publication of WO2015167202A1 publication Critical patent/WO2015167202A1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles

Definitions

  • the present invention relates to a vehicle number realization apparatus, a method, and a vehicle number reading system using the same, but is not limited thereto. More specifically, an image of a vehicle photographed by a vehicle number reading system (hereinafter, referred to as a "photo image")
  • the present invention relates to a vehicle number actualization device, a method and a vehicle number reading system using the same, which can more effectively verify the accuracy of the vehicle number read in the).
  • vehicle number reading systems such as public security, crime prevention system, and law enforcement system have been widely used by CCTV cameras.
  • a vehicle number reading system a vehicle including a license plate of a vehicle is photographed, and a vehicle number is read from a photographed image and used for an appropriate purpose.
  • a law enforcement system such as a speeding enforcement system
  • a license plate is read to find out which vehicles are speeding up
  • public security and crime prevention systems a criminal vehicle is found.
  • 2-5% of unread is a major obstacle to the original purpose of using a license plate reading system.
  • vehicle number reading systems are installed and operated. About 700,000 vehicles are photographed per day.
  • the vehicle number reading system operates in an optimal state (95% recognition rate). Assuming, about 35,000 vehicles fail to read the vehicle number. Failure to read about 35,000 vehicle numbers per day, for example in speeding and security systems, can cause major problems. Therefore, in order to more effectively achieve the original purpose of the vehicle number reading system, proper processing of unread vehicles is required.
  • the present invention has been made to solve the above-described problems, and the present invention provides a vehicle number actualization apparatus, a method and a vehicle number reading system using the same, which can efficiently verify the accuracy of a manually read or automatically read vehicle number.
  • the present invention provides a vehicle number actualization device, a method and a vehicle number reading system using the same that can be efficiently manually read.
  • the present invention uses the license plate image (photo image) and the vehicle number (vehicle number) automatically read or manually read from the license plate image, the vehicle number to the license plate
  • a live-action section for generating a converted image of a corresponding type; Provided with a vehicle number actualization device including an output unit for outputting the license plate image and the embodiment image.
  • the live action unit it is preferable to perform a live action using license plate type information of the license plate.
  • the license plate type information is preferably at least one of the color of the license plate, the size of the license plate, the arrangement of letters of the license plate, the aspect ratio of the license plate, and the font of the license plate.
  • the license plate type information extracting unit extracting the license plate type information from the license plate image may be further included.
  • the live action image is preferably stored in match with the license plate image.
  • the output unit may further include an input unit for receiving the accuracy of the read vehicle number.
  • the input unit may be configured to further receive a manually read vehicle number based on the vehicle license plate image.
  • the vehicle number manually read by the input unit is input, it is preferable that the vehicle number is displayed as a realistic image on the output unit.
  • the present invention includes a camera unit for photographing a predetermined area including a vehicle; An image processing unit which reads the vehicle number by image processing from the image photographed by the camera unit; An integrated operation unit which receives and manages the photographed image and the read vehicle number; Provides a vehicle number reading system including a manual reading unit for outputting a photographed image determined to need re-reading of the image read by the image processing unit, and receives a vehicle number manually read from a user based on the output image. do.
  • the photographed image that requires the rereading is preferably at least one of an unread photographed image and a photographed image determined to be misread by the image processing unit.
  • the vehicle number is preferably displayed as a realistic image.
  • An output step of outputting the license plate image and the action image may further include an input step of inputting whether the read license number is correct using the license plate image and the embodiment image output in the output step.
  • the due diligence step it is preferable to perform the due diligence using license plate type information for the license plate.
  • the license plate type information is preferably at least one of the color of the license plate, the size of the license plate, the arrangement of letters of the license plate, the aspect ratio of the license plate, and the font of the license plate.
  • it may include a comparison step of determining the accuracy of the read license plate number by comparing the license plate image and the live action image with a predetermined algorithm.
  • the present invention provides a photo-realization unit for creating a template corresponding to the shape of the license plate image and the license plate image;
  • An output unit for outputting the license plate image and the template; It has an input unit for receiving a manually read vehicle number on the basis of the license plate image, the output unit provides a vehicle number actualization device for outputting the vehicle number received from the input unit to the template.
  • the live action unit may generate a template by image processing the license plate image.
  • the live-action unit may receive a type of the template from the input unit to create a corresponding template.
  • the present invention it is possible to efficiently verify the accuracy of the vehicle number manually read by the human eye and the vehicle number reading device in the captured image.
  • the present invention when the vehicle number is read by the human eye from the captured image, it is possible to input the vehicle number read by the naked eye more accurately compared to a predetermined storage device.
  • a high pass system is generally introduced and operated as an electric tolling system (ETC) for expressing highway tolls, which requires the installation of a terminal in a vehicle.
  • ETC electric tolling system
  • the driver can configure a toll payment system that can be used in a postpaid settlement method without purchasing a separate terminal.
  • FIG. 2 is a diagram showing the configuration of an embodiment of a vehicle number reading system with a vehicle number realization apparatus according to the present invention
  • FIG. 3 is a diagram showing the configuration of the vehicle number actualization device of FIG.
  • FIG. 5 is a view showing an experimental method for confirming the effect of the vehicle number actualization device according to the present invention.
  • FIG. 6 is a view showing another embodiment of a vehicle number actualization device according to the present invention.
  • FIG. 7 is a view showing another embodiment of a vehicle number actualization device according to the present invention.
  • the vehicle number read from the photographed image is converted into an image corresponding to the photographed license plate image (hereinafter referred to as "converted image” for convenience).
  • the read vehicle number includes a vehicle number read by image processing in the vehicle number reading device (hereinafter referred to as “auto reading”) and a vehicle number read by the human eye (hereinafter referred to as “manual reading”).
  • a human visual comparison between the actual license plate image and the license-ready vehicle number should be made by human eye.
  • the actually photographed license plate image 1 may be compared with the read license plate number 3.
  • the actual photographed license plate image 1 is compared with the vehicle number " 56 and 8797 "
  • the vehicle number read out from the license plate image 1 is converted into an image of a license plate form of the vehicle.
  • the accuracy of the reading is determined by comparing the actual license plate image 1 photographed with the actualized image 5 converted into the form of the license plate of the vehicle.
  • the read license plate number " 56 " 8797 " (3) is converted back into the photorealistic image 5 similar to the license plate image.
  • the actual photographed license plate image 1 is compared with the actual image 5. (The details of the actual image of the license plate image will be described later.) That is, the actual photographed license plate image 1 is represented by text "56.” This is compared with the actual image 5 without comparing with 8797 "(3).
  • the vehicle number reading system may include a camera unit 10 for capturing a predetermined region, and an image processing unit 20 for reading a vehicle number by image processing an image captured and connected to the camera unit 10. have.
  • the plurality of image processing units 20 are connected to the integrated operating unit 30 by the communication network 12.
  • the integrated operation unit 30 may include a predetermined database to perform integrated search and operation, a penalty notice function for a law violation vehicle, and the like.
  • the camera unit 10 and the image processing unit 20 are installed at a specific site such as a road, and the integrated operating unit 30 is generally installed at a remote location.
  • the image processing unit 20 may also be provided in the integrated operation unit 30.
  • the manual readout device 40 may be connected to the integrated operation unit 30.
  • the manual reading apparatus 40 may receive a captured image determined to be necessary for re-reading from the image read by the image processing unit 20, and perform a function of reading the captured image with the naked eye. That is, in the manual reading apparatus 40, it is preferable that a human can manually read and input an unread vehicle number or an image which has been read but suspected to be misread by the image processing unit 20.
  • the vehicle number actualization device is not limited, but is preferably provided in the integrated operation unit 30. Referring to Figure 3, the vehicle number actualization apparatus 100 will be described in detail as follows. Vehicle number actualization device 100 is provided with a storage unit 120 for storing the license plate image and the vehicle number read from the license plate image.
  • the license plate image may refer to an image photographed by the camera unit 10 (see FIG. 2) of a general license plate reading system, and may be an entire image including a license plate of a vehicle or a partial image extracted only from a license plate area of a vehicle. .
  • the vehicle number is a vehicle number read from the photographed license plate image. That is, the vehicle number is a unique vehicle identification number consisting of letters, numbers, and symbols automatically read or manually read from the license plate image.
  • the storage unit 120 is preferably connected to the live-action unit 110, the live-action unit 110 functions to make a read image of the vehicle image corresponding to the type of license plate.
  • the actualization unit 110 is connected to an output unit 140 for outputting the license plate image and the actualized image.
  • the output unit 140 may verify the accuracy of the license plate number by comparing the license plate image 1 with the visualized image 5 (see FIG. 1B).
  • the vehicle license plate image and the actualization image is output to the output unit 140, the user can more effectively verify the accuracy .
  • the storage unit 120 preferably stores the image photographed by the camera unit of the vehicle number reading system. In addition, the storage unit 120 preferably stores the vehicle number automatically read or manually read from the license plate image.
  • the live-action image is an image made to correspond to the read license plate number and the photographed license plate image of the vehicle.
  • the realistic image is preferably made to resemble the actual photographed license plate shape.
  • the type of license plate for example, the color of the license plate, the size of the license plate, the arrangement of the letters of the license plate, the aspect ratio of the license plate and the font of the license plate (hereinafter referred to as "number plate format information") It is desirable to create a photorealistic image accordingly. That is, when the type of license plate is not one, when creating a photorealistic image using the vehicle number read by the live-viewing unit 110, the corresponding license plate type information of the vehicle is used as well as the vehicle number. It is desirable to make a photorealistic image from the image of the license plate form.
  • the license plate type information of the vehicle may be obtained in a step of performing a vehicle number reading algorithm in the vehicle number reading system.
  • the license plate type information extracting unit 150 may be separately provided in the vehicle number actualization device 100, and the license plate type information extracting unit 150 may extract the license plate type information.
  • the step of extracting the license plate type information of the vehicle is a preliminary step of the vehicle number reading, and is relatively easy. Because reading the license plate number from the license plate photographed by the computer should be able to read the letters and numbers that can be recognized as text, but the license plate color, license plate size, etc. is the ratio of R, G, B. This is because it is relatively easy to recognize. Meanwhile, the extracted license plate type information of the vehicle is preferably stored in the storage unit 120 by matching the license plate image and the read vehicle number.
  • the type (type) of each license plate is determined in advance, so that a person does not input the license plate size or color, but instead creates a basic template (hereinafter referred to as a "template") in advance and sets a template (of the license plate type). It is preferable because it is convenient to receive only).
  • the actual picture unit 110 determines the type of license plate by using the license plate type information, and adds the vehicle number as an image to the template. That is, the live-action unit 110 may use the vehicle number and license plate type information read from the license plate image of the vehicle to reconstruct the vehicle number into a realistic image.
  • the template may be used by receiving the type of license plate from the user.
  • license plate format information such as the size, aspect ratio, color, etc. of the license plate by image processing in the photographed license plate image, but using the current regularity described above, license plate format It is also possible to determine which license plate type the license plate is photographed with only part of the information. If this is outlined based on the current notice, it is as follows. Of course, in the case where the notice on the license plate is changed, the manner of determining the type of license plate may be changed. The following description will be made based on the current notice.
  • the license plate has two colors.
  • the letters of the yellow license plate have two lines of top and bottom, and the vertical and horizontal forms are mixed.
  • the white plate has only the horizontal arrangement.
  • the license plate color can be used to determine the arrangement of the letters on the license plate.
  • the vehicle number includes various information such as region, usage symbol, vehicle type, etc., and it is possible to construct a template using this information.
  • a yellow license plate means a business vehicle
  • a white license plate means a car
  • taxis and buses are yellow license plates, as well as one of the "bar, four, ah, ruler" in the application symbol. It is configured to include.
  • a large license plate is in the form of a license plate consisting of two lines at the top and bottom
  • a small license plate includes a vertical (area name) and a horizontal arrangement, and must also include a region name. Accordingly, in consideration of the above-described feature, it is possible to determine which license plate type the license plate photographed with only a part of license plate type information.
  • the output unit 140 simultaneously outputs the actual photographed license plate image and the actual image (see FIG. 1B) to provide an interface for the user to easily compare the two images. Since the actual task is a simple and tedious task, it is desirable to provide a user interface for the user to use. In addition, it is preferable to include a function for checking or correcting the read vehicle number or additionally input an index according to the characteristics of the vehicle according to the comparison result.
  • the comparison result of the actual license plate image and the actual image is preferably stored in the storage unit 120.
  • the experimental method compares the actual license plate image 1 with the vehicle number 3 in a read text form (method 1 of FIG. 5), and the actual license plate image 1 (1).
  • the method of comparing the photorealistic image 5 (method 2 of FIG. 5) were performed.
  • two verification methods were performed on the same experimenter for 100 license plate images including five misreading vehicle numbers, and the reading time was measured and the number of misreading license plates detected and the convenience of reading were selected. .
  • the method of method 2 had a reduction of about 20% of the reading time in the comparison of the reading times of the method 1 and the method 2, and it decreased when there were more samples such as 100 or more cases. The effect is expected to be even greater.
  • 100% of the subjects chose Method 2 for the convenience of reading.
  • all of the test subjects could feel that eye fatigue was greatly reduced in Method 2. Since the number of samples was 100, a number of misread plates was found in both methods 1 and 2. However, if the number of samples is increased, the method 2 is considered to be excellent in terms of accuracy.
  • Method 2 The method (Method 2) of the present invention is much more efficient because, in the case of Method 1, a person is required to interpret an image (actually photographed license plate image) versus text (reading license number-head in the head). Each will be recognized. In the case of the method 2, it is considered that the person intuitively recognizes the image (the actual photographed license plate image) versus the image (the image of the actual vehicle number read out).
  • the actual image 1 is displayed on the captured image display unit 142 located in a predetermined area of the output unit 140 such as a monitor. do.
  • the human person reads the image 1 visually and inputs it through an input unit such as a keyboard or a touch screen.
  • the input text is displayed on the input content display unit 144 located in a predetermined area of the output unit 140.
  • the text input by a person is displayed on the input content display unit 144 as an image of a license plate rather than a text form.
  • the background of the input content display unit 144 is configured as a template in the form of a license plate, and the inputted vehicle number (text) is realized and displayed in real time so that the user can simultaneously compare the input.
  • the vehicle number (text) input by a person is displayed in text form on the input content display unit 144, but may be displayed in the form of a license plate on the live action image display unit 146 located in another area. have.
  • the present invention can be used to verify the accuracy of the auto read or manual read license number.
  • the vehicle number is not automatically read by the image processing in the image photographed by the vehicle number reading system, it is preferable to verify the accuracy of the entire manual reading.
  • the accuracy may be verified for all of them, but only the vehicle number suspected of a false reading may be verified only when the accuracy of the reading is suspected.
  • suspected misreading when reading the license plate number from the image of the license plate photographed by image processing, when the accuracy of the reading is suspected by determining the inherent uncertainty of the algorithm of the image processing itself, for example, the uncertainty of noise removal, etc. Only accuracy verification in accordance with the present invention can be performed.
  • the uncertainty may be determined not only by the inherent uncertainty of the algorithm of the image processing itself, but also by the legal form of the vehicle number recognized as text. For example, using license plate type information, it is possible to determine whether a vehicle's license plate is partially recognized or misrecognized. For example, if a yellow license plate is used, the name of the area (Seoul, Gyeonggi, etc.) and the usage symbol must be used. It must contain one of the words "ba, sa, ah, ja". Thus, if the yellow license plate does not have a local name or the usage number does not include "bar, sa, ah, ja", it can be presumed to have been misread.
  • the present invention can be appropriately modified without being limited to the above-described embodiments.
  • a vehicle license plate image and a vehicle number read from the vehicle license plate image are obtained.
  • the license plate image may be transmitted from the camera unit, which is already stored. You can also use video.
  • the read vehicle number may be an auto read or a manual read vehicle number.
  • the license plate image is made into a photorealistic image of a form corresponding to the license plate.
  • the step of outputting the license plate image and the actualization image to a predetermined output means (hereinafter "output stage").
  • output stage a predetermined output means
  • input step a step of inputting the correctness of the read vehicle number from the user using the license plate image and the embodiment image output in the output step.
  • this invention is not limited to the above-mentioned embodiment.
  • the accuracy of the read vehicle number is determined by the human eye.
  • the accuracy of the read license plate number was verified by comparing the license plate photographed image with the visualized image of the read license plate number.
  • license plate photographed images and photorealistic images are image versus image. Therefore, it is possible to compare an image with an appropriate algorithm.
  • the present invention compares the license plate image and the realistic image with an algorithm, thereby reading the read image. It may be configured to include the step of determining the accuracy of the vehicle number (hereinafter referred to as "compare step").

Abstract

The present invention relates to an apparatus for generating a photographic image of a license plate number, a method for controlling same, and a license plate number reading system using an apparatus for generating a photographic image of a license plate number. Provided in the present invention is the apparatus for generating a photographic image of a license plate number, comprising: a photographing unit for forming a photographic image of a license plate number corresponding to a license plate, by using an image of a photographed license plate and the license plate number read from the image of the license plate; and an output unit for outputting the license plate image and photographic image.

Description

차량번호 실사화 장치, 방법 및 이를 이용한 차량번호 판독시스템Vehicle Number Visualization Apparatus, Method and Vehicle Number Reading System Using the Same
본 발명은 차량 번호 실사화 장치, 방법 및 이를 이용한 차량번호 판독시스템에 관한 것으로서, 이에 한정되지는 않지만 보다 상세하게는 차량번호 판독시스템에서 촬영된 차량의 영상(이하 "촬영 영상(photo image)")에서 판독된 차량번호의 정확성을 보다 효과적으로 검증할 수 있는 차량번호 실사화 장치, 방법 및 이를 이용한 차량번호 판독시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle number realization apparatus, a method, and a vehicle number reading system using the same, but is not limited thereto. More specifically, an image of a vehicle photographed by a vehicle number reading system (hereinafter, referred to as a "photo image") The present invention relates to a vehicle number actualization device, a method and a vehicle number reading system using the same, which can more effectively verify the accuracy of the vehicle number read in the).
최근 CCTV 카메라를 이용하여 공공치안 및 범죄예방 시스템, 법규위반 단속 시스템 등과 같은 차량번호 판독시스템이 보편화되고 있다. 차량번호 판독시스템에서는 차량의 번호판이 포함된 차량을 촬영하고, 촬영된 영상(photo image)에서 차량번호를 판독하여 적절한 용도로 사용하게 된다. 예들 들어, 과속단속 시스템과 같은 법규위반 단속 시스템에서는 번호판을 판독하여 과속한 차량은 알아내고, 공공치안 및 범죄예방 시스템에서는 범죄 용의 차량 등을 찾아 내게 된다. Recently, vehicle number reading systems such as public security, crime prevention system, and law enforcement system have been widely used by CCTV cameras. In a vehicle number reading system, a vehicle including a license plate of a vehicle is photographed, and a vehicle number is read from a photographed image and used for an appropriate purpose. For example, in a law enforcement system such as a speeding enforcement system, a license plate is read to find out which vehicles are speeding up, and in public security and crime prevention systems, a criminal vehicle is found.
그런데 현재 차량번호 판독시스템에서 이미지 프로세싱을 이용한 차량번호 판독률은 95~98%가 최고의 기술 수준이며, 이러한 정도의 판독률이 영상처리 기술의 한계로 전문가들에게 인식되어 있다. 즉 다양한 촬영 환경으로 인하여 영상에 포함된 노이즈에 의하여 100% 완벽한 차량번호 판독은 실질적으로 불가능하다. 또한 차량의 번호판의 훼손, 오염, 인위적인 가림 등으로 인하여 역시 100% 완벽한 차량번호 판독은 실질적으로 불가능하다.However, current vehicle number reading system using the image processing in the vehicle number reading system is the best technology level of 95 ~ 98%, this degree of reading is recognized by experts as a limitation of image processing technology. In other words, 100% perfect vehicle number reading is practically impossible due to the noise included in the image due to various shooting environments. In addition, 100% perfect license plate reading is practically impossible due to the damage, contamination and artificial obstruction of the license plate of the vehicle.
그러나 이와 같은 2~5%의 미판독은 차량번호 판독시스템을 이용하는 본래의 목적의 커다란 장애가 되고 있다. 예를 들면 한국의 수원시에는 약 80 여대의 차량번호 판독시스템이 설치 운영 중에 있는데, 하루에 촬영되는 차량의 대수는 약 70만대 정도이다 최적의 상태(95% 인식률)로 차량번호 판독시스템이 작동한다고 가정하여도, 약 35,000대 차량이 차량번호 판독에 실패한다. 과속단속이나 방범용 시스템 등의 경우에 하루에 약 35,000대의 차량번호 판독에 실패는 커다란 문제를 야기할 수 있다. 따라서 차량번호 판독시스템의 본래의 목적을 보다 효과적으로 달성하기 위하여, 미판독된 차량의 적절한 처리가 요구되고 있다.However, 2-5% of unread is a major obstacle to the original purpose of using a license plate reading system. For example, in Suwon, South Korea, about 80 vehicle number reading systems are installed and operated. About 700,000 vehicles are photographed per day. The vehicle number reading system operates in an optimal state (95% recognition rate). Assuming, about 35,000 vehicles fail to read the vehicle number. Failure to read about 35,000 vehicle numbers per day, for example in speeding and security systems, can cause major problems. Therefore, in order to more effectively achieve the original purpose of the vehicle number reading system, proper processing of unread vehicles is required.
그런데, 2~3%의 미판독된 차량 중에서 사람의 육안으로 차량번호를 판독할 수 있는 것이 다수 존재한다. 이는 이미지 프로세싱에 의한 차량번호 판독의 기술적 한계이다. 따라서 2~3%의 미판독된 차량을 사람이 육안으로 수동으로 판독하는 것이 필요한 상황이다. 또한 사람의 육안으로 판독된 차량번호의 정확성을 검증하기 위한 수단이 필요하다. 또한 차량 번호판을 촬영된 차량의 영상에서 이미지 프로세싱을 이용하여 자동 판독된 차량번호 중에서도 판독은 되었지만 오판독된 차량이 존재할 수 있다. 따라서 이러한 경우에도 자동 판독된 차량번호의 정확성을 검증하기 위한 수단이 필요하다.However, many of the unread vehicles of 2 to 3% can read the vehicle number with the human eye. This is a technical limitation of vehicle number reading by image processing. Therefore, it is necessary for humans to manually read 2 to 3% of unread cars. There is also a need for means for verifying the accuracy of the vehicle number read by the human eye. In addition, there may be a vehicle that has been misread even though the vehicle license plate has been read out of the vehicle number automatically read out by using image processing in the image of the vehicle photographed. Therefore, even in such a case, a means for verifying the accuracy of the automatically read license plate number is required.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명은 수동 판독 또는 자동 판독된 차량번호의 정확성을 효율적으로 검증할 수 있는 차량번호 실사화 장치, 방법 및 이를 이용한 차량번호 판독시스템을 제공한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and the present invention provides a vehicle number actualization apparatus, a method and a vehicle number reading system using the same, which can efficiently verify the accuracy of a manually read or automatically read vehicle number.
또한 본 발명은 효율적으로 수동 판독할 수 있는 차량번호 실사화 장치, 방법 및 이를 이용한 차량번호 판독시스템를 제공한다.In another aspect, the present invention provides a vehicle number actualization device, a method and a vehicle number reading system using the same that can be efficiently manually read.
본 발명의 실시 형태에 따르면, 본 발명은 촬영된 차량번호판 영상(photo image) 및 상기 차량번호판 영상으로부터 자동판독 또는 수동판독된 차량번호(vehicle number)를 이용하여, 상기 차량번호를 상기 차량번호판에 대응하는 형태의 실사화 이미지(converted image)로 만드는 실사화부와; 상기 차량번호판 영상과 상기 실시화 이미지를 출력하는 출력부를 포함하는 차량번호 실사화 장치를 제공한다. 상기 실사화부에서는 상기 차량번호판에 대한 번호판 형식정보를 이용하여 실사화를 수행하는 것을 바람직하다. 상기 번호판 형식정보는 번호판의 색상, 번호판의 크기, 번호판의 글씨배열, 번호판의 가로세로 비율 및 번호판의 폰트 중의 최소한 한 개인 것이 바람직하다. 한편, 상기 차량번호판 영상에서 상기 번호판 형식정보를 추출하는 번호판 형식정보 추출부를 더욱 포함할 수 있다. 상기 실사화 이미지는 상기 차량번호판 영상과 매칭되어 저장되는 것이 바람직하다.According to an embodiment of the present invention, the present invention uses the license plate image (photo image) and the vehicle number (vehicle number) automatically read or manually read from the license plate image, the vehicle number to the license plate A live-action section for generating a converted image of a corresponding type; Provided with a vehicle number actualization device including an output unit for outputting the license plate image and the embodiment image. In the live action unit, it is preferable to perform a live action using license plate type information of the license plate. The license plate type information is preferably at least one of the color of the license plate, the size of the license plate, the arrangement of letters of the license plate, the aspect ratio of the license plate, and the font of the license plate. The license plate type information extracting unit extracting the license plate type information from the license plate image may be further included. The live action image is preferably stored in match with the license plate image.
한편, 상기 출력부에 출력된 상기 차량번호판 영상과 상기 실사화 이미지를 기초로 하여, 판독된 차량번호의 정확성을 입력받는 입력부를 더욱 포함할 수 있다. 또한, 상기 입력부는, 상기 차량번호판 영상을 기초로 하여 사용자로부터 수동판독된 차량번호를 더욱 입력받을 수 있도록 구성하는 것이 바람직하다. 상기 입력부에서 수동 판독된 차량번호가 입력되면, 상기 출력부에 상기 차량번호가 실사화 이미지로 디스플레이되는 것이 바람직하다.On the other hand, on the basis of the license plate image and the visualized image output to the output unit, it may further include an input unit for receiving the accuracy of the read vehicle number. The input unit may be configured to further receive a manually read vehicle number based on the vehicle license plate image. When the vehicle number manually read by the input unit is input, it is preferable that the vehicle number is displayed as a realistic image on the output unit.
본 발명의 다른 실시 형태에 의하면, 본 발명은 차량을 포함하는 소정 영역을 촬영하는 카메라부와; 상기 카메라부에서 촬영된 영상에서 이미지 프로세싱에 의하여 차량번호를 판독하는 이미지 프로세싱부와; 상기 촬영 영상과 상기 판독된 차량번호를 수신하여 관리하는 통합운영부와; 상기 이미지 프로세싱부에서 판독한 영상 중에 재판독이 필요하다고 판단되는 촬영 영상을 출력하고, 출력된 촬영 영상을 기초로 하여 사용자로부터 수동판독된 차량번호를 입력받는 수동판독부를 포함하는 차량번호 판독시스템을 제공한다. 그리고 상기 재판독이 필요한 촬영 영상은, 상기 이미지 프로세싱부에서 미판독된 촬영 영상 및 오판독으로 판정된 촬영 영상 중의 최소한 한가지인 것이 바람직하다. 상기 수동판독부에서는, 수동 판독된 차량번호가 입력되면 상기 차량번호가 실사화 이미지로 디스플레이되는 것이 바람직하다.According to another embodiment of the present invention, the present invention includes a camera unit for photographing a predetermined area including a vehicle; An image processing unit which reads the vehicle number by image processing from the image photographed by the camera unit; An integrated operation unit which receives and manages the photographed image and the read vehicle number; Provides a vehicle number reading system including a manual reading unit for outputting a photographed image determined to need re-reading of the image read by the image processing unit, and receives a vehicle number manually read from a user based on the output image. do. The photographed image that requires the rereading is preferably at least one of an unread photographed image and a photographed image determined to be misread by the image processing unit. In the manual reading unit, when the manually read vehicle number is input, the vehicle number is preferably displayed as a realistic image.
본 발명의 다른 실시 형태에 의하면, 차량번호판 영상 및 상기 차량번호판 영상으로 부터 판독된 차량번호를 획득하는 정보획득단계와; 상기 차량번호판 영상 및 상기 판독된 차량번호를 이용하여, 상기 차량번호를 상기 차량번호판에 대응하는 형태의 실사화 이미지로 만드는 실사화 단계를 포함하는 차량번호 실사화 방법을 제공한다. According to another embodiment of the present invention, an information acquisition step of acquiring a license plate image and a vehicle number read from the license plate image; Using a license plate image and the read vehicle number, provides a vehicle number actualization method comprising a virtualization step of making the vehicle number into a realistic image of a form corresponding to the license plate.
상기 차량번호판 영상과 상기 실시화 이미지를 출력하는 출력단계와; 상기 출력단계에서 출력된 상기 차량번호판 영상과 상기 실시화 이미지를 이용하여, 상기 판독된 차량번호의 정확성 여부를 입력받는 입력단계를 더욱 포함할 수 있다.An output step of outputting the license plate image and the action image; The method may further include an input step of inputting whether the read license number is correct using the license plate image and the embodiment image output in the output step.
상기 실사화 단계에서, 상기 차량번호판에 대한 번호판 형식정보를 이용하여 실사화를 수행하는 것이 바람직하다. 상기 번호판 형식정보는 번호판의 색상, 번호판의 크기, 번호판의 글씨배열, 번호판의 가로세로 비율 및 번호판의 폰트 중의 최소한 한 개인 것이 바람직하다.In the due diligence step, it is preferable to perform the due diligence using license plate type information for the license plate. The license plate type information is preferably at least one of the color of the license plate, the size of the license plate, the arrangement of letters of the license plate, the aspect ratio of the license plate, and the font of the license plate.
한편, 상기 차량번호판 영상과 상기 실사화 이미지를 소정 알고리즘으로 비교하여, 상기 판독된 차량번호의 정확성을 판단하는 비교단계를 포함할 수도 있다.On the other hand, it may include a comparison step of determining the accuracy of the read license plate number by comparing the license plate image and the live action image with a predetermined algorithm.
본 발명의 또 다른 실시 형태에 의하면, 본 발명은 촬영된 차량번호판 영상 및 상기 차량번호판 영상의 형태에 대응하는 템플릿을 만드는 실사화부와; 상기 차량번호판 영상 및 상기 템플릿을 출력하는 출력부와; 상기 차량번호판 영상을 기초로 하여 수동판독된 차량번호를 입력받는 입력부를 가지며, 상기 출력부는 상기 입력부에서 입력받는 차량번호를 상기 템플릿에 출력하는 차량번호 실사화 장치를 제공한다. 상기 실사화부는, 상기 차량번호판 영상을 이미지 프로세싱하여 템플릿을 만들 수 있다. 또한 상기 실사화부는, 상기 템플릿의 종류를 상기 입력부로부터 입력받아 해당 템플릿을 만들 수도 있다.According to another embodiment of the present invention, the present invention provides a photo-realization unit for creating a template corresponding to the shape of the license plate image and the license plate image; An output unit for outputting the license plate image and the template; It has an input unit for receiving a manually read vehicle number on the basis of the license plate image, the output unit provides a vehicle number actualization device for outputting the vehicle number received from the input unit to the template. The live action unit may generate a template by image processing the license plate image. In addition, the live-action unit may receive a type of the template from the input unit to create a corresponding template.
상술한 본 발명에 따른 차량번호 실사화 장치, 방법 및 이를 이용한 차량번호 판독시스템의 효과를 설명하면 다음과 같다.An apparatus, method, and method for reading a vehicle number using the same according to the present invention will be described below.
첫째, 본 발명에 따르면, 촬영된 영상에서 사람의 육안으로 수동 판독된 차량번호 및 차량번호 판독장치에 의하여 자동판독된 차량번호의 정확성을 효율적으로 검증하는 것이 가능하다.First, according to the present invention, it is possible to efficiently verify the accuracy of the vehicle number manually read by the human eye and the vehicle number reading device in the captured image.
둘째, 본 발명에 따르면, 촬영된 영상에서 사람의 육안으로 차량번호를 판독하는 경우에, 육안으로 판독된 차량번호를 소정의 저장장치에 보다 정확하게 비교하면서 입력할 수 있는 것이 가능하다.Secondly, according to the present invention, when the vehicle number is read by the human eye from the captured image, it is possible to input the vehicle number read by the naked eye more accurately compared to a predetermined storage device.
셋째, 본 발명에 따르면, 차량번호 판독장치의 본래의 목적으로 보다 충실히 수행하는 것이 가능하다.Third, according to the present invention, it is possible to more faithfully perform the original purpose of the vehicle number reading apparatus.
넷째, 본 발명에 따르면, 현재 일반적으로 차량번호 판독시스템-과속단속, 방범용 등-이외에도 새로운 시스템에도 보다 효과적으로 차량번호 판독시스템을 사용하는 것이 가능하다. 예들 들어, 현재 일반적으로 고속도로 통행 요금 징수를 위한 ETC(Electric tolling system)으로 하이패스 시스템을 도입운영하는데, 이는 차량에 단말기 설치가 필수적이다. 그런데 차량번호 판독시스템에서 차량번호의 판독이 실질적으로 100% 보장된다면, 운전자는 별도의 단말기를 구입하지 않고, 후불 정산 방식으로 이용 가능한 통행 요금정산 시스템의 구성이 가능하다.Fourthly, according to the present invention, it is now possible to use the vehicle number reading system more effectively in a new system besides the vehicle number reading system in general, such as speeding, security, and the like. For example, in general, a high pass system is generally introduced and operated as an electric tolling system (ETC) for expressing highway tolls, which requires the installation of a terminal in a vehicle. However, if the reading of the vehicle number is substantially 100% guaranteed in the vehicle number reading system, the driver can configure a toll payment system that can be used in a postpaid settlement method without purchasing a separate terminal.
도 1은 본 발명에 따른 차량번호 실사화 장치의 원리를 설명하기 위한 도면1 is a view for explaining the principle of the vehicle number actualization device according to the present invention
도 2는 본 발명에 따른 차량번호 실사화 장치가 작용되는 차량번호 판독시스템의 실시예의 구성을 도시한 도면2 is a diagram showing the configuration of an embodiment of a vehicle number reading system with a vehicle number realization apparatus according to the present invention;
도 3은 도 2의 차량번호 실사화 장치의 구성을 도시한 도면3 is a diagram showing the configuration of the vehicle number actualization device of FIG.
도 4는 한국의 차량 번호판 종류를 도시한 도면4 is a view showing the license plate type of Korea
도 5는 본 발명에 따른 차량번호 실사화 장치의 효과를 확인하기 위한 실험 방법을 도시한 도면5 is a view showing an experimental method for confirming the effect of the vehicle number actualization device according to the present invention;
도 6은 본 발명에 따른 차량번호 실사화 장치의 다른 실시예를 도시한 도면 6 is a view showing another embodiment of a vehicle number actualization device according to the present invention;
도 7은 본 발명에 따른 차량번호 실사화 장치의 또 다른 실시예를 도시한 도면7 is a view showing another embodiment of a vehicle number actualization device according to the present invention
첨부된 도면을 참조하여, 본 발명에 따른 차량번호 실사화 장치, 방법 및 이를 이용한 차량번호 판독시스템의 바람직한 실시예를 설명하면 다음과 같다.Referring to the accompanying drawings, it will be described a preferred embodiment of the vehicle number actualization device, method and vehicle number reading system using the same according to the present invention.
본 발명의 실시예에 따르면, 촬영된 영상(photo image)에서 판독된 차량번호(vehicle number)를 촬영된 번호판 영상에 대응하는 이미지(이하 편의상 "실사화 이미지(converted image)")로 변환한다. 여기셔, 판독된 차량번호는, 차량번호 판독장치에서 이미지 프로세싱에 의하여 판독된(이하 "자동판독") 차량번호 및 사람의 육안에 의하여 판독된(이하 "수동판독")된 차량번호를 포함하는 개념이다. According to an exemplary embodiment of the present invention, the vehicle number read from the photographed image is converted into an image corresponding to the photographed license plate image (hereinafter referred to as "converted image" for convenience). Here, the read vehicle number includes a vehicle number read by image processing in the vehicle number reading device (hereinafter referred to as "auto reading") and a vehicle number read by the human eye (hereinafter referred to as "manual reading"). Concept.
먼저 도 1을 참조하여, 차량번호와 상기 차량번호의 실사화 이미지의 개념을 설명하면 다음과 같다. 설명의 편의상, 아래에서는 한국에서 사용되는 번호판을 예를 들어 설명한다.First, referring to FIG. 1, the concept of a vehicle number and a visualized image of the vehicle number will be described below. For convenience of explanation, the following describes the license plate used in Korea as an example.
자동판독 또는 수동판독된 차량번호의 정확성을 검증하기 위해서는, 실제 촬영된 번호판 영상과 촬영된 영상에서 판독된 차량번호(편의상 경우에 따라서는 "텍스트 타이프 차량번호")를 사람이 육안으로 비교하여야 한다. 예를 들어, 도 1의 (A)에 도시한 바와 같이, 실제 촬영된 차량번호판 영상(1)과 판독된 차량번호(3)를 비교할 수도 있다. 이 경우는, 실제 촬영된 차량번호판 영상(1)과 판독되어 텍스트로 표현된 차량번호 "56고 8797"(3)를 비교하여, 판독의 일치 여부 즉 정확성을 판단한다.In order to verify the accuracy of the auto-read or manual-ready license plate number, a human visual comparison between the actual license plate image and the license-ready vehicle number ("text type vehicle number" in some cases for convenience) should be made by human eye. . For example, as illustrated in FIG. 1A, the actually photographed license plate image 1 may be compared with the read license plate number 3. In this case, the actual photographed license plate image 1 is compared with the vehicle number " 56 and 8797 "
그러나 본 발명에서는 도 1의 (B)에 도시한 바와 같이, 보다 효과적인 검증을 위하여, 차량번호판 영상(1)에서 판독한 차량번호를 다시 차량의 번호판 형태의 이미지로 변환한다. 실제 촬영된 차량번호판 영상(1)과 차량의 번호판 형태로 변환된 실사화 이미지(5)를 비교하여, 판독의 정확성을 판단한다. 즉, 판독된 차량번호 "56고 8797"(3)를 차량번호판 영상과 유사한 실사화 이미지(5)로 다시 변환한다. 그리고 실제 촬영된 차량번호판 영상(1)과 실사화 이미지(5)를 비교한다.(실사화 이미지의 상세한 내용은 후술함) 즉 실제 촬영된 차량 번호판 영상(1)을 텍스트로 표현된 "56고 8797"(3)과 비교하지 않고 실사화 이미지(5)와 비교하는 방식이다.However, in the present invention, as shown in FIG. 1B, in order to verify more effectively, the vehicle number read out from the license plate image 1 is converted into an image of a license plate form of the vehicle. The accuracy of the reading is determined by comparing the actual license plate image 1 photographed with the actualized image 5 converted into the form of the license plate of the vehicle. In other words, the read license plate number " 56 " 8797 " (3) is converted back into the photorealistic image 5 similar to the license plate image. The actual photographed license plate image 1 is compared with the actual image 5. (The details of the actual image of the license plate image will be described later.) That is, the actual photographed license plate image 1 is represented by text "56." This is compared with the actual image 5 without comparing with 8797 "(3).
본 발명에 따른 방식(B)의 성능을 검증하기 위한 실험을 하였다. 실험에서는 100대의 차량번호에 5대의 잘못 판독된 차량번호를 포함하도록 하고, A방식과 B방식에서 비교하는 시간, 비교의 정확성 및 비교자의 편리성을 각각 실험하였다. 실험 결과 본 발명에 따른 방식 즉 B방식이 훨씬 효과적이라는 것을 확인하였다.(상세한 실험 결과는 후술함.)An experiment was conducted to verify the performance of scheme (B) according to the invention. In the experiment, 100 wrong vehicle numbers were included in 5 vehicle numbers, and the comparison time, accuracy of comparison, and convenience of the comparators were tested in A and B methods. Experimental results confirmed that the method according to the present invention, that is, the B method is much more effective. (Detailed experimental results will be described later.)
도 2를 참조하여, 본 발명에 따른 차량번호 실사화 장치의 구성의 실시예를 설명하면 다음과 같다.Referring to Figure 2, an embodiment of the configuration of the vehicle number actualization apparatus according to the present invention will be described.
먼저 차량번호 판독시스템을 설명한다. 차량번호 판독시스템은 소정 영역을 촬영하는 카메라부(10)와, 상기 카메라부(10)에 연결되어 촬영된 영상을 이미지 프로세싱하여 차량번호를 판독하는 이미지 프로세싱부(20)를 포함하여 구성될 수 있다. 다수의 이미지 프로세싱부(20)는 통신망(12)에 의하여 통합운영부(30)에 연결된다. 통합운영부(30)에는 소정의 데이터 베이스를 구비하여, 통합 검색 및 운용, 법규 위반 차량에 대한 범칙금 통지 기능 등을 수행할 수 있다. 카메라부(10)와 이미지 프로세싱부(20)는 도로 등과 같은 특정 현장에 설치되며, 통합운영부(30)는 원격지에 설치되는 것이 일반적이다. 그리고 이미지 프로세싱부(20)는 통합운영부(30)에 구비되는 것도 물론 가능하다. 한편 통합운영부(30)에는 수동판독장치(40)가 연결될 수 있다. 수동판독장치(40)는 이미지 프로세싱부(20)에서 판독한 영상 중에 재판독이 필요하다고 판단되는 촬영 영상을 받아서, 상기 촬영 영상을 사람의 육안으로 판독하는 기능을 수행할 수 있다. 즉 상기 수동판독장치(40)에서는, 상기 이미지 프로세싱부(20)에서 미판독된 차량번호나 판독은 되었지만 오판독이 의심되는 영상을 사람이 육안으로 수동 판독하여 입력할 수 있도록 하는 것이 바람직하다.First, the vehicle number reading system will be described. The vehicle number reading system may include a camera unit 10 for capturing a predetermined region, and an image processing unit 20 for reading a vehicle number by image processing an image captured and connected to the camera unit 10. have. The plurality of image processing units 20 are connected to the integrated operating unit 30 by the communication network 12. The integrated operation unit 30 may include a predetermined database to perform integrated search and operation, a penalty notice function for a law violation vehicle, and the like. The camera unit 10 and the image processing unit 20 are installed at a specific site such as a road, and the integrated operating unit 30 is generally installed at a remote location. In addition, the image processing unit 20 may also be provided in the integrated operation unit 30. Meanwhile, the manual readout device 40 may be connected to the integrated operation unit 30. The manual reading apparatus 40 may receive a captured image determined to be necessary for re-reading from the image read by the image processing unit 20, and perform a function of reading the captured image with the naked eye. That is, in the manual reading apparatus 40, it is preferable that a human can manually read and input an unread vehicle number or an image which has been read but suspected to be misread by the image processing unit 20.
한편 본 실시예에 따른 차량번호 실사화장치는 한정되지는 않지만 통합운영부(30)에 구비되는 것이 바람직하다. 도 3을 참조하여, 차량번호 실사화장치(100)를 상세히 설명하면 다음과 같다. 차량번호 실사화장치(100)는 촬영된 차량번호판 영상 및 상기 차량번호판 영상에서 판독된 차량번호를 보관하는 저장부(120)가 구비된다. On the other hand, the vehicle number actualization device according to this embodiment is not limited, but is preferably provided in the integrated operation unit 30. Referring to Figure 3, the vehicle number actualization apparatus 100 will be described in detail as follows. Vehicle number actualization device 100 is provided with a storage unit 120 for storing the license plate image and the vehicle number read from the license plate image.
차량번호판 영상은 일반적인 차량번호 판독시스템의 카메라부(10)(도 2 참조)에서 촬영된 영상을 의미할 수 있으며, 차량의 번호판을 포함한 전체 영상 또는 차량의 번호판 영역만을 추출한 부분 영상이 될 수 있다. 현재 사용되고 있는 일반적인 차량번호 판독 알고리즘을 이용하여, 차량의 번호판 영역만을 추출할 수 있으며, 이는 일반적으로 통상의 기술자에게 알려진 것이므로 상세한 설명은 생략한다. 차량번호는 촬영된 차량번호판 영상에서 판독된 차량번호이다. 즉 차량번호는 차량번호판 영상에서 자동판독 또는 수동판독한 문자, 숫자, 기호 등으로 구성된 차량 고유의 식별 가능한 차량 번호이다.The license plate image may refer to an image photographed by the camera unit 10 (see FIG. 2) of a general license plate reading system, and may be an entire image including a license plate of a vehicle or a partial image extracted only from a license plate area of a vehicle. . By using a general vehicle number reading algorithm that is currently used, it is possible to extract only the license plate area of the vehicle, which is generally known to those skilled in the art, and thus the detailed description thereof will be omitted. The vehicle number is a vehicle number read from the photographed license plate image. That is, the vehicle number is a unique vehicle identification number consisting of letters, numbers, and symbols automatically read or manually read from the license plate image.
한편 상기 저장부(120)는 실사화부(110)와 연결되는 것이 바람직하며, 상기 실사화부(110)는 판독된 차량번호를 차량번호판 형태에 대응하는 실사화 이미지로 만드는 기능을 한다. 상기 실사화부(110)에는 상기 차량번호판 영상과 상기 실사화 이미지를 출력하는 출력부(140)가 연결되는 것이 바람직하다. 상기 출력부(140)에서 상기 차량번호판 영상(1)과 상기 실사화 이미지(5)(도 1의 (B) 참조)를 비교하여 차량번호의 정확성을 검증할 수 있게 하는 것이 바람직하다.On the other hand, the storage unit 120 is preferably connected to the live-action unit 110, the live-action unit 110 functions to make a read image of the vehicle image corresponding to the type of license plate. Preferably, the actualization unit 110 is connected to an output unit 140 for outputting the license plate image and the actualized image. Preferably, the output unit 140 may verify the accuracy of the license plate number by comparing the license plate image 1 with the visualized image 5 (see FIG. 1B).
상술한 바와 같이 구성하면, 자동판독 또는 수동판독된 차량번호의 정확성을 검증할 때, 상기 출력부(140)에 차량번호판 영상 및 실시화 이미지를 출력하므로, 사용자는 보다 효과적으로 정확성을 검증할 수 있다.When configured as described above, when verifying the accuracy of the automatic reading or manual reading the vehicle number, the vehicle license plate image and the actualization image is output to the output unit 140, the user can more effectively verify the accuracy .
각각의 구성요소를 상세히 설명하면 다음과 같다.Each component will be described in detail as follows.
먼저 저장부(120)를 설명한다. 저장부(120)는 차량번호 판독시스템의 카메라부에서 촬영된 영상을 저장하는 것이 바람직하다. 또한 저장부(120)는 상기 차량번호판 영상에서 자동 판독 또는 수동 판독된 차량번호를 저장하는 것이 바람직하다. First, the storage unit 120 will be described. The storage unit 120 preferably stores the image photographed by the camera unit of the vehicle number reading system. In addition, the storage unit 120 preferably stores the vehicle number automatically read or manually read from the license plate image.
다음으로, 실사화부(110) 및 실사화 이미지에 대하여 보다 상세히 설명한다. 상술한 바와 같이. 실사화 이미지는 판독된 차량번호를 해당 차량의 촬영된 번호판 영상과 대응하도록 만든 이미지이다. 실사화 이미지는 실제 촬영된 번호판 형태와 유사하도록 만들어지는 바람직하다. 그런데, 한국의 현행 법규에는 번호판 종류(형식)는 한 가지가 아니고 여러 가지가 존재한다. 즉 도 4에 도시한 바와 같은 번호판 종류가 존재한다. 즉 "자동차 등록번호판 등의 기준에 관한 고시"(국토해양부 고시 제2013-30호)에 의하면, 2006년 11월 1일 이후에 제정된 차량 번호판 종류는 현재 6가지이다. 상기 고시에 의하면, 현재 통용되는 자동차 번호판의 종류는 색상, 크기, 가로/세로 비율, 글자 배열, 폰트 등이 다른 여러 가지 형태로 구성된다.Next, the realistic image 110 and the actual image will be described in more detail. As mentioned above. The live-action image is an image made to correspond to the read license plate number and the photographed license plate image of the vehicle. The realistic image is preferably made to resemble the actual photographed license plate shape. However, there are several license plate types (forms) in Korea's current legislation. That is, there are license plate types as shown in FIG. In other words, according to the "Notice on Standards of Vehicle Registration Plates" (Ministry of Land, Transport and Maritime Affairs Notification No. 2013-30), there are currently six types of license plates established after November 1, 2006. According to the above notice, the type of license plate currently in use is composed of various forms of different colors, sizes, aspect ratios, character arrangements, fonts, and the like.
따라서, 번호판의 종류가 한가지가 아닌 경우에는 번호판의 종류(형식) 예들 들어 번호판의 색상, 번호판의 크기, 번호판의 글씨배열, 번호판의 가로세로 비율 및 번호판의 폰트 등(이하 "번호판 형식정보")에 맞추어 실사화 이미지를 만드는 것이 바람직하다. 즉, 번호판의 종류가 한가지가 아닌 경우에는, 실사화부(110)에서 판독된 차량번호를 이용하여 실사화 이미지를 만들 때, 상기 판독된 차량번호뿐만 아니라 차량의 번호판 형식정보를 이용하여, 이에 대응하는 번호판 형태의 영상으로 실사화 이미지를 만드는 것이 바람직하다. Therefore, if the type of license plate is not one, the type of license plate (type), for example, the color of the license plate, the size of the license plate, the arrangement of the letters of the license plate, the aspect ratio of the license plate and the font of the license plate (hereinafter referred to as "number plate format information") It is desirable to create a photorealistic image accordingly. That is, when the type of license plate is not one, when creating a photorealistic image using the vehicle number read by the live-viewing unit 110, the corresponding license plate type information of the vehicle is used as well as the vehicle number. It is desirable to make a photorealistic image from the image of the license plate form.
차량의 번호판 형식정보는 차량번호 판독시스템에서 차량번호 판독 알고리즘을 수행하는 단계에서 획득할 수 있다. 또는 차량번호 실사화장치(100)에 번호판 형식정보 추출부(150)를 별도로 구비하여, 상기 번호판 형식정보 추출부(150)에서 번호판 형식정보를 추출하는 것도 가능하다. The license plate type information of the vehicle may be obtained in a step of performing a vehicle number reading algorithm in the vehicle number reading system. Alternatively, the license plate type information extracting unit 150 may be separately provided in the vehicle number actualization device 100, and the license plate type information extracting unit 150 may extract the license plate type information.
촬영된 차량번호판 영상에서 이미지 프로세싱으로 차량번호를 판독하는 것을 실패하는 경우에도, 번호판의 크기, 가로세로 비율, 색상 등과 같은 번호판 형식정보를 이미지 프로세싱으로 추출하는 것은 가능하다. 왜냐하면, 차량번호 판독을 위하여 번호판 영상을 이미지 프로세싱하기 위해서는, 차량의 영상에서 번호판 부분을 검출하고, 번호판의 형태(크기, 색상 등)를 분석하며, 이를 이용하여 문자를 분할, 판독 및 인식하는 단계로 진행된다. 그런데, 차량의 번호판 형식정보를 추출하는 단계는 차량번호 판독의 사전 단계이며, 상대적으로 용이하기 때문이다. 왜냐하면, 촬영된 차량번호판에서 차량번호를 판독하는 것은 컴퓨터가 텍스트로 인식 가능한 문자, 숫자 등으로 판독하여야 하지만, 번호판 색상, 번호판 크기 등을 인식하는 것은 R,G,B의 비율이니 픽셀의 수 등으로 상대적으로 용이하기 인식 가능하기 때문이다. 한편 추출된 차량의 번호판 형식정보는 저장부(120)에 해당 차량번호판 영상 및 판독된 차량번호와 매칭시켜 같이 저장되는 것이 바람직하다.Even when it is unsuccessful to read the license plate number by image processing from the photographed license plate image, it is possible to extract license plate type information such as size, aspect ratio, color, etc. of the license plate by image processing. Because, in order to image the license plate image for vehicle number reading, detecting the license plate portion from the image of the vehicle, analyzing the shape (size, color, etc.) of the license plate, and segmenting, reading and recognizing characters using the same Proceeds. However, the step of extracting the license plate type information of the vehicle is a preliminary step of the vehicle number reading, and is relatively easy. Because reading the license plate number from the license plate photographed by the computer should be able to read the letters and numbers that can be recognized as text, but the license plate color, license plate size, etc. is the ratio of R, G, B. This is because it is relatively easy to recognize. Meanwhile, the extracted license plate type information of the vehicle is preferably stored in the storage unit 120 by matching the license plate image and the read vehicle number.
한편, 출력부(140)에서 디스플레이되는 촬영된 차량번호판 영상을 보고, 사람이 직접 수동으로 차량의 번호판 형식정보를 입력부(130)을 통하여 선택하는 것도 가능하다. 이러한 경우에는 각각의 번호판의 형태(종류)는 미리 정해지므로, 사람이 번호판 크기, 색상 등을 일일이 입력하는 것이 아니라 이에 대응하는 기본적인 틀(이하 편의상 "템플릿")을 미리 만들어 놓고 템플릿(번호판 종류 중 어떤 것인지) 만을 입력받는 것이 편리하므로 바람직하다.On the other hand, by looking at the photographed license plate image displayed on the output unit 140, it is also possible for a person to manually select the license plate type information of the vehicle through the input unit 130. In this case, the type (type) of each license plate is determined in advance, so that a person does not input the license plate size or color, but instead creates a basic template (hereinafter referred to as a "template") in advance and sets a template (of the license plate type). It is preferable because it is convenient to receive only).
위에서 설명한 바와 같이, 번호판의 종류가 한가지가 아닌 경우에는 각각의 번호판의 형태(종류)에 대응하는 템플릿을 미리 만들어 놓고, 해당 템플릿에 해당 차량번호를 이미지로 추가로 결합하여 실사화 이미지를 만드는 것이 바람직하다.As described above, when the number of license plates is not one, it is necessary to create a template corresponding to the type (type) of each license plate in advance, and to create a photorealistic image by further combining the vehicle number as an image on the template. desirable.
템플릿은 기본적으로 현행 법규상 존재하는 번호판 종류만큼 미리 만들어 놓는 것이 바람직하다. 실사화부(110)에서는 번호판 형식정보를 이용하여 어느 종류의 번호판인지를 판단하여, 해당 템플릿에 차량번호를 이미지로 더하게 된다. 즉 실사화부(110)에서는 차량의 번호판 영상에서 판독된 차량번호 및 번호판 형식정보를 이용하여, 상기 차량번호를 실사화 이미지로 재구성하는 것이 바람직하다. 물론 상술한 바와 같이, 사용자에게 번호판 종류를 입력받아서 해당 템플릿을 이용하는 것도 가능하다.Basically, it is desirable to make a template in advance as many kinds of license plate exist as the current law. The actual picture unit 110 determines the type of license plate by using the license plate type information, and adds the vehicle number as an image to the template. That is, the live-action unit 110 may use the vehicle number and license plate type information read from the license plate image of the vehicle to reconstruct the vehicle number into a realistic image. Of course, as described above, it is also possible to use the template by receiving the type of license plate from the user.
한편, 상술한 바와 같이, 촬영된 번호판 영상에서 이미지 프로세싱으로 번호판의 크기, 가로세로 비율, 색상 등과 같은 모든 번호판 형식정보를 획득하는 것도 가능하지만, 상술한 현행 고시의 규칙성을 이용하면, 번호판 형식정보의 일부만 가지고 촬영된 번호판이 어떤 번호판 종류에 해당하는 지를 판단할 수도 있다. 이를 현행 고시에 근거하여 개략적으로 설명하면 다음과 같다. 물론 이러한 방식은 자동차 번호판에 대한 고시가 변경되는 경우에는 번호판 종류를 판단하는 방식도 변경되는 것이 물론 가능하다. 이하 현행 고시에 기준하여 설명한다.On the other hand, as described above, it is also possible to obtain all license plate format information such as the size, aspect ratio, color, etc. of the license plate by image processing in the photographed license plate image, but using the current regularity described above, license plate format It is also possible to determine which license plate type the license plate is photographed with only part of the information. If this is outlined based on the current notice, it is as follows. Of course, in the case where the notice on the license plate is changed, the manner of determining the type of license plate may be changed. The following description will be made based on the current notice.
차량번호판의 색상은 2가지이며, 노란색 번호판의 글씨의 배열은 상하 2줄로 된 구성과 세로와 가로를 혼용한 형태가 존재하며, 흰색 번호판은 가로 배열만 존재한다. 따라서 번호판 색상을 이용하여 번호판의 글씨의 배열을 결정할 수 있다.The license plate has two colors. The letters of the yellow license plate have two lines of top and bottom, and the vertical and horizontal forms are mixed. The white plate has only the horizontal arrangement. Thus, the license plate color can be used to determine the arrangement of the letters on the license plate.
또한 차량의 번호에는 지역, 용도기호, 차량종류 등의 다양한 정보를 포함하고 있는데, 이를 이용하며 템플릿을 구성하는 것이 가능하다. 예를 들면 노랑색 번호판은 사업용 차량 ,흰색 번호판은 자가용 자동차를 의미하는데, 반드시 택시, 버스는 노랑색 번호판이며, 뿐만 아니라, 용도 기호에서 "바, 사, 아, 자"중에 하나를 포함하며, 지역 명을 포함하도록 구성된다. 또한 사업용인 경우에 대형 번호판은 상단과 하단 2줄로 구성된 번호판 형태이며, 소형 번호판은 세로(지역명)와 가로배열을 포함하는 구성이며 반드시 지역 명을 포함하는 것도 특징이 있다. 따라서 상술한 특징을 고려하면, 번호판 형식정보의 일부만 가지고 촬영된 번호판이 어떤 번호판 종류에 해당하는 지를 판단할 수도 있다. In addition, the vehicle number includes various information such as region, usage symbol, vehicle type, etc., and it is possible to construct a template using this information. For example, a yellow license plate means a business vehicle, and a white license plate means a car, but taxis and buses are yellow license plates, as well as one of the "bar, four, ah, ruler" in the application symbol. It is configured to include. In addition, in the case of a business, a large license plate is in the form of a license plate consisting of two lines at the top and bottom, and a small license plate includes a vertical (area name) and a horizontal arrangement, and must also include a region name. Accordingly, in consideration of the above-described feature, it is possible to determine which license plate type the license plate photographed with only a part of license plate type information.
다음으로 출력부(140)를 설명하면 다음과 같다. 출력부(140)는 실제 촬영된 차량번호판 영상과 실사화 이미지를 동시에 출력(도 1의 (B) 참조)하여 사용자가 2가지 영상의 비교가 용이하도록 하기 위한 인터페이스를 제공한다. 실제 업무는 단순하고 지루한 작업이므로 사용자가 사용이 편리하도록 사용자 인터페이스를 제공하는 것이 바람직하다. 또한 비교 결과에 따라 판독된 차량번호를 확인, 수정하거나 차량의 특징에 따른 인덱스를 추가 입력하기 위한 기능을 포함하는 것이 바람직하다.Next, the output unit 140 will be described. The output unit 140 simultaneously outputs the actual photographed license plate image and the actual image (see FIG. 1B) to provide an interface for the user to easily compare the two images. Since the actual task is a simple and tedious task, it is desirable to provide a user interface for the user to use. In addition, it is preferable to include a function for checking or correcting the read vehicle number or additionally input an index according to the characteristics of the vehicle according to the comparison result.
한편 상술한 바와 같이, 실제 촬영된 차량번호판 영상과 실사화 이미지를 매칭하여 저장부(120)에 저장하는 것이 바람직하다. 또한 실제 촬영된 차량번호판 영상과 실사화 이미지의 비교 결과도 상기 저장부(120)에 저장되는 것이 바람직하다.On the other hand, as described above, it is preferable to match the actual license plate image and the actual image photographed and stored in the storage unit 120. In addition, the comparison result of the actual license plate image and the actual image is preferably stored in the storage unit 120.
본 발명에 따른 차량번호 실사화 장치 및 그 방법의 효과를 설명하면 다음과 같다. 본 발명의 효과를 판단하기 위하여 다음과 같은 실험을 하였다. 도 5에 도시한 바와 같이, 실험방법은 실제 촬영된 번호판 영상(1)과 판독된 텍스트 형태의 차량번호(3)를 비교하는 방법(도 5의 방법 1)과, 실제 촬영된 번호판 영상(1)과 실사화 이미지(5)를 비교하는 방법(도 5의 방법 2)을 각각 수행하였다. 즉 5개의 오판독된 차량번호를 포함하는 100개의 번호판 영상에 대하여 동일한 실험자에게 2가지 검증 방법을 수행시키고, 각각 판독시간을 측정하고 오판독된 번호판 검출 개수, 그리고 판독의 편리성을 선택하도록 하였다.Referring to the effect of the vehicle number actualization device and the method according to the present invention are as follows. In order to determine the effect of the present invention, the following experiment was conducted. As shown in FIG. 5, the experimental method compares the actual license plate image 1 with the vehicle number 3 in a read text form (method 1 of FIG. 5), and the actual license plate image 1 (1). ) And the method of comparing the photorealistic image 5 (method 2 of FIG. 5) were performed. In other words, two verification methods were performed on the same experimenter for 100 license plate images including five misreading vehicle numbers, and the reading time was measured and the number of misreading license plates detected and the convenience of reading were selected. .
구 분division 소요시간 (Sec)Required time (Sec) 2가지 방법에서 편리성 선택 Choice of convenience in two ways
text data 비교text data comparison 이미지번호판 비교Image License Plate Comparison
피실험자1Subject 1 169      169 136136 조건 2Condition 2
" 2" 2 146146 134134 ""
" 3"3 188188 142142 ""
" 4" 4 176176 140140 ""
" 5"5 165165 125125 ""
" 6"6 180180 145145 ""
" 7"7 152152 131131 ""
" 8" 8 190190 158158 ""
" 9"9 210210 167167 ""
" 10"10 162162 131131 ""
평 균Average 173.8173.8 140.9140.9 조건1:0, 조건2:10Condition 1: 0, condition 2:10
상술한 실험 결과에서 알 수 있는 바와 같이, 방법 1과 방법 2의 판독시간의 비교에서 방법 2의 방법이 약 20% 정도의 판독 시간의 감소 효과가 있었으며, 100개 이상의 경우와 같이 시료가 많으면 감소 효과가 더욱 클 것으로 예상된다. 또한 2가지 방법에서 판독의 편리성에서는 피실험자 100%가 방법 2를 선택하였다. 또한 피실험자 전원이 방법 2에서 눈의 피로가 크게 감소 되는 것을 느낄 수 있었다. 시료의 수가 100개여서 방법 1 및 2에서 모두 오판독된 번호판을 찾았지만, 시료의 수가 증가하면 방법 2의 경우가 정확성 측면에서도 우수할 것으로 생각된다. As can be seen from the above experimental results, the method of method 2 had a reduction of about 20% of the reading time in the comparison of the reading times of the method 1 and the method 2, and it decreased when there were more samples such as 100 or more cases. The effect is expected to be even greater. In addition, in the two methods, 100% of the subjects chose Method 2 for the convenience of reading. In addition, all of the test subjects could feel that eye fatigue was greatly reduced in Method 2. Since the number of samples was 100, a number of misread plates was found in both methods 1 and 2. However, if the number of samples is increased, the method 2 is considered to be excellent in terms of accuracy.
본 발명의 따른 방법(방법 2)가 훨씬 효율적인 이유는, 방법 1의 경우에는 사람은 이미지(실제 촬영된 번호판 영상)대 텍스트(판독된 차량번호-머리 속에서 의미 해석 과정이 필요할 것으로 생각됨)로 각각 인지하게 된다. 방법 2의 경우에서는, 사람은 이미지(실제 촬영된 번호판 영상)대 이미지(판독된 차량번호를 실사화한 이미지)로 그대로 직관적으로 인지하기 때문이라고 생각된다.The method (Method 2) of the present invention is much more efficient because, in the case of Method 1, a person is required to interpret an image (actually photographed license plate image) versus text (reading license number-head in the head). Each will be recognized. In the case of the method 2, it is considered that the person intuitively recognizes the image (the actual photographed license plate image) versus the image (the image of the actual vehicle number read out).
도 6 및 도 7을 참조하여, 본 발명의 다른 실시예를 설명한다. 상술한 실시예에서는 자동판독 또는 수동판독된 차량번호의 정확성을 실사화된 이미지를 이용하여 검증하는 실시예를 설명하였다. 즉, 이미 자동판독되어 저장부(120, 도 3 참조)에 보관된 차량번호 또는 이미 수동판독되어 차량번호가 저장부에 이미 보관되어 있는 경우의 다수개의 차량번호의 정확성을 검증하는 실시예이다. 그러나 본 실시예에서는 수동판독의 경우에, 사람이 수동판독한 차량번호를 입력함과 동시에 검증하는 예이다. 즉 본 실시예에 따른 실사화장치는 수동판독장치(도 2의 40 참조)로 사용되는 것이 가능하다.6 and 7, another embodiment of the present invention will be described. In the above-described embodiment, an embodiment of verifying the accuracy of the auto-reading or manual-reading vehicle number using the actualized image is described. That is, an embodiment of verifying the accuracy of a plurality of vehicle numbers which are already automatically read and stored in the storage unit 120 (see FIG. 3) or when the vehicle numbers are already manually read and stored in the storage unit. However, in the present embodiment, in the case of manual reading, a person inputs a vehicle number manually read and simultaneously verifies it. In other words, the realistic picture apparatus according to the present embodiment may be used as a manual reading apparatus (see 40 of FIG. 2).
도 6에 도시한 바와 같이, 차량의 번호판 영상을 육안으로 판독하여 입력하는 경우에 모니터와 같은 출력부(140)의 소정 영역에 위치한 촬영영상 표시부(142)에 실제 촬영된 영상(1)을 디스플레이한다. 사람은 상기 영상(1)을 육안으로 판독하여, 키보드, 터치 스크린 등과 같은 입력부를 통하여 이를 입력한다. 사람이 육안 판독된 차량번호(텍스트-숫자, 기호 등)를 입력하면, 입력된 텍스트가 출력부(140)의 소정 영역에 위치한 입력내용 표시부(144)에 표시된다. 이때 사람이 입력한 텍스트는 입력내용 표시부(144)에 텍스트 형태가 아니고 차량번호판 형태의 이미지로 디스플레이된다. 즉 입력내용 표시부(144)의 배경을 번호판 형태의 템플릿으로 구성하고, 입력된 차량번호(텍스트)를 실시간으로 실시화하여 디스플레이함으로써 사용자가 입력과 동시에 비교가 가능하도록 한다. 또는 도 7에 도시한 바와 같이, 사람이 입력한 차량번호(텍스트)는 입력내용 표시부(144)에 텍스트 형 표시되지만, 다른 영역에 위치한 실사화 이미지 표시부(146)에 차량번호판 형태로 디스플레이할 수도 있다. As shown in FIG. 6, when the license plate image of the vehicle is visually read and inputted, the actual image 1 is displayed on the captured image display unit 142 located in a predetermined area of the output unit 140 such as a monitor. do. The human person reads the image 1 visually and inputs it through an input unit such as a keyboard or a touch screen. When a person inputs a vehicle number (text-number, symbol, etc.) that is visually read, the input text is displayed on the input content display unit 144 located in a predetermined area of the output unit 140. In this case, the text input by a person is displayed on the input content display unit 144 as an image of a license plate rather than a text form. That is, the background of the input content display unit 144 is configured as a template in the form of a license plate, and the inputted vehicle number (text) is realized and displayed in real time so that the user can simultaneously compare the input. Alternatively, as shown in FIG. 7, the vehicle number (text) input by a person is displayed in text form on the input content display unit 144, but may be displayed in the form of a license plate on the live action image display unit 146 located in another area. have.
도 6 및 도 7에서 출력부(140)에 입력된 차량번호(텍스트)가 디스플레이 될 때, TTS(Text To Speech) 엔진을 이용하여, 입력하는 내용의 정확성 여부를 청각으로 재확인을 하도록 하는 방법도 가능하다.6 and 7, when the vehicle number (text) inputted to the output unit 140 is displayed, a method of reconfirming whether the input contents are correct by hearing using a text to speech (TTS) engine. It is possible.
본 발명의 또 다른 실시예를 설명한다. 상술한 바와 같이, 본 발명은 자동판독 또는 수동판독된 차량번호의 정확성을 검증하는데에 사용 가능하다. 그런데 차량번호 판독시스템에서 촬영된 영상에서 차량번호가 이미지 프로세싱에 의하여 자동 판독되지 못하여 수동판독하는 경우에는 수동판독된 것 전체에 대하여 정확성 검증을 하는 것이 바람직하다. 그런데 자동판독된 경우에는 그 전부에 대하여 정확성을 검증하여도 되지만, 판독의 정확성이 의심되는 경우에만 즉 오판독으로 의심되는 차량번호만을 검증하는 하여도 된다. 오판독으로 의심되는 경우는 촬영된 차량번호판 영상에서 차량번호를 이미지 프로세싱에 의하여 판독할 때, 이미지 프로세싱의 알고리즘 자체의 내재된 불명확성 예들 들어 노이즈 제거의 불명확성 등을 판단하여 판독의 정확성이 의심되는 경우에만 본 발명에 따른 정확성 검증을 수행할 수 있다. 또한, 이미지 프로세싱의 알고리즘 자체의 내재된 불명확성 뿐만 아니라, 텍스트로 인식된 차량번호의 법규 형식에 의하여 불명확성을 판단할 수도 있다. 예들 들어, 번호판 형식정보를 이용하면 차량의 번호판이 일부분만 인식이 되거나 또는 잘못 인식된 정보를 판단하는 것이 가능한데, 예를 들면 노란색 번호판이면, 반드시 지역명 (서울, 경기.등) 과 용도 기호에는 "바,사,아,자"중에 하나를 포함하여야 한다. 따라서, 노란색 번호판인데 지역명이 없거나 용도 번호에 "바,사,아,자"가 없으면 오판독된 것으로 추정할 수 있다. 본 발명은 상술한 실시예에 한정되지 않으면 적절한 변형이 가능하다.Another embodiment of the present invention will be described. As described above, the present invention can be used to verify the accuracy of the auto read or manual read license number. However, when the vehicle number is not automatically read by the image processing in the image photographed by the vehicle number reading system, it is preferable to verify the accuracy of the entire manual reading. However, in the case of automatic reading, the accuracy may be verified for all of them, but only the vehicle number suspected of a false reading may be verified only when the accuracy of the reading is suspected. In case of suspected misreading, when reading the license plate number from the image of the license plate photographed by image processing, when the accuracy of the reading is suspected by determining the inherent uncertainty of the algorithm of the image processing itself, for example, the uncertainty of noise removal, etc. Only accuracy verification in accordance with the present invention can be performed. In addition, the uncertainty may be determined not only by the inherent uncertainty of the algorithm of the image processing itself, but also by the legal form of the vehicle number recognized as text. For example, using license plate type information, it is possible to determine whether a vehicle's license plate is partially recognized or misrecognized. For example, if a yellow license plate is used, the name of the area (Seoul, Gyeonggi, etc.) and the usage symbol must be used. It must contain one of the words "ba, sa, ah, ja". Thus, if the yellow license plate does not have a local name or the usage number does not include "bar, sa, ah, ja", it can be presumed to have been misread. The present invention can be appropriately modified without being limited to the above-described embodiments.
본 발명에 따른 차량번호 실사화 방법을 설명하면 다음과 같다.Referring to the vehicle number due diligence method according to the present invention.
먼저, 차량번호판 영상 및 상기 차량번호판 영상으로 부터 판독된 차량번호를 획득한다.(이하 "정보획득단계") 상기 정보획득단계에서, 차량번호판 영상을 카메라부에서 전달받을 수도 있고, 이미 저장되어 있는 영상을 사용할 수도 있다. 또한 판독된 차량번호는 자동판독 또는 수동판독된 차량번호일 수 있다. First, a vehicle license plate image and a vehicle number read from the vehicle license plate image are obtained. (Hereinafter, referred to as "information acquisition step") In the information acquisition step, the license plate image may be transmitted from the camera unit, which is already stored. You can also use video. Also, the read vehicle number may be an auto read or a manual read vehicle number.
다음에는, 상기 차량번호판 영상 및 상기 판독된 차량번호를 이용하여 상기 차량번호를 상기 차량번호판에 대응하는 형태의 실사화 이미지로 만든다.(이하 "실사화 단계")Next, using the license plate image and the read license plate number, the license plate image is made into a photorealistic image of a form corresponding to the license plate.
한편, 상기 차량번호판 영상과 상기 실시화 이미지를 소정 출력수단에 출력하는 단계(이하 "출력단계")를 포함하는 것이 바람직하다. 또한, 상기 출력단계에서 출력된 상기 차량번호판 영상과 상기 실시화 이미지를 이용하여, 상기 판독된 차량번호의 정확성 여부를 사용자로 부터 입력받는 단계(이하 "입력단계")를 포함하는 것이 바람직하다.On the other hand, it is preferable to include the step of outputting the license plate image and the actualization image to a predetermined output means (hereinafter "output stage"). In addition, it is preferable to include a step (hereinafter referred to as an "input step") of inputting the correctness of the read vehicle number from the user using the license plate image and the embodiment image output in the output step.
한편, 본 발명은 상술한 실시예에 한정되지 않는다. 예를 들어, 상술한 실시예에서는, 판독된 차량번호의 정확성을 사람의 육안을 이용하여 판단하는 것을 설명하였다. 즉 사람이 번호판 촬영 영상과 판독된 차량번호의 실사화 이미지를 비교하여, 판독된 차량번호의 정확성을 검증하였다. 그러나 본 발명에 따르면, 번호판 촬영 영상과 판독된 차량번호의 실사화 이미지를 사람의 육안이 아닌 적절한 알고리즘을 이용하여 비교하는 것도 가능하다. 번호판 영상은 이미지이고 판독된 차량번호는 텍스트 형태의 데이터이므로, 알고리즘을 이용하여 상기 번호판 영상과 판독된 차량번호를 알고리즘으로 비교하는 것은 실질적으로 불가능하다. 그러나, 번호판 촬영 영상과 실사화 이미지는 이미지 대 이미지이다. 따라서 이미지와 이미지를 적절한 알고리즘을 이용하여 비교하는 것은 가능하기 때문이다. 즉 본 발명의 다른 실시예에 의하면, 본 발명은 사람이 번호판 영상과 판독된 차량번호의 실사화 이미지를 비교하는 대신에, 상기 차량번호판 영상과 상기 실사화 이미지를 알고리즘으로 비교하여, 상기 판독된 차량번호의 정확성을 판단하는 단계(이하 "비교단계")를 포함하여 구성될 수 있다. In addition, this invention is not limited to the above-mentioned embodiment. For example, in the above-described embodiment, it has been described that the accuracy of the read vehicle number is determined by the human eye. In other words, the accuracy of the read license plate number was verified by comparing the license plate photographed image with the visualized image of the read license plate number. However, according to the present invention, it is also possible to compare the license plate photographed image and the actualized image of the read vehicle number using an appropriate algorithm instead of the human eye. Since the license plate image is an image and the read vehicle number is data in text form, it is practically impossible to algorithmically compare the license plate image with the read vehicle number using an algorithm. However, license plate photographed images and photorealistic images are image versus image. Therefore, it is possible to compare an image with an appropriate algorithm. That is, according to another embodiment of the present invention, instead of comparing the license plate image with the actual image of the read license plate image, the present invention compares the license plate image and the realistic image with an algorithm, thereby reading the read image. It may be configured to include the step of determining the accuracy of the vehicle number (hereinafter referred to as "compare step").

Claims (19)

  1. 촬영된 차량번호판 영상 및 상기 차량번호판 영상으로부터 자동판독 또는 수동판독된 차량번호를 이용하여, 상기 차량번호를 상기 차량번호판에 대응하는 형태의 실사화 이미지로 만드는 실사화부와;A live-action unit for making the vehicle number into a realistic image of a form corresponding to the license plate by using the photographed license plate image and the vehicle number automatically read or manually read from the license plate image;
    상기 차량번호판 영상과 상기 실사화 이미지를 출력하는 출력부를 포함하는 차량번호 실사화 장치.Vehicle number actualization device comprising an output unit for outputting the license plate image and the actual image.
  2. 제1항에 있어서, 상기 실사화부에서는 상기 차량번호판에 대한 번호판 형식정보를 이용하여 실사화를 수행하는 것을 특징으로 하는 차량번호 실사화 장치.The apparatus of claim 1, wherein the photo-projection unit performs a photo-realization using license plate type information of the license plate.
  3. 제2항에 있어서, 상기 번호판 형식정보는 번호판의 색상, 번호판의 크기, 번호판의 글씨배열, 번호판의 가로세로 비율 및 번호판의 폰트 중의 최소한 한 개인 것을 특징으로 하는 차량번호 실사화 장치.The apparatus of claim 2, wherein the license plate format information is at least one of a color of a license plate, a size of a license plate, a text arrangement of the license plate, an aspect ratio of the license plate, and a font of the license plate.
  4. 제2항 또는 제3항에 있어서, 상기 차량번호판 영상에서 상기 번호판 형식정보를 추출하는 번호판 형식정보 추출부를 더욱 포함하는 것을 특징으로 하는 차량번호 실사화 장치.The apparatus of claim 2 or 3, further comprising a license plate type information extracting unit for extracting the license plate type information from the license plate image.
  5. 제1항에 있어서, 상기 실사화 이미지는 상기 차량번호판 영상과 매칭되어 저장되는 것을 특징으로 하는 차량번호 실사화 장치.The apparatus of claim 1, wherein the actual image is stored in match with the license plate image.
  6. 제1항에 있어서, 상기 출력부에 출력된 상기 차량번호판 영상과 상기 실사화 이미지를 기초로 하여, 판독된 차량번호의 정확성을 입력받는 입력부를 더욱 포함하는 것을 특징으로 하는 차량번호 실사화 장치.The apparatus of claim 1, further comprising an input unit configured to receive an accuracy of the read vehicle number based on the vehicle license plate image and the live action image output on the output unit.
  7. 제1항에 있어서, 상기 입력부는, 상기 차량번호판 영상을 기초로 하여 사용자로부터 수동판독된 차량번호를 더욱 입력받는 것을 특징으로 하는 차량번호 실사화 장치. The apparatus of claim 1, wherein the input unit further receives a vehicle number manually read from a user based on the license plate image.
  8. 제7항에 있어서, 상기 입력부에서 수동 판독된 차량번호가 입력되면, 상기 출력부에 상기 차량번호가 실사화 이미지로 디스플레이되는 것을 특징으로 하는 차량번호 실사화 장치. The apparatus of claim 7, wherein when the vehicle number manually read from the input unit is input, the vehicle number is displayed as a photorealistic image on the output unit.
  9. 차량을 포함하는 소정 영역을 촬영하는 카메라부와; A camera unit for photographing a predetermined area including a vehicle;
    상기 카메라부에서 촬영된 영상에서 이미지 프로세싱에 의하여 차량번호를 판독하는 이미지 프로세싱부와;An image processing unit which reads the vehicle number by image processing from the image photographed by the camera unit;
    상기 촬영 영상과 상기 판독된 차량번호를 수신하여 관리하는 통합운영부와;An integrated operation unit which receives and manages the photographed image and the read vehicle number;
    상기 이미지 프로세싱부에서 판독한 영상 중에 재판독이 필요하다고 판단되는 촬영 영상을 출력하고, 출력된 촬영 영상을 기초로 하여 사용자로부터 수동판독된 차량번호를 입력받는 수동판독부를 포함하는 차량번호 판독시스템.And a manual reading unit which outputs a photographed image determined to be necessary for re-reading among the images read by the image processing unit, and receives a manually read vehicle number based on the output photographed image.
  10. 제9항에 있어서, 상기 재판독이 필요한 촬영 영상은, 상기 이미지 프로세싱부에서 미판독된 촬영 영상 및 오판독으로 판정된 촬영 영상 중의 최소한 한가지인 것을 특징으로 하는 차량번호 판독시스템. The vehicle number reading system according to claim 9, wherein the photographed image requiring the reread is at least one of a photographed image which is not read by the image processing unit and a photographed image which is determined to be misread.
  11. 제10항에 있어서, 상기 수동판독부에서는, 수동 판독된 차량번호가 입력되면 상기 차량번호가 실사화 이미지로 디스플레이되는 것을 특징으로 하는 차량번호 판독시스템. The vehicle number reading system according to claim 10, wherein the manual reading unit displays the vehicle number as a photorealistic image when a manually read vehicle number is input.
  12. 차량번호판 영상 및 상기 차량번호판 영상으로부터 판독된 차량번호를 획득하는 정보획득단계와;An information acquisition step of obtaining a license plate image and a license plate number read from the license plate image;
    상기 차량번호판 영상과 상기 차량번호를 이용하여, 상기 차량번호를 상기 차량번호판에 대응하는 형태의 실사화 이미지로 만드는 실사화 단계를 포함하는 차량번호 실사화 방법.And using a license plate image and the vehicle number to generate a photo-realistic image of the vehicle number in a form corresponding to the license plate.
  13. 제12항에 있어서, 상기 차량번호판 영상과 상기 실시화 이미지를 출력하는 출력단계와; 상기 출력단계에서 출력된 상기 차량번호판 영상과 상기 실시화 이미지를 이용하여, 상기 판독된 차량번호의 정확성 여부를 입력받는 입력단계를 더욱 포함하는 것을 특징으로 하는 차량번호 실사화 방법.The method of claim 12, further comprising: an output step of outputting the license plate image and the action image; And an input step of receiving an accuracy of the read vehicle number by using the vehicle license plate image and the embodiment image output in the output step.
  14. 제12항에 있어서, 상기 실사화 단계에서, 상기 차량번호판에 대한 번호판 형식정보를 이용하여 실사화를 수행하는 것을 특징으로 하는 차량번호 실사화 방법.The vehicle number due diligence method of claim 12, wherein in the due diligence step, due diligence is performed using license plate type information of the license plate.
  15. 제14항에 있어서, 상기 번호판 형식정보는 번호판의 색상, 번호판의 크기, 번호판의 글씨배열, 번호판의 가로세로 비율 및 번호판의 폰트 중의 최소한 한 개인 것을 특징으로 하는 차량번호 실사화 방법.15. The method of claim 14, wherein the license plate format information is at least one of a color of a license plate, a size of a license plate, a text arrangement of the license plate, an aspect ratio of the license plate, and a font of the license plate.
  16. 제12항에 있어서, 상기 차량번호판 영상과 상기 실사화 이미지를 소정 알고리즘으로 비교하여, 상기 판독된 차량번호의 정확성을 판단하는 비교단계를 더욱 포함하는 것을 특징으로 하는 차량번호 실사화 방법.The method of claim 12, further comprising comparing a vehicle license plate image with the visualized image by a predetermined algorithm to determine the accuracy of the read vehicle number.
  17. 촬영된 차량번호판 영상 및 상기 차량번호판 영상의 형태에 대응하는 템플릿을 만드는 실사화부와;A live-action unit for creating a template corresponding to the shape of the license plate image and the license plate image;
    상기 차량번호판 영상 및 상기 템플릿을 출력하는 출력부와;An output unit for outputting the license plate image and the template;
    상기 차량번호판 영상을 기초로 하여 수동판독된 차량번호를 입력받는 입력부를 가지며, On the basis of the license plate image has a input unit for receiving a manually read vehicle number,
    상기 출력부는 상기 입력부에서 입력받는 차량번호를 상기 템플릿에 출력하는 차량번호 실사화 장치.And the output unit outputs a vehicle number received from the input unit to the template.
  18. 제17항에 있어서, 상기 실사화부는, 상기 차량번호판 영상을 이미지 프로세싱하여 템플릿을 만드는 것을 특징으로 하는 차량번호 실사화 장치.18. The apparatus of claim 17, wherein the photo realization unit generates a template by image processing the license plate image.
  19. 제17항에 있어서, 상기 실사화부는, 상기 템플릿의 종류를 상기 입력부로부터 입력받아 해당 템플릿을 만드는 것을 특징으로 하는 차량번호 실사화 장치.18. The apparatus of claim 17, wherein the live-action unit receives the type of the template from the input unit and creates the template.
PCT/KR2015/004219 2014-04-30 2015-04-28 Apparatus and method for generating photographic image of license plate number, and license plate number reading system using same WO2015167202A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201580035712.XA CN106462770A (en) 2014-04-30 2015-04-28 Device for converting the vehicle number into the image, method for controlling the same and vehicle number reading system using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0052893 2014-04-30
KR1020140052893A KR20150125463A (en) 2014-04-30 2014-04-30 Device for converting the vehicle number into the image, Method for controlling the same and Vehicle number reading system using the same

Publications (1)

Publication Number Publication Date
WO2015167202A1 true WO2015167202A1 (en) 2015-11-05

Family

ID=54358860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/004219 WO2015167202A1 (en) 2014-04-30 2015-04-28 Apparatus and method for generating photographic image of license plate number, and license plate number reading system using same

Country Status (3)

Country Link
KR (1) KR20150125463A (en)
CN (1) CN106462770A (en)
WO (1) WO2015167202A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723402A (en) * 2021-08-24 2021-11-30 北京市商汤科技开发有限公司 Image processing and network training method, device, equipment and storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102438083B1 (en) * 2020-01-07 2022-08-29 한국전자통신연구원 SYSTEM AND METHOD FOR recognizing INFORMATION from vehicle license plate
KR102419698B1 (en) * 2020-05-29 2022-07-12 서울과학기술대학교 산학협력단 Device and method for recognizing information on vehicle registration plate of object

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373962B1 (en) * 1998-04-24 2002-04-16 Ume Tech Yugen Kaisha License plate information reader device for motor vehicles
JP2009087087A (en) * 2007-09-28 2009-04-23 Toshiba Corp License plate information processor and license plate information processing method
US20130279758A1 (en) * 2012-04-23 2013-10-24 Xerox Corporation Method and system for robust tilt adjustment and cropping of license plate images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673338B (en) * 2009-10-09 2011-11-16 南京树声科技有限公司 Fuzzy license plate identification method based on multi-angle projection
CN102708691B (en) * 2011-12-26 2015-04-22 南京信息工程大学 False license plate identification method based on matching between license plate and automobile type
CN102867418B (en) * 2012-09-14 2014-10-22 浙江宇视科技有限公司 Method and device for judging license plate identification accuracy
CN103646545B (en) * 2013-11-15 2016-06-29 天津天地伟业数码科技有限公司 Infrared bayonet socket video capture realize method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373962B1 (en) * 1998-04-24 2002-04-16 Ume Tech Yugen Kaisha License plate information reader device for motor vehicles
JP2009087087A (en) * 2007-09-28 2009-04-23 Toshiba Corp License plate information processor and license plate information processing method
US20130279758A1 (en) * 2012-04-23 2013-10-24 Xerox Corporation Method and system for robust tilt adjustment and cropping of license plate images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723402A (en) * 2021-08-24 2021-11-30 北京市商汤科技开发有限公司 Image processing and network training method, device, equipment and storage medium

Also Published As

Publication number Publication date
KR20150125463A (en) 2015-11-09
CN106462770A (en) 2017-02-22

Similar Documents

Publication Publication Date Title
CN103577817B (en) Form recognition method and apparatus
CN109409272B (en) Cable acceptance system and method based on machine vision
CN108091141B (en) License plate recognition system
CN110766033B (en) Image processing method, image processing device, electronic equipment and storage medium
CN106886774A (en) The method and apparatus for recognizing ID card information
WO2019164074A1 (en) Fine dust analysis method, and apparatus for performing same
WO2016060453A1 (en) License plate number input device, and method therefor
WO2015167202A1 (en) Apparatus and method for generating photographic image of license plate number, and license plate number reading system using same
WO2014035103A1 (en) Apparatus and method for monitoring object from captured image
WO2017014391A1 (en) Method of confirming authenticity of object by using identification code image, and device for carrying out same
CN108416878A (en) Car plate method of calibration, device and computer readable storage medium
CN108765935A (en) A kind of pedestrian running red light is broken rules and regulations processing system and its method
WO2016208870A1 (en) Device for reading vehicle license plate number and method therefor
CN109670298A (en) A kind of register method and system for identification
CN101847274A (en) Security inspection door used for court
CN110390316A (en) Data processing system and device based on recognition of face
CN108319956A (en) The automatic identification equipment and system of certificate information
KR20060073554A (en) System for automatic recognizing and searching licence number of vehicles for on-vehiclestype
WO2022255786A1 (en) System and method for coping with counterfeit of vehicle license plate
WO2021118047A1 (en) Method and apparatus for evaluating accident fault in accident image by using deep learning
CN108460880A (en) Fingerprint recognition intelligent gate based on cloud computing, system, method
KR101055321B1 (en) Car monitoring device, Car information transmitting device and system using thereof
WO2021242048A1 (en) Method and apparatus for recognizing license plate information about object
CN114639130A (en) Visible light living body detection method
WO2019107644A1 (en) Lotto lottery marking verification method and device which use augmented reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15786719

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15786719

Country of ref document: EP

Kind code of ref document: A1