KR20220049864A - Method of recognizing license number of vehicle based on angle of recognized license plate - Google Patents
Method of recognizing license number of vehicle based on angle of recognized license plate Download PDFInfo
- Publication number
- KR20220049864A KR20220049864A KR1020200133518A KR20200133518A KR20220049864A KR 20220049864 A KR20220049864 A KR 20220049864A KR 1020200133518 A KR1020200133518 A KR 1020200133518A KR 20200133518 A KR20200133518 A KR 20200133518A KR 20220049864 A KR20220049864 A KR 20220049864A
- Authority
- KR
- South Korea
- Prior art keywords
- license plate
- vehicle
- recognized
- determining
- reliability
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 52
- 239000011159 matrix material Substances 0.000 description 26
- 230000009466 transformation Effects 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000012937 correction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G06K9/6217—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Abstract
Description
본 발명은 인식한 번호판의 각도에 기초하여 차량의 번호를 인식하는 방법에 관한 것이다.The present invention relates to a method of recognizing a vehicle number based on the recognized angle of the license plate.
종래의 차량 출입 제어 시스템에서는 차단기로 접근하는 차량이 땅에 매설된 루프 코일을 통과하면, 카메라가 차량을 촬영하고, 촬영한 이미지를 제어 장치로 전송하면, 제어 장치는 카메라로부터 수신한 이미지로부터 차량의 번호판을 인식하였다.In the conventional vehicle access control system, when the vehicle approaching the breaker passes through the roof coil buried in the ground, the camera photographs the vehicle and transmits the photographed image to the control device, the control device receives the vehicle from the image received from the camera. of the license plate was recognized.
다만, 카메라가 설치된 위치나 차량이 접근하는 방향에 따라, 카메라가 차량의 정면을 촬영하지 못하는 경우, 카메라는 기울어진 번호판을 촬영하게 되는데, 이와 같이, 제어 장치가 기울어진 번호판으로부터 차량의 번호를 인식하는 성능이 저하되는 문제가 있다.However, depending on the location where the camera is installed or the direction in which the vehicle approaches, when the camera cannot photograph the front of the vehicle, the camera takes a picture of an inclined license plate. There is a problem that the recognition performance is reduced.
본 발명이 해결하고자 하는 과제는 전술한 문제를 해결하기 위하여, 차량의 번호판이 기울어진 각도에 따라, 인식한 번호에 가중치를 부여하여, 차량의 차량 번호를 인식하는 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide a method for recognizing a vehicle number of a vehicle by giving a weight to the recognized number according to an angle at which the license plate of the vehicle is inclined in order to solve the above problem.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved by the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.
본 발명의 일 실시 예에 따른 차량 번호 인식 장치에 의해 수행되는 차량의 차량 번호를 인식하는 방법은, 기 획득된 상기 차량의 번호판을 촬영한 이미지 내에서, 상기 번호판을 인식하는 단계; 상기 인식된 번호판의 크기에 따라, 상기 인식된 번호판의 기 결정된 템플릿의 크기를 리사이징(resizing)하는 단계; 상기 인식된 번호판과 상기 리사이징된 템플릿을 비교하여, 상기 인식된 번호판으로부터 기 인식된 번호의 신뢰도를 결정하는 단계; 및 상기 신뢰도에 기초하여, 상기 번호를 상기 차량의 차량 번호로 결정하는 단계를 포함할 수 있다.A method of recognizing a vehicle number of a vehicle performed by a vehicle number recognition apparatus according to an embodiment of the present invention includes: recognizing the license plate in an image obtained by photographing the license plate of the vehicle; Resizing (resizing) the size of a predetermined template of the recognized license plate according to the size of the recognized license plate; Comparing the recognized license plate and the resized template, determining the reliability of the previously recognized number from the recognized license plate; And based on the reliability, it may include the step of determining the number as the vehicle number of the vehicle.
상기 방법은, 기 설정된 변환 알고리즘에 기초하여, 상기 인식된 번호판의 형상을 기 설정된 타겟 형상으로 정렬하는 단계; 상기 정렬된 번호판에 포함된 픽셀들 각각의 색상 값을 결정하는 단계; 및 상기 정렬된 번호판에 포함된 픽셀들 전체의 개수와 제1 색상 값 이하의 색상 값을 갖는 픽셀들의 개수를 비교하여, 상기 정렬된 번호판에 포함된 픽셀들 중에서 제1 색상 값을 갖는 픽셀들의 색상 값을 정규화하는 단계를 더 포함할 수 있다.The method, based on a preset conversion algorithm, aligning the shape of the recognized license plate to a preset target shape; determining a color value of each of the pixels included in the aligned license plate; And by comparing the number of pixels having a color value less than or equal to the first color value with the total number of pixels included in the aligned license plate, the color of pixels having a first color value among the pixels included in the aligned license plate Normalizing the values may be further included.
상기 방법은, 상기 정규화된 색상 값을 소정의 임계 값과 비교하여, 상기 정규화된 색상 값을 이진화하는 단계; 소정의 기준에 기초하여, 상기 색상 값이 이진화된 번호판에 포함된 픽셀들을 복수의 그룹들로 구분하는 단계; 상기 복수의 그룹들 각각에 대해, 그룹에 포함된 픽셀들의 이진화된 색상 값의 합을 결정하는 단계; 및 상기 이진화된 색상 값의 합이 소정의 값 이상인 그룹들의 분포에 기초하여, 상기 인식된 번호판의 상기 템플릿을 결정하는 단계를 더 포함할 수 있다.The method comprises: binarizing the normalized color value by comparing the normalized color value with a predetermined threshold value; classifying the pixels included in the license plate in which the color value is binarized into a plurality of groups based on a predetermined criterion; determining, for each of the plurality of groups, a sum of binarized color values of pixels included in the group; and determining the template of the recognized license plate based on the distribution of groups in which the sum of the binarized color values is equal to or greater than a predetermined value.
상기 인식된 번호판의 신뢰도를 결정하는 단계는, 상기 이미지를 3차원 공간 상에 표현한 3차원 좌표에, 상기 인식된 번호판과 상기 리사이징된 템플릿을 위치시키는 단계; 및 상기 인식된 번호판과, 소정의 기준 위치에 위치한 상기 리사이징된 템플릿 사이의 각도에 기초하여, 상기 인식된 번호판의 신뢰도를 결정하는 단계를 포함할 수 있다.Determining the reliability of the recognized license plate, positioning the recognized license plate and the resized template in three-dimensional coordinates expressing the image in a three-dimensional space; And based on the angle between the recognized license plate and the resized template located at a predetermined reference position, it may include the step of determining the reliability of the recognized license plate.
상기 번호판을 인식하는 단계 및 상기 인식된 번호판의 크기를 리사이징하는 단계는, 프레임 단위로 수행되고, 상기 인식된 번호판의 신뢰도를 결정하는 단계는, 상기 프레임 단위로, 상기 이미지를 3차원 공간 상에 표현한 3차원 좌표에 표현된 상기 인식된 번호판과 상기 리사이징된 템플릿 사이의 각도를 계산하는 단계; 및 상기 프레임 단위로 계산된 상기 인식된 번호판과 상기 리사이징된 템플릿 사이의 각도에 기초하여, 상기 프레임 단위로 인식된 번호마다 상기 신뢰도를 결정하는 단계를 포함할 수 있다.The step of recognizing the license plate and resizing the size of the recognized license plate are performed in units of frames, and the step of determining the reliability of the recognized license plate is, in units of the frame, the image on a three-dimensional space calculating an angle between the recognized license plate and the resized template expressed in the expressed three-dimensional coordinates; And based on the angle between the recognized number plate and the resized template calculated in units of the frame, it may include the step of determining the reliability for each number recognized in units of the frame.
상기 차량의 차량 번호로 결정하는 단계는, 기 설정된 프레임들 동안, 상기 인식된 번호 별로 상기 신뢰도를 누적하는 단계; 및 누적된 신뢰도가 가장 큰 번호를 상기 차량 번호로 결정하는 단계를 포함할 수 있다.The determining of the vehicle number of the vehicle may include accumulating the reliability for each recognized number during preset frames; and determining a number having the greatest accumulated reliability as the vehicle number.
본 발명의 다른 실시예에 따른 차량 번호 인식 장치는, 차량 번호 인식 프로그램을 저장하는 메모리; 및 상기 차량 번호 인식 프로그램을 실행하여, 기 획득된 상기 차량의 번호판을 촬영한 이미지 내에서, 상기 번호판을 인식하고, 상기 인식된 번호판의 크기에 따라, 상기 인식된 번호판의 기 결정된 템플릿의 크기를 리사이징하고, 상기 인식된 번호판과 상기 리사이징된 템플릿을 비교하여, 상기 인식된 번호판으로부터 기 인식된 번호의 신뢰도를 결정하고, 상기 신뢰도에 기초하여, 상기 번호를 상기 차량의 차량 번호로 결정하는 프로세서를 포함할 수 있다.Vehicle number recognition apparatus according to another embodiment of the present invention, a memory for storing the vehicle number recognition program; And by executing the license plate recognition program, in the previously acquired image of the license plate of the vehicle, the license plate is recognized, and according to the size of the recognized license plate, the size of a predetermined template of the recognized license plate Resizing, comparing the recognized license plate with the resized template, determining the reliability of the number recognized from the recognized license plate, and based on the reliability, a processor for determining the number as the vehicle number of the vehicle may include
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 기 획득된 상기 차량의 번호판을 촬영한 이미지 내에서, 상기 번호판을 인식하는 단계; 상기 인식된 번호판의 크기에 따라, 상기 인식된 번호판의 기 결정된 템플릿의 크기를 리사이징(resizing)하는 단계; 상기 인식된 번호판과 상기 리사이징된 템플릿을 비교하여, 상기 인식된 번호판으로부터 기 인식된 번호의 신뢰도를 결정하는 단계; 및 상기 신뢰도에 기초하여, 상기 번호를 상기 차량의 차량 번호로 결정하는 단계를 포함하는, 차량 번호 인식 장치에 의해 수행되는 차량의 차량 번호를 인식하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.A computer-readable recording medium storing a computer program according to another embodiment of the present invention comprises: recognizing the license plate in the previously acquired image of the license plate of the vehicle; Resizing (resizing) the size of a predetermined template of the recognized license plate according to the size of the recognized license plate; Comparing the recognized license plate and the resized template, determining the reliability of the previously recognized number from the recognized license plate; And based on the reliability, comprising instructions for causing the processor to perform a method of recognizing a vehicle number of a vehicle performed by a vehicle number recognition device comprising the step of determining the number as the vehicle number of the vehicle can
본 발명의 실시예에 의하면, 차량의 번호판이 기울어진 각도에 따라, 인식한 번호에 가중치를 부여함으로써, 차량 번호를 인식하는 성능을 향상시킬 수 있다.According to an embodiment of the present invention, by giving a weight to the recognized number according to the angle at which the license plate of the vehicle is inclined, it is possible to improve the performance of recognizing the vehicle number.
도 1은 본 발명의 일 실시예에 따른 차량 번호 인식 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 번호 인식 장치를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량 번호 인식 모델의 기능을 관념적으로 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 번호판 각도 계산부의 기능을 관념적으로 나타내는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 번호판 검출부를 학습시키는 방법을 나타내는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 번호판 꼭지점 검출부를 학습시키는 방법을 나타내는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 차량 번호 인식부를 학습시키는 방법을 나타내는 블록도이다.
도 8은 본 발명의 일 실시예에 따라 번호판의 꼭지점이 검출된 차량의 번호판 및 정렬된 차량의 번호판을 나타내는 일 예시이다.
도 9는 본 발명의 일 실시예에 따른 히스토그램 균등화부, 이미지 이진화부 및 번호판 종류 결정부에 의해 번호판의 종류가 결정되는 과정을 나타내는 일 예시이다.
도 10은 본 발명의 일 실시예에 따른 번호판 기울기 보정부에 의해 차량의 번호판이 회전되는 일 예시를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 템플릿 리사이징부에 의해 템플릿의 크기가 리사이징되는 일 예시를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 각도 계산부가 차량의 번호판이 기울어진 각도를 계산하는 방법을 나타내는 일 예시이다.
도 13은 본 발명의 일 실시예에 따라 차량의 번호를 인식하는 방법을 나타내는 흐름도이다.1 is a view showing a vehicle number recognition apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating an apparatus for recognizing a vehicle number according to an embodiment of the present invention.
Figure 3 is a block diagram conceptually showing the function of the license plate recognition model according to an embodiment of the present invention.
Figure 4 is a block diagram conceptually showing the function of the license plate angle calculation unit according to an embodiment of the present invention.
5 is a block diagram illustrating a method for learning a license plate detection unit according to an embodiment of the present invention.
6 is a block diagram illustrating a method for learning a license plate vertex detection unit according to an embodiment of the present invention.
7 is a block diagram illustrating a method for learning a vehicle number recognition unit according to an embodiment of the present invention.
8 is an example showing the license plate of the vehicle in which the vertex of the license plate is detected and the license plate of the aligned vehicle according to an embodiment of the present invention.
9 is an example illustrating a process in which the type of the license plate is determined by the histogram equalizer, the image binarization unit, and the license plate type determiner according to an embodiment of the present invention.
10 shows an example in which the license plate of the vehicle is rotated by the license plate inclination corrector according to an embodiment of the present invention.
11 illustrates an example in which the size of a template is resized by a template resizing unit according to an embodiment of the present invention.
12 is an example illustrating a method for calculating an angle at which the license plate of a vehicle is inclined by an angle calculator according to an embodiment of the present invention.
13 is a flowchart illustrating a method of recognizing a vehicle number according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.
도 1은 본 발명의 일 실시예에 따른 차량 번호 인식 장치를 나타내는 도면이고, 도 2는 본 발명의 일 실시예에 따른 차량 번호 인식 장치를 나타내는 블록도이다.1 is a view showing a vehicle number recognition apparatus according to an embodiment of the present invention, Figure 2 is a block diagram showing a vehicle number recognition apparatus according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 차량 번호 인식 장치(100)는 프로세서(110), 카메라(120), 메모리(130) 및 송수신기(140)를 포함할 수 있다.1 and 2 , the vehicle
프로세서(110)는 차량 번호 인식 장치(100)의 기능을 전반적으로 제어할 수 있다.The
카메라(120)는 차량 번호 인식 장치(100)로 접근하는 차량(V)을 촬영하고, 차량(V)에 대한 이미지를 생성할 수 있다. 본 명세서에서는, 차량(V)이 번호판 인식 장치(100)로 접근하는 것을 전제로 설명하지만, 이에 한정되지 않는다. 즉, 차량 번호 인식 장치(100)가 설치된 위치, 차량(V)의 진입 방향, 차량 번호 인식 장치(100)가 차량(V)의 번호판을 인식하고자 하는 목적 등에 따라, 차량(V)은 차량 번호 인식 장치(100)가 아닌 다른 곳(예컨대, 주차 차단기 등)을 향해 이동할 수 있으며, 차량 번호 인식 장치(100)는 이동하는 차량(V)의 전면, 후면 등을 촬영하여, 차량(V)에 대한 이미지를 생성할 수 있다.The
메모리(130)는 차량 번호 인식 모델(200) 및 차량 번호 인식 모델(200)의 실행에 필요한 정보를 저장할 수 있다.The
본 명세서에서 차량 번호 인식 모델(200)은 차량 번호 인식 장치(100)의 기능을 수행하기 위한 소프트웨어(컴퓨터 프로그램 코드) 또는 그의 집합을 의미하는 것으로서, 일련의 명령어들에 의해 구현될 수 있다.In the present specification, the vehicle
프로세서(110)는 차량 번호 인식 모델(200)을 실행하기 위해 메모리(130)에 저장된 차량 번호 인식 모델(200) 및 차량 번호 인식 모델(200)의 실행에 필요한 정보를 로드할 수 있다.The
프로세서(110)는, 차량 번호 인식 모델(200)을 실행하여, 차량(V)을 촬영하여 차량(V)의 번호판을 검출하고, 검출한 번호판을 하나 이상의 프레임 동안 추적하여 동일성을 확인하고, 검출한 번호판의 꼭지점들을 검출하고, 검출한 꼭지점들을 변환 매트릭스에 적용하여 번호판의 형상을 타겟 형상으로 정렬하고, 형상이 정렬된 번호판에서 차량(V)의 번호를 인식하고, 정렬 전 번호판의 각도를 계산하고, 계산된 번호판의 각도에 기초하여, 차량(V)의 번호에 대한 최종 판단을 수행할 수 있다.The
프로세서(110)는 차량 번호 인식 모델(200)을 실행하기 위하여 카메라(120), 메모리(130) 및 송수신기(140) 중에서 적어도 하나를 제어할 수 있다. 차량 번호 인식 모델(200)의 기능은 도 2를 통해 보다 자세하게 설명하기로 한다.The
송수신기(140)는 차량 번호 인식 모델(200)을 실행하여 재정렬한 차량(V)의 번호판을 다른 장치(미도시)로 전송할 수 있다. 예컨대, 상기 다른 장치는 주차 차단기, 차량 번호판 관리 서버, 차량 주차 관리 서버 등일 수 있으나, 이에 한정되지 않는다.The
본 명세서에서는, 설명의 편의상, 차량 번호 인식 장치(100)가 차량(V)을 촬영하는 카메라를 포함하는 것을 전제로 설명하지만, 이에 한정되지 않는다. 즉, 실시예에 따라, 차량 번호 인식 장치(100)는 카메라를 포함하지 않는 주차 차단기, 차량 번호판 관리 서버, 차량 주차 관리 서버 등일 수 있으며, 이와 같은 경우, 차량 번호 인식 장치(100)는 카메라로부터 차량(V)을 촬영한 이미지를 수신하고, 수신한 이미지를 이용하여 차량 번호 인식 모델(200)의 기능을 수행할 수 있다.In the present specification, for convenience of description, it is assumed that the vehicle
도 3은 본 발명의 일 실시예에 따른 차량 번호 인식 모델의 기능을 관념적으로 나타내는 블록도이다.Figure 3 is a block diagram conceptually showing the function of the license plate recognition model according to an embodiment of the present invention.
도 1 내지 도 3을 참조하면, 차량 번호 인식 모델(200)은 영상 수신부(210), 번호판 검출부(220), 번호판 추적부(230), 번호판 꼭지점 검출부(240), 번호판 정렬부(250), 차량 번호 인식부(260), 번호판 각도 계산부(270) 및 최종 판단부(280)를 포함할 수 있다.1 to 3, the vehicle
도 3에 도시된 영상 수신부(210), 번호판 검출부(220), 번호판 추적부(230), 번호판 꼭지점 검출부(240), 번호판 정렬부(250), 차량 번호 인식부(260), 번호판 각도 계산부(270) 및 최종 판단부(280)는 차량 번호 인식 모델(200)의 기능을 쉽게 설명하기 위하여 차량 번호 인식 모델(200)의 기능을 개념적으로 나눈 것으로서, 이에 한정되지 않는다. 즉, 실시예들에 따라, 영상 수신부(210), 번호판 검출부(220), 번호판 추적부(230), 번호판 꼭지점 검출부(240), 번호판 정렬부(250), 차량 번호 인식부(260), 번호판 각도 계산부(270) 및 최종 판단부(280)의 기능은 병합/분리 가능하며, 하나 이상의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.3, the
영상 수신부(210)는 카메라(120)를 이용하여 차량(V)을 촬영한 이미지를 수신할 수 있다. 보다 자세하게는, 카메라(120)는 차량(V)에 대한 영상을 촬영할 수 있고, 영상 수신부(210)는 카메라(120)로부터 차량(V)에 대한 영상을 구성하는 이미지를 프레임마다 수신할 수 있다.The
만약, 차량(V)을 촬영한 이미지가 차량(V)의 번호판을 인식하기에 부적합한 경우, 영상 수신부(210)는 수신한 이미지를 리사이징(resizing)할 수 있다.If the image of the vehicle V is not suitable for recognizing the license plate of the vehicle V, the
또한, 실시예에 따라, 영상 수신부(210)는 카메라(120)를 이용하여 촬영한 차량(V)에 대한 이미지 또는 리사이징된 이미지를 회색조(greyscale) 이미지로 변경할 수 있다.Also, according to an embodiment, the
번호판 검출부(220)는 차량(V)에 대한 이미지(실시예에 따라, 회색조 이미지 또는 리사이징된 이미지)로부터 차량(V)의 번호판을 검출할 수 있다.The license
보다 자세하게는, 번호판 검출부(220)는 차량(V)에 대한 이미지로부터, 차량(V)의 번호판을 포함하는 관심 영역을 검출하고, 관심 영역에 대한 위치 정보를 생성할 수 있다. 실시예에 따라, 상기 관심 영역은 바운딩 박스(Bounding Box)일 수 있으며, 상기 위치 정보는 상기 관심 영역의 차량(V)에 대한 이미지 내에서의 (x, y) 좌표, 높이(height) 및 너비(width)를 포함할 수 있다.In more detail, the license
번호판 검출부(220)는 상기 관심 영역을 검출하기 위하여 컴퓨터 비전(Computer Vision), 인공 신경망 등을 이용할 수 있다.License
예컨대, 번호판 검출부(220)가 컴퓨터 비전을 이용하여 상기 관심 영역을 검출하는 경우, 상기 컴퓨터 비전은 상기 이미지 내에서 수평, 수직 성분의 에지를 검출하거나, 히스토그램을 추출하거나, 영상의 이진화 등의 방법을 통해 상기 관심 영역을 검출할 수 있다.For example, when the license
또한, 번호판 검출부(220)가 기 학습된 번호판 검출 신경망을 이용하여 상기 관심 영역을 검출하는 경우, 번호판 검출부(220)는 상기 번호판 검출 신경망에 차량(V)을 촬영한 이미지를 입력할 수 있고, 상기 번호판 검출 신경망이 상기 관심 영역에 대한 위치 정보를 출력함으로 인하여, 번호판 검출부(220)는 상기 관심 영역을 검출할 수 있다. 이때, 상기 번호판 검출 신경망은, 차량(V)에 대한 이미지를 입력 받으면, 상기 관심 영역을 출력하도록 기 학습된 인공 신경망일 수 있다. 상기 번호판 검출 신경망을 학습시키는 방법은 도 5를 통해 보다 자세히 설명하기로 한다.In addition, when the license
실시예에 따라, 번호판 검출부(220)는 상기 관심 영역을 검출한 신뢰도를 더 생성할 수 있다. 상기 신뢰도는 상기 관심 영역에 차량(V)의 번호판이 포함될 확률을 의미할 수 있다.According to an embodiment, the license
번호판 검출부(220)는, 상기 신뢰도에 따라, 상기 관심 영역에 대한 위치 정보의 출력 여부를 결정할 수 있다. 예컨대, 상기 신뢰도가 기 설정된 임계치(예컨대, 0.5) 이상(또는 초과)이면, 번호판 검출부(220)는 생성한 상기 관심 영역에 대한 위치 정보를 출력하고, 상기 신뢰도가 상기 임계치 미만(또는 이하)이면, 번호판 검출부(220)는 생성한 상기 관심 영역에 대한 위치 정보를 출력하지 않을 수 있다.The license
번호판 추적부(230)는 현재 프레임에서 검출된 관심 영역들 각각과 직전 프레임에서 검출된 관심 영역들 각각의 교차 영역(Intersection over Union, IoU) 값을 계산하고, 계산한 교차 영역 값에 기초하여, 직전 프레임에서 검출된 관심 영역들 중에서 현재 프레임에서 검출된 관심 영역들 각각과 동일한 관심 영역을 판단하고, 판단 결과, 관심 영역을 프레임 별로 추적한 트랙 정보를 생성할 수 있다.The license
보다 자세하게는, 현재 프레임에서 검출된 관심 영역들의 집합을 D={D0, D1, ..., Dj, j는 자연수}라 하고, 직전 프레임까지 추적된 관심 영역들을 포함하는 트랙 정보를 T={T0, T1, ..., Ti, i는 자연수}라 하면, 번호판 추적부(230)는 현재 프레임에서 검출된 관심 영역들을 직전 프레임까지 추적된 관심 영역들과 매칭시켜, 관심 영역들의 동일성을 추적할 수 있다.In more detail, let D={D 0 , D 1 , ..., D j , j be a natural number} for the set of regions of interest detected in the current frame, and track information including regions of interest tracked up to the previous frame If T = {T 0 , T 1 , ..., T i , i is a natural number}, the license
실시예에 따라, 번호판 추적부(230)는, 아래의 수학식 1을 이용하여, 현재 프레임에서 검출된 관심 영역과 직전 프레임까지 추적된 관심 영역의 교차 영역 값을 결정하고, 결정된 교차 영역 값에 기초하여, 직전 프레임까지 추적된 관심 영역들 중에서 현재 프레임에서 검출된 관심 영역들 각각에 매칭되는 관심 영역을 결정할 수 있다.According to the embodiment, the license
여기서, IoUn,m은 현재 프레임에서 검출된 관심 영역(Dn, 0≤n≤j)의 면적과 직전 프레임까지 추적된 관심 영역(Tm, 0≤m≤i)의 공통 면적(Dn∩Tm)과, 전체 면적(Dn∪Tm)의 비율을 나타내는 교차 영역 값을 의미할 수 있다.Here, IoU n,m is the area of the region of interest (D n , 0≤n≤j) detected in the current frame and the common area (D n ) of the region of interest (T m , 0≤m≤i) tracked up to the previous frame ∩ T m ) and the total area (D n ∪T m ) may mean an intersection region value representing a ratio.
즉, 번호판 추적부(230)는, 수학식 1을 이용하여, 현재 프레임에서 검출된 관심 영역들(D0, ..., Dj) 중 어느 하나의 관심 영역(예컨대, D0)과 직전 프레임까지 추적된 관심 영역들(T0, ..., Ti) 각각의 교차 영역 값(예컨대, IoU0,0, ..., IoU0,i)을 계산할 수 있다.That is, the license
계산한 교차 영역 값(예컨대, IoU0,0)이 기 설정된 임계 값 이상(초과)인 경우, 번호판 추적부(230)는 계산한 교차 영역 값에 대응되는 직전 프레임까지 추적된 관심 영역(T0)을 현재 프레임에서 검출된 관심 영역(D0)에 대한 매칭 후보로 설정할 수 있다.When the calculated intersection area value (eg, IoU 0,0 ) is equal to or greater than (exceeds) a preset threshold value, the license
현재 프레임에서 검출된 관심 영역들(D0, ..., Dj) 중 어느 하나의 관심 영역(예컨대, D0)에 대한 교차 영역 값을 모두 계산한 후, 번호판 추적부(230)는 설정된 매칭 후보들 중에서 교차 영역 값이 가장 큰 매칭 후보에 대응되는 직전 프레임까지 추적된 관심 영역(T0)을 상기 어느 하나의 관심 영역(D0)에 매칭시킬 수 있다.After calculating all the cross-region values for any one region of interest (eg, D 0 ) among the regions of interest (D 0 , ..., D j ) detected in the current frame, the license
번호판 추적부(230)는 위와 같은 동작을 현재 프레임에서 검출된 관심 영역들(D0, ..., Dj) 전부에 수행하여, 현재 프레임에서 검출된 관심 영역들(D0, ..., Dj) 각각을 매칭되는 트랙 정보(T0, ..., Ti)에 업데이트할 수 있다.The license
실시예에 따라, 현재 프레임에서 검출된 관심 영역들(D0, ..., Dj) 중에서 직전 프레임까지 추적된 트랙 정보(T0, ..., Ti) 어디에도 매칭되지 않는 관심 영역(예컨대, D1)이 있는 경우, 번호판 추적부(230)는 매칭되지 않는 관심 영역(D1)을 트랙 정보(T0, ..., Ti, Ti+1, 여기서, Ti+1은 D1에 대응됨)에 새롭게 추가할 수 있다.According to an embodiment, a region of interest ( ROI ) that does not match any of the track information (T 0 , ..., Ti ) tracked up to the previous frame among regions of interest (D 0 , ..., D j ) detected in the current frame For example, if there is D 1 ), the license
또한, 실시예에 따라, 직전 프레임까지 추적된 트랙 정보(T0, ..., Ti) 중에서 현재 프레임에서 검출된 관심 영역들(D0, ..., Dj) 어디에도 매칭되지 않은 트랙 정보(예컨대, T1)가 있는 경우, 번호판 추적부(230)는 매칭되지 않은 트랙 정보(T1)를 바로 삭제할 수도 있고, 기 설정된 프레임 개수만큼 매칭되지 않을 때 삭제할 수도 있다.In addition, according to an embodiment, a track that does not match any of the regions of interest (D 0 , ..., D j ) detected in the current frame among the track information (T 0 , ..., Ti ) tracked up to the previous frame If there is information (eg, T 1 ), the license
위와 같은 방식으로 업데이트된 트랙 정보는 복수의 관심 영역들 별로, 기 설정된 L개(여기서, L은 자연수)의 프레임 동안 추적된 정보를 포함할 수 있다. 여기서, 기 설정된 L개의 프레임이라 함은, 현재 프레임에서부터 (L-1)-번째 전까지 연속된 프레임을 의미할 수 있다.The track information updated in the above manner may include information tracked for L frames (here, L is a natural number) preset for each of the plurality of ROIs. Here, the preset L frames may mean continuous frames from the current frame to the (L-1)-th.
상기 트랙 정보는, 복수의 관심 영역 별로, 관심 영역 ID, 프레임 별 관심 영역의 위치 정보, 프레임 별 관심 영역에 대한 신뢰도, 프레임 별 번호판 인식 결과 및 프레임 별 번호판 각도를 포함할 수 있다.The track information may include, for each of a plurality of regions of interest, a region of interest ID, location information of the region of interest for each frame, reliability of the region of interest for each frame, a license plate recognition result for each frame, and a license plate angle for each frame.
즉, 상기 트랙 정보는 L개의 프레임 동안 추적된 정보를 포함하기 때문에, 관심 영역 별로 L개의 관심 영역의 위치 정보, 신뢰도, 번호판 인식결과 및 번호판 각도를 포함할 수 있다.That is, since the track information includes information tracked for L frames, it may include location information, reliability, license plate recognition result, and license plate angle of L ROIs for each ROI.
상기 트랙 정보는 최종 판단부(280)에서 차량(V)의 번호를 최종적으로 판단하는데 이용될 수 있다.The track information may be used to finally determine the number of the vehicle V in the
번호판 꼭지점 검출부(240)는 번호판 검출부(220)에서 생성한 관심 영역에 대한 위치 정보를 수신하고, 상기 관심 영역에 포함된 차량(V)의 번호판의 꼭지점들을 검출하고, 상기 꼭지점들의 위치 정보를 생성할 수 있다. 예컨대, 차량(V)의 번호판의 꼭지점들의 위치 정보는 네 개(좌상단, 우상단, 우하단, 및 좌하단)의 꼭지점들 각각의 차량(V)에 대한 이미지 내에서의 (x, y) 좌표 정보를 포함할 수 있다.License plate
실시예에 따라, 번호판 꼭지점 검출부(240)는, 상기 관심 영역의 위치 정보로부터 차량(V)의 번호판의 꼭지점들의 위치 정보를 생성하기 위해, 기 학습된 꼭지점 검출 신경망을 포함할 수 있다.According to an embodiment, the license plate
상기 꼭지점 검출 신경망은 상기 관심 영역의 위치 정보를 입력받으면, 상기 관심 영역에 포함된 차량(V)의 번호판의 꼭지점들의 위치 정보를 생성하도록 기 학습된 인공 신경망일 수 있다. 상기 꼭지점 검출 신경망을 학습시키는 방법은 도 6을 통해 보다 자세히 설명하기로 한다.The vertex detection neural network may be a pre-trained artificial neural network to generate position information of vertices of the license plate of the vehicle V included in the ROI when the position information of the ROI is received. A method of learning the vertex detection neural network will be described in more detail with reference to FIG. 6 .
번호판 정렬부(250)는, 차량(V)의 번호판이 보다 용이하게 인식될 수 있도록, 차량(V)의 형상을 재정렬하기 위한 변환 매트릭스를 결정하고, 결정된 변환 매트릭스에 기초하여 차량(V)의 형상을 기 설정된 타겟 형상(target shape)으로 정렬할 수 있다.The license
여기서, 상기 타겟 형상은 차량 번호 인식 장치(100)가 차량(V)의 번호판을 용이하게 인식하기 위해 기 설정된 형식(크기, 방향, 기울어짐 등)의 형상일 수 있으며, 예컨대, 상기 타겟 형상은 차량(V)의 번호판과 종류가 동일한 번호판 템플릿의 형상일 수 있다.Here, the target shape may be a shape of a preset format (size, direction, inclination, etc.) in order for the vehicle
상기 변환 매트릭스는 아래의 수학식 2와 같이 나타내어질 수 있다.The transformation matrix may be expressed as Equation 2 below.
변환 매트릭스(T)는 3×3 형태를 가질 수 있다. 이때, 실시예에 따라, 변환 매트릭스(T) 중에서 a(1, 1), b(1, 2), d(2, 1), 및 e(2, 2)는 검출된 차량(V)의 번호판의 회전(Rotation)(즉, 차량(V)의 번호판에 대한 위치 정보의 회전)과 관련된 성분일 수 있고, c(1, 3) 및 f(2, 3)는 검출된 차량(V)의 번호판의 평행 이동(translation)과 관련된 성분일 수 있고, g(3, 1) 및 h(3, 2)는 검출된 차량(V)의 번호판의 기울임(shearing)과 관련된 성분일 수 있고, 1(3, 3) (또는 a(1, 1), e(2, 2) 및 1(3, 3))는 크기 변환(scaling)과 관련된 성분일 수 있다.The transformation matrix T may have a 3×3 shape. At this time, according to the embodiment, a(1, 1), b(1, 2), d(2, 1), and e(2, 2) in the transformation matrix T are the license plate of the detected vehicle V may be a component related to the Rotation of (ie, rotation of position information with respect to the license plate of the vehicle V), and c(1, 3) and f(2, 3) are the detected license plate of the vehicle V may be a component related to the translation of , g(3, 1) and h(3, 2) may be a component related to the shearing of the license plate of the detected vehicle V, and 1(3) , 3) (or a(1, 1), e(2, 2) and 1(3, 3)) may be components related to scaling.
변환 매트릭스(T)에 포함된 성분들은 아래의 수학식 3 내지 수학식 6을 이용하여 결정될 수 있다.Components included in the transformation matrix T may be determined using Equations 3 to 6 below.
수학식 3에서, ui는 타겟 형상의 i-번째 꼭지점(i는 4 이하의 자연수)의 x 좌표를 나타내고, vi는 타겟 형상의 i-번째 꼭지점의 y 좌표를 나타내고, 
수학식 3에 기재된 타겟 형상의 i-번째 꼭지점의 위치 정보(ui, vi), 변환 매트릭스(T) 및 차량(V)의 번호판의 i-번째 꼭지점의 위치 정보(
상기 수학식 4의 i에 {1, 2, 3, 4}를 대입하고, 상기 수학식 3을 [a; b; c; d; e; f; g; h]에 대한 1×8 행렬로 나타내면, 타겟 형상의 i-번째 꼭지점의 위치 정보(ui, vi)는 아래의 수학식 5와 같이 나타내어질 수 있고, 따라서, 변환 매트릭스(T)는 수학식 6과 같이 나타내어질 수 있다.[a; b; c; d; e; f; g; h], the position information (u i , v i ) of the i-th vertex of the target shape can be expressed as in Equation 5 below, and, therefore, the transformation matrix T is It can be expressed as Equation 6.
즉, 수학식 5는 수학식 5의 A×T=b로 나타내어질 수 있으며, 이때, 수학식 6의 T는 변환 매트릭스를 1×8 행렬로 변환한 행렬이고, b는 타겟 형상의 i-번째 꼭지점의 위치 정보(ui, vi)를 1×8 행렬로 변환한 행렬이고, A는 변환 매트릭스(T)와 타겟 형상의 i-번째 꼭지점의 위치 정보(b)의 변환에 따라 생성된 행렬일 수 있다.That is, Equation 5 may be expressed as A×T=b of Equation 5, where T in Equation 6 is a matrix converted from a transform matrix into a 1×8 matrix, and b is the i-th of the target shape The vertex position information (u i , v i ) is a matrix transformed into a 1×8 matrix, and A is a matrix generated according to the transformation of the transformation matrix (T) and the position information (b) of the i-th vertex of the target shape can be
따라서, 결론적으로, 번호판 정렬부(250)는 상기 수학식 6의 A와 b를 이용하여 변환 매트릭스(T)를 결정할 수 있다.Therefore, in conclusion, the license
번호판 정렬부(250)는, 결정한 변환 매트릭스(T)를 이용하여, 차량(V)의 번호판을 타겟 형상에 매핑할 수 있다.The license
보다 자세하게는, 번호판 정렬부(250)는 아래의 수학식 7을 이용하여 차량(V)의 번호판을 타겟 형상에 매핑할 수 있다.In more detail, the license
즉, 번호판 정렬부(250)는 타겟 형상에 포함된 각 좌표에 변환 매트릭스의 역변환(T-1)을 적용함으로써, 차량(V)의 번호판에 포함된 좌표를 출력할 수 있다. 이를 통해, 번호판 정렬부(250)는 출력된 차량(V)의 번호판의 좌표를 변환 매트릭스의 역변환에 적용한 타겟 형상의 좌표와 대응시킬 수 있다.That is, the license
번호판 정렬부(250)는 차량(V)의 번호판 내의 각 좌표를, 대응되는 타겟 형상 내의 좌표로 이동(복사)시켜 차량(V)의 번호판을 타겟 형상에 매핑할 수 있으며, 이와 같은 매핑을 통해, 번호판 정렬부(250)는 차량(V)의 번호판의 형상을 타겟 형상으로 정렬한, 정렬된 번호판을 생성할 수 있다.The license
예컨대, 타겟 형상에 포함된 (1, 1) 좌표를 변환 매트릭스의 역변환(T-1)에 적용시키면 (2, 5)가 출력되고, 타겟 형상에 포함된 (2, 2) 좌표를 변환 매트릭스의 역변환(T-1)에 적용시키면 (3, 7)이 출력되는 경우, 번호판 정렬부(250)는 차량(V)의 번호판 중에서 (2, 5) 좌표의 색상 값을 타겟 형상의 (1, 1) 좌표로 이동시키고, 차량(V)의 번호판 중에서 (3, 7) 좌표의 색상 값을 타겟 형상의 (2, 2) 좌표로 이동시켜, 차량(V)의 정렬된 번호판을 생성할 수 있다.For example, when (1, 1) coordinates included in the target shape are applied to the inverse transform (T -1 ) of the transformation matrix, (2, 5) is output, and (2, 2) coordinates included in the target shape are converted into the transformation matrix When applied to the inverse transformation (T -1 ), when (3, 7) is output, the license
실시예에 따라, 번호판 정렬부(250)가 타겟 형상에 포함된 각 좌표를 변환 매트릭스의 역변환(T-1)에 적용하는 경우, 타겟 형상에 포함된 좌표들 중에서 일부는 관심 영역 중에서 차량(V)의 번호판 밖에 포함된 좌표에 대응될 수도 있다.According to the embodiment, when the license
즉, 타겟 형상은 차량(V)의 번호판 뿐만 아니라 차량(V)의 번호판 밖의 영역(즉, 마진(margin) 영역)도 포함할 수 있는데, 이는 카메라(120)가 차량(V)의 번호판을 촬영하는 각도에 따라 차량(V)의 번호판이 제대로 검출되지 않은 경우에도, 타겟 형상 내에 차량(V)의 번호판이 모두 포함될 수 있도록 하기 위함이다.That is, the target shape may include not only the license plate of the vehicle V, but also an area outside the license plate of the vehicle V (ie, a margin area), in which the
도 8을 더 참조하면, 도 8의 (a)는 번호판 꼭지점 검출부(240)에 의해 번호판의 꼭지점이 검출된 차량(V)의 번호판에 대한 이미지를 나타내고, 도 8의 (b)는 번호판 정렬부(250)가, 변환 매트릭스를 이용하여, 차량(V)의 번호판의 각 좌표를 타겟 형상의 각 좌표에 대응시켜 정렬한 차량(V)의 번호판에 대한 이미지를 나타낸다.Referring further to FIG. 8, (a) of FIG. 8 shows an image of the license plate of the vehicle V in which the vertex of the license plate is detected by the license plate
도 8의 (a)와 (b)을 살펴보면, 번호판 정렬부(250)가, 기울어진 채 촬영된 차량(V)의 번호판을, 사각형 형태의 타겟 형상으로 정렬함으로써, 차량 번호 인식부(260)에서 차량(V)의 번호판을 보다 용이하게 인식할 수 있다.Looking at (a) and (b) of Figure 8, the license
차량 번호 인식부(260)는 번호판 정렬부(250)에서 정렬한 차량(V)의 번호판에서 차량(V)의 번호를 인식하고, 인식한 차량(V)의 번호를 출력할 수 있다.The vehicle
실시예에 따라, 차량 번호 인식부(260)는, 정렬된 차량(V)의 번호판으로부터 차량(V)의 번호를 출력하기 위해, 기 학습된 번호 인식 신경망을 포함할 수 있다.According to an embodiment, the vehicle
상기 번호 인식 신경망은 정렬된 차량(V)의 번호판에 대한 이미지를 입력받으면, 차량(V)의 번호를 출력하도록 기 학습된 인공 신경망일 수 있다. 상기 번호 인식 신경망을 학습시키는 방법은 도 7을 통해 보다 자세히 설명하기로 한다.The number recognition neural network may be a pre-trained artificial neural network to output the number of the vehicle (V) when receiving an image of the license plate of the aligned vehicle (V). A method of learning the number recognition neural network will be described in more detail with reference to FIG. 7 .
번호판 각도 계산부(270)는 차량(V)을 촬영한 이미지 내에서 차량(V)의 번호판이 기울어진 각도를 계산할 수 있다.The license plate
차량(V)을 촬영한 이미지 내에서 차량(V)의 번호판이 기울어진 각도를 계산하지 않고 번호판을 인식할 경우, 차량(V)의 번호를 인식하는 성능이 저하될 수 있다. 따라서, 성능의 저하를 방지하기 위해, 번호판 각도 계산부(270)는 차량(V)을 촬영한 이미지 내에서 차량(V)의 번호판이 z축 방향으로 기울어진 각도를 계산할 수 있다.If the license plate is recognized without calculating the tilt angle of the license plate of the vehicle V in the image taken of the vehicle V, the performance of recognizing the number of the vehicle V may be deteriorated. Accordingly, in order to prevent degradation of performance, the license plate
여기서, 상기 z축이라 함은, 차량(V)을 촬영한 이미지의 좌우를 잇는 선을 x축, 차량(V)을 촬영한 이미지의 아래위를 잇는 선을 y축이라 할 때, 상기 x축과 상기 y축에 직각인 선으로서, 차량(V)을 촬영한 이미지 내에서 차량(V)의 번호판의 원근을 설명하기 위한 것일 수 있다.Here, the z-axis refers to the x-axis as the line connecting the left and right of the image of the vehicle V, and the y-axis as the line connecting the top and bottom of the image of the vehicle V, the x-axis and As a line perpendicular to the y-axis, it may be for explaining the perspective of the license plate of the vehicle (V) in the image taken of the vehicle (V).
도 4를 더 참조하면, 이를 수행하기 위해, 번호판 각도 계산부(270)는 히스토그램 균등화부(271), 이미지 이진화부(272), 번호판 종류 결정부(273), 번호판 기울기 보정부(274), 템플릿 리사이징부(275) 및 각도 계산부(276)를 포함할 수 있다.4, in order to perform this, the license plate
도 4에 도시된 히스토그램 균등화부(271), 이미지 이진화부(272), 번호판 종류 결정부(273), 번호판 기울기 보정부(274), 템플릿 리사이징부(275) 및 각도 계산부(276)는 번호판 각도 계산부(270)의 기능을 쉽게 설명하기 위하여 번호판 각도 계산부(270)의 기능을 개념적으로 나눈 것으로서, 히스토그램 균등화부(271), 이미지 이진화부(272), 번호판 종류 결정부(273), 번호판 기울기 보정부(274), 템플릿 리사이징부(275) 및 각도 계산부(276)는 번호판 각도 계산부(270)의 기능은 병합/분리 가능하며, 하나 이상의 프로그램에 포함된 일련의 명령어들로 구현될 수도 있다.The
우선, 히스토그램 균등화부(271), 이미지 이진화부(272) 및 번호판 종류 결정부(273)는 정렬된 차량(V)의 번호판으로부터, 차량(V)의 번호판의 종류를 결정할 수 있다.First, the
히스토그램 균등화부(271)는, 차량(V)의 번호판에 포함된 픽셀들의 색상 값을 스프레딩(spreading)하기 위해, 차량(V)의 번호판에 포함된 전체 픽셀 수와 차량(V)의 번호판에 포함된 전체 픽셀들의 색상 값 별 누적 수를 이용하여, 히스토그램 균등화를 수행할 수 있다.The
여기서, 픽셀들의 색상 값을 스프레딩한다는 것은 상대적으로 낮은 색상 값(즉, 어두운 픽셀)은 보다 낮게(즉, 보다 어둡게), 상대적으로 높은 색상 값(즉, 밝은 픽셀)은 보다 높게(즉, 보다 밝게) 보정하는 것을 의미할 수 있다.Here, spreading the color values of pixels means that relatively low color values (ie, dark pixels) are lower (ie, darker), and relatively high color values (ie, bright pixels) are higher (ie, more bright) can mean correcting.
또한, 여기서, 히스토그램 균등화부(271)가 히스토그램을 균등화하기 위해 입력받은 차량(V)의 번호판은 번호판 정렬부(250)에서 타겟 형상으로 정렬한 차량(V)의 번호판일 수 있다. 또한, 상기 히스토그램은, 차량(V)의 번호판에 대한 이미지 중에서 동일한 색상 값을 갖는 픽셀들의 수를 집계한 그래프를 의미하고, 상기 색상 값은 픽셀의 명도(intensity) 값을 의미할 수 있다.Also, here, the license plate of the vehicle V received by the
실시예에 따라, 히스토그램 균등화부(271)는 아래의 수학식 8을 이용하여, 히스토그램 균등화를 수행할 수 있다.According to an embodiment, the
여기서, i는 차량(V)의 번호판에 포함된 픽셀의 색상 값(여기서, i는 정수, 예컨대 0~255)을 의미하고, hist(i)는 동일한 색상 값(i)을 갖는 픽셀들의 수를 의미하고, sum(i)는 색상 값이 i 이하인 픽셀들의 수(즉, hist(i)의 누적 값)을 의미하고, N은 차량(V)의 번호판에 포함된 전체 픽셀들의 수를 의미하고, norm_intensity(i)는 히스토그램 균등화에 의해 정규화된 색상 값을 의미할 수 있다.Here, i means the color value of the pixel included in the license plate of the vehicle V (here, i is an integer, for example, 0 to 255), and hist(i) represents the number of pixels having the same color value (i). means, sum(i) means the number of pixels having a color value of i or less (that is, the cumulative value of hist(i)), N means the total number of pixels included in the license plate of the vehicle (V), norm_intensity(i) may mean a color value normalized by histogram equalization.
즉, 수학식 8을 살펴보면, 히스토그램 균등화부(271)는 색상 값의 최대 값(여기서, 255)을 차량(V)의 번호판에 포함된 전체 픽셀 수(N)로 나눈 값(255/N)에, 색상 값이 i 이하인 픽셀들의 수(sum(i))을 곱함으로써, 차량(V)의 번호판에 포함된 픽셀들의 색상 값들을 스프레딩(spreading)할 수 있다.That is, looking at Equation 8, the
차량(V)의 번호판에 포함된 픽셀들 중에서 색상 값이 가장 큰 픽셀들은 수학식 8에 의해 색상 값이 255로 변경될 수 있으며, 차량(V)의 번호판에 포함된 픽셀들 중에서 색상 값이 가장 작은 픽셀들의 색상 값은 0에 보다 가까워질 수 있다.Among the pixels included in the license plate of the vehicle V, the pixels having the largest color value may have a color value of 255 by Equation 8, and have the highest color value among pixels included in the license plate of the vehicle V. The color value of small pixels may be closer to zero.
예컨대, 도 9의 (a) 및 도 9의 (b)를 더 참조하면, 도 9의 (a)는 번호판 정렬부에서 생성한 정렬된 차량(V)의 번호판의 예시를 나타내고, 도 9의 (b)는 히스토그램 균등화부(271)에 의해 히스토그램 균등화가 수행된 차량(V)의 번호판의 예시를 나타낼 수 있다.For example, referring further to FIGS. 9 (a) and 9 (b), FIG. 9 (a) shows an example of the license plate of the aligned vehicle V generated by the license plate aligning unit, and in FIG. 9 ( b) may represent an example of the license plate of the vehicle V on which the histogram equalization is performed by the
도 9의 (a)에 도시된 바와 같이, 정렬된 제1 번호판(LP1a), 제2 번호판(LP2a) 및 제3 번호판(LP3a)은 어두워 번호판에서 차량(V)의 번호를 인식하기 어려울 수 있다.As shown in (a) of Figure 9, the aligned first license plate (LP1a), the second license plate (LP2a) and the third license plate (LP3a) are dark, it may be difficult to recognize the number of the vehicle (V) from the license plate .
따라서, 인식률을 높이기 위하여, 도 9의 (a)에 도시된 번호판들(LP1a, LP2a 및 LP3a)에 히스토그램 균등화를 수행할 수 있고, 그 결과, 도 9의 (b)에 도시된 바와 같이, 히스토그램 균등화를 수행한 제1 번호판(LP1b), 제2 번호판(LP2b) 및 제3 번호판(LP3b)은 도 9의 (a)에 도시된 번호판들(LP1a, LP2a 및 LP3a)에 비해 보다 선명해진 것을 확인할 수 있다.Therefore, in order to increase the recognition rate, histogram equalization may be performed on the license plates LP1a, LP2a and LP3a shown in FIG. The first license plate (LP1b), the second license plate (LP2b) and the third license plate (LP3b) that have been equalized are the license plates (LP1a, LP2a and LP3a) shown in FIG. can
이미지 이진화부(272)는 차량(V)의 번호판에서 차량의 번호와 배경을 보다 명확히 구분하기 위하여, 히스토그램 균등화부(271)에서 히스토그램 균등화(즉, 색상 값의 스프레딩)를 수행한 이후의 차량(V)의 번호판을이진화할 수 있다.The
이진화 전의 차량(V)의 번호판은 회색조(greyscale) 이미지로 나타내어지는데, 이미지 이진화부(272)는 이진화를 수행하여 차량(V)의 번호를 검게(즉, 차량(V)의 번호를 구성하는 픽셀의 색상 값을 가장 낮게(0)), 배경을 하얗게(즉, 배경을 구성하는 픽셀의 색상 값을 가장 높게(255)) 변경함으로써, 차량(V)의 번호판에서 차량의 번호와 배경을 보다 명확히 구분할 수 있다.The license plate of the vehicle V before binarization is represented by a grayscale image, and the
이미지 이진화부(272)는 아래의 수학식 9를 이용하여 차량(V)의 번호판에 대한 이진화를 수행할 수 있다.The
여기서, binary(i)는 차량(V)의 번호판에 포함된 픽셀(i)의 이진화 값을 의미하고, image(i)는 픽셀(i)의 색상 값을 의미할 수 있다.Here, binary(i) may mean a binary value of the pixel (i) included in the license plate of the vehicle (V), and image(i) may mean the color value of the pixel (i).
수학식 9에 의할 경우, 픽셀(i)의 색상 값(image(i))이 기 설정된 임계 값(thr)을 초과하는 경우(또는 이상인 경우), 이미지 이진화부(272)는 픽셀(i)의 이진화된 색상 값(binary(i))을 1로 설정할 수 있다.According to Equation 9, when the color value (image(i)) of the pixel (i) exceeds (or is equal to or greater than) the preset threshold value (thr), the
반면, 픽셀(i)의 색상 값(image(i))이 기 설정된 임계 값(thr) 이하인 경우(또는 미만인 경우), 이미지 이진화부(272)는 픽셀(i)의 이진화된 색상 값(binary(i))을 0으로 설정할 수 있다.On the other hand, when the color value (image(i)) of the pixel (i) is less than (or less than) the preset threshold value (thr), the
한편, 차량(V)의 번호판의 종류에 따라, 차량(V)의 번호가 배경보다 짙은(검은) 번호판(예컨대, 신형 번호판)이 있고, 차량(V)의 번호가 배경보다 옅은(하얀) 번호판(예컨대, 구형 번호판)이 있을 수 있다.On the other hand, depending on the type of license plate of vehicle V, there is a license plate with a darker (black) number than the background (eg, a new license plate), and the number of vehicle V is lighter than the background (white) license plate (eg, old license plates).
차량(V)의 번호가 배경보다 옅은(하얀) 번호판에 이진화를 수행할 경우, 차량(V)의 번호가 배경보다 짙은(검은) 번호판에 이진화를 수행할 경우와는 결과가 정반대로 나올 수 있다.When binarization is performed on a license plate with a lighter (white) number than the background of the vehicle (V), the result can be reversed from the case of performing binarization on a license plate with a darker (black) number than the background of the vehicle (V). .
따라서, 이진화의 결과가 차량(V)의 번호판의 종류에 관계없이 도출될 수 있도록, 이미지 이진화부(272)는 수학식 9를 이용하여 계산한 binary(i)을 수학식 10에 적용함으로써, 최종 결과인 이진화 이미지를 생성할 수 있다.Therefore, the
여기서, binary_final(i)는 이진화 값(binary(i))에 차량(V)의 번호판의 종류를 반영하여 결정한 최종 이진화 값을 의미할 수 있다.Here, binary_final(i) may mean a final binary value determined by reflecting the type of the license plate of the vehicle (V) in the binary value (binary(i)).
즉, 이미지 이진화부(272)는 번호판 내의 전체 픽셀들의 이진화된 색상 값(binary)의 합과 번호판 내의 전체 픽셀의 수의 비가 0.5 미만(또는 이하)인 경우, 이미지 이진화부(272)는 차량(V)의 번호판이, 번호가 배경보다 옅은(하얀) 번호판이라고 판단하고, 각 픽셀(i)의 이진화 값(binary(i))을 반전시켜 이진화 이미지의 각 픽셀(i)의 최종 이진화 값(binary_final(i))을 결정하고, 최종 이진화 값(binary_final(i))에 기초하여 이진화 이미지를 생성할 수 있다.That is, when the ratio of the sum of the binarized color values (binaries) of all pixels in the license plate to the total number of pixels in the license plate is less than 0.5 (or less), the
반면, 이미지 이진화부(272)는 번호판 내의 전체 픽셀들의 이진화된 색상 값(binary)의 합과 번호판 내의 전체 픽셀의 수의 비가 0.5 이상(또는 초과)인 경우, 이미지 이진화부(272)는 차량(V)의 번호판이, 번호가 배경보다 짙은(검은) 번호판이라고 판단하고, 이진화 값(binary(i))을 최종 이진화 값(binary_final(i))으로 결정하고, 최종 이진화 값(binary_final(i))에 기초하여 이진화 이미지를 생성할 수 있다.On the other hand, when the ratio of the sum of the binarized color values (binaries) of all pixels in the license plate to the total number of pixels in the license plate is 0.5 or more (or more), the
예컨대, 도 9의 (c)를 더 참조하면, 도 9의 (c)는 이미지 이진화부에서 생성한, 이진화된 차량(V)의 번호판의 예시를 나타낼 수 있다.For example, referring further to FIG. 9(c), FIG. 9(c) may show an example of the license plate of the binarized vehicle V generated by the image binarization unit.
도 9의 (b)에 도시된 바와 같이, 히스토그램 균등화된 번호판들(LP1b, LP2b 및 LP3b)은 회색조 이미지로서, 번호판의 인식률을 보다 높이기 위하여, 히스토그램 균등화된 번호판들(LP1b, LP2b 및 LP3b)에 이미지 이진화를 수행할 필요가 있다.As shown in (b) of Figure 9, histogram equalized license plates (LP1b, LP2b and LP3b) are grayscale images, in order to further increase the recognition rate of the license plate, histogram equalized license plates (LP1b, LP2b and LP3b) You need to perform image binarization.
따라서, 도 9의 (c)에 도시된 바와 같이, 히스토그램 균등화된 제1 번호판 (LP1b) 및 제2 번호판(LP2b)을 이진화함으로써, 이진화된 제1 번호판(LP1c) 및 제2 번호판(LP2c)에서는 번호와 배경의 색상 차이가 보다 명확함을 확인할 수 있다.Therefore, by binarizing the histogram equalized first license plate (LP1b) and the second license plate (LP2b), as shown in (c) of Figure 9, the binarized first license plate (LP1c) and the second license plate (LP2c) It can be seen that the color difference between the number and the background is more clear.
또한, 히스토그램 균등화된 제3 번호판 (LP3b)은 제1 번호판 (LP1b) 및 제2 번호판(LP2b)와는 달리, 번호가 흰색으로, 배경이 짙은 색으로 구현되어 있다. 따라서, 이미지 이진화부(272)는, 수학식 10을 이용하여, 제3 번호판 (LP3b)의 이진화 값을 역전시킴으로써, 이진화된 제3 번호판(LP3c)을 제1 번호판(LP1c) 및 제2 번호판(LP2c)과 동일하게 생성할 수 있다.In addition, the histogram equalized third license plate (LP3b) is different from the first license plate (LP1b) and the second license plate (LP2b), the number is white, the background is implemented in a dark color. Therefore, the
차량의 번호판의 종류 별로, 번호판의 크기, 번호판 내 번호의 위치, 크기, 개수 등이 상이할 수 있다. 따라서, 차량(V)의 번호판이 기울어진 각도를 구하는 기준이 되는 번호판의 종류를 결정하기 위하여, 번호판 종류 결정부(273)는 이진화 이미지에 포함된 각 픽셀의 이진화 값의 분포에 기초하여, 차량(V)의 번호판의 종류를 결정할 수 있다.Depending on the type of license plate of the vehicle, the size of the license plate, the position, size, number, etc. of the number in the license plate may be different. Therefore, in order to determine the type of the license plate as a reference for obtaining the inclination angle of the license plate of the vehicle (V), the license plate
보다 자세하게는, 번호판 종류 결정부(273)는 이진화 이미지에 포함된 픽셀들을 y 값 별로 그룹화하고, 그룹 별로 계산한 픽셀들의 이진화 값의 합에 기초하여, 차량(V)의 번호판의 종류를 결정할 수 있다.In more detail, the license plate
또한, 실시예에 따라, 차량(V)의 번호판의 y 값들 중에서 차량의 번호가 존재하는 y 값들과, 번호가 존재하지 않는 y 값들을 명확히 구분하기 위하여, 번호판 종류 결정부(273)는, 하나의 그룹에 포함된 픽셀들의 이진화 값의 합이 기 설정된 임계 값보다 낮은 경우, 해당 그룹에 포함된 픽셀들의 이진화 값의 합을 0에 가까운 소정의 값으로 변경할 수 있다.In addition, according to the embodiment, in order to clearly distinguish between y values in which the number of the vehicle exists and y values in which the number does not exist among the y values of the license plate of the vehicle V, the license plate
예컨대, 도 9의 (c)에 도시된 바와 같이, 이진화된 제1 번호판(LP1c)의 y 값을 기준으로 히스토그램을 구해보면, 번호와 번호판의 상면 사이, 및 번호와 번호판의 하면 사이에 위치하는 픽셀들은 모두 흰색을 나타내기 때문에, 도 9의 (d)에 도시된 바와 같이, 제1 그래프(HIST1)에서, 번호와 번호판의 상면 사이, 및 번호와 번호판 하면 사이에 해당하는 y 값에서만 이진화 값의 합이 높은 것을 확인할 수 있다.For example, as shown in Figure 9 (c), when obtaining a histogram based on the y value of the first binarized license plate (LP1c), it is located between the number and the upper surface of the license plate, and between the number and the lower surface of the license plate. Since the pixels all represent white, as shown in FIG. 9( d ), in the first graph HIST1 , only the y value corresponding to between the number and the upper surface of the license plate and between the number and the lower surface of the license plate is a binarized value. It can be seen that the sum of
또한, 제1 그래프(HIST1)에서 번호에 해당하는 y 값들에도 흰색인 픽셀이 존재하지만, 픽셀의 이진화 값은 합은 0에 가까운 소정의 값으로 변경된 것을 확인할 수 있다.Also, it can be seen that although white pixels exist in y values corresponding to numbers in the first graph HIST1 , the sum of the binarized values of the pixels is changed to a predetermined value close to zero.
이와 동일하게, 제2 그래프(HIST2)를 살펴보면, 이진화된 제2 번호판(LPI2c)에는 번호의 위쪽에 번호판을 차량에 고정하는 고정 부위가 존재할 수 있다. 따라서, 제2 그래프(HIST2)는 상기 고정 부위 아래와 위에 해당하는 y 값에서만 이진화 값의 합이 높고, 나머지 부분은 0에 가까운 소정의 값으로 변경된 것을 확인할 수 있다.Similarly, looking at the second graph HIST2, the second binarized license plate LPI2c may have a fixing portion for fixing the license plate to the vehicle above the number. Accordingly, in the second graph HIST2, it can be seen that the sum of the binarization values is high only in y values corresponding to the lower and upper portions of the fixed portion, and the remaining portion is changed to a predetermined value close to zero.
마지막으로, 제3 그래프(HIST3)를 살펴보면, 이진화된 제3 번호판(LPI3c)에는 번호가 2열로 위치할 수 있다. 따라서, 제3 그래프(HIST3)는 번호 1열과 번호판의 상면 사이, 번호 1열과 번호 2열 사이, 및 번호 2열과 번호판의 하면 사이에 해당하는 y 값에서만 이진화 값의 합이 높고, 나머지 부분은 0에 가까운 소정의 값으로 변경된 것을 확인할 수 있다.Finally, looking at the third graph HIST3, the number may be located in two columns in the third binarized license plate LPI3c. Therefore, in the third graph (HIST3), the sum of the binarization values is high only in the y values corresponding to between the
도 9의 (d)에서 확인할 수 있는 바와 같이, 제1 번호판(LP1c), 제2 번호판(LPI2c) 및 제3 번호판(LPI3c)에서 번호 크기 및 위치가 다름에 따라, 제1 그래프(HIST1), 제2 그래프(HIST2), 제3 그래프(HIST3)에서 그래프의 형태가 서로 다를 수 있다.As can be seen in FIG. 9 (d), as the number size and position are different in the first license plate (LP1c), the second license plate (LPI2c) and the third license plate (LPI3c), the first graph (HIST1), The graphs in the second graph HIST2 and the third graph HIST3 may have different shapes.
따라서, 그래프의 형태에 따라, 번호판 종류 결정부(273)는 번호판의 종류를 결정할 수 있다. 예컨대, 도 9의 (d)에 도시된 바와 같이, 30에서 70 사이의 y 값에서 높은 값이 나타나지 않는다면, 번호판 종류 결정부(273)는 차량(V)의 번호판의 종류가 제1 번호판(LP1c)(즉, 신형 번호판)과 같다고 결정할 수 있다.Therefore, according to the shape of the graph, the license plate
또한, 높은 값을 갖는 또는 높은 값을 갖지 않는 범위를 다르게 설정함으로써, 번호판 종류 결정부(273)는 제2 번호판(LPI2c) 및 제3 번호판(LPI3c)과 동일한 종류의 번호판 또한 구분할 수 있다.In addition, by setting the range having a high value or not having a high value differently, the license plate
이후, 번호판 기울기 보정부(274), 템플릿 리사이징부(275) 및 각도 계산부(276)는 히스토그램 균등화부(271), 이미지 이진화부(272) 및 번호판 종류 결정부(273)에서 결정한 차량(V)의 번호판의 종류를 이용하여, 차량(V)을 촬영한 이미지 내에서 차량(V)의 번호판이 기울어진 각도를 결정할 수 있다.Then, the vehicle (V) determined by the license plate
번호판 기울기 보정부(274)는 번호판의 y축 각도가 0도가 되도록 차량에 대한 이미지를 회전할 수 있다.The license plate
보다 자세하게는, 번호판 기울기 보정부(274)는 번호판 꼭지점 검출부(240)를 이용하여 검출한 번호판의 꼭지점들을 이용하여, 차량에 대한 이미지 내에서 번호판의 y축 각도를 계산하고, 번호판의 y축 각도가 0도가 되도록 차량에 대한 이미지를 xy축 방향으로 회전할 수 있다.In more detail, the license plate
예컨대, 도 10을 더 참조하면, 번호판 기울기 보정부(274)는 차량(V)에 대한 이미지(img_V)에 포함된 차량(V)의 번호판(LP)의 y축 각도를 -α로 계산하고(즉, 차량(V)의 번호판(LP)이 y축에 대하여 마이너스 방향으로 α로 기울어져 있다고 계산하고), 차량(V)의 번호판(LP)의 y축 각도가 0도가 되도록 차량(V)에 대한 이미지(img_V)를 y축 방향으로 α만큼 회전시킬 수 있다.For example, referring further to FIG. 10, the license plate
템플릿 리사이징부(275)는 번호판 기울기 보정부(274)에 의해 y축 각도가 보정된 차량(V)의 번호판의 크기와 번호판 종류 결정부(273)에서 결정한 차량(V)의 번호판 종류에 따른 번호판 템플릿의 크기를 비교하고, 번호판 템플릿의 크기를 리사이징할 수 있다.The
보다 자세하게는, 템플릿 리사이징부(275)는 번호판 템플릿의 높이가 y축 각도가 보정된 차량(V)의 번호판의 높이와 동일하도록 번호판 템플릿의 비율을 수정할 수 있다.In more detail, the
예컨대, 도 11을 더 참조하면, 축 각도가 보정된 차량(V)의 번호판의 높이가 h이고, 번호판 종류 결정부(273)에서 결정한 번호판 템플릿의 높이가 ht인 경우, 템플릿 리사이징부(275)는 번호판 템플릿의 크기(즉, 높이와 너비)를 h/ht의 비율로 리사이징할 수 있다.For example, referring further to FIG. 11 , when the height of the license plate of the vehicle V for which the axis angle is corrected is h, and the height of the license plate template determined by the license plate
마지막으로, 각도 계산부(276)는 y축 각도가 보정된 차량(V)의 번호판의 너비와 번호판 템플릿의 너비를 비교하여, 차량(V)의 번호판이 z축으로 기울어진 각도를 계산할 수 있다.Finally, the
보다 자세하게는, 도 12를 더 참조하면, y축 각도가 보정된 차량(V)의 번호판과 리사이징된 번호판 템플릿을 도 12의 (a)와 같이 3차원 직교 좌표계에 위치시키는 경우, 리사이징된 번호판 템플릿은 xy 평면 상에 위치하고, y축 각도가 보정된 차량(V)의 번호판은 xy 평면에서 z축 방향으로 θ만큼 기울어져 위치할 수 있다.In more detail, referring further to FIG. 12 , when the license plate of the vehicle V with the y-axis angle corrected and the resized license plate template are positioned in a three-dimensional orthogonal coordinate system as shown in FIG. 12 (a), the resized license plate template is located on the xy plane, and the license plate of the vehicle V whose y-axis angle is corrected may be positioned inclined by θ in the z-axis direction in the xy plane.
따라서, 도 12의 (b)와 같이, 차량(V)의 번호판의 너비를 x축으로 정사영(orthogonal projection)한 길이가 s2가 되는 경우, 각도 계산부(276)는 아래의 수학식 11을 이용하여 차량(V)의 번호판이 z축으로 기울어진 각도를 계산할 수 있다.Therefore, as shown in FIG. 12(b), when the length obtained by orthogonal projection of the width of the license plate of the vehicle V on the x-axis becomes s2, the
최종 판단부(280)는, 차량(V)의 번호판의 각도를 이용하여, 차량(V)의 번호를 결정할 수 있다.The
보다 자세하게는, 번호판 추적부(230)에서 업데이트한 트랙 정보에는 기 설정된 L개의 프레임들 동안 축적된 번호판의 기울어진 각도가 포함될 수 있고, 최종 판단부(280)는, 프레임 별로 인식된 차량(V)의 번호 및 프레임 별로 계산된 번호판의 기울어진 각도를 이용하여, 현재 프레임에서의 차량(V)의 번호를 결정할 수 있다.In more detail, the track information updated by the license
실시예에 따라, 최종 판단부(280)는 아래의 수학식 12를 이용하여, 각도에 따른 가중치(weight)를 결정할 수 있다.According to an embodiment, the
즉, 번호판이 z축 방향으로 기울어진 각도가 클수록, 오인식의 확률이 높으므로, 최종 판단부(280)는 큰 각도에 낮은 가중치를 부여할 수 있다.That is, the larger the angle of the license plate tilted in the z-axis direction, the higher the probability of misrecognition, so the
예컨대, 번호판 추적부(230)에서 현재 프레임까지 업데이트한 트랙 정보가 아래의 표 1과 같은 경우, 각 프레임 별 가중치는 수학식 12에 의하여 표 2와 같을 수 있고, 그 결과, 인식된 번호 별 가중치는 표 3과 같이 계산될 수 있다.For example, when the track information updated from the license
따라서, 최종 판단부(280)는, 인식된 번호 별 가중치의 합에 기초하여, 현재 프레임에서의 차량(V)의 번호를 '31C7276'이라고 결정하고, 번호판 추적부(230)는 현재 프레임에 대하여 최종적으로 결정된 차량(V)의 번호 '31C7276'을 트랙 정보에 업데이트할 수 있다.Accordingly, the
도 5는 본 발명의 일 실시예에 따른 번호판 검출부를 학습시키는 방법을 나타내는 블록도이다.5 is a block diagram illustrating a method for learning a license plate detection unit according to an embodiment of the present invention.
도 3 및 도 5를 참조하면, 번호판 검출부(220)는 참조 차량을 기 촬영한 참조 이미지와 함께, 레이블(label)로서 상기 참조 이미지에 포함된 관심 영역의 참조 위치 정보를 입력 받으면, 상기 참조 이미지에 포함된 관심 영역의 위치 정보를 출력하도록 학습될 수 있다.3 and 5, the license
이때, 상기 참조 차량은, 번호판 검출부(220)를 학습시키는데 이용되는 상기 참조 이미지 상에 기 촬영된 차량을 의미하고, 상기 참조 이미지는 상기 참조 차량을 기 촬영한 이미지를 의미하고, 상기 참조 위치 정보는 상기 참조 이미지에 포함된 관심 영역의 기 확인된 위치 정보(즉, 정답 정보)를 의미할 수 있다.In this case, the reference vehicle means a vehicle previously photographed on the reference image used to learn the license
실시예에 따라, 번호판 검출부(220)는 출력한 상기 참조 이미지에 포함된 관심 영역의 위치 정보와 레이블로서의 상기 참조 위치 정보의 차이를 나타내는 손실(loss)을 역전파(backpropagation) 값으로 더 입력 받고, 상기 손실을 0으로 만들도록 학습될 수 있다.According to an embodiment, the license
도 5에서는 설명의 편의상 번호판 검출부(220)를 학습시키는 방법으로 설명하였지만, 이에 한정되지 않는다. 즉, 번호판 검출부(220)가 번호판 검출 신경망을 포함하는 경우, 도 5에 따른 설명은 상기 번호판 검출 신경망을 학습시키는 방법에 준용될 수 있다.5 has been described as a method of learning the license
도 6은 본 발명의 일 실시예에 따른 번호판 꼭지점 검출부를 학습시키는 방법을 나타내는 블록도이다.6 is a block diagram illustrating a method for learning a license plate vertex detection unit according to an embodiment of the present invention.
도 3 및 도 6을 참조하면, 번호판 꼭지점 검출부(240)는 참조 차량을 기 촬영한 참조 이미지에 포함된 관심 영역의 참조 위치 정보와 함께, 레이블로서 상기 관심 영역에 포함된 참조 차량의 번호판의 꼭지점들의 참조 위치 정보를 입력받으면, 상기 참조 차량의 번호판의 꼭지점들의 위치 정보를 출력하도록 학습될 수 있다.3 and 6, the license plate
이때, 상기 참조 차량은, 번호판 꼭지점 검출부(240)를 학습시키는데 이용되는 상기 참조 이미지 상에 기 촬영된 차량을 의미하고, 상기 참조 이미지는 상기 참조 차량을 기 촬영한 이미지를 의미하고, 상기 참조 차량의 번호판의 꼭지점들의 참조 위치 정보는 상기 참조 차량의 번호판의 꼭지점들의 기 확인된 위치 정보(즉, 정답 정보)를 의미할 수 있다.In this case, the reference vehicle means a vehicle previously photographed on the reference image used to learn the license plate
실시예에 따라, 번호판 꼭지점 검출부(240)는 출력한 상기 참조 차량의 번호판의 꼭지점들의 위치 정보와 레이블로서의 상기 번호판의 꼭지점들의 참조 위치 정보의 차이를 나타내는 손실을 역전파 값을 더 입력 받고, 상기 손실을 0으로 만들도록 학습될 수 있다.According to the embodiment, the license plate
상기 손실은 아래의 수학식 13과 같이 표현될 수 있다.The loss can be expressed as Equation 13 below.
상기 수학식 13의 우변에서 첫 번째 항은 정답 정보인, 상기 참조 위치 정보와 출력한 상기 위치 정보와 사이의 거리에 관한 항으로서, 상기 위치 정보와 상기 참조 위치 정보 사이의 거리를 최소화 하도록 구성될 수 있다.The first term on the right side of Equation 13 is the correct answer information, which is a term related to the distance between the reference location information and the output location information, and is configured to minimize the distance between the location information and the reference location information. can
또한, 상기 수학식 13의 우변에서 두 번째 항은, 출력한 상기 참조 차량의 번호판의 꼭지점들의 위치 정보를 이용하여 사각형을 그리는 경우, 상기 사각형의 윗변과 아랫변의 각도 차이에 관한 항으로서, 상기 윗변과 상기 아랫변의 각도 차이가 0이 되도록 구성될 수 있다.In addition, the second term from the right side of Equation 13 is a term related to the difference in angle between the upper and lower sides of the rectangle when drawing a rectangle using the output position information of the vertices of the license plate of the reference vehicle. and an angle difference between the lower side and the lower side may be 0.
또한, 상기 수학식 13의 우변에서 세 번째 항은, 상기 사각형의 좌변과 우변의 각도 차이에 관한 항으로서, 상기 좌변과 상기 우변의 각도 차이가 0이 되도록 구성될 수 있다.Also, the third term from the right side of Equation 13 relates to the difference in angle between the left side and the right side of the quadrangle, and may be configured such that the angle difference between the left side and the right side becomes 0.
마지막으로, λ1과 λ2는 수학식 13의 우 변의 두 번째 항과 세 번째 항의 가중치를 나타내는 계수로서, 기 설정된 값일 수 있으나, 이에 한정되지 않는다. 즉, λ1과 λ2는 차량 번호 인식 장치(100)의 운영자에 작동 과정에서 변경될 수도 있다.Finally, λ 1 and λ 2 are coefficients representing weights of the second and third terms of the right side of Equation 13, and may be preset values, but are not limited thereto. That is, λ 1 and λ 2 may be changed in the course of operation to the operator of the vehicle
도 6에서는 설명의 편의상 번호판 꼭지점 검출부(240)를 학습시키는 방법으로 설명하였지만, 이에 한정되지 않는다. 즉, 번호판 꼭지점 검출부(240)가 꼭지점 검출 신경망을 포함하는 경우, 도 6에 따른 설명은 상기 꼭지점 검출 신경망을 학습시키는 방법에 준용될 수 있다.6 has been described as a method of learning the license plate
도 7은 본 발명의 일 실시예에 따른 차량 번호 인식부를 학습시키는 방법을 나타내는 블록도이다.7 is a block diagram illustrating a method for learning a vehicle number recognition unit according to an embodiment of the present invention.
도 3 및 도 7을 참조하면, 차량 번호 인식부(260)는 참조 차량의 번호판을 기 촬영한 참조 번호판과 함께, 레이블로서 상기 참조 번호판에 기재된 참조 차량의 참조 번호를 입력 받으면, 상기 참조 번호판에 기재된 참조 차량의 번호를 출력하도록 학습될 수 있다.3 and 7, the vehicle
이때, 상기 참조 번호판은 상기 참조 차량의 기 촬영된 번호판에 대한 이미지를 의미하고, 상기 참조 번호는 상기 참조 차량의 기 확인된 번호(즉, 정답 번호)를 의미할 수 있다.In this case, the reference number plate may mean an image of a previously photographed license plate of the reference vehicle, and the reference number may mean a previously confirmed number (ie, correct answer number) of the reference vehicle.
실시예에 따라, 차량 번호 인식부(260)는 출력한 상기 참조 차량의 번호와 레이블로서의 상기 참조 번호를 나타내는 손실을 역전파 값으로 더 입력 받고, 상기 손실을 0으로 만들도록 학습될 수 있다.According to an embodiment, the vehicle
도 7에서는 설명의 편의상 차량 번호 인식부(260)를 학습시키는 방법으로 설명하였지만, 이에 한정되지 않는다. 즉, 차량 번호 인식부(260)가 번호 인식 신경망을 포함하는 경우, 도 7에 따른 설명은 상기 번호 인식 신경망을 학습시키는 방법에 준용될 수 있다.7 has been described as a method of learning the vehicle
도 13은 본 발명의 일 실시예에 따라 차량의 번호를 인식하는 방법을 나타내는 흐름도이다.13 is a flowchart illustrating a method of recognizing a vehicle number according to an embodiment of the present invention.
도 1 내지 도 4 및 도 13을 참조하면, 영상 수신부(210)가 카메라(120)를 이용하여 차량(V)을 촬영한 이미지를 수신하면(S1300), 번호판 검출부(220)는 차량(V)에 대한 이미지로부터, 차량(V)의 번호판을 포함하는 관심 영역을 검출하고, 관심 영역에 대한 위치 정보를 생성할 수 있다(S1310).1 to 4 and 13, when the
번호판 추적부(230)는 현재 프레임에서 검출된 관심 영역들 각각과 직전 프레임에서 검출된 관심 영역들 각각의 교차 영역 값을 계산하여, 현재 프레임에서 검출된 관심 영역을 직전 프레임에서 검출된 관심 영역과 매칭하고, 관심 영역을 프레임 별로 추적한 트랙 정보를 생성할 수 있다(S1320).The license
번호판 꼭지점 검출부(240)는, 기 학습된 신경망을 이용하여, 번호판 검출부(220)가 생성한 관심 영역으로부터, 상기 관심 영역에 포함된 차량(V)의 번호판의 꼭지점들을 검출하고, 상기 꼭지점들의 위치 정보를 생성할 수 있다(S1330).The license plate
번호판 정렬부(250)는, 차량(V)의 번호판이 보다 용이하게 인식될 수 있도록, 차량(V)의 형상을 재정렬하기 위한 변환 매트릭스를 결정하고, 결정된 변환 매트릭스에 기초하여 차량(V)의 형상을 기 설정된 타겟 형상으로 정렬할 수 있다(S1340).The license
이후, 차량 번호 인식부(260)는, 기 학습된 신경망을 이용하여, 번호판 정렬부(250)에서 정렬한 차량(V)의 번호판에서 차량(V)의 번호를 인식하고, 인식한 차량(V)의 번호를 출력할 수 있다(S1350).Then, the vehicle
번호판 각도 계산부(270)는 차량(V)을 촬영한 이미지 내에서 차량(V)의 번호판이 기울어진 각도를 계산하고(S1360), 최종 판단부(280)는, 차량(V)의 번호판의 각도를 이용하여, 인식된 번호들 중에서 차량(V)의 차량 번호를 결정할 수 있다(S1370).The license plate
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in the encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block of the block diagram or Each step of the flowchart creates a means for performing the functions described. These computer program instructions may also be stored in a computer-usable or computer-readable memory which may direct a computer or other programmable data processing equipment to implement a function in a particular way, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing a function described in each block of the block diagram or each step of the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that, in some alternative embodiments, it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.
100: 차량 번호 인식 장치
200: 차량 번호 인식 모델
210: 영상 수신부
220: 번호판 검출부
230: 번호판 추적부
240: 번호판 꼭지점 검출부
250: 번호판 정렬부
260: 차량 번호 인식부
270: 번호판 각도 계산부
280: 최종 판단부100: vehicle number recognition device
200: vehicle number recognition model
210: video receiver
220: license plate detection unit
230: license plate tracking unit
240: license plate vertex detection unit
250: license plate alignment unit
260: vehicle number recognition unit
270: license plate angle calculation unit
280: final judgment unit
Claims (13)
기 획득된 상기 차량의 번호판을 촬영한 이미지 내에서, 상기 번호판을 인식하는 단계;
상기 인식된 번호판의 크기에 따라, 상기 인식된 번호판의 기 결정된 템플릿의 크기를 리사이징(resizing)하는 단계;
상기 인식된 번호판과 상기 리사이징된 템플릿을 비교하여, 상기 인식된 번호판으로부터 기 인식된 번호의 신뢰도를 결정하는 단계;
상기 신뢰도에 기초하여, 상기 번호를 상기 차량의 차량 번호로 결정하는 단계를 포함하는
차량의 차량 번호를 인식하는 방법.In the method of recognizing the vehicle number of the vehicle performed by the vehicle number recognition device,
Recognizing the license plate in the previously acquired image of the license plate of the vehicle;
Resizing (resizing) the size of a predetermined template of the recognized license plate according to the size of the recognized license plate;
Comparing the recognized license plate and the resized template, determining the reliability of the previously recognized number from the recognized license plate;
Based on the reliability, comprising the step of determining the number as the vehicle number of the vehicle
How to recognize the vehicle's license plate number.
기 설정된 변환 알고리즘에 기초하여, 상기 인식된 번호판의 형상을 기 설정된 타겟 형상으로 정렬하는 단계;
상기 정렬된 번호판에 포함된 픽셀들 각각의 색상 값을 결정하는 단계; 및
상기 정렬된 번호판에 포함된 픽셀들 전체의 개수와 제1 색상 값 이하의 색상 값을 갖는 픽셀들의 개수를 비교하여, 상기 정렬된 번호판에 포함된 픽셀들 중에서 제1 색상 값을 갖는 픽셀들의 색상 값을 정규화하는 단계를 더 포함하는
차량의 차량 번호를 인식하는 방법.According to claim 1,
aligning the shape of the recognized license plate with a preset target shape based on a preset conversion algorithm;
determining a color value of each of the pixels included in the aligned license plate; and
By comparing the total number of pixels included in the aligned number plate and the number of pixels having a color value less than or equal to the first color value, the color values of pixels having a first color value among the pixels included in the aligned license plate Further comprising the step of normalizing
How to recognize the vehicle's license plate number.
상기 정규화된 색상 값을 소정의 임계 값과 비교하여, 상기 정규화된 색상 값을 이진화하는 단계;
소정의 기준에 기초하여, 상기 색상 값이 이진화된 번호판에 포함된 픽셀들을 복수의 그룹들로 구분하는 단계;
상기 복수의 그룹들 각각에 대해, 그룹에 포함된 픽셀들의 이진화된 색상 값의 합을 결정하는 단계; 및
상기 이진화된 색상 값의 합이 소정의 값 이상인 그룹들의 분포에 기초하여, 상기 인식된 번호판의 상기 템플릿을 결정하는 단계를 더 포함하는
차량의 차량 번호를 인식하는 방법.3. The method of claim 2,
binarizing the normalized color value by comparing the normalized color value with a predetermined threshold value;
classifying the pixels included in the license plate in which the color value is binarized into a plurality of groups based on a predetermined criterion;
determining, for each of the plurality of groups, a sum of binarized color values of pixels included in the group; and
Based on the distribution of the groups in which the sum of the binarized color values is equal to or greater than a predetermined value, further comprising the step of determining the template of the recognized license plate
How to recognize the vehicle's license plate number.
상기 인식된 번호판의 신뢰도를 결정하는 단계는,
상기 이미지를 3차원 공간 상에 표현한 3차원 좌표에, 상기 인식된 번호판과 상기 리사이징된 템플릿을 위치시키는 단계; 및
상기 인식된 번호판과, 소정의 기준 위치에 위치한 상기 리사이징된 템플릿 사이의 각도에 기초하여, 상기 인식된 번호판의 신뢰도를 결정하는 단계를 포함하는
차량의 차량 번호를 인식하는 방법.According to claim 1,
The step of determining the reliability of the recognized license plate,
locating the recognized license plate and the resized template in three-dimensional coordinates expressing the image in a three-dimensional space; and
Based on the angle between the recognized license plate and the resized template located at a predetermined reference position, comprising the step of determining the reliability of the recognized license plate
How to recognize the vehicle's license plate number.
상기 번호판을 인식하는 단계 및 상기 인식된 번호판의 크기를 리사이징하는 단계는, 프레임 단위로 수행되고,
상기 인식된 번호판의 신뢰도를 결정하는 단계는,
상기 프레임 단위로, 상기 이미지를 3차원 공간 상에 표현한 3차원 좌표에 표현된 상기 인식된 번호판과 상기 리사이징된 템플릿 사이의 각도를 계산하는 단계; 및
상기 프레임 단위로 계산된 상기 인식된 번호판과 상기 리사이징된 템플릿 사이의 각도에 기초하여, 상기 프레임 단위로 인식된 번호마다 상기 신뢰도를 결정하는 단계를 포함하는
차량의 차량 번호를 인식하는 방법.According to claim 1,
Recognizing the number plate and resizing the size of the recognized number plate are performed in units of frames,
The step of determining the reliability of the recognized license plate,
Calculating an angle between the recognized license plate and the resized template expressed in three-dimensional coordinates expressing the image in a three-dimensional space on a frame-by-frame basis; and
Based on the angle between the recognized number plate and the resized template calculated in units of the frame, comprising the step of determining the reliability for each number recognized in units of the frame
How to recognize the vehicle's license plate number.
상기 차량의 차량 번호로 결정하는 단계는,
기 설정된 프레임들 동안, 상기 인식된 번호 별로 상기 신뢰도를 누적하는 단계; 및
누적된 신뢰도가 가장 큰 번호를 상기 차량 번호로 결정하는 단계를 포함하는
차량의 차량 번호를 인식하는 방법.6. The method of claim 5,
The step of determining the vehicle number of the vehicle,
accumulating the reliability for each recognized number during preset frames; and
Comprising the step of determining the number with the greatest accumulated reliability as the vehicle number
How to recognize the vehicle's license plate number.
상기 차량 번호 인식 프로그램을 실행하여, 기 획득된 상기 차량의 번호판을 촬영한 이미지 내에서, 상기 번호판을 인식하고, 상기 인식된 번호판의 크기에 따라, 상기 인식된 번호판의 기 결정된 템플릿의 크기를 리사이징하고, 상기 인식된 번호판과 상기 리사이징된 템플릿을 비교하여, 상기 인식된 번호판으로부터 기 인식된 번호의 신뢰도를 결정하고, 상기 신뢰도에 기초하여, 상기 번호를 상기 차량의 차량 번호로 결정하는 프로세서를 포함하는
차량 번호 인식 장치.a memory for storing a license plate recognition program; and
Execute the license plate recognition program to recognize the license plate in the previously acquired image of the license plate of the vehicle, and according to the size of the recognized license plate, resizing the size of a predetermined template of the recognized license plate and a processor for comparing the recognized license plate with the resized template, determining the reliability of a number previously recognized from the recognized license plate, and determining the number as the vehicle number of the vehicle based on the reliability doing
Vehicle number recognition device.
상기 프로세서는,
기 설정된 변환 알고리즘에 기초하여, 상기 인식된 번호판의 형상을 기 설정된 타겟 형상으로 정렬하고, 상기 정렬된 번호판에 포함된 픽셀들 각각의 색상 값을 결정하고, 상기 정렬된 번호판에 포함된 픽셀들 전체의 개수와 제1 색상 값 이하의 색상 값을 갖는 픽셀들의 개수를 비교하여, 상기 정렬된 번호판에 포함된 픽셀들 중에서 제1 색상 값을 갖는 픽셀들의 색상 값을 정규화하는
차량 번호 인식 장치.8. The method of claim 7,
The processor is
Based on a preset conversion algorithm, align the shape of the recognized license plate to a preset target shape, determine the color value of each of the pixels included in the aligned license plate, and all pixels included in the aligned license plate Normalizing the color values of pixels having a first color value among pixels included in the aligned license plate by comparing the number of and the number of pixels having a color value less than or equal to the first color value
Vehicle number recognition device.
상기 프로세서는,
상기 정규화된 색상 값을 소정의 임계 값과 비교하여, 상기 정규화된 색상 값을 이진화하고,
소정의 기준에 기초하여, 상기 색상 값이 이진화된 번호판에 포함된 픽셀들을 복수의 그룹들로 구분하고,
상기 복수의 그룹들 각각에 대해, 그룹에 포함된 픽셀들의 이진화된 색상 값의 합을 결정하고,
상기 이진화된 색상 값의 합이 소정의 값 이상인 그룹들의 분포에 기초하여, 상기 인식된 번호판의 상기 템플릿을 결정하는
차량 번호 인식 장치.9. The method of claim 8,
The processor is
comparing the normalized color value with a predetermined threshold to binarize the normalized color value;
Based on a predetermined criterion, the color values are divided into a plurality of groups, the pixels included in the binarized license plate,
determining, for each of the plurality of groups, the sum of the binarized color values of pixels included in the group;
determining the template of the recognized license plate based on the distribution of groups in which the sum of the binarized color values is equal to or greater than a predetermined value
Vehicle number recognition device.
상기 프로세서는,
상기 이미지를 3차원 공간 상에 표현한 3차원 좌표에, 상기 인식된 번호판과 상기 리사이징된 템플릿을 위치시키고,
상기 인식된 번호판과, 소정의 기준 위치에 위치한 상기 리사이징된 템플릿 사이의 각도에 기초하여, 상기 인식된 번호판의 신뢰도를 결정하는
차량 번호 인식 장치.8. The method of claim 7,
The processor is
Positioning the recognized license plate and the resized template in three-dimensional coordinates expressing the image in a three-dimensional space,
Based on the angle between the recognized license plate and the resized template located in a predetermined reference position, determining the reliability of the recognized license plate
Vehicle number recognition device.
상기 프로세서는,
프레임 단위로, 상기 번호판의 인식 및 상기 인식된 번호판의 크기의 리사이징을 수행하고,
상기 프레임 단위로, 상기 이미지를 3차원 공간 상에 표현한 3차원 좌표에 표현된 상기 인식된 번호판과 상기 리사이징된 템플릿 사이의 각도를 계산하고,
상기 프레임 단위로 계산된 상기 인식된 번호판과 상기 리사이징된 템플릿 사이의 각도에 기초하여, 상기 프레임 단위로 상기 신뢰도를 결정하는
차량 번호 인식 장치.8. The method of claim 7,
The processor is
Performing the recognition of the license plate and resizing the size of the recognized license plate on a frame-by-frame basis,
In the frame unit, calculating the angle between the recognized license plate and the resized template expressed in three-dimensional coordinates expressing the image in a three-dimensional space,
Based on the angle between the recognized license plate and the resized template calculated in units of the frame, determining the reliability in units of the frame
Vehicle number recognition device.
상기 프로세서는,
기 설정된 프레임들 동안, 상기 인식된 번호 별로 상기 신뢰도를 누적하고,
누적된 신뢰도가 가장 큰 번호를 상기 차량 번호로 결정하는
차량 번호 인식 장치.12. The method of claim 11,
The processor is
During preset frames, the reliability is accumulated for each recognized number,
To determine the number with the greatest accumulated reliability as the vehicle number
Vehicle number recognition device.
상기 컴퓨터 프로그램은,
제1 항 내지 제6 항 중에서 어느 하나에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 프로그램.As a computer program stored in a computer-readable recording medium,
The computer program is
A method comprising instructions for causing a processor to perform the method according to any one of claims 1 to 6
computer program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200133518A KR20220049864A (en) | 2020-10-15 | 2020-10-15 | Method of recognizing license number of vehicle based on angle of recognized license plate |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200133518A KR20220049864A (en) | 2020-10-15 | 2020-10-15 | Method of recognizing license number of vehicle based on angle of recognized license plate |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220049864A true KR20220049864A (en) | 2022-04-22 |
Family
ID=81452626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200133518A KR20220049864A (en) | 2020-10-15 | 2020-10-15 | Method of recognizing license number of vehicle based on angle of recognized license plate |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220049864A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220207889A1 (en) * | 2020-12-29 | 2022-06-30 | Streamax Technology Co., Ltd. | Method for recognizing vehicle license plate, electronic device and computer readable storage medium |
| CN115083170A (en) * | 2022-07-06 | 2022-09-20 | 深圳市创安视迅技术有限公司 | Image capturing method and device of camera, electronic equipment and storage medium |
| KR102460732B1 (en) * | 2022-04-25 | 2022-10-31 | 주식회사 엠티오메가 | Method for recognition of vehicle license plate and apparatus for performing the method |
-
2020
- 2020-10-15 KR KR1020200133518A patent/KR20220049864A/en active Search and Examination
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220207889A1 (en) * | 2020-12-29 | 2022-06-30 | Streamax Technology Co., Ltd. | Method for recognizing vehicle license plate, electronic device and computer readable storage medium |
| KR102460732B1 (en) * | 2022-04-25 | 2022-10-31 | 주식회사 엠티오메가 | Method for recognition of vehicle license plate and apparatus for performing the method |
| CN115083170A (en) * | 2022-07-06 | 2022-09-20 | 深圳市创安视迅技术有限公司 | Image capturing method and device of camera, electronic equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348815B (en) | Image processing method, image processing apparatus, and non-transitory storage medium | |
| Mu et al. | Lane detection based on object segmentation and piecewise fitting | |
| KR20220049864A (en) | Method of recognizing license number of vehicle based on angle of recognized license plate | |
| CN105760826B (en) | Face tracking method and device and intelligent terminal | |
| Shin et al. | Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities | |
| US8457403B2 (en) | Method of detecting and correcting digital images of books in the book spine area | |
| US7664315B2 (en) | Integrated image processor | |
| JP4157620B2 (en) | Moving object detection apparatus and method | |
| US20080166016A1 (en) | Fast Method of Object Detection by Statistical Template Matching | |
| CN109492642B (en) | License plate recognition method, license plate recognition device, computer equipment and storage medium | |
| CN110473221B (en) | Automatic target object scanning system and method | |
| CN106447701A (en) | Methods and devices for image similarity determining, object detecting and object tracking | |
| CN109993089B (en) | Video target removing and background restoring method based on deep learning | |
| CN113052170B (en) | Small target license plate recognition method under unconstrained scene | |
| US11244194B2 (en) | System and method for object recognition using local binarization | |
| US20200320332A1 (en) | System and method for object detection | |
| CN110969164A (en) | Low-illumination imaging license plate recognition method and device based on deep learning end-to-end | |
| CN110689003A (en) | Low-illumination imaging license plate recognition method and system, computer equipment and storage medium | |
| CN113723399A (en) | License plate image correction method, license plate image correction device and storage medium | |
| WO2022121021A1 (en) | Identity card number detection method and apparatus, and readable storage medium and terminal | |
| CN114648734A (en) | Camera working abnormity detection method based on image processing | |
| CN114674826A (en) | Visual detection method and detection system based on cloth | |
| CN112733851B (en) | License plate recognition method for optimizing grain warehouse truck based on convolutional neural network | |
| KR20200071842A (en) | Around view monitoring system and method for detecting empty parking lot | |
| Moseva et al. | Development of a System for Fixing Road Markings in Real Time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |