KR101888959B1 - Method and system for recognizing vehicle plate in multi-lane - Google Patents

Method and system for recognizing vehicle plate in multi-lane Download PDF

Info

Publication number
KR101888959B1
KR101888959B1 KR1020180055149A KR20180055149A KR101888959B1 KR 101888959 B1 KR101888959 B1 KR 101888959B1 KR 1020180055149 A KR1020180055149 A KR 1020180055149A KR 20180055149 A KR20180055149 A KR 20180055149A KR 101888959 B1 KR101888959 B1 KR 101888959B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
model
license plate
camera
Prior art date
Application number
KR1020180055149A
Other languages
Korean (ko)
Inventor
이형각
김호군
김영창
Original Assignee
이형각
김호군
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이형각, 김호군 filed Critical 이형각
Priority to KR1020180055149A priority Critical patent/KR101888959B1/en
Application granted granted Critical
Publication of KR101888959B1 publication Critical patent/KR101888959B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • G06K9/3258
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • G06K9/00201
    • G06K9/6201
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06K2209/15
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Abstract

Disclosed is a method for recognizing a vehicle license plate in a multi-lane. The method for recognizing a vehicle license plate in a multi-lane comprises a step in which a reception module receives a first image obtained by photographing a vehicle from a camera; a step in which a vehicle model detection module detects a model of the vehicle by applying a 3D wire frame model to the vehicle in the first image; a step in which an angle calculation module compares one edge in the detected model of the vehicle with a reference line to calculate a y-axis angle between the detected model of the vehicle and the camera; and a step in which an analysis module analyzes a license plate region of the vehicle in the first image when the y-axis angle between the detected model of the vehicle and the camera is smaller than an arbitrary angle. The edge is a line generated by connecting a pair of vertices, and the reference line is a virtual line that is set by placing the vehicle to face forward by panning, tilting, or rolling the vehicle.

Description

다차선에서의 차량 번호판 인식 방법 및 시스템 {Method and system for recognizing vehicle plate in multi-lane}TECHNICAL FIELD The present invention relates to a method and system for recognizing a license plate on a multi-lane vehicle,

본 발명의 개념에 따른 실시 예는 다차선에서의 차량 번호판 인식 방법 및 시스템에 관한 것으로, 특히 차량의 이동 경로를 쉽게 예상할 수 없는 경우에도 차량 번호판을 인식할 수 있는 다차선에서의 차량 번호판 인식 방법 및 시스템에 관한 것이다. An embodiment according to the concept of the present invention relates to a method and system for recognizing a license plate in a multi-lane vehicle, and more particularly, to a vehicle license plate recognition method and system for recognizing a license plate in a multi- ≪ / RTI >

종래에는 차량이 정해진 경로로 이동하여 정확하게 차량의 번호판이 촬영된다는 가정하에 차량의 번호판을 인식하는 기술이 다수였다. 예컨대, 주차장 입구에카메라가 설치되거나, 고속도로, 또는 시내도로 위에 카메라가 설치되어 비교적 정확하게 차량의 번호판이 촬영될 수 있었다. Conventionally, there have been many techniques for recognizing a license plate of a vehicle on the assumption that the vehicle moves on a predetermined path and the license plate of the vehicle is accurately photographed. For example, a camera was installed at the entrance of a parking lot, a camera was installed on a highway or a city road, and a license plate of the vehicle could be photographed relatively accurately.

하지만, 교차로, 고속도로 진입로, 또는 보도와 차도가 명확하게 구분되지 않은 도로 등에서는 차량이 정해진 차선으로 이동하지 않아 차량의 이동 경로를 쉽게 예상하기 힘들다. 차량의 이동 경로를 쉽게 예상하기 힘든 경우, 차량의 번호판을 정확하게 촬영하기 어렵다. 정확하게 차량의 번호판을 촬영하기 어렵기 때문에 촬영된 이미지를 이용하여 차량의 번호판을 인식하는 것도 용이하지 않다. 따라서 차량의 이동 경로를 쉽게 예상할 수 없는 경우에도 안전을 위해 차량의 번호판을 인식할 수 방법이 요구된다. However, in an intersection, a highway access road, or a road on which a sidewalk and a roadway are not clearly distinguished, it is difficult to predict the route of the vehicle because the vehicle does not move to the designated lane. If it is difficult to predict the moving route of the vehicle easily, it is difficult to accurately photograph the license plate of the vehicle. It is difficult to recognize the license plate of the vehicle by using the photographed image because it is difficult to accurately photograph the license plate of the vehicle. Therefore, even if the movement path of the vehicle can not be easily predicted, a method of recognizing the license plate of the vehicle is required for safety.

본 발명이 이루고자 하는 기술적인 과제는 차량의 이동 경로를 쉽게 예상할 수 없는 경우에도 차량 번호판을 인식할 수 있는 다차선에서의 차량 번호판 인식 방법 및 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, The present invention also provides a method and system for recognizing a license plate on a multi-lane vehicle which can recognize a license plate even if the license plate can not be recognized.

본 발명의 실시 예에 따른 다차선에서의 차량 번호판 인식 방법은 수신 모듈은 카메라로부터 차량이 찍힌 제1이미지를 수신하는 단계, 차량 모델 검출 모듈은 상기 제1이미지에서의 상기 차량에 3D 와이어프레임(wireframe) 모델을 적용하여 상기 차량의 모델을 검출하는 단계, 각도 계산 모듈은 상기 검출된 차량의 모델에서 한 쌍의 버티스와 기준 라인을 비교하여 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도를 계산하는 단계, 및 분석 모듈은 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도가 임의의 각도보다 작을 때, 상기 제1이미지에서 상기 차량의 번호판 영역을 분석하는 단계를 포함한다. A vehicle license plate recognition method in multi-lane according to an embodiment of the present invention is characterized in that the receiving module receives a first image of a vehicle from a camera, the vehicle model detecting module detects a 3D wireframe wireframe) model, the angle calculation module compares a pair of vertices and a reference line in a model of the detected vehicle to determine a y-axis angle between the model of the detected vehicle and the camera And analyzing the license plate area of the vehicle in the first image when the y-axis angle between the model of the detected vehicle and the camera is less than an arbitrary angle.

실시 예에 따라 상기 다차선에서의 차량 번호판 인식 방법은 상기 차량의 번호판이 완벽하게 분석되지 않을 때, 상기 수신 모듈은 상기 카메라로부터 상기 제1이미지에서의 상기 차량의 위치와 다른 위치의 상기 차량이 찍힌 제2이미지를 수신하는 단계, 상기 차량 모델 검출 모듈은 상기 제2이미지에서의 상기 차량에 3D 와이어프레임 모델을 적용하여 상기 차량의 모델을 검출하는 단계, 상기 각도 계산 모듈은 상기 검출된 차량의 모델에서 한 쌍의 버티스와 기준 라인을 비교하여 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도를 계산하는 단계, 및 상기 분석 모듈은 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도가 임의의 각도보다 작을 때, 상기 제2이미지에서 상기 차량의 번호판 영역을 분석하는 단계를 더 포함할 수 있다. According to the embodiment, in the vehicle number plate recognition method in the multi-lane, when the number plate of the vehicle is not perfectly analyzed, the receiving module receives, from the camera, the vehicle at a position different from the position of the vehicle in the first image Receiving the captured second image, the vehicle model detection module applying a 3D wireframe model to the vehicle in the second image to detect the model of the vehicle, Calculating a y-axis angle between a model of the detected vehicle and the camera by comparing a pair of vertices and a reference line in the model, and the analysis module calculates a y-axis angle between the model of the detected vehicle and the y- Analyzing the license plate area of the vehicle in the second image when the license plate area is smaller than an arbitrary angle.

실시 예에 따라 상기 제2이미지에서 상기 다차선에서의 차량의 번호판 영역을 분석하는 단계는 상기 제1이미지에서 상기 차량의 번호들 중 일부만이 식별될 때, 상기 분석 모듈은 상기 제2이미지에서 상기 제1이미지에서 분석된 번호는 제외하고 상기 차량의 번호판 영역을 분석하는 단계를 포함할 수 있다. Analyzing the license plate area of the vehicle in the multi-lane in the second image according to an embodiment is characterized in that when only a portion of the vehicle's numbers in the first image are identified, And analyzing the license plate area of the vehicle except for the number analyzed in the first image.

실시 예에 따라 상기 수신 모듈은 상기 카메라로부터 N 개(N은 자연수)의 이미지들을 수신하며, 상기 제1이미지가 M 번째(M은 자연수) 이미지일 때, 상기 제2이미지는 (M+2) 번째 이미지일 수 있다. According to an embodiment, the receiving module receives N (N is a natural number) images from the camera, and when the first image is an Mth (M is a natural number) image, Th image.

실시 예에 따라 상기 임의의 각도는 30도일 수 있다. According to an embodiment, the arbitrary angle may be 30 degrees.

본 발명의 실시 예에 따른 다차선에서의 차량 번호판 인식 시스템은 카메라로부터 차량이 찍힌 제1이미지를 수신하는 수신 모듈, 상기 제1이미지에서의 상기 차량에 3D 와이어프레임 모델을 적용하여 상기 차량의 모델을 검출하는 차량 모델 검출 모듈, 상기 검출된 차량의 모델에서 한 쌍의 버티스와 기준 라인을 비교하여 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도를 계산하는 각도 계산 모듈, 및 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도가 임의의 각도보다 작을 때, 상기 제1이미지에서 상기 차량의 번호판 영역을 분석하는 분석 모듈을 포함한다. A vehicle license plate recognition system in a multi-lane vehicle according to an embodiment of the present invention includes a receiving module for receiving a first image of a vehicle from a camera, a 3D wireframe model for applying the 3D wireframe model to the vehicle in the first image, An angle calculation module for calculating a y-axis angle between the detected model of the vehicle and the camera by comparing a pair of vertices and a reference line in the detected model of the vehicle, And an analysis module for analyzing the license plate area of the vehicle in the first image when the y-axis angle between the model of the vehicle and the camera is smaller than an arbitrary angle.

실시 예에 따라 상기 차량의 번호판이 완벽하게 분석되지 않을 때, 상기 수신 모듈은 상기 카메라로부터 상기 제1이미지에서의 상기 차량의 위치와 다른 위치의 상기 차량이 찍힌 제2이미지를 수신한다. 상기 차량 모델 검출 모듈은 상기 제2이미지에서의 상기 차량에 3D 와이어프레임 모델을 적용하여 상기 차량의 모델을 검출한다. 상기 각도 계산 모듈은 상기 검출된 차량의 모델 중 어느 하나의 버텍스와 기준 버텍스를 비교하여 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도를 계산한다. 상기 분석 모듈은 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도가 임의의 각도보다 작을 때, 상기 제2이미지에서 상기 차량의 번호판 영역을 분석한다. According to an embodiment, when the number plate of the vehicle is not fully analyzed, the receiving module receives a second image of the vehicle from the camera at a location different from the location of the vehicle in the first image. The vehicle model detection module detects a model of the vehicle by applying a 3D wireframe model to the vehicle in the second image. The angle calculation module calculates a y-axis angle between the detected model of the vehicle and the camera by comparing any one of the vertices of the detected vehicle models with the reference vertex. The analysis module analyzes the license plate area of the vehicle in the second image when the y-axis angle between the model of the detected vehicle and the camera is smaller than an arbitrary angle.

실시 예에 따라 상기 수신 모듈은 상기 카메라로부터 N(N은 자연수)개의 이미지들을 수신할 때, 상기 제1이미지에서 상기 차량의 번호판 영역의 영상 데이터와 상기 제2이미지에서 상기 차량의 번호판 영역의 영상 데이터 각각의 파일 형식은, 버전, 이미지들의 수, 촬영연도, 날짜, 시분초, 날씨, M 번째(M은 자연수) 이미지의 가로 크기, 상기 M 번째 이미지의 세로 크기, 픽셀당 바이트 수, 상기 M 번째 이미지의 상기 차량의 x 위치, 상기 M 번째 이미지의 상기 차량의 y 위치, (M +1) 번째 이미지의 가로 크기, 상기 (M+1) 번째 이미지의 세로 크기, 픽셀당 바이트 수, 상기 (M+1) 번째 이미지의 상기 차량의 x 위치, 상기 (M+1) 번째 이미지의 상기 차량의 y 위치, P 번째(P는 M보다 큰 자연수) 이미지의 가로 크기, 상기 N 번째 이미지의 세로 크기, 픽셀당 바이트 수, 상기 P 번째 이미지의 상기 차량의 x 위치, 상기 P 번째 이미지의 상기 차량의 y 위치, 상기 M 번째 이미지에서 상기 차량의 번호판 영역의 영상 데이터, 상기 (M+1) 번째 이미지에서 상기 차량의 번호판 영역의 영상 데이터, 및 상기 P 번째 이미지에서 상기 차량의 번호판 영역의 영상 데이터를 포함할 수 있다. 상기 제1이미지는 M 번째 이미지이며, 상기 제2이미지는 P 번째 이미지일 수 있다. According to an embodiment of the present invention, when the receiving module receives N (N is a natural number) images from the camera, image data of the license plate area of the vehicle in the first image and image data of the license plate area of the vehicle in the second image (M is a natural number) image, the vertical size of the Mth image, the number of bytes per pixel, the number of bytes of the M Th image, the y-position of the vehicle of the M-th image, the horizontal size of the (M + 1) -th image, the vertical size of the (M + Th image, a y-th position of the vehicle of the (M + 1) -th image, a horizontal size of an image of Pth (P is a natural number larger than M) , The number of bytes per pixel, the P Th image, the y-position of the vehicle of the P-th image, the image data of the license plate area of the vehicle in the M-th image, the image of the license plate area of the vehicle in the (M + Data, and image data of the license plate area of the vehicle in the P-th image. The first image may be an Mth image, and the second image may be a Pth image.

본 발명의 실시 예에 따른 다차선에서의 차량 번호판 인식 방법 및 시스템은 차량의 이동 경로를 쉽게 예상할 수 없더라도 촬영된 차량과 카메라의 사이의 각도가 임의의 각도 이내일 때의 이미지를 이용하여 차량 번호판을 분석함으로써 차량의 번호판을 인식할 수 있는 효과가 있다.The method and system for recognizing a license plate in a multi-lane vehicle according to an embodiment of the present invention can detect a vehicle license plate in a multi-lane vehicle by using an image when the angle between the photographed vehicle and the camera is within an arbitrary angle, By analyzing the license plate, it is possible to recognize the license plate of the vehicle.

또한, 본 발명의 실시 예에 따른 다차선에서의 차량 번호판 인식 방법 및 시스템은 복수의 이미지들을 이용하여 선별적으로 번호판을 인식함으로써 효율적이고 빠르게 차량의 번호판을 인식할 수 있는 효과가 있다.Also, the method and system for recognizing license plate in multi-lane according to the embodiment of the present invention can efficiently and quickly recognize the license plate of a vehicle by recognizing the license plate selectively using a plurality of images.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 다차선에서의 차량 번호판 인식 시스템의 적용 예를 나타내는 개략도이다.
도 2는 본 발명의 일 실시 예에 따른 다차선에서의 차량 번호판 인식 시스템의 다른 적용 예를 나타내는 개략도이다.
도 3은 도 1에 도시된 차량 번호판 인식 시스템의 블록도를 나타낸다.
도 4는 도 3에 도시된 수신 모듈에 의해 수신된 제1이미지를 나타낸다.
도 5는 도 3에 도시된 차량 모델 검출 모듈에 의해 와이어프레임이 적용된 차량의 이미지를 나타낸다.
도 6은 도 3에 도시된 수신 모듈에 의해 수신되는 복수의 이미지들을 나타낸다.
도 7은 도 3에 도시된 차량 분석 모듈에 의해 분석된 차량의 번호판 영역을 나타내는 이미지의 일 실시 예를 나타낸다.
도 8은 도 3에 도시된 데이터베이스에 저장되는 이미지 파일 형식의 일 실예를 나타낸다.
도 9는 도 3에 도시된 차량 번호판 인식 시스템의 동작을 설명하기 위한 흐름도를 나타낸다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In order to more fully understand the drawings recited in the detailed description of the present invention, a detailed description of each drawing is provided.
1 is a schematic view showing an application example of a license plate recognition system in multi-lane according to an embodiment of the present invention.
2 is a schematic view showing another application example of the license plate recognition system in the multi-lane according to the embodiment of the present invention.
Fig. 3 shows a block diagram of the license plate recognition system shown in Fig. 1. Fig.
Figure 4 shows a first image received by the receiving module shown in Figure 3;
5 shows an image of a vehicle to which a wire frame is applied by the vehicle model detecting module shown in Fig.
Figure 6 shows a plurality of images received by the receiving module shown in Figure 3;
Fig. 7 shows an embodiment of an image representing a license plate area of a vehicle analyzed by the vehicle analysis module shown in Fig. 3;
Fig. 8 shows an example of an image file format stored in the database shown in Fig.
9 is a flowchart illustrating the operation of the license plate recognition system shown in FIG.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.It is to be understood that the specific structural or functional descriptions of embodiments of the present invention disclosed herein are only for the purpose of illustrating embodiments of the inventive concept, But may be embodied in many different forms and is not limited to the embodiments set forth herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Embodiments in accordance with the concepts of the present invention are capable of various modifications and may take various forms, so that the embodiments are illustrated in the drawings and described in detail herein. It should be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to the particular forms disclosed, but includes all modifications, equivalents, or alternatives falling within the spirit and scope of the invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are intended to distinguish one element from another, for example, without departing from the scope of the invention in accordance with the concepts of the present invention, the first element may be termed the second element, The second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 다차선에서의 차량 번호판 인식 시스템의 적용 예를 나타내는 개략도이다. 1 is a schematic view showing an application example of a license plate recognition system in multi-lane according to an embodiment of the present invention.

도 1을 참조하면, 교차로(1)와 같은 상황에서 차량(3)은 항상 예정된 경로(5)만으로 이동하지 않는 경우가 많다. 지지대(7)에 부착된 카메라(9)는 예정된 경로(5)를 벗어나서 차량(3)이 이동하는 경우에도 차량(3)을 촬영한다. 종래에는 차량이 정해진 경로를 따라서 이동하는 것을 가정하여 차량만을 촬영한 이미지를 분석한 기술이 다수였다. 하지만 본 발명에서는 종래와 달리 예정된 경로(5)를 벗어나는 차량(3)도 촬영하므로, 촬영의 범위가 더 넓다는 점에서 차이가 있다. 차량 번호판 인식 시스템(10)은 차량(3)이 예정된 경로(5)를 벗어난 경우에도 차량(3)의 번호판을 인식할 수 있다. 차량 번호판 인식 시스템(10)은 하나의 차선뿐만 아니라 다차선을 촬영하여 차량의 번호를 감지할 수 있다.Referring to Fig. 1, in a situation such as the intersection 1, the vehicle 3 often does not always travel only on the predetermined route 5. [ The camera 9 attached to the support 7 shoots the vehicle 3 even when the vehicle 3 moves out of the predetermined path 5. [ Conventionally, there have been a number of techniques for analyzing an image of a vehicle only on the assumption that the vehicle moves along a predetermined path. However, in the present invention, unlike the prior art, the vehicle 3 which is outside the predetermined route 5 is also photographed, so that there is a difference in that the range of photographing is wider. The license plate recognition system 10 can recognize the number plate of the vehicle 3 even when the vehicle 3 is out of the predetermined path 5. [ The license plate recognition system 10 can detect the number of the vehicle by photographing not only one lane but also multiple lanes.

도 2는 본 발명의 일 실시 예에 따른 다차선에서의 차량 번호판 인식 시스템의 다른 적용 예를 나타내는 개략도이다. 2 is a schematic view showing another application example of the license plate recognition system in the multi-lane according to the embodiment of the present invention.

도 2를 참조하면, 일방통행인 골목길과 같은 상황에서 일방통행임에도 불구하고 2개의 차량이 이동할 수 있을 정도로 도로폭이 넓은 경우가 있다. 이러한 경우, 차량(4)이 예상할 수 없는 곳에 불법주차되는 경우가 많다. 또한, 도로폭이 넓으므로 차량(4)이 도로의 왼쪽으로 이동할지 오른쪽으로 이동할지, 그 이동 경로를 쉽게 예상하기가 어렵다. 본 발명에서 지지대(6)에 부착된 카메라(8)는 예정된 경로를 벗어나서 차량(4)이 주차되거나 이동하는 경우에도 차량(4)을 촬영하고, 차량 번호판 인식 시스템(12)은 차량(4)의 번호판을 인식할 수 있다. Referring to FIG. 2, the road width may be wide enough to allow two vehicles to move despite one-way traffic in the same situation as a one-way alley road. In such a case, it is often the case that the vehicle 4 is illegally parked in an unexpected place. In addition, since the road width is wide, it is difficult to predict easily whether the vehicle 4 moves to the left or right of the road. In the present invention, the camera 8 attached to the support table 6 photographs the vehicle 4 even when the vehicle 4 is parked or moved out of the predetermined path, and the license plate recognition system 12 detects the vehicle 4, Can recognize the license plate.

도 3은 도 1에 도시된 차량 번호판 인식 시스템의 블록도를 나타낸다. Fig. 3 shows a block diagram of the license plate recognition system shown in Fig. 1. Fig.

도 1과 도 3을 참조하면, 차량 번호판 인식 시스템(10)은 수신 모듈(11), 차량 모델 검출 모듈(13), 각도 계산 모듈(15), 분석 모듈(17), 및 데이터베이스(19)를 포함한다. 1 and 3, the license plate recognition system 10 includes a receiving module 11, a vehicle model detecting module 13, an angle calculating module 15, an analyzing module 17, and a database 19 .

본 명세서에 모듈(module)이라 함은 본 발명의 실시 예에 따른 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다 예컨대, 상기 모듈은 소정의 프로그램 코드와 상기 프로그램 코드가 수행되기 위한 하드웨어 리소스의 논리적 또는 기능적 단위를 의미할 수 있으며 반드시 물리적으로 연결된 프로그램 코드를 의미하거나 한 종류의 하드웨어를 의미하는 것은 아니다.As used herein, a module may mean a functional or structural combination of hardware for performing the technical idea and software for driving the hardware according to the embodiment of the present invention. For example, Code " means a logical or functional unit of a hardware resource to be executed by the code and not necessarily a physically connected program code or a kind of hardware.

도 3에서는 도 1에 도시된 차량 번호판 인식 시스템(10)의 블록도를 도시하였으나, 도 2에 도시된 차량 번호판 인식 시스템(12)의 블록도도 도 1에 도시된 차량 번호판 인식 시스템(10)의 블록도와 동일하게 적용된다. 3 is a block diagram of the license plate recognition system 10 shown in FIG. 1, the block diagram of the license plate recognition system 12 shown in FIG. 2 is the same as the license plate recognition system 10 shown in FIG. The same applies to the block diagram of FIG.

도 4는 도 3에 도시된 수신 모듈에 의해 수신된 제1이미지를 나타낸다. Figure 4 shows a first image received by the receiving module shown in Figure 3;

도 1, 도 3, 및 도 4를 참조하면, 수신 모듈(11)은 카메라(9)로부터 차량(3)이 찍힌 제1이미지를 수신한다. 도 4에서의 제1이미지는 카메라(9)의 줌인(zoom in) 기능으로 인해 촬영된 이미지거나, 소프트웨어적으로 확대된 이미지일 수 있다. Referring to Figures 1, 3 and 4, the receiving module 11 receives a first image of the vehicle 3 from the camera 9. The first image in Fig. 4 may be a photographed image due to the zoom in function of the camera 9, or a software magnified image.

도 5는 도 3에 도시된 차량 모델 검출 모듈에 의해 와이어프레임이 적용된 차량의 이미지를 나타낸다. 5 shows an image of a vehicle to which a wire frame is applied by the vehicle model detecting module shown in Fig.

도 1, 도 3, 도 4, 및 도 5를 참조하면, 차량 모델 검출 모듈(13)은 상기 제1이미지에서의 차량(3)에 3D 와이어프레임(wireframe) 모델을 적용하여 차량(3)의 모델을 검출한다. 3D 와이어프레임 모델은 3D 컴퓨터 그래픽에 이용되는 3D 시각적 프리젠테이션(presentation)을 의미한다. 차량 모델 검출 모듈(13)에 의해 상기 제1이미지에서의 차량(3)에 3D 와이어프레임(wireframe) 모델이 적용될 때, 차량(3)의 에지들(edges)이 추출될 수 있다. 에지(edge; 예컨대, E1)는 한 쌍의 버티스(vertices; V1, V2)에 의해 정의된다. 도 5에서는 설명의 편의상 하나의 에지(E1)와 4개의 버티스(V1, V2, V3, 및 V4)만이 도시되었으나, 도 5에서 차량(3)을 형성하는 모든 선들이 에지들이며, 각 에지는 한 쌍의 버티스에 의해 정의된다. 각 버텍스(vertex; V1, V2, V3, 또는 V4)는 (x, y, z) 좌표로 표현될 수 있다. 3D 와이어프레임 모델이 적용된 후, 차량 모델 검출 모듈(13)은 차량(3)의 버텍스(예컨대, V1, V2, V3, 또는 V4)의 좌표 정보와 에지(예컨대, E1)의 좌표 정보를 생성할 수 있다. 차량 모델 검출 모듈(13)은 생성된 차량(3)의 버텍스(예컨대, V1, V2, V3, 또는 V4)의 좌표 정보와 에지(예컨대, E1)의 좌표 정보를 이용하여 차량(3)의 모델을 검출할 수 있다. 즉, 차량(3)이 승용차인지, SUV인지, 버스인지, 트럭인지 확인될 수 있다. 차량(3)의 모델이 검출된 후, 모델에 따른 차량(3)의 번호판의 부착 위치도 확인된다. Referring to Figures 1, 3, 4 and 5, the vehicle model detection module 13 applies a 3D wireframe model to the vehicle 3 in the first image, Detect the model. The 3D wireframe model refers to a 3D visual presentation used in 3D computer graphics. When a 3D wireframe model is applied to the vehicle 3 in the first image by the vehicle model detection module 13, edges of the vehicle 3 can be extracted. An edge (e.g., E1) is defined by a pair of vertices (V1, V2). 5, only one edge E1 and four vertices V1, V2, V3, and V4 are shown for convenience of explanation, but in FIG. 5, all the lines forming the vehicle 3 are edges, It is defined by a pair of vertices. Each vertex (V1, V2, V3, or V4) can be represented by (x, y, z) coordinates. After the 3D wireframe model is applied, the vehicle model detection module 13 generates coordinate information of the vertex (e.g., V1, V2, V3, or V4) of the vehicle 3 and coordinate information of the edge (e.g., E1) . The vehicle model detection module 13 detects the model of the vehicle 3 using the coordinate information of the vertex (e.g., V1, V2, V3 or V4) of the generated vehicle 3 and the coordinate information of the edge Can be detected. That is, it can be confirmed that the vehicle 3 is a passenger car, an SUV, a bus, or a truck. After the model of the vehicle 3 is detected, the mounting position of the license plate of the vehicle 3 according to the model is also confirmed.

각도 계산 모듈(15)은 상기 검출된 차량(3)의 모델에서 한 쌍의 버티스(vertices; V1과 V2)와 기준 라인(E0)을 비교한다. 한 쌍의 버티스(V1과 V2)의 좌표를 통해 에지(E1)의 좌표가 확인된다. 기준 라인(E0)이란 가상의 선으로, 카메라(9)가 차량(3)의 정면을 촬영한다고 가정할 때, 차량(3)에서 생성될 수 있는 에지를 의미한다. 실시 예에 따라 기준 라인(E0)은 차량(3)에 3D 와이어프레임 모델이 적용된 후 차량(3)을 팬(pan), 틸트(tilt), 또는 롤(roll)하고, 차량(3)을 정면으로 위치시켜 기준 라인(EO)을 설정할 수 있다. The angle calculation module 15 compares a pair of vertices (V1 and V2) and a reference line E0 in the model of the detected vehicle (3). The coordinates of the edge E1 are confirmed through the coordinates of the pair of vertices V1 and V2. The reference line E0 is an imaginary line and means an edge that can be generated in the vehicle 3 when it is assumed that the camera 9 photographs the front face of the vehicle 3. [ According to the embodiment, the reference line E0 can be used to pan, tilt, or roll the vehicle 3 after the 3D wireframe model is applied to the vehicle 3, So that the reference line EO can be set.

각도 계산 모듈(15)은 에지(E1)의 좌표와 기준 라인(E0)의 좌표 비교하여 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)를 계산할 수 있다. The angle calculation module 15 can calculate the y-axis angle? Between the detected model of the vehicle 3 and the camera 9 by comparing the coordinates of the edge E1 with the coordinates of the reference line E0.

분석 모듈(17)은 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)가 임의의 각도(예컨대, 30도)보다 작을 때, 상기 제1이미지에서 차량(3)의 번호판 영역을 분석할 수 있다. 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)가 30도보다 큰 경우, 차량(3)의 번호판이 제대로 인식되는 확률은 적으므로 이러한 경우는 제외한다. The analysis module 17 determines that the vehicle 3 is in the first image when the y-axis angle [theta] between the model of the detected vehicle 3 and the camera 9 is smaller than an arbitrary angle (e.g., Can be analyzed. When the y-axis angle [theta] between the model of the detected vehicle 3 and the camera 9 is greater than 30 degrees, the probability that the license plate of the vehicle 3 is correctly recognized is small, and this case is excluded.

도 6은 도 3에 도시된 수신 모듈에 의해 수신되는 복수의 이미지들을 나타낸다. Figure 6 shows a plurality of images received by the receiving module shown in Figure 3;

도 1, 도 3, 도 4, 도 5 및 도 6을 참조하면, 수신 모듈(11)은 카메라(9)로부터 복수의 이미지들(IMG1~IMGN; N은 자연수)을 수신할 수 있다. 분석 모듈(17)은 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ) 때문에 제1이미지(예컨대, IMG1)만으로 차량(3)의 번호판을 완벽하게 분석하지 못할 수 있다. 1, 3, 4, 5 and 6, the receiving module 11 can receive a plurality of images IMG1 to IMGN (N is a natural number) from the camera 9. [ The analysis module 17 may not be able to completely analyze the plates of the vehicle 3 with only the first image (e.g. IMG1) because of the y-axis angle [theta] between the model of the detected vehicle 3 and the camera 9. [ have.

차량(3)의 번호판이 완벽하게 분석되지 않을 때, 수신 모듈(11)은 카메라(9)로부터 제1이미지(IMG1)에서의 차량(3)의 위치와 다른 위치의 차량(3)이 찍힌 제2이미지(예컨대, IMG3)를 수신할 수 있다. 제1이미지(IMG1)가 M 번째(M은 자연수) 이미지일 때, 제2이미지(IMG3)는 (M+2) 번째 이미지일 수 있다. 즉, 제1이미지(IMG1)와 제2이미지(IMG3) 사이에는 적어도 어느 하나의 이미지(예컨대, IMG2)가 있다. 카메라(9)는 차량(3)의 이동과 시간에 따라 이미지들(IMG1~IMGN)을 촬영한다. 제1이미지(IMG1)가 제1시간(t0)에 촬영된 이미지라면, 이미지(IMG2)는 제1시간(t0)보다는 시간이 지난 제2시간(t1)에 촬영된 이미지이며, 이미지(IMG3)는 제1시간(t0)과 제2시간(t1)보다는 시간이 지난 제3시간(t2)에 촬영된 이미지를 의미한다. 제1이미지(IMG1)와 이미지(IMG2)가 아닌, 제1이미지(IMG1)와 제2이미지(IMG3)를 이용함으로써 보다 효율적으로 차량(3)의 번호판이 분석될 수 있다. 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)는 제1이미지(IMG1)와 이미지(IMG2)보다는 제1이미지(IMG1)와 제2이미지(IMG3)에서 상대적으로 큰 차이가 있을 것이기 때문이다. When the number plate of the vehicle 3 is not perfectly analyzed, the receiving module 11 receives the vehicle 3 at a position different from the position of the vehicle 3 in the first image IMG1 from the camera 9 2 image (e.g., IMG3). When the first image IMG1 is an Mth (M is a natural number) image, the second image IMG3 may be an (M + 2) th image. That is, at least one image (for example, IMG2) exists between the first image IMG1 and the second image IMG3. The camera 9 photographs the images IMG1 to IMGN according to the movement of the vehicle 3 and the time. If the first image IMG1 is the image photographed at the first time t0, the image IMG2 is the image photographed at the second time t1 past the first time t0, Refers to an image photographed at a third time t2 after a time longer than a first time t0 and a second time t1. The plates of the vehicle 3 can be analyzed more efficiently by using the first image IMG1 and the second image IMG3 rather than the first image IMG1 and the image IMG2. The y-axis angle? Between the model of the detected vehicle 3 and the camera 9 is relatively smaller in the first image IMG1 and the second image IMG3 than the first image IMG1 and the image IMG2. There will be a big difference.

차량 모델 검출 모듈(13)은 제2이미지(IMG3)에서의 차량(3)에 3D 와이어프레임 모델을 적용하여 차량(3)의 모델을 검출할 수 있다. The vehicle model detection module 13 can detect the model of the vehicle 3 by applying the 3D wireframe model to the vehicle 3 in the second image IMG3.

각도 계산 모듈(15)이 검출된 차량(3)의 모델에서 한 쌍의 버티스(예컨대, V1, V2)와 기준 라인(E0)을 비교하여 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)를 계산한다. 제2이미지(IMG3)에서의 한 쌍의 버티스(예컨대, V1, V2)의 좌표와 제1이미지(IMG1)에서의 한 쌍의 버티스(예컨대, V1, V2)의 좌표는 다르다. 제1이미지(IMG1)와 제2이미지(IMG3) 각각에서 차량(3)은 서로 다른 시간과 위치에 촬영된 이미지이기 때문이다. The angle calculation module 15 compares the detected model of the vehicle 3 and the camera 9 by comparing the pair of vertices (for example, V1 and V2) and the reference line E0 in the model of the vehicle 3, Axis angle &thetas; The coordinates of a pair of vertices (e.g., V1, V2) in the second image IMG3 and the coordinates of a pair of vertices (e.g., V1, V2) in the first image IMG1 are different. This is because the vehicle 3 in each of the first image IMG1 and the second image IMG3 is an image photographed at different times and positions.

분석 모듈(17)은 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)가 임의의 각도보다 작을 때, 제2이미지(IMG3)에서 차량(3)의 번호판 영역을 분석할 수 있다. The analysis module 17 determines the license plate area of the vehicle 3 in the second image IMG3 when the y-axis angle [theta] between the model of the detected vehicle 3 and the camera 9 is smaller than an arbitrary angle Can be analyzed.

도 7은 도 3에 도시된 차량 분석 모듈에 의해 분석된 차량의 번호판 영역을 나타내는 이미지의 일 실시 예를 나타낸다. Fig. 7 shows an embodiment of an image representing a license plate area of a vehicle analyzed by the vehicle analysis module shown in Fig. 3;

도 1, 도 3, 도 4, 도 5, 도 6 및 도 7을 참조하면, 제1이미지(IMG1)에서 차량(3)의 번호들(12가3456) 중 일부(예컨대, 12가)만이 식별될 때, 분석 모듈(17)은 제2이미지(IMG3)에서 제1이미지(IMG1)에서 분석된 번호(예컨대, 12가)는 제외하고 차량(3)의 나머지 번호판 영역(예컨대, 3456)을 분석하여 분석 시간을 줄일 수 있다. Referring to FIGS. 1, 3, 4, 5, 6 and 7, only some of the numbers 12 (for example, 12) of the vehicles 3 in the first image IMG1 The analyzing module 17 analyzes the remaining license plate area (e.g., 3456) of the vehicle 3, excluding the analyzed number (e.g., 12) in the first image IMG1 in the second image IMG3 And the analysis time can be reduced.

도 8은 도 3에 도시된 데이터베이스에 저장되는 이미지 파일 형식의 일 실예를 나타낸다. Fig. 8 shows an example of an image file format stored in the database shown in Fig.

도 1, 도 3, 도 4, 도 5, 도 6 및 도 8을 참조하면, 수신 모듈(11)은 카메라(9)로부터 N(N은 자연수)개의 이미지들을 수신할 때, 제1이미지(IMG1)에서 차량(3)의 번호판 영역의 영상 데이터와 제2이미지(IMG3)에서 차량(3)의 번호판 영역의 영상 데이터는 데이터베이스(19)에 저장된다. 번호판 영역의 영상 데이터는 번호판 영역의 이미지 데이터를 의미한다. 번호판 영역의 영상 데이터 각각의 파일 형식은 버전, 이미지들의 수, 촬영연도, 날짜, 시분초, 날씨, M 번째(M은 자연수) 이미지의 가로 크기, 상기 M 번째 이미지의 세로 크기, 픽셀당 바이트 수, 상기 M 번째 이미지의 상기 차량의 x 위치, 상기 M 번째 이미지의 상기 차량의 y 위치, (M +1) 번째 이미지의 가로 크기, 상기 (M+1) 번째 이미지의 세로 크기, 픽셀당 바이트 수, 상기 (M+1) 번째 이미지의 상기 차량의 x 위치, 상기 (M+1) 번째 이미지의 상기 차량의 y 위치, P 번째(P는 M보다 큰 자연수) 이미지의 가로 크기, 상기 P 번째 이미지의 세로 크기, 픽셀당 바이트 수, 상기 P 번째 이미지의 상기 차량의 x 위치, 상기 N 번째 이미지의 상기 차량의 y 위치, 상기 M 번째 이미지에서 상기 차량의 번호판 영역의 영상 데이터, 상기 (M+1) 번째 이미지에서 상기 차량의 번호판 영역의 영상 데이터, 및 상기 P 번째 이미지에서 상기 차량의 번호판 영역의 영상 데이터를 포함한다. 상기 제1이미지는 M 번째 이미지이며, 상기 제2이미지는 P 번째 이미지일 수 있다. 이미지들(IMG1~IMGN) 전체가 아니라 번호판 영역의 영상 데이터만을 저장함으로써 효율적으로 데이터가 관리될 수 있다. Referring to FIGS. 1, 3, 4, 5, 6 and 8, when the receiving module 11 receives N (N is a natural number) images from the camera 9, the first image IMG1 , The image data of the license plate area of the vehicle 3 and the image data of the license plate area of the vehicle 3 in the second image IMG3 are stored in the database 19. [ The image data of the license plate area means image data of the license plate area. Each of the file formats of the license plate area includes a version, a number of images, a shooting year, a date, a time, a second, a weather, a horizontal size of an Mth (M is a natural number) image, a vertical size of the Mth image, The x position of the vehicle in the Mth image, the y position of the vehicle in the Mth image, the horizontal size of the (M + 1) th image, the vertical size of the (M + The x position of the vehicle in the (M + 1) th image, the y position of the vehicle in the (M + 1) th image, the horizontal size of the Pth (P is a natural number greater than M) The number of bytes per pixel, the x-position of the vehicle of the P-th image, the y-position of the vehicle of the N-th image, the image data of the license plate area of the vehicle in the M- ) ≪ / RTI > image of the vehicle In the image data, and the P-th image of the station includes a video data area of the license plate of the vehicle. The first image may be an Mth image, and the second image may be a Pth image. Data can be efficiently managed by storing only the image data of the license plate area rather than the entire images IMG1 to IMGN.

도 9는 도 3에 도시된 차량 번호판 인식 시스템의 동작을 설명하기 위한 흐름도를 나타낸다.9 is a flowchart illustrating the operation of the license plate recognition system shown in FIG.

도 1, 도 3 내지 도 9를 참조하면, 수신 모듈(11)은 카메라(9)로부터 차량(3)이 찍힌 제1이미지(IMG1)를 수신한다(S10).1, 3 to 9, the receiving module 11 receives the first image IMG1 in which the vehicle 3 is captured from the camera 9 (S10).

차량 모델 검출 모듈(13)은 제1이미지(IMG1)에서의 차량(3)에 3D 와이어프레임 모델을 적용하여 차량(3)의 모델을 검출한다(S20).The vehicle model detection module 13 detects the model of the vehicle 3 by applying the 3D wireframe model to the vehicle 3 in the first image IMG1 (S20).

각도 계산 모듈(15)은 상기 검출된 차량(3)의 모델에서 한 쌍의 버티스(V1과 V2)와 기준 라인(E0)을 비교하고, 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)를 계산할 수 있다(S30).The angle calculation module 15 compares the pair of vertices V1 and V2 with the reference line E0 in the model of the detected vehicle 3 and compares the detected model of the vehicle 3 and the camera 9, The y-axis angle [theta] can be calculated (S30).

분석 모듈(17)은 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)가 임의의 각도(예컨대, 30도)보다 작은지 판단한다(S40). The analysis module 17 determines whether the y-axis angle [theta] between the model of the detected vehicle 3 and the camera 9 is smaller than an arbitrary angle (e.g., 30 [deg.]) (S40).

검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)가 임의의 각도(예컨대, 30도)보다 작을 때, 분석 모듈(17)은 제1이미지(IMG1)에서 차량(3)의 번호판 영역을 분석할 수 있다(S50). When the y-axis angle [theta] between the model of the detected vehicle 3 and the camera 9 is smaller than an arbitrary angle (for example, 30 degrees), the analysis module 17 determines that the vehicle 1 is in the first image IMG1 3) can be analyzed (S50).

분석 모듈(17)은 제1이미지(IMG1)에서 차량(3)의 번호판 영역이 완벽하게 분석되었는지 판단한다(S60).The analysis module 17 determines whether the license plate area of the vehicle 3 is completely analyzed in the first image IMG1 (S60).

차량(3)의 번호판이 제1이미지(IMG1)에서 완벽하게 분석되지 않을 때, 수신 모듈(11)은 카메라(9)로부터 제1이미지(IMG1)에서의 차량(3)의 위치와 다른 위치의 차량(3)이 찍힌 제2이미지(예컨대, IMG3)를 수신한다(S70). When the number plate of the vehicle 3 is not completely analyzed in the first image IMG1, the receiving module 11 detects the position of the vehicle 3 in the first image IMG1 from the camera 9, And receives a second image (e.g., IMG3) of the vehicle 3 (S70).

차량 모델 검출 모듈(13)은 제2이미지(IMG3)에서의 차량(3)에 3D 와이어프레임 모델을 적용하여 차량(3)의 모델을 검출한다(S80).The vehicle model detection module 13 detects the model of the vehicle 3 by applying the 3D wireframe model to the vehicle 3 in the second image IMG3 (S80).

각도 계산 모듈(15)은 제1이미지(IMG1)에서와 유사하게 제2이미지(IMG3)에서 검출된 차량(3)의 모델에서 한 쌍의 버티스(V1과 V2)와 기준 라인(E0)을 비교하고, 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)를 계산할 수 있다(S90).The angle calculation module 15 calculates a pair of vertices V1 and V2 and a reference line E0 in the model of the vehicle 3 detected in the second image IMG3 similarly to the first image IMG1 , And the y-axis angle [theta] between the model of the detected vehicle 3 and the camera 9 can be calculated (S90).

분석 모듈(17)은 검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)가 임의의 각도(예컨대, 30도)보다 작은지 판단한다(S100). The analysis module 17 determines whether the y-axis angle [theta] between the detected model of the vehicle 3 and the camera 9 is smaller than an arbitrary angle (e.g., 30 [deg.]) (S100).

검출된 차량(3)의 모델과 카메라(9) 사이의 y축 각도(θ)가 임의의 각도(예컨대, 30도)보다 작을 때, 분석 모듈(17)은 제2이미지(IMG3)에서 분석되지 않은 차량(3)의 나머지 번호판 영역을 분석한다(S110). When the y-axis angle [theta] between the model of the detected vehicle 3 and the camera 9 is smaller than an arbitrary angle (for example 30 degrees), the analysis module 17 is not analyzed in the second image IMG3 And analyzes the remaining license plate area of the vehicle 3 (S110).

분석 모듈(17)은 제2이미지(IMG3)에서 차량(3)의 번호판 영역이 완벽하게 분석되었는지 판단한다(S120).The analysis module 17 determines whether the license plate area of the vehicle 3 is completely analyzed in the second image IMG3 (S120).

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

1: 교차로; 11: 수신 모듈;
3: 차량; 13: 차량 모델 검출 모델;
5: 경로; 15: 각도 계산 모듈;
7: 지지대; 17: 분석 모듈;
9: 카메라; 19: 데이터베이스;
1: Intersection; 11: receiving module;
3: vehicle; 13: vehicle model detection model;
5: path; 15: angle calculation module;
7: Supports; 17: Analysis module;
9: camera; 19: Database;

Claims (8)

수신 모듈은 카메라로부터 차량이 찍힌 제1이미지를 수신하는 단계;
차량 모델 검출 모듈은 상기 제1이미지에서의 상기 차량에 3D 와이어프레임(wireframe) 모델을 적용하여 상기 차량의 모델을 검출하는 단계;
각도 계산 모듈은 상기 검출된 차량의 모델에서 하나의 에지와 기준 라인을 비교하여 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도를 계산하는 단계; 및
분석 모듈은 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도가 임의의 각도보다 작을 때, 상기 제1이미지에서 상기 차량의 번호판 영역을 분석하는 단계를 포함하며,
상기 에지는 한 쌍의 버티스를 연결하여 생성된 선이며,
상기 기준 라인은 가상의 선으로, 상기 차량을 팬(pan), 틸트(tilt), 또는 롤(roll)하여, 상기 차량을 정면으로 위치시켜 설정되는 다차선에서의 차량 번호판 인식 방법.
The receiving module comprising: receiving a first image of the vehicle from the camera;
The vehicle model detection module detecting a model of the vehicle by applying a 3D wireframe model to the vehicle in the first image;
Calculating a y-axis angle between the detected model of the vehicle and the camera by comparing one edge and a reference line in the model of the detected vehicle; And
Wherein the analysis module includes analyzing the license plate area of the vehicle in the first image when the y-axis angle between the detected model of the vehicle and the camera is less than an arbitrary angle,
The edge is a line created by connecting a pair of vertices,
Wherein the reference line is set by panning, tilting, or rolling the vehicle with an imaginary line, and positioning the vehicle in front.
제1항에 있어서, 상기 다차선에서의 차량 번호판 인식 방법은,
상기 차량의 번호판이 완벽하게 분석되지 않을 때, 상기 수신 모듈은 상기 카메라로부터 상기 제1이미지에서의 상기 차량의 위치와 다른 위치의 상기 차량이 찍힌 제2이미지를 수신하는 단계;
상기 차량 모델 검출 모듈은 상기 제2이미지에서의 상기 차량에 3D 와이어프레임 모델을 적용하여 상기 차량의 모델을 검출하는 단계;
상기 각도 계산 모듈은 상기 검출된 차량의 모델에서 하나의 에지와 기준 라인을 비교하여 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도를 계산하는 단계; 및
상기 분석 모듈은 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도가 임의의 각도보다 작을 때, 상기 제2이미지에서 상기 차량의 번호판 영역을 분석하는 단계를 더 포함하는 다차선에서의 차량 번호판 인식 방법.
The vehicle license plate recognition method according to claim 1,
When the number plate of the vehicle is not fully analyzed, the receiving module receives from the camera a second image of the vehicle at a location different from the location of the vehicle in the first image;
The vehicle model detection module detecting a model of the vehicle by applying a 3D wireframe model to the vehicle in the second image;
Wherein the angle calculation module calculates an y-axis angle between the detected model of the vehicle and the camera by comparing one edge and a reference line in the detected model of the vehicle; And
Wherein the analysis module further comprises analyzing the license plate area of the vehicle in the second image when the y-axis angle between the model of the detected vehicle and the camera is less than an arbitrary angle, Recognition method.
제2항에 있어서, 상기 제2이미지에서 상기 차량의 번호판 영역을 분석하는 단계는,
상기 제1이미지에서 상기 차량의 번호들 중 일부만이 식별될 때, 상기 분석 모듈은 상기 제2이미지에서 상기 제1이미지에서 분석된 번호는 제외하고 상기 차량의 번호판 영역을 분석하는 단계를 포함하는 다차선에서의 차량 번호판 인식 방법.
3. The method of claim 2, wherein analyzing the license plate area of the vehicle in the second image comprises:
When only a portion of the numbers of the vehicles in the first image are identified, the analysis module includes analyzing the license plate area of the vehicle, excluding numbers analyzed in the first image in the second image A method of recognizing a license plate in a lane.
제2항에 있어서,
상기 수신 모듈은 상기 카메라로부터 N 개(N은 자연수)의 이미지들을 수신하며,
상기 제1이미지가 M 번째(M은 자연수) 이미지일 때, 상기 제2이미지는 (M+2) 번째 이미지인 다차선에서의 차량 번호판 인식 방법.
3. The method of claim 2,
Wherein the receiving module receives N (N is a natural number) images from the camera,
Wherein the second image is an (M + 2) -th image when the first image is an M-th (M is a natural number) image.
제1항에 있어서,
상기 임의의 각도는 30도인 다차선에서의 차량 번호판 인식 방법.
The method according to claim 1,
Wherein the arbitrary angle is 30 degrees.
카메라로부터 차량이 찍힌 제1이미지를 수신하는 수신 모듈;
상기 제1이미지에서의 상기 차량에 3D 와이어프레임 모델을 적용하여 상기 차량의 모델을 검출하는 차량 모델 검출 모듈;
상기 검출된 차량의 모델에서 하나의 에지와 기준 라인을 비교하여 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도를 계산하는 각도 계산 모듈; 및
상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도가 임의의 각도보다 작을 때, 상기 제1이미지에서 상기 차량의 번호판 영역을 분석하는 분석 모듈을 포함하며,
상기 에지는 한 쌍의 버티스를 연결하여 생성된 선이며,
상기 기준 라인은 가상의 선으로, 상기 차량을 팬(pan), 틸트(tilt), 또는 롤(roll)하여, 상기 차량을 정면으로 위치시켜 설정되는 다차선에서의 차량 번호판 인식 시스템.
A receiving module for receiving a first image of a vehicle from a camera;
A vehicle model detection module for detecting a model of the vehicle by applying a 3D wireframe model to the vehicle in the first image;
An angle calculation module for calculating a y-axis angle between the detected model of the vehicle and the camera by comparing one edge and a reference line in the model of the detected vehicle; And
And an analysis module for analyzing the license plate area of the vehicle in the first image when the y-axis angle between the detected model of the vehicle and the camera is smaller than an arbitrary angle,
The edge is a line created by connecting a pair of vertices,
Wherein the reference line is set by placing the vehicle in front by panning, tilting, or rolling the vehicle with a virtual line.
제6항에 있어서,
상기 차량의 번호판이 완벽하게 분석되지 않을 때, 상기 수신 모듈은 상기 카메라로부터 상기 제1이미지에서의 상기 차량의 위치와 다른 위치의 상기 차량이 찍힌 제2이미지를 수신하며, 상기 차량 모델 검출 모듈은 상기 제2이미지에서의 상기 차량에 3D 와이어프레임 모델을 적용하여 상기 차량의 모델을 검출하며, 상기 각도 계산 모듈이 상기 검출된 차량의 모델에서 하나의 에지와 기준 라인을 비교하여 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도를 계산하며, 상기 분석 모듈은 상기 검출된 차량의 모델과 상기 카메라 사이의 y축 각도가 임의의 각도보다 작을 때, 상기 제2이미지에서 상기 차량의 번호판 영역을 분석하는 다차선에서의 차량 번호판 인식 시스템.
The method according to claim 6,
When the number plate of the vehicle is not perfectly analyzed, the receiving module receives a second image of the vehicle taken at a position different from the position of the vehicle in the first image from the camera, Applying a 3D wireframe model to the vehicle in the second image to detect the model of the vehicle; and the angle calculation module compares one edge and a reference line in the model of the detected vehicle, Axis angle between the model and the camera, and the analysis module calculates a y-axis angle between the model and the camera, wherein the analysis module calculates the y-axis angle between the model of the detected vehicle and the camera, Vehicle License Plate Recognition System in Multi - lane Analysis.
제7항에 있어서, 상기 수신 모듈은 상기 카메라로부터 N(N은 자연수)개의 이미지들을 수신할 때,
상기 제1이미지에서 상기 차량의 번호판 영역의 영상 데이터와 상기 제2이미지에서 상기 차량의 번호판 영역의 영상 데이터 각각의 파일 형식은,
버전, 이미지들의 수, 촬영연도, 날짜, 시분초, 날씨, M 번째(M은 자연수) 이미지의 가로 크기, 상기 M 번째 이미지의 세로 크기, 픽셀당 바이트 수, 상기 M 번째 이미지의 상기 차량의 x 위치, 상기 M 번째 이미지의 상기 차량의 y 위치, (M +1) 번째 이미지의 가로 크기, 상기 (M+1) 번째 이미지의 세로 크기, 픽셀당 바이트 수, 상기 (M+1) 번째 이미지의 상기 차량의 x 위치, 상기 (M+1) 번째 이미지의 상기 차량의 y 위치, P 번째(P는 M보다 큰 자연수) 이미지의 가로 크기, 상기 P 번째 이미지의 세로 크기, 픽셀당 바이트 수, 상기 P 번째 이미지의 상기 차량의 x 위치, 상기 P 번째 이미지의 상기 차량의 y 위치, 상기 M 번째 이미지에서 상기 차량의 번호판 영역의 영상 데이터, 상기 (M+1) 번째 이미지에서 상기 차량의 번호판 영역의 영상 데이터, 및 상기 P 번째 이미지에서 상기 차량의 번호판 영역의 영상 데이터를 포함하며, 상기 제1이미지는 M 번째 이미지이며, 상기 제2이미지는 P 번째 이미지인 다차선에서의 차량 번호판 인식 시스템.


8. The apparatus of claim 7, wherein when the receiving module receives N (N is a natural number) images from the camera,
The file format of the image data of the license plate area of the vehicle in the first image and the image data of the license plate area of the vehicle in the second image,
(M is a natural number) image, the vertical size of the M-th image, the number of bytes per pixel, the x-th image of the M-th image, (M + 1) -th image, the vertical size of the (M + 1) -th image, the number of bytes per pixel, the position of the (M + (X, y) of the vehicle in the (M + 1) -th image, a horizontal size of the Pth image (P is a natural number greater than M), a vertical size of the Pth image, (X, y) of the vehicle of the Pth image, the y position of the vehicle of the Pth image, the image data of the license plate area of the vehicle in the Mth image, the image data of the license plate area of the vehicle Image data, and the P-th image Group wherein the first image includes image data of the license plate area of the vehicle is the M-th image, the second image is second image P of the license plate recognition system in the lane.


KR1020180055149A 2018-05-14 2018-05-14 Method and system for recognizing vehicle plate in multi-lane KR101888959B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180055149A KR101888959B1 (en) 2018-05-14 2018-05-14 Method and system for recognizing vehicle plate in multi-lane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180055149A KR101888959B1 (en) 2018-05-14 2018-05-14 Method and system for recognizing vehicle plate in multi-lane

Publications (1)

Publication Number Publication Date
KR101888959B1 true KR101888959B1 (en) 2018-08-16

Family

ID=63443473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180055149A KR101888959B1 (en) 2018-05-14 2018-05-14 Method and system for recognizing vehicle plate in multi-lane

Country Status (1)

Country Link
KR (1) KR101888959B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101935010B1 (en) 2018-10-22 2019-01-04 (주)그린아이티코리아 Apparatus and method for recognizing license plate of car based on image
KR101971878B1 (en) 2018-11-28 2019-04-26 극동대학교 산학협력단 Video surveillance system and method using deep-learning based car number recognition technology in multi-lane environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727732B2 (en) * 2007-02-15 2011-07-20 三菱重工業株式会社 Vehicle number recognition device
KR20160083226A (en) * 2014-12-30 2016-07-12 순천향대학교 산학협력단 Apparatus and method for recognizing license plate
KR20170036126A (en) * 2012-10-12 2017-03-31 이베이 인크. Guided photography and video on a mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4727732B2 (en) * 2007-02-15 2011-07-20 三菱重工業株式会社 Vehicle number recognition device
KR20170036126A (en) * 2012-10-12 2017-03-31 이베이 인크. Guided photography and video on a mobile device
KR20160083226A (en) * 2014-12-30 2016-07-12 순천향대학교 산학협력단 Apparatus and method for recognizing license plate

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101935010B1 (en) 2018-10-22 2019-01-04 (주)그린아이티코리아 Apparatus and method for recognizing license plate of car based on image
KR101971878B1 (en) 2018-11-28 2019-04-26 극동대학교 산학협력단 Video surveillance system and method using deep-learning based car number recognition technology in multi-lane environment

Similar Documents

Publication Publication Date Title
US10685246B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
EP3193320B1 (en) Method for collecting evidence of vehicle parking violation, and apparatus therefor
Wu et al. Lane-mark extraction for automobiles under complex conditions
JP7190583B2 (en) Vehicle feature acquisition method and device
CN108877269B (en) Intersection vehicle state detection and V2X broadcasting method
US8406472B2 (en) Method and system for processing image data
CN111046743B (en) Barrier information labeling method and device, electronic equipment and storage medium
CN110738150B (en) Camera linkage snapshot method and device and computer storage medium
KR102491527B1 (en) Detection of objects in camera images
WO2020154990A1 (en) Target object motion state detection method and device, and storage medium
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
KR101888959B1 (en) Method and system for recognizing vehicle plate in multi-lane
Cualain et al. Multiple-camera lane departure warning system for the automotive environment
CN112862856A (en) Method, device and equipment for identifying illegal vehicle and computer readable storage medium
JP2016164745A (en) Obstacle detection device and obstacle detection method
JP5062091B2 (en) Moving object identification device, computer program, and optical axis direction specifying method
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
KR20190134303A (en) Apparatus and method for image recognition
JP7259309B2 (en) Image processing device and image processing method
US20150178577A1 (en) Image processing apparatus, and image processing method
JP5176523B2 (en) Moving body detection apparatus, moving body detection method, and moving body detection program
KR102418344B1 (en) Traffic information analysis apparatus and method
JP7359099B2 (en) Mobile object interference detection device, mobile object interference detection system, and mobile object interference detection program
KR101432727B1 (en) moving object detection system using Head light beam pattern for crash prevention of vehicle and object and moving object detection method using Thereof

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant