KR101574874B1 - Method and apparatus for character segmentation of license plate - Google Patents

Method and apparatus for character segmentation of license plate Download PDF

Info

Publication number
KR101574874B1
KR101574874B1 KR1020140015111A KR20140015111A KR101574874B1 KR 101574874 B1 KR101574874 B1 KR 101574874B1 KR 1020140015111 A KR1020140015111 A KR 1020140015111A KR 20140015111 A KR20140015111 A KR 20140015111A KR 101574874 B1 KR101574874 B1 KR 101574874B1
Authority
KR
South Korea
Prior art keywords
license plate
image
character
technique
labeling
Prior art date
Application number
KR1020140015111A
Other languages
Korean (ko)
Other versions
KR20150094165A (en
Inventor
진문용
박동선
홍창표
박종빈
Original Assignee
전북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단 filed Critical 전북대학교산학협력단
Priority to KR1020140015111A priority Critical patent/KR101574874B1/en
Publication of KR20150094165A publication Critical patent/KR20150094165A/en
Application granted granted Critical
Publication of KR101574874B1 publication Critical patent/KR101574874B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Character Input (AREA)

Abstract

본 발명은 차량 번호판의 문자 분할 방법 및 장치에 관한 것으로,
상기 방법은 번호판 영상에 포함된 번호판 타입을 결정하는 결정 단계; 상기 번호판 타입이 검정색 문자 타입이면, 제1 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제1 처리 단계; 및 상기 번호판 타입이 흰색 문자 타입이면, 제2 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제2 처리 단계;를 포함하여, 번호판 타입과 상관없이 항상 신뢰성있는 문자 분할 동작을 수행할 수 있도록 한다.
The present invention relates to a method and apparatus for character division of a license plate,
The method comprising: determining a license plate type included in license plate images; A first processing step of recognizing and labeling each of the characters included in the number plate image according to a first adaptive heuristic division method if the number plate type is a black character type; And a second processing step of recognizing and labeling each of the characters included in the license plate image according to a second adaptive heuristic division technique if the license plate type is a white character type, So that it can perform an operation.

Description

차량 번호판의 문자 분할 방법 및 장치{METHOD AND APPARATUS FOR CHARACTER SEGMENTATION OF LICENSE PLATE}TECHNICAL FIELD [0001] The present invention relates to a method and apparatus for dividing characters in a license plate,

본 발명은 차량 번호판 검출 기술에 관한 것으로, 특히 차량 번호판 영상에 존재하는 문자들의 검출 성능을 보다 향상시킬 수 있도록 하는 차량 번호판의 문자 분할 방법 및 장치에 관한 것이다. The present invention relates to a vehicle license plate detection technology, and more particularly, to a method and apparatus for character registration of a license plate that can improve the detection performance of characters existing in a license plate image.

최근 차량이 증가하고 교통 환경이 복잡해짐에 따라 효율적인 교통관리를 위해 지능형 교통 시스템(ITS: intelligent transport system : 이 연구되고 있으며 이는 지능형 인프라 시스템과 지능형 차량 시스템으로 구성되어 있다. 번호판 인식(LPR: license plate recognition)은 지능형 인프라 시스템에서 핵심적인 부분이며 고속도로 통행료 지불 시스템, 주차장 출입관리, 교통량 감시 및 정보 관리 등 실제로 많은 응용들에 쓰이고 사람의 단순 반복 업무를 대행하는 중요한 역할을 하고 있다.As the number of vehicles increases and the traffic environment becomes complicated, Intelligent Transport System (ITS) has been studied for efficient traffic management. It is composed of intelligent infrastructure system and intelligent vehicle system. plate recognition is a key part of intelligent infrastructure system and it is used in many applications such as highway toll payment system, parking lot access control, traffic volume monitoring and information management, and it plays an important role in performing simple repetitive tasks of people.

LPR은 도1에서와 같이 세 단계로 이루어져 있다. 첫째, 영상 내에서 차량 번호판을 검출하는 단계(S1), 둘째, 검출된 번호판 내의 문자들을 분할하는 단계(S2), 셋째, 분할된 문자들을 인식하는 단계(S3)이다.LPR is composed of three steps as shown in FIG. First, a vehicle license plate is detected in an image (S1). A second step is to divide the characters in the detected license plate. A third step is to recognize the divided characters.

특히, 본 발명에서 관심을 가지는 분야는 문자 분할 단계인데, 이는 문자 인식을 위해 번호판 내 문자들은 필수적으로 분할되어야 하는 중요한 단계이다. 검출된 번호판은 균일하지 않은 픽셀분포, 조명변화, 잡음 등으로 인해 많은 어려움이 따른다. 최근 이를 해결하기 위해 지역적으로 처리하는 적응 이진화 방법을 기반으로 이진영상을 구성하여 분할 연구가 되고 있다. Particularly, the field of interest in the present invention is a character segmentation step, which is an important step in which characters in a license plate are essentially divided for character recognition. Detected license plates are subject to many difficulties due to non-uniform pixel distribution, illumination changes, and noise. In order to solve this problem, a binary image is constructed based on an adaptive binarization method which is processed locally, so that a split study is being conducted.

먼저, 첫 번째 방법은 픽셀 연결성을 이용한 문자 분할 방법으로, 이는 이진영상에서 연결된 픽셀들의 정보를 통해 레이블링을 하여 위치, 크기, 가로세로 비율을 알 수 있다. 이를 이용하면 간단하게 구현이 가능하고 회전된 번호판에도 강건한 정점이 있지만 문자별 픽셀들이 붙어 있거나 연결이 잘 되어있지 않은 경우 분할에 실패할 수 있는 단점이 있다.First, the first method is a character segmentation method using pixel connectivity. It is able to know the position, size, and aspect ratio by labeling through the information of pixels connected in binary. It is simple to implement and has a strong vertex in the rotated license plate, but it has a drawback in that it can fail to divide if the pixels per character are attached or not connected well.

두 번째 방법은 프로젝션을 이용한 문자 분할 방법인데, 이는 문자분할의 고전적인 방법으로써 현재에도 많이 사용되고 있는 방법이다. 번호판의 이진영상에서 잡음제거 및 모폴로지 연산을 통해 전처리 후 수직방향과 수평방향으로 프로젝션을 하면 문자들을 독립적으로 분할할 수 있는 장점이 있지만 번호판이 회전되어 있거나 잡음이 심한 경우 성능에 많은 영향을 끼칠 수 있다.The second method is a character segmentation method using projection, which is a classical method of character segmentation and is now widely used. Projection in the vertical direction and horizontal direction after preprocessing through noise elimination and morphology operation in the binoculars of the license plate has the advantage of dividing the characters independently, but if the license plate is rotated or the noise is heavy, the performance may be greatly affected .

또 다른 방법으로는 사전지식을 이용한 문자 분할 방법이 있으며, 이는 차량 번호판은 문자들의 위치, 크기, 폰트와 문자간의 거리가 정해져 있어 이러한 사전지식을 이용하면 간단하게 문자들을 분할 할 수 있는 방법이다. 하지만 제한적이며 변화에 민감하기 때문에 잘못된 분할결과를 초래할 수 있다.As another method, there is a character division method using prior knowledge. In the license plate, the position, size, and the distance between the font and the character are determined. However, it is limited and susceptible to change, which can lead to incorrect division results.

한편, 한국 번호판은 크게 검정색과 흰색 문자 종류로 나눌 수 있는데 흰색 배경과 노란색 배경의 번호판인 경우 그레이영상으로 변환하면 문자들이 상대적으로 낮은 값들을 갖고 녹색 번호판인 경우 높은 값을 갖기 때문에 두 가지 종류로 제한 할 수 있다. 도2은 위에서 설명한 대한민국 번호판 종류를 보여준다. 그러나 종래의 문자 분할 방법으로는, 이와 같은 다양한 번호판 타입을 모두 지원할 수 없는 문제가 있다.
On the other hand, Korean license plates can be broadly divided into black and white character types. In case of plates with white background and yellow background, when converted to gray image, characters have relatively low values and green plates have high values. Can be limited. 2 shows the type of the Korean license plate described above. However, the conventional character segmentation method has a problem in that it can not support all of these various license plate types.

상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명에서는 번호판 타입과 상관없이 항상 신뢰성있는 문자 분할 동작을 수행할 수 있도록 하는 차량 번호판의 문자 분할 방법 및 장치를 제공하고자 한다. In order to solve the above problems, the present invention provides a method and apparatus for dividing characters of a license plate, which can always perform a reliable character division operation irrespective of a license plate type.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 번호판 영상에 포함된 번호판 타입을 결정하는 결정 단계; 상기 번호판 타입이 검정색 문자 타입이면, 제1 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제1 처리 단계; 및 상기 번호판 타입이 흰색 문자 타입이면, 제2 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제2 처리 단계;를 포함하는 차량 번호판의 문자 분할 방법을 제공한다. As a means for solving the above-mentioned problems, according to an embodiment of the present invention, there is provided a method for determining a license plate type, comprising: determining a license plate type included in license plate images; A first processing step of recognizing and labeling each of the characters included in the number plate image according to a first adaptive heuristic division method if the number plate type is a black character type; And a second processing step of recognizing and labeling each of the characters included in the license plate image according to a second adaptive heuristic division technique if the license plate type is a white character type.

상기 결정 단계는 상기 번호판 영상에 대한 적응 히스토그램 평활화를 수행하고, 상기 적응 히스토그램 평활화된 번호판 영상에 포함된 잡음을 제거하는 단계; 상기 잡음 제거된 번호판 영상의 중앙 영역을 관심 영역으로 설정하는 단계; 상기 관심 영역을 전역적 문턱치 처리 기법에 따라 이진화하여 관심 영역 내에 위치하는 픽셀 모두를 흰색 픽셀과 검정색 픽셀로 분류하는 단계; 및 흰색 픽셀의 개수가 검정색 픽셀보다 많은 경우에는 상기 번호판 타입이 검정색 문자 타입이라고 판단하고, 그렇지 않으면 상기 번호판 타입이 흰색 문자 타입이라고 판단하는 단계를 포함할 수 있다. Wherein the determining step includes performing adaptive histogram smoothing on the license plate image and removing noise included in the adaptive histogram smoothed license plate image; Setting a center region of the noiseless license plate image as a region of interest; Binarizing the region of interest according to a global thresholding technique to classify all pixels located within the region of interest into a white pixel and a black pixel; And determining that the license plate type is a black character type if the number of white pixels is greater than a black pixel, and otherwise determining that the license plate type is a white character type.

상기 번호판 영상에 포함된 잡음을 제거하는 단계는

Figure 112014012957924-pat00001
의 수학식을 사용하는 바이레터럴 필터를 통해 잡음 제거 동작을 수행하며, 상기
Figure 112014012957924-pat00002
는 필터링된 번호판 영상, 상기
Figure 112014012957924-pat00003
는 필터링전 번호판 영상, 상기
Figure 112014012957924-pat00004
는 픽셀의 좌표, 상기
Figure 112014012957924-pat00005
는 윈도우, 상기
Figure 112014012957924-pat00006
은 픽셀 값의 차이를 스무딩하기 위한 범위 커널, 상기
Figure 112014012957924-pat00007
는 좌표 차이를 스무딩하기 위한 공간 커널인 것을 특징으로 한다. The step of removing the noise included in the license plate image
Figure 112014012957924-pat00001
A noise removal operation is performed using a bilateral filter using the equation
Figure 112014012957924-pat00002
The filtered license plate image,
Figure 112014012957924-pat00003
A pre-filtering license plate image,
Figure 112014012957924-pat00004
The coordinates of the pixel,
Figure 112014012957924-pat00005
Window,
Figure 112014012957924-pat00006
A range kernel for smoothing the difference in pixel values,
Figure 112014012957924-pat00007
Is a spatial kernel for smoothing the coordinate difference.

상기 전역적 문턱치 처리 기법은 옷수 영상 이진화 방법으로 구현되는 것을 특징으로 한다. And the global threshold value processing method is implemented by an image quality binarization method.

상기 제1 처리 단계는 상기 번호판 영상을 지역적 문턱치 처리 기법에 따라 이진화한 후, 블롭 필터링하는 단계; 상기 블롭 필터링된 번호판 영상의 하단 외곽 영역과 상단 외곽 영역을 제거하는 단계; 및 RL(Right Left) 기법과 LR(Left Right) 기법을 이용하여 각각의 문자를 인식 및 레이블링하는 단계를 포함할 수 있다. Wherein the first processing step comprises: binarizing the license plate image according to a local threshold value processing technique and then performing blob filtering; Removing the lower outer edge region and the upper outer edge region of the blob-filtered number plate image; And recognizing and labeling each character using the RL (Right Left) technique and the LR (Left Right) technique.

상기 지역적 문턱치 처리 기법은

Figure 112014012957924-pat00008
,
Figure 112014012957924-pat00009
Figure 112014012957924-pat00010
,
Figure 112014012957924-pat00011
,
Figure 112014012957924-pat00012
의 수식으로 구현되는 적응 문턱치 처리 기법으로 구현되며, 상기
Figure 112014012957924-pat00013
은 번호판 영상,
Figure 112014012957924-pat00014
는 픽셀의 위치,
Figure 112014012957924-pat00015
은 문턱치,
Figure 112014012957924-pat00016
은 이진화된 번호판 영상,
Figure 112014012957924-pat00017
는 원도우내 평균,
Figure 112014012957924-pat00018
는 원도우내 표준편차, 상기 k와 상기 R는 계산 계수인 것을 특징으로 한다. The local threshold processing technique
Figure 112014012957924-pat00008
,
Figure 112014012957924-pat00009
Figure 112014012957924-pat00010
,
Figure 112014012957924-pat00011
,
Figure 112014012957924-pat00012
Is implemented with an adaptive threshold value processing technique implemented as an equation of
Figure 112014012957924-pat00013
The license plate image,
Figure 112014012957924-pat00014
The position of the pixel,
Figure 112014012957924-pat00015
The threshold,
Figure 112014012957924-pat00016
A binned license plate image,
Figure 112014012957924-pat00017
The average in the window,
Figure 112014012957924-pat00018
Is a standard deviation in a window, and k and R are calculation coefficients.

상기 지역적 문턱치 처리 기법은 상기

Figure 112014012957924-pat00019
는 원도우내 평균,
Figure 112014012957924-pat00020
는 원도우내 표준편차 계산 시에, 적분 영상을 사용하는 것을 특징으로 한다. The local thresholding technique may include
Figure 112014012957924-pat00019
The average in the window,
Figure 112014012957924-pat00020
Is characterized by using an integral image at the time of calculating standard deviation within a window.

상기 문자를 인식 및 레이블링하는 단계는 사전에 설정된 문자간 거리 및 위치 기준치를 기반으로, 레이블링 결과를 분석하여 잘못 레이블된 블롭들을 검출하고 제거하는 단계를 더 포함할 수 있다. The step of recognizing and labeling the character may further include the step of analyzing the labeling result based on the predetermined inter-character distance and the position reference value to detect and remove the erroneously labeled blobs.

상기 문자를 인식 및 레이블링하는 단계는 두 번째와 세 번째 숫자 사이의 부분을 지역적으로 모폴로지 처리를 하여 하나의 덩어리로 만들어 레이블링 하는 단계를 더 포함할 수 있다. The step of recognizing and labeling the character may further include labeling a portion between the second and third digits by locally morphing the digits into a single lump.

상기 제2 처리 단계는 상기 번호판 영상의 아랫줄 영상과 윗줄 영상을 분리하는 단계; 상기 아랫줄 영상을 블롭 필터링한 후, RL(Right Left) 기법을 통해 상기 아랫줄 영상에 포함된 숫자들을 인식하고 레이블링하여 출력하는 단계; 상기 아랫줄 영상에 포함된 숫자들의 위치값을 기반으로 상기 윗줄 영상의 관심 영역을 파악하는 단계; 및 상기 관심 영역을 모폴로지 연산하여, 상기 관심 영역에 포함된 숫자와 문자들을 인식하고 레이블링하여 출력하는 단계를 포함할 수 있다. Separating the lower line image and the upper line image of the license plate image; Performing a blob filtering on the bottom line image, recognizing and labeling the numbers included in the bottom line image through an RL (Right Left) technique, and outputting the number; Determining a region of interest of the upper line image based on a position value of the numbers included in the lower line image; And a step of morphology-calculating the ROI, recognizing and labeling the numbers and characters included in the ROI, and outputting the ROI.

상기 아랫줄 영상과 윗줄 영상을 분리하는 단계는 BU(Bottom Up) 기법을 통해 아랫줄 영상을 획득하고, 수평적 프로젝션 기법을 통해 윗줄 영상을 획득하는 것을 특징으로 한다.
In the step of separating the lower line image and the upper line image, a bottom line image is obtained through a BU (bottom up) technique, and an upper line image is obtained through a horizontal projection technique.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 번호판 영상에 포함된 번호판 타입을 파악하는 번호판 타입 결정부; 상기 번호판 타입이 검정색 문자 타입이면, 제1 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제1 문자 분할부; 및 상기 번호판 타입이 흰색 문자 타입이면, 제2 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제2 문자 분할부;를 포함하는 차량 번호판의 문자 분할 장치를 제공한다.
According to another aspect of the present invention, there is provided a means for solving the above problems, comprising: a license plate type determining unit for identifying a license plate type included in license plate images; A first character division unit for recognizing and labeling each of the characters included in the number plate image according to a first adaptive heuristic division technique if the number plate type is a black character type; And a second character division unit for recognizing and labeling each of the characters included in the license plate image according to a second adaptive heuristic division technique if the license plate type is a white character type.

본 발명에서는 번호판 타입에 따라 문자 분할 방법을 달리해줌으로써, 보다 향상된 문자 분할 성능을 확보할 수 있도록 한다. 또한 문자 분할 성능을 확보함에 따라 번호판 인식(LPR)의 전체 성능도 향상될 수 있도록 한다.
According to the present invention, different character segmentation methods are performed according to the license plate type, thereby ensuring more improved character segmentation performance. In addition, the overall performance of license plate recognition (LPR) can be improved by securing character segmentation performance.

도1은 일반적인 번호판 인식 방법을 설명하기 위한 도면이다.
도2은 대한민국의 번호판 종류를 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 차량 번호판의 문자 분할 방법을 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 적응 히스토그램 평활화 방법을 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 적응 바이레터럴 필터링 방법을 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 제1 적응 휴리스틱 분할 알고리즘에 따른 검은색 문자 분할 단계를 보다 상세히 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 차량 번호판의 문자 분할 방법을 위한 적분 영상을 설명하기 위한 도면이다.
도8은 본 발명의 일 실시예에 따른 전역적 문턱치 처리 기법인 Otsu 문턱치 처리와 지역적 문턱치 처리 기법인 적응 문턱치 처리된 번호판을 비교한 결과를 도시한 도면이다.
도9는 본 발명의 일 실시예에 따른 적응 문턱치 처리과정 중 평균과 표준편차를 구하는데 적분영상을 사용한 효과를 나타낸 도면이다.
도10은 본 발명의 일 실시예에 따른 BU 알고리즘 이용 방법을 설명하기 위한 도면이다.
도11은 본 발명의 일 실시예에 따른 수평적 프로젝션 알고리즘 이용 방법을 설명하기 위한 도면이다.
도12는 본 발명의 일 실시예에 따른 RL 알고리즘 이용 방법을 설명하기 위한 도면이다.
도13은 본 발명의 일 실시예에 따른 LR 알고리즘 이용 방법을 설명하기 위한 도면이다.
도14는 본 발명의 일 실시예에 따른 지역 모폴로지 처리 방법을 설명하기 위한 도면이다.
도15는 본 발명의 일 실시예에 따른 제2 적응 휴리스틱 분할 알고리즘에 따른 흰색 문자 분할 단계를 보다 상세히 설명하기 위한 도면이다.
도16은 본 발명의 일 실시예에 따른 문자 분할 결과 예들을 도시한 도면이다.
도17은 본 발명의 일 실시예에 따른 차량 번호판의 문자 분할 장치를 도시한 도면이다.
1 is a view for explaining a general license plate recognition method.
2 is a view for explaining the license plate type of the Republic of Korea.
FIG. 3 is a diagram illustrating a method of dividing characters in a license plate according to an embodiment of the present invention.
4 is a diagram for explaining an adaptive histogram smoothing method according to an embodiment of the present invention.
FIG. 5 is a diagram for explaining an adaptive bi-linear filtering method according to an embodiment of the present invention. Referring to FIG.
FIG. 6 is a diagram for explaining the black character segmentation step according to the first adaptive heuristic segmentation algorithm according to an embodiment of the present invention in more detail.
7 is a view for explaining an integral image for a character division method of a license plate according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a result of comparing Otsu threshold processing, which is a global threshold processing technique according to an embodiment of the present invention, and an adaptive threshold treated plate, which is a local threshold processing technique.
FIG. 9 is a diagram illustrating an effect of using an integral image to determine an average and a standard deviation in an adaptive threshold processing according to an exemplary embodiment of the present invention. Referring to FIG.
10 is a diagram for explaining a method of using the BU algorithm according to an embodiment of the present invention.
11 is a view for explaining a method of using a horizontal projection algorithm according to an embodiment of the present invention.
12 is a diagram for explaining a method of using the RL algorithm according to an embodiment of the present invention.
13 is a diagram for explaining a method of using the LR algorithm according to an embodiment of the present invention.
FIG. 14 is a diagram for explaining a method of processing a local morphology according to an embodiment of the present invention.
15 is a diagram for explaining a white character segmentation step according to a second adaptive heuristic segmentation algorithm according to an embodiment of the present invention in more detail.
16 is a diagram showing examples of character division result according to an embodiment of the present invention.
17 is a diagram showing a character division device of a license plate according to an embodiment of the present invention.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.The following terms are defined in consideration of the functions of the present invention, and these may be changed according to the intention of the user, the operator, or the like.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. These embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art to which the present invention pertains. Only. Therefore, the definition should be based on the contents throughout this specification.

도3은 본 발명의 일 실시예에 따른 차량 번호판의 문자 분할 방법을 도시한 도면이다. FIG. 3 is a diagram illustrating a method of dividing characters in a license plate according to an embodiment of the present invention.

도3을 참고하면, 본 발명의 문자 분할 방법은 번호판 종류 결정 단계(S10), 제1 적응 휴리스틱 분할 기법에 따라 검은색 문자 타입 번호판에 포함된 문자를 분할하는 단계(S20), 제2 적응 휴리스틱 분할 기법에 따라 흰색 문자 타입 번호판에 포함된 문자를 분할하는 단계(S30), 및 문자 분할 결과 출력 단계(S40) 등을 포함하여 구성된다.Referring to FIG. 3, the character segmentation method of the present invention includes a license plate type determination step S10, a step S20 of dividing characters included in a black character type license plate according to a first adaptive heuristic segmentation technique, A step S30 of dividing the characters included in the white letter type number plate according to the division technique, and a step S40 of outputting the character division result.

즉, 본 발명에서는 한국 번호판을 두 가지 타입으로 분류됨을 고려하여, 두 가지 타입 각각에 최적화된 문자 분할 방법들을 제안함으로써, 한국 번호판의 두 가지 타입 모두에 대해 최적의 검출 성능을 확보할 수 있도록 한다.
That is, considering that the Korean license plate is divided into two types, the present invention proposes optimal character division methods for each of the two types, thereby ensuring optimal detection performance for both types of Korean license plates .

이하에서는, 도4 내지 도16을 참고하여 차량 번호판의 문자 분할 방법에 대해 보다 설명하기로 한다. Hereinafter, the character division method of the license plate will be described in more detail with reference to FIG. 4 to FIG.

도4는 본 발명의 일 실시예에 따른 번호판 종류 결정 단계를 보다 상세히 설명하기 위한 도면이다. 4 is a view for explaining the license plate type determination step according to an embodiment of the present invention in more detail.

참고로, 입력 영상(즉, 번호판 영상)의 크기는 영상마다 다를 수 있는 데, 이러한 경우 영상 처리 부하가 불필요하게 증가되는 단점이 있다. For reference, the size of an input image (that is, a license plate image) may differ from image to image, and in this case, the image processing load is unnecessarily increased.

이에 본 발명에서는 단계 S11을 통해 번호판 영상의 크기를 기 설정된 값으로 정규화시킨다. 영상 크기 정규화는 영상 영역 잘라내기 또는 영상 해상도 변경하기 등의 방법을 통해 수행될 수 있을 것이다. In the present invention, the size of the license plate image is normalized to a preset value through step S11. The image size normalization may be performed by a method such as cutting the image area or changing the resolution of the image.

단계 S12에서는, 번호판 영상에 대한 적응 히스토그램 평활화를 수행한다. 번호판 종류 결정 단계를 위해 제공되는 번호판 영상의 경우, 도5의(a)와 같이 픽셀들의 분포가 한쪽으로 치우쳐 있는 불균형한 경우가 있을 수 있다. 그러나 적응 히스토그램 평활화 방법은 전역적으로 처리하지 않고 지역적으로 처리하기 때문에 픽셀 값들의 분포가 치우쳐 있더라도, 평활화 처리를 효과적으로 할 수 있도록 한다. 이에 본 발명에서는 적응 히스토그램 평활화 방법을 통해 도5의(b)와 같이 번호판 영상의 픽셀 분포가 균일해지도록 한다. In step S12, adaptive histogram smoothing is performed on the license plate image. In the case of the license plate image provided for the plate type determination step, there may be a case where the distribution of the pixels is uneven as shown in FIG. 5 (a). However, since the adaptive histogram smoothing method is processed locally rather than globally, the smoothing processing can be effectively performed even if the distribution of pixel values is shifted. Thus, in the present invention, the pixel distribution of the license plate image is uniformized through the adaptive histogram smoothing method as shown in FIG. 5 (b).

단계 S13에서는, 적응 히스토그램 평활화를 적용하고 나면 컨트라스트가 증가하기 때문에 약간의 잡음이 발생함을 고려하여, 번호판 영상을 바이레터럴 필터링(bilateral filtering)하여 번호판 영상에 포함된 잡음을 제거한다. 바이레터럴 필터란 비선형 방법으로써 잡음을 줄이는 스무딩 효과를 내면서도 에지부분을 보존하는 방법이다. 이 필터는 이하의 수학식1과 같이 구성된다. In step S13, since adaptive histogram smoothing is applied, the noise included in the license plate image is removed by bilaterally filtering the license plate image in consideration of the fact that a slight noise occurs because the contrast is increased. A by-letter filter is a non-linear method that preserves edge portions while reducing noise and smoothing. This filter is constructed as shown in the following Equation (1).

Figure 112014012957924-pat00021
Figure 112014012957924-pat00021

이때,

Figure 112014012957924-pat00022
는 필터링된 번호판 영상,
Figure 112014012957924-pat00023
는 필터링전 번호판 영상,
Figure 112014012957924-pat00024
는 픽셀의 좌표,
Figure 112014012957924-pat00025
는 윈도우,
Figure 112014012957924-pat00026
은 픽셀 값의 차이를 스무딩하기 위한 범위 커널,
Figure 112014012957924-pat00027
는 좌표 차이를 스무딩하기 위한 공간 커널을 각각 의미한다. At this time,
Figure 112014012957924-pat00022
A filtered license plate image,
Figure 112014012957924-pat00023
The pre-filtering plate image,
Figure 112014012957924-pat00024
The coordinates of the pixel,
Figure 112014012957924-pat00025
Windows,
Figure 112014012957924-pat00026
Is the range kernel for smoothing differences in pixel values,
Figure 112014012957924-pat00027
Respectively denote a spatial kernel for smoothing the coordinate difference.

도5의(a)는 바이레터럴 필터의 적용 전 영상을,(b)는 바이레터럴 필터의 적용 후 영상을 나타낸 것으로, 이를 참고하면 바이레터럴 필터링을 통해 보다 선명하고 깨끗한 영상을 획득할 수 있음을 알 수 있다. 5 (a) shows the pre-applied image of the bi-literal filter, and FIG. 5 (b) shows the image after applying the bi-linear filter. By referring to this, it is possible to obtain a clearer and clean image .

단계 S14에서는, 번호판 영상에서 번호판은 중간부분에 위치해 있으며 문자가 있는 부분보다 바탕영역이 더 넓음을 고려하여, 바이레터럴 필터링된 번호판 영상의 중앙 영역을 관심 영역으로 획득한다. In step S14, the center plate of the license plate-filtered license plate image is acquired as a region of interest, considering that the license plate is located at the middle portion of the license plate image and the background region is wider than that of the character portion.

단계 S15에서는, 관심 영역을 옷수(Otsu) 영상 이진화하여 관심 영역내에 위치하는 픽셀들 모두를 흰색 픽셀과 검정색 픽셀로 나눈다. In step S15, the region of interest (Otsu) is image-binarized to divide all the pixels located in the region of interest into white pixels and black pixels.

흰색이나 노란색 번호판의 경우 바탕영역에 위치하는 픽셀은 255 값을 갖고(즉, 흰색 픽셀로 분류되고), 문자 영역에 위치하는 픽셀은 0값을 가지며(즉, 검정색 픽셀로 분류되며), 녹색 번호판인 경우는 그 반대이기 때문에 흰색 픽셀과 검정색 픽셀의 개수 비교를 통해 번호판의 종류를 판별할 수 있다.In the case of white or yellow plates, pixels located in the background region have a value of 255 (that is, classified as white pixels), pixels located in the character region have a value of 0 (that is, classified as black pixels) The number of the white pixels and the number of the black pixels can be compared to determine the type of the license plate.

즉, 단계 S16에서는, 흰색 픽셀의 개수와 검정색 픽셀의 개수를 비교하여, 흰색 픽셀의 개수가 검정색 픽셀보다 많은 경우에는 번호판 영상이 검정색 문자 타입이라고 판단하고, 그 반대의 경우에는 번호판 영상이 흰색 문자 타입이라고 판단하도록 한다.
That is, in step S16, the number of white pixels is compared with the number of black pixels. If the number of white pixels is larger than the number of black pixels, it is determined that the license plate image is a black character type. Type.

도6은 본 발명의 일 실시예에 따른 제1 적응 휴리스틱 분할 기법에 따른 검은색 문자 분할 단계를 보다 상세히 설명하기 위한 도면이다.6 is a diagram for explaining the black character division step according to the first adaptive heuristic division method according to an embodiment of the present invention in more detail.

먼저, 단계 S21에서는, 적응 문턱치 처리 방법을 통해 영상 이진화를 수행한다. First, in step S21, image binarization is performed through an adaptive threshold value processing method.

적응 문턱치 처리 방법은 지역적으로 문턱치를 처리하기 때문에 조명에 강건한 특징을 갖는다. 이는 수학식 2에서와 같이 표현될 수 있으며, 이때

Figure 112014012957924-pat00028
은 번호판 영상,
Figure 112014012957924-pat00029
는 픽셀의 위치,
Figure 112014012957924-pat00030
은 문턱치,
Figure 112014012957924-pat00031
은 이진화된 번호판 영상을 의미한다. 지역 적응 문턱치 처리 방법은 각 픽셀에서 문턱치를 계산하여 0 혹은 255 값을 갖는 이진영상을 만든다. The adaptive threshold processing method is robust to illumination because it processes the threshold value locally. This can be expressed as in Equation 2,
Figure 112014012957924-pat00028
The license plate image,
Figure 112014012957924-pat00029
The position of the pixel,
Figure 112014012957924-pat00030
The threshold,
Figure 112014012957924-pat00031
Means a binned license plate image. The local adaptive threshold processing method generates a binary image with 0 or 255 values by calculating the threshold value at each pixel.

이하의 수학식3은 문턱치를 계산하는 수식으로,

Figure 112014012957924-pat00032
은 윈도우내의 평균
Figure 112014012957924-pat00033
, 표준편차
Figure 112014012957924-pat00034
, 계산 계수 k, R를 이용하여 문턱치를 구하게 된다. Equation (3) below is a formula for calculating the threshold value,
Figure 112014012957924-pat00032
The average within the window
Figure 112014012957924-pat00033
, Standard Deviation
Figure 112014012957924-pat00034
, The calculation coefficients k and R are used to obtain the threshold value.

이하의 수학식 4와 5는 원본 영상의 평균과 분산을 구하는 수학식이다. 이 과정에서 아래 수학식 6와 도 7의 적분영상을 사용하여 빠른 속도로 평균과 표준편차를 구할 수 있다. 이때, w는 원본 영상내의 원도우 크기이다. Equations (4) and (5) below are mathematical expressions for obtaining the average and variance of the original image. In this process, the mean and standard deviation can be obtained at a high speed using the integral image of Equation (6) and (7) below. In this case, w is a window size in the original image.

Figure 112014012957924-pat00035
Figure 112014012957924-pat00035

Figure 112014012957924-pat00036
Figure 112014012957924-pat00036

Figure 112014012957924-pat00037
Figure 112014012957924-pat00037

Figure 112014012957924-pat00038
Figure 112014012957924-pat00038

Figure 112014012957924-pat00039
Figure 112014012957924-pat00039

도8은 전역적 문턱치 처리 기법인 Otsu 문턱치 처리와 지역적 문턱치 처리 기법인 적응 문턱치 처리된 번호판을 비교한 것으로, 이를 참고하면 적응 문턱치 처리의 강건함을 알 수 있다. FIG. 8 is a graph comparing the Otsu threshold value processing, which is a global threshold value processing method, and the adaptive threshold value processing, which is a local threshold value processing method, and it can be seen that the adaptive threshold value processing is robust.

도9는 적응 문턱치 처리과정 중 평균과 표준편차를 구하는데 적분영상을 사용한 효과를 나타낸 것이다. 도9에서 실선은 적분 영상을 사용한 경우를, 점선은 적분 영상을 사용하지 않는 경우를 나타내는 것으로, 이로부터 적분영상을 이용하지 않았을 경우에는 로컬 윈도우의 크기가 증가할수록 계산량(즉, 계산 시간)이 증가함을 알 수 있다.FIG. 9 shows the effect of using the integral image in determining the mean and standard deviation during adaptive threshold processing. In FIG. 9, the solid line represents the case where the integral image is used and the dotted line represents the case where the integral image is not used. When the integral image is not used, the calculation amount (i.e., calculation time) increases as the size of the local window increases .

이진영상 생성이 완료되면, 단계 S22에서는, 레이블된 블롭(blob)들의 크기, 가로 세로 비율에 대한 기준 정보를 이용하여 이진 영상을 필터링을 한다. 이 과정을 통해 잡음으로 인한 블롭들을 제거할 수 있고 남아있는 블롭이 기 설정된 개수(예를 들어, 7개 이하)인 경우에는 해당 영상은 검정색 문자 타입이 아니라 흰색 문자 타입이라고 판단하고, 제2 적응 휴리스틱 분할 기법에 따른 흰색 문자 분할 단계(S30)으로 진입하도록 한다. When the generation of the binary image is completed, the binary image is filtered using the reference information about the size and aspect ratio of the labeled blobs in step S22. If the remaining blobs are a predetermined number (for example, seven or less), it is determined that the image is a white character type, not a black character type, and the second adaptation And enters the white character segmentation step S30 according to the heuristic division technique.

단계 S23에서는, BU(Bottom Up) 기법을 통해 도10에서와 같이 번호판 영상의 하단에 존재하는 불필요한 부분을 제거한다. BU 기법은 아래에서부터 위로 가며 레이블된 블롭들이 일직선상에 위치할 때까지 제거하는 기법이다. 이를 통해 번호판 밑부분의 불필요한 부분을 제거할 수 있다. In step S23, an unnecessary part existing at the lower end of the license plate image is removed through a BU (bottom up) technique as shown in FIG. BU is a technique that removes labeled bobbins from bottom to top until they are in a straight line. This eliminates unnecessary parts of the license plate.

단계 S24에서는, 수평적 프로젝션 기법을 통해 상단 외곽 영상을 제거하고, 적응 이진화를 통해 번호판 영상에 잔존하는 잡음을 없앤다. In step S24, the upper edge image is removed through a horizontal projection technique, and noise remaining in the license plate image is removed through adaptive binarization.

번호판 영상에는 문자들과 테두리 사이에 여백이 있는 부분이 존재하는 데, 이에 본 발명에서는 도11의(a)와 같이 남아있는 픽셀들을 수평방향으로 프로젝션하고 아랫방향에서 위 방향으로 검색한다. 여기에서 픽셀분포의 평균을 이용하여 기울기가 가장 큰 지점을 찾아, 이를 기준으로 상단 영상을 제거하여 도11의(b)와 같이 문자가 있는 부분만을 획득한다. 그리고 추가적으로 적응 이진화를 하여 도11의(c)와 같이 영상에 잔존하는 잡음을 없앤다.In the license plate image, there is a portion with margins between the characters and the frame. Thus, in the present invention, the remaining pixels are projected in the horizontal direction and are searched in the downward direction as shown in FIG. 11 (a). Here, using the average of the pixel distributions, a point having the greatest gradient is found, and the upper image is removed based on this point, thereby obtaining only a portion having a character as shown in FIG. 11 (b). In addition, adaptive binarization is performed to remove noise remaining in the image as shown in FIG. 11 (c).

단계 S25에서는, 다시 한 번 블롭 필터링을 하여 잡음을 제거한다. In step S25, blob filtering is performed again to remove noise.

단계 S26에서는, 사전에 설정된 문자 형태 정보를 기반으로 한 RL(Right Left) 기법과 LR(Left Right) 기법을 이용하여 각각의 문자를 인식 및 레이블링한다. 그리고 사전에 설정된 문자간 거리 및 위치 기준치를 기반으로, 레이블된 문자간의 거리와 위치관계를 분석하여 잘못 레이블된 블롭들을 검출하고, 제거한다. In step S26, each character is recognized and labeled by using an RL (Right Left) technique and an LR (Left Right) technique based on preset character type information. Then, based on the preset distance between characters and the reference value of the position, analyzing the distance and positional relationship between the labeled characters detects and removes the mislabeled blobs.

도12의 번호판 문자들을 보면 왼쪽에 숫자 2개와 문자 1개가 있고 오른쪽에 숫자 4개가 있으며 이들이 서로 떨어져 있는 것을 볼 수 있다. RL 기법의 경우 오른쪽부터 왼쪽으로 5개 블롭들의 거리관계를 살펴보고 조건에 맞을 때까지 왼쪽으로 이동하며 체크하여 오른쪽에 있는 숫자 4개를 결정한다. 12, there are two numbers on the left and one letter and four numbers on the right, and they are separated from each other. In the case of the RL method, look at the distance relationship of the five blobs from right to left, move to the left until the condition is met, and check to determine the four numbers on the right.

LR 기법도 LR 기법과 마찬가지로 사전지식을 이용한다. 전 단계인 LR 기법을 적용하며 얻은 4개의 문자 중 첫 번째와 네 번째 문자의 거리를 이용하여 탐색범위를 정한 후, 도13에서와 같이 왼쪽에서 오른쪽으로 이동하며 블롭관계를 체크하여 왼쪽에 있는 숫자 2개와 문자 1개를 결정한다. 여기에서 조건이 만족하지 않는다면 두 줄로 이루어진 번호판(예를 들어, 녹색 번호판)이라 간주하고 흰색 문자 분할 기법을 적용한다.The LR method uses prior knowledge as well as the LR method. The search range is determined by using the distance between the first and fourth characters of the four characters obtained by applying the LR method in the previous step, then moved from left to right as shown in FIG. 13, and the blob relation is checked, Two characters and one character are determined. Here, if the condition is not satisfied, it is regarded as a two-line license plate (for example, a green license plate) and a white character division technique is applied.

마지막으로 단계 S26에서는, 두 번째와 세 번째 숫자 사이에 존재하는 문자 영역 부분을 지역적으로 모폴로지 처리를 하여 하나의 덩어리로 만들어 레이블링하도록 한다. 예를 들어, 번호판 문자 중 두 번째와 세 번째 숫자 사이에 위치하는 고, 노, 도, 로, 오' 등은 붙어있지만 '가, 나, 다, 라' 등의 단어는 떨어져 있다. 이에 본 발명에서는 이로 인한 문제 발생을 사전에 방지하기 위해, 도14에서와 같이 두 번째와 세 번째 숫자 사이의 부분을 지역적으로 모폴로지 처리를 하여, 해당 영역에 존재하는 문자에 대한 레이블링 동작도 안정적으로 수행될 수 있도록 한다.
Finally, in step S26, the character region portions existing between the second and third digits are locally morphologically processed into a single lump to be labeled. For example, the words "ga, ga, da, la" and so on are separated, although they are located between the second and third digits of the license plate. In the present invention, in order to prevent the occurrence of the problem in advance, the part between the second and third numbers is morphologically subjected to morphology processing as shown in FIG. 14, and the labeling operation for the characters existing in the area is also stably performed .

도15는 본 발명의 일 실시예에 따른 제2 적응 휴리스틱 분할 기법에 따른 흰색 문자 분할 단계를 보다 상세히 설명하기 위한 도면이다.15 is a diagram for explaining a white character segmentation step according to a second adaptive heuristic segmentation technique according to an embodiment of the present invention in more detail.

흰색 문자 타입 번호판은 앞서 설명한 바와 같이, 두 줄로 이루어져 있다. 이에 본 발명에서는 윗줄과 아랫줄을 분리한 후, 이들 각각에 대한 문자 분할 동작을 수행하도록 한다. The white letter type plate consists of two lines, as described above. Accordingly, in the present invention, after dividing the upper row and the lower row, a character division operation is performed for each of the upper row and the lower row.

먼저, 단계 S31에서는 앞서 설명된 적응 문턱치 처리 방법을 통해 영상 이진화를 수행한다. First, in step S31, image binarization is performed through the above-described adaptive threshold value processing method.

그리고 단계 S32에서는 BU 기법을 통해 번호판 영상의 아랫줄 영상을 획득하고, 단계 S33에서는 수평적 프로젝션 기법을 통해 번호판 영상의 윗줄 영상을 획득한다. In step S32, the bottom line image of the license plate image is acquired through the BU technique. In step S33, the upper line image of the license plate image is acquired through the horizontal projection technique.

단계 S34에서는, 아랫줄 영상을 블롭 필터링하여 잡음을 제거하고, 단계S35에서는 사전 지식을 기반으로 한 RL 기법을 사용하여 4개의 숫자를 인식 및 레이블링한다. In step S34, the bottom line image is blob filtered to remove noise. In step S35, four numbers are recognized and labeled using the RL technique based on the prior knowledge.

단계 S35에서는, 단계 S34를 통해 인식한 숫자들의 위치를 기반으로 윗줄 영상의 숫자와 문자가 위치하는 관심 영역을 파악하고, 단계 S36에서는 관심 영역에 다시 수평적 프로젝션을 적용하여 상단 외곽 영상을 제거함으로써, 영상 크기를 줄인다. In step S35, the number of the upper line image and the area of interest in which the character is located are identified based on the positions of the recognized numbers in step S34. In step S36, the upper edge image is removed by applying a horizontal projection again to the area of interest , Reducing the image size.

그리고 단계 S37에서는 모폴로지 연산을 통해 레이블링하여 숫자와 문자들의 위치를 얻는다.
In step S37, the positions of the numbers and the characters are obtained by labeling through the morphology operation.

도16은 본 발명의 일 실시예에 따른 문자 분할 결과 예들을 도시한 도면으로, 이를 참고하면 번호판 형태에 상관없이 번호판 영상에 포함된 문자 모두를 인식할 수 있음을 할 수 있다.
FIG. 16 is a diagram illustrating examples of character division according to an exemplary embodiment of the present invention. Referring to FIG. 16, all characters included in a license plate image can be recognized regardless of the license plate type.

도17은 본 발명의 일 실시예에 따른 차량 번호판의 문자 분할 장치를 도시한 도면이다. 17 is a diagram showing a character division device of a license plate according to an embodiment of the present invention.

도17에 도시된 바와 같이, 본 발명의 문자 분할 장치는 번호판 영상에 포함된 번호판 타입을 파악하는 번호판 타입 결정부(10), 상기 번호판 타입이 검정색 문자 타입이면, 제1 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제1 문자 분할부(20), 및 상기 번호판 타입이 흰색 문자 타입이면, 제2 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제2 문자 분할부(30) 등을 포함하여 구성될 수 있다. 17, the character segmentation apparatus of the present invention includes a license plate type determination unit 10 for identifying a license plate type included in a license plate image, and a license plate type determination unit 10 for determining whether the license plate type is a black character type according to a first adaptive heuristic division technique A first character division unit 20 for recognizing and labeling each character included in the license plate image, and a second character division unit 20 for recognizing each character included in the license plate image according to a second adaptive heuristic division technique, And a second character division unit 30 for labeling and the like.

즉, 본 발명의 장치는 한국 번호판을 두 가지 타입으로 분류됨을 고려하여, 두 가지 종류의 적응 휴리스틱 분할 기법을 제안하고, 이들을 통해 흰색 문자 타입의 번호판 영상, 검정색 문자 타입의 번호판 영상 각각에 최적화된 문자 분할 동작을 수행하도록 한다. In other words, the apparatus of the present invention proposes two types of adaptive heuristic division techniques considering that Korean license plates are classified into two types, and through these, Thereby performing a character division operation.

이와 같이 구성되는 본 발명의 문자 분할 장치는 하나의 하드웨어 장치로 독립 구성될 수도 있으나, 차량 번호판 검출 기능, 번호판 문자 분할 기능, 분할된 문자 인식 기능을 모두 수행하는 LPR 장치에 내장되는 임베디드 장치 형태로 구현될 수도 있을 것이다.
The character dividing device of the present invention configured as described above may be configured independently as one hardware device, but may be implemented as an embedded device embedded in an LPR device that performs both a license plate detecting function, a license plate character dividing function, and a divided character recognizing function It may be implemented.

이상에서 전술한 바와 같은 이를 구현하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다. The computer-readable recording medium on which the program commands are recorded may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, Media storage devices.

또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.The computer-readable recording medium on which the above-described program is recorded may be distributed to a computer apparatus connected via a network so that computer-readable codes can be stored and executed in a distributed manner. In this case, one or more of the plurality of distributed computers may execute some of the functions presented above and send the results of the execution to one or more of the other distributed computers, The computer may also perform some of the functions described above and provide the results to other distributed computers as well.

본 발명의 각 실시예에 따른 차량 번호판의 문자 분할 방법 및 장치를 구동시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC뿐 만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다. A computer capable of reading a recording medium on which a method of dividing a license plate of a vehicle according to each embodiment of the present invention and an application that is a program for driving the apparatus are recorded can be used not only in a general PC such as a general desktop or a notebook computer, A tablet PC, a PDA (Personal Digital Assistants), and a mobile terminal, and in addition, it should be interpreted as all devices capable of computing.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program can be stored in a computer-readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention. As a storage medium of the computer program, a magnetic recording medium, an optical recording medium, or the like can be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (13)

번호판 영상에 포함된 번호판 타입을 결정하는 결정 단계;
상기 번호판 타입이 검정색 문자 타입이면, 제1 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제1 처리 단계; 및
상기 번호판 타입이 흰색 문자 타입이면, 제2 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제2 처리 단계;를 포함하며,
상기 제2 처리 단계는
상기 번호판 영상의 아랫줄 영상과 윗줄 영상을 분리하는 단계;
상기 아랫줄 영상을 블롭 필터링한 후, RL(Right Left) 기법을 통해 상기 아랫줄 영상에 포함된 숫자들을 인식하고 레이블링하여 출력하는 단계;
상기 아랫줄 영상에 포함된 숫자들의 위치값을 기반으로 상기 윗줄 영상의 관심 영역을 파악하는 단계; 및
상기 관심 영역을 모폴로지 연산하여, 상기 관심 영역에 포함된 숫자와 문자들을 인식하고 레이블링하여 출력하는 단계를 포함하는 특징으로 하는 차량 번호판의 문자 분할 방법.
A determining step of determining a license plate type included in the license plate image;
A first processing step of recognizing and labeling each of the characters included in the number plate image according to a first adaptive heuristic division method if the number plate type is a black character type; And
And a second processing step of recognizing and labeling each of the characters included in the license plate image according to a second adaptive heuristic division technique if the license plate type is a white character type,
The second processing step
Separating a lower line image and an upper line image of the license plate image;
Performing a blob filtering on the bottom line image, recognizing and labeling the numbers included in the bottom line image through an RL (Right Left) technique, and outputting the number;
Determining a region of interest of the upper line image based on a position value of the numbers included in the lower line image; And
And performing a morphological operation on the ROI to recognize and label and output the numbers and characters included in the ROI.
제1항에 있어서, 상기 결정 단계는
상기 번호판 영상에 대한 적응 히스토그램 평활화를 수행하고, 상기 적응 히스토그램 평활화된 번호판 영상에 포함된 잡음을 제거하는 단계;
상기 잡음 제거된 번호판 영상의 중앙 영역을 관심 영역으로 설정하는 단계;
상기 관심 영역을 전역적 문턱치 처리 기법에 따라 이진화하여 관심 영역내에 위치하는 픽셀 모두를 흰색 픽셀과 검정색 픽셀로 분류하는 단계; 및
흰색 픽셀의 개수가 검정색 픽셀보다 많은 경우에는 상기 번호판 타입이 검정색 문자 타입이라고 판단하고, 그렇지 않으면 상기 번호판 타입이 흰색 문자 타입이라고 판단하는 단계를 포함하는 것을 특징으로 하는 차량 번호판의 문자 분할 방법.
2. The method of claim 1,
Performing adaptive histogram smoothing on the license plate image, and removing noise included in the adaptive histogram smoothed license plate image;
Setting a center region of the noiseless license plate image as a region of interest;
Binarizing the region of interest according to a global thresholding technique to classify all pixels located within the region of interest into a white pixel and a black pixel; And
Determining that the license plate type is a black character type if the number of white pixels is greater than a black pixel, and otherwise determining that the license plate type is a white character type.
제2항에 있어서, 상기 번호판 영상에 포함된 잡음을 제거하는 단계는
Figure 112014012957924-pat00040
의 수학식을 사용하는 바이레터럴 필터를 통해 잡음 제거 동작을 수행하며,
상기
Figure 112014012957924-pat00041
는 필터링된 번호판 영상, 상기
Figure 112014012957924-pat00042
는 필터링전 번호판 영상, 상기
Figure 112014012957924-pat00043
는 픽셀의 좌표, 상기
Figure 112014012957924-pat00044
는 윈도우, 상기
Figure 112014012957924-pat00045
은 픽셀 값의 차이를 스무딩하기 위한 범위 커널, 상기
Figure 112014012957924-pat00046
는 좌표 차이를 스무딩하기 위한 공간 커널인 것을 특징으로 하는 차량 번호판의 문자 분할 방법.
3. The method of claim 2, wherein removing the noise included in the license plate image
Figure 112014012957924-pat00040
Lt; RTI ID = 0.0 > a < / RTI > by-
remind
Figure 112014012957924-pat00041
The filtered license plate image,
Figure 112014012957924-pat00042
A pre-filtering license plate image,
Figure 112014012957924-pat00043
The coordinates of the pixel,
Figure 112014012957924-pat00044
Window,
Figure 112014012957924-pat00045
A range kernel for smoothing the difference in pixel values,
Figure 112014012957924-pat00046
Is a space kernel for smoothing a coordinate difference.
제3항에 있어서, 상기 전역적 문턱치 처리 기법은
옷수 영상 이진화 방법으로 구현되는 것을 특징으로 하는 차량 번호판의 문자 분할 방법.
4. The method of claim 3, wherein the global thresholding technique
And the image is binarized by the image of the person.
제1항에 있어서, 상기 제1 처리 단계는
상기 번호판 영상을 지역적 문턱치 처리 기법에 따라 이진화한 후, 블롭 필터링하는 단계;
상기 블롭 필터링된 번호판 영상의 하단 외곽 영역과 상단 외곽 영역을 제거하는 단계; 및
RL(Right Left) 기법과 LR(Left Right) 기법을 이용하여 각각의 문자를 인식 및 레이블링하는 단계를 포함하는 것을 특징으로 하는 차량 번호판의 문자 분할 방법.
2. The method of claim 1, wherein the first processing step
Binarizing the license plate image according to a local threshold value processing method, and then performing blob filtering;
Removing the lower outer edge region and the upper outer edge region of the blob-filtered number plate image; And
And recognizing and labeling each character using an RL (Right Left) technique and an LR (Left Right) technique.
제5항에 있어서, 상기 지역적 문턱치 처리 기법은
Figure 112015060641838-pat00077

Figure 112015060641838-pat00078

Figure 112015060641838-pat00079

Figure 112015060641838-pat00080

Figure 112015060641838-pat00081
의 수식으로 구현되는 적응 문턱치 처리 기법으로 구현되며,
상기
Figure 112015060641838-pat00082
은 번호판 영상,
Figure 112015060641838-pat00083
는 픽셀의 위치,
Figure 112015060641838-pat00084
은 문턱치,
Figure 112015060641838-pat00085
은 이진화된 번호판 영상,
Figure 112015060641838-pat00086
는 원본 영상의 원도우내 평균,
Figure 112015060641838-pat00087
는 원본 영상의 원도우내 표준편차, 상기 w는 원본 영상내의 원도우 크기, 상기 k와 상기 R는 계산 계수인 것을 특징으로 하는 차량 번호판의 문자 분할 방법.
6. The method of claim 5,
Figure 112015060641838-pat00077

Figure 112015060641838-pat00078

Figure 112015060641838-pat00079

Figure 112015060641838-pat00080

Figure 112015060641838-pat00081
And is implemented as an adaptive threshold value processing technique,
remind
Figure 112015060641838-pat00082
The license plate image,
Figure 112015060641838-pat00083
The position of the pixel,
Figure 112015060641838-pat00084
The threshold,
Figure 112015060641838-pat00085
A binned license plate image,
Figure 112015060641838-pat00086
The average of the original images in the window,
Figure 112015060641838-pat00087
Is a standard deviation in a window of the original image, w is a window size in the original image, and k and R are calculation coefficients.
제6항에 있어서, 상기 지역적 문턱치 처리 기법은
상기
Figure 112015060641838-pat00088
는 원도우내 평균,
Figure 112015060641838-pat00089
는 원도우내 표준편차 계산 시에, 적분 영상을 사용하는 것을 특징으로 하는 차량 번호판의 문자 분할 방법.
7. The method of claim 6, wherein the local thresholding technique
remind
Figure 112015060641838-pat00088
The average in the window,
Figure 112015060641838-pat00089
Wherein an integral image is used in calculating a standard deviation of a window.
제5항에 있어서, 상기 문자를 인식 및 레이블링하는 단계는
사전에 설정된 문자간 거리 및 위치 기준치를 기반으로, 레이블링 결과를 분석하여 잘못 레이블된 블롭들을 검출하고 제거하는 단계를 더 포함하는 것을 특징으로 하는 차량 번호판의 문자 분할 방법.
6. The method of claim 5, wherein recognizing and labeling the character
Further comprising the step of analyzing the labeling result based on the preset inter-character distance and position reference value to detect and remove the mislabeled blobs.
제5항에 있어서, 상기 문자를 인식 및 레이블링하는 단계는
두 번째와 세 번째 숫자 사이에 존재하는 문자 영역 부분을 지역적으로 모폴로지 처리를 하여 하나의 덩어리로 만들어 레이블링 하는 단계를 더 포함하는 것을 특징으로 하는 차량 번호판의 문자 분할 방법.
6. The method of claim 5, wherein recognizing and labeling the character
Further comprising the step of locally performing morphological processing of the character area portion existing between the second and third digits so as to form a single lump and labeling.
삭제delete 제1항에 있어서, 상기 아랫줄 영상과 윗줄 영상을 분리하는 단계는
BU(Bottom Up) 기법을 통해 아랫줄 영상을 획득하고, 수평적 프로젝션 기법을 통해 윗줄 영상을 획득하는 것을 특징으로 하는 차량 번호판의 문자 분할 방법.
The method of claim 1, wherein separating the lower line image and the upper line image comprises:
A bottom line image is obtained through a BU (bottom up) technique, and an upper line image is obtained through a horizontal projection technique.
제1항 내지 제9항, 제11항 중 어느 한 항에 기재된 차량 번호판의 문자 분할 방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the character division method of the license plate according to any one of claims 1 to 9 and 11. 번호판 영상에 포함된 번호판 타입을 파악하는 번호판 타입 결정부;
상기 번호판 타입이 검정색 문자 타입이면, 제1 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제1 문자 분할부; 및
상기 번호판 타입이 흰색 문자 타입이면, 제2 적응 휴리스틱 분할 기법에 따라 상기 번호판 영상에 포함된 문자 각각을 인식 및 레이블링하는 제2 문자 분할부;를 포함하며,
상기 제2 문자 분할부는
상기 번호판 영상의 아랫줄 영상과 윗줄 영상을 분리하고, 상기 아랫줄 영상을 블롭 필터링한 후, RL(Right Left) 기법을 통해 상기 아랫줄 영상에 포함된 숫자들을 인식하고 레이블링하여 출력하고, 상기 아랫줄 영상에 포함된 숫자들의 위치값을 기반으로 상기 윗줄 영상의 관심 영역을 파악하고, 상기 관심 영역을 모폴로지 연산하여, 상기 관심 영역에 포함된 숫자와 문자들을 인식하고 레이블링하여 출력하는 것을 특징으로 하는 차량 번호판의 문자 분할 장치.
A license plate type determination unit for identifying license plate types included in license plate images;
A first character division unit for recognizing and labeling each of the characters included in the number plate image according to a first adaptive heuristic division technique if the number plate type is a black character type; And
And a second character division unit for recognizing and labeling each of the characters included in the license plate image according to a second adaptive heuristic division technique if the license plate type is a white character type,
The second character dividing unit
The bottom line image of the license plate image is separated from the upper line image, and the bottom line image is subjected to blob filtering, and the numbers included in the bottom line image are recognized and labeled through the RL (Right Left) Recognizes the region of interest of the upper line image based on the position value of the numbers included in the line image, and performs morphology calculation of the region of interest, recognizes and labels the numbers and characters included in the region of interest, and outputs the number and characters. Character splitting device of license plates.
KR1020140015111A 2014-02-10 2014-02-10 Method and apparatus for character segmentation of license plate KR101574874B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140015111A KR101574874B1 (en) 2014-02-10 2014-02-10 Method and apparatus for character segmentation of license plate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140015111A KR101574874B1 (en) 2014-02-10 2014-02-10 Method and apparatus for character segmentation of license plate

Publications (2)

Publication Number Publication Date
KR20150094165A KR20150094165A (en) 2015-08-19
KR101574874B1 true KR101574874B1 (en) 2015-12-04

Family

ID=54057705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140015111A KR101574874B1 (en) 2014-02-10 2014-02-10 Method and apparatus for character segmentation of license plate

Country Status (1)

Country Link
KR (1) KR101574874B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101873576B1 (en) 2016-10-31 2018-07-03 한국전자통신연구원 System and method for recognizing information from vehicle license plate
CN107742301B (en) * 2017-10-25 2021-07-30 哈尔滨理工大学 Image classification-based power transmission line image processing method under complex background
CN108182435B (en) * 2018-01-15 2024-04-12 昆明理工大学 Vehicle double-row character rear license plate detection and recognition device based on visual recognition
KR102161166B1 (en) * 2019-03-27 2020-09-29 한화시스템 주식회사 Method for image fusion and recording medium
KR101986592B1 (en) * 2019-04-22 2019-06-10 주식회사 펜타게이트 Recognition method of license plate number using anchor box and cnn and apparatus using thereof
CN113763395B (en) * 2021-08-31 2023-10-17 中国长江三峡集团有限公司 Method for analyzing cavitation bubble dynamics based on image

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문1:인터넷정보학회
논문2:ICINCO 2008
논문3:한국정보과학회

Also Published As

Publication number Publication date
KR20150094165A (en) 2015-08-19

Similar Documents

Publication Publication Date Title
KR101574874B1 (en) Method and apparatus for character segmentation of license plate
Azam et al. Automatic license plate detection in hazardous condition
US9317776B1 (en) Robust static and moving object detection system via attentional mechanisms
Wu et al. An automated vision system for container-code recognition
Xu et al. Smart data driven traffic sign detection method based on adaptive color threshold and shape symmetry
US9965695B1 (en) Document image binarization method based on content type separation
US9449222B2 (en) Image processing device and method
Wang et al. An effective method for plate number recognition
Danescu et al. Detection and classification of painted road objects for intersection assistance applications
KR101182173B1 (en) Method and system for recognizing vehicle plate
US9171224B2 (en) Method of improving contrast for text extraction and recognition applications
Musoromy et al. Edge detection comparison for license plate detection
Wang et al. Car license plate detection based on MSER
Lin et al. An efficient and robust moving shadow removal algorithm and its applications in ITS
Tan et al. License plate localization based on edge-geometrical features using morphological approach
Ramírez-Ortegón et al. An optimization for binarization methods by removing binary artifacts
Pai et al. An embedded system for real-time facial expression recognition based on the extension theory
Abedin et al. Traffic sign recognition using surf: Speeded up robust feature descriptor and artificial neural network classifier
Mammeri et al. Road-sign text recognition architecture for intelligent transportation systems
Gilly et al. A survey on license plate recognition systems
Jung et al. A new approach for text segmentation using a stroke filter
CN111027544A (en) MSER license plate positioning method and system based on visual saliency detection
Kumar An efficient text extraction algorithm in complex images
Maheswari et al. An integrated number plate recognition system through images using threshold-based methods and KNN
Gaceb et al. Adaptative smart-binarization method: For images of business documents

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20181024

Year of fee payment: 4