KR101858099B1 - 자동차 번호판 검출 방법 및 장치 - Google Patents

자동차 번호판 검출 방법 및 장치 Download PDF

Info

Publication number
KR101858099B1
KR101858099B1 KR1020170015476A KR20170015476A KR101858099B1 KR 101858099 B1 KR101858099 B1 KR 101858099B1 KR 1020170015476 A KR1020170015476 A KR 1020170015476A KR 20170015476 A KR20170015476 A KR 20170015476A KR 101858099 B1 KR101858099 B1 KR 101858099B1
Authority
KR
South Korea
Prior art keywords
license plate
regions
character
candidate
image
Prior art date
Application number
KR1020170015476A
Other languages
English (en)
Inventor
전경구
박동진
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020170015476A priority Critical patent/KR101858099B1/ko
Application granted granted Critical
Publication of KR101858099B1 publication Critical patent/KR101858099B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G06K9/3258—
    • G06K9/3283—
    • G06K9/34—
    • G06K9/4609—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Abstract

본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은, (a) 입력 영상에서 단일 문자 영역을 식별하고 식별된 문자 영역들을 병합하여 후보 영역들을 선택하는 단계; 및 (b) 소정의 특징 벡터들을 사용하는 기계 학습에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 단계를 포함하고, 상기 후보 영역들을 선택하는 단계는, (a-1) 상기 입력 영상에서 에지를 강조함으로써 문자와 연관된 에지들을 강화하는 단계; (a-2) 상기 에지가 강조된 영상에서 노이즈를 제거하고 불연속적인 에지들을 연결하는 단계; (a-3) 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 단일 문자 영역을 식별하는 단계; (a-4) 상기 문자 영역들 중 소정의 조건을 만족하는 문자 영역들을 병합하는 단계; 및 (a-5) 자동차 번호판 고유의 특성을 이용하여 상기 병합된 문자 영역들 중 후보 영역들을 결정하는 단계를 포함한다.

Description

자동차 번호판 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING VEHICLE PLATES}
본 발명은 자동차 번호판 검출 방법 및 장치에 관한 것이다.
프라이버시는 구글 스트리트 뷰 및 블랙박스 영상 공유 사이트와 같은 인터넷 서비스에서 자동차 번호판이 허락없이 노출되는 경우 중요한 이슈이다. 구글 스트리트 뷰는 프라이버시 위반을 회피하기 위하여 얼굴들과 번호판들을 지운다. 많은 국가들은 블랙박스 영상에서 캡처된 개인적인 정보의 공유를 금지한다. 독일 및 미국은 서면 허가 없이 얼굴과 번호판 이미지들을 포함하는 이미지들 및 영상들을 배포하는 것을 허용하지 않는다. 인터넷 서비스에 이러한 데이터를 업로드할 때 수동으로 개인적인 이미지들을 제거하는 것이 필요하다. 이것을 위하여, 자동차 번호판 검출은 공유하기 전에 번호판 정보의 위치를 찾고 제거하는데 있어서 중심적인 역할을 한다.
자동차 번호판 검출은 번호판 숫자를 인식하기 전에 필수적인 사전 단계로서 보안 제어, 주차 관리, 및 자동 통행료 시스템에서 사용되어 왔다. 하지만, 기존의 검출 방법들은 이미지 내의 번호판들의 위치, 번호판 크기, 및 조명 상태의 관점에서 제한을 갖는다. 스트리트 뷰 및 블랙박스 영상은 상이한 조건뿐만 아니라 도전적인 조건들을 제공한다; 도로 표지 및 광고판들은 혼동되고, 번호판 크기들은 거리에 따라 변하며, 번호판들은 때때로 회전하거나 기울고, 번호판들의 색상은 조명 상태에 따라 변한다.
사람들이 자유롭게 캡처하고 업로드하는 영상들 및 이미지들을 배포하는 인터넷 서비스들의 확산 때문에, 번호판을 자동으로 검출하기 위한 방법들은 프라이버시 보호에 있어서 점점 더 중요해지고 있다. 그렇지 않으면, 매일 새로 이용가능한 이미지들 및 영상들의 양을 고려할 때 거의 불가능한 수동적인 방법으로 이러한 검출이 수행되어야 한다.
이미지에서의 자동차 번호판 검출은 그것의 광범위한 적용가능성 때문에 다양한 영역에서 연구되어왔다. 번호판 검출을 위한 방법들은 대체로 5개의 그룹으로 나뉜다. 하기에 각 그룹을 상세히 설명하고 그들의 강점 및 단점을 각각 논의한다.
에지 필터 기반 방법은 가장 단순한 접근법이다. 그것은 소벨 필터링의 도움으로 수직 에지 및 수평 에지 양자를 검출한다. 그 다음 그것은 수직 및 수평 에지들이 직사각형 형상으로 중복되고 그것의 폭-높이 비가 번호판의 폭-높이 비와 유사한 영역들을 검색함으로써 가능한 번호판 영역들을 결정한다. 그것의 단점은 자동차의 색상이 번호판의 색상과 상이해야 한다는 것이다. 번호판들의 직선 윤곽을 찾기 위하여 허프 변환(Hough transform)이 채택된다. 그것이 기울어진 번호판들을 검출할 수 있을지라도, 허프 변환에 기인한 증가된 계산 오버헤드는 그것의 단점이다. 일반적으로, 에지-기반 접근법들은 에지들이 연결되는 경우에만 잘 동작한다. 에지들이 불연속적이거나 너무 짧은 경우, 에지들을 노이즈와 구별하는 것은 도전적이다.
픽셀-연속성 기반 방법은 연결 요소 분석(CCA: connected component analysis)을 이용하는데, 연결 요소 분석은 번호판들의 경계의 위치를 찾는다. 번호판 검출을 위한 템플릿 매칭은 [11]에서 사용된다. 양 방법들의 제한은 그들이 번호판들의 크기 및 조명 상태가 미리 알려져 있는 경우에 적용가능하다는 것이다.
텍스처-분석 기반 방법들은 번호판 문자들을 형성하는 에지들이 텍스처-유사 특징들을 갖기 때문에 제안되었다. 텍스처 매칭을 위하여, 벡터 양자화[12], 가보 필터[13] 및 웨이블릿 변환[14]이 사용되었지만 증가하는 계산 오버헤드의 단점이 있다. 각 단계가 예를 들어, 하르(Haar)[15] 및 공분산 기술자와 HoG 기술자[16]와 같은 상이한 특징 벡터들을 이용하는 다단계 접근법들이 사용되었다. 그들의 이점은 번호판의 경계 색상이 구별가능하지 않는 경우조차 적용가능하다는 것이다. 하지만, 그것의 단점은 계산 오버헤드가 크다는 것이다.
색상 정보 기반 접근법들은 번호판 자체 및 번호판 상의 문자들의 색상 조합이 스트리트 뷰에서 드물다는 관찰을 이용한다. [17]에서, 픽셀들은 HLS 색상 모델에 기반하여 13개의 카테고리들로 나뉜다. 번호판들의 색상 조합과 매칭하는 영역들이 선택된다. 다른 방법들이 존재한다; 신경망이 픽셀 색상을 분류하는데 사용되고[18], 번호판들의 경계가 색상에 의해 검출된다[19]. 이들 색상 기반 방법들은 번호판들의 회전 및 기울기에 강건하지만, 조명 변화에 취약하고 번호판들이 자동차의 색상과 유사한 경우 적용가능하지 않다. 이러한 제한을 극복하기 위하여, 색상(hue) 값들의 평균 및 표준편차를 고려하는 방법이 고려되었고 제안되었다[20].
문자 기반 접근법들은 최근의 연구들이다. [21]에서, 그것은 문자들 및 숫자들을 갖는 영역들을 검색하고 신경망들을 사용하여 영역들이 번호판일 가능성을 결정한다. 더 제한된 버전은 문자들의 크기가 가정되는 [22]이다. 다른 유사한 방법들은 비-번호판 영역들을 제외시키기 위하여 추가적인 단계들을 이용한다; 문자들의 폭-높이 비가 제한되고[23], 라플라시안 필터가 문자 에지들을 강화하기 위하여 사용되며[24], 하르(Haar) 특징에 대한 아다부스트(Adaboost) 및 SVM과 같은 몇몇 분류기들이 이용된다[25]. 이들 방법들은 회전에 강건하지만 문자들을 갖는 비-번호판 객체들에 취약하다.
가장 최신의 접근법은 구글로부터 유래된다[26]. 자동차 번호판을 블러링(blurring)함으로써 스트리트 뷰의 프라이버시를 보호하기 위하여, 그들은 번호판 검출 방법을 개발하였다. 전체 구조는 다단계 접근법의 구조와 유사하다; 그것은 콘벌루셔널 신경망 및 포스트 프로세서 신경망으로 구성되며, 자동차들이 우선 검출되고 그 다음 번호판의 위치가 결정된다. 그것의 진보에도 불구하고, 불행하게도 내부적인 연구 및 테스트 데이터 세트에 대해 알려진 상세가 거의 존재하지 않는다.
[1] L. Vincent, "Taking Online Maps Down to Street Level", Computer, vol. 40, no. 12, (2007), pp. 118-120. [2] http://www.iatom.co.kr. [3] https://www.facebook.com/blackboxkorea/. [4] http://www.craxing.com. [5] https://productforums.google.com/forum/#!topic/maps/WNqgWUVLJdQ [6] M. Sarfraz, M. J. Ahmed and S. A. Ghazi, "Saudi Arabian License Plate Recognition System,"Proceedings of Int. Conf. Geom. Model. Graph., (2003), pp. 36-41. [7] D. Zheng, Y. Zhao and J. Wang, "An Efficient Method of License Plate Location", Pattern Recognit. Lett. vol. 26, no. 15, (2005), pp. 2431-2438. [8] V. Kamat and S. Ganesan, "An Efficient Implementation of the Hough Transform for Detecting Vehicle License Plates using DSPs", Proceedings of Real-Time Tech. Applicat. Symp., (1995), pp. 58-59. [9] T. D. Duan, D. A. Duc and T. L. H. Du, "Combining Hough transform and Contour Algorithm for Detecting Vehicles’ License-Plates", Proceedings of Int. Symp. Intell. Multimedia Video Speech Process., (2004), pp. 747-750. [10] M. Chacon and S. Zimmerman, "License Plate Location based on a Dynamic PCNN Scheme", Proceedings of Int. Joint Conf. Neural Netw., (2003), pp. 1195-1200. [11] K. Miyamoto, K. Nagano, M. Tamagawa, I. Fujita and M. Yamamoto, "Vehicle License-Plate Recognition by Image Analysis", Proceedings of Int. Conf. Ind. Electron. Control Instrum., (1991), pp. 1734-1738. [12] R. Zunino and S. Rovetta, "Vector Quantization for License-Plate Location and Image Coding", IEEE Trans. Ind. Electron., vol. 47, no. 1, pp. 159-167. [13] H. Caner, H. S. Gecim and A. Z. Alkar, "Efficient Embedded Neural-Network based License Plate Recognition System", IEEE Trans. Veh. Tech., vol. 57, no. 5, (2008), pp. 2675-2683. [14] C. Hsieh, Y. Juan, and K. Hung, "Multiple License Plate Detection for Complex Background", Proceedings of Int. Conf. Adv. Inform. Netw. Applicat., vol. 2, (2005), pp. 389-392. [15] H. Zhang, W. Jia, X. He, and Q. Wu, "Learning-based License Plate Detection using Global and Local Features", Proceedings of Int. Conf. Pattern Recognit., vol. 2, (2006), pp. 1102-1105. [16] J. Yoon and D. Kim, "Car License Plate Detector Robust to Shape Variation for Privacy Protection in Road View Service", Proceedings of Fall Conference of Korean Institute of Information Scientists and Engineers, vol. 38, no.2, (2011), pp. 426-430. [17] X. Shi, W. Zhao and Y. Shen, "Automatic License Plate Recognition System based on Color Image Processing", Lecture Notes Comput. Sci., vol. 3483, pp. 1159-1168. [18] E. Lee, P. Kim and H. Kim, "Automatic Recognition of a Car License Plate using Color Image Processing", Proceedings of IEEE Int. Conf. Image Process., vol. 2, (1994), pp. 301-305. [19] Y. Yang, J. Tian and N. Liu, "A Vehicle License Plate Recognition System based on Fixed Color Collocation", Proceedings of Int. Conf. Mach. Learning Cybern., vol. 9, (2005), pp. 5394-5397. [20] K. Deb and K.-H. Jo, "A Vehicle License Plate Detection Method for Intelligent Transportation System Applications", Cybern. Syst. Int. J., vol. 40, no. 8, pp. 689-705. [21] J. Matas and K. Zimmermann, "Unconstrained License Plate and Text Localization and Recognition", Proceedings of IEEE Conf. Intell. Transp. Syst., (2005), pp. 572-577. [22] S. Draghici, "A Neural Network based Artificial Vision System for License Plate Recognition", Int. J. Neural Syst., vol. 8, no. 1, pp. 113-126. [23] F. Alegria and P. S. Girao, "Vehicle Plate Recognition for Wireless Traffic Control and Law Enforcement System", Proceedings of IEEE Int. Conf. Ind. Tech., Dec. (2006), pp. 1800-1804. [24] J. Kim, "Distortion Invariant Vehicle License Plate Extraction and Recognition Algorithm", Journal of Korean Contents Association, vol. 11, no.3, (2011), pp 1-8 [25] W. Ho, H. Lim, Y. Tay, and Q. Binh, "Two-stage License Plate Detection using Gentle Adaboost and SIFT-SVM", Proceedings of 1st Asian Conf. Intell. Inform. Database Syst., (2009), pp. 109-114. [26] A. Frome, G. Cheung, A. Abdulkader, M. Zennaro, B. Wu, A. Bissacco,, "Large-scale Privacy Protection in Google Street View", Proceedings of IEEE 12th international conference on computer vision, (2009), pp. 2373-2380.
본 발명이 해결하고자 하는 과제는 영상 내의 번호판의 위치, 번호판 크기, 및 조명 상태에 상관없이 도로주행 영상에서 자동차 번호판의 검출율과 검출 속도를 향상시킬 수 있는 자동차 번호판 검출 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 영상 내의 번호판의 위치, 번호판 크기, 및 조명 상태에 상관없이 도로주행 영상에서 자동차 번호판의 검출율과 검출 속도를 향상시킬 수 있는 자동차 번호판 검출 장치를 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은,
(a) 입력 영상에서 단일 문자 영역을 식별하고 식별된 문자 영역들을 병합하여 후보 영역들을 선택하는 단계; 및
(b) 소정의 특징 벡터들을 사용하는 기계 학습에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 단계를 포함하고,
상기 후보 영역들을 선택하는 단계는,
(a-1) 상기 입력 영상에서 에지를 강조함으로써 문자와 연관된 에지들을 강화하는 단계;
(a-2) 상기 에지가 강조된 영상에서 노이즈를 제거하고 불연속적인 에지들을 연결하는 단계;
(a-3) 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 단일 문자 영역을 식별하는 단계;
(a-4) 상기 문자 영역들 중 소정의 조건을 만족하는 문자 영역들을 병합하는 단계; 및
(a-5) 자동차 번호판 고유의 특성을 이용하여 상기 병합된 문자 영역들 중 후보 영역들을 결정하는 단계를 포함한다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에 있어서, 상기 단계 (a-1)은, 라플라시안(Laplacian) 필터를 이용하여 상기 입력 영상에서 에지를 강화하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에 있어서, 상기 단계 (a-2)는, 모폴로지 연산인 열기(opening) 연산을 이용하여 상기 에지가 강조된 영상에서 노이즈를 제거하고, 닫기(closing) 연산을 이용하여 불연속적인 에지들을 연결하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에 있어서, 상기 단계 (a-3)은, 연결 요소 분석(connected component analysis)에 기반하여 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 문자에 대응하는 직사각형 영역을 문자 영역으로서 식별하고, 픽셀의 개수가 소정 범위를 벗어난 직사각형 영역들을 문자 영역에서 제외시키는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에 있어서, 상기 단계 (a-4)는, 문자 영역들의 높이 차이가 소정의 제1 임계값 미만이고, 문자 영역들의 중심 수평선의 위치 차이가 소정의 제2 임계값 미만이며, 문자 영역들 간의 수평 거리가 소정의 범위 내에 있는 문자 영역들을 병합하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에 있어서, 상기 단계 (a-5)는, 영역의 높이 대 폭의 비가 자동차 번호판의 높이 대 폭의 비와 실질적으로 일치하고, 영역의 절대 크기가 최소 임계값보다 크며 최대 임계값보다 작은, 병합된 문자 영역들을 후보 영역들로서 결정하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에 있어서, 상기 단계 (b)는, 자동차 번호판의 복수의 서브 영역의 에지 밀도 및 자동차 번호판의 색상(hue)과 관련된 특징 벡터들을 사용하는 서포트 벡터 머신에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은, 상기 단계 (a) 이전에,
기지의 자동차 번호판의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 단계; 및
상기 특징 벡터들에 기반하여 자동차 번호판을 분류하기 위한 서포트 벡터 머신용 분류 모델을 형성하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에 있어서, 상기 단계 (b)는,
(b-1) 상기 후보 영역들 각각의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 단계; 및
(b-2) 상기 특징 벡터들을 상기 분류 모델에 적용하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 단계를 포함할 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치는,
입력 영상에서 문자 영역을 식별하고 병합하여 후보 영역들을 선택하기 위한 후보 영역 선택부; 및
소정의 특징 벡터들을 사용하는 기계 학습에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하기 위한 자동차 번호판 영역 결정부를 포함하고,
상기 후보 영역 선택부는,
(a-1) 상기 입력 영상에서 에지를 강조함으로써 문자와 연관된 에지들을 강화하는 동작;
(a-2) 상기 에지가 강조된 영상에서 노이즈를 제거하고 불연속적인 에지들을 연결하는 동작;
(a-3) 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 단일 문자 영역을 식별하는 동작;
(a-4) 상기 문자 영역들 중 소정의 조건을 만족하는 문자 영역들을 병합하는 동작; 및
(a-5) 자동차 번호판 고유의 특성을 이용하여 상기 병합된 문자 영역들 중 후보 영역들을 결정하는 동작을 수행한다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 장치에 있어서, 상기 동작 (a-1)은, 라플라시안(Laplacian) 필터를 이용하여 상기 입력 영상에서 에지를 강화하는 동작을 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치에 있어서, 상기 동작 (a-2)는, 모폴로지 연산인 열기(opening) 연산을 이용하여 상기 에지가 강조된 영상에서 노이즈를 제거하고, 닫기(closing) 연산을 이용하여 불연속적인 에지들을 연결하는 동작을 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치에 있어서, 상기 동작 (a-3)은, 연결 요소 분석(connected component analysis)에 기반하여 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 문자에 대응하는 직사각형 영역을 문자 영역으로서 식별하고, 픽셀의 개수가 소정 범위를 벗어난 직사각형 영역들을 문자 영역에서 제외시키는 동작을 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치에 있어서, 상기 동작 (a-4)는, 문자 영역들의 높이 차이가 소정의 제1 임계값 미만이고, 문자 영역들의 중심 수평선의 위치 차이가 소정의 제2 임계값 미만이며, 문자 영역들 간의 수평 거리가 소정의 범위 내에 있는 문자 영역들을 병합하는 동작을 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치에 있어서, 상기 동작 (a-5)는, 영역의 높이 대 폭의 비가 자동차 번호판의 높이 대 폭의 비와 실질적으로 일치하고, 영역의 절대 크기가 최소 임계값보다 크며 최대 임계값보다 작은, 병합된 문자 영역들을 후보 영역들로서 결정하는 동작을 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치에 있어서, 상기 동작 (b)는,
자동차 번호판의 복수의 서브 영역의 에지 밀도 및 자동차 번호판의 색상(hue)과 관련된 특징 벡터들을 사용하는 서포트 벡터 머신에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 동작을 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치에 있어서, 상기 자동차 번호판 영역 결정부는, 상기 자동차 번호판 영역을 결정하기 위한 동작을 수행하기 이전에,
기지의 자동차 번호판의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 동작; 및
상기 특징 벡터들에 기반하여 자동차 번호판을 분류하기 위한 서포트 벡터 머신용 분류 모델을 형성하는 동작을 수행할 수 있다.
또한, 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치에 있어서, 상기 자동차 번호판 영역 결정부는,
상기 후보 영역들 각각의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 동작; 및
상기 특징 벡터들을 상기 분류 모델에 적용하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 동작을 더 수행할 수 있다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법 및 장치에 의하면, 입력 영상에서 단일 문자 영역을 식별하고 식별된 문자 영역들을 병합하여 후보 영역들을 선택함으로써 기계 학습 분류기에 대한 후보 영역들의 수를 대폭 감소시킬 수 있으며 자동차 번호판의 고유한 특징들을 나타내는 특징 벡터들을 이용하기 때문에, 영상 내의 자동차 번호판의 위치, 번호판의 크기, 및 조명 상태에 상관없이 도로주행 영상에서 자동차 번호판을 정확하게 검출할 수 있고, 자동차 번호판 검출율및 검출 속도를 향상시킬 수 있다.
도 1은 6개의 상이한 유형의 한국 자동차 번호판을 도시한 도면.
도 2는 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법의 흐름도.
도 3은 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법의 처리 시퀀스 및 그에 따른 결과 영상을 도시한 도면.
도 4는 도 2에 도시된 후보 영역 선택 단계의 상세 흐름도.
도 5는 노이즈를 제거하고 문자를 강화하기 위한 모폴로지 연산 결과를 도시한 도면으로서, 도 5a는 입력, 도 5b는 열기 연산의 결과 영상, 도 5c는 닫기 연산의 결과 영상.
도 6은 CCA 및 필터링에 의한 문자 영역 검출 결과를 도시한 도면으로서, 도 6a는 영상, 도 6b는 CCA 결과 영상, 도 6c는 필터링 결과 영상.
도 7은 문자 영역 병합에 의한 번호판 후보 영역 형성에 관한 도면으로서, 도 7a는 입력, 도 7b는 병합된 문자 영역들이 표시된 영상.
도 8은 후보 영역 선택 단계 이후의 후보 영역들을 도시한 도면으로서, 도 8a는 입력, 도 8b는 후보 번호판 영역들이 표시된 영상.
도 9는 자동차 번호판 영역 결정 단계의 상세 흐름도.
도 10은 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에서 사용되는 특징 벡터의 구조를 도시한 도면.
도 11은 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치의 블록도.
도 12는 성능 평가를 위한 테스트 이미지들을 도시한 도면.
도 13은 검출율과 FPR의 관점에서 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법과 Ho의 연구를 비교한 도면.
도 14는 번호판 검출을 위한 경과 시간의 비교를 도시한 도면.
도 15는 검출된 객체들의 수의 변화를 도시한 도면.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.
본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
자동차 블랙박스 영상에서 자동차 번호판을 검출하고 지우는 것은 프라이버시 때문에 이러한 영상을 공유하는 인터넷 서비스에 매우 중요하다. 기존의 자동차 번호판 검출 방법들은 그들이 어떤 조건에 의존하기 때문에 이러한 유형의 영상에 적합하지 않다: 번호판의 크기 및 회전, 조명 조건, 및 비번호판 객체의 존재. 본 발명은 블랙박스 영상으로부터 한국 자동차 번호판을 검출하기 위한 신규한 방법을 제안한다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 이미지 내의 번호판 위치, 번호판 크기, 회전 및 조명에 상관없이 동작하는 방식을 제안한다. 이미지들에서 복수의 번호판들을 또한 검출하는 것이 가능하다. 도전적인 것들 중 하나는 번호판들의 경계가 자동차로부터 식별 불가능한 경우이다. 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 대도시에서 주행하는 동안 캡처된 영상들로부터 도 1에 도시된 바와 같은 다양한 유형의 한국 번호판들을 검출한다.
상기 조건에 덜 의존적이도록, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 2개의 단계들을 포함한다: 번호판 상의 문자들의 위치를 찾은 다음 후보 번호판 영역들로 병합하며, 특징 벡터를 가지고 훈련된 서포트 벡터 머신에 의해 진정한 번호판을 식별한다. 성능 평가 결과는 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법이 검출율(recall rate)과 속도의 관점에서 기존의 방식들보다 우월하다는 것을 보여준다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 다단계 접근법 및 문자 기반 접근법의 하이브리드이다. 가장 유사한 것은 Ho의 연구인데[25], 그것은 2개의 단계들을 갖는다; 제1 단계는 가장 번호판일 것 같은 후보 영역들을 선택하고, 제2 단계는 기계 학습 분류기를 사용하여 진정한 번호판들을 선택한다. 하지만, 유사성은 여기에서 끝난다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 이미지들의 전처리에 있어서 더욱 더 정교하고 번호판들의 특징들을 나타내는 상이한 특징 벡터들을 이용한다. 전처리에 의해, 기계 학습 분류기에 대한 후보 영역들의 수가 극적으로 감소되도록 노이즈 및 비-번호판 객체들이 제거되고, 그 결과 개선된 정확도 및 속도가 획득된다.
자동차 번호판 검출
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 자동차 블랙박스에 의해 캡처된 영상들로부터 자동차 번호판들을 검출하기 위한 신규한 방법을 제안한다. 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법의 접근법은 자동차 번호판들이 자동차 번호판들 상의 문자 및 숫자들을 갖는다는 사실에 기반한다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 이미지를 검색하여 문자들의 위치를 찾고 번호판-유사 직사각형 영역을 형성하기 위하여 문자 영역들을 병합한다. 어떤 조건들을 만족하는 영역들만이 번호판으로서 분류된다. 이러한 접근법은 한국 자동차 번호판들이 균등하게 이격된 다수의 숫자 문자들을 가지고 있기 때문에 합리적이다. 하지만, 블랙박스 영상들은 예를 들어 도로 표지판 및 광고판과 같은, 숫자 문자들의 유사한 특징들을 나타내는 많은 비-번호판 객체들을 가지고 있다. 따라서, 이러한 노이즈를 무시하는 번호판들을 검출하는 것은 도전적이다.
도 2를 참조하면, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은, 2개의 단계들로 구성되는데, 입력 영상에서 단일 문자 영역을 식별하고 식별된 문자 영역들을 병합함으로써 후보 영역들을 선택하는 단계(단계 S200), 및 소정의 특징 벡터들을 사용하는 기계 학습에 기반하여 상기 후보 번호판 영역들 중에서 자동차 번호판 영역을 결정하는 단계(단계 S202)를 포함한다.
첫 번째 단계(단계 S200)는 가장 번호판일 것 같은 후보 영역들을 선택하는 단계로서, 그것은 후보 선택 단계로 불리운다. 두 번째 단계인 결정 단계(단계 S202)는 기계 학습 기반 분류기인, 서포트 벡터 머신(SVM: Support Vector Machine)을 사용하여 어떤 후보 영역들이 진정한 번호판들인지를 결정한다.
도 3은 이미지들이 2개의 단계들을 통해 처리되는 동안 생성된 결과들을 보여준다. 상기 결과들로부터, 서브-단계들이 설명된다. 우선, 문자 영역들이 도 3b에 도시된 바와 같이 에지들을 강화함으로써 강조된다. 그 다음 문자 영역들로 구성될 것 같은 에지들만이 도 3c에 도시된 바와 같이 선택된다. 개별적인 문자 영역들은 직사각형 영역들로 병합되고, 어떤 조건들을 만족하는 영역들만이 도 3d에 도시된 바와 같이 선택되며, 그 다음 도 3e에 도시된 바와 같이 진정한 번호판들을 결정하기 위하여 이들이 SVM에 제공된다. 화이트 직사각형들은 검출된 객체들을 나타낸다.
하기에 후보 영역 선택 단계를 상세히 설명하기로 한다. 후보 영역 선택 단계는 5개의 서브-스텝으로 구성된다. 단계가 진행함에 따라, 선택된 영역들의 수는 감소되는데, 이것은 비-번호판 영역들이 모폴로지, 연결 요소 분석 및 영역 병합과 같은 연산들에 의해 제거되기 때문이다.
도 4에 도시된 바와 같이, 후보 영역 선택 단계는, 입력 영상에서 에지를 강조함으로써 문자와 연관된 에지들을 강화하는 단계(단계 S400), 상기 에지가 강조된 영상에서 노이즈를 제거하고 불연속적인 에지들을 연결하는 단계(단계 S402), 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 단일 문자 영역을 식별하는 단계(단계 S404), 상기 문자 영역들 중 소정의 조건을 만족하는 문자 영역들을 병합하는 단계(단계 S406), 및 자동차 번호판 고유의 특성을 이용하여 상기 병합된 문자 영역들 중 후보 영역들을 결정하는 단계(단계 S408)를 포함한다.
첫 번째 서브-스텝(단계 S400)에서, 이미지들에서 에지들을 선명하게 하기 위하여 라플라시안(Laplacian) 필터가 적용된다. 번호판들은 상이한 크기들을 갖고, 번호판들 중 몇몇은 어떤 각도로 기울어지고 상이한 조명 하에 있기 때문에, 에지들을 선명하게 하는 것이 필요하다. 라플라시안 필터와의 콘볼루션에 의해, 부호 변화점인 영교차(zero-crossing)가 발생하는 픽셀들은 에지들에 대응한다. 이 필터에 의해, 문자들과 관련된 에지들은 더 선명해져서 후속 프로세싱에서 문자 영역들의 손실이 회피될 수 있다.
두 번째 서브-단계(단계 S402)에서, 모폴로지 연산들에 의해 노이즈가 제거되고 불연속적인 에지들이 연결된다. 이전의 단계에서는, 진정한 문자 에지들뿐만 아니라 노이즈들도 강화된다. 모폴로지(morphology)는 이러한 노이즈 및 너무 짧은 에지들을 제거하는데 효과적이다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에서는 2개의 연산들을 순서대로 사용한다. 열기(opening)연산은 침식 및 팽창에 의해 작은 에지들을 제거한다. 그 다음, 닫기(closing) 연산은 팽창 및 침식에 의해 불연속적인 에지들을 함께 병합한다. 모폴로지 이후의 결과로서 생성된 이미지가 도 5에 도시된다.
도 6에 도시된 세 번째 서브-단계(단계 S404)에서, 문자들에 대응하는 직사각형 영역들이 식별된다. 각 직사각형은 단일 문자를 나타낸다. 그것은 동일한 문자에 속할 것 같은 에지 픽셀들을 연결함으로써 달성된다. 이것을 위하여, 도 6b에 도시된 바와 같이 문자의 모든 에지 픽셀들을 커버하는 최소한의 직사각형을 찾는데 연결 요소 분석(CCA: connected component analysis)이 사용된다. 하지만, CCA는 불필요하게 많은 수의 직사각형 영역들을 반환한다. 따라서, 임계값들보다 많거나 적은 수를 갖는 영역들을 제외하는 것이 필요하다. 그것은 도 6c에 도시된 바와 같이 비-번호판 영역들을 제거하는 효과를 갖는다.
네 번째 서브-스텝(단계 S406)은 번호판이 한 세트의 문자 영역들로 구성된다는 관찰에 기반한다. 이 단계 동안, 번호판-형상을 갖는 영역들이 문자 영역들을 함께 병합함으로써 형성된다. 병합은 문자 영역들이 번호판을 형성하도록 결합될 수 있는 경우에만 허용된다. 도 7b는 병합 결과를 도시한 것이다. 각 문자 영역에 대하여, 이웃하는 영역들은 3가지 조건들에 의해 체크된다. 첫째, 영역들은 동일한 번호판에 속하기 때문에 영역의 높이들이 유사해야 한다. 둘째, 영역들을 가로지르는 중심 수평 라인들이 정렬되어야 한다. 그리고 셋째, 영역들 간의 거리들은 최대 임계치와 최소 임계치 사이에 있어야 한다. 상기 조건들 중 하나라도 충족되지 않는 경우, 병합은 중단된다.
후보 영역 선택 단계에서 최종 서브-단계(단계 S408)는 도 8에 도시된 바와 같이 단지 번호판-유사 영역들만을 선택한다. 번호판-유사성은 하기의 3개의 조건들에 의해 결정된다. 첫째, 영역들의 높이 대 폭의 비는 번호판들의 높이 대 폭의 비와 일치해야 한다. 둘째, 영역들의 절대적인 크기는 최소 임계값보다 크고 최대 임계값보다 작아야 한다. 마지막으로, 영역들의 절대 위치는 블랙박스의 카메라 앵글 때문에 이미지의 하위 부분에 국한된다.
후보 영역 선택 단계에 의해 생성된 결과적인 영역들은 진정한 자동차 번호판들만을 선택하기 위하여 기계 학습 기반 분류기인 SVM에 제공된다. SVM에 있어서, 각 영역은 간략히 논의되는, 53 차원을 갖는 특징 벡터에 의해 표현된다. 특징 벡터의 높은 차원성 때문에 비-선형 SVM이 사용된다.
도 9에 도시된 바와 같이, 후보 영역 선택 단계는, 후보 영역들 각각의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 단계(단계 S900), 및 상기 특징 벡터들을 상기 분류 모델에 적용하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 단계(단계 S902)를 포함한다.
한편, 상기 후보 영역 선택 단계 이전에, 서포트 벡터 머신을 학습시키기 위하여, 기지의 자동차 번호판의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 단계, 및 상기 특징 벡터들에 기반하여 자동차 번호판을 분류하기 위한 서포트 벡터 머신용 분류 모델을 형성하는 단계가 더 수행된다.
후보 영역에 대응하는 특징 벡터는 영역들의 크기에 상관없이 정규화된 표현이다. 도 10은 특징 벡터의 구조를 도시한 것이다. 첫 번째 50 차원들은 영역들의 에지 밀도에 대응하고 나머지 3개의 차원들은 색상 정보와 관련된다.
특징 벡터의 에지 밀도를 위하여, 영역은 5×10으로 배열된 50개의 서브-영역들로 분할되는데, 각각의 서브 영역은 동일한 크기를 갖는다. 서브-영역을 포함하는 픽셀들의 수가 영역의 크기에 따라 변한다는 것을 주목하라. 각 서브-영역의 에지 밀도는 에지들이 속하는 서브-영역 픽셀들의 수에 대한 에지들에 대응하는 픽셀들의 수와 관련된다. 50개의 서브-영역들의 에지 밀도는 특징 벡터의 50 차원의 값들에 대응한다.
나머지 3개의 차원들은 영역의 도미넌트(dominant) 색상 정보를 나타낸다. 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에서는 영역의 가장 대표적인 색상을 선택하기 위하여 히스토그램을 사용한다. 픽셀들의 색상 정보를 획득하기 위하여, RGB 모델 대신에 HSV 모델이 사용된다. 색상(hue) 값의 전체 범위는 26개의 빈(bins)으로 분할되고 각 픽셀은 그들의 색상(hue) 값에 따라 빈들 중 하나의 빈에 속한다. 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에서는 최고 주파수를 갖는 3개의 빈(bins)을 선택하고 그들의 대응하는 색상 값들은 특징 벡터의 나머지 차원들을 채운다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법의 제한은 직사각형-형상을 갖는 후보 영역들만이 발견될 수 있다는 것이다. 이미지들에서 회전되거나 기울어진 번호판들이 처리될 수 있도록 상기 제한을 완화하기 위하여, 필터링의 임계값들이 조정되어야 한다. 예를 들어, 이러한 임계값들은 직사각형 폭과 높이 간의 비, 문자들의 수평 정렬, 및 문자들 간의 거리이다.
도 11은 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치의 블록도이다.
도 11을 참조하면, 본 발명의 일 실시예에 의한 자동차 번호판 검출 장치는, 입력 영상에서 단일 문자 영역을 식별하고 식별된 문자 영역들을 병합함으로써 후보 영역들을 선택하기 위한 후보 영역 선택부(1100), 및 소정의 특징 벡터들을 사용하는 기계 학습에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하기 위한 자동차 번호판 영역 결정부(1102)를 포함한다.
상기 후보 영역 선택부(1100)는, 상기 입력 영상에서 에지를 강조함으로써 문자와 연관된 에지들을 강화하는 동작, 상기 에지가 강조된 영상에서 노이즈를 제거하고 불연속적인 에지들을 연결하는 동작, 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 단일 문자 영역을 식별하는 동작, 상기 문자 영역들 중 소정의 조건을 만족하는 문자 영역들을 병합하는 동작, 및 자동차 번호판 고유의 특성을 이용하여 상기 병합된 문자 영역들 중 후보 영역들을 결정하는 동작을 수행한다.
또한, 상기 입력 영상에서 에지를 강조함으로써 문자와 연관된 에지들을 강화하는 동작은 라플라시안(Laplacian) 필터를 이용하여 상기 입력 영상에서 에지를 강화하는 동작을 포함하고, 상기 에지가 강조된 영상에서 노이즈를 제거하고 불연속적인 에지들을 연결하는 동작은 모폴로지 연산인 열기(opening) 연산을 이용하여 상기 에지가 강조된 영상에서 노이즈를 제거하고, 닫기(closing) 연산을 이용하여 불연속적인 에지들을 연결하는 동작을 포함한다.
또한, 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 문자 영역들을 식별하는 동작은 연결 요소 분석(connected component analysis)에 기반하여 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 문자들에 대응하는 직사각형 영역을 단일 문자 영역으로서 식별하고, 픽셀의 개수가 소정 범위를 벗어난 직사각형 영역들을 문자 영역에서 제외시키는 동작을 포함한다.
또한, 상기 문자 영역들 중 소정의 조건을 만족하는 문자 영역들을 병합하는 동작은 문자 영역들의 높이 차이가 소정의 제1 임계값 미만이고, 문자 영역들의 중심 수평선의 위치 차이가 소정의 제2 임계값 미만이며, 문자 영역들 간의 수평 거리가 소정의 범위 내에 있는 문자 영역들을 병합하는 동작을 포함한다.
또한, 상기 자동차 번호판 고유의 특성을 이용하여 상기 병합된 문자 영역들 중 후보 영역들을 결정하는 동작은 영역의 높이 대 폭의 비가 자동차 번호판의 높이 대 폭의 비와 실질적으로 일치하고, 영역의 절대 크기가 최소 임계값보다 크며 최대 임계값보다 작은, 병합된 문자 영역들을 후보 영역들로서 결정하는 동작을 포함한다.
또한, 상기 자동차 번호판 영역 결정부(1102)는, 상기 자동차 번호판 영역을 결정하기 위한 동작을 수행하기 이전에, 기지의 자동차 번호판의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 동작, 및 상기 특징 벡터들에 기반하여 자동차 번호판을 분류하기 위한 서포트 벡터 머신용 분류 모델을 형성하는 동작을 수행한다.
또한, 상기 자동차 번호판 영역 결정부(1102)는, 상기 후보 영역들 각각의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 동작, 및 상기 특징 벡터들을 상기 분류 모델에 적용하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 동작을 더 수행한다.
성능 평가
한 세트의 이미지들에 대해 테스트함으로써 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법의 성능이 평가된다. 검출율, 거짓 양성률, 및 경과 시간이 측정된다. 검출율은 검출된 이미지들에서 번호판들의 부분이다. 거짓 양성률(FPR: false positive rate)은 자동차 번호판이 아닌데 자동차 번호판으로 잘못 검출되는 비율이다. 경과 시간은 검출 시작부터 검출 종료까지 경과한 시간의 양이다.
비교를 위하여, Ho[25]의 연구를 구현하였고 성능을 측정하기 위하여 동일한 세트의 테스트 이미지들에 대해 그것을 동작시켰다. 구글의 연구가 비교를 위해 더 나은 선택일지라도, 구글의 연구의 상세 및 관련된 테스트 데이터는 현 시점에서 연구 목적을 위하여 액세스가능하지 않았다. Ho의 연구는 최선의 선택은 아니지만, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법이 Ho의 연구와 동일한 2-단계 구조를 공유한다는 점에서 그것이 최소를 의미하는 것은 아니다.
SVM의 트레이닝을 위하여, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법에서는 블랙박스 영상으로부터 한 세트의 진정한 번호판 이미지들을 손으로 정선하였다. 또한, 동일한 블랙박스 영상으로부터의 비-번호판 이미지들이 사용되었다. 총 137개의 비-번호판 이미지들이 드라이빙 뷰에서 관찰된 다양한 객체들을 나타낸다. 53-차원의 특징 벡터들이 트레이닝 이미지들로부터 추출되었고 그것의 초평면 파라미터들을 결정하기 위하여 SVM에 제공되었다.
평가를 위하여, 트레이닝 영상과 상이한, 다른 블랙박스 영상으로부터 추출된, 총 87개의 이미지가 사용되었다. 한 시간 길이를 갖는 블랙박스 영상으로부터 중복되지 않는 87개의 이미지들이 선택되었다. 이미지들내의 자동차 번호판들의 수는 1 내지 5의 범위에 이른다. 이미지들의 해상도는 도 12에 도시된 바와 같이 1280×720이다.
도 13 및 도 14는 Ho의 연구와 함께 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법의 성능을 도시한 것이다. 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법의 검출율은 0.86이었고, 거짓 양성률은 0.13이었으며, 경과 시간은 0.58초인 반면에, Ho의 연구는 모든 면에서 열등한 성능을 보여주었다: Ho의 검출율, 거짓 양성률, 및 경과 시간은 각각, 0.35, 0.63, 및 37.4초이었다. 첫 번째 단계 이후의 후보 영역들의 수의 차이는 두 방법들 간의 상당한 성능 차이에 대한 설명을 제공한다; 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 단지 12개의 후보 영역들만을 반환하는 반면에, Ho의 연구는 400개를 넘는다. 불행하게도 심지어 400개를 넘는 후보 영역들은 매우 적은 수의 진정한 번호판들을 포함한다. 따라서 Ho의 연구의 두 번째 단계의 SVM은 성공적이지 않았다. Ho의 연구의 훨씬 더 긴 계산 시간은, 그것이 후보 영역들을 검색하기 위하여 반복적으로 이미지에 대해 한 세트의 상이한 크기의 슬라이딩 윈도우들을 사용한다는 사실에 기인한다.
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법의 중간 결과의 조사는 상세히 각 단계의 효과를 이해하는데 도움을 준다. 도 15는 각 단계에서 추출된 영역들의 수를 도시한 것이다. 우선, 문자 영역들의 수는 평균적으로 282.8이었고, 그것은 병합 이후에 233으로 떨어지고 그 다음 필터링 이후에 12로 떨어진다; 그것은 비율-기반 필터링을 실시하는 것이 단순한 병합보다 더 효과적이었다는 것을 암시한다. SVM 분류 이후에, 평균적인 수는 2.3까지 떨어졌다. 진정한 번호판들의 수가 이미지 당 1 내지 5개인 것을 고려하면, SVM 결과는 합리적이었다.
결론
본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 자동차 블랙박스 영상에서 자동차 번호판들을 검출하기 위한 2단계 방법을 제안한다. 첫 번째 단계에서, 후보 번호판 영역의 위치를 찾고, 그 다음 두 번째 단계에서 비선형 서포트 벡터 머신을 사용하여 진정한 번호판을 식별한다. 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법이 상향식 방식(bottom-up way)으로 동작한다는 점에서 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 신규하다; 후보 영역들은 문자들을 결합함으로써 형성된다. 성능 평가 결과는 검출율, 거짓 양성률, 및 속도의 관점에서 기존의 방식을 능가하였음을 보여주었다.
2-단계 구조를 가짐으로써, 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법은 다른 국가들의 번호판들을 검출하기 위하여 용이하게 확장될 수 있다. 장래 연구에서, 다른 형태의 번호판들에 대처하기 위하여 필터링 파라미터의 조정과 특징 벡터 개선에 대해 연구가 진행될 것이다. 장래의 연구의 정량적인 목표는 동일한 조건 하에서 10㎳ 미만 내에 1280×720 이미지에서 5개의 번호판까지 검출하는 것이다. 실시간 성능의 개선이 무인 자율 주행 자동차에의 본 발명의 일 실시예에 의한 자동차 번호판 검출 방법의 적용성을 넓힐 것으로 기대하는데 왜냐하면 그것은 도로 표지판을 더 신뢰성 있고 빠르게 검출하는 것에 도움을 주기 때문이다.
이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.
S200 : 후보 영역 선택 단계 S202 : 자동차 번호판 영역 결정 단계
1100 : 후보 영역 선택부 1102 : 자동차 번호판 영역 결정부

Claims (18)

  1. (a) 도로 주행 영상에서 단일 문자 영역을 식별하고 식별된 문자 영역들을 병합하여 자동차 번호판의 후보 영역들을 선택하는 단계; 및
    (b) 소정의 특징 벡터들을 사용하는 기계 학습에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 단계를 포함하고,
    상기 자동차 번호판의 후보 영역들을 선택하는 단계는,
    (a-1) 상기 도로 주행 영상에서 에지를 강조함으로써 문자와 연관된 에지들을 강화하는 단계;
    (a-2) 상기 에지가 강조된 영상에서 노이즈를 제거하고 불연속적인 에지들을 연결하는 단계;
    (a-3) 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 단일 문자 영역을 식별하는 단계;
    (a-4) 상기 단일 문자 영역들 중 소정의 조건을 만족하는 단일 문자 영역들을 병합하는 단계; 및
    (a-5) 자동차 번호판 고유의 특성을 이용하여 상기 병합된 문자 영역들 중 자동차 번호판의 후보 영역들을 결정하는 단계를 포함하고,
    상기 단계 (a-4)는,
    문자 영역들의 높이 차이가 소정의 제1 임계값 미만이고, 문자 영역들의 중심 수평선의 위치 차이가 소정의 제2 임계값 미만이며, 문자 영역들 간의 수평 거리가 소정의 범위 내에 있는 문자 영역들을 병합하는 단계를 포함하며,
    상기 단계 (a-5)는,
    영역의 높이 대 폭의 비가 자동차 번호판의 높이 대 폭의 비와 실질적으로 일치하고, 영역의 절대 크기가 최소 임계값보다 크며 최대 임계값보다 작은, 병합된 문자 영역들을 자동차 번호판의 후보 영역들로서 결정하는 단계를 포함하고,
    상기 단계 (b)는,
    자동차 번호판의 복수의 서브 영역의 에지 밀도 및 자동차 번호판의 색상(hue)과 관련된 특징 벡터들을 사용하는 서포트 벡터 머신에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 단계를 포함하는, 자동차 번호판 검출 방법.
  2. 청구항 1에 있어서,
    상기 단계 (a-1)은,
    라플라시안(Laplacian) 필터를 이용하여 상기 도로 주행 영상에서 에지를 강화하는 단계를 포함하는, 자동차 번호판 검출 방법.
  3. 청구항 1에 있어서,
    상기 단계 (a-2)는,
    모폴로지 연산인 열기(opening) 연산을 이용하여 상기 에지가 강조된 영상에서 노이즈를 제거하고, 닫기(closing) 연산을 이용하여 불연속적인 에지들을 연결하는 단계를 포함하는, 자동차 번호판 검출 방법.
  4. 청구항 1에 있어서,
    상기 단계 (a-3)은,
    연결 요소 분석(connected component analysis)에 기반하여 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 문자에 대응하는 직사각형 영역을 단일 문자 영역으로서 식별하고, 픽셀의 개수가 소정 범위를 벗어난 직사각형 영역들을 문자 영역에서 제외시키는 단계를 포함하는, 자동차 번호판 검출 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 단계 (a) 이전에,
    기지의 자동차 번호판의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 단계; 및
    상기 특징 벡터들에 기반하여 자동차 번호판을 분류하기 위한 서포트 벡터 머신용 분류 모델을 형성하는 단계를 더 포함하는, 자동차 번호판 검출 방법.
  9. 청구항 8에 있어서,
    상기 단계 (b)는,
    (b-1) 상기 후보 영역들 각각의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 단계; 및
    (b-2) 상기 특징 벡터들을 상기 분류 모델에 적용하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 단계를 포함하는, 자동차 번호판 검출 방법.
  10. 도로 주행 영상에서 단일 문자 영역을 식별하고 식별된 문자 영역들을 병합하여 자동차 번호판의 후보 영역들을 선택하기 위한 후보 영역 선택부; 및
    소정의 특징 벡터들을 사용하는 기계 학습에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하기 위한 자동차 번호판 영역 결정부를 포함하고,
    상기 후보 영역 선택부는,
    (a-1) 상기 도로 주행 영상에서 에지를 강조함으로써 문자와 연관된 에지들을 강화하는 동작;
    (a-2) 상기 에지가 강조된 영상에서 노이즈를 제거하고 불연속적인 에지들을 연결하는 동작;
    (a-3) 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 단일 문자 영역을 식별하는 동작;
    (a-4) 상기 단일 문자 영역들 중 소정의 조건을 만족하는 단일 문자 영역들을 병합하는 동작; 및
    (a-5) 자동차 번호판 고유의 특성을 이용하여 상기 병합된 문자 영역들 중 자동차 번호판의 후보 영역들을 결정하는 동작을 수행하며,
    상기 동작 (a-4)는,
    문자 영역들의 높이 차이가 소정의 제1 임계값 미만이고, 문자 영역들의 중심 수평선의 위치 차이가 소정의 제2 임계값 미만이며, 문자 영역들 간의 수평 거리가 소정의 범위 내에 있는 문자 영역들을 병합하는 동작을 포함하고,
    상기 동작 (a-5)는,
    영역의 높이 대 폭의 비가 자동차 번호판의 높이 대 폭의 비와 실질적으로 일치하고, 영역의 절대 크기가 최소 임계값보다 크며 최대 임계값보다 작은, 병합된 문자 영역들을 후보 영역들로서 결정하는 동작을 포함하며,
    상기 자동차 번호판 영역 결정부는,
    자동차 번호판의 복수의 서브 영역의 에지 밀도 및 자동차 번호판의 색상(hue)과 관련된 특징 벡터들을 사용하는 서포트 벡터 머신에 기반하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 동작을 수행하는, 자동차 번호판 검출 장치.
  11. 청구항 10에 있어서,
    상기 동작 (a-1)은,
    라플라시안(Laplacian) 필터를 이용하여 상기 도로 주행 영상에서 에지를 강화하는 동작을 포함하는, 자동차 번호판 검출 장치.
  12. 청구항 10에 있어서,
    상기 동작 (a-2)는,
    모폴로지 연산인 열기(opening) 연산을 이용하여 상기 에지가 강조된 영상에서 노이즈를 제거하고, 닫기(closing) 연산을 이용하여 불연속적인 에지들을 연결하는 동작을 포함하는, 자동차 번호판 검출 장치.
  13. 청구항 10에 있어서,
    상기 동작 (a-3)은,
    연결 요소 분석(connected component analysis)에 기반하여 상기 노이즈가 제거되고 불연속적인 에지들이 연결된 영상에서 문자에 대응하는 직사각형 영역을 단일 문자 영역으로서 식별하고, 픽셀의 개수가 소정 범위를 벗어난 직사각형 영역들을 문자 영역에서 제외시키는 동작을 포함하는, 자동차 번호판 검출 장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 청구항 10에 있어서,
    상기 자동차 번호판 영역 결정부는,
    상기 자동차 번호판 영역을 결정하기 위한 동작을 수행하기 이전에,
    기지의 자동차 번호판의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 동작; 및
    상기 특징 벡터들에 기반하여 자동차 번호판을 분류하기 위한 서포트 벡터 머신용 분류 모델을 형성하는 동작을 수행하는, 자동차 번호판 검출 장치.
  18. 청구항 17에 있어서,
    상기 자동차 번호판 영역 결정부는,
    상기 후보 영역들 각각의 복수의 서브 영역의 에지 밀도 및 색상(hue)과 관련된 특징 벡터들을 추출하는 동작; 및
    상기 특징 벡터들을 상기 분류 모델에 적용하여 상기 후보 영역들 중에서 자동차 번호판 영역을 결정하는 동작을 더 수행하는, 자동차 번호판 검출 장치.
KR1020170015476A 2017-02-03 2017-02-03 자동차 번호판 검출 방법 및 장치 KR101858099B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170015476A KR101858099B1 (ko) 2017-02-03 2017-02-03 자동차 번호판 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170015476A KR101858099B1 (ko) 2017-02-03 2017-02-03 자동차 번호판 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101858099B1 true KR101858099B1 (ko) 2018-06-27

Family

ID=62789899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170015476A KR101858099B1 (ko) 2017-02-03 2017-02-03 자동차 번호판 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101858099B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490193A (zh) * 2019-07-24 2019-11-22 西安网算数据科技有限公司 单个字符区域检测方法及票据内容识别方法
WO2020096209A1 (ko) * 2018-11-07 2020-05-14 주식회사 지디에프랩 이미지 인식률 증대 장치 및 방법
WO2020116680A1 (ko) * 2018-12-04 2020-06-11 전자부품연구원 차량 번호판 검출 및 인식 시스템 및 방법
CN111626910A (zh) * 2019-02-27 2020-09-04 丰田自动车株式会社 图像处理装置和图像处理方法
KR102157848B1 (ko) * 2020-04-14 2020-09-18 한국정보기술 주식회사 고속도로 통행료 수납 시스템에서 머신 러닝을 통한 차량 분리 감지기
CN113807351A (zh) * 2021-09-18 2021-12-17 京东鲲鹏(江苏)科技有限公司 一种场景文字检测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182550A (ja) * 2012-03-05 2013-09-12 Sumitomo Electric Ind Ltd 車両検出装置、車両検出方法および車両検出プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182550A (ja) * 2012-03-05 2013-09-12 Sumitomo Electric Ind Ltd 車両検出装置、車両検出方法および車両検出プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096209A1 (ko) * 2018-11-07 2020-05-14 주식회사 지디에프랩 이미지 인식률 증대 장치 및 방법
WO2020116680A1 (ko) * 2018-12-04 2020-06-11 전자부품연구원 차량 번호판 검출 및 인식 시스템 및 방법
CN111626910A (zh) * 2019-02-27 2020-09-04 丰田自动车株式会社 图像处理装置和图像处理方法
CN111626910B (zh) * 2019-02-27 2023-11-24 丰田自动车株式会社 图像处理装置和图像处理方法
CN110490193A (zh) * 2019-07-24 2019-11-22 西安网算数据科技有限公司 单个字符区域检测方法及票据内容识别方法
KR102157848B1 (ko) * 2020-04-14 2020-09-18 한국정보기술 주식회사 고속도로 통행료 수납 시스템에서 머신 러닝을 통한 차량 분리 감지기
CN113807351A (zh) * 2021-09-18 2021-12-17 京东鲲鹏(江苏)科技有限公司 一种场景文字检测方法和装置
CN113807351B (zh) * 2021-09-18 2024-01-16 京东鲲鹏(江苏)科技有限公司 一种场景文字检测方法和装置

Similar Documents

Publication Publication Date Title
KR101858099B1 (ko) 자동차 번호판 검출 방법 및 장치
Al-Ghaili et al. Vertical-edge-based car-license-plate detection method
Du et al. Automatic license plate recognition (ALPR): A state-of-the-art review
Wang et al. An effective method for plate number recognition
Roy et al. License plate detection and character recognition system for commercial vehicles based on morphological approach and template matching
Tian et al. A two-stage character segmentation method for Chinese license plate
Kaur et al. Number plate recognition using OCR technique
Han et al. Real‐time license plate detection in high‐resolution videos using fastest available cascade classifier and core patterns
Prates et al. Brazilian license plate detection using histogram of oriented gradients and sliding windows
Radha et al. A novel approach to extract text from license plate of vehicles
Tarabek Fast license plate detection based on edge density and integral edge image
Ullah et al. An approach of locating Korean vehicle license plate based on mathematical morphology and geometrical features
Salahshoor et al. Application of intelligent systems for iranian license plate recognition
Nguwi et al. Number plate recognition in noisy image
Parthiban et al. Reading values in electrical meter using image processing techniques
Sonavane et al. Survey on automatic number plate recognition (anr)
Emami et al. Real time vehicle make and model recognition based on hierarchical classification
Khoshki et al. Improved Automatic License Plate Recognition (ALPR) system based on single pass Connected Component Labeling (CCL) and reign property function
Bachchan et al. Automatic license plate recognition using local binary pattern and histogram matching
Deb et al. Statistical characteristics in HSI color model and position histogram based vehicle license plate detection
Kulkarni et al. License plate recognition: a review
Deb et al. Vehicle license plate detection algorithm based on color space and geometrical properties
Park et al. Vehicle plate detection in car black box video
Saidallah et al. Classification and comparison of license plates localization algorithms
Ahmadyfard et al. Detecting license plate using texture and color information

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant