KR20120023485A - System and method for recognizing identifier of vehicle - Google Patents
System and method for recognizing identifier of vehicle Download PDFInfo
- Publication number
- KR20120023485A KR20120023485A KR1020100122186A KR20100122186A KR20120023485A KR 20120023485 A KR20120023485 A KR 20120023485A KR 1020100122186 A KR1020100122186 A KR 1020100122186A KR 20100122186 A KR20100122186 A KR 20100122186A KR 20120023485 A KR20120023485 A KR 20120023485A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- identifier
- score
- area
- vehicle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
Description
본 발명은 차량 식별자 인식 시스템 및 그 방법에 관한 것이다. 보다 상세하게는, 자동차 번호판의 문자열/숫자열에 기초하여 차량 식별자로 자동차 번호판을 인식하는 시스템 및 그 방법에 관한 것이다.The present invention relates to a vehicle identifier recognition system and method thereof. More particularly, the present invention relates to a system and method for recognizing a license plate with a vehicle identifier based on a string / number string of a license plate.
ITS(Intelligent Transport System) 시스템은 현대에 들어 보편화된 기술로서, 우리나라에서도 다양한 센서와 번호판 인식 기술을 활용하여 신호 체계 조정, 주?정차 관리, 속도 위반, 범죄 차량 관리 등 많은 서비스가 이루어지고 있다.ITS (Intelligent Transport System) system is a technology that is widely used in modern times, and many services such as signal system adjustment, stop and stop management, speed violation, and crime vehicle management are made in Korea by using various sensors and license plate recognition technology.
그런데, 국내에서 개발된 기존의 자동차 번호판 문자 영역 추출 방법은 우리나라에서 정해진 번호판 크기 및 규격에 기반하여 번호판 후보 영역을 검출하는 방법을 취한다. 그래서, 우리나라에서 개발된 번호판 문자 영역 추출 기술을 타 국가의 다양한 번호판에 적용하려면, 새로운 규격에 따라 프로그램을 다시 개발해야 하는 단점을 지니고 있었다.However, the existing license plate character area extraction method developed in Korea takes a method of detecting a license plate candidate area based on the license plate size and standard defined in Korea. Therefore, in order to apply the license plate character area extraction technology developed in Korea to various license plates in other countries, it had the disadvantage of re-developing the program according to the new standard.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 다양한 형태의 차량 식별자에 대한 선행 학습을 통해 얻은 결과를 이용하여 문자열/숫자열과 관련한 관심영역 후보군을 검출한 뒤 이를 기초로 차량 식별자를 인식하는 시스템 및 그 방법을 제공함을 목적으로 한다.The present invention has been made to solve the above-described problems, using the results obtained through the previous learning about the various types of vehicle identifiers to detect a region of interest candidate group related to the character string / number string and to recognize the vehicle identifiers based thereon. It is an object of the present invention to provide a system and a method thereof.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 훈련용 영상들에 의한 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출하는 관심 영역 검출부; 미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택하는 식별자 영역 선택부; 및 선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역을 해석하여 차량의 식별자를 인식하는 식별자 인식부를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템을 제공한다.The present invention has been made to achieve the above object, the region of interest detection unit for detecting the region of interest in the input image based on the previous learning results by the training images; An identifier area selection unit that selects an identifier area including an identifier of a vehicle from among detected areas of interest according to a predetermined criterion; And an identifier recognizing unit for recognizing the identifier of the vehicle by analyzing the selected identifier region according to the type of the selected identifier region.
바람직하게는, 차량 식별자 인식 시스템은 상기 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 상기 훈련용 영상들에 대한 분석을 통해 상기 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 상기 선행 학습 결과로 생성하는 훈련용 영상 분석부를 더욱 포함한다. 더욱 바람직하게는, 상기 훈련용 영상 분석부는, 상기 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 상기 공통 데이터 영역을 정의하는 공통 데이터 영역 정의부; 각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출하는 공통 데이터 영역 추출부; 추출된 공통 데이터 영역으로부터 특징적 요소를 추출하는 특징적 요소 추출부; 및 추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 상기 선행 학습 결과를 생성하는 선행 학습 결과 생성부를 포함한다. 더욱더 바람직하게는, 상기 공통 데이터 영역 추출부는 각각의 훈련용 영상들마다 서로 다른 크기의 상기 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시켜 상기 특징적 요소 추출부로 상기 추출된 공통 데이터 영역을 전송한다. 더욱더 바람직하게는, 상기 훈련용 영상 분석부는 각각의 훈련용 영상들마다 상기 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며 추출된 배경 영역의 크기를 정규화시키는 배경 영역 처리부를 더욱 포함한다.Preferably, the vehicle identifier recognition system includes a common data area including common data between the training images by analyzing the training images having at least one component of the content, location, and size of the identifier different from each other. It further includes a training image analysis unit generated as a result of the preceding learning. More preferably, the training image analysis unit comprises: a common data region definition unit for comparing and analyzing training images having different components to define the common data region including letters or numbers; A common data region extracting unit extracting a common data region defined for each training image; A feature element extracting unit for extracting feature elements from the extracted common data region; And a prior learning result generation unit configured to generate the preceding learning result including the continuous string or the continuous numeric string based on the extracted characteristic elements. Even more preferably, the common data region extracting unit extracts the defined common data region having a different size for each training image and then normalizes the size of the extracted common data region to the characteristic element extracting unit. Transfer the data area. Still more preferably, the training image analysis unit further includes a background region processing unit for extracting a background region from which the extracted common data region is excluded for each training image and normalizing the size of the extracted background region.
바람직하게는, 상기 관심 영역 검출부는 입력 영상마다 2~5개의 관심 영역들을 검출한다.Preferably, the ROI detector detects 2-5 ROIs per input image.
바람직하게는, 상기 식별자 영역 선택부는, 미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 스코어 할당부; 및 할당된 스코어를 기준으로 상기 검출된 관심 영역들 중에서 상기 식별자 영역을 선택하는 영역 선택부를 포함한다. 더욱 바람직하게는, 상기 스코어 할당부는, 데이터를 포함하는 데이터 영역과 상기 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 제1 스코어 할당부; 검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 제2 스코어 할당부; 및 훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 상기 특징에 상기 가중치를 반영하여 스코어를 할당하는 제3 스코어 할당부 중 적어도 하나의 스코어 할당부를 포함한다. 더욱더 바람직하게는, 상기 제1 스코어 할당부는, 데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 제1 할당부; 데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 상기 제1 중심점 간 거리차 및 상기 제3 중심점과 상기 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 제2 할당부; 데이터 영역의 중심에 위치하는 제1 중심 화소와 상기 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 제3 할당부; 및 배경 영역의 중심에 위치하는 제2 중심 화소와 상기 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 상기 제2 거리 평균값을 비교하여 스코어를 할당하는 제4 할당부 중 적어도 하나의 할당부를 포함한다.Preferably, the identifier area selection unit comprises: a score allocator for allocating a score for each region of interest detected according to a predetermined criterion; And an area selector configured to select the identifier area among the detected ROIs based on an assigned score. More preferably, the score allocator may include: a first score allocator configured to allocate a score to each detected region of interest in consideration of a relationship between a data region including data and a background region not including the data; A second score allocator configured to generate a histogram related to the intensity of each detected region of interest and to assign a score to each detected region of interest according to a distance difference between peaks in the generated histogram; And a third score allocator configured to assign a weight to each feature displaying a data area through prior learning by training images, and to assign a score to the extracted feature for each detected region of interest by reflecting the weight. A score allocator. Still more preferably, the first score assigning unit may include: a first allocating unit configured to allocate a score by calculating an area discrimination value between the data area and the background area; Obtaining a first center point of the data area and a second center point of the background area, respectively, a distance difference between the third center point of the ROI including the data area and the background area and the first center point, and between the third center point and the second center point; A second allocating unit for allocating scores by comparing distance differences; Obtain a first distance average value between a first center pixel positioned in the center of the data area and at least one peripheral pixel positioned around the first center pixel, and obtain the first distance average value and the prior learning using the training images. A third allocating unit for allocating scores by comparing a second predetermined average distance value; And obtaining a third distance average value between the second center pixel positioned at the center of the background area and the at least one peripheral pixel positioned around the second center pixel, and comparing the obtained third distance average value with the second distance average value. At least one allocation unit of the fourth allocation unit for allocating a.
바람직하게는, 상기 관심 영역 검출부는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정한다.Preferably, the ROI detector determines the size of the ROI to be detected in consideration of a ratio of a predetermined width value and a height value when detecting the ROI.
바람직하게는, 상기 영역 선택부는, 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출하는 임시 식별자 영역 검출부; 및 검출된 임시 식별자 영역이 상기 기준에 부합하는지 여부에 따라 상기 식별자 영역을 결정하는 영역 결정부를 포함한다. 더욱 바람직하게는, 상기 차량 식별자 인식 시스템은 상기 기준에 부합되는 식별자 영역이 결정되지 못하면, 상기 입력 영상을 반전시키는 영상 반전부를 더욱 포함한다. 더욱더 바람직하게는, 상기 차량 식별자 인식 시스템은 반전된 영상에서 상기 기준에 부합되는 식별자 영역이 선택되지 못하면, 상기 임시 식별자 영역 검출부에 의해 선택된 임시 식별자 영역 및 상기 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 상기 식별자 영역을 생성하는 식별자 영역 생성부를 더욱 포함한다.Preferably, the area selector detects the temporary identifier area according to whether data areas of the same size are sequentially present by performing labeling for each area of interest detected based on the assigned score, or assigns the score to the area of interest. A temporary identifier region detector for detecting a temporary identifier region according to whether the detected region of interest includes all of the continuous data based on the contrast value of the background region; And an area determination unit that determines the identifier area according to whether the detected temporary identifier area meets the criterion. More preferably, the vehicle identifier recognition system further includes an image reversing unit for inverting the input image when an identifier region corresponding to the criterion cannot be determined. Even more preferably, if the identifier region corresponding to the criterion is not selected in the inverted image, the vehicle identifier recognition system may process the temporary identifier region selected by the temporary identifier region detector and the temporary identifier region obtained by signal processing the input image. It further comprises an identifier region generating unit for generating the identifier region by combining.
바람직하게는, 상기 차량 식별자 인식 시스템은 선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 상기 선택된 식별자 영역의 타입을 결정하는 식별자 영역 타입 결정부를 더욱 포함한다.Preferably, the vehicle identifier recognition system further includes an identifier region type determiner that determines the type of the selected identifier region in consideration of the ratio of the horizontal value and the vertical value of the selected identifier region.
바람직하게는, 상기 식별자 인식부는, 선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 요소 구분부; 및 구분된 요소들을 이용하여 상기 차량의 식별자를 인식하는 차량 식별자 인식부를 포함한다. 더욱 바람직하게는, 상기 요소 구분부는 상기 데이터를 문자열 요소와 숫자열 요소로 구분하며, 상기 차량 식별자 인식부는 구분된 요소 각각을 미리 저장된 요소와 비교하여 상기 차량의 식별자를 인식한다.Preferably, the identifier recognizing unit includes: an element dividing unit for dividing data located in the selected identifier region into at least two kinds of elements according to the type of the selected identifier region; And a vehicle identifier recognizer configured to recognize the identifier of the vehicle by using the divided elements. More preferably, the element divider divides the data into a string element and a numeric element, and the vehicle identifier recognizer recognizes the identifier of the vehicle by comparing each of the divided elements with a pre-stored element.
또한, 본 발명은 훈련용 영상들에 의한 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출하는 관심 영역 검출 단계; 미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택하는 식별자 영역 선택 단계; 및 선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역을 해석하여 차량의 식별자를 인식하는 식별자 인식 단계를 포함하는 것을 특징으로 하는 차량 식별자 인식 방법을 제공한다.The present invention may also include a region of interest detection step of detecting regions of interest in an input image based on prior learning results by training images; An identifier region selecting step of selecting an identifier region including an identifier of the vehicle among the detected regions of interest according to a predetermined criterion; And an identifier recognition step of recognizing the identifier of the vehicle by analyzing the selected identifier region according to the type of the selected identifier region.
바람직하게는, 상기 차량 식별자 인식 방법은 상기 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 상기 훈련용 영상들에 대한 분석을 통해 상기 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 상기 선행 학습 결과로 생성하는 훈련용 영상 분석 단계를 더욱 포함한다. 더욱 바람직하게는, 상기 훈련용 영상 분석 단계는, 상기 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 상기 공통 데이터 영역을 정의하는 공통 데이터 영역 정의 단계; 각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출하는 공통 데이터 영역 추출 단계; 추출된 공통 데이터 영역으로부터 특징적 요소를 추출하는 특징적 요소 추출 단계; 및 추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 상기 선행 학습 결과를 생성하는 선행 학습 결과 생성 단계를 포함한다. 더욱더 바람직하게는, 상기 공통 데이터 영역 추출 단계는 각각의 훈련용 영상들마다 서로 다른 크기의 상기 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시킨다. 더욱더 바람직하게는, 상기 훈련용 영상 분석 단계는 각각의 훈련용 영상들마다 상기 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며 추출된 배경 영역의 크기를 정규화시키는 배경 영역 처리 단계를 더욱 포함한다.Preferably, the method of recognizing the vehicle identifier includes a common data area including common data between the training images by analyzing the training images having at least one component of the content, location, and size of the identifier different from each other. It further comprises a training image analysis step of generating a result of the preceding learning. More preferably, the training image analysis step may include: defining a common data region that compares and analyzes training images having different components to define the common data region including letters or numbers; A common data region extraction step of extracting a common data region defined for each training image; A feature element extraction step of extracting feature elements from the extracted common data region; And a prior learning result generating step of generating the preceding learning result including the continuous string or the continuous numeric string based on the extracted characteristic elements. Even more preferably, the common data region extraction step extracts the defined common data region having a different size for each training image and then normalizes the extracted common data region. Even more preferably, the training image analysis step further includes a background region processing step of extracting a background region from which the extracted common data region is excluded for each training image and normalizing the size of the extracted background region. .
바람직하게는, 상기 관심 영역 검출 단계는 입력 영상마다 2~5개의 관심 영역들을 검출한다.Preferably, the detecting of the ROI detects 2-5 ROIs per input image.
바람직하게는, 상기 식별자 영역 선택 단계는, 미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 스코어 할당 단계; 및 할당된 스코어를 기준으로 상기 검출된 관심 영역들 중에서 상기 식별자 영역을 선택하는 영역 선택 단계를 포함한다. 더욱 바람직하게는, 상기 스코어 할당 단계에서는, 데이터를 포함하는 데이터 영역과 상기 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 제1 스코어 할당 단계; 검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 제2 스코어 할당 단계; 및 훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 상기 특징에 상기 가중치를 반영하여 스코어를 할당하는 제3 스코어 할당 단계 중 적어도 하나의 스코어 할당 단계를 수행한다. 더욱더 바람직하게는, 상기 제1 스코어 할당 단계에서는, 데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 제1 할당 단계; 데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 상기 제1 중심점 간 거리차 및 상기 제3 중심점과 상기 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 제2 할당 단계; 데이터 영역의 중심에 위치하는 제1 중심 화소와 상기 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 제3 할당 단계; 및 배경 영역의 중심에 위치하는 제2 중심 화소와 상기 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 상기 제2 거리 평균값을 비교하여 스코어를 할당하는 제4 할당 단계 중 적어도 하나의 할당 단계를 수행한다.Preferably, the identifier region selection step includes: a score assignment step of allocating a score for each region of interest detected according to a predetermined criterion; And a region selection step of selecting the identifier region among the detected regions of interest based on an assigned score. More preferably, the score allocating step may include: a first score allocating step of allocating a score for each detected region of interest in consideration of a relationship between a data region including data and a background region not including the data; A second score assignment step of generating a histogram for each detected region of interest and assigning a score for each region of interest detected according to a distance difference between peaks in the generated histogram; And a third score allocation step of assigning a weight to each feature displaying a data region through prior learning by training images, and allocating a score by reflecting the weight to the extracted feature for each detected region of interest. Perform the score assignment step of. Even more preferably, the first score assigning step comprises: a first assigning step of allocating scores by calculating an area distinction value between the data area and the background area; Obtaining a first center point of the data area and a second center point of the background area, respectively, a distance difference between the third center point of the ROI including the data area and the background area and the first center point, and between the third center point and the second center point; A second allocating step of allocating scores by comparing the distance differences; Obtain a first distance average value between a first center pixel positioned in the center of the data area and at least one peripheral pixel positioned around the first center pixel, and obtain the first distance average value and the prior learning using the training images. A third allocating step of allocating a score by comparing a second predetermined distance mean value; And obtaining a third distance average value between the second center pixel positioned at the center of the background area and the at least one peripheral pixel positioned around the second center pixel, and comparing the obtained third distance average value with the second distance average value. At least one of the fourth allocating step of allocating the data is performed.
바람직하게는, 상기 관심 영역 검출 단계는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정한다.Preferably, the detecting of the ROI determines the size of the ROI to be detected in consideration of a ratio of a predetermined width value and a height value when detecting the ROI.
바람직하게는, 상기 영역 선택 단계는, 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출하는 임시 식별자 영역 검출 단계; 및 검출된 임시 식별자 영역이 상기 기준에 부합하는지 여부에 따라 상기 식별자 영역을 결정하는 영역 결정 단계를 포함한다. 더욱 바람직하게는, 상기 차량 식별자 인식 방법은 상기 기준에 부합되는 식별자 영역이 결정되지 못하면, 상기 입력 영상을 반전시키는 영상 반전 단계를 더욱 포함한다. 더욱더 바람직하게는, 상기 차량 식별자 인식 방법은 반전된 영상에서 상기 기준에 부합되는 식별자 영역이 선택되지 못하면, 상기 임시 식별자 영역 검출부에 의해 선택된 임시 식별자 영역 및 상기 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 상기 식별자 영역을 생성하는 식별자 영역 생성 단계를 더욱 포함한다.Preferably, the region selection step may include labeling each region of interest detected based on an assigned score to detect a temporary identifier region according to whether data regions of the same size are sequentially present, or are allocated. A temporary identifier region detection step of detecting a temporary identifier region according to whether or not each detected region of interest based on the score includes all the continuous data based on the contrast value of the background region; And an area determining step of determining the identifier area according to whether the detected temporary identifier area meets the criterion. More preferably, the vehicle identifier recognizing method further includes an image reversal step of inverting the input image if an identifier region corresponding to the criterion cannot be determined. Even more preferably, in the vehicle identifier recognition method, if an identifier region corresponding to the criterion is not selected in the inverted image, the temporary identifier region selected by the temporary identifier region detector and the temporary identifier region obtained by signal processing the input image And generating an identifier region by combining the identifier region.
바람직하게는, 상기 차량 식별자 인식 방법은 선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 상기 선택된 식별자 영역의 타입을 결정하는 식별자 영역 타입 결정 단계를 더욱 포함한다.Preferably, the vehicle identifier recognition method further includes an identifier region type determining step of determining the type of the selected identifier region in consideration of the ratio of the horizontal value and the vertical value of the selected identifier region.
바람직하게는, 상기 식별자 인식 단계는, 선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 요소 구분 단계; 및 구분된 요소들을 이용하여 상기 차량의 식별자를 인식하는 차량 식별자 인식 단계를 포함한다. 더욱 바람직하게는, 상기 요소 구분 단계는 상기 데이터를 문자열 요소와 숫자열 요소로 구분하며, 상기 차량 식별자 인식 단계는 구분된 요소 각각을 미리 저장된 요소와 비교하여 상기 차량의 식별자를 인식한다.Preferably, the identifier recognition step may include: an element division step of dividing data located in the selected identifier area into at least two kinds of elements according to the type of the selected identifier area; And a vehicle identifier recognizing step of recognizing the identifier of the vehicle using the separated elements. More preferably, the element classifying step divides the data into a string element and a numeric string element, and the vehicle identifier recognition step recognizes the identifier of the vehicle by comparing each of the divided elements with a pre-stored element.
본 발명에서는 모든 형태의 번호판에 공통 존재하는 연속적인 숫자나 문자열을 먼저 추출하고, 추출된 문자열의 위치를 기반으로 각 나라의 번호판 규격에 맞는 전체 번호판 영역을 검출하는 방법을 기술한다. 기술된 방법에 따르면, 각 나라마다 정의된 다양한 형태의 번호판 규격과 관계없이 번호판의 위치를 자동으로 검출할 수가 있다.The present invention describes a method of firstly extracting consecutive numbers or strings common to all types of license plates, and then detecting the entire license plate area in accordance with the license plate standard of each country based on the extracted string position. According to the described method, the position of the license plate can be detected automatically regardless of the various license plate standards defined in each country.
본 발명의 구성에 따르면, 각 나라에서 존재하는 다양한 번호판 형태에서 항상 일정하게 존재하는 관심 영역을 정의하고, 정의된 관심 영역을 아다부스팅(adaboosting) 기법을 통해 추출하는 방법을 기술함으로써, 신호 처리 기법을 이용한 기존의 번호판 추출 방법과 달리 복잡한 차량 후미등이나 배경 영역에 따라서도 자동차 번호판을 용이하게 찾을 수 있다. 또한, 관심 영역 검증 방법을 통해 후보 번호판 영역을 제거함으로써, 수행 시간을 단축시킬 수 있다. 또한, 기존의 번호판 추출 방법과 결합함으로써, 높은 번호판 추출율을 얻을 수 있다. 또한, 본 발명에서는 아다부스팅(adaboosting) 특징값으로 조명 변화에 강인한 MCT(Modified Censors Transform)를 사용함으로써, 다양한 조명 상태에서 입력되는 번호판 영상에 강인하게 적용 가능하다.According to the configuration of the present invention, by defining a region of interest that always exists constantly in the form of various license plates existing in each country, by describing a method of extracting the defined region of interest through an adaboosting technique, a signal processing technique Unlike the existing license plate extraction method, the license plate can be easily found even in a complex vehicle tail light or background area. In addition, by removing the candidate license plate area through the ROI method, the execution time may be shortened. In addition, by combining with the existing license plate extraction method, a high license plate extraction rate can be obtained. In addition, in the present invention, by using the Modified Censors Transform (MCT), which is robust to changes in illumination as an adaboosting feature, the present invention can be robustly applied to license plate images input under various lighting conditions.
도 1은 본 발명의 바람직한 실시예에 따른 차량 식별자 인식 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 실시예에 따른 차량 식별자 인식 시스템의 구성요소들의 세부 구성을 도시한 블록도이다.
도 3은 차량 식별자 인식 시스템의 일실시 예시도이다.
도 4는 다양한 형태의 유럽 자동차 번호판을 도시한 도면이다.
도 5는 다양한 형태의 국내 자동차 번호판을 도시한 도면이다.
도 6은 유럽 자동차 번호판에서 높이와 너비가 고려된 관심 영역을 보여주는 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 차량 식별자 인식 방법을 도시한 순서도이다.1 is a block diagram schematically illustrating a vehicle identifier recognition system according to a preferred embodiment of the present invention.
2 is a block diagram showing the detailed configuration of the components of the vehicle identifier recognition system according to the present embodiment.
3 is an exemplary view illustrating a vehicle identifier recognition system.
4 is a diagram illustrating various types of European license plates.
5 is a diagram illustrating a domestic license plate of various forms.
6 is a view showing a region of interest in consideration of height and width in a European license plate.
7 is a flowchart illustrating a vehicle identifier recognition method according to a preferred embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even if displayed on different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the following will describe a preferred embodiment of the present invention, but the technical idea of the present invention is not limited thereto and may be variously modified and modified by those skilled in the art.
도 1은 본 발명의 바람직한 실시예에 따른 차량 식별자 인식 시스템을 개략적으로 도시한 블록도이다. 도 2는 본 실시예에 따른 차량 식별자 인식 시스템의 구성요소들의 세부 구성을 도시한 블록도이다. 이하 설명은 도 1과 도 2를 참조한다.1 is a block diagram schematically illustrating a vehicle identifier recognition system according to a preferred embodiment of the present invention. 2 is a block diagram showing the detailed configuration of the components of the vehicle identifier recognition system according to the present embodiment. The following description refers to FIGS. 1 and 2.
도 1에 따르면, 차량 식별자 인식 시스템(100)은 관심 영역 검출부(110), 식별자 영역 선택부(120), 식별자 인식부(130), 전원부(140) 및 주제어부(150)를 포함한다.According to FIG. 1, the vehicle
차량 식별자 인식 시스템(100)은 자동차 번호판의 문자열/숫자열을 기초로 자동차 번호판을 인식하는 시스템이다. 차량 식별자 인식 시스템(100)은 다양한 형태의 자동차 번호판에 대한 선행 학습을 통해 얻은 결과를 기초로 문자열/숫자열과 관련한 관심영역 후보군을 검출하고, 미리 정해진 5가지 조건 중 적어도 하나의 조건을 이용하여 검출된 관심영역 후보군을 검증하며, ROI 영역의 높이와 너비의 비를 고려해서 검증된 관심영역 후보군으로부터 선택된 ROI 영역 내의 번호판 MBR(Minimum Bounding Rectangle) 영역을 결정하여 자동차 번호판을 인식한다. 바람직하게는, 차량 식별자 인식 시스템(100)은 번호판 후보 영역의 가로 세로 비를 기초로 결정된 번호판 타입에 따라 문자열과 숫자열을 분리하고, ROI 영역의 높이와 너비의 비를 고려해서 검증된 관심영역 후보군으로부터 선택된 ROI 영역 내의 번호판 MBR(Minimum Bounding Rectangle) 영역을 결정하여 자동차 번호판을 인식한다.The vehicle
관심 영역 검출부(110)는 훈련용 영상들에 의한 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출하는 기능을 수행한다. 검출되는 관심 영역은 적어도 하나의 데이터를 포함하는 관심 영역으로서, 데이터로 문자나 숫자 등을 포함한다.The region of
관심 영역 검출부(110)는 입력 영상마다 2~5개의 관심 영역들을 검출한다. 본 실시예에서 관심 영역 검출부(110)는 검출된 관심 영역에 차량의 식별자가 포함되어 있을 가능성을 높이기 위해 입력 영상마다 2개 이상의 관심 영역을 검출한다. 또한, 관심 영역 검출부(110)는 식별자 영역이 선택되는 데에 걸리는 시간을 단축시키기 위해 즉, 시스템 상의 처리 속도를 향상시키기 위해 입력 영상마다 5개 이하의 관심 영역을 검출한다. 이상을 종합해 볼 때, 본 실시예에서 관심 영역 검출부(110)는 입력 영상마다 2~5개의 관심 영역들을 검출하는 것이 바람직하다.The
관심 영역 검출부(110)는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정한다.The
식별자 영역 선택부(120)는 미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택하는 기능을 수행한다. 식별자 영역 선택부(120)는 도 2의 (a)에 도시된 바와 같이 스코어 할당부(121) 및 영역 선택부(122)를 포함한다.The
스코어 할당부(121)는 미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 기능을 수행한다. 스코어 할당부(121)는 제1 스코어 할당부(121a), 제2 스코어 할당부(121b) 및 제3 스코어 할당부(121c) 중 적어도 하나의 스코어 할당부를 포함한다.The
제1 스코어 할당부(121a)는 데이터를 포함하는 데이터 영역과 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 기능을 수행한다. 상기에서, 데이터는 문자, 숫자 등을 의미한다. 제1 스코어 할당부(121a)는 제1 할당부, 제2 할당부, 제3 할당부 및 제4 할당부 중 적어도 하나의 할당부를 포함한다. 제1 할당부는 데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 기능을 수행한다. 제2 할당부는 데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 제1 중심점 간 거리차 및 제3 중심점과 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 기능을 수행한다. 제3 할당부는 데이터 영역의 중심에 위치하는 제1 중심 화소와 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 기능을 수행한다. 제4 할당부는 배경 영역의 중심에 위치하는 제2 중심 화소와 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 제2 거리 평균값을 비교하여 스코어를 할당하는 기능을 수행한다.The first score assigning unit 121a performs a function of assigning a score to each detected ROI in consideration of a relationship between a data region including data and a background region including no data. In the above, data means letters, numbers, and the like. The first score assigning unit 121a includes at least one assigning unit among the first assigning unit, the second assigning unit, the third assigning unit, and the fourth assigning unit. The first allocator calculates an area distinction value between the data area and the background area and allocates a score. The second allocator obtains a first center point of the data area and a second center point of the background area, respectively, a distance difference between the third center point and the first center point of the ROI including the data area and the background area, and a third center point and the second center point. Compare the distance difference between the two to assign a score. The third allocator obtains a first distance average value between the first center pixel positioned in the center of the data area and the at least one peripheral pixel positioned around the first center pixel, and obtains the first distance average value and the preceding values based on the training images. Through learning, a function of allocating a score by comparing a second predetermined average distance value is performed. The fourth allocator obtains a third distance average value between the second center pixel positioned at the center of the background area and at least one peripheral pixel positioned around the second center pixel, and compares the obtained third distance average value with the second distance average value. Perform the function of assigning scores.
제2 스코어 할당부(121b)는 검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 기능을 수행한다.The second score assigning unit 121b generates a histogram associated with the intensity of each detected region of interest, and assigns a score to each detected region of interest according to the distance difference between peaks in the generated histogram.
제3 스코어 할당부(121c)는 훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 특징에 가중치를 반영하여 스코어를 할당하는 기능을 수행한다.The third score assigning unit 121c assigns a weight to each feature displaying the data area through prior learning by the training images, and assigns a score to the extracted feature for each detected region of interest by reflecting the weight. To perform.
영역 선택부(122)는 할당된 스코어를 기준으로 검출된 관심 영역들 중에서 식별자 영역을 선택하는 기능을 수행한다. 영역 선택부(122)는 임시 식별자 영역 검출부(122a) 및 영역 결정부(122b)를 포함한다.The region selector 122 selects an identifier region among the regions of interest detected based on the assigned score. The area selector 122 includes a temporary identifier area detector 122a and an
임시 식별자 영역 검출부(122a)는 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출하는 기능을 수행한다. 임시 식별자 영역 검출부(122a)는 배경 영역에 대한 침식 알고리즘 또는 배경 영역에 대한 첨삭 알고리즘을 적용하여 연속된 데이터 전부를 포함하는 최소 크기의 도형을 서치함으로써 연속된 데이터 전부를 포함하는지 여부를 결정할 수 있다.The temporary identifier region detector 122a performs labeling for each region of interest detected based on the assigned scores to detect the temporary identifier region based on whether data regions of the same size are sequentially present, or to assign the assigned scores. The temporary identifier area is detected according to whether the detected ROI includes all of the continuous data based on the contrast value of the background area. The temporary identifier region detector 122a may determine whether to include all of the continuous data by applying an erosion algorithm for the background region or an additive algorithm for the background region to search a figure of the minimum size including all of the continuous data. .
영역 결정부(122b)는 검출된 임시 식별자 영역이 미리 정해진 기준에 부합하는지 여부에 따라 식별자 영역을 결정하는 기능을 수행한다.The
그런데, 영역 선택부(122)에 의해 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못할 수 있다. 본 실시예에서는 이러한 점을 고려하여 차량 식별자 인식 시스템(100)이 영상 반전부(160)를 더욱 포함할 수 있다. 영상 반전부(160)는 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못하면, 입력 영상을 반전시키는 기능을 수행한다. 영상 반전부(160)가 입력 영상을 반전시키면 관심 영역 검출부(110)는 선행 학습 결과를 기초로 반전된 영상에서 관심 영역들을 다시 검출한다.However, the region selection unit 122 may not select an identifier region that meets a predetermined criterion. In this embodiment, the vehicle
한편, 반전된 영상에서도 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못할 수 있다. 본 실시예에서는 이 점을 고려하여 차량 식별자 인식 시스템(100)이 식별자 영역 생성부(170)를 더욱 포함할 수 있다. 식별자 영역 생성부(170)는 반전된 영상에서 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못하면, 임시 식별자 영역 검출부(122a)에 의해 선택된 임시 식별자 영역 및 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 식별자 영역을 생성하는 기능을 수행한다.Meanwhile, even in the inverted image, the identifier area corresponding to the predetermined criterion may not be selected. In this embodiment, the vehicle
식별자 인식부(130)는 선택된 식별자 영역의 타입에 따라 선택된 식별자 영역을 해석하여 차량의 식별자를 인식하는 기능을 수행한다. 식별자 인식부(130)는 도 2의 (b)에 도시된 바와 같이 요소 구분부(131) 및 차량 식별자 인식부(132)를 포함한다.The
요소 구분부(131)는 선택된 식별자 영역의 타입에 따라 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 기능을 수행한다. 요소 구분부(131)는 데이터를 문자열 요소와 숫자열 요소로 구분할 수 있다.The
차량 식별자 인식부(132)는 구분된 요소들을 이용하여 차량의 식별자를 인식하는 기능을 수행한다. 차량 식별자 인식부(132)는 구분된 요소 각각을 미리 저장된 요소와 비교하여 차량의 식별자를 인식한다.The
전원부(140)는 차량 식별자 인식 시스템(100)을 구성하는 각 구성부에 전원을 공급하는 기능을 수행한다. 본 실시예에서는 차량 식별자 인식 시스템(100)을 구성하는 각 구성부마다 별도로 전원부를 구비하는 것도 가능하다.The power supply unit 140 performs a function of supplying power to each component of the vehicle
주제어부(150)는 차량 식별자 인식 시스템(100)을 구성하는 각 구성부의 전체 작동을 제어하는 기능을 수행한다.The
차량 식별자 인식 시스템(100)은 훈련용 영상 분석부(180)를 더욱 포함할 수 있다. 훈련용 영상 분석부(180)는 차량 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들에 대한 분석을 통해 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 선행 학습 결과로 생성하는 기능을 수행한다. 훈련용 영상 분석부(180)는 도 2의 (c)에 도시된 바와 같이 공통 데이터 영역 정의부(181), 공통 데이터 영역 추출부(182), 특징적 요소 추출부(183) 및 선행 학습 결과 생성부(184)를 포함한다.The vehicle
공통 데이터 영역 정의부(181)는 차량 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 공통 데이터 영역을 정의하는 기능을 수행한다.The common data
공통 데이터 영역 추출부(182)는 각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출하는 기능을 수행한다. 공통 데이터 영역 추출부(182)는 각각의 훈련용 영상들마다 서로 다른 크기의 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시켜 특징적 요소 추출부(183)로 추출된 공통 데이터 영역을 전송한다.The common data region extractor 182 extracts a common data region defined for each training image. The common data region extractor 182 extracts a defined common data region having a different size for each training image and then normalizes the size of the extracted common data region to extract the common data extracted by the
특징적 요소 추출부(183)는 추출된 공통 데이터 영역으로부터 특징적 요소를 추출하는 기능을 수행한다. 특징적 요소 추출부(183)는 특징적 요소로 특징 벡터를 추출할 수 있다. 특징적 요소 추출부(183)는 특징적 요소를 추출할 때에 MCT(Modified Censors Transform) 또는 Haar-like Feature를 이용할 수 있다. 그러나, 본 실시예에서 특징적 요소 추출이 이러한 알고리즘에 한정되는 것은 아니다.The
선행 학습 결과 생성부(184)는 추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 선행 학습 결과를 생성하는 기능을 수행한다. 선행 학습 결과 생성부(184)는 선행 학습 결과를 생성할 때에 아다부스팅 알고리즘(adaboosting algorithm)을 이용할 수 있다.The preliminary learning result generator 184 performs a function of generating a preliminary learning result including a continuous string or a sequence of numeric strings based on the extracted characteristic elements. The preliminary learning result generator 184 may use an adaboosting algorithm when generating the preliminary learning result.
훈련용 영상 분석부(180)는 배경 영역 처리부(185)를 더욱 포함할 수 있다. 배경 영역 처리부(185)는 각각의 훈련용 영상들마다 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며, 추출된 배경 영역의 크기를 정규화시키는 기능을 수행한다.The
차량 식별자 인식 시스템(100)은 식별자 영역 타입 결정부(190)를 더욱 포함할 수 있다. 식별자 영역 타입 결정부(190)는 선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 선택된 식별자 영역의 타입을 결정하는 기능을 수행한다.The vehicle
다음으로, 차량 식별자 인식 시스템(100)을 일실시예를 들어 설명한다. 이하 설명은 도 1 내지 도 3을 함께 참조한다.Next, the vehicle
차량 식별자 인식 시스템(100)은 자연 영상에서 번호판을 이루는 특정 문자/숫자 부분을 번호판의 모양과 상관없이 학습을 통해 먼저 검출하고 이를 기반으로 전체 번호판 영역을 검출한 후 기존의 번호판 검출 방법과 융합함으로써 다양한 종류의 번호판을 자동으로 검출하고 인식한다. 이하 일실시예에서는 번호판을 검출하기 위해 다양한 형태의 번호판 영역 내에서 공통적으로 연속적으로 나타나는 숫자나 문자열을 정의하고, 정의된 숫자나 문자열을 아다부스팅(adaboosting) 기법을 통해 학습시킨 후, 검출하는 방법을 기술한다. 이를 단계별 순서도를 통해 설명하면 도 3과 같다.The vehicle
먼저 S301 단계에서 각 나라의 번호판 형태를 분석하는 단계를 거친다. 도 1에서 이 기능은 훈련용 영상 분석부(180)가 수행한다. 예를 들면, 도 4에 도시된 유럽 번호판의 경우, 크게 (a), (b) 등 2가지 형태가 주류를 이루고 있으나, (c), (d), (e) 등과 같이 조금씩 변형된 다양한 형태의 번호판이 존재한다. 이때, 다양한 형태의 번호판 구조를 분석해 보면, 항상 번호판의 마지막 오른쪽 부분엔 숫자열 3개가 연속해서 나타남을 알 수 있다. 또한, 도 5에 도시된 국내 번호판의 경우, 신형과 구형의 다양한 번호판이 존재하지만, 마찬가지로 마지막 오른쪽 부분엔 숫자열 4개가 연속해서 나타난다. 이와 같이, 찾고자 하는 다양한 번호판 형태에서 공통적으로 나타나는 숫자나 문자열을 관심 영역으로 정의한다. 도 2에서 이러한 기능은 공통 데이터 영역 정의부(181)가 수행한다.First, in step S301, the type of license plate of each country is analyzed. In FIG. 1, this function is performed by the
S303 단계에서는 S302 단계에서 다양한 입력 영상으로부터 다양한 크기의 관심 영역을 수동으로 추출하여 많은 학습 데이터들을 생성한 후, 훈련을 위해 크기를 정규화시킨다. 도 2에서 이 기능은 공통 데이터 영역 추출부(182)가 수행한다. 한편, 이때에 아다부스팅(adaboosting) 학습을 위해 관심 영역이 아닌 일반 배경 부분도 동일한 방법을 거친다. 도 2에서 이 기능은 배경 영역 처리부(185)가 수행한다.In step S303, the region of interest is manually extracted from various input images in step S302 to generate a lot of learning data, and then the size is normalized for training. In FIG. 2, this function is performed by the common data area extractor 182. In this case, the general background part, not the region of interest, is also subjected to the same method for the adaboosting learning. In FIG. 2, this function is performed by the
S304 단계에서는 입력 관심 영역으로부터 특징을 추출하기 위해 MCT(Modified Censors Transform)을 적용하거나, 하알 유사 특징(harr-like feature)을 추출한다. 이때, 관심 영역을 잘 표현할 수 있는 또다른 특징들을 사용할 수 있다. 도 2에서 이 기능은 특징적 요소 추출부(183)가 수행한다.In operation S304, a modified censors transform (MCT) is applied to extract a feature from an input ROI, or a har-like feature is extracted. In this case, other features capable of expressing the region of interest may be used. In Figure 2 this function is performed by the feature
S305 단계에서는 추출된 관심 영역의 특징 벡터와 배경 영역의 특징 벡터를 아다부스팅 기법의 캐스케이딩(cascading) 단계를 거쳐 학습을 완료한다. 학습이 완료되면, S306 단계에서 최종적으로 관심 영역으로 대변되는 연속적인 숫자열/문자열 검출기가 생성된다. 도 2에서 이 기능은 선행학습 결과 생성부(184)가 수행한다.In operation S305, the extracted feature vector of the ROI and the feature vector of the background region are completed through a cascading step of the ad-boosting technique. When the learning is completed, a continuous numeric string / string detector that is finally represented by the region of interest is generated in step S306. In FIG. 2, this function is performed by the preliminary learning result generator 184.
S307 단계는 실제 상황에서 실시간으로 번호판이 포함된 영상이 입력됨을 의미한다. 입력 영상이 카메라로부터 캡쳐되면, S306 단계에서 생성된 관심 영역 검출기가 S308 단계에서와 같이 전체 영상을 스캔하면서 관심 후보 영역들을 검출한다. 이때, 검출기는 전체 영상에서 대략 1~5개까지의 관심 영역 후보 영역이 검출될 수 있다. 도 1에서 이 기능은 관심 영역 검출부(110)가 수행한다.In operation S307, an image including a license plate is input in real time in a real situation. When the input image is captured from the camera, the ROI detector generated in S306 detects candidate regions of interest while scanning the entire image as in S308. In this case, the detector may detect about 1 to 5 candidate region of interest in the entire image. In FIG. 1, the
일반적인 번호판 인식 시스템의 환경에서는 전체 입력 영상에 하나의 번호판만이 존재하도록 입력된다. 다만, 카메라의 시야각이나 해상도에 따라 또는 그 응용에 따라 2~3까지의 번호판 영역도 입력 영상에 존재할 수 있으므로, 본 실시예에서는 검출된 관심 후보 영역에서 번호판 영역만을 검출하기 위해 S309 단계에서 다음과 같은 조건을 검사한다. 본 실시예에서 이러한 기능은 도 2의 스코어 할당부(121)가 수행한다.In the environment of a general license plate recognition system, only one license plate is input to the entire input image. However, since license plate areas of 2 to 3 may exist in the input image according to the viewing angle or resolution of the camera, or according to the application thereof, in the present exemplary embodiment, in order to detect only the license plate area in the detected candidate area of interest, Check for the same conditions. In this embodiment, the function is performed by the
조건 1 : 후보 관심 영역을 otsu 알고리즘을 이용해서 이진화한다. 이후, 배경 영역과 문자 영역 간의 FDR(Fisher's Discriminant Rate) 값을 계산하여 스코어(score)를 할당한다. 본 실시예에서 이 기능은 제1 스코어 할당부(121a)의 제1 할당부가 수행한다.Condition 1: Binary candidate regions of interest using the otsu algorithm. Thereafter, a FDR (Fisher's Discriminant Rate) value between the background area and the text area is calculated to allocate a score. In this embodiment, this function is performed by the first assigning unit of the first score assigning unit 121a.
조건 2 : 후보 관심 영역을 otsu 알고리즘을 이용해 이진화한다. 이후, 배경 영역과 문자 영역의 중심점을 구한다. 이후, 두 중심점 간의 거리와 두 중심점이 관심 영역의 중심점과 얼마나 가까운지 계산한 후, 번호판 영역인지에 따른 스코어를 할당한다. 이 조건은 훈련된 관심 영역 내의 배경 부분의 중심점과, 문자 부분의 중심점 모두 관심 영역의 중심에 위치한다는 사실에 기반한다. 본 실시예에서 이 기능은 제1 스코어 할당부(121a)의 제2 할당부가 수행한다.Condition 2: Binary candidate regions of interest using the otsu algorithm. Then, the center points of the background area and the text area are obtained. Then, after calculating the distance between the two center points and how close the two center points to the center point of the region of interest, the score according to whether the license plate area. This condition is based on the fact that both the center point of the background portion within the trained region of interest and the center point of the character portion are located at the center of the region of interest. In this embodiment, this function is performed by the second assigning unit of the first score assigning unit 121a.
조건 3 : 후보 관심 영역을 otsu 알고리즘을 이용해 이진화한다. 이후, 배경 영역과 후보 영역의 중심점을 구한다. 이후, 각 배경 영역의 중심점과 배경 화소의 거리의 평균과 표준편차를 구하고, 문자 영역의 중심점과 문자 화소의 거리의 평균과 표준편차도 구한다. 이후, 이 값들을 미리 학습을 통해 구해진 관심 영역의 평균값들과 비교하여 스코어를 할당한다. 본 실시예에서 이 기능은 제1 스코어 할당부(121a)의 제3 할당부와 제4 할당부가 수행한다.Condition 3: Binary candidate regions of interest using the otsu algorithm. Then, the center points of the background area and the candidate area are obtained. Then, the average and standard deviation of the distance between the center point of each background area and the background pixel are obtained, and the average and standard deviation of the distance between the center point of the character area and the character pixel are also obtained. Thereafter, these values are compared with the average values of the ROI obtained through learning in advance and assigned a score. In this embodiment, this function is performed by the third assigning unit and the fourth assigning unit of the first score assigning unit 121a.
조건 4 : 전체 관심 영역의 명암 히스토그램을 생성한다. 이후, 히스토그램의 모양을 평가하여, 번호판 영역에 따른 스코어를 할당한다. 이때, 일반적인 번호판 영역에서의 히스토그램의 모양은 크게 두개의 피크가 일정 거리 이상 떨어진 형태로 나타난다는 사실에 기반한다. 본 실시예에서 이 기능은 제2 스코어 할당부(121b)가 수행한다.Condition 4: Generate a contrast histogram of the entire region of interest. The shape of the histogram is then evaluated to assign a score according to the license plate area. At this time, the shape of the histogram in the general license plate area is largely based on the fact that two peaks appear to be separated by a predetermined distance or more. In this embodiment, this function is performed by the second score assigning unit 121b.
조건 5 : 기타 번호판 영역으로 될 수 있는 다양한 특징들을 추출한다. 이후, 각 특징들을 이용해 정확도를 평가한 후, 각 정확도를 가중치로 할당한다. 이때, 가중치의 합은 0이 된다. 전체 스코어가 일정치 이상 되면, 번호판 영역으로 판정한다. 본 실시예에서 이 기능은 제3 스코어 할당부(121c)가 수행한다.Condition 5: Extract various features that may be other license plate areas. Then, after evaluating the accuracy using each feature, each accuracy is assigned a weight. At this time, the sum of the weights becomes zero. If the total score is equal to or greater than a certain value, it is determined as the license plate area. In this embodiment, this function is performed by the third score assigning unit 121c.
Total_Score = W1 × Score1 + W2× Score2 + W3 × Score3 + … + WN × ScoreN (단, 1.0 = W1 + W2 + W3 + … + WN)Total_Score = W 1 × Score 1 + W 2 × Score 2 + W 3 × Score 3 +. + W N × Score N (where 1.0 = W 1 + W 2 + W 3 +… + W N )
위 조건에 의해 검증된 후보 영역은 응용에 따라 스코어가 큰 순서대로 선택된다. 일반적으로 입력 영상에 3개 이상의 번호판이 입력되지 않는다고 가정한다면 최대 3개를 선택하게 된다. 본 실시예에서 이 기능은 도 2의 영역 선택부(122)가 수행한다.The candidate regions verified by the above conditions are selected in order of increasing score according to the application. In general, assuming that three or more license plates are not input to the input image, a maximum of three will be selected. In this embodiment, this function is performed by the area selector 122 of FIG.
관심 영역의 검증이 끝나면 S310 단계에서와 같이 관심 영역을 중심으로 한 실제 번호판 영역을 찾는다. 이때, 기본 가정에 의해 찾아진 관심 영역이 실제 번호판 영역의 마지막 3번째 자리라고 가정할 수 있으나, 경우에 따라 문자가 포함된 처음이나 중간 부분들도 검출되곤 한다. 그러므로, ROI(Region of Interest) 영역은 이를 감안해서 관심 영역의 높이와 넓이의 비를 이용해 잘못된 위치에서 관심 영역이 할당되더라도 전체 번호판 영역이 포함될 수 있도록 할당한다. 유럽식 번호판 타입에 따른 2개의 ROI 영역의 예는 도 6에서 확인할 수 있다.After the verification of the region of interest, as in step S310 to find the actual license plate area around the region of interest. In this case, it may be assumed that the ROI found by the basic assumption is the last 3 digits of the actual license plate area, but in some cases, the first or middle parts including letters are also detected. Therefore, in consideration of this, the region of interest (ROI) area is allocated so that the entire license plate area can be included even if the region of interest is allocated at the wrong position by using the ratio of the height and width of the region of interest. An example of two ROI regions according to the European license plate type can be seen in FIG. 6.
ROI 영역이 할당되면, ROI 영역 내에서 이진화를 수행한 후, 레이블링(labeling)을 거쳐 동일한 크기를 갖는 문자 영역이 순차적으로 존재하는지 확인하는 방법과 ROI 영역 내 배경 부분의 명암값을 기준으로 배경의 첨삭 및 침식 알고리즘 등을 이용해 번호판의 모든 숫자와 문자가 포함된 최소 사각형을 찾는 방법을 이용해서 최종 번호판 MBR(Minimum Bounding Rectangle)을 결정한다. 도 2에서 이러한 기능은 임시 식별자 영역 검출부(122a)와 영역 결정부(122b)가 수행한다.After the ROI region is allocated, binarization is performed in the ROI region, and then a labeling method is performed to determine whether character regions having the same size are sequentially present and based on the contrast value of the background portion within the ROI region. The final license plate MBR (Minimum Bounding Rectangle) is determined using a method of finding the smallest rectangle containing all the numbers and letters in the license plate using additive and erosion algorithms. In FIG. 2, such a function is performed by the temporary identifier area detector 122a and the
S310 단계에서 찾아진 번호판 후보 영역이 없을 경우, S311 단계에서는 기 학습된 번호판의 배경과 문자의 패턴이 역전된 번호판일 가능성이 있으므로 입력 영상을 반전시켜 S308 단계 내지 S310 단계를 반복 수행한다. 도 1에서 이 기능은 영상 반전부(160)가 수행한다.If there is no license plate candidate region found in step S310, in step S311, since the background of the pre-learned license plate and the pattern of the letters may be reversed, the input image is inverted to repeat steps S308 to S310. In FIG. 1, this function is performed by the
한편, 입력 영상을 반전시키더라도 찾아지지 않는 번호판이 발생할 수 있다. 그래서, S312 단계에서는 S310 단계에서 얻어진 번호판 MBR 영역과 기존의 신호 처리 방법에 통해 찾아진 번호판 MBR 영역 등을 합쳐 번호판 후보 영역을 설정한다. S312 단계는 서로 다른 특징과 분류기(classifier)를 이용해 얻어진 번호판 추출 결과를 융합하기 때문에 각 방법의 단점을 상쇄할 수 있다. 도 1에서 이 기능은 식별자 영역 생성부(170)가 수행한다.Meanwhile, even if the input image is inverted, a license plate that is not found may occur. Accordingly, in step S312, the license plate candidate area is set by combining the license plate MBR area obtained in step S310 with the license plate MBR area found by the existing signal processing method. In step S312, the disadvantages of each method can be offset by fusing the license plate extraction result obtained by using different features and classifiers. In FIG. 1, this function is performed by the identifier region generating unit 170.
S313 단계는 S310 단계와 S312 단계에서 얻어진 번호판 후보 영역의 가로 세로 비를 통해 번호판 타입을 결정한다. 즉, 후보 번호판 영역은 긴 한 줄의 번호판과 두 줄의 짧은 번호판 타입으로 나누어진다. 도 1에서 이 기능은 식별자 영역 타입 결정부(190)가 수행한다.In step S313, the license plate type is determined based on the aspect ratios of the license plate candidate areas obtained in steps S310 and S312. That is, the candidate license plate area is divided into one long line of license plates and two lines of short license plate types. In FIG. 1, this function is performed by the identifier region type determiner 190.
S313 단계에서 번호판 타입이 결정되면, 각 번호판 타입에 따라 인식 대상인 문자열과 숫자열을 분리하는 단계를 거치게 된다. 일반적으로 번호판 타입이 결정되면, 문자나 숫자의 위치는 거의 일정하므로 정해진 위치에서 문자나 숫자 영역을 찾게 된다. 도 2에서 이 기능은 요소 구분부(131)가 수행한다.When the license plate type is determined in step S313, the character string and the numeric string to be recognized are separated according to each license plate type. In general, when the license plate type is determined, the position of the letter or number is almost constant, so the letter or number area is found at the designated position. In FIG. 2, this function is performed by the
마지막으로, S314 단계에서는 주어진 문자나 숫자를 신경망 등을 통해 학습된 문자나 숫자 데이터와 비교하여 인식한다. 도 2에서 이 기능은 차량 식별자 인식부(132)가 수행한다.Finally, in step S314, a given letter or number is recognized by comparing with the letter or number data learned through a neural network. In FIG. 2, this function is performed by the
다음으로, 차량 식별자 인식 시스템(100)의 차량 식별자 인식 방법에 대해서 설명한다. 도 7은 본 발명의 바람직한 실시예에 따른 차량 식별자 인식 방법을 도시한 순서도이다. 이하 설명은 도 7을 참조한다.Next, a vehicle identifier recognition method of the vehicle
먼저, 관심 영역 검출부(110)가 훈련용 영상들에 의한 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출한다(관심 영역 검출 단계, S710). 관심 영역 검출부(110)는 입력 영상마다 2~5개의 관심 영역들을 검출할 수 있다. 관심 영역 검출부(110)는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정한다.First, the region of
이후, 식별자 영역 선택부(120)가 미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택한다(식별자 영역 선택 단계, S720).Thereafter, the
식별자 영역 선택 단계는 스코어 할당 단계 및 영역 선택 단계를 포함할 수 있다. 스코어 할당 단계에서는 스코어 할당부(121)가 미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당한다. 영역 선택 단계에서는 영역 선택부(122)가 할당된 스코어를 기준으로 검출된 관심 영역들 중에서 식별자 영역을 선택한다.The identifier region selection step may include a score assignment step and a region selection step. In the score allocating step, the
스코어 할당 단계에서는 제1 스코어 할당 단계, 제2 스코어 할당 단계, 및 제3 스코어 할당 단계 중 적어도 하나의 스코어 할당 단계가 수행된다. 제1 스코어 할당 단계는 데이터를 포함하는 데이터 영역과 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 단계이다. 제2 스코어 할당 단계는 검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 단계이다. 제3 스코어 할당 단계는 훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 특징에 가중치를 반영하여 스코어를 할당하는 단계이다.In the score assignment step, at least one score assignment step of the first score assignment step, the second score assignment step, and the third score assignment step is performed. The first score assignment step is a step of allocating a score for each detected region of interest in consideration of a relationship between a data region including data and a background region not including data. The second score assigning step generates a histogram related to the intensity of each detected region of interest, and allocates a score to each region of interest detected according to a distance difference between peaks in the generated histogram. The third score assigning step is a step of assigning a weight to each feature displaying a data region through prior learning by training images, and assigning a score to a feature extracted from each detected region of interest by reflecting the weight.
한편, 제1 스코어 할당 단계에서는 제1 할당 단계 내지 제4 할당 단계 중 적어도 하나의 할당 단계가 수행된다. 제1 할당 단계는 데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 단계이다. 제2 할당 단계는 데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 제1 중심점 간 거리차 및 제3 중심점과 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 단계이다. 제3 할당 단계는 데이터 영역의 중심에 위치하는 제1 중심 화소와 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 단계이다. 제4 할당 단계는 배경 영역의 중심에 위치하는 제2 중심 화소와 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 제2 거리 평균값을 비교하여 스코어를 할당하는 단계이다.In the first score assigning step, at least one of the first assigning step and the fourth assigning step is performed. The first assigning step is a step of assigning scores by calculating an area distinction value between the data area and the background area. The second allocating step obtains the first center point of the data area and the second center point of the background area, respectively, and the distance difference between the third center point and the first center point of the ROI including the data area and the background area, and the third center point and the second center point. The step of allocating scores by comparing the distance differences between the center points. The third allocating step obtains a first distance average value between the first center pixel positioned at the center of the data area and the at least one peripheral pixel positioned around the first center pixel, and obtains the first distance average value and the training images. A step of allocating a score by comparing a second predetermined distance mean value through prior learning. The fourth allocating step obtains a third distance average value between the second center pixel positioned at the center of the background area and at least one peripheral pixel positioned around the second center pixel, and compares the obtained third distance average value with the second distance average value. Assigning scores.
영역 선택 단계는 임시 식별자 영역 검출 단계와 영역 결정 단계를 포함할 수 있다. 임시 식별자 영역 검출 단계에서는 임시 식별자 영역 검출부(122a)가 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출한다. 영역 결정 단계에서는 영역 결정부(122b)가 검출된 임시 식별자 영역이 미리 정해진 기준에 부합하는지 여부에 따라 식별자 영역을 결정한다.The region selection step may include a temporary identifier region detection step and a region determination step. In the temporary identifier region detection step, the temporary identifier region detector 122a performs labeling for each detected region of interest based on the assigned score to detect the temporary identifier region according to whether data regions of the same size are present in sequence. Alternatively, the temporary identifier region is detected according to whether the detected region of interest includes all of the continuous data based on the contrast value of the background region based on the assigned score. In the region determination step, the
한편, 미리 정해진 기준에 부합되는 식별자 영역이 결정되지 못하면, 영상 반전부(160)가 입력 영상을 반전시킨다(영상 반전 단계). 영상 반전 단계는 영역 결정 단계 이후 수행될 수 있다. 또한, 이후 반전된 영상에서 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못하면, 식별자 영역 생성부(170)가 임시 식별자 영역 검출부(122a)에 의해 선택된 임시 식별자 영역 및 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 식별자 영역을 생성한다(식별자 영역 생성 단계). 식별자 영역 생성 단계는 영상 반전 단계 이후 수행될 수 있다.On the other hand, if the identifier region corresponding to the predetermined criterion is not determined, the
이후, 식별자 인식부(130)가 선택된 식별자 영역의 타입에 따라 선택된 식별자 영역을 해석하여 차량의 식별자를 인식한다(식별자 인식 단계, S730). 식별자 인식 단계는 요소 구분 단계와 차량 식별자 인식 단계를 포함할 수 있다. 요소 구분 단계에서는 요소 구분부(131)가 선택된 식별자 영역의 타입에 따라 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분한다. 요소 구분부(131)는 데이터를 문자열 요소와 숫자열 요소로 구분한다. 차량 식별자 인식 단계에서는 차량 식별자 인식부(132)가 구분된 요소들을 이용하여 차량의 식별자를 인식한다. 차량 식별자 인식부(132)는 구분된 요소 각각을 미리 저장된 요소와 비교하여 차량의 식별자를 인식한다.Thereafter, the
본 방법에서는 관심 영역 검출 단계(S710) 이전에 훈련용 영상 분석부(180)가 차량 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들에 대한 분석을 통해 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 선행 학습 결과로 생성할 수 있다(훈련용 영상 분석 단계).In the present method, the
훈련용 영상 분석 단계는 공통 데이터 영역 정의 단계, 공통 데이터 영역 추출 단계, 특징적 요소 추출 단계 및 선행 학습 결과 생성 단계를 포함한다. 공통 데이터 영역 정의 단계에서는 공통 데이터 영역 정의부(181)가 차량 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 공통 데이터 영역을 정의한다. 공통 데이터 영역 추출 단계에서는 공통 데이터 영역 추출부(182)가 각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출한다. 공통 데이터 영역 추출부(182)는 각각의 훈련용 영상들마다 서로 다른 크기의 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시킨다. 특징적 요소 추출 단계에서는 특징적 요소 추출부(183)가 추출된 공통 데이터 영역으로부터 특징적 요소를 추출한다. 선행 학습 결과 생성 단계에서는 선행 학습 결과 생성부(184)가 추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 선행 학습 결과를 생성한다.The training image analysis step includes a common data area definition step, a common data area extraction step, a characteristic element extraction step, and a preceding learning result generation step. In the common data region definition step, the common data
한편, 본 실시예에서는 배경 영역 처리부(185)가 각각의 훈련용 영상들마다 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며 추출된 배경 영역의 크기를 정규화시킬 수 있다(배경 영역 처리 단계). 배경 영역 처리 단계는 공통 데이터 영역 추출 단계와 특징적 요소 추출 단계 사이에 수행될 수 있다. 그러나, 본 실시예에서 반드시 이에 한정되는 것은 아니다. 배경 영역 처리 단계는 특징적 요소 추출 단계와 선행 학습 결과 생성 단계 사이에 수행되는 것도 가능하다.Meanwhile, in the present exemplary embodiment, the
한편, 본 실시예에서는 식별자 영역 타입 결정부(190)가 선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 선택된 식별자 영역의 타입을 결정할 수 있다(식별자 영역 타입 결정 단계). 식별자 영역 타입 결정 단계는 식별자 영역 선택 단계와 식별자 인식 단계 사이에 수행될 수 있다.Meanwhile, in the present exemplary embodiment, the identifier region type determiner 190 may determine the type of the selected identifier region in consideration of the ratio of the horizontal value and the vertical value of the selected identifier region (identifier region type determining step). The identifier region type determining step may be performed between the identifier region selecting step and the identifier recognition step.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
본 발명은 자동차 번호판을 인식하는 시스템이나 ITS(Intelligent Transport System)에 적용될 수 있다.The present invention can be applied to a system for recognizing a license plate or an intelligent transport system (ITS).
100 : 차량 식별자 인식 시스템 110 : 관심 영역 검출부
120 : 식별자 영역 선택부 121 : 스코어 할당부
122 : 영역 선택부 122a : 임시 식별자 영역 검출부
122b : 영역 결정부 130 : 식별자 인식부
131 : 요소 구분부 132 : 차량 식별자 인식부
140 : 전원부 150 : 주제어부
160 : 영상 반전부 170 : 식별자 영역 생성부
180 : 훈련용 영상 분석부 181 : 공통 데이터 영역 정의부
182 : 공통 데이터 영역 추출부 183 : 특징적 요소 추출부
184 : 선행 학습 결과 생성부 185 : 배경 영역 처리부
190 : 식별자 영역 타입 결정부100: vehicle identifier recognition system 110: region of interest detection unit
120: identifier area selection unit 121: score assignment unit
122: region selection section 122a: temporary identifier region detection section
122b: region determining unit 130: identifier recognition unit
131: element separator 132: vehicle identifier recognition unit
140: power supply unit 150: main control unit
160: image inverting unit 170: identifier region generating unit
180: training image analysis unit 181: common data area definition unit
182: common data region extraction unit 183: characteristic element extraction unit
184: preceding learning result generation unit 185: background region processing unit
190: identifier region type determination unit
Claims (20)
미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택하는 식별자 영역 선택부; 및
선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역을 해석하여 차량의 식별자를 인식하는 식별자 인식부
를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.A region of interest detector configured to detect regions of interest in the input image based on previous learning results by the training images;
An identifier area selector configured to select an identifier area including an identifier of the vehicle from among detected areas of interest according to a predetermined criterion; And
An identifier recognizer for recognizing the identifier of the vehicle by analyzing the selected identifier region according to the type of the selected identifier region
Vehicle identification system characterized in that it comprises a.
상기 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 상기 훈련용 영상들에 대한 분석을 통해 상기 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 상기 선행 학습 결과로 생성하는 훈련용 영상 분석부
를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 1,
Training for generating a common data area including common data between the training images by analyzing at least one component of the content, position and size of the identifier different from each other for training Image analyzer
Vehicle identification system further comprises a.
상기 훈련용 영상 분석부는,
상기 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 상기 공통 데이터 영역을 정의하는 공통 데이터 영역 정의부;
각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출하는 공통 데이터 영역 추출부;
추출된 공통 데이터 영역으로부터 특징적 요소를 추출하는 특징적 요소 추출부; 및
추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 상기 선행 학습 결과를 생성하는 선행 학습 결과 생성부
를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 2,
The training image analyzer,
A common data region defining unit which compares and analyzes training images having different components to define the common data region including letters or numbers;
A common data region extracting unit extracting a common data region defined for each training image;
A feature element extracting unit for extracting feature elements from the extracted common data region; And
Pre-learning result generation unit for generating the pre-learning result including a continuous string or a sequence of numeric strings based on the extracted characteristic elements
Vehicle identification system characterized in that it comprises a.
상기 공통 데이터 영역 추출부는 각각의 훈련용 영상들마다 서로 다른 크기의 상기 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시켜 상기 특징적 요소 추출부로 상기 추출된 공통 데이터 영역을 전송하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 3, wherein
The common data region extractor extracts the defined common data region having a different size for each training image and then normalizes the extracted common data region to transmit the extracted common data region to the characteristic element extractor. Vehicle identification system, characterized in that.
상기 훈련용 영상 분석부는,
각각의 훈련용 영상들마다 상기 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며 추출된 배경 영역의 크기를 정규화시키는 배경 영역 처리부
를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 3, wherein
The training image analyzer,
A background region processor extracts a background region from which the extracted common data region is excluded and normalizes the size of the extracted background region for each training image.
Vehicle identification system further comprises a.
상기 관심 영역 검출부는 입력 영상마다 2~5개의 관심 영역들을 검출하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 1,
The ROI detection unit detects 2-5 ROIs per input image.
상기 식별자 영역 선택부는,
미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 스코어 할당부; 및
할당된 스코어를 기준으로 상기 검출된 관심 영역들 중에서 상기 식별자 영역을 선택하는 영역 선택부
를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 1,
The identifier area selection unit,
A score allocator for allocating a score for each region of interest detected according to a predetermined criterion; And
A region selection unit for selecting the identifier region among the detected regions of interest based on an assigned score
Vehicle identification system characterized in that it comprises a.
상기 스코어 할당부는,
데이터를 포함하는 데이터 영역과 상기 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 제1 스코어 할당부;
검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 제2 스코어 할당부; 및
훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 상기 특징에 상기 가중치를 반영하여 스코어를 할당하는 제3 스코어 할당부
중 적어도 하나의 스코어 할당부를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 7, wherein
The score allocation unit,
A first score allocator configured to assign a score to each detected region of interest in consideration of a relationship between a data region including data and a background region not including the data;
A second score allocator configured to generate a histogram related to the intensity of each detected region of interest and to assign a score to each detected region of interest according to a distance difference between peaks in the generated histogram; And
The third score allocator assigns a weight to each feature displaying the data area through prior learning by training images, and allocates a score to the feature extracted for each detected ROI by reflecting the weight.
And at least one score allocator.
상기 제1 스코어 할당부는,
데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 제1 할당부;
데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 상기 제1 중심점 간 거리차 및 상기 제3 중심점과 상기 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 제2 할당부;
데이터 영역의 중심에 위치하는 제1 중심 화소와 상기 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 제3 할당부; 및
배경 영역의 중심에 위치하는 제2 중심 화소와 상기 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 상기 제2 거리 평균값을 비교하여 스코어를 할당하는 제4 할당부
중 적어도 하나의 할당부를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 8,
The first score allocation unit,
A first allocator configured to allocate a score by calculating an area discrimination value between the data area and the background area;
Obtaining a first center point of the data area and a second center point of the background area, respectively, a distance difference between the third center point of the ROI including the data area and the background area and the first center point, and between the third center point and the second center point; A second allocating unit for allocating scores by comparing distance differences;
Obtain a first distance average value between a first center pixel positioned in the center of the data area and at least one peripheral pixel positioned around the first center pixel, and obtain the first distance average value and the prior learning using the training images. A third allocating unit for allocating scores by comparing a second predetermined average distance value; And
A third distance average value is obtained between a second center pixel positioned at the center of the background area and at least one peripheral pixel positioned around the second center pixel, and the score is obtained by comparing the obtained third distance average value with the second distance average value. Fourth allocation unit to allocate
And at least one allocation unit of the vehicle identifier recognition system.
상기 관심 영역 검출부는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 1,
And the ROI detecting unit determines the size of the ROI to be detected in consideration of a ratio of a predetermined width value and a height value when detecting the ROI.
상기 영역 선택부는,
상기 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 상기 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출하는 임시 식별자 영역 검출부; 및
검출된 임시 식별자 영역이 상기 기준에 부합하는지 여부에 따라 상기 식별자 영역을 결정하는 영역 결정부
를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 7, wherein
The area selection unit,
Labeling is performed for each region of interest detected based on the assigned scores to detect a temporary identifier region according to whether data regions of the same size are sequentially present, or detected regions of interest based on the assigned scores. A temporary identifier region detector for detecting a temporary identifier region according to whether or not all consecutive data are included based on the contrast value of the background region each time; And
An area determination unit that determines the identifier area according to whether the detected temporary identifier area meets the criteria
Vehicle identification system characterized in that it comprises a.
상기 기준에 부합되는 식별자 영역이 결정되지 못하면, 상기 입력 영상을 반전시키는 영상 반전부
를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 11,
An image inversion unit for inverting the input image if an identifier region corresponding to the criterion is not determined
Vehicle identification system further comprises a.
반전된 영상에서 상기 기준에 부합되는 식별자 영역이 선택되지 못하면, 상기 임시 식별자 영역 검출부에 의해 선택된 임시 식별자 영역 및 상기 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 상기 식별자 영역을 생성하는 식별자 영역 생성부
를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 12,
If the identifier region corresponding to the criterion is not selected in the inverted image, the identifier region combining the temporary identifier region selected by the temporary identifier region detector and the temporary identifier region obtained by signal processing the input image generates the identifier region. Generator
Vehicle identification system further comprises a.
선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 상기 선택된 식별자 영역의 타입을 결정하는 식별자 영역 타입 결정부
를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 1,
An identifier region type determiner that determines the type of the selected identifier region in consideration of the ratio of the horizontal value and the vertical value of the selected identifier region.
Vehicle identification system further comprises a.
상기 식별자 인식부는,
선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 요소 구분부; 및
구분된 요소들을 이용하여 상기 차량의 식별자를 인식하는 차량 식별자 인식부
를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 1,
The identifier recognizer,
An element separator for dividing data located in the selected identifier region into at least two kinds of elements according to the type of the selected identifier region; And
Vehicle identifier recognizer for recognizing the identifier of the vehicle using the separated elements
Vehicle identification system characterized in that it comprises a.
상기 요소 구분부는 상기 데이터를 문자열 요소와 숫자열 요소로 구분하며,
상기 차량 식별자 인식부는 구분된 요소 각각을 미리 저장된 요소와 비교하여 상기 차량의 식별자를 인식하는 것을 특징으로 하는 차량 식별자 인식 시스템.The method of claim 15,
The element separator divides the data into a string element and a numeric element.
The vehicle identifier recognition unit recognizes the identifier of the vehicle by comparing each of the separated elements with previously stored elements.
미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택하는 식별자 영역 선택 단계; 및
선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역을 해석하여 차량의 식별자를 인식하는 식별자 인식 단계
를 포함하는 것을 특징으로 하는 차량 식별자 인식 방법.A region of interest detection step of detecting regions of interest in the input image based on previous learning results by the training images;
An identifier region selecting step of selecting an identifier region including an identifier of the vehicle among the detected regions of interest according to a predetermined criterion; And
An identifier recognition step of recognizing the identifier of the vehicle by analyzing the selected identifier region according to the type of the selected identifier region
Vehicle identification method comprising a.
상기 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 상기 훈련용 영상들에 대한 분석을 통해 상기 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 상기 선행 학습 결과로 생성하는 훈련용 영상 분석 단계
를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 방법.The method of claim 17,
Training for generating a common data area including common data between the training images by analyzing at least one component of the content, position and size of the identifier different from each other for training Image analysis step
Vehicle identification method further comprises a.
상기 식별자 영역 선택 단계는,
미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 스코어 할당 단계; 및
할당된 스코어를 기준으로 상기 검출된 관심 영역들 중에서 상기 식별자 영역을 선택하는 영역 선택 단계
를 포함하는 것을 특징으로 하는 차량 식별자 인식 방법.The method of claim 17,
The identifier region selection step,
A score assignment step of allocating a score for each detected region of interest according to a predetermined criterion; And
A region selection step of selecting the identifier region among the detected regions of interest based on an assigned score
Vehicle identification method comprising a.
상기 식별자 인식 단계는,
선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 요소 구분 단계; 및
구분된 요소들을 이용하여 상기 차량의 식별자를 인식하는 차량 식별자 인식 단계
를 포함하는 것을 특징으로 하는 차량 식별자 인식 방법.The method of claim 17,
The identifier recognition step,
An element dividing step of dividing data located in the selected identifier region into at least two kinds of elements according to the type of the selected identifier region; And
Vehicle identifier recognition step of recognizing the identifier of the vehicle using the separated elements
Vehicle identification method comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/224,178 US8548201B2 (en) | 2010-09-02 | 2011-09-01 | Apparatus and method for recognizing identifier of vehicle |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20100086215 | 2010-09-02 | ||
| KR1020100086215 | 2010-09-02 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120023485A true KR20120023485A (en) | 2012-03-13 |
| KR101484043B1 KR101484043B1 (en) | 2015-01-19 |
Family
ID=46130964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20100122186A KR101484043B1 (en) | 2010-09-02 | 2010-12-02 | System and method for recognizing identifier of vehicle |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101484043B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101580630B1 (en) * | 2015-01-29 | 2016-01-04 | 주식회사 다인 | Method of recognizing tire and apparatus thereof |
| KR20200119384A (en) * | 2019-03-26 | 2020-10-20 | (주)아이에스인텍 | Apparatus and method for recognizing license plates in real time |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100801935B1 (en) * | 2006-05-12 | 2008-02-12 | 주식회사 라이크텍 | Parking management system using LPR and method thereof |
| US7734097B1 (en) * | 2006-08-01 | 2010-06-08 | Mitsubishi Electric Research Laboratories, Inc. | Detecting objects in images with covariance matrices |
| JP4977440B2 (en) * | 2006-10-25 | 2012-07-18 | 株式会社日立製作所 | Vehicle recognition device |
| KR101218302B1 (en) * | 2007-05-07 | 2013-01-03 | 삼성테크윈 주식회사 | Method for location estimation of vehicle number plate |
-
2010
- 2010-12-02 KR KR20100122186A patent/KR101484043B1/en not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101580630B1 (en) * | 2015-01-29 | 2016-01-04 | 주식회사 다인 | Method of recognizing tire and apparatus thereof |
| WO2016122068A1 (en) * | 2015-01-29 | 2016-08-04 | 주식회사 다인 | Method for recognizing tire and device therefor |
| US9798946B2 (en) | 2015-01-29 | 2017-10-24 | Dain Co., Ltd. | Systems and methods for optical recognition of tire specification |
| KR20200119384A (en) * | 2019-03-26 | 2020-10-20 | (주)아이에스인텍 | Apparatus and method for recognizing license plates in real time |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101484043B1 (en) | 2015-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8548201B2 (en) | Apparatus and method for recognizing identifier of vehicle | |
| KR102592076B1 (en) | Appartus and method for Object detection based on Deep leaning, apparatus for Learning thereof | |
| US11282185B2 (en) | Information processing device, information processing method, and storage medium | |
| Ellahyani et al. | Traffic sign detection and recognition based on random forests | |
| JP7113657B2 (en) | Information processing device, information processing method, and program | |
| US7492926B2 (en) | Method for identifying a person from a detected eye image | |
| EP2667353B1 (en) | Feature extraction unit, feature extraction method, feature extraction program, and image processing device | |
| US11775875B2 (en) | Method for recognizing fog concentration of hazy image | |
| Abate et al. | BIRD: Watershed based iris detection for mobile devices | |
| US11532148B2 (en) | Image processing system | |
| Xu | Robust traffic sign shape recognition using geometric matching | |
| EP3213257B1 (en) | Image processing system | |
| EA019627B1 (en) | Method and system for item identification | |
| US20150347804A1 (en) | Method and system for estimating fingerprint pose | |
| CN107194393B (en) | Method and device for detecting temporary license plate | |
| US8744189B2 (en) | Character region extracting apparatus and method using character stroke width calculation | |
| US20200042779A1 (en) | Human body gender automatic recognition method and apparatus | |
| Li et al. | Eye detection by using fuzzy template matching and feature-parameter-based judgement | |
| KR20120023485A (en) | System and method for recognizing identifier of vehicle | |
| KR20130128097A (en) | Object recognition method and apparatus using depth information | |
| KR102089298B1 (en) | System and method for recognizing multinational license plate through generalized character sequence detection | |
| Nguyen et al. | Robust car license plate localization using a novel texture descriptor | |
| Vinh | Real-time traffic sign detection and recognition system based on friendlyARM Tiny4412 board | |
| KR101473991B1 (en) | Method and apparatus for detecting face | |
| CN107240185B (en) | A kind of crown word number identification method, device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |