KR101484043B1 - 차량 식별자 인식 시스템 및 그 방법 - Google Patents

차량 식별자 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR101484043B1
KR101484043B1 KR20100122186A KR20100122186A KR101484043B1 KR 101484043 B1 KR101484043 B1 KR 101484043B1 KR 20100122186 A KR20100122186 A KR 20100122186A KR 20100122186 A KR20100122186 A KR 20100122186A KR 101484043 B1 KR101484043 B1 KR 101484043B1
Authority
KR
South Korea
Prior art keywords
identifier
region
unit
area
score
Prior art date
Application number
KR20100122186A
Other languages
English (en)
Other versions
KR20120023485A (ko
Inventor
윤호섭
반규대
윤영우
윤우한
김도형
이재연
김재홍
지수영
손주찬
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/224,178 priority Critical patent/US8548201B2/en
Publication of KR20120023485A publication Critical patent/KR20120023485A/ko
Application granted granted Critical
Publication of KR101484043B1 publication Critical patent/KR101484043B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

본 발명은 자동차 번호판의 문자열/숫자열에 기초하여 차량 식별자로 자동차 번호판을 인식하는 시스템 및 그 방법에 관한 것이다. 본 발명은 다양한 형태의 자동차 번호판에 대한 선행 학습을 통해 얻은 결과를 기초로 문자열/숫자열과 관련한 관심영역 후보군을 검출하고, 미리 정해진 5가지 조건 중 적어도 하나의 조건을 이용하여 검출된 관심영역 후보군을 검증하며, ROI 영역의 높이와 너비의 비를 고려해서 검증된 관심영역 후보군으로부터 선택된 ROI 영역 내의 번호판 MBR 영역을 결정하여 자동차 번호판을 인식한다. 본 발명에 따르면, 각 나라마다 정의된 다양한 형태의 번호판 규격과 관계없이 번호판의 위치를 자동으로 검출할 수 있다.

Description

차량 식별자 인식 시스템 및 그 방법 {System and method for recognizing identifier of vehicle}
본 발명은 차량 식별자 인식 시스템 및 그 방법에 관한 것이다. 보다 상세하게는, 자동차 번호판의 문자열/숫자열에 기초하여 차량 식별자로 자동차 번호판을 인식하는 시스템 및 그 방법에 관한 것이다.
ITS(Intelligent Transport System) 시스템은 현대에 들어 보편화된 기술로서, 우리나라에서도 다양한 센서와 번호판 인식 기술을 활용하여 신호 체계 조정, 주·정차 관리, 속도 위반, 범죄 차량 관리 등 많은 서비스가 이루어지고 있다.
그런데, 국내에서 개발된 기존의 자동차 번호판 문자 영역 추출 방법은 우리나라에서 정해진 번호판 크기 및 규격에 기반하여 번호판 후보 영역을 검출하는 방법을 취한다. 그래서, 우리나라에서 개발된 번호판 문자 영역 추출 기술을 타 국가의 다양한 번호판에 적용하려면, 새로운 규격에 따라 프로그램을 다시 개발해야 하는 단점을 지니고 있었다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 다양한 형태의 차량 식별자에 대한 선행 학습을 통해 얻은 결과를 이용하여 문자열/숫자열과 관련한 관심영역 후보군을 검출한 뒤 이를 기초로 차량 식별자를 인식하는 시스템 및 그 방법을 제공함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 훈련용 영상들에 의한 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출하는 관심 영역 검출부; 미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택하는 식별자 영역 선택부; 및 선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역을 해석하여 차량의 식별자를 인식하는 식별자 인식부를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템을 제공한다.
바람직하게는, 차량 식별자 인식 시스템은 상기 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 상기 훈련용 영상들에 대한 분석을 통해 상기 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 상기 선행 학습 결과로 생성하는 훈련용 영상 분석부를 더욱 포함한다. 더욱 바람직하게는, 상기 훈련용 영상 분석부는, 상기 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 상기 공통 데이터 영역을 정의하는 공통 데이터 영역 정의부; 각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출하는 공통 데이터 영역 추출부; 추출된 공통 데이터 영역으로부터 특징적 요소를 추출하는 특징적 요소 추출부; 및 추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 상기 선행 학습 결과를 생성하는 선행 학습 결과 생성부를 포함한다. 더욱더 바람직하게는, 상기 공통 데이터 영역 추출부는 각각의 훈련용 영상들마다 서로 다른 크기의 상기 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시켜 상기 특징적 요소 추출부로 상기 추출된 공통 데이터 영역을 전송한다. 더욱더 바람직하게는, 상기 훈련용 영상 분석부는 각각의 훈련용 영상들마다 상기 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며 추출된 배경 영역의 크기를 정규화시키는 배경 영역 처리부를 더욱 포함한다.
바람직하게는, 상기 관심 영역 검출부는 입력 영상마다 2~5개의 관심 영역들을 검출한다.
바람직하게는, 상기 식별자 영역 선택부는, 미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 스코어 할당부; 및 할당된 스코어를 기준으로 상기 검출된 관심 영역들 중에서 상기 식별자 영역을 선택하는 영역 선택부를 포함한다. 더욱 바람직하게는, 상기 스코어 할당부는, 데이터를 포함하는 데이터 영역과 상기 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 제1 스코어 할당부; 검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 제2 스코어 할당부; 및 훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 상기 특징에 상기 가중치를 반영하여 스코어를 할당하는 제3 스코어 할당부 중 적어도 하나의 스코어 할당부를 포함한다. 더욱더 바람직하게는, 상기 제1 스코어 할당부는, 데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 제1 할당부; 데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 상기 제1 중심점 간 거리차 및 상기 제3 중심점과 상기 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 제2 할당부; 데이터 영역의 중심에 위치하는 제1 중심 화소와 상기 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 제3 할당부; 및 배경 영역의 중심에 위치하는 제2 중심 화소와 상기 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 상기 제2 거리 평균값을 비교하여 스코어를 할당하는 제4 할당부 중 적어도 하나의 할당부를 포함한다.
바람직하게는, 상기 관심 영역 검출부는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정한다.
바람직하게는, 상기 영역 선택부는, 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출하는 임시 식별자 영역 검출부; 및 검출된 임시 식별자 영역이 상기 기준에 부합하는지 여부에 따라 상기 식별자 영역을 결정하는 영역 결정부를 포함한다. 더욱 바람직하게는, 상기 차량 식별자 인식 시스템은 상기 기준에 부합되는 식별자 영역이 결정되지 못하면, 상기 입력 영상을 반전시키는 영상 반전부를 더욱 포함한다. 더욱더 바람직하게는, 상기 차량 식별자 인식 시스템은 반전된 영상에서 상기 기준에 부합되는 식별자 영역이 선택되지 못하면, 상기 임시 식별자 영역 검출부에 의해 선택된 임시 식별자 영역 및 상기 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 상기 식별자 영역을 생성하는 식별자 영역 생성부를 더욱 포함한다.
바람직하게는, 상기 차량 식별자 인식 시스템은 선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 상기 선택된 식별자 영역의 타입을 결정하는 식별자 영역 타입 결정부를 더욱 포함한다.
바람직하게는, 상기 식별자 인식부는, 선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 요소 구분부; 및 구분된 요소들을 이용하여 상기 차량의 식별자를 인식하는 차량 식별자 인식부를 포함한다. 더욱 바람직하게는, 상기 요소 구분부는 상기 데이터를 문자열 요소와 숫자열 요소로 구분하며, 상기 차량 식별자 인식부는 구분된 요소 각각을 미리 저장된 요소와 비교하여 상기 차량의 식별자를 인식한다.
또한, 본 발명은 훈련용 영상들에 의한 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출하는 관심 영역 검출 단계; 미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택하는 식별자 영역 선택 단계; 및 선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역을 해석하여 차량의 식별자를 인식하는 식별자 인식 단계를 포함하는 것을 특징으로 하는 차량 식별자 인식 방법을 제공한다.
바람직하게는, 상기 차량 식별자 인식 방법은 상기 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 상기 훈련용 영상들에 대한 분석을 통해 상기 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 상기 선행 학습 결과로 생성하는 훈련용 영상 분석 단계를 더욱 포함한다. 더욱 바람직하게는, 상기 훈련용 영상 분석 단계는, 상기 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 상기 공통 데이터 영역을 정의하는 공통 데이터 영역 정의 단계; 각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출하는 공통 데이터 영역 추출 단계; 추출된 공통 데이터 영역으로부터 특징적 요소를 추출하는 특징적 요소 추출 단계; 및 추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 상기 선행 학습 결과를 생성하는 선행 학습 결과 생성 단계를 포함한다. 더욱더 바람직하게는, 상기 공통 데이터 영역 추출 단계는 각각의 훈련용 영상들마다 서로 다른 크기의 상기 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시킨다. 더욱더 바람직하게는, 상기 훈련용 영상 분석 단계는 각각의 훈련용 영상들마다 상기 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며 추출된 배경 영역의 크기를 정규화시키는 배경 영역 처리 단계를 더욱 포함한다.
바람직하게는, 상기 관심 영역 검출 단계는 입력 영상마다 2~5개의 관심 영역들을 검출한다.
바람직하게는, 상기 식별자 영역 선택 단계는, 미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 스코어 할당 단계; 및 할당된 스코어를 기준으로 상기 검출된 관심 영역들 중에서 상기 식별자 영역을 선택하는 영역 선택 단계를 포함한다. 더욱 바람직하게는, 상기 스코어 할당 단계에서는, 데이터를 포함하는 데이터 영역과 상기 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 제1 스코어 할당 단계; 검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 제2 스코어 할당 단계; 및 훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 상기 특징에 상기 가중치를 반영하여 스코어를 할당하는 제3 스코어 할당 단계 중 적어도 하나의 스코어 할당 단계를 수행한다. 더욱더 바람직하게는, 상기 제1 스코어 할당 단계에서는, 데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 제1 할당 단계; 데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 상기 제1 중심점 간 거리차 및 상기 제3 중심점과 상기 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 제2 할당 단계; 데이터 영역의 중심에 위치하는 제1 중심 화소와 상기 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 제3 할당 단계; 및 배경 영역의 중심에 위치하는 제2 중심 화소와 상기 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 상기 제2 거리 평균값을 비교하여 스코어를 할당하는 제4 할당 단계 중 적어도 하나의 할당 단계를 수행한다.
바람직하게는, 상기 관심 영역 검출 단계는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정한다.
바람직하게는, 상기 영역 선택 단계는, 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출하는 임시 식별자 영역 검출 단계; 및 검출된 임시 식별자 영역이 상기 기준에 부합하는지 여부에 따라 상기 식별자 영역을 결정하는 영역 결정 단계를 포함한다. 더욱 바람직하게는, 상기 차량 식별자 인식 방법은 상기 기준에 부합되는 식별자 영역이 결정되지 못하면, 상기 입력 영상을 반전시키는 영상 반전 단계를 더욱 포함한다. 더욱더 바람직하게는, 상기 차량 식별자 인식 방법은 반전된 영상에서 상기 기준에 부합되는 식별자 영역이 선택되지 못하면, 상기 임시 식별자 영역 검출부에 의해 선택된 임시 식별자 영역 및 상기 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 상기 식별자 영역을 생성하는 식별자 영역 생성 단계를 더욱 포함한다.
바람직하게는, 상기 차량 식별자 인식 방법은 선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 상기 선택된 식별자 영역의 타입을 결정하는 식별자 영역 타입 결정 단계를 더욱 포함한다.
바람직하게는, 상기 식별자 인식 단계는, 선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 요소 구분 단계; 및 구분된 요소들을 이용하여 상기 차량의 식별자를 인식하는 차량 식별자 인식 단계를 포함한다. 더욱 바람직하게는, 상기 요소 구분 단계는 상기 데이터를 문자열 요소와 숫자열 요소로 구분하며, 상기 차량 식별자 인식 단계는 구분된 요소 각각을 미리 저장된 요소와 비교하여 상기 차량의 식별자를 인식한다.
본 발명에서는 모든 형태의 번호판에 공통 존재하는 연속적인 숫자나 문자열을 먼저 추출하고, 추출된 문자열의 위치를 기반으로 각 나라의 번호판 규격에 맞는 전체 번호판 영역을 검출하는 방법을 기술한다. 기술된 방법에 따르면, 각 나라마다 정의된 다양한 형태의 번호판 규격과 관계없이 번호판의 위치를 자동으로 검출할 수가 있다.
본 발명의 구성에 따르면, 각 나라에서 존재하는 다양한 번호판 형태에서 항상 일정하게 존재하는 관심 영역을 정의하고, 정의된 관심 영역을 아다부스팅(adaboosting) 기법을 통해 추출하는 방법을 기술함으로써, 신호 처리 기법을 이용한 기존의 번호판 추출 방법과 달리 복잡한 차량 후미등이나 배경 영역에 따라서도 자동차 번호판을 용이하게 찾을 수 있다. 또한, 관심 영역 검증 방법을 통해 후보 번호판 영역을 제거함으로써, 수행 시간을 단축시킬 수 있다. 또한, 기존의 번호판 추출 방법과 결합함으로써, 높은 번호판 추출율을 얻을 수 있다. 또한, 본 발명에서는 아다부스팅(adaboosting) 특징값으로 조명 변화에 강인한 MCT(Modified Censors Transform)를 사용함으로써, 다양한 조명 상태에서 입력되는 번호판 영상에 강인하게 적용 가능하다.
도 1은 본 발명의 바람직한 실시예에 따른 차량 식별자 인식 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 실시예에 따른 차량 식별자 인식 시스템의 구성요소들의 세부 구성을 도시한 블록도이다.
도 3은 차량 식별자 인식 시스템의 일실시 예시도이다.
도 4는 다양한 형태의 유럽 자동차 번호판을 도시한 도면이다.
도 5는 다양한 형태의 국내 자동차 번호판을 도시한 도면이다.
도 6은 유럽 자동차 번호판에서 높이와 너비가 고려된 관심 영역을 보여주는 도면이다.
도 7은 본 발명의 바람직한 실시예에 따른 차량 식별자 인식 방법을 도시한 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 차량 식별자 인식 시스템을 개략적으로 도시한 블록도이다. 도 2는 본 실시예에 따른 차량 식별자 인식 시스템의 구성요소들의 세부 구성을 도시한 블록도이다. 이하 설명은 도 1과 도 2를 참조한다.
도 1에 따르면, 차량 식별자 인식 시스템(100)은 관심 영역 검출부(110), 식별자 영역 선택부(120), 식별자 인식부(130), 전원부(140) 및 주제어부(150)를 포함한다.
차량 식별자 인식 시스템(100)은 자동차 번호판의 문자열/숫자열을 기초로 자동차 번호판을 인식하는 시스템이다. 차량 식별자 인식 시스템(100)은 다양한 형태의 자동차 번호판에 대한 선행 학습을 통해 얻은 결과를 기초로 문자열/숫자열과 관련한 관심영역 후보군을 검출하고, 미리 정해진 5가지 조건 중 적어도 하나의 조건을 이용하여 검출된 관심영역 후보군을 검증하며, ROI 영역의 높이와 너비의 비를 고려해서 검증된 관심영역 후보군으로부터 선택된 ROI 영역 내의 번호판 MBR(Minimum Bounding Rectangle) 영역을 결정하여 자동차 번호판을 인식한다. 바람직하게는, 차량 식별자 인식 시스템(100)은 번호판 후보 영역의 가로 세로 비를 기초로 결정된 번호판 타입에 따라 문자열과 숫자열을 분리하고, ROI 영역의 높이와 너비의 비를 고려해서 검증된 관심영역 후보군으로부터 선택된 ROI 영역 내의 번호판 MBR(Minimum Bounding Rectangle) 영역을 결정하여 자동차 번호판을 인식한다.
관심 영역 검출부(110)는 훈련용 영상들에 의한 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출하는 기능을 수행한다. 검출되는 관심 영역은 적어도 하나의 데이터를 포함하는 관심 영역으로서, 데이터로 문자나 숫자 등을 포함한다.
관심 영역 검출부(110)는 입력 영상마다 2~5개의 관심 영역들을 검출한다. 본 실시예에서 관심 영역 검출부(110)는 검출된 관심 영역에 차량의 식별자가 포함되어 있을 가능성을 높이기 위해 입력 영상마다 2개 이상의 관심 영역을 검출한다. 또한, 관심 영역 검출부(110)는 식별자 영역이 선택되는 데에 걸리는 시간을 단축시키기 위해 즉, 시스템 상의 처리 속도를 향상시키기 위해 입력 영상마다 5개 이하의 관심 영역을 검출한다. 이상을 종합해 볼 때, 본 실시예에서 관심 영역 검출부(110)는 입력 영상마다 2~5개의 관심 영역들을 검출하는 것이 바람직하다.
관심 영역 검출부(110)는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정한다.
식별자 영역 선택부(120)는 미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택하는 기능을 수행한다. 식별자 영역 선택부(120)는 도 2의 (a)에 도시된 바와 같이 스코어 할당부(121) 및 영역 선택부(122)를 포함한다.
스코어 할당부(121)는 미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 기능을 수행한다. 스코어 할당부(121)는 제1 스코어 할당부(121a), 제2 스코어 할당부(121b) 및 제3 스코어 할당부(121c) 중 적어도 하나의 스코어 할당부를 포함한다.
제1 스코어 할당부(121a)는 데이터를 포함하는 데이터 영역과 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 기능을 수행한다. 상기에서, 데이터는 문자, 숫자 등을 의미한다. 제1 스코어 할당부(121a)는 제1 할당부, 제2 할당부, 제3 할당부 및 제4 할당부 중 적어도 하나의 할당부를 포함한다. 제1 할당부는 데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 기능을 수행한다. 제2 할당부는 데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 제1 중심점 간 거리차 및 제3 중심점과 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 기능을 수행한다. 제3 할당부는 데이터 영역의 중심에 위치하는 제1 중심 화소와 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 기능을 수행한다. 제4 할당부는 배경 영역의 중심에 위치하는 제2 중심 화소와 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 제2 거리 평균값을 비교하여 스코어를 할당하는 기능을 수행한다.
제2 스코어 할당부(121b)는 검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 기능을 수행한다.
제3 스코어 할당부(121c)는 훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 특징에 가중치를 반영하여 스코어를 할당하는 기능을 수행한다.
영역 선택부(122)는 할당된 스코어를 기준으로 검출된 관심 영역들 중에서 식별자 영역을 선택하는 기능을 수행한다. 영역 선택부(122)는 임시 식별자 영역 검출부(122a) 및 영역 결정부(122b)를 포함한다.
임시 식별자 영역 검출부(122a)는 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출하는 기능을 수행한다. 임시 식별자 영역 검출부(122a)는 배경 영역에 대한 침식 알고리즘 또는 배경 영역에 대한 첨삭 알고리즘을 적용하여 연속된 데이터 전부를 포함하는 최소 크기의 도형을 서치함으로써 연속된 데이터 전부를 포함하는지 여부를 결정할 수 있다.
영역 결정부(122b)는 검출된 임시 식별자 영역이 미리 정해진 기준에 부합하는지 여부에 따라 식별자 영역을 결정하는 기능을 수행한다.
그런데, 영역 선택부(122)에 의해 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못할 수 있다. 본 실시예에서는 이러한 점을 고려하여 차량 식별자 인식 시스템(100)이 영상 반전부(160)를 더욱 포함할 수 있다. 영상 반전부(160)는 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못하면, 입력 영상을 반전시키는 기능을 수행한다. 영상 반전부(160)가 입력 영상을 반전시키면 관심 영역 검출부(110)는 선행 학습 결과를 기초로 반전된 영상에서 관심 영역들을 다시 검출한다.
한편, 반전된 영상에서도 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못할 수 있다. 본 실시예에서는 이 점을 고려하여 차량 식별자 인식 시스템(100)이 식별자 영역 생성부(170)를 더욱 포함할 수 있다. 식별자 영역 생성부(170)는 반전된 영상에서 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못하면, 임시 식별자 영역 검출부(122a)에 의해 선택된 임시 식별자 영역 및 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 식별자 영역을 생성하는 기능을 수행한다.
식별자 인식부(130)는 선택된 식별자 영역의 타입에 따라 선택된 식별자 영역을 해석하여 차량의 식별자를 인식하는 기능을 수행한다. 식별자 인식부(130)는 도 2의 (b)에 도시된 바와 같이 요소 구분부(131) 및 차량 식별자 인식부(132)를 포함한다.
요소 구분부(131)는 선택된 식별자 영역의 타입에 따라 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 기능을 수행한다. 요소 구분부(131)는 데이터를 문자열 요소와 숫자열 요소로 구분할 수 있다.
차량 식별자 인식부(132)는 구분된 요소들을 이용하여 차량의 식별자를 인식하는 기능을 수행한다. 차량 식별자 인식부(132)는 구분된 요소 각각을 미리 저장된 요소와 비교하여 차량의 식별자를 인식한다.
전원부(140)는 차량 식별자 인식 시스템(100)을 구성하는 각 구성부에 전원을 공급하는 기능을 수행한다. 본 실시예에서는 차량 식별자 인식 시스템(100)을 구성하는 각 구성부마다 별도로 전원부를 구비하는 것도 가능하다.
주제어부(150)는 차량 식별자 인식 시스템(100)을 구성하는 각 구성부의 전체 작동을 제어하는 기능을 수행한다.
차량 식별자 인식 시스템(100)은 훈련용 영상 분석부(180)를 더욱 포함할 수 있다. 훈련용 영상 분석부(180)는 차량 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들에 대한 분석을 통해 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 선행 학습 결과로 생성하는 기능을 수행한다. 훈련용 영상 분석부(180)는 도 2의 (c)에 도시된 바와 같이 공통 데이터 영역 정의부(181), 공통 데이터 영역 추출부(182), 특징적 요소 추출부(183) 및 선행 학습 결과 생성부(184)를 포함한다.
공통 데이터 영역 정의부(181)는 차량 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 공통 데이터 영역을 정의하는 기능을 수행한다.
공통 데이터 영역 추출부(182)는 각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출하는 기능을 수행한다. 공통 데이터 영역 추출부(182)는 각각의 훈련용 영상들마다 서로 다른 크기의 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시켜 특징적 요소 추출부(183)로 추출된 공통 데이터 영역을 전송한다.
특징적 요소 추출부(183)는 추출된 공통 데이터 영역으로부터 특징적 요소를 추출하는 기능을 수행한다. 특징적 요소 추출부(183)는 특징적 요소로 특징 벡터를 추출할 수 있다. 특징적 요소 추출부(183)는 특징적 요소를 추출할 때에 MCT(Modified Censors Transform) 또는 Haar-like Feature를 이용할 수 있다. 그러나, 본 실시예에서 특징적 요소 추출이 이러한 알고리즘에 한정되는 것은 아니다.
선행 학습 결과 생성부(184)는 추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 선행 학습 결과를 생성하는 기능을 수행한다. 선행 학습 결과 생성부(184)는 선행 학습 결과를 생성할 때에 아다부스팅 알고리즘(adaboosting algorithm)을 이용할 수 있다.
훈련용 영상 분석부(180)는 배경 영역 처리부(185)를 더욱 포함할 수 있다. 배경 영역 처리부(185)는 각각의 훈련용 영상들마다 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며, 추출된 배경 영역의 크기를 정규화시키는 기능을 수행한다.
차량 식별자 인식 시스템(100)은 식별자 영역 타입 결정부(190)를 더욱 포함할 수 있다. 식별자 영역 타입 결정부(190)는 선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 선택된 식별자 영역의 타입을 결정하는 기능을 수행한다.
다음으로, 차량 식별자 인식 시스템(100)을 일실시예를 들어 설명한다. 이하 설명은 도 1 내지 도 3을 함께 참조한다.
차량 식별자 인식 시스템(100)은 자연 영상에서 번호판을 이루는 특정 문자/숫자 부분을 번호판의 모양과 상관없이 학습을 통해 먼저 검출하고 이를 기반으로 전체 번호판 영역을 검출한 후 기존의 번호판 검출 방법과 융합함으로써 다양한 종류의 번호판을 자동으로 검출하고 인식한다. 이하 일실시예에서는 번호판을 검출하기 위해 다양한 형태의 번호판 영역 내에서 공통적으로 연속적으로 나타나는 숫자나 문자열을 정의하고, 정의된 숫자나 문자열을 아다부스팅(adaboosting) 기법을 통해 학습시킨 후, 검출하는 방법을 기술한다. 이를 단계별 순서도를 통해 설명하면 도 3과 같다.
먼저 S301 단계에서 각 나라의 번호판 형태를 분석하는 단계를 거친다. 도 1에서 이 기능은 훈련용 영상 분석부(180)가 수행한다. 예를 들면, 도 4에 도시된 유럽 번호판의 경우, 크게 (a), (b) 등 2가지 형태가 주류를 이루고 있으나, (c), (d), (e) 등과 같이 조금씩 변형된 다양한 형태의 번호판이 존재한다. 이때, 다양한 형태의 번호판 구조를 분석해 보면, 항상 번호판의 마지막 오른쪽 부분엔 숫자열 3개가 연속해서 나타남을 알 수 있다. 또한, 도 5에 도시된 국내 번호판의 경우, 신형과 구형의 다양한 번호판이 존재하지만, 마찬가지로 마지막 오른쪽 부분엔 숫자열 4개가 연속해서 나타난다. 이와 같이, 찾고자 하는 다양한 번호판 형태에서 공통적으로 나타나는 숫자나 문자열을 관심 영역으로 정의한다. 도 2에서 이러한 기능은 공통 데이터 영역 정의부(181)가 수행한다.
S303 단계에서는 S302 단계에서 다양한 입력 영상으로부터 다양한 크기의 관심 영역을 수동으로 추출하여 많은 학습 데이터들을 생성한 후, 훈련을 위해 크기를 정규화시킨다. 도 2에서 이 기능은 공통 데이터 영역 추출부(182)가 수행한다. 한편, 이때에 아다부스팅(adaboosting) 학습을 위해 관심 영역이 아닌 일반 배경 부분도 동일한 방법을 거친다. 도 2에서 이 기능은 배경 영역 처리부(185)가 수행한다.
S304 단계에서는 입력 관심 영역으로부터 특징을 추출하기 위해 MCT(Modified Censors Transform)을 적용하거나, 하알 유사 특징(harr-like feature)을 추출한다. 이때, 관심 영역을 잘 표현할 수 있는 또다른 특징들을 사용할 수 있다. 도 2에서 이 기능은 특징적 요소 추출부(183)가 수행한다.
S305 단계에서는 추출된 관심 영역의 특징 벡터와 배경 영역의 특징 벡터를 아다부스팅 기법의 캐스케이딩(cascading) 단계를 거쳐 학습을 완료한다. 학습이 완료되면, S306 단계에서 최종적으로 관심 영역으로 대변되는 연속적인 숫자열/문자열 검출기가 생성된다. 도 2에서 이 기능은 선행학습 결과 생성부(184)가 수행한다.
S307 단계는 실제 상황에서 실시간으로 번호판이 포함된 영상이 입력됨을 의미한다. 입력 영상이 카메라로부터 캡쳐되면, S306 단계에서 생성된 관심 영역 검출기가 S308 단계에서와 같이 전체 영상을 스캔하면서 관심 후보 영역들을 검출한다. 이때, 검출기는 전체 영상에서 대략 1~5개까지의 관심 영역 후보 영역이 검출될 수 있다. 도 1에서 이 기능은 관심 영역 검출부(110)가 수행한다.
일반적인 번호판 인식 시스템의 환경에서는 전체 입력 영상에 하나의 번호판만이 존재하도록 입력된다. 다만, 카메라의 시야각이나 해상도에 따라 또는 그 응용에 따라 2~3까지의 번호판 영역도 입력 영상에 존재할 수 있으므로, 본 실시예에서는 검출된 관심 후보 영역에서 번호판 영역만을 검출하기 위해 S309 단계에서 다음과 같은 조건을 검사한다. 본 실시예에서 이러한 기능은 도 2의 스코어 할당부(121)가 수행한다.
조건 1 : 후보 관심 영역을 otsu 알고리즘을 이용해서 이진화한다. 이후, 배경 영역과 문자 영역 간의 FDR(Fisher's Discriminant Rate) 값을 계산하여 스코어(score)를 할당한다. 본 실시예에서 이 기능은 제1 스코어 할당부(121a)의 제1 할당부가 수행한다.
조건 2 : 후보 관심 영역을 otsu 알고리즘을 이용해 이진화한다. 이후, 배경 영역과 문자 영역의 중심점을 구한다. 이후, 두 중심점 간의 거리와 두 중심점이 관심 영역의 중심점과 얼마나 가까운지 계산한 후, 번호판 영역인지에 따른 스코어를 할당한다. 이 조건은 훈련된 관심 영역 내의 배경 부분의 중심점과, 문자 부분의 중심점 모두 관심 영역의 중심에 위치한다는 사실에 기반한다. 본 실시예에서 이 기능은 제1 스코어 할당부(121a)의 제2 할당부가 수행한다.
조건 3 : 후보 관심 영역을 otsu 알고리즘을 이용해 이진화한다. 이후, 배경 영역과 후보 영역의 중심점을 구한다. 이후, 각 배경 영역의 중심점과 배경 화소의 거리의 평균과 표준편차를 구하고, 문자 영역의 중심점과 문자 화소의 거리의 평균과 표준편차도 구한다. 이후, 이 값들을 미리 학습을 통해 구해진 관심 영역의 평균값들과 비교하여 스코어를 할당한다. 본 실시예에서 이 기능은 제1 스코어 할당부(121a)의 제3 할당부와 제4 할당부가 수행한다.
조건 4 : 전체 관심 영역의 명암 히스토그램을 생성한다. 이후, 히스토그램의 모양을 평가하여, 번호판 영역에 따른 스코어를 할당한다. 이때, 일반적인 번호판 영역에서의 히스토그램의 모양은 크게 두개의 피크가 일정 거리 이상 떨어진 형태로 나타난다는 사실에 기반한다. 본 실시예에서 이 기능은 제2 스코어 할당부(121b)가 수행한다.
조건 5 : 기타 번호판 영역으로 될 수 있는 다양한 특징들을 추출한다. 이후, 각 특징들을 이용해 정확도를 평가한 후, 각 정확도를 가중치로 할당한다. 이때, 가중치의 합은 0이 된다. 전체 스코어가 일정치 이상 되면, 번호판 영역으로 판정한다. 본 실시예에서 이 기능은 제3 스코어 할당부(121c)가 수행한다.
Total_Score = W1 × Score1 + W2× Score2 + W3 × Score3 + … + WN × ScoreN (단, 1.0 = W1 + W2 + W3 + … + WN)
위 조건에 의해 검증된 후보 영역은 응용에 따라 스코어가 큰 순서대로 선택된다. 일반적으로 입력 영상에 3개 이상의 번호판이 입력되지 않는다고 가정한다면 최대 3개를 선택하게 된다. 본 실시예에서 이 기능은 도 2의 영역 선택부(122)가 수행한다.
관심 영역의 검증이 끝나면 S310 단계에서와 같이 관심 영역을 중심으로 한 실제 번호판 영역을 찾는다. 이때, 기본 가정에 의해 찾아진 관심 영역이 실제 번호판 영역의 마지막 3번째 자리라고 가정할 수 있으나, 경우에 따라 문자가 포함된 처음이나 중간 부분들도 검출되곤 한다. 그러므로, ROI(Region of Interest) 영역은 이를 감안해서 관심 영역의 높이와 넓이의 비를 이용해 잘못된 위치에서 관심 영역이 할당되더라도 전체 번호판 영역이 포함될 수 있도록 할당한다. 유럽식 번호판 타입에 따른 2개의 ROI 영역의 예는 도 6에서 확인할 수 있다.
ROI 영역이 할당되면, ROI 영역 내에서 이진화를 수행한 후, 레이블링(labeling)을 거쳐 동일한 크기를 갖는 문자 영역이 순차적으로 존재하는지 확인하는 방법과 ROI 영역 내 배경 부분의 명암값을 기준으로 배경의 첨삭 및 침식 알고리즘 등을 이용해 번호판의 모든 숫자와 문자가 포함된 최소 사각형을 찾는 방법을 이용해서 최종 번호판 MBR(Minimum Bounding Rectangle)을 결정한다. 도 2에서 이러한 기능은 임시 식별자 영역 검출부(122a)와 영역 결정부(122b)가 수행한다.
S310 단계에서 찾아진 번호판 후보 영역이 없을 경우, S311 단계에서는 기 학습된 번호판의 배경과 문자의 패턴이 역전된 번호판일 가능성이 있으므로 입력 영상을 반전시켜 S308 단계 내지 S310 단계를 반복 수행한다. 도 1에서 이 기능은 영상 반전부(160)가 수행한다.
한편, 입력 영상을 반전시키더라도 찾아지지 않는 번호판이 발생할 수 있다. 그래서, S312 단계에서는 S310 단계에서 얻어진 번호판 MBR 영역과 기존의 신호 처리 방법에 통해 찾아진 번호판 MBR 영역 등을 합쳐 번호판 후보 영역을 설정한다. S312 단계는 서로 다른 특징과 분류기(classifier)를 이용해 얻어진 번호판 추출 결과를 융합하기 때문에 각 방법의 단점을 상쇄할 수 있다. 도 1에서 이 기능은 식별자 영역 생성부(170)가 수행한다.
S313 단계는 S310 단계와 S312 단계에서 얻어진 번호판 후보 영역의 가로 세로 비를 통해 번호판 타입을 결정한다. 즉, 후보 번호판 영역은 긴 한 줄의 번호판과 두 줄의 짧은 번호판 타입으로 나누어진다. 도 1에서 이 기능은 식별자 영역 타입 결정부(190)가 수행한다.
S313 단계에서 번호판 타입이 결정되면, 각 번호판 타입에 따라 인식 대상인 문자열과 숫자열을 분리하는 단계를 거치게 된다. 일반적으로 번호판 타입이 결정되면, 문자나 숫자의 위치는 거의 일정하므로 정해진 위치에서 문자나 숫자 영역을 찾게 된다. 도 2에서 이 기능은 요소 구분부(131)가 수행한다.
마지막으로, S314 단계에서는 주어진 문자나 숫자를 신경망 등을 통해 학습된 문자나 숫자 데이터와 비교하여 인식한다. 도 2에서 이 기능은 차량 식별자 인식부(132)가 수행한다.
다음으로, 차량 식별자 인식 시스템(100)의 차량 식별자 인식 방법에 대해서 설명한다. 도 7은 본 발명의 바람직한 실시예에 따른 차량 식별자 인식 방법을 도시한 순서도이다. 이하 설명은 도 7을 참조한다.
먼저, 관심 영역 검출부(110)가 훈련용 영상들에 의한 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출한다(관심 영역 검출 단계, S710). 관심 영역 검출부(110)는 입력 영상마다 2~5개의 관심 영역들을 검출할 수 있다. 관심 영역 검출부(110)는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정한다.
이후, 식별자 영역 선택부(120)가 미리 정해진 기준에 따라 검출된 관심 영역들 중에서 차량의 식별자를 포함하는 식별자 영역을 선택한다(식별자 영역 선택 단계, S720).
식별자 영역 선택 단계는 스코어 할당 단계 및 영역 선택 단계를 포함할 수 있다. 스코어 할당 단계에서는 스코어 할당부(121)가 미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당한다. 영역 선택 단계에서는 영역 선택부(122)가 할당된 스코어를 기준으로 검출된 관심 영역들 중에서 식별자 영역을 선택한다.
스코어 할당 단계에서는 제1 스코어 할당 단계, 제2 스코어 할당 단계, 및 제3 스코어 할당 단계 중 적어도 하나의 스코어 할당 단계가 수행된다. 제1 스코어 할당 단계는 데이터를 포함하는 데이터 영역과 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 단계이다. 제2 스코어 할당 단계는 검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 단계이다. 제3 스코어 할당 단계는 훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 특징에 가중치를 반영하여 스코어를 할당하는 단계이다.
한편, 제1 스코어 할당 단계에서는 제1 할당 단계 내지 제4 할당 단계 중 적어도 하나의 할당 단계가 수행된다. 제1 할당 단계는 데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 단계이다. 제2 할당 단계는 데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 제1 중심점 간 거리차 및 제3 중심점과 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 단계이다. 제3 할당 단계는 데이터 영역의 중심에 위치하는 제1 중심 화소와 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 단계이다. 제4 할당 단계는 배경 영역의 중심에 위치하는 제2 중심 화소와 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 제2 거리 평균값을 비교하여 스코어를 할당하는 단계이다.
영역 선택 단계는 임시 식별자 영역 검출 단계와 영역 결정 단계를 포함할 수 있다. 임시 식별자 영역 검출 단계에서는 임시 식별자 영역 검출부(122a)가 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출한다. 영역 결정 단계에서는 영역 결정부(122b)가 검출된 임시 식별자 영역이 미리 정해진 기준에 부합하는지 여부에 따라 식별자 영역을 결정한다.
한편, 미리 정해진 기준에 부합되는 식별자 영역이 결정되지 못하면, 영상 반전부(160)가 입력 영상을 반전시킨다(영상 반전 단계). 영상 반전 단계는 영역 결정 단계 이후 수행될 수 있다. 또한, 이후 반전된 영상에서 미리 정해진 기준에 부합되는 식별자 영역이 선택되지 못하면, 식별자 영역 생성부(170)가 임시 식별자 영역 검출부(122a)에 의해 선택된 임시 식별자 영역 및 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 식별자 영역을 생성한다(식별자 영역 생성 단계). 식별자 영역 생성 단계는 영상 반전 단계 이후 수행될 수 있다.
이후, 식별자 인식부(130)가 선택된 식별자 영역의 타입에 따라 선택된 식별자 영역을 해석하여 차량의 식별자를 인식한다(식별자 인식 단계, S730). 식별자 인식 단계는 요소 구분 단계와 차량 식별자 인식 단계를 포함할 수 있다. 요소 구분 단계에서는 요소 구분부(131)가 선택된 식별자 영역의 타입에 따라 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분한다. 요소 구분부(131)는 데이터를 문자열 요소와 숫자열 요소로 구분한다. 차량 식별자 인식 단계에서는 차량 식별자 인식부(132)가 구분된 요소들을 이용하여 차량의 식별자를 인식한다. 차량 식별자 인식부(132)는 구분된 요소 각각을 미리 저장된 요소와 비교하여 차량의 식별자를 인식한다.
본 방법에서는 관심 영역 검출 단계(S710) 이전에 훈련용 영상 분석부(180)가 차량 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들에 대한 분석을 통해 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 선행 학습 결과로 생성할 수 있다(훈련용 영상 분석 단계).
훈련용 영상 분석 단계는 공통 데이터 영역 정의 단계, 공통 데이터 영역 추출 단계, 특징적 요소 추출 단계 및 선행 학습 결과 생성 단계를 포함한다. 공통 데이터 영역 정의 단계에서는 공통 데이터 영역 정의부(181)가 차량 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 공통 데이터 영역을 정의한다. 공통 데이터 영역 추출 단계에서는 공통 데이터 영역 추출부(182)가 각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출한다. 공통 데이터 영역 추출부(182)는 각각의 훈련용 영상들마다 서로 다른 크기의 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시킨다. 특징적 요소 추출 단계에서는 특징적 요소 추출부(183)가 추출된 공통 데이터 영역으로부터 특징적 요소를 추출한다. 선행 학습 결과 생성 단계에서는 선행 학습 결과 생성부(184)가 추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 선행 학습 결과를 생성한다.
한편, 본 실시예에서는 배경 영역 처리부(185)가 각각의 훈련용 영상들마다 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며 추출된 배경 영역의 크기를 정규화시킬 수 있다(배경 영역 처리 단계). 배경 영역 처리 단계는 공통 데이터 영역 추출 단계와 특징적 요소 추출 단계 사이에 수행될 수 있다. 그러나, 본 실시예에서 반드시 이에 한정되는 것은 아니다. 배경 영역 처리 단계는 특징적 요소 추출 단계와 선행 학습 결과 생성 단계 사이에 수행되는 것도 가능하다.
한편, 본 실시예에서는 식별자 영역 타입 결정부(190)가 선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 선택된 식별자 영역의 타입을 결정할 수 있다(식별자 영역 타입 결정 단계). 식별자 영역 타입 결정 단계는 식별자 영역 선택 단계와 식별자 인식 단계 사이에 수행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 자동차 번호판을 인식하는 시스템이나 ITS(Intelligent Transport System)에 적용될 수 있다.
100 : 차량 식별자 인식 시스템 110 : 관심 영역 검출부
120 : 식별자 영역 선택부 121 : 스코어 할당부
122 : 영역 선택부 122a : 임시 식별자 영역 검출부
122b : 영역 결정부 130 : 식별자 인식부
131 : 요소 구분부 132 : 차량 식별자 인식부
140 : 전원부 150 : 주제어부
160 : 영상 반전부 170 : 식별자 영역 생성부
180 : 훈련용 영상 분석부 181 : 공통 데이터 영역 정의부
182 : 공통 데이터 영역 추출부 183 : 특징적 요소 추출부
184 : 선행 학습 결과 생성부 185 : 배경 영역 처리부
190 : 식별자 영역 타입 결정부

Claims (20)

  1. 차량의 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들에 대한 분석을 통해 상기 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 선행 학습 결과로 생성하는 훈련용 영상 분석부;
    상기 훈련용 영상들에 의한 상기 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출하는 관심 영역 검출부;
    미리 정해진 기준에 따라 검출된 관심 영역들 중에서 상기 차량의 식별자를 포함하는 식별자 영역을 선택하는 식별자 영역 선택부; 및
    선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역을 해석하여 상기 차량의 식별자를 인식하는 식별자 인식부
    를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 훈련용 영상 분석부는,
    상기 성분이 서로 다른 훈련용 영상들을 비교 분석하여 문자 또는 숫자를 포함하는 상기 공통 데이터 영역을 정의하는 공통 데이터 영역 정의부;
    각각의 훈련용 영상들마다 정의된 공통 데이터 영역을 추출하는 공통 데이터 영역 추출부;
    추출된 공통 데이터 영역으로부터 특징적 요소를 추출하는 특징적 요소 추출부; 및
    추출된 특징적 요소에 기초하여 연속된 문자열 또는 연속된 숫자열을 포함하는 상기 선행 학습 결과를 생성하는 선행 학습 결과 생성부
    를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  4. 제 3 항에 있어서,
    상기 공통 데이터 영역 추출부는 각각의 훈련용 영상들마다 서로 다른 크기의 상기 정의된 공통 데이터 영역을 추출한 뒤 추출된 공통 데이터 영역의 크기를 정규화시켜 상기 특징적 요소 추출부로 상기 추출된 공통 데이터 영역을 전송하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  5. 제 3 항에 있어서,
    상기 훈련용 영상 분석부는,
    각각의 훈련용 영상들마다 상기 추출된 공통 데이터 영역이 제외된 배경 영역을 추출하며 추출된 배경 영역의 크기를 정규화시키는 배경 영역 처리부
    를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  6. 제 1 항에 있어서,
    상기 관심 영역 검출부는 입력 영상마다 2~5개의 관심 영역들을 검출하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  7. 제 1 항에 있어서,
    상기 식별자 영역 선택부는,
    미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 스코어 할당부; 및
    할당된 스코어를 기준으로 상기 검출된 관심 영역들 중에서 상기 식별자 영역을 선택하는 영역 선택부
    를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  8. 제 7 항에 있어서,
    상기 스코어 할당부는,
    데이터를 포함하는 데이터 영역과 상기 데이터를 포함하지 않는 배경 영역 간의 관계를 고려하여 검출된 관심 영역마다 스코어를 할당하는 제1 스코어 할당부;
    검출된 관심 영역마다 명암도와 관련한 히스토그램을 생성하며, 생성된 히스토그램에서의 피크들 간 거리차에 따라 검출된 관심 영역마다 스코어를 할당하는 제2 스코어 할당부; 및
    훈련용 영상들에 의한 선행 학습을 통해 데이터 영역을 표시하는 특징마다 가중치를 부여하며, 검출된 관심 영역마다 추출된 상기 특징에 상기 가중치를 반영하여 스코어를 할당하는 제3 스코어 할당부
    중 적어도 하나의 스코어 할당부를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  9. 제 8 항에 있어서,
    상기 제1 스코어 할당부는,
    데이터 영역과 배경 영역 간 영역 구별값을 계산하여 스코어를 할당하는 제1 할당부;
    데이터 영역의 제1 중심점과 배경 영역의 제2 중심점을 각각 구하며, 데이터 영역과 배경 영역을 포함하는 관심 영역의 제3 중심점과 상기 제1 중심점 간 거리차 및 상기 제3 중심점과 상기 제2 중심점 간 거리차를 비교하여 스코어를 할당하는 제2 할당부;
    데이터 영역의 중심에 위치하는 제1 중심 화소와 상기 제1 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제1 거리 평균값을 구하며, 구해진 제1 거리 평균값과 훈련용 영상들에 의한 선행 학습을 통해 미리 정해진 제2 거리 평균값을 비교하여 스코어를 할당하는 제3 할당부; 및
    배경 영역의 중심에 위치하는 제2 중심 화소와 상기 제2 중심 화소 주변에 위치하는 적어도 하나의 주변 화소 간 제3 거리 평균값을 구하며, 구해진 제3 거리 평균값과 상기 제2 거리 평균값을 비교하여 스코어를 할당하는 제4 할당부
    중 적어도 하나의 할당부를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  10. 제 1 항에 있어서,
    상기 관심 영역 검출부는 관심 영역을 검출할 때에 미리 정해진 너비값과 높이값의 비율을 고려하여 검출할 관심 영역의 크기를 결정하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  11. 제 7 항에 있어서,
    상기 영역 선택부는,
    상기 할당된 스코어를 기초로 검출된 관심 영역마다 레이블링(labeling)을 수행하여 동일 크기의 데이터 영역이 순차적으로 존재하는지 여부에 따라 임시 식별자 영역을 검출하거나, 상기 할당된 스코어를 기초로 검출된 관심 영역마다 배경 영역의 명암값을 기초로 연속된 데이터 전부를 포함하는지 여부에 따라 임시 식별자 영역을 검출하는 임시 식별자 영역 검출부; 및
    검출된 임시 식별자 영역이 상기 기준에 부합하는지 여부에 따라 상기 식별자 영역을 결정하는 영역 결정부
    를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  12. 제 11 항에 있어서,
    상기 기준에 부합되는 식별자 영역이 결정되지 못하면, 상기 입력 영상을 반전시키는 영상 반전부
    를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  13. 제 12 항에 있어서,
    반전된 영상에서 상기 기준에 부합되는 식별자 영역이 선택되지 못하면, 상기 임시 식별자 영역 검출부에 의해 선택된 임시 식별자 영역 및 상기 입력 영상을 신호 처리하여 얻은 임시 식별자 영역을 결합하여 상기 식별자 영역을 생성하는 식별자 영역 생성부
    를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  14. 제 1 항에 있어서,
    선택된 식별자 영역의 가로값과 세로값의 비율을 고려하여 상기 선택된 식별자 영역의 타입을 결정하는 식별자 영역 타입 결정부
    를 더욱 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  15. 제 1 항에 있어서,
    상기 식별자 인식부는,
    선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 요소 구분부; 및
    구분된 요소들을 이용하여 상기 차량의 식별자를 인식하는 차량 식별자 인식부
    를 포함하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  16. 제 15 항에 있어서,
    상기 요소 구분부는 상기 데이터를 문자열 요소와 숫자열 요소로 구분하며,
    상기 차량 식별자 인식부는 구분된 요소 각각을 미리 저장된 요소와 비교하여 상기 차량의 식별자를 인식하는 것을 특징으로 하는 차량 식별자 인식 시스템.
  17. 차량의 식별자의 내용, 위치 및 크기 중 적어도 하나의 성분이 서로 다른 훈련용 영상들에 대한 분석을 통해 상기 훈련용 영상들 간 공통 데이터를 포함하는 공통 데이터 영역을 선행 학습 결과로 생성하는 훈련용 영상 분석 단계;
    상기 훈련용 영상들에 의한 상기 선행 학습 결과를 기초로 입력 영상에서 관심 영역들을 검출하는 관심 영역 검출 단계;
    미리 정해진 기준에 따라 검출된 관심 영역들 중에서 상기 차량의 식별자를 포함하는 식별자 영역을 선택하는 식별자 영역 선택 단계; 및
    선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역을 해석하여 상기 차량의 식별자를 인식하는 식별자 인식 단계
    를 포함하는 것을 특징으로 하는 차량 식별자 인식 방법.
  18. 삭제
  19. 제 17 항에 있어서,
    상기 식별자 영역 선택 단계는,
    미리 정해진 기준에 따라 검출된 관심 영역마다 스코어(score)를 할당하는 스코어 할당 단계; 및
    할당된 스코어를 기준으로 상기 검출된 관심 영역들 중에서 상기 식별자 영역을 선택하는 영역 선택 단계
    를 포함하는 것을 특징으로 하는 차량 식별자 인식 방법.
  20. 제 17 항에 있어서,
    상기 식별자 인식 단계는,
    선택된 식별자 영역의 타입에 따라 상기 선택된 식별자 영역에 위치하는 데이터를 적어도 두 종류의 요소들로 구분하는 요소 구분 단계; 및
    구분된 요소들을 이용하여 상기 차량의 식별자를 인식하는 차량 식별자 인식 단계
    를 포함하는 것을 특징으로 하는 차량 식별자 인식 방법.
KR20100122186A 2010-09-02 2010-12-02 차량 식별자 인식 시스템 및 그 방법 KR101484043B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/224,178 US8548201B2 (en) 2010-09-02 2011-09-01 Apparatus and method for recognizing identifier of vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100086215 2010-09-02
KR20100086215 2010-09-02

Publications (2)

Publication Number Publication Date
KR20120023485A KR20120023485A (ko) 2012-03-13
KR101484043B1 true KR101484043B1 (ko) 2015-01-19

Family

ID=46130964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20100122186A KR101484043B1 (ko) 2010-09-02 2010-12-02 차량 식별자 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101484043B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101580630B1 (ko) * 2015-01-29 2016-01-04 주식회사 다인 타이어 인식 방법 및 장치
KR102234936B1 (ko) * 2019-03-26 2021-04-01 (주)아이에스인텍 차량 번호판을 실시간으로 인식하는 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070109712A (ko) * 2006-05-12 2007-11-15 주식회사 라이크텍 차량 번호 인식을 이용한 주차관리시스템 및 그 방법
JP2008108063A (ja) * 2006-10-25 2008-05-08 Hitachi Ltd 車両認識装置
KR20080098850A (ko) * 2007-05-07 2008-11-12 삼성테크윈 주식회사 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정장치
US7734097B1 (en) * 2006-08-01 2010-06-08 Mitsubishi Electric Research Laboratories, Inc. Detecting objects in images with covariance matrices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070109712A (ko) * 2006-05-12 2007-11-15 주식회사 라이크텍 차량 번호 인식을 이용한 주차관리시스템 및 그 방법
US7734097B1 (en) * 2006-08-01 2010-06-08 Mitsubishi Electric Research Laboratories, Inc. Detecting objects in images with covariance matrices
JP2008108063A (ja) * 2006-10-25 2008-05-08 Hitachi Ltd 車両認識装置
KR20080098850A (ko) * 2007-05-07 2008-11-12 삼성테크윈 주식회사 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정장치

Also Published As

Publication number Publication date
KR20120023485A (ko) 2012-03-13

Similar Documents

Publication Publication Date Title
US8548201B2 (en) Apparatus and method for recognizing identifier of vehicle
Ellahyani et al. Traffic sign detection and recognition based on random forests
CN108171136B (zh) 一种多任务卡口车辆以图搜图的系统及方法
CN112115818B (zh) 口罩佩戴识别方法
KR102592076B1 (ko) 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
CN101925905B (zh) 根据特征图像流程识别和验证未知文档
US5917941A (en) Character segmentation technique with integrated word search for handwriting recognition
Minetto et al. Snoopertext: A multiresolution system for text detection in complex visual scenes
Serna et al. Traffic signs detection and classification for European urban environments
US20070019842A1 (en) Method for identifying a person from a detected eye image
US20100189316A1 (en) Systems and methods for graph-based pattern recognition technology applied to the automated identification of fingerprints
JP2007206833A (ja) 生体照合方法および生体照合装置
CN106203539B (zh) 识别集装箱箱号的方法和装置
JP2011018338A5 (ko)
CN107194393B (zh) 一种检测临时车牌的方法及装置
Yu et al. Scene text localization using edge analysis and feature pool
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN110826408B (zh) 一种分区域特征提取人脸识别方法
CN107590500A (zh) 一种基于色彩投影分类的车牌颜色识别方法及装置
CN113449725A (zh) 对象分类方法、装置、设备及存储介质
KR101484043B1 (ko) 차량 식별자 인식 시스템 및 그 방법
Bhatt et al. A framework for quality-based biometric classifier selection
Nguyen et al. Robust car license plate localization using a novel texture descriptor
TWI603268B (zh) 車牌辨識之影像處理系統及方法
Satti et al. R‐ICTS: Recognize the Indian cautionary traffic signs in real‐time using an optimized adaptive boosting cascade classifier and a convolutional neural network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee