KR101545809B1 - 차량 번호판 이중 검출 방법 및 장치 - Google Patents

차량 번호판 이중 검출 방법 및 장치 Download PDF

Info

Publication number
KR101545809B1
KR101545809B1 KR1020140014249A KR20140014249A KR101545809B1 KR 101545809 B1 KR101545809 B1 KR 101545809B1 KR 1020140014249 A KR1020140014249 A KR 1020140014249A KR 20140014249 A KR20140014249 A KR 20140014249A KR 101545809 B1 KR101545809 B1 KR 101545809B1
Authority
KR
South Korea
Prior art keywords
image
license plate
detection
vehicle
detecting
Prior art date
Application number
KR1020140014249A
Other languages
English (en)
Other versions
KR20150093453A (ko
Inventor
박동선
장대석
홍창표
이동석
Original Assignee
전북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단 filed Critical 전북대학교산학협력단
Priority to KR1020140014249A priority Critical patent/KR101545809B1/ko
Publication of KR20150093453A publication Critical patent/KR20150093453A/ko
Application granted granted Critical
Publication of KR101545809B1 publication Critical patent/KR101545809B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량 번호판 이중 검출 방법 및 장치에 관한 것으로,
상기 방법은 캐스케이드 아다부스트 알고리즘을 통해 차량 영상을 분석하여, 상기 차량 영상에 포함된 번호판 영상을 검출하는 단계; 상기 번호판 영상에 대한 연결 요소 분석을 실시하여 번호판 검출 성공 여부를 확인하는 단계; 상기 번호판 영상의 검출이 성공하였으면, 상기 번호판을 출력하는 단계; 및 상기 번호판 영상의 검출이 실패하였으면, 휴리스틱 에너지 맵을 이용하여 상기 차량 영상에 포함된 번호판 영상을 재검출하는 단계를 포함하는 차량 번호판 이중 검출 방법을 제공한다. 이와 같이, 본 발명에서는 두 개의 번호판 검출 방법을 이용하여 번호판 검출 동작을 이중화함으로써, 보다 향상된 검출 성능을 확보할 수 있도록 한다.

Description

차량 번호판 이중 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTION LICENSE PLATE}
본 발명은 차량 번호판 검출 기술에 관한 것으로, 검출 성능을 보다 향상시킬 수 있도록 하는 차량 번호판 이중 검출 방법 및 장치에 관한 것이다.
번호판 인식 시스템은 차량 관제 및 과속 단속, 주차장 관리 등의 광범위한 수요에 힘입어 꾸준한 기술의 발전이 있었다.
번호판 인식 과정은 크게 번호판 검출, 번호판 문자 분리, 번호판 문자 인식의 세 단계로 나뉠 수 있는 데, 이 중 번호판 검출 단계는 그 후속의 단계까지 영향을 미치기 때문에 매우 중요한 단계이다.
이에 종래에서는 색상을 이용한 방법, SVM(support vector machine) 및 인공신경망, 유사-하르 특징을 이용한 AdaBoost(Adaptive Boost) 등의 기계 학습 방법, 모폴로지 연산 또는 에지 검출을 이용한 방법, 번호판 내부의 문자 및 숫자 배치 규칙을 이용한 방법, 수직 및 수평 투영을 이용한 방법 등의 여러 가지 방법을 다양하게 조합하여 번호판을 검출해왔다.
그러나 종래의 번호판 검출 과정은 대부분 단일 과정에 그칠 뿐이여서, 검출이 실패한 번호판에 대한 대책은 전혀 없는 실정이다. 그리고 단일 과정을 통해 번호판 검출 동작이 수행됨에 따라, 번호판 검출에 사용된 알고리즘에 의해 번호판 검출율이 한정되는 단점도 있다.
상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명에서는 두 개의 번호판 검출 방법을 이용하여 번호판 검출 동작을 이중화함으로써, 보다 향상된 검출 성능을 확보할 수 있도록 하는 차량 번호판 이중 검출 방법 및 장치를 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 캐스케이드 아다부스트 알고리즘을 통해 차량 영상을 분석하여, 상기 차량 영상에 포함된 번호판 영상을 검출하는 단계; 상기 번호판 영상에 대한 연결 요소 분석을 실시하여 번호판 검출 성공 여부를 확인하는 단계; 상기 번호판 영상의 검출이 성공하였으면, 상기 번호판을 출력하는 단계; 및 상기 번호판 영상의 검출이 실패하였으면, 휴리스틱 에너지 맵을 이용하여 상기 차량 영상에 포함된 번호판 영상을 재검출하는 단계를 포함하는 차량 번호판 이중 검출 방법을 제공한다.
상기 번호판 영상을 검출하는 단계는 상기 차량 영상에 대한 영상 전처리 작업을 수행하는 단계; 상기 영상 전처리된 차량 영상에 상기 캐스케이드 아다부스트 알고리즘을 적용하여 번호판 영역을 파악하는 단계; 및 상기 번호판 영역의 위치를 기반으로 상기 차량 영상에서 번호판 영상을 검출하는 단계를 포함하는 것을 특징으로 한다.
상기 영상 전처리 작업을 수행하는 단계는 상기 차량 영상에 대해 그레이스케일로의 영상 변환 동작, 가우시안 필터링 동작, 에지 검출 동작을 순차적 수행하는 것을 특징으로 한다.
상기 번호판 영상을 검출하는 단계는 다수의 번호판 영상과 배경 영상을 이용하여 유사-하르 특징을 추출하고, 유사-하르 특징을 기반으로 상기 캐스케이드 아다부스트 알고리즘을 훈련하는 단계를 더 포함하는 것을 특징으로 한다.
상기 번호판 검출 성공 여부를 확인하는 단계는 블랍 레이블링을 통해 상기 번호판 영상에 포함된 문자 및 숫자 개수를 파악하는 단계; 및 상기 문자 및 숫자 개수가 기 설정된 숫자 범위에 속하는 경우에 한해, 번호판 영상의 검출이 성공하였다고 판단하는 단계를 포함하는 것을 특징으로 한다.
상기 번호판 영상을 재검출하는 단계는 상기 차량 영상에서 번호판 영상이 존재할 확률이 기 설정된 값 이상인 관심 영상을 추출하는 단계; 상기 관심 영상에 대한 영상 전처리 동작을 수행하는 단계; 박스-필터를 이용하여 상기 영상 전처리된 관심 영상에 대한 에너집 맵을 계산하는 단계; 상기 에너지 맵을 기반으로 큰 에너지를 갖는 영역을 검색하는 단계; 상기 큰 에너지를 갖는 영역의 중앙점을 찾고, 상기 중앙점을 기준으로 번호판 영역을 특정하는 단계; 및 상기 번호판 영역의 위치를 기반으로 상기 관심 영상에서 번호판 영상을 검출하는 단계를 포함하는 것을 특징으로 한다.
상기 관심 영상을 추출하는 단계는 상기 차량 영상에 대해 그레이스케일로의 영상 변환 동작, 에지 검출 동작, 및 모폴로지 열림 연산을 순차적으로 수행하는 단계; 및 상기 차량 영상에 대한 수직 및 수평 투영 히스토그램을 작성하고, 상기 수직 및 수평 투영 히스토그램을 기반으로 관심 영상을 추출하는 단계를 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 캐스케이드 아다부스트 알고리즘을 통해 차량 영상을 분석하여, 상기 차량 영상에 포함된 번호판 영상을 검출하는 제1 번호판 검출부; 휴리스틱 에너지 맵을 이용하여 상기 차량 영상에 포함된 번호판 영상을 검출하는 제2 번호판 검출부; 및 상기 제1 번호판 검출부를 통해 번호판 영상을 검출하되, 번호판 영상 검출이 실패한 경우에는 상기 제2 번호판 검출부를 통해 번호판 영상을 재검출하는 제어부를 포함하는 차량 번호판 이중 검출 장치를 제공한다.
본 발명에서는 상대적으로 간단히 구현이 가능하며 작은 기억 장치 용량을 가지는 두 개의 번호판 검출 방법을 통해 번호판 검출 동작을 이중화 함으로써, 보다 향상된 검출 성능을 확보할 수 있도록 한다. 또한 상대적으로 간단히 구현이 가능하며 작은 기억 장치 용량을 가지는 두 개의 번호판 검출 방법을 이용하므로, 구현 비용은 감소될 수 있도록 한다.
도1은 본 발명의 일 실시예에 따른 차량 번호판 이중 검출 방법을 도시한 도면이다.
도2 내지 도4는 본 발명의 일 실시예에 따른 Adaboost을 이용한 번호판 검출 단계를 보다 상세히 설명하기 위한 도면이다.
도2는 본 발명의 일 실시예에 따른 Adaboost을 이용한 번호판 검출 단계를 설명하기 위한 동작 흐름도이다.
도3은 본 발명의 일 실시예에 따른 Adaboost을 이용한 번호판 검출 단계의 세부 단계별 영상 처리 결과를 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 Adaboost을 이용한 번호판 검출 단계에 이용되는 에지 연산자를 도시한 도면이다.
도5는 본 발명의 일 실시예에 따른 Adaboost 훈련 단계를 보다 상세히 설명하기 위한 동작 흐름도이다.
도6은 본 발명의 일 실시예에 따른 Adaboost 훈련 결과에 의해 생성된 XML 파일을 도시한 도면이다.
도7은 본 발명의 일 실시예에 따른 번호판 검출 성공 확인 단계를 보다 상세히 설명하기 위한 동작 흐름도이다.
도8은 본 발명의 일 실시예에 따른 번호판 검출 성공 확인 단계의 문자 및 숫자 검출 결과를 도시한 도면이다.
도9는 본 발명의 일 실시예에 따른 번호판 재검출 단계를 보다 상세히 설명하기 위한 동작 흐름도이다.
도10은 본 발명의 일 실시예에 따른 번호판 재검출 단계의 관심 영역 검출 단계를 보다 상세히 설명하기 위한 도면이다.
도11은 본 발명의 일 실시예에 따른 번호판 재검출 단계의 관심 영역 검출 단계에 이용되는 에지 연산자를 도시한 도면이다.
도12는 본 발명의 일 실시예에 따른 번호판 재검출 단계의 관심 영역 검출 단계에 이용되는 구조 요소들을 도시한 도면이다.
도13은 본 발명의 일 실시예에 따른 번호판 재검출 단계의 에너지 맵을 이용한 번호판 검출 단계를 보다 상세히 설명하기 위한 도면이다.
도14은 본 발명의 일 실시예에 따른 번호판 재검출 단계의 에너지 맵을 이용한 번호판 검출 단계의 필터링 방법을 설명하기 위한 도면이다.
도15는 본 발명의 일 실시예에 따른 차량 번호판 이중 장치를 도시한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도1은 본 발명의 일 실시예에 따른 차량 번호판 이중 검출 방법을 도시한 도면이다.
도1을 참고하면, 본 발명의 차량 번호판 이중 검출 방법은 캐스케이드 아다부스트(cascade Adaboost) 알고리즘을 이용한 번호판 검출 단계(S10), CCA(Connected Component Analysis)를 이용한 번호판 검출 성공 확인 단계(S20), 및 휴리스틱 에너지 맵(Heuristic Energy Map)을 이용한 번호판 재검출 단계(S30) 등을 포함하여 구성될 수 있다.
즉, 본 발명에서는 캐스케이드 아다부스트 방법을 먼저 수행하고, 미 검출된 번호판 영상을 대상으로 휴리스틱 에너지 맵을 이용한 번호판 검출 동작을 재수행하는 이중화 방식 도입함으로써, 번호판 검출의 성공률을 높일 수 있다.
또한, 본 발명에서는 CCA를 이용하여 간단한 오탐(False Positive) 필터를 구성하고, 이를 통해 캐스케이드 아다부스트 이용해 검출된 번호판 영상이 실제 번호판 영상인지 아닌지 분별하도록 한다.
종래에는 번호판 검출 결과에 대한 오탐 처리를 수행하지 않았으나, 본 발명에서는 휴리스틱 에너지 맵을 이용한 번호판 검출 동작의 재수행 여부를 확인하기 위해 번호판 검출 동작의 성공 여부를 확인하도록 한다.
CCA는 번호판에 대한 사전 문자 정보를 바탕으로, 블랍 레이블링(blob labeling)을 통하여 문자 및 숫자를 검출하고 이것의 개수를 세어 일정 개수 범위 안에 들면 이를 번호판으로 판단하고 그렇지 않으면 번호판이 아니라고 판단하는 방법이다. 이는 구현이 복잡하며 많은 계산량과 서포트 벡터들을 저장하기 위하여 많은 기억 장치 용량을 필요로 하는 SVM에 비해, 구현이 간단하며 기억 장치 용량을 그다지 요구하지 않는 장점이 있다.
도2 내지 도4는 본 발명의 일 실시예에 따른 Adaboost을 이용한 번호판 검출 단계를 보다 상세히 설명하기 위한 도면으로, 도2는 번호판 검출 단계의 동작 흐름도를, 도3은 번호판 검출 단계에 의한 영상 처리 결과를, 도4는 번호판 검출 단계에 이용되는 에지 연산자를 각각 나타낸다.
먼저, 단계 S11에서는 Adaboost 알고리즘을 이용한 번호판 검출 동작의 사전 작업으로, 다수의 번호판 영상들과 배경 영상들을 이용하여 유사-하르 특징을 추출하고, 이들 특징을 통해 Adaboost 알고리즘을 훈련시킨다.
단계 S12에서는 차량 영상을 입력받고, 단계 S13에서는 차량 영상의 크기를 기 설정된 크기로 영상 크기를 줄여준다. 이는 영상 처리 시간을 최소화하기 위함으로, 예를 들어 1280x720mm의 영상 크기를 320x180mm로 줄여줄 수 있다.
단계 S14에서는 차량 영상에 대한 영상 전처리 동작을 수행한다. 더욱 차량 영상의 트루 컬러를 그레이 스케일로 변환하고, 가우시안 필터를 이용하여 영상 필터링한 후, 도4과 같이 구현되는 소벨 수직 에지 연산자(Sobel vertical edge operator)를 이용하여 에지 검출 동작을 순차적으로 수행하도록 한다.
단계 S15에서는, 단계 S11을 통해 획득된 에지 영상에 훈련된 Adaboost 알고리즘을 적용하여 번호판 영역을 파악한다.
단계 S16에서는, 번호판 영역의 위치 정보를 기반으로 차량 영상에서 번호판 영상을 검출한다.
도5 및 도6은 본 발명의 일 실시예에 따른 Adaboost 훈련 단계를 보다 상세히 설명하기 위한 도면이다.
도5에 도시된 바와 같이, 본 발명의 Adaboost 훈련을 위해서는 번호판 영상의 양성(positive) 샘플 영상과 배경 영상의 음성(negative) 샘플 영상이라는 두 종류의 샘플 영상을 필요로 한다.
단계 S111에서는 다수의 번호판 영상을 양성의 샘플로 입력받고, 이와 동시에 단계 S112에서는 배경 영상을 음성의 샘플로 입력받는다(S111, S112).
단계 S113에서는 다수의 번호판 영상에 대해서는 영상 크기 규격화 동작을 수행한다. 국내 번호판의 경우 (520mm x 110mm), (440mm x 200mm), (335mm x 170mm)로 번호판 크기가 다양하나, Adaboost 훈련을 위한 영상 크기는 모두 동일해야 특징이 있다. 이에 본 발명에서는 다양한 크기의 번호판 영상을 동일 크기로 규격화시켜 주도록 한다. 이때, 영상 크기는 바운더리 패딩(boundary padding) 처리 또는 영상 확대되는 방식으로 조정될 수 있다.
단계 S114에서는 양성의 샘플과 음성의 샘플에 대한 영상 전처리 동작을 수행한다(S114). 즉, 양성의 샘플과 음성의 샘플 각각을 컬러 영상에서 그레이 스케일 영상으로 변환하고, 가우시안 필터를 통해 영상 필터링한 후, 앞서 설명된 소벨 수직 에지 연산자(Sobel vertical edge operator)를 이용하여 에지 검출하도록 한다.
단계 S115에서는 양성의 샘플과 음성의 샘플의 에지 검출 결과로부터 유사-하르 특징을 추출한다.
단계 S116에서는 유사-하르 특징을 기반으로 아다부스트 알고리즘을 훈련시킨다. 아다부스트 알고리즘은 단순한 가설에 근거한 약한 분류기를 선형 결합하여 강한 분류기를 생성하는 방법이다. 이에 본 발명에서는 유사-하르 특징을 기반으로 다수의 약한 분류기를 생성하고, 이들을 캐스캐이드 구조로 연결한 후, 양성의 샘플과 음성의 샘플을 이용한 훈련 과정을 통해 약한 분류기 각각의 대응되는 가중치를 조절함으로써, 강한 분류기를 생성한다. 즉, 약한 분류기를 이용하여 샘플들을 인식하고, 정확히 인식된 샘플에 대해 가중치를 감소시키고, 오인식된 샘플에 대해서는 가중치를 증가시켜 다음 약한 분류기에 반영시켜, 최종적으로 강한 분류기를 생성하도록 한다.
단계 S117에서는 아다부스트 알고리즘의 훈련 결과를 반영하는 검출기 캐스케이드 구조를 생성 및 출력한다. 이때, 검출기 캐스케이드 구조는 도6과 같이 XML 파일 형태로 출력될 수 있으며, XML 파일은 특징을 가지는 강한 분류기를 포함한다.
도7 및 도8은 본 발명의 일 실시예에 따른 번호판 검출 성공 확인 단계를 보다 상세히 설명하기 위한 도면으로, 도7은 동작 흐름도를, 도8은 문자 및 숫자 검출 결과를 도시한 도면이다.
Adaboost 알고리즘을 이용한 번호판 검출 결과에 거짓 값이 포함될 수 있다. 이에 본 발명에서는 연결 요소 분석(Connected Component Analysis, 이하 CCA)을 실시하여 번호판 검출 성공 여부를 확인하도록 한다.
단계 S21에서는, 사전에 설정된 문자 정보를 바탕으로 번호판 영상에 대한 블랍 레이블링(blob labeling)을 수행하여, 도8에서와 같이 번호판 영상에 포함된 문자 및 숫자를 검출한다.
단계 S22에서는, 단계 S21을 통해 검출된 문자 및 숫자 개수가 기 설정된 범위(예를 들어, 6이상 10 이하)에 속하는지 확인한다.
만약, 단계 S21를 통해 검출된 문자 및 숫자 개수가 기 설정된 범위에 속하면, 단계 S23을 통해 번호판 검출 성공을 확인 및 통보하고, 그렇지 않으면 단계 S24를 통해 번호판 검출 실패를 확인 및 통보하도록 한다.
도9 내지 도13은 본 발명의 일 실시예에 따른 번호판 재검출 단계를 보다 상세히 설명하기 위한 도면이다.
본 발명의 휴리스틱 에너지 맵을 이용한 번호판 검출 방법은 에너지라는 개념을 이용한 번호판 검출 방법이다. 모든 에지나 컴포넌트들은 고유한 에너지를 가지며, 특히 번호판 영역은 에지를 많이 포함하므로, 다른 영역에 비해 큰 에너지 갖는 특징이 있다. 이에 본 발명에서는 번호판 영역이 큰 에너지를 가진다는 특징을 활용하여, 효과적으로 번호판을 검출할 수 있도록 한다.
도9을 참고하면, 본 발명의 번호판 재검출 단계는 크게 관심 영역 검출 단계(S31)와 에너지 맵을 이용한 번호판 검출 단계(S32)를 포함하여 구성된다.
이하, 도10을 참고하여 단계 S31의 관심 영역 검출 단계에 대해 보다 상세히 설명하면 다음과 같다.
단계 S311에서는 차량 영상의 불필요 부분을 잘라내어 차량 영상 크기를 조정함으로써, 영상 처리량이 최소화되도록 한다.
차량 단속 카메라 대부분은 일정 장소에 고정 위치되며, 차량이 기 설정된 지점에 위치되는 순간에 차량 영상을 획득하도록 하는 방식을 취하므로, 단속 카메라에 의해 획득된 차량 영상내 번호판 위치는 어느 정도 일정한 특징이 있다. 이에 본 발명에서는 카메라의 위치와 카메라 촬영 오차 등을 감안하여 모든 차량 영상에 대해 공통적으로 번호판이 존재할 가능성이 없는 영역을 파악하고, 해당 영역의 이미지를 도10에서와 같이 잘라내도록 한다.
단계 S312에서는 차량 영상에 대한 영상 전처리 작업을 수행한다. 즉, 차량 영상의 칼라 영상을 그레이 스케일로 변환하고, 도11와 같은 컨볼루션 마스크(Sx, Sy)를 이용하여 차량 영상에 대한 컨볼루션 연산한 후, 이하의 수학식1을 이용하여 픽셀 각각의 그래디언트 크기(M)를 구하고, 그래디언트 크기(M)가 기 설정된 임계치 이상인 경우에 한해 현재 픽셀을 에지 픽셀로 검출하도록 한다.
Figure 112014012330839-pat00001
그리고 모폴로지 열림(opening) 연산을 통하여 에지 영상에 포함된 작은 에지나 성분(components)들을 제거한다.
모폴로지 열림 연산은 침식(erosion) 연산 이후에 팽창(dilation) 연산을 하는 것으로, 이하의 수학식2과 같이 정의될 수 있다.
Figure 112014012330839-pat00002
이때, A는 에지 영상, B는 구조 요소이다.
구조 요소(structuring elements)는 도12에 도시된 바와 같이 다양한 모양을 가질 수 있으며, 특정한 구조나 영상의 모양을 판단할 수 있는 특징을 가진다. 이에 영상에 따라 적절한 크기와 모양의 구조 요소가 선택되어진다.
단계 S313에서는 단계 S312의 영상 전처리 작업을 통해 획득된 에지 영상에 대한 수직 및 수평 투영 히스토그램을 작성하고, 수직 및 수평 투영 히스토그램을 기반으로 번호판 영상이 존재할 확률이 기 설정된 값 이상인 관심 영상을 추출한다.
에지 영상내 작은 에지 성분들이 이미 제거되었음에도 큰 에지들은 여전히 남아있다. 그러나 이들은 번호판을 포함하지 않기 때문에 수직 및 수평 투영 히스토그램을 작성한 다음 값이 일정 임계치(예를 들어, T=300)를 넘는 경우 히스토그램 상에서 0으로 만든다.
그리고 히스토그램의 밀도 변화를 기반으로 4개의 점(R1,R2,R3,R4)을 특정하고, 이들 4개의 점(R1,R2,R3,R4)을 참고하여 번호판 영상이 포함된 관심 영상을 추출한다.
계속하여 도13을 참고하여 단계 S32의 에너지 맵을 이용한 번호판 검출 단계에 대해 보다 상세히 설명하면 다음과 같다.
단계 S321에서는, 단계 S314를 통해 추출된 관심 이미지에 대해 영상 전처리 작업을 수행한다. 즉, 그레이 스케일로의 변환 동작, 에지 검출 동작, 모폴로지 연산 동작을 순차적으로 수행하도록 한다. 다만, 번호판 영역은 수직 방향의 에지를 많이 포함하므로, 앞서 설명된 수직 방향 소벨 에지의 컨볼루션 마스크(Sy)를 이용하도록 한다.
단계 S322에서는, 박스-필터(Box-filter)를 이용하여 관심 이미지에 대한 에너지 맵(energy map)을 계산한다. 박스-필터는 관심 영역내 에지들을 흐리게 만드는 역할을 하며, 이의 커널 K는 이하의 수학식 3과 같이 정의된다.
Figure 112014012330839-pat00003
이때, ksize는 커널 행렬의 크기를 뜻하고, normalize는 커널의 정규화 여부를 판단하는 기준이다. 위 커널을 이용하여 연산을 수행한 결과는 아래 그림 15와 같다.
단계 S323에서는, 큰 에너지를 갖는 영역을 찾는다. 본 발명에서는 큰 에너지 영역을 찾기 위해서 임계치에 의한 필터링 방법을 이용한다. 그 과정은 도14에 표시된 바와 같이 의사 코드(pseudo code)로 표현될 수 있다.
단계 S324에서는 큰 에너지를 갖는 영역의 중앙점을 찾고, 중앙점을 기준으로 번호판 영역을 특정한다. 더욱 상세하게는, 큰 에너지를 갖는 영역에 대해 중앙점을 찾은 다음, 취득된 차량 영상들로부터 측정된 번호판 크기를 바탕으로 중앙점 주변 영역을 번호판 영역으로 특정하도록 한다.
단계 S325에서는, 단계 S324를 통해 특정된 번호판 영역의 위치 정보를 기반으로 관심 이미지에서 번호판 영상을 검출한다.
더하여, 필요한 경우 본 발명은 에너지 맵을 이용한 번호판 검출 결과에 대해서도, 앞서 설명한 CCA를 이용한 번호판 검출 성공 확인 단계를 수행할 수 있을 것이다.
도15는 본 발명의 일 실시예에 따른 차량 번호판 이중 장치를 도시한 도면이다.
도15에 도시된 바와 같이, 본 발명의 차량 번호판 이중 장치는 캐스케이드 아다부스트 알고리즘을 이용하여 차량 영상에 포함된 번호판 영상을 검출하는 제1 번호판 검출부(11), 휴리스틱 에너지 맵을 이용하여 차량 영상에 포함된 번호판 영상을 검출하는 제2 번호판 검출부(12), 차량 영상이 입력되면 제1 번호판 검출부(11)을 통해 번호판 영상을 검출하되, 번호판 영상 검출이 실패한 경우에 한해 제2 번호판 검출부(12)를 통해 번호판 영상을 재검출하는 제어부(13), 제1 번호판 검출부(11) 또는 제2 번호판 검출부(12)를 통해 검출된 번호판 영상을 저장하는 DB(DataBase) 등을 포함하여 구성될 수 있다.
상기의 제어부(13)는 제1 번호판 검출부(11)의 검출 결과에 대해 연결 요소 분석을 수행하여 번호판 영상 검출 성공 여부를 확인할 수 있다. 그리고 필요한 경우, 제2 번호판 검출부(12)의 검출 결과에 대해서도 연결 요소 분석을 수행하여 번호판 영상 검출 성공 여부를 확인할 수 있다.
더하여, 제1 번호판 검출부(11)와 제2 번호판 검출부(12) 모두가 번호판 검출에 실패한 경우, 이를 사용자에게 통보하거나, 차량 이미지 그대로를 저장하거나, 차량 이미지에 제1 번호판 검출부(11)와 제2 번호판 검출부(12)의 검출 결과를 매핑하여 저장하는 등의 여러 가지 후속 동작을 수행할 수 있을 것이다. 즉, 번호판 검출 동작이 차후에 추가적으로 수행될 수 있도록 해준다.
또한, 본 발명에서는 캐스케이드 아다부스트 알고리즘과 휴리스틱 에너지 맵을 이용하여 번호판을 이중 검출하는 경우에 한하여 설명하였지만, 실제의 적용예에서는 번호판 검출 가능한 두 개의 알고리즘을 선택적으로 적용하여 번호판 이중 검출 동작을 수행할 수도 있도록 한다.
이상에서 전술한 바와 같은 이를 구현하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.
본 발명의 각 실시예에 따른 차량 번호판 이중 검출 방법 및 장치를 구동시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC뿐 만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

  1. 캐스케이드 아다부스트 알고리즘을 통해 차량 영상을 분석하여, 상기 차량 영상에 포함된 번호판 영상을 검출하는 단계;
    상기 번호판 영상에 대한 연결 요소 분석을 실시하여 번호판 검출 성공 여부를 확인하는 단계;
    상기 번호판 영상의 검출이 성공하였으면, 상기 번호판을 출력하는 단계; 및
    상기 번호판 영상의 검출이 실패하였으면, 휴리스틱 에너지 맵을 이용하여 상기 차량 영상에 포함된 번호판 영상을 재검출하는 단계를 포함하며,
    상기 번호판 영상을 재검출하는 단계는
    상기 차량 영상에서 번호판 영상이 존재할 확률이 기 설정된 값 이상인 관심 영상을 추출하는 단계;
    상기 관심 영상에 대한 영상 전처리 동작을 수행하는 단계;
    박스-필터(Box-filter)를 이용하여 상기 영상 전처리된 관심 영상에 대한 에너집 맵을 계산하는 단계;
    상기 에너지 맵을 기반으로 큰 에너지를 갖는 영역을 검색하는 단계;
    상기 큰 에너지를 갖는 영역의 중앙점을 찾고, 상기 중앙점을 기준으로 번호판 영역을 특정하는 단계; 및
    상기 번호판 영역의 위치를 기반으로 상기 관심 영상에서 번호판 영상을 검출하는 단계를 포함하는 것을 특징으로 하는 차량 번호판 이중 검출 방법.
  2. 제1항에 있어서, 상기 번호판 영상을 검출하는 단계는
    상기 차량 영상에 대한 영상 전처리 작업을 수행하는 단계;
    상기 영상 전처리된 차량 영상에 상기 캐스케이드 아다부스트 알고리즘을 적용하여 번호판 영역을 파악하는 단계; 및
    상기 번호판 영역의 위치를 기반으로 상기 차량 영상에서 번호판 영상을 검출하는 단계를 포함하는 것을 특징으로 하는 차량 번호판 이중 검출 방법.
  3. 제2항에 있어서, 상기 영상 전처리 작업을 수행하는 단계는
    상기 차량 영상에 대해 그레이스케일로의 영상 변환 동작, 가우시안 필터링 동작, 에지 검출 동작을 순차적 수행하는 것을 특징으로 하는 차량 번호판 이중 검출 방법.
  4. 제1항에 있어서, 상기 번호판 영상을 검출하는 단계는
    다수의 번호판 영상과 배경 영상을 이용하여 유사-하르 특징을 추출하고, 유사-하르 특징을 기반으로 상기 캐스케이드 아다부스트 알고리즘을 훈련하는 단계를 더 포함하는 것을 특징으로 하는 차량 번호판 이중 검출 방법.
  5. 제1항에 있어서, 상기 번호판 검출 성공 여부를 확인하는 단계는
    블랍 레이블링을 통해 상기 번호판 영상에 포함된 문자 및 숫자 개수를 파악하는 단계; 및
    상기 문자 및 숫자 개수가 기 설정된 숫자 범위에 속하는 경우에 한해, 번호판 영상의 검출이 성공하였다고 판단하는 단계를 포함하는 것을 특징으로 하는 차량 번호판 이중 검출 방법.
  6. 삭제
  7. 제1항에 있어서, 상기 관심 영상을 추출하는 단계는
    상기 차량 영상에 대해 그레이스케일로의 영상 변환 동작, 에지 검출 동작, 및 모폴로지 열림 연산을 순차적으로 수행하는 단계; 및
    상기 차량 영상에 대한 수직 및 수평 투영 히스토그램을 작성하고, 상기 수직 및 수평 투영 히스토그램을 기반으로 관심 영상을 추출하는 단계를 포함하는 것을 특징으로 하는 차량 번호판 이중 검출 방법.
  8. 제1항 내지 제5항, 및 제7항 중 어느 한 항에 기재된 차량 번호판 이중 검출 방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  9. 캐스케이드 아다부스트 알고리즘을 통해 차량 영상을 분석하여, 상기 차량 영상에 포함된 번호판 영상을 검출하는 제1 번호판 검출부;
    휴리스틱 에너지 맵을 이용하여 상기 차량 영상에 포함된 번호판 영상을 검출하는 제2 번호판 검출부; 및
    상기 제1 번호판 검출부를 통해 번호판 영상을 검출하되, 번호판 영상 검출이 실패한 경우에는 상기 제2 번호판 검출부를 통해 번호판 영상을 재검출하는 제어부를 포함하며,
    상기 제어부는
    상기 차량 영상에서 번호판 영상이 존재할 확률이 기 설정된 값 이상인 관심 영상을 추출하고, 상기 관심 영상에 대한 영상 전처리 동작을 수행하고, 박스-필터(Box-filter)를 이용하여 상기 영상 전처리된 관심 영상에 대한 에너집 맵을 계산하고, 상기 에너지 맵을 기반으로 큰 에너지를 갖는 영역을 검색하고, 상기 큰 에너지를 갖는 영역의 중앙점을 찾고, 상기 중앙점을 기준으로 번호판 영역을 특정하고, 상기 번호판 영역의 위치를 기반으로 상기 관심 영상에서 번호판 영상을 검출하는 것을 특징으로 하는 차량 번호판 이중 검출 장치.
KR1020140014249A 2014-02-07 2014-02-07 차량 번호판 이중 검출 방법 및 장치 KR101545809B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140014249A KR101545809B1 (ko) 2014-02-07 2014-02-07 차량 번호판 이중 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140014249A KR101545809B1 (ko) 2014-02-07 2014-02-07 차량 번호판 이중 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150093453A KR20150093453A (ko) 2015-08-18
KR101545809B1 true KR101545809B1 (ko) 2015-08-21

Family

ID=54057347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140014249A KR101545809B1 (ko) 2014-02-07 2014-02-07 차량 번호판 이중 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101545809B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102556036B1 (ko) * 2023-03-29 2023-07-18 주식회사 로드맵 Ai 딥러닝 영상 분석 기술 및 라이다 센서를 활용한 야외 주차장 관리 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878239B1 (ko) * 2017-03-22 2018-07-13 경남대학교 산학협력단 모바일 로봇 기반의 도서 관리 시스템
KR102026280B1 (ko) * 2018-01-10 2019-11-26 네이버 주식회사 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
KR102169041B1 (ko) * 2018-07-27 2020-10-23 박준혁 색상 라벨링을 이용한 영상 이미지의 물 포함 영역 상태 판별 장치 및 방법
CN109460722B (zh) * 2018-10-26 2021-11-23 华南理工大学 一种车牌智能识别方法
KR101986592B1 (ko) * 2019-04-22 2019-06-10 주식회사 펜타게이트 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200872A (ja) * 2012-03-26 2013-10-03 Tata Consultancy Services Ltd 連続して存在する英数字を識別するための画像処理システムおよびその方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200872A (ja) * 2012-03-26 2013-10-03 Tata Consultancy Services Ltd 連続して存在する英数字を識別するための画像処理システムおよびその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박철웅외 3. 다층신경망을 이용한 얼굴 검색 알고리즘. 한국멀티미디어학회 1999년도 추계학술발표논문집. 1999.11., pp. 672-677.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102556036B1 (ko) * 2023-03-29 2023-07-18 주식회사 로드맵 Ai 딥러닝 영상 분석 기술 및 라이다 센서를 활용한 야외 주차장 관리 시스템

Also Published As

Publication number Publication date
KR20150093453A (ko) 2015-08-18

Similar Documents

Publication Publication Date Title
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
US10943096B2 (en) High-quality training data preparation for high-performance face recognition systems
KR101545809B1 (ko) 차량 번호판 이중 검출 방법 및 장치
US20200143146A1 (en) Target object recognition method and apparatus, storage medium, and electronic device
US9292745B2 (en) Object detection apparatus and method therefor
KR102144464B1 (ko) 문서분류장치 및 문서분류방법
US7840037B2 (en) Adaptive scanning for performance enhancement in image detection systems
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
US20170364742A1 (en) Lip-reading recognition method and apparatus based on projection extreme learning machine
WO2019051941A1 (zh) 车型识别方法、装置、设备及计算机可读存储介质
US20120093362A1 (en) Device and method for detecting specific object in sequence of images and video camera device
Cohen et al. Rapid building detection using machine learning
US9589351B2 (en) System and method for pet face detection
US20130129199A1 (en) Object-centric spatial pooling for image classification
KR102261880B1 (ko) 딥러닝 기반 비대면 안면 인식 서비스 제공 방법, 장치 및 시스템
KR101449744B1 (ko) 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법
CN103593672A (zh) Adaboost分类器在线学习方法及系统
KR20180037746A (ko) 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
CN105303163A (zh) 一种目标检测的方法及检测装置
CN110175500B (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN113947209A (zh) 基于云边协同的集成学习方法、系统及存储介质
US20160070972A1 (en) System and method for determining a pet breed from an image
CN105989339B (zh) 用于检测目标的方法和装置
Gabriel et al. Structured edge detection for improved object localization using the discriminative generalized Hough transform
Kundu et al. A modified RBFN based on heuristic based clustering for location invariant fingerprint recognition and localization with and without occlusion

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180717

Year of fee payment: 4