KR100973999B1 - 불규칙 조명 환경에 강인한 번호판 문자 분리 방법 - Google Patents

Abstract

본 발명은 불규칙한 조명환경에서도 자동차 번호판 이미지로부터 번호판 문자를 정확하게 분리하는 불규칙 조명 환경에 강인한 번호판 문자 분리 방법에 관한 것으로, 본 발명의 방법은 입력된 차량 영상에서 번호판 후보영역을 추출하는 제 1 단계; 카이 스퀘어 확률 밀도함수를 이용하여 평균과 표준편차의 정규화된 값들로부터 가중치를 구하고, 가중치로 새로운 화소 값을 구해 번호판 영상을 개선하는 제 2 단계; 개선된 번호판 영상의 기울기로 회전 여부를 판단하는 제 3 단계; 번호판 영상의 기울기가 소정 크기 이상이면, 회전 변환하여 보정하는 제 4 단계; 및 번호판의 형상 정보를 활용하여 번호판의 크기와 번호판 영역 내에서의 문자 간의 위상관계 및 위치를 미리 규명한 후, 상기 번호판 영상에서 수직.수평 프로파일링하여 문자를 추출하는 제 5 단계로 구성되어 열악한 조명 환경에서도 카이 스퀘어 확률 밀도함수를 이용하여 가중치를 구해 영상의 명암 대비도를 높여 고품질의 이진화 영상을 얻음으로써 번호판의 문자를 정확하게 추출할 수 있다.

Description

불규칙 조명 환경에 강인한 번호판 문자 분리 방법{ROBUST METHOD OF SEGMENTING CHARACTERS OF LICENSE PLATE ON IRREGULAR ILLUMINATION CONDITION}

본 발명은 자동차 번호 인식 기술에 관한 것으로, 더욱 상세하게는 불규칙한 조명환경에서도 자동차 번호판 이미지로부터 번호판 문자를 정확하게 분리하는 불규칙 조명 환경에 강인한 번호판 문자 분리 방법에 관한 것이다.

일반적으로, 자동차의 번호판은 차량의 등록 정보를 확인할 수 있는 유일한 방법이다. 불법 주정차 단속 및 주차 관리 시스템에 차량의 등록 정보를 확인하기 위해 카메라를 이용한 무인 인식시스템의 개발이 활발히 연구되고 있다. 하지만, 일반 도로상에서 날씨나 주변 장애물들은 자동차 번호판 상에 조명 변화를 일으켜 번호판 문자의 추출을 어렵게 한다.

통상 번호판 문자를 인식하기 위해서는 크게 세 단계의 과정이 필요하다. 첫 번째 단계는 차량으로부터 번호판의 위치를 정확하게 얻어냄으로써 차량으로부터 번호판을 추출하는 것이고, 두 번째 단계는 추출된 번호판으로부터 문자를 추출하는 것이며, 마지막 단계는 추출된 문자를 문자 인식기와 데이터베이스(Database)를 통하여 인식하는 것이다. 자동차 번호 자동 인식시스템에서 번호판 문자를 검출하지 못하는 여러 가지 요인들이 있지만, 일반적으로 조명의 영향으로 자동차 번호판의 영상이 훼손되거나 차량의 부분 조명으로 인해 번호판 영상의 문자들이 완전하게 형성되지 못하는 경우 등이 있다.

통상 번호판 이미지로부터 문자를 추출하는 종래의 방법들은 번호판의 기하학적 특징들을 정의하여 이용하는 번호판 영상의 문자를 추출하는 방법들이 제안되고 있다. 예컨대, 종래에는 번호판의 형상에 따라 세 영역으로 나눈 후, 세 영역의 수직과 수평의 히스토그램 분포도를 얻어 문자들을 추출하였다.

그런데 이러한 방법은 영역별로 외부 조명의 빛을 고르게 받는 번호판의 경우에 문자 추출이 용이하지만, 일부 영역에 조명의 빛이 집중되는 경우에 히스토그램 분포의 동질성이 없어 문자를 추출하기 어렵다.

또한 화소 값을 수평으로 프로파일링(profiling)함으로써 번호판의 상단부와 하단부로 영역을 나누어 처리하거나 각 독립된 영역에서 화소들의 값을 수직으로 프로파일링하여 사전에 정의된 문자의 위치 및 높이 정보를 이용하여 문자를 추출하였다. 그러나 이 경우에도 상황에 따라 한글 문자 '마'와 같이 'ㅁ'과 'ㅏ'자 사이의 여백으로 인하여 서로 다른 문자로 검출되는 경향이 있고, 불규칙한 외부 조명의 빛의 영향으로 배경과 문자와의 경계가 모호하여, 수직 프로파일링 결과를 정확하게 얻지 못하는 문제점도 있다.

본 발명은 상기와 같은 문제점을 해소하기 위하여 제안된 것으로, 본 발명의 목적은 불규칙한 조명 환경에서도 자동차 번호판 이미지로부터 번호판 문자를 정확하게 분리하는 불규칙 조명 환경에 강인한 번호판 문자 분리 방법을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, 입력된 차량 영상에서 번호판 후보영역을 추출하는 제 1 단계; 카이 스퀘어 확률 밀도함수를 이용하여 평균과 표준편차의 정규화된 값들로부터 가중치를 구하고, 가중치로 새로운 화소 값을 구해 번호판 영상을 개선하는 제 2 단계; 개선된 번호판 영상의 기울기로 회전 여부를 판단하는 제 3 단계; 번호판 영상의 기울기가 소정 크기 이상이면, 회전 변환하여 보정하는 제 4 단계; 및 번호판의 형상 정보를 활용하여 번호판의 크기와 번호판 영역 내에서의 문자 간의 위상관계 및 위치를 미리 규명한 후, 상기 번호판 영상에서 수직.수평 프로파일링(profiling)하여 문자를 추출하는 제 5 단계를 포함하는 것을 특징으로 한다.

상기 제 2 단계의 가중치는 수학식

으로 구해지고, 상기 제 3 단계의 회전 여부 판단은 번호판 영상의 기울기가 -3°~ 3°범위를 벗어난 경우 회전 변환하고, 상기 회전 변환하는 제 4 단계는 수학식

의 범위(S_p)에서 수평 프로파일링을 실시하여 가장 작은 값이 일정 이상을 만족할 때까지 번호판 영상을 회전하는 것이다.

그리고 상기 수직.수평 프로파일링하여 문자를 추출하는 제 5 단계는 번호판 영역 내 문자 간의 간격 및 위치는 문자 후보 영역으로 사전에 정의되어 수직 프로파일링에서 사용하고, 번호판의 상단부와 하단부의 비는 수평 프로파일링을 통해 상단부와 하단부를 구분할 때 사용하는 것이다.

본 발명에 따르면 카이 스퀘어 확률 밀도함수를 이용하여 가중치를 구해 영상의 명암 대비도를 높여 고품질의 이진화 영상을 얻음으로써 번호판의 문자를 정확하게 추출할 수 있다. 또한 본 발명은 번호판 형상정보와 문자 간의 간격, 위치 정보를 구한 후 수평 프로파일링을 통해 번호판 영상에서 상단부와 하단부를 정확하게 구분하고, 상단부와 하단부를 각각 수직 프로파일링하여 문자를 정확하게 추출할 수 있다.

도 1a 내지 도 1c는 현재 차량에서 사용되고 있는 번호판의 종류를 도시한 도면,
도 2는 본 발명이 적용된 전형적인 차량 번호 자동 인식시스템의 구성예,
도 3은 본 발명에 따른 번호판 문자 추출 절차를 도시한 순서도,
도 4a, 4b는 본 발명의 실시예에 적용되는 번호판의 문자 배열 특성을 도시한 도면,
도 5는 본 발명에 사용되는 카이 스퀘어 확률 밀도 함수 그래프,
도 6a 내지 6c는 본 발명이 적용된 번호판 영상들의 예,
도 7a 및 7b는 본 발명에 따라 회전 변환을 수행한 결과 영상의 예,
도 8은 본 발명에 따른 수평 프로파일링을 통한 번호판의 상, 하 분리 예,
도 9는 본 발명에 따른 잡음 제거 결과 영상의 예,
도 10은 본 발명에 따라 수직 프로파일링 수행한 결과 영상의 예,
도 11은 잘못 분리된 수직 프로파일링 수행 결과의 영상 예,
도 12는 본 발명에 따라 융합된 수직 프로파일링 수행 결과의 영상 예,
도 13a 및 13b는 본 발명에 따라 번호판 영상 내의 추출된 문자 영상,
도 14는 본 발명의 실험을 위한 번호판 문자 인식을 위한 신경망 구조,
도 15a 내지 15d는 본 발명의 실험을 위한 상황에 따른 참고 번호판 영상의 예이다.

본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다.

현재 우리나라에 존재하는 번호판은 도 1a 내지 도 1c에 도시된 바와 같이 지역 표시가 있는 구 번호판, 지역 표시가 없는 구 번호판, 최근에 나온 신형 번호판 등 크게 3 종류가 있다. 차량의 쓰임에 따라 구분되어 있는 색상까지 포함하면 더 많은 종류가 있겠지만 번호판의 형상에 따라 나누면 위와 같이 나눌 수 있다.

도 1a는 1996.01 ~ 2003.12월까지 사용된 번호판으로 상단부에 지역 표시가 있는 번호판이고, 도 1b는 2004.01 ~ 2006.10 월까지 사용된 번호판으로 이전의 번호판과 다른 점은 상단부에 표시되 있던 지역 표시가 사라지고 하단부에 있던 용도 기호가 상단부로 옮겨졌다. 도 1c는 2006.11월 이후 최근에 사용되고 있고, 색상과 크기가 이전의 번호판들과 다르게 제작되었으며, 상단부와 하단부로 나뉘지 않는 일자형의 유럽형 번호판 형상을 하고 있다. 최근에 도입된 도 1c와 같은 번호판은 문자를 추출하여 인식하기까지의 과정이 도 1a와 도 1b에 비교해 보면 상대적으로 쉽기 때문에 본 발명의 실시예에서는 이전 번호판들을 중심으로 설명한다.

도 2는 본 발명이 적용된 차량 번호 자동 인식시스템의 구성 예이고, 도 3은 본 발명에 따라 번호판에서 문자를 추출하는 절차를 도시한 순서도이다.

본 발명이 적용된 전형적인 차량번호 자동 인식시스템은 도 2에 도시된 바와 같이 도로상에 주차 혹은 주행하는 차량을 촬영하는 카메라(10)와, 메인 프로세서와 메모리, 주변장치 등의 하드웨어를 구비하여 카메라(10)로부터 입력된 영상을 소프트웨어로 처리하여 차량번호를 자동 인식하는 컨트롤러(20)로 구성된다. 그리고 컨트롤러(20)는 카메라(10)로부터 영상을 입력받는 영상 입력부(21)와, 입력된 영상에서 배경 영상을 생성하는 배경 생성부(22), 현재 입력영상과 배경영상을 비교하여 차량 이미지를 추출하여 이미지 저장부(24)에 저장하는 차량 검출부(23)와, 검출된 차량 이미지에서 번호판 이미지를 추출하는 번호판 추출부(25)와, 추출된 번호판 이미지에서 문자를 추출하는 문자 추출부(26)와, 추출된 문자를 자동으로 인식하는 문자 인식부(27), 및 카메라(10)를 제어하는 카메라 제어부(28) 등으로 구성된다.

그리고 이와 같은 차량번호 자동 인식시스템에서 본 발명에 따라 문자를추출하는 절차는 도 3에 도시된 바와 같이, 번호판 영상 입력단계(S1), 번호판후보 영역 정의단계(S2), 번호판 영상 개선단계(S3), 번호판 이미지 회전 여부를 판단하여 회전이 필요할 경우 번호판 이미지를 회전 변환하는 단계(S4,S5), 번호판 이미지를 수평 프로파일링(profiling)하여 번호판의 상단부와 하단부를 구분하는 단계(S6,S7), 상단부에서 잡음을 제거하고 수직 프로파일링하여 문자를 추출하는 단계(S81~S83), 하단부에서 잡음을 제거하고 수직 프로파일링(profiling)하여 문자를 추출하는 단계(S91~S93), 추출된 문자를 인식하는 문자인식 단계(S10)로 구성된다.

도 3을 참조하면, 카메라(10)로 촬상한 영상을 처리함에 있어 우선적으로 중요하게 다루어져야 할 부분이 화질 개선인데, 화질을 개선함으로써 영상 내에서 보다 강인한 특징들을 추출할 수 있다. 본 발명에서는 영상 개선을 위하여 명암 대비도가 크게 나타나는 영역에 대해 적응적인 가중치를 곱해주어 영상의 명암 대비도를 더욱 높여준다. 또한 문자 추출 단계에서도 번호판의 경계선과 회전으로 인하여 생기는 잡음 성분들을 효율적으로 제거하고, 수직과 수평 프로파일링에 번호판의 형상정보를 적절하게 융합하며, 추출된 문자 간의 관계를 고려함으로써 자음과 모음 사이에 문자가 분리되는 문제를 해결한다. 그리고 본 발명에서는 번호판의 형상 정보를 활용하여 번호판의 크기와 번호판 영역 내에서의 문자 간의 위상관계 및 위치를 규명한 후, 상단부와 하단부의 모든 문자를 추출하고, 카이 스퀘어(Chi-Square) 확률분포를 이용하여 영상의 명암 대비도를 개선한 후 문턱값 결정방법으로 자동차 번호판 영상을 이진화한다. 번호판의 문자를 추출하는 단계에서는 회전된 번호판으로부터 발생하는 잡음의 문제를 해결하기 위해 영상으로부터 회전된 번호판을 오차 범위 내에서 보정하고, 다른 잡음들은 레이블링을 통해 제거한다.

이하에서는 도 3의 각 단계들을 번호판 후보영역 검출단계(S1,S2)와, 번호판 영상 개선단계(S3), 번호판 문자 추출단계(S4~S7, S81~S83, S91~S93)로 크게 구분하여 설명한 후, 본 발명의 성능을 시험하기 위해 번호판 문자인식을 위한 신경망을 구성하고(S10), 실험 예를 통해 본 발명의 성능을 확인한다.

1. 번호판 후보 영역 검출 단계

차량 영상으로부터 번호판 영역을 추출하는 종래의 방법은 에지 분석을 이용하는 방법, 허프 변환을 이용한 기법, 모폴로지를 이용한 기법, 히스토그램을 이용한 방법, 그리고 색상정보를 이용한 방법 등 다양한 기법들이 있으나 본 발명에서는 에지 기반 영역확장 기법을 이용하여 다양한 크기의 번호판을 검출한다. 에지 기반 영역확장 기법은 캐니 에지 기반의 에지 영상을 획득하고, 에지 요소들로부터 영역확장을 위한 초기점들을 획득한다. 영역 확장의 초기점은 자동차 번호판의 에지 요소들의 무게중심으로부터 결정된다. 다음 단계에서는 이를 이용하여 얻은 번호판 후보 영역에 대해서 평가를 하게 되며, 이를 위하여 위상학적 관계를 이용하여 평가하고 최종적으로 번호판 영역을 검출한다.

번호판 영역에서 배경으로부터 문자를 정확하게 분리하기 위해서는 번호판 형상에 관한 사전 지식이 필요하다. 이러한 형상 특징은 문자를 추출하는 단계뿐만 아니라 검증하고 인식하는 단계에서도 매우 중요하다.

본 발명의 실시예에서는 도 1a와 도 1b의 규격 및 문자 배열의 특성을 분석하였다. 도 1a의 번호판은 도 4a에 도시된 바와 같이 번호판의 크기는 가로 대 세로비가 약 2:1이며, 번호판 내부는 지역과 자동차 차종을 나타내는 상단부와, 자동차의 용도 및 번호를 나타내는 하단부로 나뉜다. 번호판의 상단부는 번호판 세로 높이(h)의 1/3을 차지하며, 하단부는 세로 높이(h)의 2/3를 차지한다. 문자 배열의 위치, 문자 간의 간격 및 크기는 도 4a에 표현되어 있다.

도 1b의 번호판은 번호판의 상, 하단부의 규격 및 가로, 세로 비는 도 1a의 번호판과 크게 다른 점이 없다. 다만, 상단부와 하단부로 나뉘며, 도 4b에 도시된 바와 같이 지역 표시가 없기 때문에 상단부의 문자 크기가 더 크다는 특징이 있다.

이러한 번호판 영역 내 문자간의 간격 및 위치는 문자 후보 영역으로 사전에 정의되어 수직 프로파일링의 단계에서 활용하게 되며, 상단부와 하단부의 비는 수평 프로파일링을 통해 상단부와 하단부를 구분할 때 사용된다.

2. 번호판 영상 개선 단계

한정되어 있는 공간상이 아닌 자연 상의 영상들은 불규칙한 조명에 노출되면 영상이 왜곡되어 많은 정보를 잃게 되는데, 이러한 문제점을 개선하고자 종래에는 히스토그램 평활화, 히스토그램 명세화, 그리고 히스토그램 스트레칭 등의 방법을 사용하였다.

본 발명에서는 이러한 문제점을 개선하고, 여러 조명 환경에도 적응적인 영상 대비도의 개선 알고리즘을 제안하기 위해서 영상의 카이 스퀘어(Chi-Square) 확률 밀도 함수를 사용하여 평균과 표준편차의 정규화된 값들로부터 가중치 값을 구하고, 새로운 화소 값들을 결정한다. 다음 수학식 1은 영상의 개선된 화소 값을 결정하는 식이다.

여기서, Pn(i,j)는 현재 화소 P(i,j)에 대한 새로운 화소 값을 의미하며, ω는 다음 수학식 2를 이용하여 계산된 적응적인 가중치 값이다. 그리고 m은 현재 화소에 대한 주변값과의 평균값이다. 수학식 2는 수학식 3의 감마 랜덤 변수를 이용한 카이 스퀘어(Chi-Square) 확률 밀도 함수로써, 주로 통계학에서 많이 쓰고 있다.

본 발명에서는 상기 수학식들의 계수 n의 값을 3으로 설정하고, x값은 표준편차 σ를 평균 m으로 나눈 값을 이용하여 최종적으로 가중치 함수 다음 수학식 4를 이용한다. 수학식 4를 이용하여 얻은 가중치 값의 그래프는 도 5와 같은 형태를 가지게 된다.

가중치 값을 구하기 위해서 Chi-Square 확률 밀도 함수를 사용하였는데, 도 5를 참조하면 확률 밀도 함수의 경우 한쪽으로 값이 치우쳐 증가하는 형태의 값을 갖는 것을 알 수 있다. 따라서, 본 발명에서는 배경과 문자 간의 대비도가 크게 나타나는 영역에 대해서 Chi-Square 확률 밀도 함수의 집중된 영역에서 얻어진 큰 가중치 값을 곱해줌으로써 명암 대비도를 더욱 높인다. 영상의 명암 대비도를 더욱 키움으로써 영상의 품질을 높임과 동시에 배경과 문자의 경계를 더욱 부각시키는 효과를 얻게 된다.

본 발명에서 제안한 방법으로 도 6a의 명도 영상을 영상 개선을 한 결과는 도 6b와 같고, 도 6c는 개선된 영상을 이진화시킨 결과 영상이다.

도 6a 내지 도 6c를 참조하여 개선된 영상을 이진화한 결과를 보면, 종래의 방법을 사용하여 영상을 개선한 후 이진화를 수행했던 결과에 비해 밝은 영역 또는 어두운 영역을 구분하지 않고 번호판 문자를 얻을 수 있으나 상대적으로 종래의 방법보다 잡음이 많이 형성되는 것을 알 수 있다. 본 발명에서는 이러한 잡음을 제거하기 위해 번호판 문자 추출 단계에서 레이블링 알고리즘을 적용하여 잡음을 제거한다.

3. 번호판 문자 추출 단계

문자를 추출하기 위해 영상 개선 단계(S3)를 수행한 결과 영상으로부터 도 3과 같은 순서로 번호판 문자를 추출한다.

먼저, 조명 환경에 강인하도록 영상 품질을 개선시킨 번호판 영상의 정규화를 위해 회전 변환을 수행한다(S4,S5). 본 발명의 실시예에서는 사전 카메라 정보를 활용하지 않고 번호판 영상의 수평 프로파일링을 이용하여 회전각을 결정한다. 즉, 번호판 영상의 상단부와 하단부를 구분하는 영역에서 회전변환에 따라 누적값이 가장 작게 나타나는 회전각을 찾는다.

회전 유무에 따라 회전 변환을 수행한 후, 수평 프로파일링을 이용하여 번호판 영역을 상단부와 하단부로 나눈다(S6,S7). 그리고 상단부와 하단부로 나누어진 영역에 대해서 독립적으로 잡음 제거 및 수직 프로파일링을 수행하여 문자의 영역을 분리하고 문자를 추출한다.

번호판의 회전은 번호판의 검출 단계에서 카메라 보정을 통하여 회전변환을 수행할 수 있지만, 본 발명의 실시예에서는 임의로 얻은 번호판 영상만을 사용하기 때문에 카메라의 정보 없이 회전 정도를 판단한다. 회전 변환으로는 투영 변환, Affine 변환, Radon 변환 등이 있는데, 본 발명에서는 단순 회전 변환을 사용하여 회전변환을 수행한다(S5). 회전의 경우 -3°~ 3°범위의 영상의 경우 회전의 영향이 크지 않기 때문에 단순히 수평 프로파일링만 수행한다. 다음 수학식 5의 범위(Sp)에서 수평 프로파일링을 실시하여 가장 작은 값이 일정 이상을 만족할 때 까지 번호판 영상을 회전 변환시킨다.

여기서 h는 번호판의 높이이며, θ1은 번호판의 회전각을 찾기 위한 번호판 상단부와 하단부를 나누는 경계에서 프로파일링을 수행하는 범위(Sp)를 결정하는 상수값이다.

도 7a는 수평 프로파일링에 대한 회전 변환 전 결과 영상이고, 도 7b는 수평 프로파일링에 대한 회전 변환 후 결과 영상이다.

도 7a와 같이 회전된 번호판에 대하여 수평 프로파일링을 하게 되면 잡음이 도 7b에 비해 상대적으로 많이 존재하게 되어 영상이 부분 제거될 수 있는 문제가 발생하지만, 본 발명에 따라 회전 보정된 도 7b의 경우는 번호판의 수평에 대한 경계면에 잡음이 매우 적은 것을 확인할 수 있다.

또한, 회전 변환의 수평 프로파일링으로부터 번호판의 상단부와 하단부를 구분한다(S7). 일차적으로 번호판의 경계선을 제거하기 위해서 도 8과 같이 수평 프로파일링을 수행하여 가장 작은 누적값을 참고하여 상단부와 하단부를 구분한다. 누적값의 작은 값을 찾는 알고리즘은 다음과 같다. 도 4a 및 도 4b와 같이 번호판의 형상정보의 높이 h를 참고하여 번호판 상단부의 경우는 h/4에서 시작하여 가장 처음 부분까지 찾고, 번호판 하단부는 3h/4 ~ h 까지 범위에서 찾는다. 도 8은 회전 보정이 된 번호판 영상의 상단부와 하단부를 분할한 결과를 보여준다.

이어 상단부와 하단부로 나뉜 영역에 대해서 각각 독립적으로 수직 프로파일링을 수행하게 되는데, 조명의 빛을 많이 받은 영역일수록 도 6c의 좌상과 좌하 영상처럼 잡음이 많이 발생한다. 번호판 영상의 잡음을 제거하기 위해서 레이블링 알고리즘을 이용하여 그룹화한다(S81,S91). 이때 그룹의 화소 개수가 Pmin < Pcnt < Pmax 조건을 만족하면, 번호판 문자의 후보로 간주하며, 그렇지 못할 경우에 잡음으로 간주하고 제거한다. 상단부의 Pmin와 Pmax는 그룹의 화소 개수의 최소값과 최대값이다. 단, ( Pmax - Ps-max) > 130인 경우는 두 번째 최대 크기 Ps-max를 Pmax로 결정한다. Pmin은 지역 문자의 모음 및 자음의 분리된 경우에 대한 최소값 결정이 모호함으로 번호판 형상의 특징을 고려하여 Pmax > 150이면, Pmax/3.4로 하였으며, 그 외의 경우는 Pmax/7로 설정하였다. 하단부의 Pmax는 상단부와 마찬가지로 일차적으로 그룹의 최대값으로 하며, 상단부와 마찬가지로 (Pmax - Ps-max) > 130인 경우는 두 번째 최대 크기 Ps-max를 Pmax로 결정짖는다. Pmin은 도 4a와 같이 하단부에 존재하는 지역 문자의 모음 및 자음의 분리된 경우에 대한 최소값 결정이 모호하기 때문에 번호판 형상의 특징을 고려하여 Pmax > 500이면 Pmax/3.3으로 정한다. 그 외의 경우는 Pmax/7로 설정한다. 여기서, 주어지는 상수 값들은 다양한 실험을 통해 선험적으로 결정된 임계값이다. 도 9는 번호판 영상에 대해 레이블링을 수행한 후, 상단부와 하단부의 그룹의 화소수를 고려하여 잡음을 제거한 결과 영상이다.

번호판의 상단부와 하단부의 잡음 제거 단계(S81,S91)가 끝나면, 수직 프로파일링을 이용하여 문자를 분리한다(S82,S83,S92,S93). 앞서 설명한 번호판 내의 위치 후보 영역 내에서의 수직 프로파일링 결과를 얻는다. 도 9의 잡음 제거 영상을 보게 되면, 동그라미 형태의 잡음이 제거되지 않은 상태로 존재한다. 하지만 상단부의 문자 시작 위치가 w/4에서 시작하여 3w/4 사이에서 나열되기 때문에 수직 프로파일링의 결과에서 제외한다.

도 10은 본 발명에 따라 수직 프로파일링 수행한 결과 영상의 예이고, 도 11은 잘못 분리된 수직 프로파일링 수행 결과 영상이다.

도 9의 첫 번째 번호판 영상의 수직 프로파일링의 결과를 도 10에서 보여준다. 도 10을 살펴보면, 시작 부분과 끝 부분 사이에 중간 폭을 구하여 여유 공간을 두었다. 도 10처럼 수행된 수직 프로파일링의 결과로부터 그룹화하여 하나의 문자를 추출하게 된다. 하지만, 문자를 최종적으로 추출하기 이전의 단계에서 숫자가 아닌 문자의 경우 하나의 문자임에도 불구하고 분리되는 경우가 발생한다.

도 10과 같은 번호판 영상의 상단부의 문자의 경우 자음과 모음간의 공간이 다른 문자 간의 공간보다 작기 때문에 하나의 문자로 합할 수 있지만, 도 11과 같은 번호판에서 하단부의 한글 문자는 자음과 모음 간의 영역이 각각 독립된 문자의 영역으로 분리되는 경우가 발생한다. 지역 표시가 있는 번호판의 상단부에서도 동일한 문제점이 발생한다. 이러한 경우 하나의 문자로 합하기 위해 다음 수학식 6의 조건식을 사용한다. 즉, 두 영역으로 분리된 하나의 문자가 수학식6의 조건식을 만족하게 되면 두 영역을 합한다.

여기서, P(n+1).L은 (n+1)번째 문자 그룹의 왼쪽 위치 값이며, P_{n .R}은 n번째 문자그룹의 오른쪽 위치 값이다. W_(n+1)은 (n+1)번째 그룹의 넓이고, W_n은 n번째 그룹의 넓이이다. 그리고 θ₂는 이웃하는 두 그룹의 경계를 구분하기 위한 상수값이다. 상기 수학식 6에서 제시되는 상수 값들은 실험을 통해 선험적으로 결정하였다. 수학식 6을 이용하여 잘못 분리된 문자를 합하면 도 12와 같이 수직 프로파일링들의 위치를 재조정하여 합한다. 도 12는 융합된 수직 프로파일링 수행 결과 영상이다.

최종적으로 얻어진 샘플 영상에 대한 문자 추출 결과 영상은 도 13a 및 도 13b와 같다. 조명의 영향을 받았음에도 불구하고 본 발명에 따라 추출된 문자의 상태가 선명하게 추출된 것을 알 수 있다.

4. 번호판 문자 인식을 위한 신경망 구성

도 13a 및 도 13b를 보게 되면, 조명의 영향을 받았음에도 불구하고 추출된 문자의 상태가 선명하게 추출된 것을 볼 수 있다. 이를 정량적으로 비교하기 위해, 본 발명의 실시예에서는 신경망 인식기를 구현하여 문자 상태를 객관적으로 비교하였다. 본 발명의 실시예에서 신경망 인식기 구조는 도 14와 같은 구조를 갖는다. 추출된 문자를 정량적으로 비교하기 위한 인식기는 문자 특징을 이용한 문자인식을 위해 1개의 은닉층으로 구성된 다층 신경망을 사용하였다.

도 14를 참조하면, 입력 노드의 수는 문자 특징의 차원 수와 같이 4100개로 구성되었으며, 은닉층은 2050개의 노드로 구성, 그리고 출력 노드는 구분된 82가지 문자를 표현하기 위해 82개의 노드로 구성되었다. 그리고 w는 노드 사이에 연결 강도를 의미하며, 최종 출력은 연결 강도(w)와 입력값(x) 그리고 활성함수(f)에 의해 결정된다.

상기 결과값 수학식 7을 보면 x_i는 i번째 입력벡터 값을, w_ij는 i번째 입력노드와 j번째 은닉노드 사이의 연결 강도를, 그리고 w_jk는 j번째 은닉노드와 k번째 출력노드 사이의 연결강도를 의미한다. 활성함수로 적용된 수학식 8의 활성함수 f(N)은 비선형 단극성 단조증가 함수이고 0에서 1 사이 출력을 갖는 시그모이드 함수를 사용하였다. 그리고 연결강도 w는 순방향 구조의 다층 신경망에서 학습에 사용할 수 있는 역전파 알고리즘(Backpropagation)을 이용해 계산하였다.

5. 실험 예

본 발명의 비교 실험에 사용된 번호판 영상은 불법 주, 정차 단속을 위하여 설치된 카메라로부터 획득된 차량 영상에서 구한 것이다. 획득된 정상적인 번호판 영상을 제외한 상단부 및 하단부의 명암 차이가 큰 번호판, 회전된 번호판, 그리고 원거리 촬영에 의해 해상도가 떨어지는 번호판들만을 성능 검증 실험에 사용하였다. 문자 추출과 인식 알고리즘의 프로그램은 Visual C++ 6.0 환경에서 구현하였으며, Intel Core2 Duo CPU 3.00GHz, 2GB RAM 성능의 컴퓨터를 사용하였다.

도 15는 본 발명의 실험에서 사용한 회전 및 조명의 영향에 의해 왜곡된 번호판 영상을 상황별로 정리한 대표적인 예로서, 도 15a는 회전의 영향을 받은 영상(상황 1)이고, 도 15b는 수평 조명에 의한 영향을 받은 예(상황 2)이며, 도 15c는 대각선 조명에 의한 영향의 예(상황 3)이고, 도 15d는 부분 조명에 의한 영향의 예(상황 4)이다.

품질이 좋지 않은 왜곡된 번호판 영상들에 대해 본 발명에 따른 문자 추출 기법의 우수성을 입증하기 위해 종래의 기법들(히스토그램 평균값 기반 이진화 기법과 국부적 이진화 기법)과 2가지 실험을 수행하였다. 첫 번째 실험은 4가지 상황의 왜곡 영상들에 대해 제안한 기법의 문자 추출률을 종래의 방법들과 비교 평가하였다. 두 번째 실험은 첫 번째 실험에서 추출된 문자의 품질을 정량적으로 검증하기 위해 앞서의 신경망 기반 문자 인식기를 사용하여 문자 인식률을 비교 평가하였다.

다음 표1은 첫 번째 실험으로부터 얻어진 대표적인 결과 문자 추출 영상이다. 표1의 (a)는 히스토그램 평균값 기반 이진화 기법에 의한 전역 이진화 기법의 예이고, (b)는 국부적 이진화 기법에 의한 예이며, 그리고 (c)는 본 발명에서 제안한 기법에 의한 문자 추출한 결과 영상들이다.

상황	번호판 영상	(a) 전역 이진화 기법	(b) 국부 이진화 기법	(c) 제안하는 기법
상황1
상황2
상황3
상황4

상기 표1을 참조하면, 회전의 영향을 받은 번호판의 경우 전체적으로 문자를 분리하는 데는 큰 무리가 없었다. 하지만, 종래의 방법을 적용한 결과 문자영상은 수평 프로파일링을 통하여 상, 하를 구분 짖는 과정에서 문자의 일부가 소실되었다. 수평 조명 영향을 받은 번호판의 경우, 종래의 방법은 조명의 영향을 심하게 받은 영역에 서 선명한 문자를 얻지 못하였다. 수직 프로파일링 과정에는 본 발명과 같이 수평으로 조사된 조명의 영향을 줄이기 위해 명암 대비도를 높이는 과정이 필요하다. 마지막으로 대각선 및 부분 조명의 영향을 받은 번호판에 대해 종래의 방법들은 번호판 배경과 문자를 구분하기 어렵다. 하지만, 본 발명의 방법은 번호판 영상의 명암 대비도를 높임으로써 상대적으로 선명한 번호판 문자를 얻을 수 있었다.

그리고 4가지 상황 별로 제시된 번호판 영상들에 대한 추출률의 비교 실험 결과는 다음 표 2와 같다. 문자 추출은 문자를 번호판 영상 내의 정확한 위치에서 문자가 위치하며, 같은 문자 개수만큼 추출한 경우에 한해서 성공으로 판단하였다.

실험 환경	영상개수 (frame)	추출률(%)
		전역 이진화 기반 기법	국부 이진화 기반 기법	제안하는 기법
상황 1	100	68.0	88.0	93.0
상황 2	80	61.0	84.0	92.0
상황 3	80	55.0	76.0	87.0
상황 4	80	48.0	71.0	85.0
평균		59.6	81.2	89.6

상기 표2를 참조하면, 종래의 전역 이진화 기반 기법은 상황별로 추출률이 많이 떨어지며, 상황 3, 상황 4의 경우에는 60%보다 낮은 문자 추출률을 보였다. 국부 이진화 기반 기법은 상황 1, 상황 2에서 대략 85% 이상의 문자 추출률을 얻었다. 하지만, 상황 3에서 대각선 방향에서 조명이 번호판 문자 간의 이중으로 영향을 주어, 국부 이진화 기반 문자추출 기법은 76%의 낮은 성공률을 보였다. 본 발명에서 제안한 방법은 여러 상황에서도 평균 89.6 %의 높은 문자 추출률을 보였다.

두 번째 실험은 본 발명에서 제안하는 기법을 포함한 3종류의 기법들을 상황별 번호판 영상에 적용해서 분리된 문자들에 대한 품질을 신경망 기반 번호판 문자 인식기를 이용하여 검증하였다. 다음 표 3은 각 상황별 번호판 문자들에 대한 신경망 기반 문자 인식기의 인식률을 보여준다. 인식률의 경우 추출된 문자들을 신경망 기반 번호판 문자 인식기에 대입하여 나온 결과에 대하여 모든 문자를 정확하게 인식한 경우만 성공으로 판정하였다.

실험 환경	영상 개수 (frame)	인식률(%)
		전역 이진화 기반 기법	국부 이진화 기반 기법	제안하는 기법
상황 1	100	48.0	71.0	83.0
상황 2	80	49.0	76.0	80.0
상황 3	80	44.0	72.0	78.0
상황 4	80	32.0	60.0	71.0
평균		45.4	70.9	79.1

상기 표 3을 보게 되면, 전체적으로 인식률이 높지 못한 것은 현재 실험에 사용된 실험 영상이 상황별로 종래의 연구 방법으로는 문자 추출 및 인식이 어려운 제약 조건을 갖는 영상만으로 구성되어 있기 때문이다. 전역적인 이진화 기법을 이용한 종래의 방법은 인식률에서 50% 미만으로 성능이 상당히 떨어지는 것을 확인할 수 있다. 국부 이진화 기법을 이용한 경우를 보면, 상황 2에서 상황 1보다 상대적으로 높은 인식률의 결과를 보였다. 이것은 국부적인 기법을 이용함으로써 회전된 상황보다는 수평 조명의 영향을 받았을 때의 문자 상태가 인식하기 훨씬 좋은 상태로 추출되는 것을 의미한다. 하지만 본 발명에서 제안한 방법을 이용하였을 경우와 비교하여 대략 5%~10% 이상 인식률이 떨어지는 것을 알 수 있다.

이와 같이 조명의 영향으로 많이 왜곡된 번호판은 국부 이진화 기반 기법과 본 발명에 따른 방법의 추출률과 인식률에서 많은 차이를 보인다. 상황 2와 상황 3에서 조명의 영향으로 번호판 하단 부분 영역에 영상 왜곡이 발생했을 때에 본 발명의 방법이 상대적으로 좋은 결과를 보였다. 상황 4의 경우 부분 조명의 영향으로 한 문자에서도 조명 영향을 받는 부분과 그렇지 않은 부분이 서로 존재하기 때문에, 국부적인 이진화 방법으로는 품질 좋은 문자를 추출하지 못하는 것을 알 수 있다. 본 발명의 방법을 기반으로 한 인식률이 상대적으로 높다는 것은, 번호판 영상을 개선하고 회전을 보정함으로써 문자 추출률뿐만 아니라 인식 단계에서 중요하게 작용할 추출된 문자의 품질이 좋아졌다는 것을 의미한다.

이상에서 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

10: 카메라 20: 컨트롤러
21: 영상 입력부 22: 배경 생성부
23: 차량 검출부 24: 이미지 저장부
25: 번호판 추출부 26: 문자 추출부
27: 문자 인식부 28: 카메라 제어부

Claims (7)

1. 입력된 차량 영상에서 번호판 후보영역을 추출하는 제 1 단계;
   카이 스퀘어 확률 밀도함수를 이용하여 평균과 표준편차의 정규화된 값들로부터 가중치를 구하고, 가중치로 새로운 화소 값을 구해 번호판 영상을 개선하는 제 2 단계;
   개선된 번호판 영상의 기울기로 회전 여부를 판단하는 제 3 단계;
   번호판 영상의 기울기가 소정 크기 이상이면, 회전 변환하여 보정하는 제 4 단계; 및
   번호판의 형상 정보를 활용하여 번호판의 크기와 번호판 영역 내에서의 문자 간의 위상관계 및 위치를 미리 규명한 후, 상기 번호판 영상에서 수직.수평 프로파일링하여 문자를 추출하는 제 5 단계를 포함하는 불규칙 조명 환경에 강인한 번호판 문자 분리 방법.
   
2. 삭제
3. 제1항에 있어서, 상기 제 3 단계의 회전 여부 판단은
   번호판 영상의 기울기가 -3°~ 3°범위를 벗어난 경우 회전 변환하고,
   상기 회전 변환하는 제 4 단계는 수학식

   

   의 범위(S_p)에서 수평 프로파일링을 실시하여 가장 작은 값이 일정 이상을 만족할 때까지 번호판 영상을 회전하는 것을 특징으로 하는 불규칙 조명 환경에 강인한 번호판 문자 분리 방법.
   여기서, 상기 h는 번호판의 높이, θ1은 번호판의 회전각을 찾기 위한 번호판 상단부와 하단부를 나누는 경계에서 프로파일링을 수행하는 범위(Sp)를 결정하는 상수값, Sp는 프로파일링을 수행하는 범위를 의미함.
   
4. 제1항에 있어서, 상기 수직.수평 프로파일링하여 문자를 추출하는 제 5 단계는
   번호판 영역 내 문자 간의 간격 및 위치는 문자 후보 영역으로 사전에 정의되어 수직 프로파일링에서 사용하고, 번호판의 상단부와 하단부의 비는 수평 프로파일링을 통해 상단부와 하단부를 구분할 때 사용하는 것을 특징으로 하는 불규칙 조명 환경에 강인한 번호판 문자 분리 방법.
   
5. 제1항에 있어서, 상기 수직.수평 프로파일링하여 문자를 추출하는 제 5 단계는
   수평 프로파일링을 통해 번호판의 상단부와 하단부를 구분하는 제 5-1 단계;
   번호판의 상단부 영상과 하단부 영상에서 각각 잡음 제거하는 제 5-2 단계;
   잡음이 제거된 번호판의 상단부 영상과 하단부 영상에서 수직 프로파일링하여 각각 문자를 추출하는 제 5-3 단계로 구성된 것을 특징으로 하는 불규칙 조명 환경에 강인한 번호판 문자 분리 방법.
   
6. 제5항에 있어서, 상기 잡음을 제거하는 제 5-2 단계는
   레이블링 알고리즘을 이용하여 그룹화하되, 그룹의 화소 개수가 Pmin < Pcnt < Pmax 조건을 만족하면, 번호판 문자의 후보로 간주하며, 그렇지 못할 경우에 잡음으로 간주하여 제거하는 것을 특징으로 하는 불규칙 조명 환경에 강인한 번호판 문자 분리 방법.
   여기서, Pcnt는 그룹의 화소 개수, Pmin는 그룹의 화소 개수의 최소값, Pmax는 그룹의 화소 개수의 최대값을 의미함.
   
7. 삭제

Images