KR100441536B1 - 자동차 번호판 인식방법 - Google Patents

Abstract

영상에서 나타나는 자동차 번호판의 특징과 규격화된 자동차 번호판의 특징을 이용하여 자동차 번호판을 인식할 수 있는 자동차 번호판 인식방법이 개시된다. 본 발명의 자동차 번호판 인식방법은 설정 영역 내에 진입한 차량을 촬영하는 단계, 촬영을 통해 입력된 영상을 전처리하는 단계, 전처리된 영상으로부터 차량에 구비되는 번호판의 어느 한측 대각선 패턴을 검출하여 차량의 번호판 영역을 추출하는 단계, 추출된 번호판영역을 설정 크기로 정규화하는 단계, 정규화 된 번호판영역을 배경과 기호로 분할하는 단계, 분할된 기호와 데이터 베이스에 등록된 기준기호들을 비교하는 단계, 및 데이터 베이스에 등록된 기준기호들중 추출된 기호와 유사도가 가장 높은 기준기호를 진입차량의 번호판 기호로 인식하는 단계를 포함한다. 이에 따라 입력영상으로부터 자동차 번호판 영역의 추출 성공률을 높일 수 있으며, 번호판 내에 새겨진 각 기호들에 대한 인식율을 높일 수 있다.

Description

자동차 번호판 인식방법{Vehicle plate recognition method}

본 발명은 자동차 번호판을 인식하는 방법에 관한 것으로서, 특히 영상에서 나타나는 자동차 번호판의 특징적인 패턴과 규격화된 자동차 번호판의 특징을 이용하여 자동차 번호판을 인식하는 방법에 관한 것이다.

최근 자동차와 관련된 방범 및 방재 시스템, 무인 주차 관리 시스템, 무인 속도 감시 카메라, 무인 톨게이트 시스템 그리고 지능형 교통 시스템 등이 활발하게 연구되고 있다. 위와 같은 시스템들은 필수적으로 자동차 번호판을 인식할 수 있는 시스템이 요구되며, 그러한 시스템은 카메라를 통해 촬영된 영상으로부터 자동차 번호판을 인식하도록 하고 있다.

도 1의 순서도는 영상처리를 통한 종래의 자동차 번호판 인식 시스템의 처리과정을 개략적으로 나타낸 순서도이다. 종래의 자동차 번호판 인식 시스템에서는먼저, 센서를 통해 처리 영역 내의 차량을 감지하고, 차량이 감지되면 카메라를 통해 자동차의 전면부 또는 후면부를 캡쳐하여 영상을 획득한다. 이후, 캡쳐된 영상으로부터 자동차 번호판영역을 추정하고, 추정된 번호판 내에서 기호를 구분하여 템플레이트 매칭(Tempalte matching) 또는 신경망(Neural network)을 이용하여 각 기호를 화상으로 인식한다.

위의 과정에서 종래의 자동차 번호판 인식 시스템에 이용되는 자동차 번호판영역 추출방법들로는 다음과 같은 방법들이 제안되어 있다.

1) 번호판 테두리 정보를 이용한 번호판영역 추출방법.

2) 수직 에지 정보를 이용한 번호판영역 추출 방법.(관련문헌: "An approach to Korean license plate recognition based on vertical edge matching" 2000 IEEE international conference on systems, Man and Cybernetics - Vol.4, 2975-2980)

3) 그레이 레벨의 변화 특성을 이용한 번호판영역 추출방법.(대한민국 등록특허 1992-0009163)

4) 신경회로망을 이용한 번호판영역 추출방법.(대한민국 공개특허 2001-002146)

위와 같은 종래 번호판영역 추출 방법들은 자동차 번호판이 갖는 특징을 이용하여 각각 번호판영역을 추출하고 있으며, 각각 다음과 같은 에러 발생의 여지가 있다.

먼저, 1)의 번호판 테두리를 이용한 방법은 종종 번호판의 테두리가 훼손되거나, 번호판의 테두리와 유사한 특징을 갖는 부분이 있는 경우(예: 차량의 라디에이터 테두리 부분) 번호판영역을 오인식 할 수 있다.

2)의 수직 에지 정보를 이용한 방법은 일반적인 차량들의 라디에이터 영상 역시 수직 에지를 많이 가지기 때문에 번호판영역을 오인식 할 수 있다.

3)의 그레이레벨 변화 특성을 이용한 방법은 차량의 디자인 및 번호판 장착 위치에 따라 그레이 레벨이 변화될 수 있어 임계값에 의한 번호판영역을 오인식 할 수 있다.

4)의 신경회로망을 이용한 방법은 신경회로망을 학습하기 위해 상당히 많은 학습데이터(적어도 1000개 이상)가 요구되며, 특성상 오인식된 데이터가 많은 경우에 추출 성능이 떨어지는 문제점이 있다.

또한, 종래의 자동차 번호판 인식방법은 다음과 같은 방법들이 제안되었다.

1) 신경회로망(Neural network)을 이용한 숫자 및 문자 인식방법.(대한민국 공개특허 1999-52969)

2) 템플리트 매칭(Template matching)을 이용한 방법.

3) 리스트 민 스퀘어(Least mean square)를 이용한 방법.(대한민국 공개특허 1999-52969)

위와 같은 번호판 내의 문자 및 숫자 인식기술은 각각 장단점을 가지고 있어 어느 방법이 특별히 좋다라는 평가를 내릴 수는 없다. 다만, 종래의 자동차 번호판 인식기술은 보통 임의의 임계값과 히스토그램(histogram)을 이용한 수직 수평 프로젝션 방법을 사용하고 있으며, 프로젝션 히스토그램을 통해 각각의 문자 및 숫자를포함하는 최소블록을 구하여 문자 및 숫자를 인식하도록 하고 있는데, 실제로 최소블록을 설정하는 문제는 쉽지 않으며, 최소블록의 설정에 오차가 발생하는 경우에는 번호판을 제대로 인식할 수 없게 된다.

위와 같은 종래의 자동차 번호판 인식 시스템에서 자동차 번호판영역을 추출하는 것은 번호판을 인식하는 데 있어서, 매우 많은 비중을 차지하는 부분이다. 따라서, 번호판영역을 제대로 검출하지 못하면 자동차 번호판 인식 시스템 자체의 의미를 상실하게 된다. 또한, 종래의 자동차 번호판 인식 시스템들처럼 번호판 추출 성공률이 떨어지는 경우에는 자동차 번호판을 인식하였다 할지라도 번호판을 인식하는 데 있어서, 최소블록의 설정이 제대로 안되는 경우에는 신뢰성이 떨어져 획득한 정보에 대한 활용가치가 없게 된다.

본 발명의 목적은 상기와 같은 문제점을 해결하기 위하여 입력영상으로부터 자동차 번호판의 추출 성공율을 보다 높일 수 있으며, 보다 정확하게 자동차 번호판을 인식할 수 있는 자동차 번호판 인식방법을 제공하는 데 있다.

도 1은 종래 자동차 번호판 인식방법을 설명하는 순서도,

도 2는 본 발명의 자동차 번호판 인식방법을 개략적으로 설명하는 순서도,

도 3은 일반적인 자동차 번호판 영상,

도 4는 도 3에 보인 자동차 번호판의 수평 및 수직 에지정보에 따라 변환된 이진영상에서 나타나는 모서리부분의 패턴,

도 5는 도 3에 보인 자동차 번호판의 컬러정보에 따라 변환된 이진영상에서 나타나는 모서리부분의 패턴,

도 6은 본 발명의 실시예에 따른 자동차 번호판영역 추출과정을 나타낸 순서도,

도 7은 자동차 번호판영역을 포함하여 촬영된 영상,

도 8은 도 7에 보인 영상을 수평 및 수직에지정보에 따라 이진화 한 영상,

도 9는 도 7에 보인 영상을 컬정정보에 따라 이진화 한 영상,

도 10은 자동차 번호판의 규격화된 각 문자 및 숫자의 위치 정보를 통해 각 문자 및 숫자의 영역을 표시한 영상,

도 11a는 도 10에 보인 자동차 번호판 영상에서 배경부분의 평균밝기값 및 표준편차값 계산을 위해 선택된 영역을 나타낸 영상,

도 11b는 도 10에 보인 자동차 번호판 영상을 배경과 기호부분으로 이진화 한 영상,

도 12는 데이터 베이스에 등록된 기준기호의 일 예를 나타낸 영상,

도 13은 추출된 번호판영역의 이진영상에서 각 문자 및 숫자의 영역이 결정된 영상, 그리고

도 14는 도 13의 자동차 번호판 이진영상에서 차종별 기호의 검색영역을 나타낸 도면이다.

상기의 목적을 달성하기 위한 본 발명의 자동차 번호판 인식방법은설정 영역 내에 진입한 차량을 촬영하는 단계; 촬영을 통해 입력된 영상을 전처리하는 단계; 상기 전처리된 영상으로부터 상기 차량에 구비되는 번호판의 어느 한측 대각선 패턴을 검출하여 상기 차량의 번호판 영역을 추출하는 단계; 추출된 상기 번호판영역을 설정 크기로 정규화하는 단계; 정규화 된 상기 번호판영역을 배경과 기호로 분할하는 단계; 분할된 상기 기호와 데이터 베이스에 등록된 기준기호들을 비교하는 단계; 및 상기 데이터 베이스에 등록된 기준기호들중 상기 추출된 기호와 유사도가 가장 높은 기준기호를 상기 진입차량의 번호판 기호로 인식하는 단계;를 포함한다.

여기서, 상기 전처리 단계는, 상기 입력영상의 노이즈를 제거하기 위한 필터링, 상기 입력영상의 해상도 조정, 및 상기 차량의 번호판 기울어짐을 보상하기 위한 어핀(affine) 변환 등을 포함한다.상기 차량의 번호판영역을 추출하는 단계는, 상기 전처리된 입력영상을 이진영상으로 변환하는 단계;를 더 포함한다.

상기 모서리 패턴 검색 단계는, 상기 이진영상의 수평 및 수직 방향으로 에지를 추출하여 상기 자동차 번호판의 어느 한측 대각선 양측 모서리 패턴만을 검색한다. 만일, 검색한 대각선 양측의 모서리 패턴이 검색되지 않으면, 또 다른 대각선 양측 모서리 패턴을 검색한다. 그리고 상기 번호판의 양 대각선 모서리 패턴이 모두 검색되지 않으면, 상기 입력영상의 컬러정보를 이용한 HSI모델을 이용하여 상기 입력영상을 제2 이진영상으로 변환하고, 상기 제2 이진영상으로부터 미리 설정된 상기 컬러 정보에 따른 상기 자동차 번호판의 모서리 부분에 해당하는 제2 모서리 패턴을 검색한다. 제2 모서리 패턴 검색은 마찬가지로, 상기 자동차 번호판의 어느 한 대각선 양측 제2 모서리 패턴만을 검색하며, 상기 어느 한 대각선 양측의 제2 모서리 패턴이 검색되지 않으면, 타측 대각선 양측 제2 모서리 패턴을 검색한다.

상기 번호판영역의 배경과 기호 분할 단계는, 상기 번호판영역의 배경화소에 대한 평균 밝기값 및 표준편차를 계산하는 단계; 검색화소의 밝기값이 상기 평균밝기값과 상기 표준편차의 차값보다 크거나 상기 배경화소의 평균밝기값과 상기 표준편차의 합값 보다 적으면 배경에 포함된 화소로 판단하며, 그 외에는 기호로 판단하는 단계; 및 상기 판단결과에 따라 번호판영역을 이진화하는 단계;를 포함한다.

상기 데이터 베이스에는, 등록번호에 이용되는 각 기호, 용도를 표시하기 위한 각 기호, 관할 관청을 나타내는 각 기호, 차종별 각 기호를 각각 규격화된 번호판의 위치정보에 대응하여 각각 기준기호가 등록된다.

상기 비교 단계는, 상기 번호판영역의 규격화된 위치정보에 따라 각 기호에 대한 각각의 검색영역을 설정하는 단계; 및 설정된 상기 검색영역의 각 위치에 따라 상기 데이터 베이스에 등록된 각 위치별 기준기호를 템플레이트 매칭하는 단계;를 포함한다.

또한, 자동차 번호판 인식방법은 상기 템플레이트 매칭을 통해 산출된 최대 유사도 매칭함수를 통해 상기 자동차 번호판 인식 결과에 대한 신뢰도를 산출하는 단계;를 더 포함한다.

이상과 같은 본 발명의 자동차 번호판 인식방법은 자동차 번호판의 여러 특징패턴을 이용하여 보다 정확하게 대상물체의 영역을 결정할 수 있게 되며, 하나의 모서리 패턴 추출방법이 실패할 경우 또 다른 모서리 패턴 추출방법을 통해 번호판영역을 추출하도록 하고 있어 자동차 번호판에 대한 추출성공율을 높일 수 있게 된다. 또한, 추출된 번호판영역 내의 각 기호를 번호판 규격에 따른 위치정보를 통해 설정된 검색영역 내에서 미리 등록된 기준기호와 대응되게 비교되도록 함으로서 비교 오차를 줄일 수 있게 된다.

이하 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.

도 2는 본 발명에 따른 자동차 번호판 인식방법을 개략적으로 나타낸 순서도이다. 먼저, 시스템에서는 설정 영역 내에 차량의 진입이 감지되면(S210), 카메라를 통해 진입 차량을 촬영한다(S220). 이후, 촬영을 통해 입력된 영상을 전처리하며(S230), 전처리된 입력영상에서 차량의 번호판영역을 추출한다(S240). 그 다음 추출된 번호판영역을 설정크기로 정규화하며(S250), 정규화 된 번호판영역을 배경과 기호(문자 및 숫자)로 분할된 이진영상으로 변환한다(S260). 이후, 분할된 각 문자 또는 숫자를 데이터 베이스에 등록된 기준문자들 또는 기준숫자들과 비교(S270)하여 유사도가 가장 높은 기준문자 또는 기준숫자를 진입한 차량의 번호판 내 문자 및 숫자로 결정한다(S280).

여기서, 입력 영상을 전처리하는 과정(S230)은, 영상처리시간을 줄이기 위한 해상도 조정, 영상의 잡음을 제거하기 위한 잡음 필터링, 그리고 자동차 번호판의 기울어짐을 보상하기 위한 어핀변환(Affine transform) 등이 수행된다.

또한, 차량의 번호판영역을 추출하는 과정(S240)은 전처리된 입력영상을 이진영상으로 변환하고, 그 이진영상에서 차량 번호판의 모서리 부분에 해당하는 미리 설정된 모서리 패턴을 검색한다. 그리고 이진영상에서 미리 설정된 모서리 패턴이 검색되면 그에 따라 번호판영역을 결정한다.

위의 과정(S240)에서, 입력영상을 이진영상으로의 변환하는 과정은 미리 설정되어 기억된 자동차 번호판의 모서리 패턴이 고려되어 변환이 된다. 즉, 시스템에는 입력영상의 영상처리 방법에 따라 자동차 번호판의 모서리 패턴이 이진영상에서 다양하게 나타날 수 있으므로, 그것을 고려하여 이진영상으로 변환하는 것이다. 예를 들면, 도 3과 같은 자동차 번호판 영상을 수평 및 수직에지정보를 이용한 이진영상으로 변환시 도 4와 같은 각 모서리 패턴이 나타난다. 또한, 도 3과 같은 자동차 번호판 영상을 컬러정보를 이용한 이진영상으로 변환시 도 5와 같은 각 모서리 패턴이 나타난다. 이렇게 특정정보를 통해 변환된 이진영상에서 나타나는 모서리 패턴은 단일의 정보를 이용한 모서리 패턴을 설정할 수도 있으나 각각의 특정정보를 통해 변환된 각 이진영상에서 나타나는 패턴들을 모두 설정할 수도 있다. 여기서, 각각의 특정정보를 통해 변환된 각 이진영상에서 나타나는 패턴들을 모두 설정하는 경우는, 입력영상을 어느 한 특정정보를 통해 변환한 이진영상에서 모서리 패턴 추출을 실패하는 경우, 또 다른 특정정보를 통해 변환한 이진영상에서 모서리 패턴을 검색하여 번호판영역을 추출하도록 하여 번호판영역 추출 성공률을 높이기 이해 사용할 수 있다. 도 8은 도 7에 보인 입력영상의 수평 및 수직 에지정보를 이용한 이진영상을 나타낸 도면이며, 도 9는 도 7에 보인 입력영상에 대한 컬러정보에 따른 이진영상을 나타낸 도면이다. 여기서, 컬러정보를 통해 이진화하는 경우에는, 입력영상의 HSI(Hue Saturation Intensity) 변환에 의해 미리 설정된 화소의 컬러정보와 임의의 임계값을 이용하여 이진화가 수행된다.

위와 같이 이진화된 영상에서 특징패턴을 검색하는 과정을 다음의 수학식 1과 같이 나타낼 수 있다.

{ (r,c): 검색영역 픽셀

pattern(i,j): 미리 설정된 특징패턴

B(r+i,c+j): 입력영상의 이진화 영상

F(r,c): 검색영역(r,c)에서 특징패턴의 유사도 상관함수 }

수학식 1에 보인 유사도 상관함수가 검색영역 '(r,c)'에서 최대가 되는 점을 'F_max(r,c)'라 할 수 있으며, 이 유사도 상관함수 'F_max(r,c)'가 크면 클수록 검색 픽셀 '(r,c)'는 설정된 특징패턴과 유사도가 높다는 것을 의미한다. 그리고 이렇게 검출된 최대 유사도 상관함수를 갖는 픽셀이 임계값(threshold) 이상이면, 그 픽셀은 검색영역에서 설정된 특징패턴에 따른 특징점이 된다. 예를 들어, 도 3에 보인 자동차 번호판 영상에서, 번호판영역을 검출하려는 경우, 특징점은 미리 설정된 모서리 패턴에 따라 각각 모서리 점 '1', '2', '3', '4'가 된다.

다음 표 1은 유사도 함수를 계산하는 이진화 패턴 'Pattern(i,j)'와 이진영상 'B(r+i,c+j)'의 연산 결과를 나타낸다.

Pattern(i,j)	B(r+i,c+j)	결 과
0	0	1
0	1	0
1	0	0
1	1	1

한편, 자동차 번호판의 모서리 패턴을 검색할 때에는 모든 모서리 패턴을 검색할 필요가 없다. 이는 자동차 번호판의 어느 한 대각선 양측의 모서리 패턴만 검색하면, 즉, 모서리 '1'과 '4' 또는 '2'와 '3'만 찾으면, 직사각형인 번호판의 영역을 추출할 수 있기 때문이다. 따라서, 어느 한 대각선 양측의 모서리 패턴만 검색하되, 검색할 모서리 부분이 훼손되어 모서리 패턴이 검색되지 않으면 또 다른 대각선 양측의 모서리 패턴을 검색하도록 한다.

도 6은 본 발명의 실시예에 따른 모서리 패턴 검색 과정을 나타낸 순서도이다.

먼저, 도 7의 입력영상을 수평 및 수직에지정보를 이용하여 변환된 도 8과 같은 이진영상으로부터 도 4에 보인 '1'과 '4'의 모서리에지패턴이 존재하는가를 판단한다(S610). 모서리에지패턴 '1'과 '4'가 검색되면, 검색된 모서리에지패턴에 따른 두 특징점, 즉 모서리점 '1'과 '4'를 통해 직사각형의 번호판영역을 결정한다(S670). 만일, 자동차 번호판의 모서리 '1' 또는 모서리 '4'의 부분이 훼손되어 '1'과 '4'의 모서리에지패턴이 검출되지 않으면, 같은 이진영상에서 도 4에보인 '2'와 '3'의 모서리에지패턴이 존재하는지를 검색한다(S620). 그래서 '2'와 '3'의 모서리에지패턴이 존재하면, 마찬가지로 모서리점 '2'와 '3'을 통해 직사각형의 번호판영역을 결정한다(S670). 한편, '2'와 '3'의 에지패턴도 검출되지 않는 경우에는, 입력영상의 컬러정보를 이용한 HSI(Hue Saturation Intensity) 모델을 이용하여 입력영상을 도 9와 같은 제2 이진영상으로 변환한다(S630). 그리고 제2 이진영상에서 도 5에 보인 '1'과 '4'의 모서리에지패턴을 검색한다(S640). 이때, 제2 이진영상에서 '1'과 '4'의 모서리에지패턴이 존재하면, 검색된 에지패턴에 따른 두 특징점을 통해 번호판영역을 결정하며(S670), 존재하지 않으면, 도 5에 보인 '2'와 '3'의 모서리에지패턴이 존재하는가를 검색한다(S650). 이때, '2'와 '3'의 모서리에지패턴도 검색되지 않으면 번호판영역 추출 에러로 판단한다(S660). 여기서, 또 다른 특정정보를 이용한 이진영상에서의 모서리 패턴이 설정된 경우에는 그에 따른 검색을 수행하여 번호판영역을 추출할 수 있다.

위와 같은 자동차 번호판영역 추출과정(S240)을 통해 번호판영역이 결정되면, 번호판영역 정규화 과정(S250)에서는 추출된 번호판 크기를 기준번호판의 크기로 변환(확대 및 축소)한다. 이는 데이터 베이스에 등록된 기준기호와 추출된 번호판 내의 위치별 숫자 및 문자를 비교하기 위함이다.

그리고 정규화된 번호판영역을 분할하는 과정(S260)에서는 번호판영역을 배경과 기호로 이진화한다. 이를 위해 배경부분의 밝기값에 대한 평균값과 표준편차를 계산한 후, 검색화소의 밝기값에 따라 번호판영역의 영상을 이진영상으로 변환한다. 여기서, 번호판영역을 배경과 기호로 분할하기 위하여 다음 수학식 2와 같이검색화소의 이진값이 결정된다.

{ (i,j): 번호판영역 내의 검색화소

'0': (i,j)의 배경 판정 값

'1': (i,j)의 기호 판정 값 }

즉, 위 수학식 2에서 검색화소의 밝기값이 번호판영역의 배경화소 평균밝기값과 표준편차의 차값보다 크거나 평균밝기값과 표준편차의 합값 보다 적으면 배경에 포함된 화소로 판단하고, 그 외에는 문자 및 숫자로 판단한다. 도 11a는 도 10에 보인 자동차 번호판 영상에서 배경부분의 평균밝기값 및 표준편차값 계산을 위해 선택된 영역을 나타낸 영상이며, 도 11b는 도 10과 같은 번호판 영상으로부터 번호판 영역을 배경과 기호로 이진화한 영상이다. 도 10 및 도 11에는 규격화된 자동차 번호판의 용도별 문자 및 숫자의 영역을 각각 표시하고 있다. 자동차 번호판은 규격화되어 있기 때문에 각 문자에 대한 위치정보를 통해 각 기호의 중심위치 정보를 얻을 수 있으며, 도 10에서와 같이 문자 및 숫자에 대한 영역을 알 수 있다.

위와 같이 번호판영역이 배경과 기호부분으로 분할되면, 추출된 문자들과 데이터 베이스에 등록된 기준기호들을 비교하는 과정(S270)에서는, 각 추출된 문자들을 데이터 베이스에 등록된 각 위치별 기준기호와 템플레이트 매칭시키게 된다. 여기서, 데이터 베이스에는, 등록번호에 이용되는 '0 - 9'의 숫자, 차량의 용도를 표시하기 위한 '0-9'의 숫자, 16종의 관할관청 기호, 23종의 차종별 기호를 규격화된 번호판의 각 위치정보에 대응되도록 저장된다. 도 12는 데이터 베이스에 등록된 차종별 기준기호 '고'를 보이고 있다. 이와 같이 데이터 베이스에 등록된 각 위치별 기준기호를 각 위치별 추출문자에 템플레이트 매칭시키게 된다. 도 13은 도 10과 같이 추출된 번호판 영상에서 각 추출문자의 영역이 설정된 상태를 보이고 있다. 그리고 도 14는 데이터 베이스에 등록된 차종별 기준기호와 추출된 차종별 추출기호의 비교를 위한 검색영역을 보이고 있다. 이 검색영역은 추출된 기호와 데이터 베이스에 등록된 기준기호의 정확한 비교를 위해 설정된 영역이며, 이를 통해 기준기호와 추출문자의 중심 위치 불일치에 따른 오차의 발생을 줄일 수 있게 된다. 다음 수학식 3은 기준기호와 추출된 문자의 비교를 통해 유사도 매칭함수를 구하는 식이다.

{ C(r,c,n): 유사도 매칭함수, Criterion

R(i,j,n): 데이터 베이스에 저장된 기준기호

(r,c): 검색영역

I(i+r,j+c): 검색영역에서 추출된 이진화 기호

n: 데이터 베이스에 등록된 각 위치별 각 기준기호 }

위와 같이 추출된 문자와 데이터 베이스에 등록된 각 위치에 대응되는 각 기준기호들이 비교되면, 진입차량의 번호를 인식하는 과정(S280)에서는 위의 수학식 3에서 유사도 매칭함수 'C(r,c,n)'이 최대가 되는 기준기호 'n'을 번호판의 문자 또는 숫자로 인식하게 된다. 즉, 추출된 문자에 대하여 데이터 베이스에 등록된 각 위치에 대응되는 각 기준기호들 가운데 유사도 매칭함수가 가장 높은 문자 또는 숫자를 자동차 번호판의 문자 또는 숫자로 결정하는 것이다. 다음 표 2는 유사도 매칭함수를 계산하는 기준기호 'R(i,j,n)'과 추출문자 'I(i+r,j+c)'의 연산 결과를 나타낸다.

R(i,j,n)	I(i+r,j+c)	결 과
0	0	1
0	1	0
1	0	0
1	1	1

한편, 각 위치에 따른 자동차 번호판의 문자 또는 숫자가 결정되어 자동차 번호가 인식되면, 최대 유사도 매칭함수를 통해 자동차 번호판 인식 결과에 대한신뢰도를 산출할 수 있다(S290). 자동차 번호판 인식 결과에 대한 신뢰도는 다음 수학식 4를 통해 산출한다.

{ C_max(r,c,n): 유사도 매칭함수 C(r,c,n)이 최대인 값

N: 비교되는 전체 열수

M: 비교되는 전체 행수 }

이러한 신뢰도는 자동차 번호판 인식에 대한 신뢰지수로 이용할 수 있다.

상기와 같은 본 발명의 자동차 번호판 인식방법에 의하면, 입력영상으로부터 자동차 번호판이 갖는 특징(모서리 및 컬러정보 등)을 통해 보다 더 정확하게 자동차 번호판영역을 추출할 수 있게 되며, 어느 한 방식으로 특징적인 패턴 추출이 실패할 경우, 또 다른 방식으로 특징적인 패턴을 추출하도록 하고 있어 번호판영역 추출 성공률을 높일 수 있게 된다.

또한, 각 기호의 검색영역 설정을 통해 기준기호와 추출기호 사이의 영역추출 오차를 줄일 수 있게 되며, 규격화된 자동차 번호판의 특징과 번호판이 가질 수 있는 기호들에 대한 기준기호들이 등록된 데이터 베이스를 이용함으로서 번호판 인식율을 보다 더 높일 수 있게 된다.

이상에서는 본 발명의 바람직한 실시예에 대하여 설명하였으나, 본 발명은 상술한 실시예에 한정되지 아니하며, 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능할 것이다.

Claims (16)

1. 설정 영역 내에 진입한 차량을 촬영하는 단계;

   촬영을 통해 입력된 영상을 전처리하는 단계;

   상기 전처리된 영상으로부터 상기 차량에 구비되는 번호판의 어느 한측 대각선 패턴을 검출하여 상기 차량의 번호판 영역을 추출하는 단계;

   추출된 상기 번호판영역을 설정 크기로 정규화하는 단계;

   정규화 된 상기 번호판영역을 배경과 기호로 분할하는 단계;

   분할된 상기 기호와 데이터 베이스에 등록된 기준기호들을 비교하는 단계; 및

   상기 데이터 베이스에 등록된 기준기호들중 상기 추출된 기호와 유사도가 가장 높은 기준기호를 상기 진입차량의 번호판 기호로 인식하는 단계;를 포함하는 것을 특징으로 하는 자동차 번호판 인식방법.
2. 제 1항에 있어서,

   상기 전처리 단계는,

   상기 입력영상의 노이즈를 제거하는 단계;

   상기 입력영상의 해상도를 조정하는 단계; 및

   상기 차량의 번호판 기울어짐을 보상하기 위한 어파인 변환 단계;를 포함하는 것을 특징으로 하는 자동차 번호판 인식방법.
3. 제 1항에 있어서,

   상기 차량의 번호판영역을 추출하는 단계는,

   상기 전처리된 입력영상을 이진영상으로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 자동차 번호판 인식방법.
4. 제 3항에 있어서,

   상기 모서리 패턴 검색 단계는,

   상기 이진영상의 수평 및 수직 방향으로 에지를 추출하여 상기 자동차 번호판의 어느 한측 대각선 양측 모서리 패턴만을 검색하는 것을 특징으로 하는 자동차 번호판 인식방법.
5. 제 4항에 있어서,

   상기 모서리 패턴 검색 단계는,

   상기 어느 한 대각선 양측의 모서리 패턴이 검색되지 않으면, 타측 대각선 양측 모서리 패턴을 검색하는 단계;를 더 포함하는 것을 특징으로 하는 자동차 번호판 인식방법.
6. 제 5항에 있어서,

   상기 모서리 패턴 검색 단계는,

   상기 번호판의 양 대각선 모서리 패턴이 모두 검색되지 않으면, 상기 입력영상의 컬러정보를 이용한 HSI모델을 이용하여 상기 입력영상을 제2 이진영상으로 변환하는 단계; 및

   상기 제2 이진영상으로부터 미리 설정된 상기 컬러 정보에 따른 상기 자동차 번호판의 모서리 부분에 해당하는 제2 모서리 패턴을 검색하는 단계;를 더 포함하는 것을 특징으로 하는 자동차 번호판 인식방법.
7. 제 6항에 있어서,

   제2 모서리 패턴 검색 단계는,

   상기 제2 이진영상의 수평 및 수직 방향으로 에지를 추출하여 상기 자동차 번호판의 어느 한 대각선 양측 제2 모서리 패턴을 검색하는 것을 특징으로 하는 자동차 번호판 인식방법.
8. 제 7항에 있어서,

   상기 제2 모서리 패턴 검색 단계는,

   상기 어느 한 대각선 양측의 제2 모서리 패턴이 검색되지 않으면, 타측 대각선 양측 제2 모서리 패턴을 검색하는 단계;를 더 포함하는 것을 특징으로 하는 자동차 번호판 인식방법.
9. 제 3항 또는 제 8항에 있어서,

   상기 모서리 패턴 검색은 다음 수학식:

   { (r,c): 검색영역 픽셀

   pattern(i,j): 미리 설정된 모서리 패턴

   B(r+i,c+j): 입력영상의 이진화 영상

   F(r,c): 검색영역(r,c)에서 모서리 패턴의 유사도 상관함수 }

   이 이용되는 것을 특징으로 하는 자동차 번호판 인식방법.
10. 제 9항에 있어서,

    상기 유사도 상관함수가 최대가 되면서, 상기 유사도 상관함수가 임계값 이상인 영역을 상기 번호판영역을 결정하기 위한 특징점으로 결정하는 것을 특징으로 하는 자동차 번호판 인식방법.
11. 제 1항에 있어서,

    상기 번호판영역의 배경과 기호 분할 단계는,

    상기 번호판영역의 배경화소에 대한 평균밝기값 및 표준편차를 계산하는 단계;

    검색화소의 밝기값이 상기 평균밝기값과 상기 표준편차의 차값보다 크거나 상기 평균밝기값과 상기 표준편차의 합값 보다 적으면 배경에 포함된 화소로 판단하며, 그 외에는 기호로 판단하는 단계; 및

    상기 판단결과에 따라 번호판영역을 이진화하는 단계;를 포함하는 것을 특징으로 하는 자동차 번호판 인식방법.
12. 제 1항에 있어서,

    상기 데이터 베이스에는, 등록번호에 이용되는 각 기호, 용도를 표시하기 위한 각 기호, 관할 관청을 나타내는 각 기호, 차종별 각 기호를 각각 규격화된 번호판의 위치정보에 대응하여 각각 기준기호로 등록되어 있는 것을 특징으로 하는 자동차 번호판 인식방법.
13. 제 12항에 있어서,

    상기 비교 단계는,

    상기 번호판영역의 규격화된 위치정보에 따라 각 기호에 대한 검색영역을 설정하는 단계; 및

    설정된 상기 검색영역의 위치에 따라 상기 데이터 베이스에 등록된 각 위치별 기준기호를 템플레이트 매칭하는 단계;를 포함하는 것을 특징으로 하는 자동차 번호판 인식방법.
14. 제 13항에 있어서,

    상기 템플레이트 매칭을 위하여 다음 수학식:

    { C(r,c,n): 유사도 매칭함수

    R(i,j,n): 데이터 베이스에 저장된 기준기호

    (r,c): 검색영역

    I(i+r,j+c): 검색영역에서 추출된 이진화 기호

    n: 데이터 베이스에 등록된 각 위치별 각 기준기호 }

    이 이용되는 것을 특징으로 하는 자동차 번호판 인식방법.
15. 제 14항에 있어서,

    상기 유사도 매칭함수가 가장 높은 기준기호를 상기 자동차 번호판의 기호로 결정한 후, 상기 자동차 번호판 인식 결과에 대한 신뢰도를 산출하는 단계;를 더포함하는 것을 특징으로 하는 자동차 번호판 인식방법.
16. 제 15항에 있어서,

    상기 자동차 번호판 인식 결과에 대한 신뢰도는 다음 수학식:

    { C_max(r,c,n): 유사도 매칭함수 C(r,c,n)이 최대인 값

    N: 비교되는 전체 열수

    M: 비교되는 전체 행수 }

    을 통해 산출하는 것을 특징으로 하는 자동차 번호판 인식방법.