KR20010002146A

KR20010002146A - 신경망을 이용한 번호판 추출 방법

Info

Publication number: KR20010002146A
Application number: KR1019990021792A
Authority: KR
Inventors: 김항준; 박세현
Original assignee: 김항준; 박세현
Priority date: 1999-06-11
Filing date: 1999-06-11
Publication date: 2001-01-05

Abstract

본 발명은 번호판 추출에 관한 것으로, 특히 정지 또는 운행중인 차량의 번호판을 신경망을 이용하여 자동으로 추출하는 방법에 관한 것이다. 본 발명에서는 두 개의 신경망을 이용해 입력 영상을 필터링 한 결과와 번호판의 구조적 정보를 이용해 번호판 영역을 추출한다. 번호판 추출 방법의 입력은 칼라 영상을 사용하며, HSI로 칼라를 표현한다. 본 발명은 사람이 일일이 번호판의 특징을 정의하고 이를 인식하는 알고리즘을 작성할 필요가 없이 학습 예제에 의해 학습된 신경망을 이용해 자동으로 번호판을 추출할 수 있고, 잡음과 영상의 왜곡에 대해 영향을 적게 받으며 병렬 하드웨어로 구현 할 경우 빠른 추출 속도를 기대할 수 있다는 장점을 제공한다

Description

신경망을 이용한 번호판 추출 방법 {Neural Network Based Method for Locating Car License Plate}

본 발명이 속하는 기술 분야는 영상 처리이다. 도로 상의 정지 또는 운행하는 차량 영상으로부터 번호판을 인식하는 자동화 시스템에 대한 요구가 증가되면서 영상처리를 이용한 번호판 추출 기술도 많은 발전을 보이고 있다. 이들 기존의 기술은 크게 3가지 부류로 나눌 수 있다. 첫 번째는 번호판에 수직 에지 성분이 많은 점을 감안하여 영상에 호 트랜스폼(Hough Transform)을 적용해 수직 에지를 검출하는 방법이다. 그러나 이 방법은 많은 차 영상들이 라지에터 등에서도 수직 에지를 가지는 사실 때문에 번호판 영역을 잘못 찾을 수 있다는 문제점과 많은 처리시간을 필요로 하는 단점이 있다. 두 번째는 번호판의 영역의 그레이 값을 이용 하는 방법이다. 비록 이 방법은 호 트랜스폼을 이용하는 방법 보다는 나은 결과를 낼 수 있지만 자동차 영상에서 번호판 영역과 비슷한 그레이 값을 가지는 부분이 있기 때문에 역시 번호판 영역을 잘못 찾을 수 있다는 문제점이 있다. 세 번째는 칼라 정보를 이용하여 그레이 방법의 단점을 보완하려는 방법으로 그레이를 이용하는 방법보다 나은 결과를 낼 수도 있지만 차량 영상에 번호판 영역과 비슷한 칼라를 가지는 곳이 존재 할 수 있다는 사실 때문에 번호판을 잘 못 찾을 가능성이 있다. 위의 세 가지 방법 모두의 문제점은 위에서 얻은 번호판의 특징을 차량영상에서 잘 검출할 수 있는 일반적인 알고리즘을 개발하기 어렵다는 것이다.

본 발명은 정지 또는 운행중인 차량의 영상에서 번호판 영역을 신경망을 이용하여 추출하는 방법에 관한 것이다. 본 발명은 번호판의 특징으로 번호판의 수직 단면과 수평 단면의 칼라 정보를 동시에 이용하고, 영상에서 이런 특징을 찾기위해 신경망을 사용한다. 이로써 본 발명은 기존의 칼라를 이용한 번호판 추출 방법에서 처럼 번호판 이외의 영역이 번호판으로 추출되는 경우를 많이 줄였으며, 사람이 일일이 번호판 특성을 찾아내는 방법을 정의할 필요가 없이 학습에 의해 자동으로 번호판의 추출하고 또한 입력의 잡음과 왜곡에 영향을 적게 받음으로써 실제 시스템에 적용하기에 용이하게 설계한다.

대표도. 본 발명에서 사용하는 시간 지연 신경망: (ㄱ) 신경망의 구조, (ㄴ) 가로 신경망의 인수들.

제1도. 번호판 단면의 예:(a)번호판 영상 (b) 영상(a)의 한 단면의 칼라 값.

본 발명의 입력은 칼라 영상이며 칼라 표현을 위해 HSI 모델을 사용한다. HSI 모델을 이용할 경우 색깔 정보와 밝기 정보를 독립적으로 표현 할 수 있기 때문에 조명에 영향을 적게 받는 번호판 추출시스템을 만들기 쉽다.

본 발명은 크게 두 단계로 이루어져 있다. 첫 번재 단계에서는 입력 영상을 두 개의 신경망을 이용해 필터링 하며 두 번째 단계에서는 후 처리기가 각 신경망의 출력을 조합하여 번호판 영역을 찾는다. 각 신경망 필터의 역할은 어떤 화소와 그의 이웃 화소를 입력으로 받아 그 화소가 번호판일 확률값을 주는 것이다. 두 신경망에 입력에서 이웃화소를 정의하는 윈도우의 크기는 MX1 1XN으로, 두 신경망은 입력 영상의 가로와 세로 단면의 일부만을 입력으로 받게 되고 출력은 0에서 1 사이의 값이다. 이하 입력 윈도우의 크기가 MX1인 신경망은 가로 신경망으로 1XN인 신경망은 세로 신경망으로 부르기로 한다. 본 발명에서 사용하는 신경망에 근거한 필터는 사람이 일일이 필터의 특성을 정의할 필요가 없고 학습에 의해 자동으로 번호판의 추출에 적합한 특성을 가질 수 있으며, 입력의 잡음과 왜곡에 영향을 적게 받는 장점이 있다. 제 1도는 번호판을 포함하는 입력 영상과 그 단면의 칼라 값을 보인다. 각 신경망의 구현은 시간 지연 신경망을 사용한다. 시간 지연 신경망은 전향 신경망의 일종으로 그의 은닉 뉴런과 출력 뉴런이 시간 축으로 복제되어 있는 구조를 가지고 있다. 시간 지연 신경망은 시간축으로 일어나는 사건간의 관계를 표현하고 이를 이용해 최적을 결정을 할 수 있는 능력이 있다. 번호판 영상에서는 명확한 시간 축이 존재하지 않지만 본 발명에서는 영상의 단면이 시간축으로 뻗어있는 것 처럼 시간 지연 신경망을 사용한다. 대표도는 시간지연 신경망의 구조와 그 구조를 정의하는데 사용되는 인수들을 보인다. 이 인수들은 배경 영상과 번호판 영상간의 차이와, 번호판에서 글자의 특성을 잘 표현 할 수 있도록 설정한 것이다. 두 신경망은 오차 역전파 알고리즘을 사용하여 훈련시킨다. 후 처리기의 역할은 필터링 된 두 영상을 조합하여 번호판 영역을 추출하는 것이다.

후처리기의 동작은 3개의 단계로 나뉘어 진다. 첫 번째 단계에서는 두 필터링 된 영상으로부터 각각 후보 영역들을 얻는다. 가로 신경망을 이용해 필터링한 영상의 경우 번호판 후보 영역은 화소의 값이 0.5 이상인 부분과 그의 수평으로 이웃한 화소가 된다. 이와 유사하게 세로 신경망을 이용해 필터링한 영상에서 번호판 후보 영역은 화소의 값이 0.5 이상인 부분과 그의 수직으로 이웃한 화소가 된다. 두 번째 단계에서는 잡음을 제거하고 이웃한 후보 영역을 병합한다. 세 번째 단계에서는 후보 영역중에서 번호판의 모양 정보를 이용하여 최종 번호판 영역을 추출한다. 다음은 후보 영역중에서 최종 번호판 영역을 추출하는 기준이다.

번호판 후보 영역의 최소 인접 사각형의 가로대 세로비는 1.5에서 2.5사이이다. 500X350의 입력영상에서 번호판의 크기는 1,000화소에서 10,000화소 사이이다. 번호판 후보 영역의 넓이와 후보 영역의 최소 인접 사각형의 넓이의 비는 0.9 이상이다.

본 발명의 응용분야로는 번호판 인식 시스템을 들 수 있으며 번호판 인식 시스템은 자동 요금 징수, 과속 단속, 주차장 관리 등의 자동화에 필수적이다. 이 산업들을 자동화 함으로써 인건비 절감의 효과를 낼 수 있으며 자동 요금 징수와 과속 단속에서는 교통 혼잡 완화 등의 효과를 가져 올 수 도 있다.

Claims

정지 또는 운행중인 차량의 번호판 추출에 있어서, a) 번호판 검출을 위한 필터의 입력으로 입력 영상의 가로와 세로 단면을 이용하는 부분과 b) 신경망을 이용하여 입력 영상에서 번호판 부분을 필터링하는 부분과 c) 신경망의 구조와 d) 신경망을 이용해 추출된 영상을 후처리하는 부분.