KR100816794B1 - 컬러 영상 처리를 이용한 차량 번호판 인식 장치 - Google Patents

Abstract

본 발명은 컬러 영상 처리를 이용한 차량 번호판 인식 장치에 관한 것이다. 본 발명의 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득 수단을 구비하는, 컬러 영상 처리를 이용한 차량 번호판 인식 장치는, 상기 영상 획득 수단으로부터 수신한 차량 영상에 대하여, 컬러 정보를 이용하여 번호판 영역을 판별하기 위한 번호판 영역 판별 수단; 상기 번호판 영역 판별 수단으로부터 수신한 영상에 대하여, 구간별 이진화 및 수평/수직 투영을 이용하여 문자 영역을 판별하기 위한 문자 영역 판별 수단; 및 상기 문자 영역 판별 수단으로부터 수신한 영상에 대하여, 템플릿 기반 상관성을 이용하여 문자를 인식하기 위한 문자 인식 수단을 포함한다.

차량 번호판, 컬러 정보, 구간별 이진화, 템플릿, 상관성

Description

컬러 영상 처리를 이용한 차량 번호판 인식 장치{Apparatus for Recognizing Number Plate by using Color Image Control}

도 1은 일반적인 차량 번호판의 구성도,

도 2는 본 발명에 컬러 영상 처리를 이용한 차량 번호판 인식 장치의 일실시예 구조도,

도 3은 상기 도 2의 번호판 영역 판별부의 일실시예 상세 구조도,

도 4a는 상기 도 2의 영상 획득부가 획득한 차량 영상의 일예시도,

도 4b는 상기 도 4a의 영상을 HIS 변환한 일예시도,

도 4c는 상기 도 4b의 영상에 대하여 이진화를 수행한 일예시도,

도 4d는 상기 도 4c의 영상에 대하여 이로젼을 수행한 일예시도,

도 4e는 상기 도 4d의 영상에 대하여 번호판 영역을 인식한 결과를 설명하기 위한 일예시도,

도 5는 상기 도 2의 문자 영역 판별부의 일실시예 상세 구조도,

도 6a는 상기 도 2의 번호판 영역 판별부로부터 수신한 번호판 영상의 일예시도,

도 6b는 상기 도 6a의 영상에 대하여 일반적인 이진화를 수행한 일예시도,

도 6c는 상기 도 6a의 영상을 구간별로 세분화한 일예시도,

도 6d는 상기 도 6c의 영상에 대하여 구간별 이진화를 수행한 일예시도,

도 6e는 상기 도 6c의 영상에 대하여 추출한 수평/수직 히스토그램의 일예시도,

도 6f는 상기 도 6e의 영상에 대하여 번호판 영역을 인식한 결과를 설명하기 위한 일예시도,

도 7a 내지 도 7d는 상기 도 2의 문자 인식부가 문자 인식을 수행한 결과를 나타내기 위한 일예시도.

*도면의 주요 부분에 대한 부호의 설명

210 : 영상 획득부 230 : 번호판 영역 판별부

240 : 문자 영역 판별부 250 : 문자 인식부

260 : 결과 전송부 310 : RGB 분리기

320 : HIS 변환기 330, 510 : 이진화 수행기

340 : 이로젼 수행기 350 : 번호판 영역 인식기

520 : 잡음 제거기 530 : 수평 투영기

540 : 수직 투영기 550 : 문자 영역 인식기

본 발명은 주차 관제용 차량 번호판 인식 장치에 관한 것으로, 특히 빌딩 자동화를 위한 주차 관제용 영상 처리 시스템에서 칼라 전하 결합 소자(Charge Coupled Device; CCD) 카메라 등을 이용한 영상 처리 과정을 통해 차량 번호판 부위를 인식하여 분리한 후 템플릿 매칭 방식으로 문자를 인식하기 위한, 주차 관제용 차량 번호판 인식 장치에 관한 것이다.

빌딩이 고급화되고 무인 관리 시스템이 도입되면서, 주차장에서 차량의 진입, 진출을 자동으로 관리하는 시스템이 개발 및 도입되고 있다.

한편, 무인 단속 카메라의 증가 추세로 말미암아, 이를 관리하고자 하는 시스템 역시 그 개발이 지속되고 있다.

이러한 관리 시스템은, 주로 차량의 번호판을 인식하여 차량의 정보를 입력받아, 그 차량을 관리하는 것으로서, 무인으로 차량의 통행을 관리하고 제어할 수 있으므로, 편리함과 효율성이 증대되는 장점이 있다.

그러나, 종래의 차량 번호판 인식 시스템은, 그 번호판의 인식이 부정확하여, 번호판을 정확하게 인식하는 기술이 시급하게 요구되고 있다.

본 발명은 상기한 바와 같은 요구에 부응하기 위하여 제안된 것으로, 칼라 영상 처리 과정을 통해 차량 번호판 부위를 인식하여 분리하고, 템플릿 매칭 방식을 문자를 인식함으로써, 차량 번호판 인식의 효율성을 제공하기 위한 컬러 영상 처리를 이용한 차량 번호판 인식 장치를 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득 수단을 구비하는, 컬러 영상 처리를 이용한 차량 번호판 인식 장치에 있어서, 상기 영상 획득 수단으로부터 수신한 차량 영상에 대하여, 컬러 정보를 이용하여 번호판 영역을 판별하기 위한 번호판 영역 판별 수단; 상기 번호판 영역 판별 수단으로부터 수신한 영상에 대하여, 구간별 이진화 및 수평/수직 투영을 이용하여 문자 영역을 판별하기 위한 문자 영역 판별 수단; 및 상기 문자 영역 판별 수단으로부터 수신한 영상에 대하여, 템플릿 기반 상관성을 이용하여 문자를 인식하기 위한 문자 인식 수단을 포함하는 컬러 영상 처리를 이용한 차량 번호판 인식 장치를 제공한다.

본 발명은, 번호판을 포함하는 차량 영상을 획득하여, 영상 내에서 번호판의 위치를 찾아낸 후, 해당 번호판 내에 있는 문자 및 숫자를 각각 영역 분할 과정을 통해 얻고, 이를 인식하는 것이다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 일반적인 차량 번호판의 구성도이다.

도면에 도시된 바와 같이, 차량 번호판은 일반적으로 다음과 같은 특징을 가지므로, 이들의 특징을 영상 처리에 사전 지식으로 활용하여 판정율을 높일 수 있다.

우선, 번호판의 가로 대 세로의 비는 2:1이고, 번호판의 배경 영역과 문자 영역의 비는 약 7:3이며, 번호판의 배경 영역과 문자 영역의 색상의 차이는 뚜렷하다.

또한, 자가용 차량의 번호판의 배경은 초록색이고, 문자는 흰색이며, 영업용 차량의 번호판의 배경은 노랑색이고 문자는 군청색이다. 한편, 번호판은 주변 영역과 뚜렷하게 구별되는 테두리를 가지며, 번호판의 각 문자는 고유한 위치 정보를 가진다. 마지막으로, 번호판은, 관할 관청 기호(110), 차종별 기호(120), 용도별 기호(130) 및 등록 번호(140)로 구성된다.

이와 같은 번호판의 특징을 이용하여, 본 발명의 차량 번호판 인식 장치를 설명하기로 한다.

도 2는 본 발명에 컬러 영상 처리를 이용한 차량 번호판 인식 장치의 일실시예 구조도이다.

도면에 도시된 바와 같이, 본 발명의 인식 장치는, 영상 획득부(210), 번호판 영역 판별부(220), 문자 영역 판별부(230), 문자 인식부(240) 및 결과 전송부(250)를 포함한다.

상기 영상 획득부(210)는 고해상도 카메라(도시되지 않음)와 조명(도시되지 않음), 스트로브(도시되지 않음), 줌 렌즈(도시되지 않음) 등을 사용하여, 번호판을 포함하는 차량 영상을 획득하는 기능을 담당한다.

차량의 정면 영상 획득 후 차량 번호판의 문자를 인식하기 위해서 가장 먼저 해야 하는 것은, 영상에서 번호판 부위를 정확하게 인식하는 것이다.

상기 번호판 영역 판별부는, 상기 영상 획득부(210)가 획득한 영상에서 번호판 영역을 인식하는 기능을 담당한다.

종래의 차량 번호판 부위 판정 시스템은 카메라의 사양에 따라서 흑백 영상 및 컬러 정보를 이용하는 방법으로 크게 나눌 수 있다. 흑백 영상의 경우 픽셀당 256 레벨의 밝기 정보를 이용하는 것으로서, 차량 번호판 부위를 판별하기 위해서 영상의 이진화, 수직 및 수평 윤곽선 추출, 노이즈 제거, Hough 변환 등 다양한 알고리즘을 복합적으로 적용해야 하므로, 그 연산이 복잡해지는 문제가 있다.

본 발명의 번호판 영역 판별부(220)는, 컬러 정보를 이용하는 것으로 한다. 이를 도 3을 참조하여 상세히 설명하기로 한다.

도 3은 상기 도 2의 번호판 영역 판별부의 일실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 번호판 영역 판별부(220)는, 적/녹/청(Red, Green 및 Blue; 이하, 간단히 'RGB'라 함) 분리기(310), 색상/명도/채도(Hue, Intensity 및 Saturation; 이하, 간단히 'HIS'라 함) 변환기(320), 이진화 수행기(330), 이로젼 수행기(340) 및 번호판 영역 인식기(350)를 포함하여 구성된다.

차량의 번호판 분리를 위한 색 정보는 HIS 색채 모델로부터 얻을 수 있다. 자가용 및 영업용 차량의 번호판은 각각 초록색 바탕에 흰색 문자 및 노랑색 바탕에 군청색 문자 영역을 가지므로 초록색 및 노랑색의 사각형 영역을 영상에서 추출하면 된다.

이를 위하여, 상기 RGB 분리기(310)는 차량 영상을 RGB(Red, Green, Blue) 성분으로 각각 분리하는 기능을 담당한다.

상기 HIS 변환기(320)는, 상기 RGB 분리기(310)에 의해 분리된 RGB 성분에 대하여, 아래 수학식을 이용하여 각각 HIS로 변환하는 기능을 담당한다.

이를, 도면을 참조하여 그 일예를 설명하기로 한다.

도 4a는 상기 도 2의 영상 획득부가 획득한 차량 영상의 일예시도이며, 도 4b는 상기 도 4a의 영상을 HIS 변환한 일예시도로서, 상기 수학식 1을 적용하여 명도 값으로 변환한 결과를 나타낸 것이다.

도면에 도시된 바와 같이, 번호판 부위에 해당하는 부분에서 뚜렷한 특징이 얻어지는 것을 알 수 있다.

그러나, 상기 도 4b의 영상만으로는 번호판을 정확하게 추출할 수는 없다. 도면에 도시된 바와 같이, 번호판과 동일한 컬러 성분이 영상이 도처에 존재하기 때문이다. 따라서, 번호판만을 정확하게 추출하기 위해서는 영상의 후처리 과정이 필요하게 된다.

상기 도 4b에서, 번호판 부위는 특정 컬러로 한 블록을 형성하고 있다. 따라서, 이 부분을 남긴 나머지 부분을 제거하기 위하여, 상기 이진화 수행기(330)는 상기 HIS 변환기(320)로부터 수신한 영상에 대하여 이진화를 수행하는 기능을 담당한다.

도 4c는 상기 도 4b의 영상에 대하여 이진화를 수행한 일예시도이다.

도면에 도시된 바와 같이, 이진화를 통해서 번호판을 제외한 대부분의 영상이 제거되었지만, 번호판의 일부가 사리지는 문제점이 발생하므로 작은 점들을 서로 뭉쳐주기 위하여, 상기 이로젼(Erosion) 수행기(340)는 상기 이진화 수행기(330)로부터 수신한 영상에 대하여 이로젼을 수행하는 기능을 담당한다.

도 4d는 상기 도 4c의 영상에 대하여 이로젼을 수행한 일예시도이다.

상기 도 4d 영상으로부터, 영상 내에서의 사각형 형태의 블록이 차량의 번호판에 해당하는 것이다.

상기 번호판 영역 인식기(350)는 이로젼이 수행된 영상으로부터 번호판 영역을 인식하는 기능을 담당한다.

도 4e는 상기 도 4d의 영상에 대하여 번호판 영역을 인식한 결과를 설명하기 위한 일예시도이다.

이후, 상기 도 2의 문자 영역 판별부(230)는 차량의 영상으로부터 분리된 번 호판 영역에서 문자 영역을 판별하는 기능을 담당한다.

번호판에서의 문자는 그 일정한 위치를 차지하고 있다. 따라서, 번호판 부위를 100% 정확하게 추출하였다면 번호판 내의 문자 부위 추출은 단순한 좌표값 계산을 통해 얻을 수 있다.

그러나, 일반적인 경우에 있어서 번호판 추출은 경계 영역에 있어서 약간의 오차를 가지게 된다. 이로 인해, 단순한 좌표값만을 이용하여 문자를 분리할 경우 원하는 결과를 얻지 못하는 경우가 발생할 수 있다.

다음의 표는 차량 번호 분류 체계에 의한 차종 분류를 나타낸 것이다.

번호판의 문자는 상기 표와 같이 관할 관청 기호, 차종 번호, 용도 기호, 등록 번호로 구성되어 있다. 관할 관청 기호는 모두 15종이며 차종 번호(A, B)는 번호에 따라서 승용차, 버스, 화물, 특수차 등으로 분류가 되는 89종의 번호를 가지 고 있다. 용도별 기호(C)는 자가용 20개 번호 등 모두 25개로 구성되어 있고 등록 번호(D)는 1000 번에서 9999번까지 9000종의 네 자리 번호가 있다.

번호판 인식시 관할 관청 기호는 15종의 한정된 숫자와 조합 가능한 경우와 그렇지 못한 경우가 존재하므로, 인식 결과를 후처리하여 결과를 보다 좋게 할 수 있다. 예를 들면, "서울"의 경우 "서북"으로 인식하였을 때, "서"와 "북"의 조합은 있을 수 없는 내용이므로 두 글자 중 하나가 잘못되었다는 것을 알 수 있다.

따라서, "서"와 "북"을 인식하는 과정에서 계산된 결과의 인식율을 비교하여 두 글자 중 하나의 인식율을 기준으로 다른 글자의 내용을 재인식시키는 과정을 거쳐 보다 정밀한 결과를 얻을 수 있다.

도 5는 상기 도 2의 문자 영역 판별부의 일실시예 상세 구조도이다.

도면에 도시된 바와 같이, 본 발명의 문자 영역 판별부(230)는, 이진화 수행기(510), 잡음 제거기(520), 수평 투영기(530), 수직 투영기(540) 및 문자 영역 인식기(550)를 포함하여 구성된다.

상기 이진화 수행기(510)는, 상기 번호판 영역 판별부(220)로부터 수신한, 번호판 부위를 이진화하는 기능을 담당한다. 이때, 번호판 영상의 매우 다양한 변형 조건을 감안하여, 전체 번호판 영역을 작은 영역으로 세분화한 후 구간별로 최대 및 최소 밝기값을 계산하여 영상의 이진화(구간별 이진화)를 시행할 수 있다.

도 6a는 상기 도 2의 번호판 영역 판별부로부터 수신한 번호판 영상의 일예시도이며, 도 6b는 상기 도 6a의 영상에 대하여 일반적인 이진화를 수행한 일예시도이다.

도면에 도시된 바와 같이, 상기 도 6a의 번호판의 일부가 찌그러져 있어 영상의 밝기 분포가 불균일하여, 일반적인 이진화 수행에 의해서는 문자 부위를 명확하게 추출하기가 매우 어렵다는 것을 볼 수 있다.

도 6c는 상기 도 6a의 영상을 구간별로 세분화한 일예시도이며, 도 6d는 상기 도 6c의 영상에 대하여 구간별 이진화를 수행한 일예시도이다.

도면에 도시된 바와 같이, 세부 구간을 나누어 구간별 이진화를 수행하면, 매우 깨끗한 이진 영상이 출력됨을 알 수 있다

상기 잡음 제거기(520)는 상기 이진화 수행기(510)로부터 수신한 영상에 대하여 메디안 필터링(Median Filtering) 등을 이용하여 잡음을 제거하는 기능을 담당한다. 이를 통하여, 배경과 문자의 분리가 매우 쉬워지게 된다.

상기 수평 투영기(530) 상기 잡음 제거기(520)로부터 수신한 영상에 대하여 수평 방향으로 투영(Projection)하여, 상부와 하부의 문자 구간을 추출하는 기능을 담당하며, 상기 수직 투영기(540)는, 상기 수평 투영기(530)로부터 분리된 상/하부 각각에 대하여 수직 방향 투영을 통해 문자 부위를 판별하는 기능을 담당한다.

도 6e는 상기 도 6c의 영상에 대하여 추출한 수평/수직 히스토그램의 일예시도이다.

이후, 상기 문자 영역 인식기(550)는 상기 수직 투영기(540)로부터 수신한 영상에 대하여, 문자 영역을 인식하는 기능을 담당한다. 도 6f는 상기 도 6e의 영상에 대하여 번호판 영역을 인식한 결과를 설명하기 위한 일예시도이다.

도면에 도시된 바와 같이, 본 발명에 따른 문자 부위의 추출은 매우 정확하 게 수행됨을 알 수 있다.

이와 같이, 문자 영역을 인식한 후, 상기 문자 인식부(240)는 상기 문자 영역 판별부(230)로부터 수신한 영상에 대하여 템플릿 고정 크기로 스케일 변환한 후, 상관성을 이용하여 문자를 인식하는 기능을 담당한다. 이를 자세히 설명하면 다음과 같다.

미지의 영상에 대하여 알고 있는 영상들의 집합간의 관계를 표현하기 위한 방법으로, 템플릿을 이용한 상관성 계산 방법이 있다. 저장된 템플릿 중 가장 잘 맞는 것을 찾으려면 가장 큰 상관성 함수값을 가지는 영상을 택하면 된다. 결과로서 생기는 상관성은 2차원 함수이기 때문에, 찾는 과정에는 각각의 함수에서 가장 큰 진폭을 찾아내는 작업도 포함된다.

두 연속 함수 f(x)와 g(x)의 상관도(Correlation)는

로 나타내고, 이 복소수 켤레(complex conjugate)를 이용하여 다음과 같은 식으로 표현할 수 있다.

영상의 경우 픽셀 단위로 계산되므로, f(x)와 g(x)는 이산 함수가 되며 이들의 상관도(Correlation)는 다음 식과 같이 표현할 수 있다.

임의의 M×N 영상 f(x, y)내에 있는 크기 J×K의 부분영상 w(x, y)의 정합을 찾는 방법을 생각해 보자. 여기서 J≤M, K≤N이라고 가정을 하기로 한다. f(x, y)와 w(x, y)의 상관 관계식은 다음 수학식과 같다.

여기서,

이며,

이다. 합연산은 f와 w가 겹쳐지는 영상 영역에서 이루어진다. 그러나, 위의 식은 함수 f 와 w의 진폭 변화에 민감한 단점을 가지고 있다. 이 문제를 해결하기 위해서 다음과 같은 상관 계수를 제안하기로 한다.

이와 같이, 상기 수학식 4의 상관 함수는 상기 수학식 5의 상관 계수

에 의해 정규화될 수 있다. 다만, 상기 상관 계수에 의해서는 크기와 회전의 변화에 대해서는 상관 함수의 적용이 어려울 수 있으므로, 본 발명에서는 차량의 번호판 부위의 가변적 크기를 템플릿 고정 크기로 스케일 변환한 후, 상관 관계를 계산하는 것으로 한다.

도 7a 내지 도 7d는 상기 도 2의 문자 인식부가 문자 인식을 수행한 결과를 나타내기 위한 일예시도이다.

도면에 도시된 바와 같이, 번호판이 기울어지거나(도 7b), 찌그러진 경우(도 7c 및 도 7d)에도 그 문자 인식을 훌륭하게 수행할 수 있음을 알 수 있다.

이후, 상기 결과 전송부(250)는 해당 차량 번호판의 인식 결과를 관리 시스템(도시되지 않음)에 전송하는 기능을 담당하게 된다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기와 같은 본 발명은, 획득한 차량 정면 영상에 대하여, 컬러 영상 처리를 이용하여 차량 번호판 영역을 분리하고, 해당 번호판 영상에 대하여 구간별 이진화를 수행하며, 템플릿 기반의 상관성에 의한 문자 인식을 수행함으로써, 주차 관제 또는 고속도로 무인 톨게이트 시스템 등에서 효율적으로 차량 번호를 인식하도록 하는 효과가 있다.

Claims (4)

1. 삭제
2. 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득 수단을 구비하는, 컬러 영상 처리를 이용한 차량 번호판 인식 장치에 있어서,

   상기 영상 획득 수단으로부터 수신한 차량 영상을 적/녹/청(RGB) 성분으로 분리하기 위한 RGB 분리 수단, 상기 RGB 성분을 이용하여 색상/명도/채도(HIS)로 변환하기 위한 HIS 변환 수단, 상기 HIS 변환 수단으로부터 수신한 영상에 대하여 이진화를 수행하기 위한 제 1이진화 수행 수단, 상기 제 1이진화 수행 수단으로부터 수신한 영상에 대하여 이로젼을 수행하기 위한 이로젼 수행 수단, 및 상기 이로젼 수행 수단으로부터 수신한 영상에 대하여 번호판 영역을 인식하기 위한 번호판 영역 인식 수단을 구비하는 번호판 영역 판별 수단;

   상기 번호판 영역 판별 수단으로부터 수신한 영상에 대하여, 구간별 이진화 및 수평/수직 투영을 이용하여 문자 영역을 판별하기 위한 문자 영역 판별 수단; 및

   상기 문자 영역 판별 수단으로부터 수신한 영상에 대하여, 템플릿 기반 상관성을 이용하여 문자를 인식하기 위한 문자 인식 수단

   을 포함하는 컬러 영상 처리를 이용한 차량 번호판 인식 장치.
3. 제 2항에 있어서,

   상기 문자 영역 판별 수단은,

   상기 번호판 영역 판별 수단으로부터 수신한 영상에 대하여, 번호판 영역을 세분화하여 구간별로 이진화를 수행하기 위한 제 2이진화 수행 수단;

   상기 제 2이진화 수행 수단으로부터 수신한 영상에 대하여 잡음을 제거하기 위한 잡음 제거 수단;

   상기 잡음 제거 수단으로부터 수신한 영상에 대하여 수평 방향으로 투영하여, 상부와 하부 문자 구간을 추출하기 위한 수평 투영 수단;

   상기 수평 투영 수단으로부터 분리된 상/하부 구간 각각에 대하여 수직 방향 투영을 통해 문자 구간을 추출하기 위한 수직 투영 수단; 및

   상기 수직 투영 수단으로부터 수신한 영상에 대하여 문자 영역을 인식하기 위한 문자 영역 인식 수단

   을 포함하는 것을 특징으로 하는 컬러 영상 처리를 이용한 차량 번호판 인식 장치.
4. 삭제

Images