KR101182173B1 - 차량 번호판 인식 방법 및 시스템 - Google Patents

Abstract

차량 번호판 인식 방법이 개시된다. 상기 차량 번호판 인식 방법은 번호판의 부착된 차량의 영상을 수신하는 단계, DoG 필터를 이용하여 상기 번호판의 영역을 추정하는 단계, 임계값에 따라 상기 번호판의 영역을 이진화하여 상기 번호판의 영역에 포함된 각 문자를 구분하는 단계, 및 신경망 문자 인식기를 이용하여 상기 각 문자를 인식하는 단계를 포함한다.

Description

차량 번호판 인식 방법 및 시스템{Method and system for recognizing vehicle plate}

본 발명은 차량 번호판 인식 방법 및 시스템에 관한 것으로, 특히 기하학적 왜곡이나 화질의 저하가 발생된 차량의 영상에서도 정확하게 차량 번호판을 인식할 수 있는 차량 번호판 인식 방법 및 시스템에 관한 것이다.

최근 전국적으로 스마트시티(smart city) 조성에 대한 관심이 높아지면서 지능형 교통 시스템 구축에 대한 연구들이 활발히 진행되고 있다. 특히, 도로에서 주행하는 차량들의 번호판을 실시간으로 인식해서 자동으로 관리할 수 있는 기술에 대한 요구가 증대되고 있다.

그러나, 도로상에 설치된 CCTV로부터 차량의 영상을 획득할 때, 상기 차량에 부착된 번호판의 기울어짐, 햇빛, 또는 조명의 영향 등으로 정확하게 상기 번호판 인식이 어려울 수 있다.

상기 차량의 주행 위치가 달라질 때, 상기 CCTV로부터 획득한 상기 차량의 번호판 영상은 기하학적 형태가 다양하게 변할 수 있고, 상기 CCTV의 촬영 각도에 따라 상기 번호판에 포함된 문자와 상기 번호판의 테두리가 접촉될 수 있다.

또한, 햇빛의 영향으로 상기 CCTV로부터 획득한 영상에서 스미어(smear) 현상이 생기거나, 야간 조명의 영향으로 상기 CCTV로부터 획득한 영상에서 블러링(blurring)이 생성될 수 있다.

일반적으로 도로에 주행하는 차량의 번호판 인식을 위하여 차량의 통행 순간을 감지하는 적외선과 같은 트리거(trigger) 신호가 이용된다. 상기 트리거 신호를 이용하여 상기 차량의 번호판을 인식할 때, 상기 트리거 신호를 이용하기 위한 별도의 장치가 필요하다.

상기 트리거 신호가 이용되지 않을 때 상기 CCTV로부터 획득한 상기 차량의 번호판 영상에서 기하하적 왜곡이나 영상 왜곡은 상기 트리거 신호가 이용될 때보다 더 심하다.

상기 CCTV로부터 획득한 차량의 영상에서 번호판 영역을 검출하는 방법은 번호판 색상을 이용하는 방법, 번호판 형태를 이용하는 방법, 및 번호판 문자 배열 정보를 이용하는 방법과 같은 다양한 방법들이 있다. 상기 번호판 문자 배열 정보를 이용하여 상기 CCTV로부터 획득한 차량의 영상에서 번호판 영역을 검출하는 방법은 기하학적 왜곡이나 화질 저하에 비교적 강하다. 그러나, 트리거 신호를 이용하지 않고 촬영된 차량의 영상에서 문자 획이 잘 보존된 에지 정보를 추출하기는 어렵다.

따라서 기하학적 왜곡이나 화질의 저하가 발생한 번호판 영상에서도 문자 획이 잘 보존된 에지 정보를 찾아서 문자 획의 정밀한 분석이 가능하도록 하는 기술이 필수적으로 요구된다.

본 발명이 이루고자 하는 기술적인 과제는 기하학적 왜곡이나 화질의 저하가 발생된 차량의 영상에서도 정확하게 차량 번호판을 인식할 수 있는 차량 번호판 인식 방법 및 시스템을 제공하는 것이다.

본 발명의 실시 예에 따른 차량 번호판 인식 방법은 번호판의 부착된 차량의 영상을 수신하는 단계, DoG 필터를 이용하여 상기 번호판의 영역을 추정하는 단계, 임계값에 따라 상기 번호판의 영역을 이진화하여 상기 번호판의 영역에 포함된 각 문자를 구분하는 단계, 및 신경망 문자 인식기를 이용하여 상기 각 문자를 인식하는 단계를 포함한다.

상기 DoG 필터를 이용하여 상기 번호판의 영역을 추정하는 단계는 상기 차량의 영상에 상기 DoG 필터를 적용하여 에지 기반 이미지를 생성하는 단계, 상기 에지 기반 이미지에서 아래부터 위 방향으로 라인을 이동시켜 에지 기반 세그먼트를 찾는 단계, 상기 에지 기반 세그먼트를 이용하여 상기 번호판의 영역에 포함된 상기 각 문자가 존재하는지 여부를 판단하는 단계, 및 상기 판단된 각 문자에 따라 상기 번호판의 영역을 추정하는 단계를 포함한다.

실시 예에 따라 상기 차량 번호판 인식 방법은 상기 영상을 수신한 후, 상기 영상에 대해 가우시안 스무딩을 적용하는 단계를 더 포함할 수 있다.

실시 예에 따라 상기 차량 번호판 인식 방법은 상기 영상을 수신한 후, 상기 영상에 대해 메디안 필터링을 적용하는 단계를 더 포함할 수 있다.

실시 예에 따라 상기 차량 번호판 인식 방법은 상기 추정된 번호판의 영역에 대해 시그모이드 변환 함수를 적용하여 상기 추정된 번호판의 영역을 선명화하는 단계를 더 포함할 수 있다.

상기 번호판의 영역의 이진화를 위한 상기 임계값은 다음의 수학식,

에 의해 계산되며, 상기 t(x,y)는 상기 임계값을 나타내고, 상기 m(x,y)는 상기 번호판의 영역의 각 픽셀의 평균 명도 값을 나타내고, s(x,y)는 상기 각 픽셀의 명도 표준 편차를 나타내고, 상기 k와 상기 R 각각은 상수를 나타낸다.

실시 예에 따라 차량 번호판 인식 방법은 상기 추정된 번호판의 영역에 대해 다음의 수학식 1과 수학식 2를 이용하여 기하학적 변형을 수행하는 단계를 더 포함할 수 있다. 상기 수학식 1은 X=k1x+k2x+k3xy+k4 이며, 상기 수학식 2는 Y=k5x+k6y+k7xy+k8이다.

상기 X와 상기 Y 각각은 상기 기하학적 변형에 의해 변형될 번호판의 각 꼭지점의 x좌표와 y좌표를 나타내며, 상기 x와 상기 y각각은 상기 추정된 번호판의 각 꼭지점의 x좌표와 y좌표를 나타내며, 상기 k1, 상기 k2, 상기 k3, 상기 k4, 상기 k5, 상기 k6, 상기 k7, 및 상기 k8 각각은 매개변수를 나타낸다.

본 발명의 실시 예에 따른 차량 번호판 인식 시스템은 번호판의 부착된 차량의 영상을 수신하는 영상 수신 모듈, DoG 필터를 이용하여 상기 번호판의 영역을 추정하는 번호판 추정 모듈, 임계값에 따라 상기 번호판의 영역을 이진화하여 상기 번호판의 영역에 포함된 각 문자를 구분하는 문자 구분 모듈, 및 신경망 문자 인식기를 이용하여 상기 각 문자를 인식하는 문자 인식 모듈을 포함한다.

상기 번호판 추정 모듈은 상기 차량의 영상에 상기 DoG 필터를 적용하여 에지 기반 이미지를 생성하며, 상기 에지 기반 이미지에서 아래부터 위 방향으로 라인을 이동시켜 에지 기반 세그먼트를 찾고, 상기 에지 기반 세그먼트를 이용하여 상기 번호판의 영역에 포함된 상기 각 문자가 존재하는지 여부를 판단하여, 상기 판단된 각 문자에 따라 상기 번호판의 영역을 추정한다.

본 발명의 실시 예에 따른 차량 번호판 인식 방법 및 시스템은 DoG(difference of gaussians) 필터를 이용함으로써 정확하게 차량 번호판을 인식할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 차량 번호판 인식 장치를 포함하는 시스템의 블록도를 나타낸다.
도 2는 도 1에 도시된 차량 번호판 인식 장치의 블록도를 나타낸다.
도 3은 도 1에 도시된 차량의 에지 기반 이미지를 나타낸다.
도 4a와 도 4b는 도 1에 도시된 차량의 번호판 영역을 추정하기 위한 번호판의 다양한 형태들을 나타낸다.
도 5는 도 1에 도시된 차량의 번호판 영역을 정규화하는 동작 다이어그램을 나타낸다.
도 6은 도 1에 도시된 차량의 번호판 영역을 정규화하는 동작 다이어그램의 실시 예를 나타낸다.
도 7은 도 1에 도시된 차량의 번호판 영역을 선명화하는 동작 다이어그램을 나타낸다.
도 8은 도 1에 도시된 차량의 번호판 영역이 이진화된 이미지를 나타낸다.
도 9는 도 1에 도시된 차량의 번호판 영역에 포함된 각 문자를 인식하기 위해 훈련 문자들의 다이어그램을 나타낸다.
도 10은 도 1에 도시된 차량 번호판 인식 시스템의 동작을 설명하기 위한 흐름도를 나타낸다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 차량 번호판 인식 장치를 포함하는 시스템의 블록도를 나타낸다.

도 1을 참조하면, 차량 번호판 인식 시스템(100)은 차량 번호판 인식 장치(10)와 카메라(20)를 포함한다.

카메라(20)는 번호판(40)이 부착된 차량(30)을 촬영한다. 예컨대, 카메라(20)는 CCTV일 수 있다. 카메라(20)는 촬영된 차량(30)의 영상을 차량 번호판 인식 장치(10)로 전송한다. 차량 번호판 인식 장치(10)는 촬영된 차량(30)의 영상을 카메라(20)로부터 수신하여 차량(30)의 번호판(40)을 인식한다.

도 1에서 카메라(20)와 차량 번호판 인식 장치(10)는 물리적으로 접속되게 도시되었으나 실시 예에 따라 카메라(20)와 차량 번호판 인식 장치(10)는 물리적으로 분리될 수 있다. 이 때, 카메라(20)와 차량 번호판 인식 장치(10)는 무선 통신으로 데이터를 주고 받을 수 있다.

도 2는 도 1에 도시된 차량 번호판 인식 장치의 블록도를 나타낸다.

도 1과 도 2를 참조하면, 차량 번호판 인식 장치(10)는 영상 수신 모듈(11), 번호판 추정 모듈(13), 문자 구분 모듈(15), 및 문자 인식 모듈(17)을 포함한다.

본 명세서에 모듈(module)이라 함은 본 발명의 실시 예에 따른 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 프로그램 코드와 상기 프로그램 코드가 수행되기 위한 하드웨어 리소스의 논리적 또는 기능적 단위를 의미할 수 있으며 반드시 물리적으로 연결된 프로그램 코드를 의미하거나 한 종류의 하드웨어를 의미하는 것은 아니다.

영상 수신 모듈(11)은 차량(30)의 영상을 카메라(20)로부터 수신한다. 상기 영상은 이미지일 수 있다. 또한 상기 영상은 그레이스케일(grayscale) 이미지일 수 있다. 즉, 상기 영상에서 각 픽셀의 값은 색채 정보 없이 회색의 강도 정보만을 나타낸다. 따라서 본 명세서에서는 '영상'이라는 용어는 '그레이스케일 이미지'이라는 용어와 혼용하여 사용된다.

차량(30)의 영상은 왜곡될 수 있다. 따라서 차량 번호판 인식 장치(10)는 차량(30)의 번호판(40)을 정확하게 인식하기 위해서 여러 가지 동작들을 수행해야 한다.

번호판 추정 모듈(13)은 DoG(difference of gaussians) 필터를 이용하여 번호판(40)의 영역을 추정한다. 상기 DoG 필터는 흐릿한 2개의 영상들 중 덜 흐릿한 영상에서 나머지 영상을 감산하여 상기 영상 또는 그레이스케일 이미지를 향상시킨다. 상기 흐릿한 2개의 영상들은 카메라(20)로부터 출력된 차량(30)의 그레이스케일 이미지와 서로 다른 표준편차들을 가지는 가우시안 커널들(Gaussian kernels)을 컨볼루션(convolution)함으로써 얻어진다. 예컨대, 상기 그레이스케일 이미지와 표준편차 '1'을 가지는 가우시안 커널들을 컨볼루션하여 하나의 영상이 얻어지고, 상기 그레이스케일 이미지와 표준편차 '2'를 가지는 가우시안 커널들을 컨볼루션하여 다른 하나의 영상이 얻어진다.

번호판 추정 모듈(13)은 차량(30)의 영상에 상기 DoG 필터를 적용하여 에지 기반 이미지를 생성한다.

도 3은 도 1에 도시된 차량의 에지 기반 이미지를 나타낸다.

도 1 내지 도 3을 참조하면, 번호판 추정 모듈(13)은 에지 기반 이미지(31)에서 아래부터 위 방향으로 라인을 이동시켜 에지 기반 세그먼트(edge based segment)를 찾는다. 상기 에지 기반 세그먼트는 에지들에 의해 생성되는 영역을 의미한다. 번호판 추정 모듈(13)은 상기 에지 기반 세그먼트에 기초하여 번호판(40)에 포함된 문자들이 존재하는지 판단한다.

도 4a와 도 4b는 도 1에 도시된 차량의 번호판 영역을 추정하기 위한 번호판의 다양한 형태들을 나타낸다. 도 4a와 도 4b에서 'H'는 높이를 나타내며, 'W'는 폭을 나타내며, '0.5xW'는 'W' 폭에 비해 1/2배의 폭을 가짐을 나타내고, '0.8xH'는 'H' 높이에 비해 0.8배의 높이를 가짐을 나타낸다.

도 1 내지 도 4b를 참조하면, 번호판 추정 모듈(13)은 에지 기반 이미지(31)에서 큰 숫자들(D1, D2, D3, 및 D4)에 대응하는 에지 기반 세그먼트를 찾을 때, 번호판 추정 모듈(13)은 나머지 문자들(도 4a에 도시된 A, B, C, D 및 H1, 또는 도 4b에 도시된 H1, D5, 및 D6)에 대응하는 에지 기반 세그먼트를 찾는다. 예컨대, 나머지 문자들(도 4a에 도시된 A, B, C, D, 및 H1 또는 도 4b에 도시된 H1, D5, 및 D6)각각은 문자 또는 작은 숫자를 의미한다. 따라서 번호판 추정 모듈(13)이 각 문자에 대응하는 에지 기반 세그먼트를 찾을 때, 번호판 추정 모듈(13)은 상기 판단된 각 문자의 위치에 따라 번호판(40)의 영역, 즉, 번호판(40)의 위치를 추정한다.

또한, 번호판 추정 모듈(13)은 큰 숫자들(D1, D2, D3, 및 D4)에 대응하는 에지 기반 세그먼트의 위치 또는 나머지 문자들(도 4a에 도시된 A, B, C, D 및 H1, 또는 도 4b에 도시된 H1, D5, 및 D6)에 대응하는 에지 기반 세그먼트의 위치에 따라 번호판의 형태를 추정할 수 있다.

도 1에 도시된 차량(30)은 다양한 형태의 번호판들 중 어느 하나를 가질 수 있다. 본 명세서의 도 4a와 도 4b 각각에서 번호판의 형태를 도시하였으나 도 1에 도시된 번호판(40)은 반드시 도 4a과 도 4b에 도시된 번호판 형태에 한정되지 않는다.

실시 예에 따라 번호판 추정 모듈(13)은 영상 수신 모듈(11)로부터 차량(30)의 영상을 수신한 후, 상기 영상에 대해 노이즈를 줄이기 위해 가우시안 함수에 의해 상기 영상을 흐리게 하는 가우시안 스무딩(Gaussian smoothing)을 적용할 수 있다.

또한, 실시 예에 따라 번호판 추정 모듈(13)은 상기 가우시안 스무딩 적용 후, 상기 영상의 노이즈를 줄이기 위해 비선형 필터링 기술인 메디안 필터링(median filtering)을 적용할 수 있다.

도 1과 도 2를 참조하면, 번호판 추정 모듈(13)은 추정된 번호판(40)의 영역에서 기하학적 왜곡을 보정한다.

도 5는 도 1에 도시된 차량의 번호판 영역을 정규화하는 동작 다이어그램을 나타낸다.

도 1, 도 2, 및 도 5를 참조하면, 추정된 번호판(40)의 영역이 물리적으로 뒤틀리거나 훼손될 때, 뒤틀리거나 훼손된 번호판은 도 5에서 도시된 원본 번호판(41)이라 가정하고, 이상적인 번호판은 도 5에서 도시된 목표 번호판(43)이라 가정한다.

번호판 추정 모듈(13)은 원본 번호판(41)의 4개의 꼭지점들(S1, S2, S3, 및 S4) 각각의 x좌표와 y좌표를 추출하고, 목표 번호판(43)의 4개의 꼭지점들(T1, T2, T3, 및 T4) 각각의 좌표((0,0), (m-1), (0,n-1), 및 (m-1, n-1); 상기 m, 상기 n 각각은 정수)를 추출한다.

번호판 추정 모듈(13)은 원본 번호판(41)을 m x n 크기를 가지는 목표 번호판(43)으로 변환시키기 위해 수학식 1과 수학식 2를 이용한다.

[수학식 1]

X=k1x+k2x+k3xy+k4

[수학식 2]

Y=k5x+k6y+k7xy+k8

여기서, X와 Y 각각은 목표 번호판(43)의 각 꼭지점(T1, T2, T3, 및 T4)의 x좌표와 y좌표를 나타내며, x와 y각각은 원본 번호판(41)의 각 꼭지점(S1, S2, S3, 및 S4)의 x좌표와 y좌표를 나타내며, k1, k2, k3, k4, k5, k6, k7, 및 k8 각각은 매개변수를 나타낸다.

번호판 추정 모듈(13)은 목표 번호판(43)의 각 꼭지점(T1, T2, T3, 및 T4)의 좌표와 원본 번호판(41)의 각 꼭지점(S1, S2, S3, 및 S4)의 좌표를 이용하여 매개 변수 k1, k2, k3, k4, k5, k6, k7, 및 k8를 계산할 수 있다. 목표 번호판(43)의 각 꼭지점(T1, T2, T3, 및 T4)의 좌표는 미리 정해진다.

따라서 번호판 추정 모듈(13)은 상기 수학식 1과 상기 수학식 2를 이용하여 원본 번호판(41)의 각 픽셀 위치와 대응되는 목표 번호판(43)의 각 픽셀 위치를 계산할 수 있다. 번호판 추정 모듈(13)은 원본 번호판(41)의 각 픽셀 위치와 대응되는 목표 번호판(43)의 각 픽셀 위치에 원본 번호판(41)의 각 픽셀 값을 채움으로써 번호판(40)의 기하학적 왜곡을 보정할 수 있다.

도 6은 도 1에 도시된 차량의 번호판 영역을 정규화하는 동작 다이어그램의 실시 예를 나타낸다.

도 6을 참조하면, 원본 번호판(42-1 또는 42-2)은 목표 번호판(44-1 또는 44-2)으로 변환된다.

도 7은 도 1에 도시된 차량의 번호판 영역을 선명화하는 동작 다이어그램을 나타낸다.

도 2와 도 7을 참조하면, 문자 구분 모듈(15)은 변환된 목표 번호판(44-3)에 대해 시그모이드 변환 함수(sigmoid transfer function)를 적용하여 선명화된 번호판(44-4)을 생성한다.

상기 시그모이드 변환 함수는 S자 형태를 가지며, 수학식 3과 수학식 4를 이용하여 표현된다.

[수학식 3]

[수학식 4]

여기서, 파라미터 a는 상기 시그모이드 변환 함수의 경사도를 결정하며, 상기 시그모이드 변환 함수는 파라미터 a가 1에 가까울수록 스텝 함수(step function)와 같은 형태를 가진다. x는 번호판(44-3)의 영역의 픽셀 값을 나타내며, y는 번호판(44-4)의 영역의 픽셀 값을 나타낸다.

상기 시그모이드 변환 함수의 중심 값과 경사도는 목표 번호판(44-3)의 큰 숫자 영역에 대한 히스토그램(45)을 이용하여 추정된다.

실시 예에 따라 문자 구분 모듈(15)은 변환된 목표 번호판(44-3)의 영역에 대해 표 1과 같은 룩업 테이블(lookup table)을 이용하여 선명화된 번호판(44-4)의 영역을 생성할 수 있다.

변환된 목표 번호판(44-3)의 영역의 픽셀 값	선명화된 번호판(44-4)의 영역의 픽셀 값
0	0
1	0
2	0
3	1
...	...
255	255

상기 룩업테이블은 미리 픽셀 값에 대해 시그모이드 변환 함수를 적용한 픽셀 값을 가진다. 상기 픽셀 값은 0-255 사이의 범위를 가진다.

문자 구분 모듈(15)은 상기 시그모이드 변환 함수 적용 후 가우시안 스무딩을 적용하여 선명화된 번호판(44-4)의 노이즈를 감소시킬 수 있다.

문자 구분 모듈(15)은 선명화된 번호판(44-4)의 영역을 이진화(binarization)하여 번호판(44-4)의 영역에 포함된 각 문자를 구분한다.

상기 이진화는 임계값에 따라 수행된다. 즉, 번호판(44-4)의 영역에 포함된 각 픽셀 값이 상기 임계값보다 클 때, 상기 각 픽셀 값은 1로 설정된다. 번호판(44-4)의 영역에 포함된 각 픽셀 값이 상기 임계값보다 작을 때, 상기 각 픽셀 값은 0으로 설정된다.

상기 임계값은 수학식 5와 같이 계산된다.

[수학식 5]

상기 t(x,y)는 상기 임계값을 나타내고, 상기 m(x,y)는 번호판(44-4)의 영역의 각 픽셀의 평균 명도 값, 즉 각 픽셀의 픽셀 값을 나타내고, s(x,y)는 상기 각 픽셀의 명도 표준 편차를 나타내고, 상기 k와 상기 R 각각은 상수를 나타낸다.

도 8은 도 1에 도시된 차량의 번호판 영역이 이진화된 이미지를 나타낸다.

도 2를 참조하면, 문자 인식 모듈(17)은 신경망 문자 인식기를 이용하여 상기 각 문자를 인식한다. 상기 신경망 문자 인식기는 비선형 통계적 데이터 모델링 툴(non linear statiscal data modeling tools)이다. 상기 신경망 문자 인식기는 입력과 출력 사이의 복잡한 관계를 모델링하는데 사용된다. 따라서 통계적 데이터를 모델링하기 위해 훈련 문자들이 이용된다.

도 9는 도 1에 도시된 차량의 번호판 영역에 포함된 각 문자를 인식하기 위해 훈련 문자들의 다이어그램을 나타낸다.

도 9를 참조하면, 다양하게 회전된 문자들이 신경망 문자 인식기를 훈련시키기 위해 이용된다.

번호판 인식 문자의 종류에 따라 상기 신경망 문자 인식기는 지역명 인식기, 한글 인식기, 또는 숫자 인식기일 수 있다.

예컨대, 상기 지역명 인식기는 16개 지역명 각각에 하나의 출력 노드를 포함할 수 있다. 상기 한글 인식기는 37개 문자 각각에 하나의 출력 노드를 포함할 수 있다. 상기 숫자 인식기는 10개 숫자 각각에 하나의 출력 노드를 포함할 수 있다.

도 10은 도 1에 도시된 차량 번호판 인식 시스템의 동작을 설명하기 위한 흐름도를 나타낸다.

도 1, 도 2, 및 도 10을 참조하면, 영상 수신 모듈(11)은 카메라(20)에 의해 촬영된 차량(30)의 영상을 수신한다(S10).

번호판 추정 모듈(13)은 차량(30)의 영상에 DoG 필터를 적용하여 에지 기반 이미지를 생성한다(S20).

상기 에지 기반 이미지는 도 3과 같이 도시된다. 번호판 추정 모듈(13)은 상기 에지 기반 이미지에서 아래부터 위 방향으로 라인을 이동시켜 에지 기반 세그먼트를 찾는다(S30).

번호판 추정 모듈(13)은 상기 에지 기반 세그먼트를 이용하여 번호판(40)의 영역에 포함된 각 문자가 존재하는지 판단한다(S40).

번호판 추정 모듈(13)은 상기 판단된 각 문자에 따라 번호판(40)의 영역을 추정한다(S50).

문자 구분 모듈(15)은 기하학적 왜곡을 보정하기 위해 상기 추정된 번호판(40)의 영역에 대해 기하학적 변형을 수행한다(S60).

문자 구분 모듈(15)은 임계값에 따라 번호판(40)의 영역을 이진화하여 번호판(40)에 포함된 각 문자를 구분한다(S70).

문자 인식 모듈(17)은 신경망 문자 인식기를 이용하여 상기 각 문자를 인식한다(S80).

도 1을 참조하면, 차량 번호판 인식 시스템(100)에 따라 일주일 동안 카메라(20)를 통과한 차량에 대해 번호판 검출 및 인식 결과는 표 2와 같이 나타낼 수 있다.

	오전	오후	야간	계
차량수	512	758	265	1,535
검출수	507	745	245	1,497
비율	99.0%	98.3%	92.5%	97.5%

상기 표 2에 도시된 바와 같이 본 발명에 따른 차량 번호판 인식 시스템(100)의 번호판 검출률은 97.5%이며, 문자 인식률은 99.5%이다. 따라서 본 발명에 따른 차량 번호판 인식 시스템(100)은 정확하게 차량 번호판을 인식할 수 있다.

차량 번호판 인식률은 수학식 6을 이용하여 계산된다.

[수학식 6]

여기서, R은 차량 번호판 인식률을 나타내며, Cpk는 번호판 p에 기록된 문자 k를 의미하고, Cpk의 합은 전체 번호판들 각각에 기록된 모든 문자들의 개수 합을 의미한다. Spk의 합은 전체 번호판들 각각에 기록된 모든 문자들 중 인식에 성공한 문자들의 합을 의미한다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100; 차량 번호판 인식 시스템 20; 카메라
10; 차량 번호판 인식 장치 30; 차량
11; 영상 수신 모듈 40; 번호판
13; 번호판 추정 모듈
15; 문자 구분 모듈
17; 문자 인식 모듈

Claims (9)

1. 번호판의 부착된 차량의 영상을 수신하는 단계;
   DoG(difference of gaussians) 필터를 이용하여 상기 번호판의 영역을 추정하는 단계;
   상기 추정된 번호판의 영역에 대해 다음의 수학식 1과 수학식 2를 이용하여 기하학적 변형을 수행하는 단계;
   임계값에 따라 상기 번호판의 영역을 이진화(binarization)하여 상기 번호판의 영역에 포함된 각 문자를 구분하는 단계; 및
   신경망 문자 인식기를 이용하여 상기 각 문자를 인식하는 단계를 포함하며,
   상기 수학식 1은
   X=k1x+k2x+k3xy+k4 이며,
   상기 수학식 2는
   Y=k5x+k6y+k7xy+k8이며,
   상기 X와 상기 Y 각각은 상기 기하학적 변형에 의해 변형될 번호판의 각 꼭지점의 x좌표와 y좌표를 나타내며, 상기 x와 상기 y각각은 상기 추정된 번호판의 각 꼭지점의 x좌표와 y좌표를 나타내며, 상기 k1, 상기 k2, 상기 k3, 상기 k4, 상기 k5, 상기 k6, 상기 k7, 및 상기 k8 각각은 매개변수를 나타내는 차량 번호판 인식 방법.
2. 제1항에 있어서, 상기 DoG 필터를 이용하여 상기 번호판의 영역을 추정하는 단계는,
   상기 차량의 영상에 상기 DoG 필터를 적용하여 에지 기반 이미지를 생성하는 단계;
   상기 에지 기반 이미지에서 아래부터 위 방향으로 라인을 이동시켜 에지 기반 세그먼트(edge based segment)를 찾는 단계;
   상기 에지 기반 세그먼트를 이용하여 상기 번호판의 영역에 포함된 상기 각 문자가 존재하는지 여부를 판단하는 단계; 및
   상기 판단된 각 문자에 따라 상기 번호판의 영역을 추정하는 단계를 포함하는 차량 번호판 인식 방법.
3. 제1항에 있어서, 상기 차량 번호판 인식 방법은,
   상기 영상을 수신한 후, 상기 영상에 대해 가우시안 스무딩(Gaussian smoothing)을 적용하는 단계를 더 포함하는 차량 번호판 인식 방법.
4. 제1항에 있어서, 상기 차량 번호판 인식 방법은,
   상기 영상을 수신한 후, 상기 영상에 대해 메디안 필터링(median filtering)을 적용하는 단계를 더 포함하는 차량 번호판 인식 방법.
5. 제1항에 있어서, 상기 차량 번호판 인식 방법은,
   상기 추정된 번호판의 영역에 대해 시그모이드 변환 함수(sigmoid transfer function)을 적용하여 상기 추정된 번호판의 영역을 선명화하는 단계를 더 포함하는 차량 번호판 인식 방법.
6. 제1항에 있어서, 상기 임계값은 다음의 수학식,
   

   

   
   에 의해 계산되며,
   상기 t(x,y)는 상기 임계값을 나타내고, 상기 m(x,y)는 상기 번호판의 영역의 각 픽셀의 평균 명도 값을 나타내고, s(x,y)는 상기 각 픽셀의 명도 표준 편차를 나타내고, 상기 k와 상기 R 각각은 상수를 나타내는 차량 번호판 인식 방법.
7. 삭제
8. 번호판의 부착된 차량의 영상을 수신하는 영상 수신 모듈;
   DoG 필터를 이용하여 상기 번호판의 영역을 추정하는 번호판 추정 모듈;
   임계값에 따라 상기 번호판의 영역을 이진화하여 상기 번호판의 영역에 포함된 각 문자를 구분하는 문자 구분 모듈; 및
   신경망 문자 인식기를 이용하여 상기 각 문자를 인식하는 문자 인식 모듈을 포함하며,
   상기 번호판 추정 모듈은,
   상기 추정된 번호판의 영역에 대해 다음의 수학식 1과 수학식 2를 이용하여 기하학적 변형을 수행하며,
   상기 수학식 1은
   X=k1x+k2x+k3xy+k4 이며,
   상기 수학식 2는
   Y=k5x+k6y+k7xy+k8이며,
   상기 X와 상기 Y 각각은 상기 기하학적 변형에 의해 변형될 번호판의 각 꼭지점의 x좌표와 y좌표를 나타내며, 상기 x와 상기 y각각은 상기 추정된 번호판의 각 꼭지점의 x좌표와 y좌표를 나타내며, 상기 k1, 상기 k2, 상기 k3, 상기 k4, 상기 k5, 상기 k6, 상기 k7, 및 상기 k8 각각은 매개변수를 나타내는 차량 번호판 인식 시스템.
9. 제8항에 있어서, 상기 번호판 추정 모듈은,
   상기 차량의 영상에 상기 DoG 필터를 적용하여 에지 기반 이미지를 생성하며, 상기 에지 기반 이미지에서 아래부터 위 방향으로 라인을 이동시켜 에지 기반 세그먼트를 찾고, 상기 에지 기반 세그먼트를 이용하여 상기 번호판의 영역에 포함된 상기 각 문자가 존재하는지 여부를 판단하여, 상기 판단된 각 문자에 따라 상기 번호판의 영역을 추정하는 차량 번호판 인식 시스템.

Images