KR20160057356A - 차량 번호판 인식 방법과 시스템 - Google Patents

차량 번호판 인식 방법과 시스템 Download PDF

Info

Publication number
KR20160057356A
KR20160057356A KR1020160029108A KR20160029108A KR20160057356A KR 20160057356 A KR20160057356 A KR 20160057356A KR 1020160029108 A KR1020160029108 A KR 1020160029108A KR 20160029108 A KR20160029108 A KR 20160029108A KR 20160057356 A KR20160057356 A KR 20160057356A
Authority
KR
South Korea
Prior art keywords
license plate
character
plate area
sharpness
image
Prior art date
Application number
KR1020160029108A
Other languages
English (en)
Other versions
KR101999985B1 (ko
Inventor
김진호
Original Assignee
주식회사한맥아이피에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사한맥아이피에스 filed Critical 주식회사한맥아이피에스
Priority to KR1020160029108A priority Critical patent/KR101999985B1/ko
Publication of KR20160057356A publication Critical patent/KR20160057356A/ko
Application granted granted Critical
Publication of KR101999985B1 publication Critical patent/KR101999985B1/ko

Links

Images

Classifications

    • G06K9/3258—
    • G06K9/20—
    • G06K9/3233—
    • G06K9/40—
    • G06K2209/01—
    • G06K2209/15—

Landscapes

  • Traffic Control Systems (AREA)

Abstract

본 발명의 실시 예에 따른 차량 번호판 인식 장치를 이용한 차량 번호판 인식 방법은, 카메라에 의해 생성된 이동하는 차량의 영상을 수신하는 단계와, 수신한 영상 중에서 상기 차량의 번호판 영역을 추출하는 단계와, 추출된 번호판 영역에 포함된 문자 블롭들의 선명도를 추정하는 단계와, 추정된 선명도가 기준 선명도보다 낮은 경우, 상기 번호판 영역에 선명화 알고리즘을 적용하여 상기 문자 블롭들을 선명화하는 단계와, 상기 문자 블롭들 각각에 해당하는 문자들 각각을 인식하는 단계를 포함한다.

Description

차량 번호판 인식 방법과 시스템{METHOD AND SYSTEM FOR RECOGNIZING VEHICLE LICENSE PLATE}
본 발명의 개념에 따른 실시 예는 차량 번호판 인식 방법에 관한 것으로, 특히 차량 영상의 화질이 다양한 경우에 차량 번호판을 정확하게 인식할 수 있는 방법과 상기 방법을 수행할 수 있는 시스템에 관한 것이다.
최근 전국적으로 스마트 시티(smart city) 조성에 대한 관심이 높아지면서, 지능형 교통 시스템(Intelligent Transport System(ITS)) 구축에 대한 연구들이 활발히 진행되고 있다.
특히, 스마트톨링(smart tolling)에 대한 연구가 진행되고 있다. 스마트톨링은 고속도로 진출입로에 CCTV를 이용한 차량 번호판 인식 장치를 설치하여 무정차, 고속 주행, 및 다차로 기반의 차량 진출입이 가능한 차세대 요금 지불 시스템이다.
고속도로로 진출입하는 차량의 번호판을 인식하기 위해, 고속도로 진출입로에 설치된 CCTV를 이용하여 주행 차량의 영상을 촬영하는 경우, 고속 주행이나 야간 주행시 화질의 저하가 발생하므로, 차량 번호판의 인식률이 낮아질 수 있다.
따라서, 촬영된 영상에 선명화 알고리즘을 적용하여 상기 영상을 선명화할 필요가 있다. 하지만, 정상적으로 촬영된 영상에 대해서도 상기 선명화 알고리즘을 적용하는 경우 과 선명화로 인해 노이즈가 발생할 수 있고, 이는 오히려 차량 번호판의 인식률을 저하시킬 수 있다.
1. 등록특허공보 : 등록번호 10-1403876-0000호 (2014.05.29. 등록) 2. 등록특허공보 : 등록번호 10-1298684-0000호 (2013.08.14. 등록)
본 발명이 이루고자 하는 기술적인 과제는 차량 영상에 포함된 번호판 영역의 선명도를 추정하고, 추정된 선명도에 따라 상기 번호판 영역을 선택적으로 선명화함으로써, 다양한 화질을 갖는 차량 번호판의 인식 성능을 향상시킬 수 있는 차량 번호판 인식 방법과 이를 수행하는 차량 번호판 인식 시스템을 제공하는 것이다.
본 발명의 실시 예에 따른 차량 번호판 인식 장치를 이용한 차량 번호판 인식 방법은, 카메라에 의해 생성된 이동하는 차량의 영상을 수신하는 단계와, 수신한 영상 중에서 상기 차량의 번호판 영역을 추출하는 단계와, 추출된 번호판 영역에 포함된 문자 블롭들의 선명도를 추정하는 단계와, 추정된 선명도가 기준 선명도보다 낮은 경우, 상기 번호판 영역에 선명화 알고리즘을 적용하여 상기 문자 블롭들을 선명화하는 단계와, 상기 문자 블롭들 각각에 해당하는 문자들 각각을 인식하는 단계를 포함한다.
상기 추출하는 단계는, 상기 수신한 영상을 DoG(difference of gaussian) 필터를 이용하여 이진화하는 단계와, 이진화된 영상으로부터 문자 획 크기 정보를 이용하여 문자 블롭 후보들을 탐지하는 단계와, 탐지된 문자 블롭 후보들의 배치 형태를 이용하여 상기 번호판 영역을 추출하는 단계를 포함한다.
상기 추정하는 단계는, 상기 문자 블롭들의 가장자리 화소와 주변 화소 사이의 명도 변화를 이용하여, 상기 문자 블롭들의 선명도를 추정하는 단계와, 원근 변환(perspective transform)을 이용하여, 상기 문자 블롭들의 크기를 정규화하고 회전을 보정하는 단계를 포함한다.
상기 선명화하는 단계는, 상기 추정된 선명도가 상기 기준 선명도보다 낮은 경우, 상기 번호판 영역에 언샤프 마스킹 알고리즘(unsharp masking algorithm)을 적용하여 상기 문자 블롭들을 선명화하는 단계와, 상기 번호판 영역에 영상 개선 알고리즘을 적용하는 단계를 포함한다.
상기 영상 개선 알고리즘은 시그모이드 변환 함수를 이용한 영상 개선 알고리즘일 수 있다.
상기 인식하는 단계는, 복수의 번호판 유형들을 이용하여, 상기 번호판 영역의 유형을 추정하는 단계와, 추정된 상기 번호판 영역의 유형에 따라, 상기 번호판 영역에 포함된 상기 문자 블롭들을 분할하는 단계와, 신경망 구조를 이용하여 분할된 상기 문자 블롭들 각각에 해당하는 문자들 각각을 인식하는 단계를 포함한다.
본 발명의 실시 예에 따른 차량 번호판 인식 시스템은, 이동하는 차량의 영상을 생성하는 카메라와, 차량 번호판 인식 장치를 포함하고, 상기 차량 번호판 인식 장치는, 상기 카메라에 의해 생성된 영상을 수신하는 영상 수신 모듈과, 수신한 영상을 이진화하고, 이진화된 영상을 출력하는 이진화 모듈과, 상기 이진화된 영상으로부터 상기 차량의 번호판 영역을 추출하는 번호판 영역 추출 모듈과, 추출된 번호판 영역에 포함된 문자 블롭들의 선명도를 추정하고, 추정된 선명도가 기준 선명도보다 낮은 경우 상기 문자 블롭들을 선명화하는 선명화 모듈과, 상기 문자 블롭들 각각에 해당하는 문자들 각각을 인식하는 문자 인식 모듈을 포함한다.
상기 번호판 영역 추출 모듈은, 상기 이진화된 영상에 포함된 복수의 문자 블롭 후보들을 탐지하고, 탐지된 문자 블롭 후보들의 배치 구조를 이용하여 상기 번호판 영역을 추출한다.
상기 선명화 모듈은, 상기 문자 블롭들의 가장자리 화소와 주변 화소 사이의 명도 차이를 이용하여 상기 문자 블롭들의 선명도를 추정하고, 추정된 선명도가 상기 기준 선명도보다 낮은 경우, 상기 번호판 영역에 언샤프 마스킹 알고리즘(unsharp masking algorithm)을 적용하여 상기 문자 블롭들을 선명화할 수 있다.
상기 선명화 모듈은, 시그모이드 변환 함수를 이용한 영상 개선 알고리즘을 상기 번호판 영역에 적용할 수 있다.
상기 문자 인식 모듈은, 복수의 번호판 유형들을 이용하여 상기 번호판 영역의 유형을 추정하고, 추정된 유형을 이용하여 상기 번호판 영역에 포함된 문자 블롭들을 분할하고, 분할된 문자 블롭들 각각에 해당하는 문자들 각각을 인식할 수 있다.
본 발명의 실시 예에 따른 차량 번호판 인식 방법은, 차량 영상에 포함된 번호판 영역의 선명도를 추정하고, 추정된 선명도에 따라 상기 번호판 영역을 선택적으로 선명화함으로써, 번호판의 인식 성능을 향상시킬 수 있는 방법을 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시 예에 따른 차량 번호판 인식 방법은, 정상적으로 촬영된 차량 영상에 대해서는 선명화하지 않으므로, 과 선명화를 방지하여 차량 번호판의 인식 성능을 높일 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 차량 번호판 인식 시스템을 개략적으로 도시한 것이다.
도 2는 도 1에 도시된 차량 번호판 인식 장치의 개략적인 블록도이다.
도 3은 도 2에 도시된 이진화 모듈과 번호판 영역 추출 모듈의 작동을 설명하기 위한 그림이다.
도 4는 번호판 영역의 블러링의 정도에 따라 추정되는 선명도의 변화를 나타내는 그림들이다.
도 5는 다양한 형태의 차량 번호판들을 나타낸다.
도 6은 본 발명의 일 실시 예에 따른 번호판 영역에 포함된 문자들 각각을 분할하는 과정을 설명하기 위한 그림들이다.
도 7은 번호판 문자 인식용 신경망 구조의 일 실시 예를 나타낸다..
도 8부터 도 12는 도 1에 도시된 번호판 인식 장치의 작동을 설명하기 위한 플로우차트들이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서의 모듈(module)이라 함은 본 명세서에서 설명되는 각각의 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 또는 특정한 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정한 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예컨대 프로세서를 의미할 수 있다.
다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 차량 번호판 인식 시스템을 개략적으로 도시한 것이다.
도 1을 참조하면, 차량 번호판 인식 시스템(10)은 차량 번호판 인식 장치 (100)와 카메라(200)를 포함한다.
카메라(200)는 차량 번호판(400)이 부착된 차량(300)을 촬영한다. 예컨대, 카메라(200)는 CCTV(Closed-circuit television) 카메라일 수 있다.
카메라(200)는 촬영된 차량(300)의 영상(image)을 차량 번호판 인식 장치 (100)로 전송할 수 있다. 차량 번호판 인식 장치(100)는 촬영된 차량(300)의 영상을 카메라(200)로부터 수신하여 차량(300)의 차량 번호판(400)을 인식할 수 있다.
도 1에서는 설명의 편의를 위해, 카메라(200)와 차량 번호판 인식 장치(100)가 하나의 장치로 구현되는 예가 도시되어 있으나, 실시 예들에 따라 카메라(200)와 차량 번호판 인식 장치(100)는 서로 다른 장소에 위치할 수 있다.
예컨대, 차량 번호판 인식 장치(100)는 원거리의 데이터 센터 또는 통제 센터에 위치할 수 있다. 이때, 카메라(200)로부터 출력된 차량(300)의 영상은 유선 통신망 또는 무선 통신망을 통해 차량 번호판 인식 장치(100)로 전송될 수 있다.
도 2는 도 1에 도시된 차량 번호판 인식 장치의 개략적인 블록도이다.
도 1과 도 2를 참조하면, 차량 번호판 인식 장치(100)는 영상 수신 모듈 (110), 이진화(binarization) 모듈(130), 번호판 영역 추출 모듈(150), 선명화 모듈(170), 및 문자 인식 모듈(190)을 포함할 수 있다.
영상 수신 모듈(110)은 차량(300)의 영상을 카메라(200)로부터 통신망을 통해 수신한다. 예컨대, 상기 영상은 그레이스케일(grayscale) 이미지일 수 있다. 즉, 상기 영상에서 각 픽셀(pixel)의 값은 색채 정보 없이 회색의 강도 정보만을 나타낼 수 있다.
이진화 모듈(130)은 영상 수신 모듈(110)로부터 출력된 차량(300)의 영상(RI)을 처리하고, 처리의 결과에 따라 이진 영상(BI)을 출력할 수 있다.
실시 예에 따라, 이진화 모듈(130)은 DoG(difference of gaussian) 필터를 이용한 에지누적기반 이진 영상 추출기법에 따라 수신 영상(RI)을 이진화하고, 이진화 결과에 따라 생성된 이진 영상(BI)을 출력할 수 있다.
번호판 영역 추출 모듈(150)은 이진화 모듈(130)로부터 출력된 이진 영상(BI)으로부터, 번호판 영역(EI)을 추출할 수 있다.
선명화 모듈(170)은, 추출된 번호판 영역(EI)에 포함된 문자 블롭들의 선명도를 추정할 수 있다. 실시 예에 따라, 선명화 모듈(170)은 원근 변환(perspective transform)을 이용하여, 상기 문자 블롭들 각각의 크기를 정규화하고 회전을 보정할 수 있다.
선명화 모듈(170)은, 크기 정규화 및 회전 보정이 수행된 선명화 번호판 영역(SI)을 출력할 수 있다.
실시 예에 따라, 선명화 모듈(170)은, 추정된 상기 문자 블롭들의 선명도가 기준 선명도보다 낮은 경우, 선명화 알고리즘을 적용하여 상기 문자 블롭들을 선명화할 수 있다. 상기 선명화 알고리즘은 언샤프 마스킹 알고리즘(unsharp masking algorithm)일 수 있으나, 이에 한정되는 것은 아니다.
선명화 모듈(170)은 선명화 번호판 영역(SI)에 영상 개선 알고리즘을 적용할 수 있다. 상기 영상 개선 알고리즘은 시그모이드(sigmoid) 변환 함수를 이용한 알고리즘일 수 있으나, 이에 한정되는 것은 아니다.
문자 인식 모듈(190)은 선명화 모듈(170)로부터 출력된 선명화 번호판 영역(SI)으로부터 상기 문자 블롭들 각각에 해당하는 문자들 각각을 인식할 수 있다. 예컨대, 문자 인식 모듈(190)은 상기 문자들 각각을 인식하기 위해 신경망 구조를 이용할 수 있으나, 이에 한정되는 것은 아니다.
도 3은 도 2에 도시된 이진화 모듈과 번호판 영역 추출 모듈의 작동을 설명하기 위한 그림들이다.
도 1부터 도 3을 참조하면, 이진화 모듈(130)은 영상 수신 모듈(110)로부터 차량(300)의 영상(RI)을 수신할 수 있다. 도 3의 (a)에는 차량(300)의 영상(RI)의 일 실시 예로서 제1영상(50-1)이 도시되어 있다.
이진화 모듈(130)은, 차량(300)의 영상(RI)을 이진 영상(BI)으로 변환할 수 있다. 도 3의 (b)에는 이진 영상(BI)의 일 실시 예로서 제2영상(50-2)이 도시되어 있다.
이진화 모듈(130)은, 제1영상(50-1)에 대해, DoG(difference of gaussian) 필터를 이용한 에지누적기반 이진 영상 추출기법을 이용하여 제2영상(50-2)을 획득할 수 있다. 이진화 모듈(130)은, 제2영상(50-2)을 번호판 영역 추출 모듈(150)로 출력할 수 있다.
번호판 영역 추출 모듈(150)은, 이진화 모듈(130)로부터 출력된 이진 영상(BI)을 수신하고, 수신된 이진 영상(BI)으로부터 번호판 영역(EI)을 추출할 수 있다. 도 3의 (c)와 (d)에는 번호판 영역(EI)을 추출하는 과정에 대한 일 실시 예로서 제3영상(50-3)과 제4영상(50-4)이 도시되어 있다.
도 3의 (c)에 도시된 제3영상(50-3)은, 번호판 영역 추출 모듈(150)에 의해 추출된 복수의 문자 블롭들을 포함할 수 있다.
번호판 영역 추출 모듈(150)은, 이진화 모듈(130)로부터 수신한 제2영상(50-2)으로부터 문자(또는 숫자)로 추정되는 상기 복수의 문자 블롭들을 추출할 수 있다. 실시 예에 따라, 상기 복수의 문자 블롭들을 추출하기 위해, 번호판 영역 추출 모듈(150)은 기준 문자 획 크기 정보를 이용할 수 있다. 상기 기준 문자 획 크기 정보는, 번호판 영역 추출 모듈(150) 또는 차량 번호판 인식 장치(100)에 저장될 수 있다.
번호판 영역 추출 모듈(150)은, 제3영상(50-3)에 포함된 상기 복수의 문자 블롭들의 배치 형태를 해석하고, 제4영상(50-4)에 도시된 바와 같이 번호판 영역(54)을 추출할 수 있다.
예컨대, 번호판 배치 형태가 4개의 숫자로 이루어진 형태일 때, 번호판 영역 추출 모듈(150)은 상기 복수의 문자 블롭들 중에서 크기가 유사하고 연속적인 4개의 블롭들(52A~52D)이 포함된 영역을 번호판 영역(54)으로서 추출할 수 있다.
번호판 영역 추출 모듈(150)은, 추출된 번호판 영역(54)을 선명화 모듈(170)로 출력할 수 있다. 실시 예에 따라, 번호판 영역 추출 모듈(150)은, 추출된 번호판 영역(54)이 포함된 제4영상(50-4)을 출력할 수도 있다.
도 3의 (d)에는 제1영상(50-1)에 번호판 영역(54)이 표시된 형태의 제4영상(50-4)이 도시되어 있으나, 실시 예에 따라 제4영상(50-4)은, 제2영상(50-2)에 번호판 영역(54)이 표시된 형태일 수 있다.
도 4는 번호판 영역의 블러링의 정도가 변화함에 따라 추정되는 선명도의 변화를 나타내는 그림들이다.
도 1부터 도 4를 참조하면, 선명화 모듈(170)은 번호판 영역 추출 모듈(150)로부터 출력된 번호판 영역(EI)을 수신할 수 있다.
선명화 모듈(170)은, 번호판 영역(EI)에 포함된 복수의 문자 블롭들의 선명도(S)를 추정할 수 있다. 상기 복수의 문자 블롭들은, 예컨대 조명의 불균형, 카메라(200)의 흔들림, 초점 부정확, 및/또는 차량(300)의 고속 이동으로 인해, 블러링(blur)되어 있을 수 있다.
도 4에서는 번호판 영역(EI)의 블러링 정도에 따라 추정된 선명도(S)의 예들이 도시되어 있다. 번호판 영역(EI)의 블러링 정도가 높을수록, 추정된 선명도(S)가 낮아짐을 알 수 있다.
선명화 모듈(170)은, 선명도 추정 알고리즘을 이용하여, 번호판 영역(EI)에 포함된 상기 복수의 문자 블롭들의 선명도(S)를 추정할 수 있다.
예컨대, 상기 선명도 추정 알고리즘은 번호판 영역(EI)의 중간값 필터링 영상에서 가장자리 화소에 대한 명도값과 상기 가장자리 화소의 우측 화소에 대한 명도값의 차이와, 상기 가장자리 화소에 대한 상기 명도값과 상기 가장자리 화소의 좌측 화소에 대한 명도값의 차이를 이용하여 선명도(S)를 추정하는 방식의 알고리즘일 수 있으나, 이에 한정되는 것은 아니다.
도 4에 기재된 블러링 정도와 추정된 선명도(S)는 설명의 편의를 위한 임의의 값이므로, 상기 블러링 정도에 따라 추정되는 선명도(S)의 값은 상기 선명도 추정 알고리즘의 종류에 따라 달라질 수 있다.
실시 예에 따라, 선명화 모듈(170)은 번호판 영역(EI)에 크기 정규화 및 회전 보정을 위한 알고리즘을 적용하여, 번호판 영역(EI)에 포함된 상기 복수의 문자 블롭들 각각의 크기를 정규화하고 회전을 보정할 수 있다. 상기 알고리즘은 원근 변환(perspective transform) 알고리즘일 수 있으나, 이에 한정되는 것은 아니다.
도 5는 다양한 형태의 차량 번호판들을 나타낸다.
도 5에 도시된 차량 번호판들은 번호판 유형들의 일 실시 예에 불과하므로, 본 발명의 권리범위가 이에 한정되는 것은 아니다.
도 6은 본 발명의 일 실시 예에 따른 번호판 영역에 포함된 문자들 각각을 분할하는 과정을 설명하기 위한 그림들이다.
도 1, 도 2, 도 5, 및 도 6을 참조하면, 선명화 모듈(170)은 수신된 번호판 영역(EI)을 선명화하고, 선명화 번호판 영역(SI)을 출력할 수 있다.
문자 인식 모듈(190)은 선명화 번호판 영역(SI)에 포함된 복수의 문자 블롭들을 분할하고, 분할된 복수의 문자 블롭들 각각에 포함된 문자들 각각을 인식할 수 있다.
도 6의 (a)를 참조하면, 선명화 모듈(170)은 수신된 번호판 영역(EI)의 선명도(S)를 추정하고, 추정된 선명도(S)와 기준 선명도를 비교할 수 있다.
예컨대, 기준 선명도가 0.4 라고 가정할 때, 도 6의 (a)에 도시된 번호판 영역(EI)의 선명도(S)는 0.67이다.
선명도(S)가 기준 선명도보다 크므로, 선명화 모듈(170)은 번호판 영역(EI)에 포함된 복수의 문자 블롭들의 가장자리 화소들에 대해 선명화 알고리즘을 적용하지 않을 수 있다.
도 6의 (b)를 참조하면, 번호판 영역(EI)의 선명도(S)는 0.27이고, 기준 선명도보다 낮으므로, 선명화 모듈(170)은 상기 가장자리 화소들에 상기 선명화 알고리즘을 적용하여 국소 콘트라스트를 개선함으로써, 상기 복수의 문자 블롭들을 선명화할 수 있다.
실시 예에 따라, 상기 선명화 알고리즘은 실시간 번호판 인식을 위해 고속 처리가 가능한 언샤프 마스킹 방식의 필터링 알고리즘일 수 있으나, 이에 한정되는 것은 아니다.
도 6의 (a)와 (b)를 참조하면, 선명화 모듈(170)은 번호판 영역(EI)의 전역 콘트라스트를 개선하기 위한 영상 개선 알고리즘을 번호판 영역(EI)에 적용할 수 있다. 실시 예에 따라, 상기 영상 개선 알고리즘은 시그모이드 변환 함수를 이용한 영상 개선 알고리즘일 수 있다.
선명화 모듈(170)은 선명화 번호판 영역(SI)을 문자 인식 모듈(190)로 출력할 수 있다. 선명화 번호판 영역(SI)은 번호판 영역(EI)에 상기 선명화 알고리즘 및/또는 상기 영상 개선 알고리즘이 적용된 번호판 영역을 의미할 수 있다.
문자 인식 모듈(190)은, 도 5에 도시된 다양한 형태의 차량 번호판 유형들을 이용하여, 선명화 번호판 영역(SI)의 유형을 추정할 수 있다.
문자 인식 모듈(190)은 추정된 선명화 번호판 영역(SI)의 유형에 기초하여, 선명화 번호판 영역(SI)에 포함된 복수의 문자 블롭들 각각을 분할할 수 있다. 도 6의 (a)와 (b)에는 복수의 문자 블롭들이 분할된 형태가 도시되어 있다.
도 7은 번호판 문자 인식용 신경망 구조의 일 실시 예를 나타낸다.
도 1, 도 2, 도 6, 및 도 7을 참조하면, 문자 인식 모듈(190)은, 역전파 신경망 문자 인식기를 이용하여, 도 6의 (a)와 (b)에 도시된 바와 같이 분할된 복수의 문자 블롭들 각각에 포함된 복수의 문자들 각각을 인식할 수 있다. 상기 역전파 신경망 문자 인식기는 비선형 통계적 데이터 모델링 툴(non linear statiscal data modeling tools)의 일 예이다. 상기 역전파 신경망 문자 인식기는 입력과 출력 사이의 복잡한 관계를 모델링하는데 사용될 수 있다. 따라서 통계적 데이터를 모델링하기 위해 훈련 문자들이 이용될 수 있다.
상기 역전파 신경망 문자 인식기는 문자 전용 인식기, 숫자 전용 인식기, 및 문자 숫자 혼용 인식기로 구현될 수 있다. 문자 인식 모듈(190)은, 번호판 네이밍 룰에 따라서 분할된 상기 복수의 문자 블롭들의 위치 정보에 따라, 상기 문자 전용 인식기, 상기 숫자 전용 인식기, 및/또는 상기 문자 숫자 혼용 인식기를 사용하여 상기 복수의 문자들 각각을 인식할 수 있다.
도 8부터 도 12는 도 1에 도시된 차량 번호판 인식 장치의 작동을 설명하기 위한 플로우차트들이다.
도 1, 도 2, 도 5 및 도 8부터 도 12를 참조하면, 차량 번호판 인식 장치(100)에 포함된 영상 수신 모듈(110)은, 카메라(200)에 의해 촬영된 이동하는 차량(300)의 영상을 수신할 수 있다(S100).
번호판 영역 추출 모듈(150)은 수신된 영상 중에서 번호판 영역(EI)을 추출할 수 있다(S110).
실시 예에 따라, S110 단계는, 이진화 모듈(130)이 상기 수신된 영상을 DoG 필터를 이용하여 이진 영상(BI)으로 변환하는 단계와(S112), 번호판 영역 추출 모듈(150)이 이진 영상(BI)으로부터 복수의 문자 블롭 후보들을 탐지하는 단계와(S114), 번호판 영역 추출 모듈(150)이 탐지된 복수의 문자 블롭 후보들의 배치 형태를 이용하여 번호판 영역(EI)을 추출하는 단계(S116)를 포함할 수 있다.
선명화 모듈(170)은, 추출된 번호판 영역(EI)에 포함된 복수의 문자 블롭들의 선명도를 추정할 수 있다(S120).
실시 예에 따라, S120 단계는, 선명화 모듈(170)이 추출된 번호판 영역(EI)에 포함된 상기 복수의 문자 블롭들의 상기 선명도를 추정하는 단계와(S122), 선명화 모듈(170)이 상기 복수의 문자 블롭들의 크기를 정규화하고 회전을 보정하는 단계(S124)를 포함할 수 있다.
선명화 모듈(170)은, 추정된 선명도와 기준 선명도를 비교하고(S130), 상기 추정된 선명도가 상기 기준 선명도보다 낮은 경우, 번호판 영역(EI)에 선명화 알고리즘을 적용하여 상기 복수의 문자 블롭들을 선명화할 수 있다(S140).
실시 예에 따라, S140 단계는, 선명화 모듈(170)이 번호판 영역(EI)에 언샤프 마스킹 알고리즘을 적용하여 상기 복수의 문자 블롭들을 선명화하고, 선명화 결과에 따라 선명화 번호판 영역(SI)을 생성하는 단계(S142)를 포함할 수 있다. 다른 실시 예에 따라, 선명화 모듈(170)이 번호판 영역(EI)에 영상 개선 알고리즘을 적용하여 선명화 번호판 영역(SI)을 생성하는 단계(S144)를 포함할 수 있다. 상기 영상 개선 알고리즘은 시그모이드 변환 함수를 이용한 전역 콘트라스트 개선을 통한 영상 개선 알고리즘일 수 있다.
문자 인식 모듈(190)은, 선명화 번호판 영역(SI)에 포함된 복수의 문자 블롭들 각각에 해당하는 문자들 각각을 인식할 수 있다(S150).
실시 예에 따라, S150 단계는, 문자 인식 모듈(190)이 도 5에 도시된 바와 같이 복수의 번호판 유형들을 이용하여 선명화 번호판 영역(SI)의 유형을 추정하는 단계와(S152), 문자 인식 모듈(190)이 추정된 유형에 따라 선명화 번호판 영역(SI)에 포함된 복수의 문자 블롭들을 분할하는 단계와(S154), 문자 인식 모듈(190)이 분할된 복수의 문자 블롭들 각각에 해당하는 문자들 각각을 신경망 구조를 이용하여 인식하는 단계(S156)를 포함할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 차량 번호판 인식 시스템
100: 차량 번호판 인식 장치
110: 영상 수신 모듈
130: 이진화 모듈
150: 번호판 영역 추출 모듈
170: 선명화 모듈
190: 문자 인식 모듈
200: 카메라
300: 차량
400: 차량 번호판

Claims (10)

  1. 차량 번호판 인식 장치를 이용한 차량 번호판 인식 방법에 있어서,
    카메라에 의해 생성된 이동하는 차량의 영상을 수신하는 단계;
    수신한 영상 중에서 상기 차량의 번호판 영역을 추출하는 단계;
    추출된 번호판 영역에 포함된 문자 블롭들의 선명도를 추정하는 단계;
    추정된 선명도가 기준 선명도보다 낮은 경우, 상기 번호판 영역에 선명화 알고리즘을 적용하여 상기 문자 블롭들을 선명화하는 단계; 및
    선명화된 문자 블롭들 각각에 해당하는 문자들 각각을 인식하는 단계를 포함하는 차량 번호판 인식 방법.
  2. 제1항에 있어서,
    상기 추출하는 단계는,
    상기 수신한 영상을 DoG(difference of gaussian) 필터를 이용하여 이진화하는 단계;
    이진화된 영상으로부터 문자 획 크기 정보를 이용하여 문자 블롭 후보들을 탐지하는 단계; 및
    탐지된 문자 블롭 후보들의 배치 형태를 이용하여 상기 번호판 영역을 추출하는 단계를 포함하는 차량 번호판 인식 방법.
  3. 제1항에 있어서,
    상기 추정하는 단계는,
    상기 문자 블롭들의 가장자리 화소와 주변 화소 사이의 명도 변화를 이용하여, 상기 문자 블롭들의 선명도를 추정하는 단계; 및
    원근 변환(perspective transform)을 이용하여, 상기 문자 블롭들의 크기를 정규화하고 회전을 보정하는 단계를 포함하는 차량 번호판 인식 방법.
  4. 제1항에 있어서,
    상기 선명화하는 단계는,
    상기 추정된 선명도가 상기 기준 선명도보다 낮은 경우, 상기 번호판 영역에 언샤프 마스킹 알고리즘(unsharp masking algorithm)을 적용하여 상기 문자 블롭들을 선명화하는 단계; 및
    상기 번호판 영역에 영상 개선 알고리즘을 적용하는 단계를 포함하는 차량 번호판 인식 방법.
  5. 제4항에 있어서,
    상기 영상 개선 알고리즘은 시그모이드 변환 함수를 이용한 영상 개선 알고리즘인 차량 번호판 인식 방법.
  6. 제1항에 있어서,
    상기 인식하는 단계는,
    복수의 번호판 유형들을 이용하여, 상기 번호판 영역의 유형을 추정하는 단계;
    추정된 상기 번호판 영역의 유형에 따라, 상기 번호판 영역에 포함된 상기 문자 블롭들을 분할하는 단계; 및
    신경망 구조를 이용하여 분할된 상기 문자 블롭들 각각에 해당하는 문자들 각각을 인식하는 단계를 포함하는 차량 번호판 인식 방법.
  7. 이동하는 차량의 영상을 생성하는 카메라; 및
    차량 번호판 인식 장치를 포함하고,
    상기 차량 번호판 인식 장치는,
    상기 카메라에 의해 생성된 영상을 수신하는 영상 수신 모듈;
    수신한 영상을 이진화하고, 이진화된 영상을 출력하는 이진화 모듈;
    상기 이진화된 영상으로부터 상기 차량의 번호판 영역을 추출하는 번호판 영역 추출 모듈;
    추출된 번호판 영역에 포함된 문자 블롭들의 선명도를 추정하고, 추정된 선명도가 기준 선명도보다 낮은 경우 상기 문자 블롭들을 선명화하는 선명화 모듈; 및
    선명화된 문자 블롭들 각각에 해당하는 문자들 각각을 인식하는 문자 인식 모듈을 포함하는 차량 번호판 인식 시스템.
  8. 제7항에 있어서,
    상기 번호판 영역 추출 모듈은,
    상기 이진화된 영상에 포함된 복수의 문자 블롭 후보들을 탐지하고, 탐지된 문자 블롭 후보들의 배치 구조를 이용하여 상기 번호판 영역을 추출하는 차량 번호판 인식 시스템.
  9. 제7항에 있어서,
    상기 선명화 모듈은,
    상기 문자 블롭들의 가장자리 화소와 주변 화소 사이의 명도 차이를 이용하여 상기 문자 블롭들의 선명도를 추정하고,
    추정된 선명도가 상기 기준 선명도보다 낮은 경우, 상기 번호판 영역에 언샤프 마스킹 알고리즘(unsharp masking algorithm)을 적용하여 상기 문자 블롭들을 선명화하고,
    시그모이드 변환 함수를 이용한 영상 개선 알고리즘을 상기 번호판 영역에 적용하는 차량 번호판 인식 시스템.
  10. 제7항에 있어서,
    상기 문자 인식 모듈은,
    복수의 번호판 유형들을 이용하여 상기 번호판 영역의 유형을 추정하고,
    추정된 유형을 이용하여 상기 번호판 영역에 포함된 문자 블롭들을 분할하고,
    분할된 문자 블롭들 각각에 해당하는 문자들 각각을 인식하는 차량 번호판 인식 시스템.
KR1020160029108A 2016-03-10 2016-03-10 차량 번호판 인식 방법과 시스템 KR101999985B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160029108A KR101999985B1 (ko) 2016-03-10 2016-03-10 차량 번호판 인식 방법과 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160029108A KR101999985B1 (ko) 2016-03-10 2016-03-10 차량 번호판 인식 방법과 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140157527A Division KR20160057059A (ko) 2014-11-13 2014-11-13 선택적 선명화를 통한 차량 번호판 인식 방법과 시스템

Publications (2)

Publication Number Publication Date
KR20160057356A true KR20160057356A (ko) 2016-05-23
KR101999985B1 KR101999985B1 (ko) 2019-07-15

Family

ID=56104278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160029108A KR101999985B1 (ko) 2016-03-10 2016-03-10 차량 번호판 인식 방법과 시스템

Country Status (1)

Country Link
KR (1) KR101999985B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200119384A (ko) 2019-03-26 2020-10-20 (주)아이에스인텍 차량 번호판을 실시간으로 인식하는 장치 및 방법
KR20220139099A (ko) 2021-04-07 2022-10-14 진우산전 주식회사 조명 밝기 자동 조절 기능을 가지는 차량 번호 인식 방법
KR20240028702A (ko) 2022-08-25 2024-03-05 진우에이티에스 주식회사 차량 번호 인식 시스템의 조명 밝기 자동 조정방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157989B1 (ko) 2020-06-29 2020-09-18 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 불법 주정차 단속 방법 및 시스템
KR102161948B1 (ko) 2020-06-29 2020-10-06 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 주차 유도 시스템 및 이의 주차 차량 위치 정보 제공 방법
KR102157990B1 (ko) 2020-06-29 2020-09-21 이홍기 신경망을 이용한 차량 번호판 인식 방법 및 시스템
KR102194890B1 (ko) 2020-06-29 2020-12-24 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 무인 단속 및 도로 방범 방법 및 시스템
KR102161949B1 (ko) 2020-06-29 2020-10-06 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법 및 시스템
KR20220099672A (ko) 2021-01-07 2022-07-14 주식회사 엠엘브이 차량 번호판 인식 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023498A (ko) * 2002-09-11 2004-03-18 삼성전자주식회사 영상화면 내의 글자 이미지를 인식하는 장치 및 방법
KR101182173B1 (ko) * 2012-02-07 2012-09-12 김진호 차량 번호판 인식 방법 및 시스템
KR101298684B1 (ko) 2013-02-20 2013-08-21 임동현 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법
KR20130105952A (ko) * 2012-03-19 2013-09-27 한밭대학교 산학협력단 차량 번호판 인식 방법과 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023498A (ko) * 2002-09-11 2004-03-18 삼성전자주식회사 영상화면 내의 글자 이미지를 인식하는 장치 및 방법
KR101182173B1 (ko) * 2012-02-07 2012-09-12 김진호 차량 번호판 인식 방법 및 시스템
KR20130105952A (ko) * 2012-03-19 2013-09-27 한밭대학교 산학협력단 차량 번호판 인식 방법과 그 장치
KR101403876B1 (ko) 2012-03-19 2014-06-09 한밭대학교 산학협력단 차량 번호판 인식 방법과 그 장치
KR101298684B1 (ko) 2013-02-20 2013-08-21 임동현 무 감지센서 기반의 차량 번호 인식 시스템 및 그 동작방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200119384A (ko) 2019-03-26 2020-10-20 (주)아이에스인텍 차량 번호판을 실시간으로 인식하는 장치 및 방법
KR20220139099A (ko) 2021-04-07 2022-10-14 진우산전 주식회사 조명 밝기 자동 조절 기능을 가지는 차량 번호 인식 방법
KR20240028702A (ko) 2022-08-25 2024-03-05 진우에이티에스 주식회사 차량 번호 인식 시스템의 조명 밝기 자동 조정방법

Also Published As

Publication number Publication date
KR101999985B1 (ko) 2019-07-15

Similar Documents

Publication Publication Date Title
KR101999985B1 (ko) 차량 번호판 인식 방법과 시스템
Badr et al. Automatic number plate recognition system
KR101756849B1 (ko) 노상 무인정산 주차관제 시스템
KR101182173B1 (ko) 차량 번호판 인식 방법 및 시스템
KR101565978B1 (ko) 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법
EP2645305A2 (en) A system and method for processing image for identifying alphanumeric characters present in a series
Khalifa et al. Malaysian Vehicle License Plate Recognition.
KR101756848B1 (ko) 불법 주정차 관리 시스템
Kaur An automatic number plate recognition system under image processing
Jagannathan et al. License plate character segmentation using horizontal and vertical projection with dynamic thresholding
KR20160057059A (ko) 선택적 선명화를 통한 차량 번호판 인식 방법과 시스템
Tan et al. License plate localization based on edge-geometrical features using morphological approach
Abdellatif et al. A low cost IoT-based Arabic license plate recognition model for smart parking systems
Chandra et al. Recognition of vehicle number plate using Matlab
Choudhury et al. A new zone based algorithm for detection of license plate from Indian vehicle
Prabhu et al. Recognition of Indian license plate number from live stream videos
Nguwi et al. Number plate recognition in noisy image
Ashtari et al. A new reliable approach for Persian license plate detection on colour images
Bala et al. Image simulation for automatic license plate recognition
Sathiya et al. Pattern recognition based detection recognition of traffic sign using SVM
Prajapati et al. A Review Paper on Automatic Number Plate Recognition using Machine Learning: An In-Depth Analysis of Machine Learning Techniques in Automatic Number Plate Recognition: Opportunities and Limitations
Boliwala et al. Automatic number plate detection for varying illumination conditions
Dandu et al. Vehicular number plate recognition using edge detection and characteristic analysis of national number plates
Abinaya et al. Rectify the blurred license plate image from fast moving vehicles using morphological process
KR101468566B1 (ko) 저조도 영상에서의 말레이시아 차량 번호판 인식 방법과 그 시스템

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant