KR101393391B1 - 임베디드 시스템 기반의 차량 번호판 인식 방법 - Google Patents

임베디드 시스템 기반의 차량 번호판 인식 방법 Download PDF

Info

Publication number
KR101393391B1
KR101393391B1 KR1020120156893A KR20120156893A KR101393391B1 KR 101393391 B1 KR101393391 B1 KR 101393391B1 KR 1020120156893 A KR1020120156893 A KR 1020120156893A KR 20120156893 A KR20120156893 A KR 20120156893A KR 101393391 B1 KR101393391 B1 KR 101393391B1
Authority
KR
South Korea
Prior art keywords
image
license plate
objects
representative
embedded system
Prior art date
Application number
KR1020120156893A
Other languages
English (en)
Inventor
이재흥
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020120156893A priority Critical patent/KR101393391B1/ko
Application granted granted Critical
Publication of KR101393391B1 publication Critical patent/KR101393391B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명은 임베디드 시스템 기반의 차량 번호판 인식 방법에 관한 것으로, 임베디드 시스템을 기반으로 하여 모듈화된 SoC(System on Chip)을 이용하여 실시간으로 차량의 번호판을 인식할 수 있도록 한 것이다.
특히, 본 발명은 레이블링(Labeling) 기법과 템플릿 매칭(Template matching)을 이용하여 영상처리를 수행하고 부동 소수점 연산을 최소화함으로써, 부동 소수점 연산이 매우 취약한 임베디드 시스템에서도 차량의 번호판 인식을 실시간으로 처리할 수 있다.
또한, 본 발명은 멀티코어 및 GPU(Graphic Processor Unit)를 포함하여 모듈화된 SoC 형태로 개발이 가능하므로 소형화 및 실시간 처리가 가능함은 물론, 이미 운용중인 다양한 시스템에서도 용이하게 적용할 수 있도록 함으로써, 확장성 및 범용성을 크게 향상시킬 수 있다.
따라서, 영상인식분야, 특히 차량번호 인식분야 및 이를 이용한 차량 단속 및 관리 시스템 분야는 물론, 이와 연관된 분야(예를 들어, 자동차 블랙박스에서의 실시간 번호판 인식 기술, 자동차 번호 데이터를 기반으로 하는 영상검색기술) 내지 유사한 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

임베디드 시스템 기반의 차량 번호판 인식 방법{Vehicle license plate recognition method based on embedded system}
본 발명은 임베디드 시스템 기반의 차량 번호판 인식 방법에 관한 것으로서, 보다 상세하게는 임베디드 시스템을 기반으로 하여 모듈화된 SoC(System on Chip)을 이용하여 실시간으로 차량의 번호판을 인식할 수 있도록 한 것이다.
특히, 본 발명은 부동 소수점 연산이 매우 취약한 임베디드 시스템에서 실시간 연산처리가 가능하도록 최적화된 숫자 및 문자 인식 방법을 제공할 수 있는 임베디드 시스템 기반의 차량 번호판 인식 방법에 관한 것이다.
일반적으로, 차량번호 인식기술은 도난차량의 검색, 불법주정차 차량의 검색, 과속차량의 검색, 신호위반차량의 검색 등에 적용되어 왔으며, 근래에는 주차관제시스템에 적용되는 등 다양한 분야에서 활발히 이용되고 있다.
이러한 각종 시스템에서 수행되는 차량의 번호판 인식 기술로는, 번호판의 외곽 사각형 정보를 이용한 번호판을 추출하고 차량번호를 인식하는 방법, HSI 칼라좌표계를 이용한 번호판을 추출하고 차량번호를 인식하는 방법 등이 있었다.
그러나, 번호판의 외곽 사각형 정보를 이용하는 방법은 번호판의 테두리가 훼손되거나, 테두리의 형상과 유사한 장식품들이 존재하는 경우에는 번호판 및 차량번호를 인식하지 못하는 문제점이 있고, HSI를 이용한 방법의 경우에는 태양광 등의 조명이 심하게 변하는 곳에서는 번호판 및 차량번호를 인식하지 못하는 문제점이 있었다.
이보다 향상된 번호판 인식 기술로는 신경망(Neural Netwokr)을 이용한 컬러영상의 위치 추정 방법, SVM(Support Vector Machine)을 이용한 컬러영상의 위치 추정 방법 등이 있다.
그러나, 이러한 인식알고리즘들은 대부분 인식률을 향상시키기 위하여 매우 복잡한 연산을 수행할 뿐만 아니라, 차량의 번호판 인식방법을 적용한 각종 시스템에서 프로그램화되어 동작되도록 설계되어 있기 때문에, 가격이 비싸고 다양한 시스템에 적용하기가 쉽지 않다.
이러한 문제점은 대한민국 공개특허공보 제10-2004-0071479호 "차량번호판 인식 시스템 및 그것을 이용한 차량 관리 방법"(이하, 선행기술이라 함)에서도 동일하였다.
한편, 특정 시스템에 추가로 탑재되어 해당 시스템 내에서 하나의 기능을 수행할 수 있는 임베디드 시스템(Embedded system)은, 비교적 작은 모듈 안에 실시간 운영체제가 내장되어 독립적인 동작이 가능하기 때문에, 장소에 대한 제약이 없으며, 다양한 시스템에 설치가 가능하여 확장성이 뛰어날 뿐만 아니라, 경량화가 가능하다는 장점이 있다.
그러나, 임베디드 시스템은 그 특성상 부동 소수점 연산에 매우 취약한바, 신경망, SVM 등의 인식알고리즘들과 같이 부동 소수점 연산이 많은 알고리즘들은 임베디드 시스템에 적용하지 못하는 문제점이 있다.
대한민국 공개특허공보 제10-2004-0071479호 "차량번호판 인식 시스템 및 그것을 이용한 차량 관리 방법"
상기와 같은 문제점을 해결하기 위해서, 본 발명은 이미 운용중인 다양한 시스템에 추가로 탑재되어 해당 시스템 내에서 하나의 기능을 수행할 수 있는 임베디드 시스템을 이용하여 차량의 번호판을 실시간으로 인식할 수 있도록 함으로써, 다양한 시스템에 용이하게 적용할 수 있는 임베디드 시스템 기반의 차량 번호판 인식 방법을 제공하는데 목적이 있다.
다시 말해, 본 발명은 임베디드 시스템을 기반으로 하여 모듈화된 SoC을 이용하여 실시간으로 차량의 번호판을 인식할 수 있는 임베디드 시스템 기반의 차량 번호판 인식 방법을 제공하는데 목적이 있다.
특히, 본 발명은 부동 소수점 연산이 매우 취약한 임베디드 시스템에서 실시간 연산처리가 가능하도록 최적화된 숫자 및 문자 인식 방법을 제공할 수 있는 임베디드 시스템 기반의 차량 번호판 인식 방법을 제공하는데 목적이 있다.
이를 위하여, 본 발명은 레이블링으로 구분된 객체들의 가로대세로비를 확인하여 숫자객체를 확인할 수 있고, 확인된 숫자객체 중 대표숫자를 확인하여 번호판을 확인할 수 있는 임베디드 시스템 기반의 차량 번호판 인식 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 임베디드 시스템 기반의 차량 번호판 인식 방법은, YUV형식으로 영상을 촬영하는 영상촬영단계; 상기 YUV형식의 영상에서 Y영역만을 추출하여 그레이스케일영상으로 변환하는 영상변환단계; 상기 그레이스케일영상을 이진화하고 레이블링(Labeling) 기법으로 숫자 및 문자를 포함하는 객체를 구분하며, 객체의 가로대세로비에 따라 숫자객체를 확인하고 숫자객체 중 대표숫자의 위치를 확인하는 번호판검출단계; 상기 대표숫자의 위치에 기초하여 상기 이진화영상을 평면영상으로 보정하는 영상보정단계; 및 상기 평면영상을 템플릿(Template) 매칭으로 각각의 객체를 인식하는 번호인식단계를 포함한다.
또한, 상기 번호판검출단계는, 설정경계값을 기준으로 상기 그레이스케일영상을 이진화영상으로 변환하는 영상이진화단계; 상기 이진화영상에 레이블링(Labeling) 기법을 적용하여 객체별로 번호를 부여하는 레이블링단계; 상기 객체들 중 숫자를 구분하는 제 1차 필터링단계; 및 상기 숫자 중 대표숫자의 위치를 확인하는 제 2차 필터링단계를 포함할 수 있다.
또한, 상기 영상이진화단계 이전에, 상기 그레이스케일영상을 가우시안필터링하는 필터링단계를 더 포함할 수 있다.
또한, 상기 제 1차 필터링단계는, 상기 객체들 중 가로대세로비가 설정비보다 큰 객체를 숫자객체로 구분하는 형상적필터링단계; 및 상기 이진화영상 중 숫자영역에 포함된 객체를 숫자객체로 구분하는 영역적필터링단계 중 적어도 하나를 포함할 수 있다.
또한, 상기 제 2차 필터링단계는, 상기 숫자객체 중 일정한 비율의 크기 및 간격으로 연속되어 위치하는 4개의 숫자를 대표숫자로 확인할 수 있다.
또한, 상기 영상보정단계는, 평면좌표계를 기준으로 하여 상기 대표숫자의 좌표를 확인하는 좌표확인단계; 상기 대표숫자의 좌표를 비교하여 상기 이진화영상의 높이 및 기울기 중 적어도 하나를 판단하는 영상배치확인단계; 및 상기 판단결과에 기초하여, 상기 이진화영상을 평면영상으로 변환하는 평면화보정단계를 포함할 수 있다.
또한, 상기 좌표확인단계 이전에, 상기 이진화영상의 상하를 반전시키는 이미지반전단계를 더 포함할 수 있다.
또한, 상기 번호인식단계는, 상기 평면영상의 객체 중 적어도 하나가 기준크기에 대응하도록 상기 평면영상의 크기를 조절하는 스케일조절단계; 및 템플릿(Template) 매칭으로 상기 평면영상의 숫자 및 문자 중 적어도 하나를 인식하는 객체인식단계를 포함할 수 있다.
상기와 같은 해결수단에 의해, 본 발명은 레이블링(Labeling) 기법과 템플릿 매칭(Template matching)을 이용하여 영상처리를 수행하고 부동 소수점 연산을 최소화함으로써, 임베디드 시스템에서도 차량의 번호판 인식을 실시간으로 처리할 수 있는 장점이 있다.
특히, 본 발명은 레이블링으로 구분된 객체들의 가로대세로비를 확인하여 숫자객체를 확인할 수 있고, 확인된 숫자객체 중 대표숫자를 확인하여 번호판을 용이하게 확인할 수 있으며. 이를 통해 연산량을 최소화할 수 있는 효과가 있다.
또한, 본 발명은 임베디드 시스템을 기반으로 하여 모듈화된 SoC를 이용하여 실시간으로 차량의 번호판을 인식할 수 있도록 함으로써, 소형화가 가능함은 물론 다양한 시스템에 용이하게 적용할 수 있는 장점이 있다.
특히, 멀티코어 및 GPU(Graphic Processor Unit)를 포함하는 SoC를 활용하여 병렬처리를 수행함으로써, 보다 향상된 실시간 처리 능력의 확보가 가능해지는 효과가 있다.
결과적으로, 이미 운용중인 다양한 시스템에서도 용이하게 적용할 수 있도록 함으로써, 확장성 및 범용성을 크게 향상시킬 수 있는 효과가 있다.
따라서, 영상인식분야, 특히 차량번호 인식분야 및 이를 이용한 차량 단속 및 관리 시스템 분야는 물론, 이와 연관된 분야(예를 들어, 자동차 블랙박스에서의 실시간 번호판 인식 기술, 자동차 번호 데이터를 기반으로 하는 영상검색기술) 내지 유사한 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 임베디드 시스템 기반의 차량 번호판 인식 방법의 실시예를 설명하는 흐름도이다.
도 2는 도 1의 단계 'S300'에 대한 구체적인 실시예를 설명하는 순서도이다.
도 3은 도 2의 단계 'S340'에서 수행되는 레이블링 기법을 설명하는 도면이다.
도 4는 도 2의 단계 'S350'에 대한 구체적인 실시예를 설명하는 순서도이다.
도 5는 도 1의 단계 'S400'에 대한 구체적인 실시예를 설명하는 순서도이다.
도 6은 도 5를 설명하기 위한 영상을 나타낸 도면이다.
도 7은 도 1의 단계 'S500'에 대한 구체적인 실시예를 설명하는 순서도이다.
도 8은 도 1의 방법을 적용하여 차량의 번호인식을 실험한 결과를 나타낸 표이다.
본 발명에 따른 임베디드 시스템 기반의 차량 번호판 인식 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다. 또한, 이하의 차량 번호판 인식 방법을 설명함에 있어, 각 단계는 임베디드 시스템의 연산처리를 담당하는 CPU 코어에서 수행될 수 있다.
도 1은 본 발명에 의한 임베디드 시스템 기반의 차량 번호판 인식 방법의 실시예를 설명하는 흐름도이다.
도 1을 참조하면, 본 발명에서 영상인식 대상이 되는 영상은 YUV형식으로 출력(촬영)된다(단계 S100). 여기서, YUV형식은 휘도신호(Y), 휘도신호와 청색 성분의 차(U), 휘도신호와 적색 성분의 차(V)를 이용하여 색을 나타내는 형식으로, 빛에 둔감한 컬러정보를 처리하는데 가장 적합한 형식이다. 다시 말해, YUV형식은 차량의 번호판을 인식함에 있어, 태양광이나 조명 등의 빛에 의한 영향을 최소화할 수 있는 형식이다.
그리고, 촬영된 영상을 그레이스케일영상으로 변환하기 위하여, YUV형식의 영상에서 Y영역만을 추출한다(단계 S200). 다시 말해, YUV형식의 컬러영상에서 색상정보를 제거하고 휘도정보만을 갖는 영상으로 변환할 수 있다.
YUV형식의 영상에서 Y영역만 추출된 그레이스케일영상은 흑백정보만을 갖는 영상으로 이진화하고, 레이블링(Labeling) 기법으로 숫자 및 문자를 포함하는 객체를 구분하며, 객체의 가로대세로비에 따라 숫자객체를 확인하고 숫자객체 중 대표숫자의 위치를 확인한다(단계 S300). 이와 같이, 전체 번호판의 영상에서 대표숫자(4자리)의 위치를 확인하면, 해당 번호판의 종류를 판별할 수 있으며, 번호판의 종류가 판별되면 번호판의 훼손이나 주변환경에 의한 영향을 최소화할 수 있기 때문에, 번호판의 숫자 및 문자의 인식이 보다 용이할 수 있다. 여기서, 레이블링 기법은 인식기술에 있어서 영상의 전처리과정에서 주로 사용되는 기법으로, 수학적 계산이 적기 때문에, 본 발명에서와 같은 임베디드 시스템에 가장 적합하다.
번호판의 전체 영역에서 대표숫자의 위치가 확인되면, 확인된 대표숫자의 위치에 기초하여 이진화영상을 평면영상으로 보정한다(단계 S400). 다시 말해, 다양한 위치에서 촬영된 원영상을 정면에서 근접 촬영한 것과 같이 보정할 수 있는 것이다.
상기와 같은 과정을 통해, 촬영된 영상의 보정이 완료되면, 보정된 평면영상을 템플릿(Template) 매칭으로 각각의 객체를 인식한다(단계 S500). 이때, 템플릿 매칭에 필요한 템플릿 데이터(영상정보)가 임베디드 시스템 내의 메모리보다 큰 경우, 외부메모리를 이용할 수 있음은 물론이다. 여기서, 객체는 번호판에 포함된 숫자 및 문자를 포함하는 인식대상을 말한다.
도 2는 도 1의 단계 'S300'에 대한 구체적인 실시예를 설명하는 순서도이다.
도 1의 단계 'S200'에서 변환된 그레이스케일영상은, 카메라의 종류와 위치, 촬영시 주변의 환경 등의 영향으로 인해 각 객체의 가장자리 부분에 노이즈가 발생할 수 있으며, 이와 같은 노이즈로 인해 번호판을 인식하는데 어려움이 발생할 수 있다.
본 발명에서는 이러한 노이즈를 보정하기 위하여, 도 2에 나타난 바와 같이, 그레이스케일영상을 가우시안필터링하여(단계 S310), 각 객체의 가장자리 부분이 매끄럽게 이어지도록 할 수 있다.
이후, YUV형식의 영상에서 Y성분이 추출된 영상을 이진화영상으로 변환하기 위하여, 설정경계값을 확인할 수 있다(단계 S320). 여기서, 설정경계값은 256개(0 ∼ 255)의 값을 휘도값을 갖는 그레이스케일영상을 흑백의 이진화영상으로 변환하는 휘도의 경계값이다. 예를 들어, 설정경계값은 그레이스케일영상의 모든 휘도값을 더한 후, 해당 영상의 총 픽셀 개수로 나눈 값으로 설정될 수 있다.
설정경계값이 확인되면, 그레이스케일영상의 각 픽셀의 휘도값을 설정경계값과 비교한 후, 설정경계값보다 낮은 픽셀값은 '0'으로 설정하고, 설정경계값보다 높은 픽셀값은 '255'로 설정하여, 해당 그레이스케일영상을 이진화영상으로 변환할 수 있다(단계 S330). 여기서, 이진화영상은 픽셀값을 '0' 또는 '1'로 갖는 영상으로, 그레이스케일의 픽셀값 '255'가 이진화영상의 픽셀값 '1'에 해당한다.
그리고, 변환된 이진화영상에 포함된 객체를 구분하기 위하여, 이진화영상에 레이블링(Labeling) 기법을 적용하여 객체별로 번호를 부여할 수 있고(단계 S340), 번호가 부여된 객체들 중 숫자를 확인(구분)하는 제 1차 필터링단계(단계 S350)와, 확인된 숫자 중 대표숫자를 선정하고 그 위치를 확인하는 제 2차 필터링단계(단계 S360)를 수행할 수 있다.
제 1차 필터링단계 및 제 2차 필터링단계는 해당 이진화영상에 포함된 모든 객체에 대하여 수행될 수 있다(단계 S370).
도 3은 도 2의 단계 'S340'에서 수행되는 레이블링 기법을 설명하는 도면이다.
도 3을 참조하면, 레이블링 기법은 영상의 좌측상단의 첫 픽셀부터 순차적으로 객체의 존재를 확인하면서 번호를 부여할 수 있다.
예를 들어, 영상의 좌측상단부터 우측방향으로 탐색을 하며, 첫줄에 객체가 존재하지 않으면, 두번째 줄을 탐색한다.
이때, 도 3의 (a)와 같이, 두번째 줄의 첫번째 픽셀에서 객체가 탐지되면 해당 픽셀에 '1'을 부여하고 우측방향으로 탐색을 계속 진행할 수 있으며, 도 3의 (b)와 같이, '1'이 부여된 픽셀에 인접한 픽셀에서 객체가 탐색되면 해당 픽셀에도 '1'을 부여할 수 있다.
만약, 도 3의 (c)와 같이, '1'이 부여된 픽셀에 인접하지 않은 픽셀에서 객체가 탐색되면 해당 픽셀에는 '2'를 부여할 수 있다.
한편, 객체가 탐색된 픽셀에 대한 인접여부는 상하좌우의 4픽셀에 대하여 탐색하는 방법과, 대각선방향을 포함하는 8픽셀에 대하여 탐색하는 방법이 있으며, 이러한 탐색방법은 당업자의 요구에 따라 선택적으로 적용될 수 있다.
이후, 도 3의 (d) 내지 도 3의 (f)와 같이, 다음 줄에서 탐색된 객체는 인접한 윗줄의 픽셀에 해당하는 번호를 부여할 수 있다.
도 4는 도 2의 단계 'S350'에 대한 구체적인 실시예를 설명하는 순서도이다.
도 4를 참조하면, 숫자를 확인하는 제 1차 필터링단계는 각 객체가 점유하는 영역을 확인하여(단계 S351), 해당 객체가 숫자인지를 확인할 수 있다.
이때, 각 객체에 대한 숫자여부 확인은, 각 객체의 형상에 따라 구분하는 방법과 해당 객체의 위치에 따라 구분하는 방법에 의해 수행될 수 있다.
먼저, 각 객체의 형상에 따라 숫자객체를 구분하는 경우에는(단계 S352), 해당 객체의 가로 크기 및 세로 크기를 비교하고(단계 S353), 상기 객체들 중 가로대세로비가 설정비보다 큰 객체에 대하여(단계 S354), 해당 객체를 숫자객체로 구분할 수 있다(단계 S355). 여기서, 설정비는 해당 객체의 크기가 18픽셀 내지 80픽셀일 경우, 1.2 내지 1.3으로 설정될 수 있다.
물론, 해당 객체의 가로 크기가 세로 크기보다 큰 객체는 문자객체 등으로 구분할 수 있다(단계 S357).
또한, 각 객체의 위치에 따라 숫자객체를 구분하는 경우에는(단계 S352), 전체 영상 중 해당 번호판의 숫자영역에 위치하는 객체를(단계 S356) 숫자객체로 구분할 수 있다(단계 S355).
상기와 같이, 제 1차 필터링단계에 의해 숫자객체가 구분되면, 전체 숫자객체들 중 일정한 비율의 크기 및 간격으로 연속되어 위치하는 4개의 숫자를 확인하는 제 2차 필터링단계를 거쳐, 확인된 4개의 숫자를 대표숫자로 확인할 수 있다. 예를 들어, 해당 숫자객체의 크기가 18픽셀 내지 80픽셀일 경우, 연속된 숫자객체의 간격이 10픽셀 이내인 경우에 대하여 해당 숫자객체들을 대표숫자로 확인할 수 있다.
확인된 4개의 대표숫자는 처음 숫자를 기준으로 좌측에서 상단 순으로 탐색하여, 대표숫자의 위치에 따라 번호판의 종류를 구분할 수 있다.
결과적으로, 레이블링 기법과 번소판 숫자(특히, 대표숫자)를 이용한 객체 탐색으로 해당 번호판을 인식하면, 간단한 연산처리과정을 통해서도 번소판의 훼손, 주변환경에 대한 영향을 최소화하고 정확한 인식결과를 얻을 수 있다.
도 5는 도 1의 단계 'S400'에 대한 구체적인 실시예를 설명하는 순서도이고, 도 6은 도 5를 설명하기 위한 영상을 나타낸 도면이다.
도 5를 참조하면, 도 6의 (a)와 같은 원영상에서, 도 4에서 숫자객체가 확인된 이진화영상으로부터 도 6의 (b)와 같이 번호판에 해당하는 영역을 추출하고 해당 영상을 상하반전시킬 수 있다(단계 S410). 이와 같이 영상을 상하반전시키게 되면, 번호판의 종류에 따라 영상보정 후 일부 영상이 잘려지고 왜곡되는 현상을 미연에 방지할 수 있다. 결과적으로, 영상의 상하반전은 제 2차 필터링단계에서 확인된 번호판의 종류에 따라 선택적으로 수행될 수 있다.
그리고, 상하반전된 영상은 평면좌표계를 기준으로 하여, 해당 영상에 포함된 대표숫자의 좌표를 확인할 수 있고(단계 S420), 대표숫자의 좌표를 비교하여 이진화영상의 높이 및 기울기 중 적어도 하나를 판단할 수 있다(단계 S430).
이때, 이진화영상의 높이는 대표숫자의 최상단 좌표를 비교하여 확인할 수 있으며, 이진화영상의 기울기는 대표숫자별 상하좌우의 좌표를 비교하여 확인할 수 있다.
이와 같이 확인된 이진화영상은, 좌우 중 한 부분은 확대되고 다른 부분은 축소되어 있는 경우, 상하 중 한 부분은 확대되고 다른 부분은 축소되어 있는 경우 및 한 방향으로 기울어져 있는 경우를 포함할 수 있다.
따라서, 이진화영상의 기울기는 대표숫자 중 처음 대표숫자와 마지막 대표숫자를 비교하여 확인할 수 있다. 예를 들어, 이진화영상 및 숫자객체에 대하여, 상단 좌표에서 하단 좌표로, 좌측 숫자에서 우측 숫자로 탐색을 하여, 일정 수준 이상의 차이가 발생하면 해당 영상이 한쪽으로 확대되어 있다고 판단할 수 있다.
상기와 같은 판단결과에 기초하여, 도 6의 (b)아 같은 이진화영상을 도 6의 (c)와 같은 평면영상으로 변환할 수 있다(단계 S440).
도 7은 도 1의 단계 'S500'에 대한 구체적인 실시예를 설명하는 순서도이다.
도 7을 참조하면, 도 5의 과정을 통해 그레이스케일 영상이 이진화된 평면영상으로 변환되면, 각 객체, 특히 숫자객체의 크기가 기준크기에 대응하도록 평면영상의 크기를 조절한 후(단계 S510), 저장된 템플릿 데이터와 비교(템플릿 매칭)하여(단계 S520), 해당 평면영상의 숫자 및 문자 중 적어도 하나를 인식할 수 있다(단계 S530).
따라서, 본 발명에 의하면 레이블링(Labeling) 기법과 템플릿 매칭(Template matching)을 이용하여 영상처리를 수행하고 부동 소수점 연산을 최소화함으로써, 임베디드 시스템에서도 차량의 번호판 인식을 실시간으로 처리할 수 있다.
도 8은 도 1의 방법을 적용하여 차량의 번호인식을 실험한 결과를 나타낸 표이다.
먼저, 본 발명에 의한 차량 번호판 인식 방법은 800㎒의 CPU 클럭을 갖는 CPU 코어를 포함하는 임베디드 시스템에서 수행되었고, 표본 데이터로 선택된 300장의 원영상은 가장 일반적인 CCTV 또는 IP카메라에서 사용되는 CMOS카메라에 의해 촬영된 영상을 이용하였으며, 영상의 크기는 640×480로 설정하였다.
이와 같은 임베디드 시스템을 이용하여 번호판을 인식한 경우, 도 8의 (a)와 같이 96%의 인식률을 얻었으며, 번호판 인식에 걸린 총 시간은 도 8의 (b)에 나타난 바와 같이 약 0.66초로서, 번호판검출에 소요된 시간은 약 0.19초, 영상보정에 소요된 시간은 약 0.26초, 템플릿 매칭에 소요된 시간은 약 0.2초로 확인되었다.
또한, 도 8의 (c)에 나타난 바와 같이, 문자인식의 경우에는 총 300개의 문자 중 81개의 오류 데이터를 제외한 219개가 인식되어 73%의 문자인식률을 얻었으며, 숫자인식의 경우에는 총 1800개의 숫자 중 54개의 오류 데이터를 제외한 1746개가 인식되어 97%의 숫자인식률을 얻을 수 있었다.
숫자인식률에 비하여 문자인식률이 다소 저조하기는 하나, 임베디드 시스템에서 수행될 수 있는 점을 감안하면, 매우 높은 인식률을 얻을 수 있음을 확인할 수 있다.
이상에서 살펴본 바와 같이, 본 발명은 부동 소수점 연산을 최소화하여 영상인식을 수행하도록 함으로써, 연산처리과정을 단순화하였을 뿐만 아니라, 연산처리속도 또한 크게 향상시킬 수 있다.
특히, 멀티코어 및 GPU(Graphic Processor Unit)를 포함하는 SoC를 활용하여 병렬처리를 수행함으로써, 보다 향상된 실시간 처리 능력의 확보가 가능해지도록 할 수 있다.
이를 통해 영상인식분야, 특히 차량번호 인식분야 및 이를 이용한 차량 단속 및 관리 시스템 분야는 물론, 자동차 블랙박스에서의 실시간 번호판 인식 기술, 자동차 번호 데이터를 기반으로 하는 영상검색기술 등과 같이, 실시간 영상처리를 요구하는 임베디드 시스템에서의 활용도를 크게 향상시킬 수 있다.
이상에서 본 발명에 의한 임베디드 시스템 기반의 차량 번호판 인식 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지는 것이므로, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. YUV형식으로 영상을 촬영하는 영상촬영단계;
    상기 YUV형식의 영상에서 Y영역만을 추출하여 그레이스케일영상으로 변환하는 영상변환단계;
    상기 그레이스케일영상을 이진화하고 레이블링(Labeling) 기법으로 숫자 및 문자를 포함하는 객체를 구분하며, 객체의 가로대세로비에 따라 숫자객체를 확인하고 숫자객체 중 대표숫자의 위치를 확인하는 번호판검출단계;
    상기 대표숫자의 위치에 기초하여 상기 이진화영상을 평면영상으로 보정하는 영상보정단계; 및
    상기 평면영상을 템플릿(Template) 매칭으로 각각의 객체를 인식하는 번호인식단계;를 포함하고,
    상기 영상보정단계는,
    평면좌표계를 기준으로 하여 상기 대표숫자의 좌표를 확인하는 좌표확인단계;
    상기 대표숫자의 좌표를 비교하여 상기 이진화영상의 높이 및 기울기 중 적어도 하나를 판단하는 영상배치확인단계; 및
    판단결과에 기초하여, 상기 이진화영상을 평면영상으로 변환하는 평면화보정단계를 포함하는 것을 특징으로 하는 임베디드 시스템 기반의 차량 번호판 인식 방법.
  2. 제 1항에 있어서,
    상기 번호판검출단계는,
    설정경계값을 기준으로 상기 그레이스케일영상을 이진화영상으로 변환하는 영상이진화단계;
    상기 이진화영상에 레이블링(Labeling) 기법을 적용하여 객체별로 번호를 부여하는 레이블링단계;
    상기 객체들 중 숫자를 구분하는 제 1차 필터링단계; 및
    상기 숫자 중 대표숫자의 위치를 확인하는 제 2차 필터링단계를 포함하는 것을 특징으로 하는 임베디드 시스템 기반의 차량 번호판 인식 방법.
  3. 제 2항에 있어서,
    상기 영상이진화단계 이전에,
    상기 그레이스케일영상을 가우시안필터링하는 필터링단계를 더 포함하는 것을 특징으로 하는 임베디드 시스템 기반의 차량 번호판 인식 방법.
  4. 제 2항 또는 제 3항에 있어서,
    상기 제 1차 필터링단계는,
    상기 객체들 중 가로대세로비가 설정비보다 큰 객체를 숫자객체로 구분하는 형상적필터링단계; 및
    상기 이진화영상 중 숫자영역에 포함된 객체를 숫자객체로 구분하는 영역적필터링단계 중 적어도 하나를 포함하는 것을 특징으로 하는 임베디드 시스템 기반의 차량 번호판 인식 방법.
  5. 제 4항에 있어서,
    상기 제 2차 필터링단계는,
    상기 숫자객체 중 일정한 비율의 크기 및 간격으로 연속되어 위치하는 4개의 숫자를 대표숫자로 확인하는 것을 특징으로 하는 임베디드 시스템 기반의 차량 번호판 인식 방법.
  6. 삭제
  7. 제 1항에 있어서,
    상기 좌표확인단계 이전에,
    상기 이진화영상의 상하를 반전시키는 이미지반전단계를 더 포함하는 것을 특징으로 하는 임베디드 시스템 기반의 차량 번호판 인식 방법.
  8. 제 1항에 있어서,
    상기 번호인식단계는,
    상기 평면영상의 객체 중 적어도 하나가 기준크기에 대응하도록 상기 평면영상의 크기를 조절하는 스케일조절단계; 및
    템플릿(Template) 매칭으로 상기 평면영상의 숫자 및 문자 중 적어도 하나를 인식하는 객체인식단계를 포함하는 것을 특징으로 하는 임베디드 시스템 기반의 차량 번호판 인식 방법.
KR1020120156893A 2012-12-28 2012-12-28 임베디드 시스템 기반의 차량 번호판 인식 방법 KR101393391B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120156893A KR101393391B1 (ko) 2012-12-28 2012-12-28 임베디드 시스템 기반의 차량 번호판 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120156893A KR101393391B1 (ko) 2012-12-28 2012-12-28 임베디드 시스템 기반의 차량 번호판 인식 방법

Publications (1)

Publication Number Publication Date
KR101393391B1 true KR101393391B1 (ko) 2014-05-12

Family

ID=50893636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120156893A KR101393391B1 (ko) 2012-12-28 2012-12-28 임베디드 시스템 기반의 차량 번호판 인식 방법

Country Status (1)

Country Link
KR (1) KR101393391B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050812A (zh) * 2014-06-30 2014-09-17 江苏摩华物联科技有限公司 基于虚拟化边界与车牌识别技术的安全警戒方法
CN104517445A (zh) * 2014-12-09 2015-04-15 浪潮电子信息产业股份有限公司 一种基于大数据的套牌车辆识别方法
CN105206062A (zh) * 2015-10-23 2015-12-30 浪潮(北京)电子信息产业有限公司 查找方法及装置
CN105654735A (zh) * 2016-03-24 2016-06-08 安徽四创电子股份有限公司 基于离群点分析算法的套牌车快速甄别方法
CN105654734A (zh) * 2016-03-15 2016-06-08 深圳市佳信捷技术股份有限公司 车辆违章行为的数据处理方法及装置
CN105654736A (zh) * 2016-03-28 2016-06-08 南京铁道职业技术学院 带摄像头的车辆识别系统及图像加工方法
CN106157629A (zh) * 2016-07-14 2016-11-23 中兴智能交通股份有限公司 一种智能车位锁控制系统及控制方法
CN106530739A (zh) * 2016-12-30 2017-03-22 伟龙金溢科技（深圳）有限公司 一种基于多摄像装置的车牌识别方法、装置及其系统
KR101737430B1 (ko) * 2015-11-06 2017-05-19 주식회사 지오멕스소프트 동적 배경을 가진 영상의 대상 객체 검출 방법
CN106710225A (zh) * 2015-07-29 2017-05-24 杭州海康威视系统技术有限公司 一种车辆号牌违法的识别方法和监测平台
CN108847031A (zh) * 2018-08-21 2018-11-20 深圳市广和通无线股份有限公司 交通行为监控方法、装置、计算机设备和存储介质
KR20190064147A (ko) * 2017-11-30 2019-06-10 부경대학교 산학협력단 공중촬영 영상을 이용한 차량 행태 분석 시스템 및 이를 이용한 분석 방법
CN110059669A (zh) * 2019-04-29 2019-07-26 四川农业大学 一种基于微处理器的智能割草机人边界识别方法
CN110751628A (zh) * 2019-09-24 2020-02-04 河海大学常州校区 一种基于超声图像的焊缝缺陷自动识别方法
CN110910651A (zh) * 2019-11-08 2020-03-24 北京万集科技股份有限公司 车牌信息的匹配方法及系统、存储介质、电子装置
WO2022092743A1 (ko) * 2020-10-26 2022-05-05 에스케이텔레콤 주식회사 차량 번호판에서 문자를 추출하는 방법 및 상기 방법을 수행하는 번호판 문자 추출 장치
KR20220139099A (ko) 2021-04-07 2022-10-14 진우산전 주식회사 조명 밝기 자동 조절 기능을 가지는 차량 번호 인식 방법
KR20240028702A (ko) 2022-08-25 2024-03-05 진우에이티에스 주식회사 차량 번호 인식 시스템의 조명 밝기 자동 조정방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050065883A (ko) * 2003-12-26 2005-06-30 재단법인 포항산업과학연구원 컬러 영상 처리를 이용한 차량 번호판 인식 장치
JP2010250710A (ja) 2009-04-20 2010-11-04 Hitachi Ltd 物体認識装置、ナンバープレート認識装置および物体の色判定装置
KR20110115927A (ko) * 2010-04-16 2011-10-24 경북대학교 산학협력단 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050065883A (ko) * 2003-12-26 2005-06-30 재단법인 포항산업과학연구원 컬러 영상 처리를 이용한 차량 번호판 인식 장치
JP2010250710A (ja) 2009-04-20 2010-11-04 Hitachi Ltd 物体認識装置、ナンバープレート認識装置および物体の色判定装置
KR20110115927A (ko) * 2010-04-16 2011-10-24 경북대학교 산학협력단 차량 번호판 추출 방법 및 이를 이용한 차량 번호판 추출 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
최길봉외 2. 임베디드 환경에서 JPEG 영상을 이용한 차량 번호판 영역 추출. 한국멀티미디어학회 추계학술발표대회논문집. 2004.11., pp. 479-482. *
최길봉외 2. 임베디드 환경에서 JPEG 영상을 이용한 차량 번호판 영역 추출. 한국멀티미디어학회 추계학술발표대회논문집. 2004.11., pp. 479-482.*

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050812A (zh) * 2014-06-30 2014-09-17 江苏摩华物联科技有限公司 基于虚拟化边界与车牌识别技术的安全警戒方法
CN104517445A (zh) * 2014-12-09 2015-04-15 浪潮电子信息产业股份有限公司 一种基于大数据的套牌车辆识别方法
CN106710225A (zh) * 2015-07-29 2017-05-24 杭州海康威视系统技术有限公司 一种车辆号牌违法的识别方法和监测平台
CN105206062A (zh) * 2015-10-23 2015-12-30 浪潮(北京)电子信息产业有限公司 查找方法及装置
KR101737430B1 (ko) * 2015-11-06 2017-05-19 주식회사 지오멕스소프트 동적 배경을 가진 영상의 대상 객체 검출 방법
CN105654734A (zh) * 2016-03-15 2016-06-08 深圳市佳信捷技术股份有限公司 车辆违章行为的数据处理方法及装置
CN105654735A (zh) * 2016-03-24 2016-06-08 安徽四创电子股份有限公司 基于离群点分析算法的套牌车快速甄别方法
CN105654736A (zh) * 2016-03-28 2016-06-08 南京铁道职业技术学院 带摄像头的车辆识别系统及图像加工方法
CN106157629A (zh) * 2016-07-14 2016-11-23 中兴智能交通股份有限公司 一种智能车位锁控制系统及控制方法
CN106530739A (zh) * 2016-12-30 2017-03-22 伟龙金溢科技（深圳）有限公司 一种基于多摄像装置的车牌识别方法、装置及其系统
KR102039723B1 (ko) * 2017-11-30 2019-11-26 부경대학교 산학협력단 공중촬영 영상을 이용한 차량 행태 분석 시스템 및 이를 이용한 분석 방법
KR20190064147A (ko) * 2017-11-30 2019-06-10 부경대학교 산학협력단 공중촬영 영상을 이용한 차량 행태 분석 시스템 및 이를 이용한 분석 방법
CN108847031A (zh) * 2018-08-21 2018-11-20 深圳市广和通无线股份有限公司 交通行为监控方法、装置、计算机设备和存储介质
CN110059669A (zh) * 2019-04-29 2019-07-26 四川农业大学 一种基于微处理器的智能割草机人边界识别方法
CN110751628A (zh) * 2019-09-24 2020-02-04 河海大学常州校区 一种基于超声图像的焊缝缺陷自动识别方法
CN110751628B (zh) * 2019-09-24 2022-09-16 河海大学常州校区 一种基于超声图像的焊缝缺陷自动识别方法
CN110910651A (zh) * 2019-11-08 2020-03-24 北京万集科技股份有限公司 车牌信息的匹配方法及系统、存储介质、电子装置
WO2022092743A1 (ko) * 2020-10-26 2022-05-05 에스케이텔레콤 주식회사 차량 번호판에서 문자를 추출하는 방법 및 상기 방법을 수행하는 번호판 문자 추출 장치
KR20220139099A (ko) 2021-04-07 2022-10-14 진우산전 주식회사 조명 밝기 자동 조절 기능을 가지는 차량 번호 인식 방법
KR20240028702A (ko) 2022-08-25 2024-03-05 진우에이티에스 주식회사 차량 번호 인식 시스템의 조명 밝기 자동 조정방법

Similar Documents

Publication Publication Date Title
KR101393391B1 (ko) 임베디드 시스템 기반의 차량 번호판 인식 방법
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
WO2021036267A1 (zh) 一种图像检测方法及相关设备
KR101738129B1 (ko) 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법
CN108292440B (zh) 在校准图案的图像内标识该校准图案的特征点的方法
KR101224164B1 (ko) 번호판영역 검출을 위한 전처리 방법 및 장치
JP2008286725A (ja) 人物検出装置および方法
CN105354573B (zh) 一种集装箱车牌识别方法及系统
CN104881665A (zh) 一种芯片字符识别与校验方法及装置
JP2008251029A (ja) 文字認識装置、ナンバープレート認識システム
JP5906856B2 (ja) 車両画像認識装置、及び車両画像認識方法
JP2006309650A (ja) ナンバー認識装置及方法
US20210182591A1 (en) Image identification apparatus, image identification method, and non-transitory computer-readable storage medium for storing image identification program
KR20100000698A (ko) 숫자의 기하학적 관계를 이용한 차량 번호판 인식 방법
JP5010627B2 (ja) 文字認識装置及び文字認識方法
CN204576547U (zh) 一种芯片字符校验装置
JP5020920B2 (ja) 歩行者検出装置及びプログラム
KR101696519B1 (ko) 에지에 바운더리 코드를 포함하는 차량 번호판, 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 장치, 시스템, 및 그 방법
EP3494545B1 (en) Methods and apparatus for codeword boundary detection for generating depth maps
Nguyen et al. Triple detector based on feature pyramid network for license plate detection and recognition system in unusual conditions
KR102248673B1 (ko) 교통 신호의 식별 방법, 이를 이용하는 교통 신호 식별 장치 및 프로그램
US10380463B2 (en) Image processing device, setting support method, and non-transitory computer-readable media
CN111311696A (zh) 一种基于高光谱解混技术的车牌真伪检测方法
JP2005149395A (ja) 文字認識装置、ナンバープレート認識システム
JP7478628B2 (ja) 画像処理装置、制御方法及び制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 7