KR20150039367A

KR20150039367A - 차량번호 인식 시스템

Info

Publication number: KR20150039367A
Application number: KR20130117854A
Authority: KR
Inventors: 임도형; 사공상창; 김경묵; 박중민
Original assignee: 주식회사 유라이프소프트
Priority date: 2013-10-02
Filing date: 2013-10-02
Publication date: 2015-04-10

Abstract

본 발명은 차량에 부착된 번호판을 인식할 수 있는 시스템에 관한 것으로서, 보다 상세하게는 휴대용 단말기에 장착된 카메라 및 번호판 인식을 위한 각종 모듈을 이용하여 보다 간편하게 차량의 번호를 인식할 수 있는 주차 또는 물류 관리 등 다양한 산업 분야에 적용 가능한 차량번호 인식 시스템에 관한 것이다.
보다 구체적으로 본 발명에 관하여 설명하면, 본 발명은 단말기에 장착된 카메라를 통해 차량 번호판의 영상 데이터(data)를 생성할 수 있는 영상획득 전처리 모듈, 상기 단말기로부터 전송된 차량 번호판의 영상 데이터를 이용해 연속된 숫자를 검출하고, 차량 번호판 종류에 따른 영역 이미지(image) 및 좌표값을 추출할 수 있는 영역 추출 모듈, 상기 추출된 차량 번호판의 영역 이미지를 기반으로 이진화(binarization)할 수 있는 영상획득 전처리 추출 모듈, 상기 영상획득 전처리 추출 모듈에서 이진화된 이미지를 이용해 추출 영역 및 범위에 따라 코드별로 구분 후 위치를 조정하여 정규화함으로써 문자 데이터를 추출할 수 있는 데이터 인식 모듈 및 상기 단말기의 아이디 및 비밀번호를 포함하는 필수 데이터를 이용해 상기 단말기의 로그(log)관리 기능을 수행할 수 있는 데이터 관리 모듈을 포함하는 차량번호 인식 시스템을 제공한다.

Description

차량번호 인식 시스템{LICENCE PLATE RECOGNITION SYSTEM}

본 발명은 차량에 부착된 번호판을 인식할 수 있는 시스템에 관한 것으로서, 보다 상세하게는 휴대용 단말기에 장착된 카메라 및 번호판 인식을 위한 각종 모듈을 이용하여 보다 간편하게 차량의 번호를 인식할 수 있는 주차 또는 물류 관리 등 다양한 산업 분야에 적용 가능한 차량번호 인식 시스템에 관한 것이다.

최근 IT기술의 비약적인 발전으로 지능형 교통 시스템(intelligent transportation system) 구축에 대한 관심이 매우 높아지고 있으며, 그 핵심 기술 및 서비스의 일환으로 차량 번호판의 자동 인식에 대한 연구가 활발하게 진행되고 있다.

차량 번호판 인식 시스템이란 주행 중 또는 정지 상태에 있는 차량의 번호판을 영상, 이미지 등으로 획득하여 실시간으로 인식하고, 데이터를 교환하여 필요한 정보를 얻을 수 있는 기술을 말한다.

이러한 차량 번호판 인식 시스템 기술은 범죄의 예방/단속, 불법 주·정차 단속, 도난/수배 차량 검색, 세금체납차량 단속 등 다양한 분야에서 활용되고 있으며, 민간부문에서 이용되는 자동 주차관리시스템에도 널리 이용되고 있다.

상기와 같은 기술은 전자동으로 차량의 번호판을 인식하여 영상 및 데이터를 저장하고, 통제 센터에 필요한 정보를 전송하여 관련 시스템과 연동함으로써 보다 편리한 시스템을 구현할 수 있는 특징이 있다.

그러나 기존의 장착형 번호 인식 시스템은 차량 번호판을 인식할 수 있는 구역에 한계가 있고, 이에 의한 업무 효율 저하 등의 불편이 점차적으로 증가하였다.

이에 대한 대응책으로 2000년대에 들어 PDA(personal digital assistants) 등의 휴대 단말기에 차량 번호판 인식 시스템을 탑재하여 사용하는 방식이 개발되었으나, 최근 고성능의 다양한 기능을 수행할 수 있는 스마트폰이 개발되어 널리 쓰이게 됨에 따라 일반 스마트폰의 사용자들이 이를 이용하여 서비스를 이용하거나 서비스 구현에 직접 참여하여 관련 업무를 수행할 수 있는 필요성이 증대되고 있는 실정이다.

위와 같은 관점에서 일반 사용자에게 현장으로부터 관련 영상 자료의 빠르고 정확한 입력 및 업무 처리 시간의 단축 등의 필요성이 증대되고 있으며, 이에 따라 스마트폰을 이용한 차량 번호판 인식 시스템 기술의 개발 요구가 매우 절실하다.

본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 스마트폰에 장착된 카메라와의 연동을 통해 차량 번호판을 인식함으로써 누구나 손쉽게 업무영역 및 실생활영역에 이용할 수 있는 차량번호 인식 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명은 정확한 차량 번호판 영역의 추출뿐만 아니라 차량 번호판 영상의 특성을 이용하여 처리단계를 줄임으로써 산출 데이터 구현의 처리 속도가 빠른 차량번호 인식 시스템을 제공하는데 또 다른 목적이 있다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 종래기술의 문제점을 해결하기 위한 본 발명에 의하면, 단말기에 장착된 카메라를 통해 차량 번호판의 영상 데이터(data)를 생성할 수 있는 영상획득 전처리 모듈, 상기 단말기로부터 전송된 차량 번호판의 영상 데이터를 이용해 연속된 숫자를 검출하고, 차량 번호판 종류에 따른 영역 이미지(image) 및 좌표값을 추출할 수 있는 영역 추출 모듈, 상기 추출된 차량 번호판의 영역 이미지를 기반으로 이진화(binarization)할 수 있는 영상획득 전처리 추출 모듈, 상기 영상획득 전처리 추출 모듈에서 이진화된 이미지를 이용해 추출 영역 및 범위에 따라 코드별로 구분 후 위치를 조정하여 정규화함으로써 문자 데이터를 추출할 수 있는 데이터 인식 모듈 및 상기 단말기의 아이디 및 비밀번호를 포함하는 필수 데이터를 이용해 상기 단말기의 로그(log)관리 기능을 수행할 수 있는 데이터 관리 모듈을 포함하는 차량번호 인식 시스템을 제공한다.

본 발명에서 상기 영상획득 전처리 모듈은 상기 카메라를 통해 YUV(휘도 신호(Y), 휘도 신호와 청색 성분의 차(U), 휘도 신호와 적색 성분의 차(V)) 방식으로 전달되는 차량 번호판의 데이터를 추출 받아 RGB(red green blue) 방식으로 변환하여 상기 차량 번호판의 영상 데이터를 생성하는 것이 바람직하다.

본 발명에서 상기 영역 추출 모듈은, 상기 차량 번호판의 색상에 따라 이미지의 이진화가 가능하도록 필터링(filtering)할 수 있는 이미지 필터링 모듈, 상기 차량 번호판의 문자획 보전을 위해 이진화할 수 있는 제1이진화 모듈, 상기 차량 번호판의 연속된 숫자의 검출을 위한 연속 숫자 검출 모듈 및 상기 차량 번호판의 종류에 따라 영역 이미지 및 좌표값을 추출할 수 있는 영역 및 좌표 검출 모듈을 포함하도록 구성되는 것이 바람직하다.

본 발명에서 상기 이미지 필터링 모듈은 녹색, 남색, 황색 및 흰색을 포함하는 색상의 상기 차량 번호판을 필터링할 수 있는 것이 바람직하다.

본 발명에서 상기 영역 및 좌표 검출 모듈은 상기 차량 번호판의 엣지(edge)를 기준으로 하여 가로 및 세로 픽셀(pixel) 값을 추출하여 상기 차량 번호판의 영역 및 좌표를 검출할 수 있는 것이 바람직하다.

본 발명에서 상기 영상획득 전처리 추출 모듈은, 상기 추출된 차량 번호판의 영역 이미지를 이용해 기울기 왜곡 정보를 측정할 수 있는 기울기 측정 모듈, 상기 기울기 왜곡 정보를 이용해 상기 차량 번호판의 영역 이미지 기울기 왜곡을 보정할 수 있는 기울기 보정 모듈, 기울기 왜곡이 보정된 상기 차량 번호판 영역 이미지의 불량 화소값을 추출하여 제거할 수 있는 잡음 제거 모듈 및 불량 화소값이 제거된 상기 차량 번호판의 영역 이미지를 이진화할 수 있는 제2이진화 모듈을 포함하도록 구성되는 것이 바람직하다.

본 발명에서 상기 기울기 보정 모듈은 먼저 수직 길이 비율정보를 이용해 상기 차량 번호판 수직방향의 직선 길이를 구하고, 기울어진 직선 상의 각 화소들은 해당 화소의 위치에 대한 가로 길이 비율정보를 이용해 보정함으로써 상기 차량 번호판 영역 이미지의 기울기 왜곡을 보정하는 것이 바람직하다.

본 발명에서 상기 코드는 지역별 코드, 차종별 코드, 용도별 코드 또는 등록별 코드로 구분될 수 있는 것이 바람직하다.

본 발명에서 상기 데이터 인식 모듈은 1단으로 이루어진 번호판 또는 2단으로 이루어진 번호판을 구분하여 상기 2단으로 이루어진 번호판에 해당하는 경우 그 상단 영역과 하단 영역으로 분리한 후 각 영역에서 수평 프로젝션을 수행하여 개별 문자 데이터를 추출할 수 있는 것이 바람직하다.

본 발명에서 상기 데이터 인식 모듈은 정규화한 각각의 개별 문자 이미지를 이진화하여 문자의 총 패턴 및 가로 길이를 보관하는 기능을 수행할 수 있는 것이 바람직하다.

본 발명에서 상기 데이터 인식 모듈은 추출된 상기 문자 데이터를 상기 단말기의 레이아웃 상에 전달할 수 있는 것이 바람직하다.

본 발명에서 상기 데이터 관리 모듈은 단말기 등록 및 단말기 인증 기능을 수행할 수 있는 것이 바람직하다.

본 발명에서 상기 로그관리 기능은 차량 번호판의 영상 데이터 생성 시각, 차량 번호판의 영상 데이터 생성 정보, 차량 번호판의 문자 데이터 전달 시각 및 차량 번호판의 문자 데이터 전달 정보를 포함하는 데이터를 로그에 기록하는 기능을 포함하도록 구성되는 것이 바람직하다.

본 발명에서 상기 데이터 관리 모듈은 네트워크 로그를 기록하여 단말기로부터의 데이터 제공 요청 및 응답에 대한 속도 검증을 수행할 수 있는 것이 바람직하다.

본 발명에서 상기 단말기는 스마트폰, 태블릿 PC 및 PDA(personal digital assistants)를 포함하는 모바일 단말기인 것이 바람직하다.

본 발명에서 상기 모바일 단말기는 안드로이드(android) 운영체제(os)를 사용하는 것이 바람직하다.

본 발명의 스마트폰과 연동하여 차량번호를 인식할 수 있는 시스템에 의하면, 별도의 장비 또는 기기의 구비 없이도 누구나 손쉽게 업무영역 또는 실생활영역에 본 시스템을 이용할 수 있게 되어 시장성이 확대되고, 비용 또한 절감될 수 있는 효과가 있다.

또한, 정확한 차량 번호판 영역을 추출하고, 차량 번호판 영상의 특성을 이용하여 처리단계를 감축시킬 수 있는 본 시스템에 의하면, 원하는 데이터 산출을 위한 소요 시간이 절감되고, 차량번호 인식 오류를 줄일 수 있는 효과가 있다.

아울러 안드로이드 플랫폼 기반의 휴대용 단말기를 통해 구현될 수 있는 본 차량번호 인식 시스템에 의하면 보다 용이하게 경찰청 차량 단속 및 검문, 관공서 불법주차 단속, 주차장 주차 시간 관리 및 국세청 세금 조회 등에 활용이 가능한 효과가 있다.

도 1은 본 발명의 일실시예에 따른 차량번호 인식 시스템의 구성도.
도 2는 본 발명의 일실시예에 따른 영상획득 전처리 모듈에서의 영상 데이터 생성을 나타낸 예시도.
도 3a 및 도 3b는 본 발명의 일실시예에 따른 영역 추출 모듈에서의 필터링, 이진화, 연속 숫자 검출 및 영역·좌표 검출을 나타낸 예시도.
도 4는 본 발명의 일실시예에 따른 영상획득 전처리 추출 모듈에서의 기울기 측정, 기울기 보정, 잡음 제거 및 이진화를 나타낸 예시도.
도 5는 본 발명의 일실시예에 따른 데이터 인식 모듈에서의 위치 조정 및 정규화를 나타낸 예시도.
도 6은 본 발명의 일실시예에 따른 차량 번호판의 코드별 패턴 제작 알고리즘을 나타낸 예시도.
도 7은 본 발명의 일실시예에 따른 차량 번호판의 이미지 추출 과정을 나타낸 예시도.
도 8은 본 발명의 일실시예에 따른 차량 번호판 종류에 따른 인식 과정을 나타낸 예시도.
도 9는 본 발명의 일실시예에 따른 데이터 관리 모듈의 대표 기능을 나타낸 예시도.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

스마트폰 또는 안드로이드(android) 플랫폼 기반의 휴대용 단말기를 이용해 누구나 손쉽게 업무영역 및 실생활영역에 차량번호 인식 시스템을 이용할 수 있도록 하기 위한 본 발명은, 단말기에 장착된 카메라를 통해 차량 번호판의 영상 데이터(data)를 생성할 수 있는 영상획득 전처리 모듈(100), 상기 단말기로부터 전송된 차량 번호판의 영상 데이터를 이용해 연속된 숫자를 검출하고, 차량 번호판 종류에 따른 영역 이미지(image) 및 좌표값을 추출할 수 있는 영역 추출 모듈(200), 상기 추출된 차량 번호판의 영역 이미지를 기반으로 이진화(binarization)할 수 있는 영상획득 전처리 추출 모듈(300), 상기 영상획득 전처리 추출 모듈(300)에서 이진화된 이미지를 이용해 추출 영역 및 범위에 따라 코드별로 구분 후 위치를 조정하여 정규화함으로써 문자 데이터를 추출할 수 있는 데이터 인식 모듈(400) 및 상기 단말기의 아이디 및 비밀번호를 포함하는 필수 데이터를 이용해 상기 단말기의 로그(log)관리 기능을 수행할 수 있는 데이터 관리 모듈(500)을 포함하도록 구성된다.

본 발명에 이용될 수 있는 상기 단말기는 스마트폰, 태블릿 PC 및 PDA(personal digital assistants)를 포함하는 모바일 단말기인 것이 바람직하며, 상기 모바일 단말기는 안드로이드 운영체제(os)를 사용하는 것이 더욱 바람직하다.

상기 단말기에 장착되는 카메라는 단말기에 내장되어 있거나, 외장형으로 존재할 수도 있으며, 단말기와 연계하여 기능을 수행할 수 있는 카메라를 모두 지칭할 수 있다.

한편, 본 명세서에서 모듈이라 함은 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다.

예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명이 속하는 기술분야의 통상의 기술자에게는 용이하게 추론될 수 있다.

도 1에 본 발명의 일실시예에 따른 차량번호 인식 시스템의 구성도가 도시된다.

본 발명의 상기 영상획득 전처리 모듈(100)은 단말기에 장착된 카메라를 통해 YUV(휘도 신호(Y), 휘도 신호와 청색 성분의 차(U), 휘도 신호와 적색 성분의 차(V)) 방식으로 전달되는 차량 번호판의 데이터를 추출 받아 RGB(red green blue) 방식으로 변환하여 상기 차량 번호판의 영상 데이터를 생성할 수 있다.

도 2에 본 발명의 일실시예에 따른 영상획득 전처리 모듈(100)에서의 영상 데이터 생성을 나타낸 예시도가 도시된다.

YUV 방식이란 위에서 언급한 바와 같이, 휘도 신호(Y), 휘도 신호와 청색 성분의 차(U) 및 휘도 신호와 적색 성분의 차(V)의 3가지 정보로 색을 나타내는 방식으로 주로 텔레비전에 사용되는 색 표현 방식이며, 상기 Y 성분은 오차에 민감하므로 색상 성분인 U 또는 V 보다 많은 비트로 코딩하는 것이 바람직하고, Y:U:V의 비율은 4:2:2로 형성하는 것이 바람직하다.

RGB 방식이란 적색, 녹색 및 청색을 혼합하여 원하는 색을 만드는 가색 방식으로, 컴퓨터의 컬러 모니터 또는 인쇄 매체가 아닌 기타 빛을 이용하는 표시 장치에서 주로 이용된다.

적색, 녹색 및 청색의 조합으로 만들어지는 색을 살펴보면, R은 적색, G는 녹색, B는 청색, R + G는 황색, R + B는 붉은 보라색(마젠타), B + G는 청록색(시안), R + G + B는 백색, R, G, B 중 어느 것도 가해지지 않으면 흑색이 형성되며, 이와 같이 R, G, B가 비춰지는지 여부에 따라 8가지 색을 만들 수 있다.

상호 방식들간의 변환을 위해 YUV 값을 RGB로 변환하는 식은 R = Y + 0.956U + 0.621V, G = Y + 0.272U + 0.647V, B = Y + 1.1061U + 1.703V이고, 반대로 RGB 값을 YUV로 변환하는 식은 Y = 0.3R + 0.59G + 0.11B, U = (B - Y) x 0.493, V = (R - Y) x 0.877에 해당한다.

상기의 변환식들을 이용하여 도 3의 예시와 같이 YUV 방식의 차량 번호판 이미지를 적색, 녹색 및 청색을 이용한 RGB 방식의 이미지로 변환하여 영상 데이터를 생성하게 된다.

추가적으로 상기 영상획득 전처리 모듈(100)에서는 YUV 방식 영상 데이터의 프레임 단위 절삭을 위한 필터가 이용될 수 있으며, 잡음을 제거하기 위한 또 다른 필터를 이용하여 보다 안정적인 영상 데이터를 생성할 수 있다.

상기 영상획득 전처리 모듈(100)에서 생성한 영상 데이터는 영역 추출 모듈(200)로 전송되어 연속된 숫자를 검출함과 동시에 차량 번호판 종류에 따른 영역 이미지 및 좌표값을 추출할 수 있게 된다.

상기 영역 추출 모듈(200)은 상기 차량 번호판의 색상에 따라 이미지의 이진화가 가능하도록 필터링(filtering)할 수 있는 이미지 필터링 모듈(210), 상기 차량 번호판의 문자획 보전을 위해 이진화할 수 있는 제1이진화 모듈(220), 상기 차량 번호판의 연속된 숫자의 검출을 위한 연속 숫자 검출 모듈(230) 및 상기 차량 번호판의 종류에 따라 영역 이미지 및 좌표값을 추출할 수 있는 영역 및 좌표 검출 모듈(240)을 포함하도록 구성되는 것이 바람직하다.

도 3a 및 도 3b에 본 발명의 일실시예에 따른 영역 추출 모듈(200)에서의 필터링, 이진화, 연속 숫자 검출 및 영역·좌표 검출을 나타낸 예시도가 도시되어 있다.

상기 이미지 필터링 모듈(210)은 녹색, 남색, 황색 및 흰색을 포함하는 색상의 상기 차량 번호판을 필터링할 수 있는 것이 바람직하다. 현재 국내에서 이용되고 있는 번호판은 상기와 같은 색상을 배경으로 하여 제작되기 때문이다.

도 3a의 상단에 상기 이미지 필터링 모듈(210)을 이용해 차량 번호판의 원본 이미지를 필터링 처리된 이미지로 변환하는 예가 도시된다. 필터링을 거친 차량 번호판의 이미지가 필터링을 거치지 않은 이미지보다 더욱 선명하게 인식될 수 있음을 확인할 수 있다.

도 3a의 중단에 상기 제1이진화 모듈(220)을 이용해 필터링을 거친 차량 번호판의 이미지를 이진화시키는 예가 도시된다. 흑·백으로 나타낼 수 있는 이진화를 통해 문자 및 숫자 영역과 그 외의 영역을 보다 확연히 구분할 수 있게 되는 특징이 있다.

도 3a의 하단에 상기 연속 숫자 검출 모듈(230)을 이용해 이진화를 거친 차량 번호판의 숫자를 검출하는 예가 도시된다. 상기 이진화로 인해 명확해진 경계를 이용하여 차량 번호판의 연속된 숫자를 추출할 수 있도록 한다.

도 3b에는 상기 영역 및 좌표 검출 모듈(240)을 이용해 차량 번호판의 영역과 좌표를 검출하는 예가 도시된다. 구형 번호판의 경우 4자리 숫자의 가로 길이는 그 나머지 길이의 2배가 되며, 4자리 숫자의 세로 길이는 그 나머지 길이의 1.25배가 된다. 신형 번호판의 경우 4자리 숫자의 가로길이는 그 나머지 길이와 동일하다.

따라서 위와 같은 정보를 이용하여 번호판의 각 영역과 그 좌표를 검출하여 영상획득 전처리 모듈(300)에서의 처리를 준비할 수 있도록 하는 것이 바람직하다.

또한, 상기 영역 및 좌표 검출 모듈(240)은 상기 차량 번호판의 엣지(edge)를 기준으로 하여 가로 및 세로 픽셀(pixel) 값을 추출하여 상기 차량 번호판의 영역 및 좌표를 검출할 수 있는 것이 더욱 바람직하다.

추가적으로 상기 영역 추출 모듈(200)은 차량 번호판 종류에 따른 2행 기준의 번호판 또는 1행 기준의 번호판을 구분하여 연속된 숫자의 검출을 위한 이미지 분할 기능을 수행할 수도 있다.

한편, 본 발명의 상기 영상획득 전처리 추출 모듈(300)은 추출된 차량 번호판의 영역 이미지를 기반으로 이진화 작업을 수행할 수 있다.

상기 이진화란 흑백 또는 색채 화상 등 다치(多値)의 화상으로부터 2치(1, 0)의 화상을 얻기 위한 처리를 말한다. 얻어지는 화상은 2치 화상이라 부르며, 1, 0을 각각 흑, 백에 대응시켜 취급하게 된다. 화상 가운데서 대상물을 특정하거나 꺼내기 위한 수단으로 쓰일 수 있으며, 일단 2치 화상이 얻어지면 여러 가지 기하학적 취급이 가능하게 되는 특징이 있다.

상기 영상획득 전처리 추출 모듈(300)은 상기 추출된 차량 번호판의 영역 이미지를 이용해 기울기 왜곡 정보를 측정할 수 있는 기울기 측정 모듈(310), 상기 기울기 왜곡 정보를 이용해 상기 차량 번호판의 영역 이미지 기울기 왜곡을 보정할 수 있는 기울기 보정 모듈(320), 기울기 왜곡이 보정된 상기 차량 번호판 영역 이미지의 불량 화소값을 추출하여 제거할 수 있는 잡음 제거 모듈(330) 및 불량 화소값이 제거된 상기 차량 번호판의 영역 이미지를 이진화할 수 있는 제2이진화 모듈(340)을 포함하여 구성되도록 하는 것이 바람직하다.

추출된 차량 번호판의 영역 이미지를 기반으로 문자 배열 형태에 따라 기하학적 기울기 왜곡 정보를 얻고, 이 정보를 이용해 기울기 왜곡을 제거함으로써 보다 정확한 차량번호를 인식할 수 있는 기능을 수행할 수 있기 때문이다.

상기 기울기 측정 모듈(310)은 이미지에서 문자 배열 형태에 따라 특정 색상의 가로 시작과 세로 끝을 분석하여 이미지의 기하학적 기울기 왜곡 정보를 측정할 수 있다. 예를 들면, 차량의 전방 일측면에서 영상을 획득하는 경우에는 도면의 예시와 같이 '8915'의 숫자를 갖는 차량 번호판 영상이 소정의 각도로 기울어진 상태로 얻어지게 된다.

그리고 소정의 각도로 기울어진 상태의 차량 번호판 영상을 보정하기 위해 상기 기울기 보정 모듈(320)은 먼저 수직 길이 비율정보를 이용해 차량 번호판 수직방향의 직선 길이를 구하고, 기울어진 직선 상의 각 화소들은 해당 화소의 위치에 대한 가로 길이 비율정보를 이용해 보정함으로써 상기 차량 번호판 영역 이미지의 기울기 왜곡을 보정할 수 있다.

또한, 상기 잡음 제거 모듈(330)은 정규화된 직사각형 이미지의 수직 길이 비율정보를 이용하여 직선 상의 화소들을 보간법을 사용해 이미지 잡음을 제거할 수 있다. '6157 차량 번호판'의 잡음 제거 전과 후가 도면의 우측 상단에 도시된다.

상기 보간법이란 연속적 변수 가운데 어느 간격을 둔 두 개 이상의 값을 알고, 그것들을 만족시키는 어느 함수의 값을 정하여 그 사이 변수의 값에 대한 함수의 값을 구하는 조사 계산법을 말한다.

마지막으로 상기 제2이진화 모듈(340)은 잡음이 제거된 이미지를 기준으로 하여 이진화함으로써 문자의 획이 강조될 수 있도록 하는 기능을 수행한다. 흐릿한 명암의 '9785 차량 번호판' 영상이 상기 이진화 과정을 거침으로써 뚜렷한 명암의 '9785 차량 번호판' 영상으로 생성되는 것을 확인할 수 있다.

상기와 같은 기능을 수행하기 위한 모듈들의 예시가 도 4에 도시되며, 도 5에 본 발명의 일실시예에 따른 데이터 인식 모듈(400)에서의 위치 조정 및 정규화를 나타낸 예시도가 도시된다.

1996년 1월부터 2003년 12월까지 사용된 번호판의 경우에는 숫자의 간격이 w/7, 숫자 간 간격이 w/22, 문자의 간격이 w/6, 좌측 끝단부터 지역별 코드 시작점까지가 w/4, 하단 영역의 높이가 2h, 상단 영역의 높이가 h/3에 해당하며, 2004년 1월부터 2006년 10월까지 사용된 번호판의 경우에는 숫자의 간격이 w/5, 숫자 간 간격이 w/22, 좌측 끝단부터 용도별 코드 시작점까지가 w/3.5, 하단 영역의 높이가 2h/3, 상단 영역의 높이가 h/3에 해당한다.

이러한 문자 배열의 위치, 문자 간의 간격 및 크기, 번호판의 상·하단영역의 규격 및 가로·세로 비율을 이용해 추출 영역 및 범위에 따른 정규화 처리가 가능하며, 각각의 개별 문자를 일정한 크기와 위치로 고정할 수 있다.

본 발명의 상기 데이터 인식 모듈(400)은 영상획득 전처리 추출 모듈(300)에서 이진화된 이미지를 이용해 추출 영역 및 범위에 따라 코드별로 구분 후 위치를 조정하여 정규화함으로써 문자 데이터를 추출할 수 있다.

상기 코드는 지역별 코드, 차종별 코드, 용도별 코드 또는 등록별 코드로 구분될 수 있으며, 차량 번호판의 맨 앞 2자리의 숫자는 차종별 코드에 해당하고, 1자리의 글자는 용도별 코드에 해당하며, 4자리의 숫자는 등록별 코드에 해당한다.

종래의 차량 번호판에는 지역별 코드가 "서울", "경기" 등과 같이 기입되었으나, 현재 적용되는 차량 번호판에는 지역별 코드가 삭제되었으므로 지역별 코드의 구분은 과거 차량 번호판을 유지하고 있는 차량에만 적용될 수 있다.

차종별 코드를 살펴보면, 01 ~ 69는 승용차를, 70 ~ 79는 승합차를, 80 ~ 97은 화물차를, 98 ~ 99는 특수차를 의미한다.

용도별 코드를 살펴보면, 바, 사, 아, 자는 일반사업용, 허는 대여운수사업용, 가, 나, 다, 라, 마, 거, 너, 더, 러, 머, 버, 서, 어, 저, 고, 노, 도, 로, 모, 보, 소, 오, 조, 구, 누, 두, 루, 무, 부, 수, 우, 주는 자가용(관용포함), 외교, 준외, 영사, 준영, 국기, 협정, 대표는 외교용, 육, 공, 해, 국, 합은 군용에 해당한다.

그리고 상기 데이터 인식 모듈(400)은 1단으로 이루어진 번호판 또는 2단으로 이루어진 번호판을 구분하여 상기 2단으로 이루어진 번호판에 해당하는 경우 그 상단 영역과 하단 영역으로 분리한 후 각 영역에서 수평 프로젝션을 수행하여 개별 문자 데이터를 추출할 수 있다.

결국 상기 데이터 인식 모듈(400)은 문자 배열의 위치, 문자 간의 간격 및 크기, 차량 번호판의 상·하단부의 규격 및 가로·세로 비율 등의 정보를 이용해 정규화한 각각의 개별 문자 이미지를 이진화하여 문자의 총 패턴 및 가로 길이를 보관하는 기능을 수행할 수 있으며, 각각의 개별 문자들을 일정한 크기와 위치로 고정시킬 수 있고, 추출된 문자 데이터를 단말기의 레이아웃 상에 전달할 수 있는 기능을 수행할 수도 있다.

아울러 상기 데이터 인식 모듈(400)은 0과 1의 4x4 마스트 패턴을 사용하여 각 코드별로 대표 문자의 패턴들을 분석할 수 있는 필터를 이용하고, 특정값을 추출한 후 대표 패턴에 의한 목표값을 저장하는 알고리즘을 구현하게 된다.

이에 대한 내용으로 도 6에 본 발명의 일실시예에 따른 차량 번호판의 코드별 패턴 제작 알고리즘을 나타낸 예시도가 도시되어 있다.

문자 및 숫자 인식 패턴 알고리즘을 이용하여 목표값 인식 기능을 구현하고, 인식율에 따른 문자 및 숫자 변환 후 추측성 보정문자에 한하여 보정을 수행할 수 있으며, 추출된 문자데이터를 취합하여 단말기 상에 전달하는 기능을 수행할 수 있다.

도 6에 도시된 차량 번호판 인식을 위한 알고리즘을 살펴보면, ⅰ) 먼저 영상을 분할하고, ⅱ) 형태학적으로 매칭하여 ⅲ) 가장 높은 공간적 분포도 샘플을 추출하게 된다. ⅳ) 이후 특정 숫자 또는 문자에 해당하는 경우 ⅴ) 방향성 벡터를 고려한 최적 구성소를 선택하여 ⅵ) 구성소의 일치 여부를 판단하여 ⅶ) 일치하지 않는 경우 분포도, 정확도, 오차율 비교 및 최적 선택 단계를 거친 후 ⅷ) 번호판 구간으로 선택된다. ⅳ) 특정 숫자 또는 문자에 해당하지 않는 경우 및 ⅵ) 구성소가 일치하는 경우에는 ⅷ) 번호판 구간으로 선택하여 차량 번호판 이미지를 인식하게 된다.

위와 같은 패턴 제작 알고리즘을 이용함으로써 보다 정밀하고 정확한 차량번호 인식 시스템을 구현할 수 있으며, 상기 패턴 제작 알고리즘은 구형 번호판 또는 신형 번호판 모두에 적용되도록 구현할 수 있다.

도 7에는 본 발명의 일실시예에 따른 차량 번호판의 이미지 추출 과정을 나타낸 예시도가 도시된다.

0과 1의 4 x 4 마스크 패턴 및 필터를 사용하여 특정값을 추출하고 목표값을 저장하는 대표 문자들의 패턴 알고리즘을 구현하고, 문자 및 숫자를 인식하는 기능을 구현하며, 추측문자를 보정하는 기능을 구현할 수 있다.

예를 들어, 숫자 3의 경우 6, 8 또는 9로 잘못 인식될 우려가 있고, 숫자 6의 경우 3, 5 또는 8로 잘못 인식될 우려가 있기 때문에, 매칭과정의 결과 숫자 3, 6이 추출되었을 때에는 방향성 벡터를 고려하여 오차율을 계산하고, 이를 통해 보정할 수 있게 된다.

마찬가지로 문자 '머, 무, 어, 우'와 같이 잘못 인식될 우려가 있는 문자의 경우에도 방향성 벡터를 고려한 오차율 계산을 통해 이를 보정할 수 있다.

도 8에는 본 발명의 일실시예에 따른 차량 번호판 종류에 따른 인식 과정을 나타낸 예시도가 도시된다.

상기 데이터 인식 모듈(400)은 2단으로 이루어진 구형 번호판과 1단으로 이루어진 신형 번호판을 판단하게 되며, 이를 위해 전 단계에서 추출된 문자의 획이 강조된 이진화를 수행한 차량 번호판 이미지를 기준으로 수직 프로젝션을 수행하여 중간에 누적되지 않은 영역을 기준으로 전체 차량 번호판 영역에서 차량 번호판의 상단 영역과 하단 영역으로 분리할 수 있다.

도면에 표시된 예를 통해 살펴보면, '서울52바3108'의 차량 번호판이 1단으로 이루어진 신형 번호판인 경우 상기 차량 번호판의 상단 영역과 하단 영역을 분리하는 과정 없이 개별 문자에 대한 데이터를 추출할 수 있으며, '서울52'가 상단에, '바3108'이 하단에 형성된 구형 번호판의 경우 차량 번호판의 인식 시 번호판의 상단 영역과 하단 영역을 분리하는 과정을 거친 후 개별 문자에 대한 데이터를 추출하게 된다.

또한, 이전의 단계에서 얻어진 문자 데이터에 대하여 해당 문자를 대표하는 특징 벡터를 추출할 수 있고, 구축된 문자 데이터로부터 추출된 특징 벡터를 이용하여 인식 알고리즘을 고안할 수 있다.

도 9에 본 발명의 일실시예에 따른 데이터 관리 모듈(500)의 대표 기능을 나타낸 예시도가 도시된다.

본 발명의 상기 데이터 관리 모듈(500)은 단말기의 아이디 및 비밀번호를 포함하는 필수 데이터를 이용해 상기 단말기의 로그관리 기능을 수행할 수 있으며, 단말기 등록 및 단말기 인증 기능 또한 수행할 수 있다.

상기 로그관리 기능은 차량 번호판의 영상 데이터 생성 시각, 차량 번호판의 영상 데이터 생성 정보, 차량 번호판의 문자 데이터 전달 시각 및 차량 번호판의 문자 데이터 전달 정보를 포함하는 다양한 종류의 데이터를 로그에 기록하는 기능을 포함한다.

즉, 단말기 카메라의 인식 시각을 시점으로 한 차량번호 사진 저장 및 변환, 인식 결과에 대한 로그관리 기능을 구현하고자 하는 목적을 갖는다.

아울러 상기 데이터 관리 모듈(500)은 네트워크 로그를 기록하여 단말기로부터 데이터 제공 요청 및 응답에 대한 속도 검증 또한 수행할 수 있는 특징이 있다.

본 발명은 별도의 장치 없이도 휴대용 단말기와 연동하여 차량번호를 인식할 수 있어 누구나 손쉽게 필요한 영역에 본 시스템을 이용할 수 있게 되어 비용 및 사용에 효율적이고, 시장성이 확대될 수 있는 장점이 있다.

또한, 차량 번호판 영상의 특성을 이용해 처리단계를 줄이고, 영역 이미지 추출, 필터링, 이진화 등을 통해 정확한 차량번호를 인식할 수 있도록 함으로써 데이터 산출 시간 및 오류를 현저히 감축시킬 수 있는 장점이 있다.

아울러 안드로이드 플랫폼 기반을 이용하는 다양한 종류의 휴대용 단말기를 통해 본 시스템을 구현할 수 있게 됨으로써 다양한 분야에서 널리 활용될 수 있는 장점을 갖는다.

이상 본 발명의 구체적 실시형태와 관련하여 본 발명을 설명하였으나, 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 범위를 벗어나지 않고 설명된 실시형태를 변경 또는 변형할 수 있으며, 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능하다.

100: 영상획득 전처리 모듈
200: 영역 추출 모듈
210: 이미지 필터링 모듈
220: 제1이진화 모듈
230: 연속 숫자 검출 모듈
240: 영역 및 좌표 검출 모듈
300: 영상획득 전처리 추출 모듈
310: 기울기 측정 모듈
320: 기울기 보정 모듈
330: 잡음 제거 모듈
340: 제2이진화 모듈
400: 데이터 인식 모듈
500: 데이터 관리 모듈

Claims

단말기에 장착된 카메라를 통해 차량 번호판의 영상 데이터(data)를 생성할 수 있는 영상획득 전처리 모듈;
상기 단말기로부터 전송된 차량 번호판의 영상 데이터를 이용해 연속된 숫자를 검출하고, 차량 번호판 종류에 따른 영역 이미지(image) 및 좌표값을 추출할 수 있는 영역 추출 모듈;
상기 추출된 차량 번호판의 영역 이미지를 기반으로 이진화(binarization)할 수 있는 영상획득 전처리 추출 모듈;
상기 영상획득 전처리 추출 모듈에서 이진화된 이미지를 이용해 추출 영역 및 범위에 따라 코드별로 구분 후 위치를 조정하여 정규화함으로써 문자 데이터를 추출할 수 있는 데이터 인식 모듈; 및
상기 단말기의 아이디 및 비밀번호를 포함하는 필수 데이터를 이용해 상기 단말기의 로그(log)관리 기능을 수행할 수 있는 데이터 관리 모듈; 을 포함하는 차량번호 인식 시스템.
제 1항에 있어서,
상기 영상획득 전처리 모듈은 상기 카메라를 통해 YUV(휘도 신호(Y), 휘도 신호와 청색 성분의 차(U), 휘도 신호와 적색 성분의 차(V)) 방식으로 전달되는 차량 번호판의 데이터를 추출 받아 RGB(red green blue) 방식으로 변환하여 상기 차량 번호판의 영상 데이터를 생성하는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서 상기 영역 추출 모듈은,
상기 차량 번호판의 색상에 따라 이미지의 이진화가 가능하도록 필터링(filtering)할 수 있는 이미지 필터링 모듈;
상기 차량 번호판의 문자획 보전을 위해 이진화할 수 있는 제1이진화 모듈;
상기 차량 번호판의 연속된 숫자의 검출을 위한 연속 숫자 검출 모듈; 및
상기 차량 번호판의 종류에 따라 영역 이미지 및 좌표값을 추출할 수 있는 영역 및 좌표 검출 모듈; 을 포함하는 것을 특징으로 하는 차량번호 인식 시스템.
제 3항에 있어서,
상기 이미지 필터링 모듈은 녹색, 남색, 황색 및 흰색을 포함하는 색상의 상기 차량 번호판을 필터링할 수 있는 것을 특징으로 하는 차량번호 인식 시스템.
제 3항에 있어서,
상기 영역 및 좌표 검출 모듈은 상기 차량 번호판의 엣지(edge)를 기준으로 하여 가로 및 세로 픽셀(pixel) 값을 추출하여 상기 차량 번호판의 영역 및 좌표를 검출할 수 있는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서 상기 영상획득 전처리 추출 모듈은,
상기 추출된 차량 번호판의 영역 이미지를 이용해 기울기 왜곡 정보를 측정할 수 있는 기울기 측정 모듈;
상기 기울기 왜곡 정보를 이용해 상기 차량 번호판의 영역 이미지 기울기 왜곡을 보정할 수 있는 기울기 보정 모듈;
기울기 왜곡이 보정된 상기 차량 번호판 영역 이미지의 불량 화소값을 추출하여 제거할 수 있는 잡음 제거 모듈; 및
불량 화소값이 제거된 상기 차량 번호판의 영역 이미지를 이진화할 수 있는 제2이진화 모듈; 을 포함하는 것을 특징으로 하는 차량번호 인식 시스템.
제 6항에 있어서,
상기 기울기 보정 모듈은 먼저 수직 길이 비율정보를 이용해 상기 차량 번호판 수직방향의 직선 길이를 구하고, 기울어진 직선 상의 각 화소들은 해당 화소의 위치에 대한 가로 길이 비율정보를 이용해 보정함으로써 상기 차량 번호판 영역 이미지의 기울기 왜곡을 보정하는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서,
상기 코드는 지역별 코드, 차종별 코드, 용도별 코드 또는 등록별 코드로 구분될 수 있는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서,
상기 데이터 인식 모듈은 1단으로 이루어진 번호판 또는 2단으로 이루어진 번호판을 구분하여 상기 2단으로 이루어진 번호판에 해당하는 경우 그 상단 영역과 하단 영역으로 분리한 후 각 영역에서 수평 프로젝션을 수행하여 개별 문자 데이터를 추출할 수 있는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서,
상기 데이터 인식 모듈은 정규화한 각각의 개별 문자 이미지를 이진화하여 문자의 총 패턴 및 가로 길이를 보관하는 기능을 수행할 수 있는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서,
상기 데이터 인식 모듈은 추출된 상기 문자 데이터를 상기 단말기의 레이아웃 상에 전달할 수 있는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서,
상기 데이터 관리 모듈은 단말기 등록 및 단말기 인증 기능을 수행할 수 있는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서,
상기 로그관리 기능은 차량 번호판의 영상 데이터 생성 시각, 차량 번호판의 영상 데이터 생성 정보, 차량 번호판의 문자 데이터 전달 시각 및 차량 번호판의 문자 데이터 전달 정보를 포함하는 데이터를 로그에 기록하는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서,
상기 데이터 관리 모듈은 네트워크 로그를 기록하여 단말기로부터의 데이터 제공 요청 및 응답에 대한 속도 검증을 수행할 수 있는 것을 특징으로 하는 차량번호 인식 시스템.
제 1항에 있어서,
상기 단말기는 스마트폰, 태블릿 PC 및 PDA(personal digital assistants)를 포함하는 모바일 단말기인 것을 특징으로 하는 차량번호 인식 시스템.
제 15항에 있어서,
상기 모바일 단말기는 안드로이드(android) 운영체제(os)를 사용하는 것을 특징으로 하는 차량번호 인식 시스템.