KR20200080378A

KR20200080378A - 차량의 번호판 인식을 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Info

Publication number: KR20200080378A
Application number: KR1020180163006A
Authority: KR
Inventors: 김백섭
Original assignee: 한림대학교 산학협력단; 주식회사 지오멕스소프트
Priority date: 2018-12-17
Filing date: 2018-12-17
Publication date: 2020-07-07
Also published as: KR102157588B1

Abstract

본 발명에 따른 차량 번호판 인식 장치는 복수의 서로 다른 형식의 번호판의 규격을 나타내는 번호판 모델을 저장하는 저장부와, 차량의 번호판 영역을 포함하는 차량 영상이 입력되면, 상기 번호판 영역을 검출하여 번호판 영상을 생성하고, 상기 번호판 모델에 따라 상기 번호판 영상으로부터 번호판의 형식을 인식하고, 도출된 번호판의 형식에 따라 상기 번호판의 문자 영역 및 숫자 영역 각각 구분하여 특정한 후, 특정된 문자 영역 및 숫자 영역에 따라 상기 번호판의 문자 및 숫자를 인식하는 제어부를 포함한다.

Description

차량의 번호판 인식을 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체{An apparatus for recognizing a license plate of a vehicle, a method therefor, and computer recordable medium storing program to perform the method}

본 발명은 차량의 번호판 인식 기술에 관한 것으로, 보다 상세하게는, 차량의 번호판 인식을 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다.

종래의 번호판 인식 방법은 영상처리를 이용해서 개별 문자와, 숫자를 분리했으나 특정 문자와 숫자들에 빛이 반사되거나 이물질이 묻어 경계가 명확하지 않은 경우 분리하지 못해 오류가 발생하는 경우가 빈번했다.

한국공개특허 제2010-0083966호 2010년 07월 23일 공개 (명칭: 차량 번호판 인식방법)

본 발명의 목적은 번호판을 복수의 형식으로 구분하고, 구분된 형식 별로 문자 및 숫자들 위치를 표현하고 있는 번호판 모델을 이용하여 차량의 번호판을 인식할 수 있는 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 차량 번호판 인식 장치는 복수의 서로 다른 형식의 번호판의 규격을 나타내는 번호판 모델을 저장하는 저장부와, 차량의 번호판 영역을 포함하는 차량 영상으로부터 상기 번호판 영역을 검출하여 번호판 영상을 생성하고, 상기 번호판 모델에 따라 상기 번호판 영상으로부터 번호판의 형식을 인식하고, 도출된 번호판의 형식에 따라 상기 번호판의 문자 영역 및 숫자 영역 각각 구분하여 특정한 후, 특정된 문자 영역 및 숫자 영역에 따라 상기 번호판의 문자 및 숫자를 인식하는 제어부를 포함한다.

상기 제어부는 상기 번호판 영상을 생성하는 번호판검출부와, 상기 번호판 모델을 참조로 상기 번호판 영상으로부터 상기 번호판의 형식을 인식하는 형식인식부와, 상기 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 문자 영역을 특정하고, 특정된 문자 영역의 문자를 인식하는 문자인식부와, 상기 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 숫자 영역을 특정하고, 특정된 숫자 영역의 숫자를 인식하는 숫자인식부를 포함한다.

상기 번호판 모델은 상기 번호판의 형식에 따라 번호판에 포함된 복수의 텍스트 각각의 영역을 나타내는 영역 정보 및 상기 번호판에 포함된 복수의 텍스트 각각의 종류가 문자인지 혹은 숫자인지 여부를 나타내는 구분 정보를 포함하는 것을 특징으로 한다.

상기 번호판 모델은 상기 번호판의 형식에 따라 번호판의 가로 길이와 세로 길이의 비를 나타내는 가로세로비, 번호판의 배경의 색을 나타내는 배경색, 번호판에 포함된 텍스트의 색을 나타내는 텍스트색 및 번호판에 포함된 텍스트의 수를 나타내는 텍스트수를 더 포함하는 것을 특징으로 한다.

상기 형식인식부는 상기 번호판 모델의 상기 번호판의 형식을 머신 러닝 기법에 따라 학습한 후, 상기 학습한 바에 따라, 상기 번호판 영상으로부터 번호판의 형식을 인식하는 것을 특징으로 한다.

상기 형식인식부는 상기 번호판 모델을 기초로 상기 번호판의 상기 가로세로비, 상기 배경색, 상기 텍스트색 및 상기 텍스트수를 순차로 판별하여 번호판의 형식을 인식하는 것을 특징으로 한다.

상기 번호판검출부는 상기 번호판 영역을 특정하고, 상기 번호판 영역의 각 픽셀의 카메라부로부터의 거리 및 픽셀값을 추출하고, 상기 번호판 영역의 각 픽셀을 상기 카메라부로부터의 거리에 따라 확대 혹은 축소한 후, 동일한 평면상에 재배치하고, 상기 추출된 픽셀값을 적용하여 번호판 영상을 생성하는 것을 특징으로 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 차량 번호판 인식 장치는 복수의 서로 다른 형식의 번호판의 규격을 나타내는 번호판 모델을 저장하는 저장부와, 차량의 번호판 영역을 포함하는 차량 영상으로부터 상기 번호판 영역을 검출하여 번호판 영상을 생성하는 번호판검출부와, 상기 번호판 모델을 참조로 상기 번호판 영상으로부터 상기 번호판의 형식을 인식하는 형식인식부와, 상기 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 문자 영역을 특정하고, 특정된 문자 영역의 문자를 인식하는 문자인식부와, 상기 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 숫자 영역을 특정하고, 특정된 숫자 영역의 숫자를 인식하는 숫자인식부를 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 번호판인식장치의 차량 번호판 인식 방법은 차량의 번호판 영역을 포함하는 차량 영상으로부터 상기 번호판 영역을 검출하여 번호판 영상을 생성하는 단계와, 복수의 서로 다른 형식의 번호판의 규격을 나타내는 번호판 모델에 따라 상기 번호판 영상으로부터 번호판의 형식을 인식하는 단계와, 상기 도출된 번호판의 형식에 따라 상기 번호판의 문자 영역 및 숫자 영역 각각 구분하여 특정한 후, 특정된 문자 영역 및 숫자 영역에 따라 상기 번호판의 문자 및 숫자를 인식하는 단계를 포함하는 것을 특징으로 한다.

상기 번호판 모델은 상기 번호판의 형식에 따라 번호판의 가로 길이와 세로 길이의 비를 나타내는 가로세로비, 번호판의 배경의 색을 나타내는 배경색, 번호판에 포함된 텍스트의 색을 나타내는 텍스트색, 번호판에 포함된 텍스트의 수를 나타내는 텍스트수, 번호판에 포함된 복수의 텍스트 각각의 영역을 나타내는 영역 정보 및 상기 번호판에 포함된 복수의 텍스트 각각의 종류가 문자인지 혹은 숫자인지 여부를 나타내는 구분 정보를 포함한다.

상기 번호판의 문자 및 숫자를 인식하는 단계는 상기 인식된 번호판 형식에 상응하는 상기 영역 정보 및 상기 구분 정보를 통해 문자 영역을 특정하고, 특정된 문자 영역의 문자를 인식하는 단계와, 상기 인식된 번호판 형식에 상응하는 상기 영역 정보 및 상기 구분 정보를 통해 숫자 영역을 특정하고, 특정된 숫자 영역의 숫자를 인식하는 단계를 포함한다.

상기 번호판의 형식을 인식하는 단계는 상기 번호판 모델의 상기 번호판의 형식을 머신 러닝 기법에 따라 학습한 후, 상기 학습한 바에 따라, 상기 번호판 영상으로부터 번호판의 형식을 인식하는 것을 특징으로 한다.

상기 번호판의 형식을 인식하는 단계는 상기 번호판 모델을 기초로 상기 번호판의 상기 가로세로비, 상기 배경색, 상기 텍스트색 및 상기 텍스트수를 순차로 판별하여 번호판의 형식을 인식하는 것을 특징으로 한다.

상기 번호판 영상을 생성하는 단계는 상기 번호판 영역을 특정하는 단계와, 상기 번호판 영역의 각 픽셀의 카메라부로부터의 거리 및 픽셀값을 추출하는 단계와, 상기 번호판 영역의 각 픽셀을 상기 카메라부로부터의 거리에 따라 확대 혹은 축소한 후, 동일한 평면상에 재배치하는 단계와, 상기 추출된 픽셀값을 적용하여 번호판 영상을 생성하는 단계를 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 차량 번호판 인식 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체는 차량의 번호판 영역을 포함하는 차량 영상으로부터 상기 번호판 영역을 검출하여 번호판 영상을 생성하는 단계와, 복수의 서로 다른 형식의 번호판의 규격을 나타내는 번호판 모델에 따라 상기 번호판 영상으로부터 번호판의 형식을 인식하는 단계와, 상기 도출된 번호판의 형식에 따라 상기 번호판의 문자 영역 및 숫자 영역 각각 구분하여 특정한 후, 특정된 문자 영역 및 숫자 영역에 따라 상기 번호판의 문자 및 숫자를 인식하는 단계를 포함하는 것을 특징으로 하는 차량 번호판 인식 방법을 수행하기 위한 프로그램이 기록된다.

상기 번호판 모델은 상기 번호판의 형식에 따라 번호판의 가로 길이와 세로 길이의 비를 나타내는 가로세로비, 번호판의 배경의 색을 나타내는 배경색, 번호판에 포함된 텍스트의 색을 나타내는 텍스트색, 번호판에 포함된 텍스트의 수를 나타내는 텍스트수, 번호판에 포함된 복수의 텍스트 각각의 영역을 나타내는 영역 정보 및 상기 번호판에 포함된 복수의 텍스트 각각의 종류가 문자인지 혹은 숫자인지 여부를 나타내는 구분 정보를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 번호판인식에서 빛 반사나 이물질이 묻어 문자와 숫자 경계를 오인식하는 사례를 줄여 전반적으로 번호판 인식 성능을 높일 수 있다.

또한, 본 발명에 따르면, 각 글자가 문자인지 숫자인지를 미리 결정하므로 문자 인식기와 숫자 인식기를 별도로 구성하여 인식 성능을 높일 수 있다.

그리고 본 발명에 따르면, 전기차 번호판처럼 문자 및 숫자 이외의 그림이 있는 경우 인식 대상영역인 문자 영역 및 숫자 영역 이외의 영역을 무시하고, 해당 인식 대상 영역에 대해서만 프로세스를 수행하기 때문에 인식 성능을 높일 수 있다.

도 1은 본 발명의 실시예에 따른 차량의 번호판 인식을 위한 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 차량 번호판 인식 장치의 제어부의 구성을 설명하기 위한 블록도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 번호판 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 차량의 번호판 인식을 위한 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 차량의 번호판 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 차량의 번호판 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 차량의 번호판 형식을 인식하는 방법을 설명하기 위한 흐름도이다.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

먼저, 본 발명의 실시예에 따른 차량의 번호판 인식을 위한 장치의 구성을 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 차량의 번호판 인식을 위한 장치의 구성을 설명하기 위한 블록도이다. 도 1을 참조하면, 차량의 번호판 인식을 위한 장치(100: 이하, '번호판인식장치'로 축약함)는 통신부(110), 카메라부(120), 입력부(130), 표시부(140), 저장부(150) 및 제어부(200)를 포함한다.

통신부(110)는 네트워크를 통해 다른 장치와 통신하기 위한 것이다. 통신부(110)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기(Tx) 및 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기(Rx)를 포함할 수 있다. 그리고 통신부(110)는 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다. 예컨대, 통신부(110)는 서버(미도시)로부터 본 발명의 실시예에 따른 번호판의 형식에 따른 규격을 나타내는 번호판 모델을 수신하거나, 번호판 인식 결과를 다른 장치로 전송할 수 있다.

카메라부(120)는 이미지 센서를 포함하며, 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(120)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 전기신호를 디지털 수열로 변환하여 복수의 픽셀을 가지는 이미지를 출력한다. 이러한 이미지는 현실 공간의 영상을 스캔 및 촬영하기 위한 것이다. 특히, 카메라부(120)는 깊이 센서 혹은 3D 센서를 포함할 수 있다. 3D 센서는 비접촉 방식으로 영상의 각 픽셀에 대한 3차원 좌표를 획득하기 위한 센서이다. 카메라부(120)는 이미지 센서를 통해 이미지를 생성함과 동시에 3D 센서를 통해 촬영된 이미지의 각 픽셀에 대응하는 3차원 좌표를 검출할 수 있다. 한다. 이에 따라, 3D 센서를 통해 각 이미지의 픽셀의 카메라부(120)의 기준점, 예컨대, 초점 혹은 주점으로부터 객체까지의 거리를 식별할 수 있다. 깊이 센서 혹은 3D 센서는 레이저, 적외선, 가시광 등을 이용하는 다양한 방식의 센서를 이용할 수 있다. 이러한 3D 센서는 TOP(Time of Flight), 위상변위(Phase-shift) 및 Online Waveform Analysis 중 어느 하나를 이용하는 레이저 방식 3차원 스캐너, 광 삼각법을 이용하는 레이저 방식 3차원 스캐너, 백색광 혹은 변조광을 이용하는 광학방식 3차원 스캐너, Handheld Real Time 방식의 PHOTO, 광학방식 3차원 스캐너, Pattern Projection 혹은 Line Scanning을 이용하는 광학방식, 레이저 방식 전신 스캐너, 사진 측량(Photogrammetry)을 이용하는 사진방식 스캐너, 키네틱(Kinect Fusion)을 이용하는 실시간(Real Time) 스캐너 등을 예시할 수 있다.

입력부(130)는 번호판인식장치(100)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(200)에 전달한다. 입력부(130)는 번호판인식장치(100)를 제어하기 위한 각 종 키들을 포함할 수 있다. 입력부(130)는 표시부(140)가 터치스크린으로 이루어진 경우, 각 종 키들의 기능이 표시부(140)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(130)는 생략될 수도 있다.

표시부(140)는 번호판인식장치(100)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(140)는 번호판인식장치(100)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 특히, 표시부(140)는 본 발명의 실시예에 따라 카메라부(120)가 촬영한 번호판을 포함하는 차량의 영상, 번호판 영역만을 추출한 번호판 영상, 번호판의 텍스트를 인식한 결과 등을 화면으로 출력하는 기능을 수행한다. 이러한 표시부(140)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(140)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(140)는 터치센서를 포함한다. 터치센서는 사용자의 터치 입력을 감지한다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(200)로 전송한다. 특히, 표시부(140)가 터치스크린으로 이루어진 경우, 입력부(130) 기능의 일부 또는 전부는 표시부(140)를 통해 이루어질 수 있다.

저장부(150)는 번호판인식장치(100)의 동작에 필요한 프로그램 및 데이터를 저장한다. 특히, 저장부(150)는 번호판인식장치(100)가 번호판의 형식을 인식하기 위해 번호판의 규격을 나타내는 번호판 모델을 저장할 수 있다. 이러한 번호판 모델은 각 형식의 번호판에 대해, 번호판의 가로세로비, 배경색, 텍스트색, 텍스트수 및 텍스트색, 번호판에 포함된 복수의 텍스트 각각의 위치를 나타내는 위치 정보 및 기 번호판에 포함된 복수의 텍스트 각각의 종류가 문자인지 혹은 숫자인지 여부를 나타내는 플래그 값을 포함한다. 저장부(150)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.

제어부(200)는 번호판인식장치(100)의 전반적인 동작 및 번호판인식장치(100)의 내부 블록(110 내지 150)들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(200)는 중앙처리장치(CPU: Central Processing Unit), 그래픽처리장치(GPU: Graphic Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다.

그러면, 이러한 제어부(200)에 대해서 보다 상세하게 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 차량 번호판 인식 장치의 제어부의 구성을 설명하기 위한 블록도이다.

도 2를 참조하면, 제어부(200)는 번호판검출부(210), 형식인식부(220), 문자인식부(230) 및 숫자인식부(240)를 포함한다.

제어부(200)는 카메라부(120)를 통해 차량의 전면 혹은 후면을 촬영하여 번호판을 포함하는 차량 영상을 생성할 수 있다. 이때, 번호판검출부(210)는 차량 영상으로부터 번호판 영상을 검출한다. 번호판 영상은 차량 영상으로부터 번호판 영역만을 추출한 것이다.

형식인식부(220)는 단계에서 저장부(150)에 저장된 번호판 모델에 따라 번호판 영상으로부터 번호판의 형식을 인식하기 위한 것이다.

문자인식부(230)는 형식인식부(220)가 인식한 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 문자 영역을 특정하고, 특정된 문자 영역의 문자를 인식할 수 있다.

숫자인식부(230)는 형식인식부(220)가 인식한 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 숫자 영역을 특정하고, 특정된 문자 영역의 숫자를 인식할 수 있다.

형식인식부(220), 문자인식부(230) 및 숫자인식부(230)는 형식, 문자 및 숫자를 인식하기 위한 인식기이며, 전방전달신경망(FNN: feedforward neural network), 순환인공신경망(RNN: Recurrent neural network), 합성곱신경망(CNN: convolutional neural networks), 코헨자기조직신경망(KSN: kohonen self-organizing network) 등의 인공신경망(ANN: artificial neural network)을 비롯하여 트리인식기, 서포트 벡터 머신(SVM: support vector machine), 퍼셉트론(perceptron), RBF(radial basis function) 등을 예시할 수 있다.

그러면, 본 발명의 실시예에 따른 차량의 번호판 인식을 위한 방법에 대해서 설명하기로 한다. 본 발명의 실시예에 따른 차량의 번호판 인식을 위한 방법의 설명에 앞서 본 발명의 실시예에 따른 번호판 모델에 대해서 설명하기로 한다. 도 3 및 도 4는 본 발명의 실시예에 따른 번호판 모델을 설명하기 위한 도면이다.

도 3에 본 발명의 일 실시예에 따른 번호판 모델이 도시되었다. 도시된 바와 같이, 번호판 모델은 복수의 서로 다른 형식의 번호판의 규격을 나타낸다. 즉, 번호판 모델은 각 형식과 각 형식에 상응하는 규격을 포함한다. 규격은 번호판의 형식에 따라 번호판의 가로세로비, 배경색, 텍스트색, 텍스트수, 각 텍스트에 대한 영역 정보 및 구분 정보를 포함한다.

가로세로비는 번호판의 가로 세로의 길이 비율을 의미한다. 예컨대, 도 4에 도시된 번호판과 같은 경우, 가로세로비는 b/a를 의미한다.

배경색은 번호판의 배경색을 나타내며, 예를 들면, RGB값과 같은 컬러값을 가진다. 예컨대, 도 4의 번호판의 배경색이 하늘색(sky blue)라면, RGB값 (135, 206, 235)으로 나타낼 수 있다.

텍스트색은 문자 및 숫자를 포한하는 텍스트의 색을 나타내며, 예를 들면, RGB값과 같은 컬러값을 가진다. 예컨대, 도 4의 번호판의 텍스트가 검은색이라고 가정하면, 텍스트색은 RGB값으로 (0, 0, 0)과 같이 나타낼 수 있다.

텍스트수는 번호판에 포함된 문자 및 숫자를 포함하는 텍스트의 수를 나타낸다. 예컨대, 도 4에 도시된 번호판과 같은 경우, 문자 1개와, 숫자 6개로 이루어져 있기 때문에 텍스트수는 '7'이 될 수 있다.

영역정보는 번호판에 포함된 복수의 텍스트 각각의 영역을 나타낸다. 도 4의 경우, 7개의 텍스트가 포함되어 있으며, 첫 번째 텍스트인 경우, 영역정보는 첫 번째 텍스트 '5'를 둘러싸는 사각형의 4개의 꼭짓점의 좌표로 표현될 수 있다. 일례로, 첫 번째 텍스트 '5'의 영역 정보는 (x11, y11, x12, y12, x13, y13, x14, y14)와 같이 표시될 수 있다. 다른 예로, 세 번째 텍스트 '주'의 영역 정보는 (x31, y31, x32, y32, x33, y33, x34, y34)와 같이 표시될 수 있다.

또한, 구분 정보는 번호판에 포함된 복수의 텍스트 각각의 종류가 문자인지 혹은 숫자인지 여부를 나타내는 정보이다. 이러한 구분 정보는 플래그 값으로 표현될 수 있다. 도 4의 경우, 7개의 텍스트가 포함되어 있으며, 첫 번째 텍스트인 경우, 숫자이기 때문에 그 구분 정보는 플래그 값 1로 표현할 수 있다. 다른 예로, 도 4의 세 번째 텍스트의 경우, 문자이기 때문에 그 구분 정보는 플래그 값 0으로 나타낼 수 있다. 이와 같이, 영역 정보 및 구분 정보는 번호판의 형식에 따라 번호판에 포함된 모든 텍스트 각각에 대해 개별적으로 생성된다.

다음으로, 본 발명의 실시예에 따른 차량의 번호판 인식을 위한 방법에 대해서 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 차량의 번호판 인식을 위한 방법을 설명하기 위한 흐름도이다. 도 6은 본 발명의 실시예에 따른 차량의 번호판 영상을 생성하는 방법을 설명하기 위한 도면이다. 도 7은 본 발명의 실시예에 따른 차량의 번호판 영상을 생성하는 방법을 설명하기 위한 도면이다. 그리고 도 8은 본 발명의 일 실시예에 따른 차량의 번호판 형식을 인식하는 방법을 설명하기 위한 흐름도이다.

먼저, 도 5를 참조하면, 제어부(200)는 S110 단계에서 차량의 번호판 영역을 포함하는 차량 영상을 입력 받는다.

일 실시예에 따르면, 제어부(200)는 카메라부(120)를 통해 차량의 전면 혹은 후면이 촬영된 차량 영상을 입력 받을 수 있다. 하지만, 본 발명이 이에 한정되는 것은 아니며, 차량의 번호판 영역이 포함된 차량 영상을 다른 경로로 입력 받을 수도 있다. 예컨대, 제어부(200)는 원격의 카메라가 촬영한 차량 영상을 통신부(110)를 통해 수신할 수도 있다. 그 밖에 다양한 방식에 의해 차량 영상을 입력 받을 수 있다.

이어서, 제어부(200)의 번호판검출부(210)는 S120 단계에서 차량 영상으로부터 번호판 영상을 생성한다. 번호판 영상은 번호판검출부(210)에 의해 차량 영상으로부터 번호판 영역만을 추출하여 재구성한 것이다. 즉, 번호판검출부(210)는 도 4에 도시된 바와 같은 번호판 영상을 생성할 수 있다.

이에 대해, 도 6 및 도 7을 참조하여 보다 상세하게 설명하기로 한다.

번호판검출부(210)는 먼저, 번호판검출부(210)는 S210 단계에서 카메라부(120)를 통해 촬영된 차량 영상에서 번호판 영역을 특정한다.

이때, 2차원의 차량 영상에서 번호판 영역은 도 7의 (A)와 같이, 카메라부(120)로부터의 거리에 따라 원래의 모양에서 왜곡된 형태가 될 수 있다.

따라서 번호판검출부(210)는 S220 단계에서 카메라부(120)의 3D 센서를 통해 번호판 영역의 각 픽셀의 카메라부(120)의 소정의 기준점으로부터 거리를 도출하고, 해당 픽셀의 픽셀값을 추출한다. 여기서, 기준점은 카메라부(120)의 초첨 혹은 주점이 될 수 있다. 또한, 픽셀값은 컬러값이며, 대표적으로 RGB값을 예시할 수 있다.

그런 다음, 번호판검출부(210)는 S230 단계에서 번호판 영역의 픽셀을 카메라부로부터의 거리에 따라 확대 혹은 축소한 후, 도 7의 (B)와 같은 동일한 평면상에 재배치하고, 그 픽셀값을 적용하여 번호판 영상을 생성한다. 즉, 번호판검출부(210)는 카메라부(120)로부터의 거리에 따라, 거리가 상대적으로 먼 경우, 픽셀을 확장하고, 거리가 상대적으로 가까운 경우, 픽셀을 축소하여 도 7의 (B)와 같은 2차원의 동일한 평면상에 픽셀을 배치한다. 그리고 번호판검출부(210)는 해당 픽셀에 상응하는 픽셀값을 적용하여 번호판 영상을 완성한다.

다음으로, 다시, 도 5를 참조하면, 번호판 영상을 생성한 후, 제어부(200)의 형식인식부(220)는 S130 단계에서 저장부(150)에 저장된 번호판 모델에 따라 번호판 영상으로부터 번호판의 형식을 인식한다.

일 실시예에 따르면, 형식인식부(220)는 저장부(150)에 저장된 번호판 모델을 참조로 도 8에 도시된 바와 같이, 결정 트리 기법에 따라 번호판의 형식을 인식할 수 있다. 즉, 번호판 모델을 참조하여, 번호판이 가로세로비, 배경색, 텍스트색, 텍스트수 등을 순차로 판별하여 번호판의 형식을 인식할 수 있다.

다른 실시예에 따르면, 형식인식부(220)는 저장부(150)에 저장된 번호판 모델을 머신 러닝 기법에 따라 미리 학습하여 학습된 바에 따라 번호판의 형식을 인식할 수 있다.

다음으로, 제어부(200)의 문자인식부(230)는 S140 단계에서 앞서 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 문자 영역을 특정하고, 특정된 문자 영역의 문자를 인식할 수 있다. 예컨대, 도 3 및 도 4를 참조하면, 도 4의 세 번째 텍스트 '주'의 경우, 문자이기 때문에 그 구분 정보는 플래그 값 '0'으로 나타낼 수 있다. 또한, 세 번째 텍스트인 문자 '주'의 영역 정보는 (x31, y31, x32, y32, x33, y33, x34, y34)와 같이 표시될 수 있다. 이에 따라, 문자인식부(230)는 영역 정보 및 구분 정보를 통해 세 번째 텍스트가 문자임을 특정하고, 영역 정보를 통해 해당 문자의 영역을 특정할 수 있다. 그리고 해당 영역에서 문자 '주'를 식별할 수 있다.

다음으로, 제어부(200)의 숫자인식부(230)는 S150 단계에서 앞서 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 숫자 영역을 특정하고, 특정된 문자 영역의 숫자를 인식할 수 있다.

예컨대, 도 3 및 도 4를 참조하면, 도 4의 첫 번째 텍스트 '5'의 경우, 숫자이기 때문에 그 구분 정보는 플래그 값 '1'로 나타낼 수 있다. 또한, 첫 번째 텍스트인 숫자 '5'의 영역 정보는 (x11, y11, x12, y12, x13, y13, x14, y14)와 같이 표시될 수 있다. 이에 따라, 문자인식부(230)는 영역 정보 및 구분 정보를 통해 첫 번째 텍스트가 숫자임을 특정하고, 영역 정보를 통해 해당 숫자의 영역을 특정할 수 있다. 그리고 해당 영역에서 숫자 '5'를 식별할 수 있다.

전술한 바와 같이, 문자인식부(230) 및 숫자인식부(230) 각각이 문자 및 숫자를 인식하면, 제어부(200)는 S150 단계에서 문자인식부(230) 및 숫자인식부(230)가 인식한 문자 및 숫자를 포함하는 텍스트를 출력할 수 있다.

이때, 일 실시예에 따르면, 제어부(200)는 표시부(140)를 통해 인식된 텍스트를 출력할 수 있다. 다른 실시예에 따르면, 제어부(200)는 통신부(110)를 통해 다른 장치 혹은 서버(미도시)로 인식된 텍스트를 출력할 수 있다. 여기서, 서버(미도시)는 주차 관리를 위해 사용하는 서버가 될 수 있다.

전술한 바와 같이, 본 발명에 따르면, 번호판의 형식에 따라 문자 영역 및 숫자 영역을 특정한 후, 문자 혹은 숫자를 인식하기 때문에 번호판 인식에서 빛 반사나 이물질이 묻어 문자와 숫자 경계를 오인식하는 사례를 줄여 전반적으로 번호판 인식 성능을 높일 수 있다.

또한, 본 발명에 따르면, 번호판 모델의 구분 정보, 즉, 플래그 값을 통해 텍스트가 문자인지 숫자인지를 미리 결정한 후, 문자 및 숫자 인식을 수행하기 때문에, 문자인식기 및 숫자인식기를 별도로 구성하고, 이를 통해, 개별적으로, 문자 및 숫자 인식을 수행하기 때문에, 인식 성능이 향상된다.

한편, 앞서 설명된 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

100: 번호판인식장치
110: 통신부
120: 카메라부
130: 입력부
140: 표시부
150: 저장부
200: 제어부
210: 번호판검출부
220: 형식인식부
230: 문자인식부
240: 숫자인식부

Claims

차량 번호판 인식 장치에 있어서,
복수의 서로 다른 형식의 번호판의 규격을 나타내는 번호판 모델을 저장하는 저장부; 및
차량의 번호판 영역을 포함하는 차량 영상이 입력되면, 상기 번호판 영역을 검출하여 번호판 영상을 생성하고,
상기 번호판 모델에 따라 상기 번호판 영상으로부터 번호판의 형식을 인식하고,
도출된 번호판의 형식에 따라 상기 번호판의 문자 영역 및 숫자 영역 각각 구분하여 특정한 후,
특정된 문자 영역 및 숫자 영역에 따라 상기 번호판의 문자 및 숫자를 인식하는 제어부;를 포함하는 것을 특징으로 하는
차량 번호판 인식 장치.
제1항에 있어서,
상기 제어부는
상기 번호판 영상을 생성하는 번호판검출부;
상기 번호판 모델을 참조로 상기 번호판 영상으로부터 상기 번호판의 형식을 인식하는 형식인식부;
상기 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 문자 영역을 특정하고, 특정된 문자 영역의 문자를 인식하는 문자인식부; 및
상기 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 숫자 영역을 특정하고, 특정된 숫자 영역의 숫자를 인식하는 숫자인식부;를 포함하는 것을 특징으로 하는
차량 번호판 인식 장치.
제1항에 있어서,
상기 번호판 모델은
상기 번호판 모델은
상기 번호판의 형식에 따라
번호판에 포함된 복수의 텍스트 각각의 영역을 나타내는 영역 정보 및
상기 번호판에 포함된 복수의 텍스트 각각의 종류가 문자인지 혹은 숫자인지 여부를 나타내는 구분 정보를 포함하는 것을 특징으로 하는
차량 번호판 인식 장치.
제3항에 있어서,
상기 번호판 모델은
상기 번호판의 형식에 따라
번호판의 가로 길이와 세로 길이의 비를 나타내는 가로세로비,
번호판의 배경의 색을 나타내는 배경색,
번호판에 포함된 텍스트의 색을 나타내는 텍스트색 및
번호판에 포함된 텍스트의 수를 나타내는 텍스트수를 더 포함하는 것을 특징으로 하는
차량 번호판 인식 장치.
제4항에 있어서,
상기 형식인식부는
상기 번호판 모델의 상기 번호판의 형식을 머신 러닝 기법에 따라 학습한 후,
상기 학습한 바에 따라, 상기 번호판 영상으로부터 번호판의 형식을 인식하는 것을 특징으로 하는
차량 번호판 인식 장치.
제4항에 있어서,
상기 형식인식부는
상기 번호판 모델을 기초로 상기 번호판의 상기 가로세로비, 상기 배경색, 상기 텍스트색 및 상기 텍스트수를 순차로 판별하여 번호판의 형식을 인식하는 것을 특징으로 하는
차량 번호판 인식 장치.
제2항에 있어서,
상기 번호판검출부는
상기 번호판 영역을 특정하고,
상기 번호판 영역의 각 픽셀의 카메라부로부터의 거리 및 픽셀값을 추출하고,
상기 번호판 영역의 각 픽셀을 상기 카메라부로부터의 거리에 따라 확대 혹은 축소한 후, 동일한 평면상에 재배치하고,
상기 추출된 픽셀값을 적용하여 번호판 영상을 생성하는 것을 특징으로 하는
차량 번호판 인식 장치.
차량 번호판 인식 장치에 있어서,
복수의 서로 다른 형식의 번호판의 규격을 나타내는 번호판 모델을 저장하는 저장부;
차량의 번호판 영역을 포함하는 차량 영상이 입력되면, 상기 번호판 영역을 검출하여 번호판 영상을 생성하는 번호판검출부;
상기 번호판 모델을 참조로 상기 번호판 영상으로부터 상기 번호판의 형식을 인식하는 형식인식부;
상기 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 문자 영역을 특정하고, 특정된 문자 영역의 문자를 인식하는 문자인식부; 및
상기 인식된 번호판 형식에 상응하는 영역 정보 및 구분 정보를 통해 숫자 영역을 특정하고, 특정된 숫자 영역의 숫자를 인식하는 숫자인식부;를 포함하는 것을 특징으로 하는
차량 번호판 인식 장치.
제8항에 있어서,
상기 번호판 모델은
상기 번호판의 형식에 따라
번호판에 포함된 복수의 텍스트 각각의 영역을 나타내는 영역 정보 및
상기 번호판에 포함된 복수의 텍스트 각각의 종류가 문자인지 혹은 숫자인지 여부를 나타내는 구분 정보를 포함하는 것을 특징으로 하는
차량 번호판 인식 장치.
제9항에 있어서,
상기 번호판 모델은
상기 번호판의 형식에 따라
번호판의 가로 길이와 세로 길이의 비를 나타내는 가로세로비,
번호판의 배경의 색을 나타내는 배경색,
번호판에 포함된 텍스트의 색을 나타내는 텍스트색 및
번호판에 포함된 텍스트의 수를 나타내는 텍스트수를 더 포함하는 것을 특징으로 하는
차량 번호판 인식 장치.
제9항에 있어서,
상기 형식인식부는
상기 번호판 모델의 상기 번호판의 형식을 머신 러닝 기법에 따라 학습한 후,
상기 학습한 바에 따라, 상기 번호판 영상으로부터 번호판의 형식을 인식하는 것을 특징으로 하는
차량 번호판 인식 장치.
제9항에 있어서,
상기 형식인식부는
상기 번호판 모델을 기초로 상기 번호판의 상기 가로세로비, 상기 배경색, 상기 텍스트색 및 상기 텍스트수를 순차로 판별하여 번호판의 형식을 인식하는 것을 특징으로 하는
차량 번호판 인식 장치.
제8항에 있어서,
상기 번호판검출부는
상기 번호판 영역을 특정하고,
상기 번호판 영역의 각 픽셀의 카메라부로부터의 거리 및 픽셀값을 추출하고,
상기 번호판 영역의 각 픽셀을 상기 카메라부로부터의 거리에 따라 확대 혹은 축소한 후, 동일한 평면상에 재배치하고,
상기 추출된 픽셀값을 적용하여 번호판 영상을 생성하는 것을 특징으로 하는
차량 번호판 인식 장치.
번호판인식장치의 차량 번호판 인식 방법에 있어서,
차량의 번호판 영역을 포함하는 차량 영상으로부터 상기 번호판 영역을 검출하여 번호판 영상을 생성하는 단계;
복수의 서로 다른 형식의 번호판의 규격을 나타내는 번호판 모델에 따라 상기 번호판 영상으로부터 번호판의 형식을 인식하는 단계;
상기 도출된 번호판의 형식에 따라 상기 번호판의 문자 영역 및 숫자 영역 각각 구분하여 특정한 후, 특정된 문자 영역 및 숫자 영역에 따라 상기 번호판의 문자 및 숫자를 인식하는 단계;를 포함하는 것을 특징으로 하는
차량 번호판 인식 방법.
제14항에 있어서,
상기 번호판 모델은
상기 번호판의 형식에 따라
번호판의 가로 길이와 세로 길이의 비를 나타내는 가로세로비,
번호판의 배경의 색을 나타내는 배경색,
번호판에 포함된 텍스트의 색을 나타내는 텍스트색,
번호판에 포함된 텍스트의 수를 나타내는 텍스트수,
번호판에 포함된 복수의 텍스트 각각의 영역을 나타내는 영역 정보 및
상기 번호판에 포함된 복수의 텍스트 각각의 종류가 문자인지 혹은 숫자인지 여부를 나타내는 구분 정보를 포함하는 것을 특징으로 하는
차량 번호판 인식 방법.
제15항에 있어서,
상기 번호판의 문자 및 숫자를 인식하는 단계는
상기 인식된 번호판 형식에 상응하는 상기 영역 정보 및 상기 구분 정보를 통해 문자 영역을 특정하고, 특정된 문자 영역의 문자를 인식하는 단계; 및
상기 인식된 번호판 형식에 상응하는 상기 영역 정보 및 상기 구분 정보를 통해 숫자 영역을 특정하고, 특정된 숫자 영역의 숫자를 인식하는 단계;를 포함하는 것을 특징으로 하는
차량 번호판 인식 방법.
제15항에 있어서,
상기 번호판의 형식을 인식하는 단계는
상기 번호판 모델의 상기 번호판의 형식을 머신 러닝 기법에 따라 학습한 후,
상기 학습한 바에 따라, 상기 번호판 영상으로부터 번호판의 형식을 인식하는 것을 특징으로 하는
차량 번호판 인식 방법.
제15항에 있어서,
상기 번호판의 형식을 인식하는 단계는
상기 번호판 모델을 기초로 상기 번호판의 상기 가로세로비, 상기 배경색, 상기 텍스트색 및 상기 텍스트수를 순차로 판별하여 번호판의 형식을 인식하는 것을 특징으로 하는
차량 번호판 인식 방법.
제14항에 있어서,
상기 번호판 영상을 생성하는 단계는
상기 번호판 영역을 특정하는 단계;
상기 번호판 영역의 각 픽셀의 카메라부로부터의 거리 및 픽셀값을 추출하는 단계;
상기 번호판 영역의 각 픽셀을 상기 카메라부로부터의 거리에 따라 확대 혹은 축소한 후, 동일한 평면상에 재배치하는 단계; 및
상기 추출된 픽셀값을 적용하여 번호판 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는
차량 번호판 인식 방법.
차량 번호판 인식 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 있어서,
차량의 번호판 영역을 포함하는 차량 영상으로부터 상기 번호판 영역을 검출하여 번호판 영상을 생성하는 단계;
복수의 서로 다른 형식의 번호판의 규격을 나타내는 번호판 모델에 따라 상기 번호판 영상으로부터 번호판의 형식을 인식하는 단계;
상기 도출된 번호판의 형식에 따라 상기 번호판의 문자 영역 및 숫자 영역 각각 구분하여 특정한 후, 특정된 문자 영역 및 숫자 영역에 따라 상기 번호판의 문자 및 숫자를 인식하는 단계;를 포함하는 것을 특징으로 하는
차량 번호판 인식 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
제20항에 있어서,
상기 번호판 모델은
상기 번호판의 형식에 따라
번호판의 가로 길이와 세로 길이의 비를 나타내는 가로세로비,
번호판의 배경의 색을 나타내는 배경색,
번호판에 포함된 텍스트의 색을 나타내는 텍스트색,
번호판에 포함된 텍스트의 수를 나타내는 텍스트수,
번호판에 포함된 복수의 텍스트 각각의 영역을 나타내는 영역 정보 및
상기 번호판에 포함된 복수의 텍스트 각각의 종류가 문자인지 혹은 숫자인지 여부를 나타내는 구분 정보를 포함하는 것을 특징으로 하는
차량 번호판 인식 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.