KR102089298B1 - 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법에 관한 것으로, 딥러닝을 포함하는 인공지능 기법을 통해 차량의 이미지로부터 차량번호판을 검출하고, 상기 검출한 차량번호판에 포함된 문자를 인식한 후, 상기 이미지 처리를 통한 차량번호판의 레이아웃 감지를 통해 상기 인식한 문자에 대한 정확한 시퀀스를 추출하여, 단일 라인, 이중 라인을 포함하는 다양한 유형으로 형성되는 차량번호판을 인식할 수 있도록 함으로써, 차량번호판 인식에 있어서, 다양한 나라에 범용적으로 적용 가능하도록 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법에 관한 것이다.

Description

범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법{SYSTEM AND METHOD FOR RECOGNIZING MULTINATIONAL LICENSE PLATE THROUGH GENERALIZED CHARACTER SEQUENCE DETECTION}

본 발명은 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 딥러닝을 포함하는 인공지능 기법을 통해 차량의 이미지로부터 차량번호판을 검출하고, 상기 검출한 차량번호판에 포함된 문자를 인식한 후, 상기 이미지 처리를 통한 차량번호판의 레이아웃 감지를 통해 상기 인식한 문자에 대한 정확한 시퀀스를 추출하여, 단일 라인, 이중 라인을 포함하는 다양한 유형으로 형성되는 차량번호판을 인식할 수 있도록 함으로써, 차량번호판 인식에 있어서, 다양한 나라에 범용적으로 적용 가능하도록 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법에 관한 것이다.

최근 산업기술과 자동차 관련 기반기술이 급속하게 발달함에 따라 운송, 여객분야 뿐만 아니라 각 가정에 대한 차량 보급률이 급격하게 증가하고 있다. 이러한 차량 보급률의 급격한 증가에 따라 차량의 차량번호판을 인식하여 해당 차량을 식별하기 위한 차량번호판 인식 시스템에 대한 대중의 관심이 증대되고 있다.

차량번호판 인식 시스템은, 카메라를 통해 촬영된 차량이미지에서 차량번호판을 검출하고, 상기 검출한 차량번호판으로부터 해당 차량의 차량번호를 인식함으로써, 해당 차량을 식별하기 위한 것으로, 도난 차량 식별, 주차장 관리, 고속도로 등에서의 통행료 징수, 교통 흐름 모니터링 등과 같은 다양한 분야에 적용된다.

그러나 일반적인 차량번호판 인식 시스템은, 국가별로 이용되는 차량번호판에 대한 정보(예: 규격)를 토대로 특정 국가에서 사용하는 차량번호판만을 인식하도록 설계되기 때문에, 다양한 국가에서 사용되는 다양한 유형의 차량번호판을 인식하지 못하는 문제점이 있다.

즉, 종래의 차량번호판 인식 시스템의 경우, 특정 국가에서만 이용가능 하도록 설계되기 때문에, 다양한 나라에서 범용적으로 적용하기에는 그 한계가 있으며, 특정 국가에서 단일 라인이나, 이중 라인과 같이 다양한 유형의 차량번호판에 대한 레이아웃을 동시에 이용하는 상황에 있거나, 차량번호판의 차량번호에 대한 문자수를 다양하게 적용하는 상황에 있는 경우, 상기 각 상황에 따른 차량번호판 인식 시스템을 별도로 구비해야 해야 되는 문제점이 있다.

이러한 문제점을 해결하기 위해 최근에는, 딥뉴럴네트워크(deep neural network)를 이용한 다국적 차량번호판 인식 시스템에 대한 연구가 진행되고 있으나, 대부분의 다국적 차량번호판 인식 시스템은, 단일 라인의 레이아웃으로 형성된 차량번호판만을 제한적으로 인식하도록 설계되며, 상기 단일 라인의 레이아웃을 공통으로 사용하는 여러 국가의 데이터 세트에서만 검증되기 때문에 이중 라인의 레이아웃으로 형성되는 차량번호판을 인식하는 것에 그 한계가 있다.

한편 모든 나라에서 사용하는 차량번호판의 경우, 단일 라인 또는 이중 라인 유형의 레이아웃으로 형성된다.

따라서 단일 라인, 이중 라인 또는 이들의 조합을 포함하여 차량번호판의 레이아웃을 검출하고, 상기 차량번호판에서 인식한 문자를 상기 검출한 차량번호판의 레이아웃에 따라 올바른 시퀀스로 추출할 수 있다면 국가별 차량번호판에 대한 정보를 사용하지 않고서도 다양한 국가에서 사용되는 다양한 유형의 차량번호판을 인식할 수 있을 것이며, 이를 통해 다양한 국가에 범용적으로 적용되어 이용될 수 있을 것이다.

이에 따라 본 발명에서는, 딥러닝을 포함하는 인공지능 기법을 통해, 차량이미지를 학습하여 차량이미지로부터 차량번호판을 검출하여 로컬화하고, 상기 로컬화한 차량번호판으로부터 해당 차량번호판에 포함된 각각의 문자를 인식하여 상기 인식한 각 문자에 대한 바운딩박스를 출력하고, 상기 출력한 바운딩박스에 대한 이미지 처리과정을 통해 상기 차량번호판에 대한 레이아웃을 검출하여, 상기 검출한 레이아웃에 따라 상기 인식한 각 문자를 정확한 시퀀스로 추출함으로써, 다국적 차량번호판의 인식에 범용적으로 적용할 수 있는 차량번호판 인식 시스템을 제안하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제1971878호(2019.04.18.)는 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법에 관한 것으로, 차량번호판의 차량번호를 구성하는 을 구성하는 차량번호의 개별글자에 대한 이미지를 학습하고, 기설정된 차량번호판의 기준에 따라 차량이미지로부터 추출되는 차량번호판으로부터 상기 학습한 결과에 따라 차량번호를 인식할 수 있도록 하는 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법에 관한 것이다.

그러나 상기 선행기술은, 대한민국의 차량번호판에 대한 규격을 전제로 하고 있기 때문에 대한민국의 차량번호판과 상이한 레이아웃을 가지고 있는 다른 나라의 차량번호판을 인식하는 데에 그 한계가 있다.

반면에 본 발명은, 차량번호판으로부터 각 개별 문자를 인식하고, 상기 인식한 각 개별 문자에 대한 이미지를 포함하는 바운딩박스를 출력한 후, 상기 바운딩박스에 대한 이미지 처리과정을 통해 단일 라인 또는 이중 라인으로 형성되는 상기 차량번호판의 레이아웃을 검출하고, 상기 검출한 차량번호판의 레이아웃에 따라 상기 인식한 각 개별 문자에 대한 시퀀스를 순서대로 출력함으로써, 국가별 차량번호판의 규격에 상관없이 다양한 나라에서 사용되는 다양한 유형의 차량번호판을 정확하게 인식하도록 하는 것으로 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사 혹은 암시도 없음이 분명하다.

또한 한국등록특허 제1182173호(2012.09.06.)는, 차량번호판 인식 방법 및 시스템에 관한 것으로, 차량의 영상으로부터 DoG(difference of gaussian) 필터를 이용하여 차량번호판의 영역을 추정한 후, 상기 추정한 차량번호판의 영역을 이진화하여, 상기 차량번호판의 영역에 포함된 각 문자를 구분하고, 사전에 문자를 학습한 신경망 문자 인식기를 통해 상기 구분한 각 문자를 인식함으로써, 차량번호판을 인식하는 차량번호판 인식 방법 및 시스템에 관한 것이다.

그러나 상기 선행기술은, 단순히 신경망 문자 인식기를 통해 차량번호판의 차량번호를 인식하는 정도만을 기재하고 있을 뿐, 본 발명과 같이 차량번호판으로부터 인식되는 각 문자에 대한 바운딩박스를 생성하는 것이 아니며, 상기 생성한 바운딩박스에 대한 이미지 처리 과정을 통해 상기 차량번호판이 단일 라인 또는 이중 라인의 레이아웃으로 형성되는 차량번호판의 레이아웃을 검출한 후, 상기 차량번호판의 레이아웃을 검출하는 것도 아니며, 상기기 레이아웃을 검출한 결과에 따라 상기 인식한 각 문자에 대한 시퀀스를 정확하게 추출함으로써, 다양한 유형의 차량번호판을 국적에 상관없이 정확하게 인식하도록 하는 방법에 대해서도 전혀 기재되어 있지 않아, 상기 선행기술과 본 발명은 분명한 차이점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 딥러닝을 포함하는 인공기능을 통해 차량이미지로부터 차량번호판을 검출하고, 상기 검출한 차량번호판으로부터 차량번호판에 포함된 복수의 문자를 인식하며, 이미지 처리 기반으로 상기 차량번호판에 대한 레이아웃을 검출하여 상기 인식한 복수의 문자에 대한 정확한 시퀀스를 추출하는 3단계 심층 다국적 차량번호판 인식 과정을 통해 특정 국가에 한정되지 않고 범용적으로 이용되어 다양한 국가에서 이용되는 다양한 유형의 차량번호판을 정확하게 인식할 수 있도록 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은, 차량번호판 영역에 대한 바운딩박스를 포함하는 복수의 차량이미지를 기계학습하여, 그 결과로 실제 차량이미지로부터 차량번호판 영역을 포함하는 바운딩박스를 예측함으로써, 상기 실제 차량이미지로부터 차량번호판을 정확하게 검출할 수 있도록 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은, 차량번호판에 사용되는 복수의 문자를 학습하여, 그 결과로 상기 검출한 차량번호판으로부터 복수의 문자를 인식하고, 상기 인식한 각 문자에 대한 바운딩박스를 출력하여, 상기 출력한 바운딩박스를 토대로 상기 인식한 각 문자에 대한 정확한 시퀀스를 출력하도록 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은, 상기 출력한 바운딩박스에 대한 이미지 처리 과정을 통해 상기 검출한 차량번호판이 단일 라인 또는 이중 라인으로 형성되어 있는지에 대한 여부를 판단함으로써, 상기 검출한 차량번호판의 레이아웃을 검출하고, 상기 검출한 차량번호판의 레이아웃에 따라 상기 인식한 복수의 문자에 대한 시퀀스를 정확하게 출력함으로써, 다양한 국적에서 사용되는 다양한 유형의 차량번호판을 범용적으로 인식할 수 있도록 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템은, 차량번호판 영역에 대한 바운딩박스를 포함하는 복수의 차량이미지를 학습하여 생성한 차량번호판 검출용 학습모델을 이용하여 실제 차량이미지로부터 차량번호판을 검출하는 차량번호판 검출부, 차량번호판을 구성하는 복수의 문자에 대한 바운딩박스를 포함하는 복수의 차량번호판 이미지를 학습하여 생성한 문자인식용 학습모델을 통해 상기 검출한 차량번호판을 구성하는 복수의 문자를 인식하고, 상기 인식한 각각의 문자가 위치하는 영역에 대한 문자영역 바운딩박스를 각각 출력하는 통합문자 인식부, 상기 출력한 복수의 문자영역 바운딩박스를 토대로 상기 검출한 차량번호판의 레이아웃을 검출하는 다국적 차량번호판 레이아웃 검출부 및 상기 검출한 차량번호판의 레이아웃을 토대로 상기 인식한 복수의 문자에 대한 시퀀스를 출력함으로서, 국가별 차량번호판 규격에 상관없이 다양한 국적의 차량번호판을 범용적으로 인식하는 차량번호판 인식부를 포함하는 것을 특징으로 한다.

또한 상기 차량번호판 검출용 학습모델은, 실제 촬영된 차량이미지가 입력되는 경우, 신뢰점수를 포함하는 적어도 하나 이상의 차량번호판 영역에 해당하는 복수의 바운딩박스를 예측하며, 상기 차량번호판 검출부는, 상기 예측된 복수의 바운딩박스 중 제일 높은 신뢰점수를 가지는 바운딩박스를 선택하여, 해당 바운딩박스를 포함하는 차량번호판을 크로핑함으로써, 상기 차량번호판을 검출하는 것을 특징으로 한다.

또한 상기 문자인식용 학습모델은, 영어, 한글, 중국어 및 일본어를 포함하여 상기 검출한 차량번호판을 구성하는 복수의 문자를 인식하고, 상기 검출한 차량번호판으로부터 상기 인식한 각 문자의 문자영역에 대한 바운딩박스를 출력하도록 학습되는 것을 특징으로 한다.

또한 상기 다국적 차량번호판 레이아웃 검출부는, 상기 각각의 문자영역 바운딩박스의 좌측 상단 x좌표를 토대로, 상기 복수의 문자영역 바운딩박스를 오름차순으로 정렬하여, 상기 정렬한 문자영역 바운딩박스를 형성하는 좌측라인을 검출한 후, 상기 정렬한 문자영역 바운딩박스 중 제일 좌측 및 우측에 위치하는 바운딩박스의 좌측라인을 왼쪽 경계선 및 오른쪽 경계선으로 검출하고, 상기 검출한 각 경계선을 연결하는 중앙라인을 생성하여, 상기 중앙라인과 교차하는 상기 좌측라인의 수에 따라 상기 검출한 차량번호판이 단일 라인 또는 이중 라인 레이아웃으로 형성되었는지에 대한 여부를 판단함으로서, 상기 검출한 차량번호판의 레이아웃을 검출하는 것을 특징으로 한다.

또한 상기 차량번호판 인식부는, 상기 차량번호판의 레이아웃을 검출한 결과, 해당 차량번호판이 단일 라인 레이아웃으로 형성된 경우, 상기 오름차순으로 정렬한 문자영역 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 시퀀스를 추출하여 단일 라인 레이아웃으로 형성된 해당 차량번호판을 최종적으로 인식하며, 또한, 상기 차량번호판의 레이아웃을 검출한 결과, 해당 차량번호판이 이중 라인 레이아웃으로 형성된 경우, 상기 중앙라인과 교차하는 좌측라인을 포함하는 문자영역 바운딩박스와, 상기 중앙라인과 교차하지 않는 좌측라인 및 상기 검출한 경계선을 포함하는 문자영역 바운딩박스를 각각 분류하고, 상기 각 문자영역 바운딩박스의 왼쪽 상단 x좌표에 따라 상기 분류한 문자영역 바운딩박스를 오름차순으로 각각 정렬한 후, 상기 x좌표에 따라 해당 차량번호판의 상단 영역에 위치하는 문자영역 바운딩박스를 순차적으로 출력한 후, 해당 차량번호판의 하단 영역에 위치하는 문자영역 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 시퀀스를 추출하여 이중 라인 레이아웃으로 형성된 해당 차량번호판을 최종적으로 인식하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 방법은, 차량번호판 영역에 대한 바운딩박스를 포함하는 복수의 차량이미지를 학습하여 생성한 차량번호판 검출용 학습모델을 이용하여 실제 차량이미지로부터 차량번호판을 검출하는 차량번호판 검출 단계, 차량번호판을 구성하는 복수의 문자에 대한 바운딩박스를 포함하는 복수의 차량번호판 이미지를 학습하여 생성한 문자인식용 학습모델을 통해 상기 검출한 차량번호판을 구성하는 복수의 문자를 인식하고, 상기 인식한 각각의 문자가 위치하는 영역에 대한 문자영역 바운딩박스를 각각 출력하는 통합문자 인식 단계, 상기 출력한 복수의 문자영역 바운딩박스를 토대로 상기 검출한 차량번호판의 레이아웃을 검출하는 다국적 차량번호판 레이아웃 검출 단계 및 상기 검출한 차량번호판의 레이아웃을 토대로 상기 인식한 복수의 문자에 대한 시퀀스를 출력함으로서, 국가별 차량번호판 규격에 상관없이 다양한 국적의 차량번호판을 범용적으로 인식하는 차량번호판 인식 단계를 포함하는 것을 특징으로 한다.

또한 상기 차량번호판 검출 단계는, 상기 예측된 복수의 바운딩박스 중 제일 높은 신뢰점수를 가지는 바운딩박스를 선택하여, 해당 바운딩박스를 포함하는 차량번호판을 크로핑함으로써, 상기 차량번호판을 검출하는 것을 특징으로 한다.

또한 상기 다국적 차량번호판 레이아웃 검출 단계는, 상기 각각의 문자영역 바운딩박스의 좌측 상단 x좌표를 토대로, 상기 복수의 문자영역 바운딩박스를 오름차순으로 정렬하여, 상기 정렬한 문자영역 바운딩박스를 형성하는 좌측라인을 검출한 후, 상기 정렬한 문자영역 바운딩박스 중 제일 좌측 및 우측에 위치하는 바운딩박스의 좌측라인을 왼쪽 경계선 및 오른쪽 경계선으로 각각 검출하고, 상기 검출한 각 경계선을 연결하는 중앙라인을 생성하여, 상기 중앙라인과 교차하는 상기 좌측라인의 수에 따라 상기 검출한 차량번호판이 단일 라인 또는 이중 라인 레이아웃으로 형성되었는지에 대한 여부를 판단함으로서, 상기 검출한 차량번호판의 레이아웃을 검출하는 것을 특징으로 한다.

또한 상기 차량번호판 인식 단계는, 상기 차량번호판의 레이아웃을 검출한 결과, 해당 차량번호판이 단일 라인 레이아웃으로 형성된 경우, 상기 오름차순으로 정렬한 문자영역 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 시퀀스를 추출하여 단일 라인 레이아웃으로 형성된 해당 차량번호판을 최종적으로 인식하며, 또한, 상기 차량번호판의 레이아웃을 검출한 결과, 해당 차량번호판이 이중 라인 레이아웃으로 형성된 경우, 상기 중앙라인과 교차하는 좌측라인을 포함하는 문자영역 바운딩박스와, 상기 중앙라인과 교차하지 않는 좌측라인 및 상기 검출한 경계선을 포함하는 문자영역 바운딩박스를 각각 분류하고, 상기 각 문자영역 바운딩박스의 왼쪽 상단 x좌표에 따라 상기 분류한 문자영역 바운딩박스를 오름차순으로 각각 정렬한 후, 상기 x좌표에 따라 해당 차량번호판의 상단 영역에 위치하는 문자영역 바운딩박스를 순차적으로 출력한 후, 해당 차량번호판의 하단 영역에 위치하는 문자영역 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 시퀀스를 추출하여 이중 라인 레이아웃으로 형성된 해당 차량번호판을 최종적으로 인식하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법에 따르면, 딥러닝을 포함하는 기계학습 방법을 통해 실제 차량이미지로부터 차량번호판을 검출하고, 상기 검출한 차량번호판으로부터 차량번호에 해당하는 복수의 문자를 인식하며, 상기 차량번호판의 레이아웃을 검출하는 3단계 과정을 통해 차량번호판 인식을 범용적으로 적용할 수 있도록 함으로써, 다양한 나라에서 사용되는 다양한 유형의 차량번호판을 각 국가별 차량번호판 규격에 대한 정보 없이도 정확하게 인식할 수 있는 효과가 있다.

또한 본 발명은, 차량번호판 영역에 대한 바운딩박스를 포함하는 차량이미지를 기계학습하여 차량번호판 검출용 학습모델을 생성하고, 상기 생성한 차량번호판 검출용 학습모델을 통해 적어도 하나 이상의 바운딩박스를 예측하여 출력하고, 상기 출력한 바운딩박스 중 제일 높은 신뢰도 점수를 가지는 바운딩박스를 선택함으로써, 실제 차량이미지로부터 차량번호판을 정확하게 검출할 수 있는 효과가 있다.

또한 본 발명은, 차량번호판의 각 문자영역에 대한 바운딩박스를 포함하는 차량번호판으로부터, 상기 각 문자영역에 대한 각각의 문자를 인식하고, 상기 인식한 각각의 문자에 대한 바운딩박스를 출력하는 차량번호 인식용 학습모델을 생성하여, 실제 입력되는 차량번호판 이미지로부터 복수의 문자를 정확하게 인식하고 이에 대한 바운딩박스를 출력함으로서, 상기 바운딩박스를 토대로 상기 차량번호판의 레이아웃을 효과적으로 검출할 수 있도록 하는 효과가 있다.

또한 본 발명은, 상기 복수의 문자를 인식한 복수의 바운딩박스에 대한 좌표정보를 이용한 이미지 처리 과정을 통해 상기 차량번호판의 레이아웃을 효율적으로 검출하고, 상기 검출한 차량번호판의 레이아웃에 따라 상기 인식한 복수의 문자를 정확한 시퀀스로 출력함으로써, 다양한 나라에서 사용되는 다양한 유형의 차량번호판을 정확하게 인식할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 학습데이터를 생성하는 과정을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량번호판 검출용 학습데이터 증강과정을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 문자인식용 학습데이터 증강과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 학습데이터를 생성하는 과정에서, 로우 차량영상으로부터 키 프레임을 추출하는 과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 대한민국의 차량번호판을 구성하는 한글 및 숫자를 포함하는 문자를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 다양한 국가에서 사용되는 차량번호판의 차량번호판 레이아웃을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 차량번호판 레이아웃을 검출하는 과정을 설명하기 위해 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 차량번호판 레이아웃을 검출하는 과정에 있어서 단일 라인의 차량번호판 레이아웃을 검출하는 과정을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 차량번호판 레이아웃을 검출하는 과정에 있어서 이중 라인의 차량번호판 레이아웃을 검출하는 과정을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 차량번호판 레이아웃 검출과정이 다양한 나라에서 사용되는 다양한 유형의 차량번호판에 적용된 결과를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 차량검출 정확도를 종래의 기술과 비교한 도면이다.
도 14는 본 발명의 일 실시예에 따른 한국 데이터 세트의 상세 명세를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 차량번호판 검출용 학습데이터 및 문자인식용 학습데이터를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 AOLP에 적용한 바운딩박스를 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 차량번호판 인식 성능을 종래의 기술과 비교한 도면이다.
도 18은 본 발명의 일 실시예에 따른 입력되는 차량영상으로부터 차량번호판을 인식하기 위한 전체 성능을 종래 기술과 비교한 도면이다.
도 19는 본 발명의 일 실시예에 따른 다양한 국가에서 사용되는 차량번호판 레이아웃에 따른 차량번호판을 인식한 결과를 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 다국적 차량번호판을 인식하는 절차를 나타낸 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명의 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템(이하, 다국적 차량번호판 인식 시스템이라 칭함)(100)은, 학습데이터 데이터베이스(310)에 저장된 차량번호판 검출용 학습데이터와, 문자인식용 학습데이터를 각각 학습하여 차량번호판 검출용 학습모델과, 차량번호판에 포함된 복수의 문자를 인식하기 위한 문자인식용 학습모델을 생성하며, 상기 문자인식용 학습모델의 출력결과에 대한 이미지 처리과정을 수행하여 상기 차량번호판의 레이아웃을 검출하고 상기 검출한 레이아웃에 따라 상기 인식한 복수의 문자를 정확한 시퀀스로 출력함으로서, 각 나라별 차량번호판 규격에 상관없이 범용적으로 다양한 유형의 차량번호판을 인식하는 기능을 수행한다.

즉, 상기 다국적 차량번호판 인식 시스템(100)은, 기계학습을 통한 차량번호판 검출 및 로컬화(localization)와 통합 문자 인식 및, 이미지 처리과정을 통한 다국적 차량번호판 레이아웃 검출로 구성되는 3가지 과정을 통해 다국적 차량번호판을 인식하는 것이며, 이를 통해 국가에 상관없이 범용적으로 적용이 가능하다.

상기 다국적 차량번호판 인식 시스템(100)은, 고속도로, 주차장, 톨게이트 등과 같이 다양한 장소에 설치되어 도난 차량 식별, 주차장 관리, 통행료 징수, 교통 흐름 모니터링 등과 같은 기능을 수행한다.

또한 상기 다국적 차량번호판 인식 시스템(100)은, 상기 차량번호판을 인식하기 위해 우선적으로, 딥러닝과 같은 기계학습방법을 통해 상기 학습데이터를 학습하여 실제 적어도 하나 이상의 카메라(200)로부터 촬영된 차량이미지로부터 차량번호판을 검출하기 위한 차량번호판 검출용 학습모델과, 상기 검출한 차량번호판으로부터 차량번호를 구성하는 복수의 문자를 인식하기 위한 문자인식용 학습모델을 생성한다.

상기 차량번호판 검출용 학습데이터는, 차량번호판 영역에 대한 바운딩박스(bounding box) 주석을 포함하는 차량이미지로 구성되며, 상기 문자인식용 학습데이터는 차량번호판에 포함된 모든 문자의 문자영역에 대한 각각의 문자영역 바운딩박스 주석을 포함하는 크로핑된 차량번호판 이미지로 구성된다.

이에 따라 상기 차량번호판 검출용 학습모델의 입력은, 실제 카메라(200)로부터 촬영된 차량이미지이며 출력은, 상기 차량번호판에 대해 예측된 적어도 하나 이상의 바운딩박스이며, 상기 각 바운딩박스의 신뢰점수(확률)가 제일 높은 바운딩박스를 선택함으로써, 상기 차량이미지로부터 정확한 차량번호판을 검출한다. 또한 상기 문자인식용 학습모델의 입력은, 상기 검출한 차량번호판에 대한 이미지이며, 출력은 상기 차량번호판에서 인식한 복수의 문자 및 상기 인식한 각 문자에 대한 문자영역 바운딩박스를 포함한다.

이때, 문자영역 바운딩박스는, 상기 인식한 각 문자의 영역에 대한 좌표정보를 포함하며, 상기 다국적 차량번호판 인식 시스템(100)은, 상기 좌표정보를 토대로 단일 라인 또는 이중 라인으로 형성되는 차량번호판의 레이아웃을 검출할 수 있도록 한다.

또한 본 발명은, 각 학습데이터에 대한 빈약한 양을 극복하고, 불균일한 조명, 날씨(예: 눈, 안개, 비 등), 이미지 왜곡, 폐색 등과 같이 제어되지 않은 조건에 강인하며 보다 정확한 결과를 출력하기 위한 상기 각 학습모델을 생성하기 위한 학습데이터 생성전략 및 학습데이터 증강전략을 수행하여 초기 수집된 이미지를 토대로 학습데이터를 생성하고, 상기 생성한 학습데이터를 증강시킨다. 한편 상기 학습데이터 생성전략 및 증강전략을 통해 학습데이터를 생성하고 증강시키는 과정에 대해서는 도 2 내지 도 4를 참조하여 상세히 설명하도록 한다.

또한 상기 차량번호판의 차량번호를 정확하게 인식하기 위해서는, 상기 인식한 모든 문자를 정확한 순서로 출력해야 되는데, 이때, 상기 문자인식용 학습모델을 통해 인식한 차량번호판의 모든 문자들에 대한 정확한 순서정보를 제공하지 않기 때문에 상기 다국적 차량번호판 인식 시스템(100)은, 상기 인식한 문자들에 대한 올바른 시퀀스를 정확하게 추출하기 위해, 상기 인식한 문자의 바운딩박스에 대한 이미지 처리 과정을 통해 상기 검출한 차량번호판의 레이아웃을 검출한다.

이를 위해 우선적으로, 상기 다국적 차량번호판 인식 시스템(100)은, 상기 바운딩박스의 좌표정보를 토대로 상기 복수의 바운딩박스를 오름차순으로 정렬한 후, 상기 모든 바운딩박스에 대한 좌측라인을 검출한다.

다음으로, 상기 다국적 차량번호판 인식 시스템(100)은, 상기 오름차순으로 정렬한 바운딩박스를 참조하여 제일 왼쪽 및 제일 오른쪽에 위치하는 각 바운딩박스의 좌측라인을 각각 왼쪽 경계선 및 오른쪽 경계선으로 검출한다.

이후, 상기 다국적 차량번호판 인식 시스템(100)은, 상기 생성한 각각의 경계선을 잇는 중앙라인을 생성하여, 상기 생성한 중앙라인과 교차하는 좌측라인의 수에 따라 상기 차량번호판의 유형에 해당하는 차량번호판 레이아웃을 검출한다.

한편, 모든 국가에서 사용되는 차량번호판의 레이아웃은 단일 라인 또는 이중 라인으로 형성되기 때문에 상기 차량번호판 레이아웃 검출결과는, 단일 라인 또는 이중 라인 레이아웃으로 형성되는 차량번호판의 유형이다.

또한 상기 다국적 차량번호판 인식 시스템(100)은, 상기 차량번호판 레이아웃 검출결과 해당 차량번호판의 레이아웃이 단일 라인인 경우에는, 상기 오름차순으로 정렬한 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 정확한 시퀀스를 추출하여 단일 라인 레이아웃으로 형성된 차량번호판을 최종적으로 인식하게 된다.

한편, 상기 차량번호판의 레이아웃이 이중 라인인 경우에는, 상기 중앙라인과 교차하는 라인 세그먼트를 포함하는 복수의 바운딩박스와 상기 중앙라인과 교차하지 않는 라인 세그먼트를 포함하는 복수의 바운딩박스를 검출한 다음, 상기 검출한 각 바운딩박스를 상기 좌표정보에 따라 오름차순으로 정렬한 후, 상기 좌표정보에 따라 상단에 위치하는 바운딩박스를 우선 순차적으로 출력하고, 하단에 위치하는 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 정확한 시퀀스를 추출하여 이중 라인 레이아웃으로 형성된 차량번호판을 최종적으로 인식하게 된다.

이를 통해 상기 다국적 차량번호판 인식 시스템(100)은, 국가별 차량번호판에 대한 규격에 상관없이 범용적으로 적용이 가능하게 되며, 다양한 국가에서 사용되는 다양한 유형의 차량번호판을 인식할 수 있다.

도 2는 본 발명의 일 실시예에 따른 학습데이터를 생성하는 과정을 나타낸 도면이다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 초기 수집된 차량이미지를 토대로 학습데이터를 생성하는 과정은, 초기 데이터 수집 및 학습, 자동 주석, 키 프레임 추출 및 검증 단계를 포함하는 총 4개의 단계로 구성된다.

본 발명의 학습데이터를 생성하기 위해, 상기 초기 데이터 수집 및 학습 단계는, 차량이 포함된 차량이미지가 우선적으로 수집된다.

다음으로, 상기 수집한 차량이미지를 오픈 소스 이미지 레이블링 소프트웨어를 사용하여 상기 각 차량이미지에 대한 레이블링을 수행하여, 차량번호판 검출용 학습데이터 세트와 문자인식용 학습데이터 세트를 생성한다.

이때, 상기 차량번호판 검출용 학습데이터 세트는, 상기 차량번호판 영역에 대한 바운딩박스 주석을 포함하는 차량이미지로 구성되며, 상기 문자인식용 학습데이터 세트는, 상기 차량이미지로부터 차량번호판을 크로핑(cropping)하여, 해당 차량번호판에 포함된 모든 문자에 대한 문자영역 바운딩박스 주석을 포함하는 차량번호판 이미지로 구성된다.

또한 본 발명은, 학습데이터 증강전략을 수행하여 상기 생성한 학습데이터를 증강시켰다. 한편 상기 학습데이터를 증강하는 과정에 대해서는 도 3을 참조하여 상세히 설명하도록 한다.

다음으로, 상기 증강된 차량번호판 검출용 학습데이터 및 문자인식용 학습데이터를 각각 학습한 차량번호판 검출용 학습네트워크(즉, 차량번호판 검출용 학습모델) 및 문자인식용 학습네트워크(즉, 문자인식용 학습모델)의 가중치는 저장되며, 상기 학습된 각각의 학습네트워크는, 새로운 차량영상으로부터 자동으로 바운딩박스 주석을 위해 사용된다.

다음으로, CCTV 카메라 등과 같은 촬영수단을 통해 차량이 포함된 로우 비디오 데이터를 수집하여, 이에 대한 자동주석 과정을 수행하며, 이를 위해 우선 상기 수집한 로우 비디오 데이터에서 차량이 포함된 비디오 클립을 추출하고, 상기 추출한 비디오 클립을 하나의 클립으로 병합한다.

또한 상기 병합된 비디오 클립은, 상기 학습한 차량번호판 검출용 네트워크에서 테스트되며, 상기 차량번호판 검출용 학습네트워크에서 상기 영상의 각 프레임에서 차량번호판을 검출하면, 상기 차량번호판 검출용 학습네트워크에서 예측된 바운딩박스 주석과, 해당 차량번호에 대한 문자열과 함께 상기 차량번호판을 검출한 해당 영상의 프레임을 순차적으로 저장한다.

한편 상기 순차적으로 저장한 각각의 프레임은, 중복된 많은 프레임을 포함하고 있고, 상기 중복된 프레임에 대한 차량번호판은 동일한 모양으로 보이기 때문에 유니크한 모양의 고유한 키 프레임을 추출하여 상기 학습에 이용할 수 있도록 한다. 상기 키 프레임 추출과정은 도 5를 참조하여 상세히 설명하도록 한다.

다음으로, 본 발명은 상기 키 프레임으로 추출한 각 이미지의 주석을 확인하는 검증과정을 수행한다. 상기 검증과정은 상기 추출한 각 이미지의 모든 주석이 올바른지를 확인하기 위한 것으로, 먼저 상기 각 이미지의 차량번호를 확인한 다음, 바운딩박스 좌표 및 바운딩박스 레이블을 확인하였으며, 잘못된 주석이 있는 경우 해당 이미지의 주석은 수정되어 업데이트된다.

이후, 상기 업데이트된 이미지는 상기 학습네트워크의 학습데이터로 이용된다. 이를 통해 본 발명은 학습데이터의 한정적인 수를 극복하고, 불균일한 조명, 날씨, 이미지 왜곡, 폐색 등과 같이 제어되지 않은 조건에 강인하며 보다 정확한 결과를 출력하기 위한 상기 각 학습모델을 생성할 수 있다.

도 3은 본 발명의 일 실시예에 따른 차량번호판 검출용 학습데이터 증강과정을 설명하기 위해 나타낸 도면이다.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 차량번호판 검출용 학습데이터 증강과정은, 우선, 상기 생성한 차량번호판 검출용 학습데이터 세트를 구성하는 각 이미지에 대한 밝기값을 랜덤하게 증가 또는 감소 감소시키는 것을 포함하여, 상기 각 이미지에 대한 밝기값을 랜덤하게 조정하는 랜덤 밝기값 조정과정을 수행한다.

다음으로, 상기 차량번호판 검출용 학습데이터 증강과정은, 상기 밝기값을 조정한 각 이미지에 대한 해상도를 랜덤하게 조정하는 랜덤 스케일링을 수행하며, 상기 랜덤 스케일링을 수행한 상기 각 이미지에 대한 원근 변환을 수행한다.

이때, 상기 차량번호판 검출용 학습데이터 증강과정은, 상기 랜덤 스케일링 및 원근 변환과정은 적어도 하나 이상으로 선택될 수 있다.

이후, 상기 차량번호판 검출용 학습데이터 증강과정은, 상기 랜덤 스케일링 과정, 상기 원근 변환과정 또는 이들의 조합을 수행한 상기 각 이미지를 사전에 설정한 각도(-30 내지 30도 범위)로 랜덤하게 회전시키는 랜덤 회전과정을 수행한 후, 상기 각 이미지의 영상을 미리 설정한 값으로 흐리게 하는 랜덤 블러링(blurring) 과정 및 상기 각 이미지 영상에 대한 랜덤 노이즈를 생성하는 랜덤 노이즈 과정을 수행한다. 한편, 상기 랜덤 회전과정, 랜덤 블러링 과정 및 상기 랜덤 노이즈 과정은, 적어도 2개 이상으로 선택되어 수행될 수 있다.

도 4는 본 발명의 일 실시예에 따른 문자인식용 학습데이터 증강과정을 설명하기 위해 나타낸 도면이다.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 문자인식용 학습데이터 증강과정은, 우선, 문자인식용 학습데이터 세트를 구성하는 이미지(즉, 차량번호판 이미지)를 토대로 차량번호판의 문자를 보다 정확하게 인식하도록 상기 각 차량번호판의 이미지에 대한 여백을 설정하기 위한 패딩(padding) 과정을 수행하고, 도 3을 참조하여 설명한 것과 같이 랜덤 밝기값 조정 과정, 랜덤 회전(이때, 회전은 -5도 내지 5도 범위 내)과정, 랜덤 블러링 과정 및 랜덤 노이즈 과정을 수행한다. 여기서, 상기 랜덤 회전 과정, 랜덤 블러링 과정 및 랜덤 노이즈 과정은 적어도 2개 이상으로 선택되어 수행될 수 있다.

도 5는 본 발명의 일 실시예에 따른 학습데이터를 생성하는 과정에서, 로우 차량영상으로부터 키 프레임을 추출하는 과정을 설명하기 위해 나타낸 도면이다.

도 5에 도시한 바와 같이, 로우 차량영상으로부터 키 프레임을 추출하는 과정은, 도 3을 참조하여 설명한 것과 같이, 자동 주석 과정을 통해 순차적으로 저장한 각각의 프레임에서 고유한 프레임인 키 프레임(I_key)및, 중복 프레임(I_r)을 구별하여 키 프레임을 선택하고 중복된 중폭 프레임을 삭제하기 위한 것이다.

상기 키 프레임은, 특정 레퍼런스 프레임(I_ref)과 상기 특정 레퍼런스 프레임의 다음의 각 쿼리 프레임(H_q)에 대한 2개의 히스토그램 사이의 거리 d가 임계값 T를 초과할 때까지 재귀적으로 비교함으로써, 발견되고 추출된다.

상기 거리를 측정하기 위해 상관계수를 사용하였으며 상기 각 프레임을 구별하는데 사용되는 기준은 다음의 [수학식 1] 및 [수학식 2]와 같이 정의된다.

[수학식 1]

[수학식 2]

여기서,

는 상기 각 영상프레임에 대한 이미지 시퀀스(I_sep) n번째 이미지이며, H_ref(i) 및 H_q(i)는 레퍼런스 프레임의 히스토그램(H_ref) 및 쿼리 프레임(H_q)의 픽셀값 i에서 정규화된 주파수를 나타내며,

및

는 상관계수(r)를 사용하여 두 이미지 사이에서의 유사성을 계산한다.

또한 n개의 이미지(즉, 프레임)를 포함하는 이미지 시퀀스가 주어지면, 해당 이미지 시퀀스에서 첫 번째 프레임이 초기 레퍼런스 프레임으로 설정된다. 레퍼런스 프레임의 히스토그램은, 각각은 순차적으로 비교되는 각각의 각 쿼리 프레임 및 레퍼런스 프레임의 산술평균을 나타낸다. 여기서 만약, 상기 d가 임계값 이하인 경우, 해당 쿼리 프레임은 중복으로 간주되며, 상기 레퍼런스 프레임은 다음의 쿼리 프레임과 계속해서 비교된다.

반면에, 상기 d가 임계값을 초과하면 해당 쿼리 프레임이 키 프레임으로 간주되며, 상기 간주된 키 프레임이 상기 레퍼런스 키 프레임으로 전환되어 상기 이미지 시퀀스에 프레임이 남아 있지 않을 때까지 상기 키 프레임을 찾는 과정이 계속된다.

도 6은 본 발명의 일 실시예에 따른 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템의 구성을 나타낸 블록도이다.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 차량번호판 인식 시스템(100)은, 차량번호판 검출용 학습데이터를 학습하여 차량번호판을 검출하기 위한 차량번호판 검출용 학습모델을 생성하는 차량번호판 검출용 학습모델 생성부(110), 문자인식용 학습데이터를 학습하여 차량번호판을 구성하는 문자(즉, 차량번호)를 인식하기 위한 문자인식용 학습모델을 생성하는 문자인식용 학습모델 생성부(120), 실제 카메라(130)로부터 차량을 촬영한 차량영상을 수신하는 차량영상 수신부(130), 상기 생성한 차량번호판 검출용 학습모델을 이용하여 상기 수신한 차량영상으로부터 차량번호판을 검출하는 차량번호판 검출부(140), 상기 검출한 차량번호판으로부터 차량번호판을 구성하는 복수의 문자를 인식하는 통합문자 인식부(150), 상기 검출한 차량번호판에 대한 이미지 처리 과정을 통해 해당 차량번호판의 차량번호판 레이아웃을 검출하는 다국적 차량번호판 레이아웃 검출부(160) 및 상기 검출한 차량번호판 레이아웃을 토대로 상기 인식한 복수의 문자에 대한 시퀀스를 출력함으로써, 차량번호판을 최종적으로 인식하는 차량번호판 인식부(170)를 포함하여 구성된다.

또한 상기 차량번호판 검출용 학습모델 생성부(110)는, 상기 차량번호판 영역에 대한 바운딩박스를 포함하는 차량이미지로 구성되는 상기 차량번호판 검출용 학습데이터를 차량번호판 검출용 학습네트워크를 통해 학습하여, 실제 차량영상으로부터 차량번호판 영역에 대한 바운딩박스를 포함하는 차량번호판을 검출하기 위한 차량번호판 검출용 학습모델을 생성하는 기능을 수행한다.

이때, 상기 검출된 차량번호판은 바운딩박스를 통해 로컬화되어, 해당 차량번호판의 문자를 인식하기 위한 영역을 제한하여, 상기 차량번호판 외부에 존재하는 문자를 인식하는 것을 방지할 수 있도록 한다.

한편, 본 발명에서 이용되는, 상기 차량번호판 검출용 학습네트워크는, YOLO(you only look once) 네트워크 아키텍처를 이용하여 구성될 수 있으며, 더욱 상세하게는 차량번호판 검출의 경우, 문자인식에 비해 간단한 작업이므로 상기 YOLO 네트워크의 또 다른 버전인 작은 YOLOv3(tiny YOLOv3)을 이용하여 상기 차량번호판 검출용 학습네트워크를 구성할 수 있다. 상기 작은 YOLOv3은, 높은 FPS(frame per second)를 달성하는 장점이 있다.

또한 상기 작은 YOLOv3로 구성된 상기 차량번호판 검출용 학습네트워크를 통해 학습된 결과로 생성되는 차량번호판 검출용 학습모델은, 상기 차량검출용 학습데이터를 구성하는 차량이미지를 S x S 크기의 그리드 셀로 분할하여 동작되며, 각 그리드 셀에 대해 신뢰점수

을 가지는 K개의 바운딩박스를 예측하여 출력한다.

이때, 상기 신뢰점수는, 상기 차량번호판 검출용 학습모델이 개체(즉, 차량번호판 영역)의 존재에 대해 확신하는 정도를 나타내는 것으로, 상기 개체가 없는 경우에는 신뢰점수는 0이 되며, 개체가 존재하는 경우, 상기 신뢰점수는 예측과 실제 바운딩박스 사이의 IOU(intersection over union)와 같으며, 조건부 클래스 확률 점수

도 객체를 포함하는 각 그리드 셀에 대해 예측된다.

각 상자의 클래스별 신뢰도 점수는 다음의 [수학식 3]에 의해 계산되며, S x S x (K x (5 + C))텐서로 인코딩된다.

[수학식 3]

한편, 본 발명에서 YOLOv3 네트워크를 선택한 이유는, 실시간 성능과 정확도 때문이며, 더 높은 mAP(mean average precision)를 달성하고 세 가지 다른 척도로 예측하기 때문이다. 한편, 본 발명에서 상기 차량번호판 검출용 학습네트워크는, 문자인식을 위한 중요한 영역을 추출하도록 설계되기 때문에 "주의 네트워크(attention network)"라고도 지칭된다.

또한 상기 차량번호판 검출용 학습네트워크는, 640x640으로 크기가 조정된 이미지로 학습되며, 마지막 컨볼루션 레이어에 사용된 필터 수는 예측할 클래스(즉, 차량번호판 영역에 대한 바운딩박스)에 따라 달라지며 다음의 [수학식 4]를 사용하여 계산된다.

[수학식 4]

개체의 위치는 사전에 설정한 신뢰 임계값을 초과하는 경우에만 반환되며, 신뢰 임계값은 0.1로 선택될 수 있다. 한편, 상기 생성한 차량번호판 검출용 학습모델은, 광고판과 같은 차량번호판과 유사한 개체를 차량번호판으로 예측할 수 있는데, 이러한 문제를 해결하고 차량번호판 검출 및 로컬화를 향상시키기 위해 음성 이미지 샘플(negative image sample)을 추가하여 모든 차량검출용 학습데이터에 대한 상기 차량번호판 검출용 학습네트워크의 앵커를 다시 계산하여 상기 차량번호판 검출을 더욱 향상시킬 수 있도록 구현되었다.

또한 문자인식용 학습모델 생성부(120)는, 문자인식용 학습네트워크를 통해 차량번호판을 구성하는 복수의 문자에 대한 문자영역 바운딩박스를 포함하는 차량번호판 이미지로 구성되는 문자인식용 학습데이터를 학습하여, 실제 차량영상으로부터 검출한 차량번호판으로부터, 해당 차량번호판을 구성하는 복수의 문자를 인식하고, 상기 각 인식한 각 문자에 대한 문자영역 바운딩박스를 출력하는 문자인식용 학습모델을 생성하는 기능을 수행한다.

상기 문자인식용 학습네트워크는, 차량번호판으로부터 문자를 세그먼트하고, 상기 세그먼트한 문자를 인식하는 종래의 기술과는 달리, 객체 인식을 통해 상기 차량번호판을 구성하는 각 문자를 객체로 처리하여 문자 세그먼테이션 및 인식 단계를 하나로 통합하도록 구성된다.

이를 위해 본 발명에서는, 객체 인식에 강인한 공간 피라미드 풀링(SPP, spatial pyramid pooling)블록을 사용하는 YOLOv3-SPP 네트워크를 이용하여 상기 문자인식용 학습네트워크로 구성할 수 있다.

또한 상기 공간 피라미드 풀링은, 일반적인 풀링과는 달리 특징 맵을 B_i = n_i x n_i 빈으로 분할한다. 여기서 B_i는 피라미드의 i번째 레이어에 있는 빈(bin)의 수를 나타낸다. 그런 다음 최대 풀링(max pooling)을 사용하여 상기 빈과 동일한 크기로 특징 맵을 풀링하여 N x B개의 벡터를 생성한다. 여기서 N은 컨볼루션 레이어의 필터수를 나타내고 B는 빈의 수를 나타낸다.

상기 공간 피라미드 풀링은, 특징과 함께 로컬 공간 빈에 풀링함으로써, 고정된 길이의 벡터를 생성한다. 기존 풀링의 필터 크기는 고정되어 있지만 공간 피라미드 풀링의 필터 크기는 입력 및 출력 크기에 따라 다르다. 공간 피라미드 풀링이 멀티 스케일 이미지를 효과적으로 처리하기 때문에 문자 인식 성능이 향상된다.

상기 문자인식용 학습네트워크는, 384 x 192 및 288 x 224로 크기가 조정 된 이미지로 학습되며, 한국어로 구성된 차량번호판에 대해서는 45클래스를 인식하도록 학습된다. 한국의 차량번호판은 35개의 한글 및 10개의 숫자로 구성되며, 한글 35자 및 숫자 10개에 대한 내용은 도 7에 도시되어 있다.

또한 영어로 구성된 차량번호판에 대해서는, 상기 문자인식용 학습네트워크는 36개의 클래스(즉, 영문자 A 내지 Z 및 숫자 0 내지 9)를 인식하도록 학습된다.

다만 본 발명은, 한글 및 영어에 한정되지 않으며, 중국어, 일본어를 포함하여 다양한 국가에서 차량번호판에 사용되는 문자를 인식하도록 학습된다.

또한 상기 차량영상 수신부(130)는, 적어도 하나 이상의 카메라(200)로부터 촬영한 차양영상을 수신하는 기능을 수행한다.

또한 상기 차량번호판 검출부(140)는, 상기 카메라(200)로부터 차량영상이 수신되는 경우, 학습모델 데이터베이스(320)에 저장된 차량번호판 검출용 학습모델을 로딩하여, 상기 수신한 차량영상을 상기 로딩한 차량번호판 검출용 학습모델에 적용함으로서, 해당 차량영상으로부터 차량번호판을 검출하는 기능을 수행한다.

여기서, 상기 차량번호판 검출용 학습모델의 입력은 상기 수신한 차량영상이 되며, 출력은 상기 차량영상으로부터 차량번호판 영역을 예측한 복수의 바운딩박스가 된다.

이때, 상기 차량번호판 검출부(140)는, 상기 복수의 바운딩박스의 신뢰점수를 참조하여 제일 높은 신뢰점수를 가지는 바운딩박스를 선택하여, 상기 차량영상으로부터 상기 차량번호판을 크로핑함으로서, 차량번호판을 검출한다.

또한 상기 통합문자 인식부(150)는, 상기 학습모델 데이터베이스(320)에 저장된 문자인식용 학습모델을 로딩하여, 상기 검출한 차량번호판을 적용하여, 상기 검출한 차량번호판을 구성하는 복수의 문자를 통합하여 인식하는 기능을 수행한다.

여기서, 상기 문자인식용 학습모델의 입력은, 상기 검출한 차량번호판에 대한 영상이 되며, 출력은 상기 검출한 차량번호판에서 인식한 복수의 문자 및 상기 인식한 각 문자가 위치하는 문자영역에 대한 상단 좌측 좌표 및 하단 우측 좌표를 포함하는 바운딩박스를 포함한다.

문자인식용 학습모델의 출력은 상기 인식한 각 문자에 대한 순서정보를 제공하지 않기 때문에, 상기 인식한 각 문자에 대한 정확한 시퀀스를 추출하여, 최종적으로 상기 검출한 차량번호판을 인식하기 위해, 상기 다국적 차량번호판 레이아웃 검출부(160)는, 상기 통합문자 인식부(150)를 통해 출력되는 바운딩박스를 포함하는 차량번호판에 대한 이미지 처리과정을 통해 해당 차량번호판의 유형에 따른 차량번호판 레이아웃을 검출하는 기능을 수행한다.

한편, 도 8에 도시한 바와 같이, 미국, 오스트리아, 체코, 독일, 아일랜드, 스웨덴, 터기, 중국, 일본 및 대한민국 등과 같이 전 세계의 다양한 국가에서 사용되는 차량번호판 레이아웃은 단일 라인 또는 이중 라인의 레이아웃으로 형성됨을 알 수 있다.

또한 차량번호판 인식부(170)는, 상기 검출한 차량번호판 레이아웃에 따라 상기 인식한 복수의 문자를 정확한 시퀀스로 추출함으로서, 상기 차량영상에 포함된 차량의 차량번호판을 최종적으로 인식하여, 해당 차량번호판을 기능을 수행한다.

한편, 상기 다국적 차량번호판 레이아웃 검출과정을 통해 상기 차량번호판 레이아웃을 검출하고, 상기 인식한 복수의 문자를 정확한 시퀀스로 추출하여, 상기 차량에 대한 차량번호판을 최종적으로 인식하는 과정에 대해서는 도 9를 참조하여 상세히 설명하도록 한다.

이하에서는, 도 9 내지 도 12를 참조하여 상기 검출한 차량번호판의 차량번호판 레이아웃을 검출하는 과정을 상세히 설명하도록 한다.

도 9는 본 발명의 일 실시예에 따른 차량번호판 레이아웃을 검출하는 과정을 설명하기 위해 나타낸 도면이며, 도 10은 본 발명의 일 실시예에 따른 차량번호판 레이아웃을 검출하는 과정에 있어서 단일 라인의 차량번호판 레이아웃을 검출하는 과정을 나타낸 도면이다.

또한 도 11은 본 발명의 일 실시예에 따른 차량번호판 레이아웃을 검출하는 과정에 있어서 이중 라인의 차량번호판 레이아웃을 검출하는 과정을 나타낸 도면이며, 도 12는 본 발명의 일 실시예에 따른 차량번호판 레이아웃 검출과정이 다양한 나라에서 사용되는 다양한 유형의 차량번호판에 적용된 결과를 나타낸 도면이다.

도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 차량번호판 레이아웃을 검출하는 과정은 우선, 상기 다국적 차량번호판 레이아웃 검출부(160)는, 다음의 [수학식 6]에 따라 상기 통합문자 인식부(150)를 통해 출력한 복수의 바운딩박스(도 10 및 도 11의 빨간색 사각형)의 상단 좌측 x좌표

을 토대로 상기 복수의 바운딩박스를 오름차순으로 정렬한다.

[수학식 5]

여기서 bboxes는, 오름차순으로 정렬된 바운딩박스의 목록을 의미하며,

및

는 n번째 바운딩박스의 상단 왼쪽 좌표(x, y)를 나타내고

및

는 n번째 바운딩박스 하단 오른쪽 좌표(x, y)를 나타낸다.

다음으로, 다국적 차량번호판 레이아웃 검출부(160)는, 상기 정렬한 모든 바운딩박스의 좌측라인(ㅣ)을 검출한다. 상기 각 좌측라인(도 10 및 도 11에 도시한 파란색 라인)의 양 끝단에 대한 끝점은 다음의 [수학식 6]에 의해 계산된다.

[수학식 6]

다음으로, 상기 다국적 차량번호판 레이아웃 검출부(160)는, 상기 바운딩박스 목록을 토대로 제일 왼쪽 및 제일 오른쪽에 위치하는 바운딩박스의 좌측 선분을 각각 왼쪽 경계선(l_left) 및 오른쪽 경계선(l_right)으로 하여 검출한다. 상기 검출한 각 경계선은 도 10 및 도 11에 도시한 노란색 라인을 의미한다.

한편, 상기 왼쪽 경계선 및 오른쪽 경계선에 대한 좌표는 다음의 [수학식 7] 및 [수학식 8]과 같다.

[수학식 7]

[수학식 8]

다음으로 상기 다국적 차량번호판 레이아웃 검출부(160)는, 상기 검출한 왼쪽 경계선 및 오른쪽 경계선을 잇는 중앙라인(l_center)을 생성하여, 상기 생성한 중앙라인과 교차하는 상기 검출한 좌측라인의 수에 따라 다음의 [수학식 9]를 기준으로 사용하여 상기 검출한 차량번호판의 레이아웃을 검출한다.

도 10 및 도 11에 도시한 것과 같이, 상기 보라색 라인으로 표시된 라인이 중앙라인이다.

[수학식 9]

여기서 N_int는 상기 중앙라인과 교차하는 교차점의 수이고 N_bboxes는 상기 바운딩박스 목록을 구성하는 바운딩박스의 총 수이다.

여기서 상기 g(x)함수는 상기 검출한 차량번호판의 차량번호판 레이아웃이 단일 라인인 경우에는 1을 반환하고, 이중 라인인 경우 2를 반환하며, 상기 다국적 차량번호판 레이아웃 검출부(160)는, 상기 반환되는 값에 따라 상기 검출한 차량번호판의 차량번호판 레이아웃을 최종적으로 검출한다.

다음으로, 상기 차량번호판 인식부(170)는, 상기 검출한 차량번호판 레이아웃에 따라 상기 인식한 문자에 대한 시퀀스를 정확한 순서대로 추출함으로써, 최종적으로 검출한 차량번호판을 인식하게 된다.

이때, 상기 차량번호판 레이아웃이 단일 라인 레이아웃으로 형성된 경우에는, 상기 검출한 차량번호판의 최종 차량번호는 상기 바운딩박스 목록과 순서가 동일하다. 따라서 상기 차량번호판 인식부(170)는, 상기 바운딩박스 목록에 따라 상기 오름차순으로 정렬된 복수의 바운딩박스를 순서대로 출력함으로써, 단일 라인 레이아웃으로 형성된 차량번호판의 차량번호를 추출하여, 상기 검출한 차량번호판을 최종적으로 인식한다.

한편, 상기 검출한 결과 해당 차량번호판이 이중 라인 레이아웃으로 형성된 경우에는, 상기 차량번호판 인식부(170)는, 다음의 [수학식 10]을 이용하여 해당 차량번호판의 상단 영역 및 하단 영역에 위치하는 바운딩박스를 검출하는 과정을 더 수행한다.

[수학식 10]

여기서

는 상기 중앙라인과 교차하는 바운딩박스를 포함하는 바운딩박스 목록(list)을 의미하며,

는 상기 중앙라인과 교차하지 않는 바운딩박스를 포함하는 바운딩박스 목록을 의미한다.

는, 상기 검출한 경계선을 포함하는 바운딩박스가 포함된다.

는

또는

에서 첫 번째 바운딩박스의 왼쪽 상단 y좌표를 의미하며, 상기 차량번호판 인식부(170)는, 상기 오름차순으로 정렬한 각각의 바운딩박스 목록을 토대로 해당 차량번호판의 상단영역에 위치하는 바운딩박스를 먼저 순차적으로 출력하고, 이후, 하단 영역에 위치하는 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 시퀀스를 정확하게 추출함으로서, 이중 라인 레이아웃으로 형성된 차량번호판을 최종적으로 인식하게 된다.

도 12에 도시한 바와 같이, 단일 라인 또는 이중 라인 레이아웃으로 형성된 차량번호판을 분류하기 위해 수행되는, 본 발명의 차량번호판 레이아웃 검출과정은, 국가별 차량번호판에 대한 규격에 상관없이 단일 라인 또는 이중 라인 레이아웃으로 형성된 다양한 유형의 차량번호판 레이아웃을 간편하게 검출할 수 있음을 알 수 있다.

도 13은 본 발명의 일 실시예에 따른 차량번호판 검출 성능을 종래의 기술과 비교한 도면이다.

도 13에 도시한 바와 같이, 본 발명의 일 실시예에 따른 차량번호판 검출 성능에 대한 정확도와 타 방법을 통한 차량번호판 검출 정확도를 비교하였다.

한편 차량번호판 검출 성능 및 차량번호판 인식 성능을 종래의 기술과 비교하기 위해, 공개적으로 사용가능한 AOLP(대만) 데이터 세트와 상기 도 2를 참조하여 설명한 학습데이터 생성 및 증강과정을 통해 생성한 한글 차량번호판 검출용 학습데이터로 구성된 데이터 세트를 이용하였으며, LSTM(ling short term memory) 모델, ALMD-YOLO 모델, 슬라이딩 윈도우 YOLO 모델과 같이 최근에 개발되고 있는 차량번호판 검출 알고리즘과 본 발명에서 제안하는 차량번호판 검출용 학습모델을 비교하였다.

이를 위해 우선적으로, 도 2에서 설명한 바와 같이, 본 발명의 학습데이터 생성 전략을 사용하여 한국어 데이터 세트를 생성하였으며, 상기 데이터 셋은, 총 4,264개의 차량검출용 학습데이터를 구성하는 데이터 세트와, 총 4,267개의 문자인식용 학습데이터를 구성하는 데이터 세트로 구성되며, 여기에는 372개의 수동으로 주석을 단 이미지와 자동 주석을 통해 생성한 키 프레임이 포함된다.

또한 한국어 데이터 세트의 각 이미지에 대한 해상도는 1920 x 1080이며, 상기 차량번호판 검출용 학습데이터의 약 80%를 학습용으로, 약 20%를 테스트용으로 분할하였으며, 상기 한국어 데이터 세트의 상세 명세는 도 14에 도시하였다.

또한 학습을 위해 상기 차량번호판 검출용 학습데이터 세트 및 문자인식용 학습 데이터 세트 모두에 대해 30,00개 이상의 이미지가 생성되었으며, 상기 각각의 이미지는, 오픈 소스 이미지 레이블링을 통해 바운딩박스 주석을 포함한다.

상기 차량이미지 및 차량번호판 검출용 학습데이터와, 차량번호판 이미지 및 문자인식용 학습데이터는, 도 15에 도시되어 있다.

또한 상기 AOLP(application-oriented license plate)는 대만 번호판 이미지 2,049개로 구성된 공개 데이터 세트이며, 해당 데이터 세트는, 액세스 제어 (AC, access control), 법 집행 (LE, law enforcement) 및 도로 순찰 (RP, road patrol)을 포함하는 서브 세트로 구분된다. 서브 세트 AC, 서브 세트 LE 및 서브 세트 RP는 각각 681, 757 및 611 이미지로 구성되며, 각 서브 세트의 차량번호판은 적용 사례에 따라 다양한 적용 매개 변수(예: 기울기, 너비 비율, 거리 등)가 적용되어 있다. 서브 세트 AC는 유료 스테이션과 같은 고정 통로를 통과하는 차량의 이미지로 구성되며, 교통법 위반을 확인하는 데 사용되는 도로변 카메라로 캡처 한 이미지는 서브 세트 LE에 포함된다. 마지막으로, 서브셋 RP에는 주차 위반, 분실 차량 검색 등에 사용되는 휴대용 카메라로 촬영한 이미지가 포함된다.

이 데이터 세트에 제공된 기본 주석에는 차량번호판 좌표와 차량번호가 포함되어 있으며, 본 발명은 문자 인식을 객체 인식 문제로 취급하기 때문에 데이터 세트에 문자 인식을 위해 수동으로 바운딩박스 주석을 달았다. 수동으로 주석이 달린 데이터 세트의 샘플 이미지에 대한 일예는 도 16에 도시하였다.

또한 상기 차량번호판 검출에 대한 정확도 비교는, 정확하게 검출된 차량번호판의 수를 검출된 총 차량번호판의 수로 나눔으로써, 상기 정확도에 대한 정밀도(precision)를 계산함으로서, 수행되며, 올바르게 검출된 차량번호판의 수를 실제 차량번호판의 수로 나누어 리콜(recall)을 계산할 수 있다.

상기 정밀도와 상기 리콜은 다음의 [수학식 11]을 통해 계산된다.

[수학식 11]

여기서 TP, FP 및 FN은, 각각 정탐(true positive), 오탐(false positive) 및 미탐(false negative)을 나타내며, 예측된 차량번호판의 바운딩박스와 실제 차량번호판의 바운딩박스 사이가 0.5이상으로 오버랩(overlap)되면 상기 검출된 차량번호판에 대한 바운딩박스가 올바른 것으로 간주된다.

도 13에 도시한 것과 같이, 본 발명의 차량번호판 검출 성능은, 비교 대상인 최근의 기술보다 모두 우수한 것으로 나타났다. 또한 본 발명의 한국어 데이터 세트에서 100.00 % 및 98.46 %의 높은 정밀도 및 회수율을 달성함을 알 수 있다.

도 17은 본 발명의 일 실시예에 따른 차량번호판 인식 성능을 종래의 기술과 비교한 도면이다.

도 17에 도시한 바와 같이, 본 발명의 일 실시예에 따른 차량번호판 인식 성능과, LSTM(ling short term memory) 모델, CR-Nets(character recognition networks) 모델 및 ALMD-YOLO 모델, 슬라이딩 윈도우 YOLO 모델과 같이 최근에 개발되고 있는 차량번호 인식 알고리즘과 비교하였다.

상기 비교는 본 발명의 통합 문자 인식과 차량번호판 레이아웃 검출 알고리즘이 결합된 정확도에 해당하며, 상기 문자 인식을 위한 네트워크에 대한 입력은 크로핑된 차량번호판 이미지이다.

상기 차량번호판 이미지가 주어지면, 본 발명의 문자인식용 학습네트워크를 통해 생성한 문자인식용 학습모델은 상기 이미지로부터 복수의 문자를 인식하여, 상기 다국적 차량번호판 레이아웃 검출부(160)로 제공하며, 상기 다국적 차량번호판 레이아웃 검출부(160)를 통해 차량번호판 레이아웃을 검출한 결과에 따라 정확한 문자 시퀀스를 추출한다.

모든 문자가 올바르게 감지되고 차량번호가 올바른 순서인 경우에만 결과가 올바른 것으로 간주된다. 특정 문자가 감지되지 않거나 더 많은 문자가 감지되면 결과가 올바르지 않은 것으로 간주되며, AOLP의 경우 두 개의 서브 세트가 훈련에 사용되고 나머지 서브 세트는 테스트에 사용되었다.

도 17에 도시한 것과 같이, AOLP 및 한국어 데이터 세트의 문자인식용 데이터 세트에 대한 차량번호판 인식결과는, 비교 대상의 다른 모든 종래 기술보다 높은 성능을 보임을 알 수 있다.

한편, 슬라이딩 윈도우 YOLO 모델의 경우, 차량번호판을 해당 모델에 입력하기 전에 전처리 단계로써 상기 차량번호판을 똑바르게 하기 위해 호그(hough)변환을 사용했다는 점에 주목해야 한다. 그러나 본 발명은, 상기 학습데이터 증강과정을 통해 어떠한 전처리 과정 없이 회전된 차량번호판을 효과적으로 인식할 수 있다.

도 18은 본 발명의 일 실시예에 따른 입력되는 차량영상으로부터 차량번호판을 인식하기 위한 전체 성능을 종래 기술과 비교한 도면이다.

도 18에 도시한 것과 같이, 본 발명의 일 실시예에 따른 차량영상으로부터 차량번호판을 이식하기 위한 전체 성능(end-to-end)을 상용기술(open ALPR), Sighthound 모델, BRNN(bidirectional recurrent neural network) 모델 및 YOLOv2, WPOD-Net 및 CR-net를 결합한 모델을 각각 비교하였다.

실제 차량이미지(즉, 차량번호판이 크로핑 되지 않은 실제 이미지)는, 본 발명의 차량번호판 감지, 통합문자 인식 및 차량번호판 레이아웃 검출을 포함하는 3단계 과정의 입력이 되며, 결과는 차량번호임은 상술한 바와 같다.

차량번호판이 정확하게 검출되고, 해당 차량번호판을 구성하는 복수의 문자가 올바르게 인식되며, 상기 차량번호판에 대한 차량번호판 레이아웃이 올바르게 검출되면 상기 차량번호판을 정확하게 인식한 것으로 판단되며, 상기 3단계 과정 중 어느 하나에서 잘못된 결과가 도출되면 상기 차량번호판을 인식하지 못한 것으로 판단한다.

상기 차량 영상이 제공되면, 최종 출력인 상기 인식한 복수의 문자에 대한 문자 시퀀스는, 실제 차량번호의 시퀀스와 일치해야 하며, 감지된 문자수는 간단히 자르지 않은 LP 이미지가 제공되면 결과 문자 시퀀스는 실제 문자 시퀀스와 일치해야 한다.

도 18에 나타낸 것과 같이, 본 발명의 전체 성능은 비교 대상인 종래 기술보다 우월한 것을 알 수 있다. Sighthound 모델은 한국어 문자를 감지 할 수 없기 때문에 제시된 정확도는 6자리 숫자에만 해당된다.

또한 본 발명은 AOLP에 대해 상기 각각의 종래 기술보다 우월한 것을 알 수 있다. 한편 YOLOv2, WPOD-Net 및 CR-net를 결합한 모델의 경우, 본 발명의 전체 성능과 동일한 정확도를 달성하는 것으로 나타나 있으나, 인공적인 데이터를 사용하는 경우에만 98.36 %의 정확도를 달성하며, 인공적인 데이터를 사용하지 않는 경우에는 93.29%로 그 정확도가 감소하는 것을 알 수 있다.

도 19는 본 발명의 일 실시예에 따른 다양한 국가에서 사용되는 차량번호판 레이아웃에 따른 차량번호판을 인식한 결과를 나타낸 도면이다.

도 19에 도시한 바와 같이, 본 발명의 일 실시예에 따른 다양한 국가에서 사용되는 차량번호판 레이아웃에 따른 차량번호판을 인식한 결과를 보면 본 발명의 다국적 차량번호판 인식 시스템(100)은 국가별 차량번호판 규격에 상관없이 범용적으로 이용될 수 있음을 알 수 있다.

한편, 대부분의 국가는, 공개 차량번호판 데이터 세트가 없으므로, 본 발명의 다국적 차량번호판 인식 시스템(100)의 범용적 이용 가능성을 확인하기 위해 약 11개국의 차량번호판에 대한 데모 데이터 세트를 수집하였으며, 특정 국가의 공개 차량번호판 데이터 세트를 사용할 수 있는 경우에도, 상기 각 차량번호판 데이터 세트에 대한 바운딩박스 주석을 달아야 하기 때문에 많은 시간이 걸리므로, 상기 수집한 데모 데이터 세트를 이용하여 본 발명의 다국적 차량번호판 인식 시스템(100)을 테스트 하였다.

따라서 각기 다른 국가의 차량번호판이 포함된 이미지로 구성된 데모 데이터 세트를 이용한 해당 테스트의 목적은, 추가적인 단계 없이 다국적 차량번호판에 대한 본 발명의 다국적 차량번호판 인식 시스템(100)의 범용적 적용가능성을 보여주기 위한 것이다.

도 19에 나타낸 것과 같이, 본 발명의 다국적 차량번호판 인식 시스템(100)은, 모든 데모 데이터 세트에 대한 올바른 문자 시퀀스를 추출할 수 있음을 알 수 있다. 이를 통해 본 발명의 차량번호판 레이아웃 검출과정이 다양한 나라에서 사용되는 다양한 유형의 차량번호판에서 동작될 수 있음을 알 수 있다.

도 20은 본 발명의 일 실시예에 따른 다국적 차량번호판을 인식하는 절차를 나타낸 흐름도이다.

도 20에 도시한 바와 같이, 본 발명의 일 실시예에 따른 다국적 차량번호판을 인식하는 절차는 우선, 상기 다국적 차량번호판 인식 시스템(100)은, 학습데이터 데이터베이스(310)에 저장된 차량번호판 검출용 학습데이터를 로딩(S110)하여, 차량번호판 검출용 학습데이터를 상기 로딩한 차량번호판 검출용 학습데이터를 학습(S120)하여, 차량번호판 검출용 학습모델을 생성하는 차량번호판 검출용 학습모델 생성단계를 수행한다.

이때, 상기 차량번호판 검출용 학습모델 생성단계를 통해 생성된 상기 차량번호판 검출용 학습모델은 학습모델 데이터베이스(320)에 저장된다.

한편, 상기 차량번호판 검출용 학습데이터는, 차량번호판을 포함하는 차량이미지에 대한 데이터 세트로 구성되며, 상기 차량이미지는 차량번호판 영역에 대한 바운딩박스(즉, 바운딩박스 주석)를 포함한다.

또한 상기 생성한 차량번호판 검출용 학습모델의 입력은 실제 차량을 촬영한 차량영상이며, 출력은, 상기 차량영상의 차량번호판 영역에 대한 바운딩박스이다.

다음으로, 상기 다국적 차량번호판 인식 시스템(100)은, 상기 학습데이터 데이터베이스(310)에 저장된 문자인식용 학습데이터를 로딩(S130)하고, 상기 로딩한 문자인식용 학습데이터를 학습(S140)하여, 차량번호판을 구성하는 복수의 문자를 인식하기 위한 문자인식용 학습모델을 생성하는 문자인식용 학습모델 생성 단계를 수행한다.

여기서, 상기 문자인식용 학습모델 생성 단계를 통해 상기 생성한 문자인식용 학습모델은, 상기 학습모델 데이터베이스(320)에 저장된다.

한편, 상기 문자인식용 학습모델의 입력은 상기 차량번호판에 포함된 복수의 문자에 대한 문자영역 바운딩박스를 포함하며, 결과는 상기 복수의 문자를 인식한 상기 문자영역 바운딩박스임은 상술한 바와 같다.

또한 상기 다국적 차량번호판 인식 시스템(100)은, 실제 카메라(200)로부터 차량영상이 수신하는 차량영상 수신단계를 수행(S210)하여 상기 실제 카메라(200)로부터 촬영된 차량영상이 수신된 경우, 상기 학습모델 데이터베이스(320)에 저장된 차량번호판 검출용 학습모델을 로딩하여, 상기 수신한 차량영상을 상기 로딩한 차량번호판 검출용 학습모델에 적용하여 상기 차량영상으로부터 차량번호판을 검출하는 차량번호판 검출 단계를 수행한다(S220).

상기 차량번호판 검출 단계는, 상기 차량번호판 검출용 학습모델을 통해 예측된 복수의 바운딩박스의 신뢰점수를 참조하여, 제일 높은 신뢰점수를 가지는 바운딩박스를 선택하여, 해당 바운딩박스를 포함하는 차량번호판 영역을 크로핑함으로써, 상기 차량영상으로부터 상기 차량번호판을 검출한다.

다음으로 상기 다국적 차량번호판 인식 시스템(100)은, 상기 학습모델 데이터베이스(320)에 저장된 문자인식용 학습모델을 로딩하여, 상기 로딩한 문자인식용 학습모델에 상기 검출한 차량번호판을 구성하는 복수의 문자를 인식하는 통합문자 인식 단계를 수행한다(S230).

상기 통합문자 인식 단계는, 상기 검출한 차량번호판에 포함된 복수의 차량번호(즉, 문자)를 통합하여 인식하고, 상기 인식한 각 문자에 대한 문자영역 바운딩박스를 출력함으로써, 수행된다.

다음으로, 상기 다국적 차량번호판 인식 시스템(100)은, 상기 출력한 복수의 문자영역에 대한 바운딩박스를 토대로 상기 검출한 차량번호판의 차량번호판 레이아웃을 검출하는 차량번호판 레이아웃 검출 단계를 수행한다(S240).

상기 차량번호판 레이아웃 검출 단계는, 상기 각 문자영역 바운딩박스에 대한 이미지 처리과정을 통해 상기 차량번호판이 단일 라인 또는 이중 라인 레이아웃으로 형성되었는지에 대한 여부를 확인하는 것으로, 상기 차량번호판 레이아웃 검출은 도 6 및 도 9를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

다음으로, 상기 다국적 차량번호판 인식 시스템(100)은, 상기 검출한 차량번호판 레이아웃에 따라 상기 인식한 복수의 문자를 정확한 시퀀스로 출력함으로서, 최종적으로 차량번호판을 인식하는 차량번호판 인식 단계를 수행한다(S250).

상기 차량번호판 인식 단계는, 상기 차량번호판 레이아웃 검출 단계를 통해 검출한 차량번호판의 레이아웃에 따라 상기 통합문자 인식 단계에서 인식한 복수의 문자를 정확한 시퀀스로 추출하여 상기 차량번호판을 최종적으로 인식하는 것으로, 상기 차량번호판 인식은, 도 6을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

이상에서 설명한 바와 같이, 본 발명은 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법에 관한 것으로, 차량번호판 검출, 상기 검출한 차량번호판에 대한 통합 문자 인식 및 상기 검출한 차량번호판에 대한 차량번호판 레이아웃 검출 과정을 포함하는 3단계 과정을 통해 국가별 차량번호판에 대한 별도의 정보 없이도 다양한 나라에서 사용되는 다양한 유형의 차량번호판을 효율적으로 정확하게 인식할 수 있는 효과가 있다.

즉, 본 발명의 다국적 차량번호판 인식 시스템은, 국가별 차량번호판 규격에 상관없이 다양한 나라에 범용적으로 적용되어 다양한 유형의 차량번호판을 인식할 수 있도록 하는 것이다.

상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템
110: 차량번호판 검출용 학습모델 생성부 120: 문자인식용 학습모델 생성부
130: 차량영상 수신부 140: 차량번호판 검출부
150: 통합문자 인식부 160: 다국적 차량번호판 레이아웃 검출부
170: 차량번호판 인식부 200: 카메라
300: 데이터베이스 310: 학습데이터 데이터베이스
320: 학습모델 데이터베이스

Claims (10)

1. 실제 차량이미지를 차량번호판 검출용 학습모델이 적용하여, 상기 실제 차량이미지로부터 차량번호판을 검출하는 차량번호판 검출부;
   상기 검출한 차량번호판을 문자인식용 학습모델이 적용하여, 상기 검출한 차량번호판을 구성하는 복수의 문자를 인식하고, 상기 인식한 각 문자가 위치하는 영역에 대한 문자영역 바운딩박스를 각각 출력하는 통합문자 인식부;
   상기 출력한 복수의 문자영역 바운딩박스를 토대로 상기 검출한 차량번호판의 레이아웃을 검출하는 다국적 차량번호판 레이아웃 검출부; 및
   상기 검출한 차량번호판의 레이아웃을 토대로 상기 인식한 복수의 문자에 대한 시퀀스를 출력함으로써, 국가별 차량번호판 규격에 상관없이 국가별 차량번호판을 범용적으로 인식하는 차량번호판 인식부;를 포함하며,
   상기 차량번호판 검출용 학습모델은,
   차량번호판 영역에 대한 바운딩박스를 포함하는 복수의 차량이미지로 구성되는 차량번호판 검출용 학습데이터를 학습하여 생성되며,
   상기 문자인식용 학습모델은,
   차량번호판을 구성하는 복수의 문자에 대한 바운딩박스를 포함하는 복수의 차량번호판 이미지로 구성되는 문자인식용 학습데이터를 학습하여 생성되며,
   상기 다국적 차량번호판 레이아웃 검출부는,
   상기 출력한 복수의 문자영역 바운딩박스를 각 문자영역 바운딩박스의 좌측 상단의 x좌표를 토대로 오름차순으로 정렬하고,
   상기 정렬한 복수의 문자영역 바운딩박스의 좌측라인을 검출한 다음, 상기 검출한 좌측라인 중 제일 왼쪽 및 제일 오른쪽에 위치하는 바운딩박스의 제일 왼쪽 및 제일 오른쪽에 위치하는 바운딩박스의 좌측라인을 왼쪽 경계선 및 오른쪽 경계선으로 각각 검출하며,
   상기 검출한 왼쪽 경계선과 오른쪽 경계선을 연결하는 중앙라인을 생성하여, 상기 생성한 중앙라인과 교차하는 상기 검출한 좌측라인의 수에 따라 상기 검출한 차량번호판이 단일 라인 또는 이중 라인 레이아웃으로 형성되었는지를 판단함으로써, 상기 검출한 차량번호판의 레이아웃을 검출하는 것을 특징으로 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템.
2. 청구항 1에 있어서,
   상기 차량번호판 검출용 학습모델은,
   상기 실제 차량이미지가 입력되는 경우, 신뢰점수를 포함하는 적어도 하나 이상의 차량번호판 영역에 해당하는 복수의 바운딩박스를 예측하여 출력하며,
   상기 차량번호판 검출부는,
   상기 출력한 복수의 바운딩박스 중 제일 높은 신뢰점수를 가지는 바운딩박스를 선택하여, 해당 바운딩박스를 포함하는 차량번호판을 크로핑함으로써, 상기 차량번호판을 검출하는 것을 특징으로 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템.
3. 청구항 1에 있어서,
   상기 문자인식용 학습모델은,
   영어, 한글, 중국어 및 일본어를 포함하여 상기 검출한 차량번호판을 구성하는 복수의 문자를 인식하여, 상기 검출한 차량번호판으로부터 상기 인식한 각 문자의 문자영역에 대한 문자영역 바운딩박스를 출력하도록 학습되는 것을 특징으로 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템.
4. 삭제
5. 청구항 1에 있어서,
   상기 차량번호판 인식부는,
   상기 차량번호판의 레이아웃을 검출한 결과, 상기 검출한 차량번호판이 단일 라인 레이아웃으로 형성된 경우, 상기 오름차순으로 정렬한 문자영역 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 시퀀스를 추출하여 단일 라인 레이아웃으로 형성된 해당 차량번호판을 최종적으로 인식하며, 또한,
   상기 차량번호판의 레이아웃을 검출한 결과, 상기 검출한 차량번호판이 이중 라인 레이아웃으로 형성된 경우, 상기 중앙라인과 교차하는 상기 좌측라인 및 상기 경계선을 포함하는 문자영역 바운딩박스와, 상기 중앙라인과 교차하지 않는 상기 좌측라인을 포함하는 문자영역 바운딩박스를 각각 분류하고,
   상기 각 문자영역 바운딩박스의 왼쪽 상단 x좌표에 따라 상기 분류한 문자영역 바운딩박스를 오름차순으로 각각 정렬한 후, 상기 x좌표에 따라 해당 차량번호판의 상단 영역에 위치하는 문자영역 바운딩박스를 순차적으로 출력한 후, 해당 차량번호판의 하단 영역에 위치하는 문자영역 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 시퀀스를 추출하여 이중 라인 레이아웃으로 형성된 해당 차량번호판을 최종적으로 인식하는 것을 특징으로 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템.
6. 실제 차량이미지를 차량번호판 검출용 학습모델이 적용하여, 상기 실제 차량이미지로부터 차량번호판을 검출하는 차량번호판 검출 단계;
   상기 검출한 차량번호판을 문자인식용 학습모델이 적용하여, 상기 검출한 차량번호판을 구성하는 복수의 문자를 인식하고, 상기 인식한 각 문자가 위치하는 영역에 대한 문자영역 바운딩박스를 각각 출력하는 통합문자 인식 단계;
   상기 출력한 복수의 문자영역 바운딩박스를 토대로 상기 검출한 차량번호판의 레이아웃을 검출하는 다국적 차량번호판 레이아웃 검출 단계; 및
   상기 검출한 차량번호판의 레이아웃을 토대로 상기 인식한 복수의 문자에 대한 시퀀스를 출력함으로써, 국가별 차량번호판 규격에 상관없이 국가별 차량번호판을 범용적으로 인식하는 차량번호판 인식 단계;를 포함하며,
   상기 차량번호판 검출용 학습모델은,
   차량번호판 영역에 대한 바운딩박스를 포함하는 복수의 차량이미지로 구성되는 차량번호판 검출용 학습데이터를 학습하여 생성되며,
   상기 문자인식용 학습모델은,
   차량번호판을 구성하는 복수의 문자에 대한 바운딩박스를 포함하는 복수의 차량번호판 이미지로 구성되는 문자인식용 학습데이터를 학습하여 생성되며,
   상기 다국적 차량번호판 레이아웃 검출 단계는,
   상기 출력한 복수의 문자영역 바운딩박스를 각 문자영역 바운딩박스의 좌측 상단의 x좌표를 토대로 오름차순으로 정렬하고,
   상기 정렬한 복수의 문자영역 바운딩박스의 좌측라인을 검출한 다음, 상기 검출한 좌측라인 중 제일 왼쪽 및 제일 오른쪽에 위치하는 바운딩박스의 제일 왼쪽 및 제일 오른쪽에 위치하는 바운딩박스의 좌측라인을 왼쪽 경계선 및 오른쪽 경계선으로 각각 검출하며,
   상기 검출한 왼쪽 경계선과 오른쪽 경계선을 연결하는 중앙라인을 생성하여, 상기 생성한 중앙라인과 교차하는 상기 검출한 좌측라인의 수에 따라 상기 검출한 차량번호판이 단일 라인 또는 이중 라인 레이아웃으로 형성되었는지를 판단함으로써, 상기 검출한 차량번호판의 레이아웃을 검출하는 것을 특징으로 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 방법.
7. 청구항 6에 있어서,
   상기 차량번호판 검출용 학습모델은,
   상기 실제 차량이미지가 입력되는 경우, 신뢰점수를 포함하는 적어도 하나 이상의 차량번호판 영역에 해당하는 복수의 바운딩박스를 예측하여 출력하며,
   상기 차량번호판 검출 단계는,
   상기 출력한 복수의 바운딩박스 중 제일 높은 신뢰점수를 가지는 바운딩박스를 선택하여, 해당 바운딩박스를 포함하는 차량번호판을 크로핑함으로써, 상기 차량번호판을 검출하는 것을 특징으로 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 방법.
8. 청구항 6에 있어서,
   상기 문자인식용 학습모델은,
   영어, 한글, 중국어 및 일본어를 포함하여 상기 검출한 차량번호판을 구성하는 복수의 문자를 인식하여, 상기 검출한 차량번호판으로부터 상기 인식한 각 문자의 문자영역에 대한 문자영역 바운딩박스를 출력하도록 학습되는 것을 특징으로 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 방법.
9. 삭제
10. 청구항 6에 있어서,
    상기 차량번호판 인식 단계는,
    상기 차량번호판의 레이아웃을 검출한 결과, 상기 검출한 차량번호판이 단일 라인 레이아웃으로 형성된 경우, 상기 오름차순으로 정렬한 문자영역 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 시퀀스를 추출하여 단일 라인 레이아웃으로 형성된 해당 차량번호판을 최종적으로 인식하며, 또한,
    상기 차량번호판의 레이아웃을 검출한 결과, 상기 검출한 차량번호판이 이중 라인 레이아웃으로 형성된 경우, 상기 중앙라인과 교차하는 상기 좌측라인 및 상기 경계선을 포함하는 문자영역 바운딩박스와, 상기 중앙라인과 교차하지 않는 상기 좌측라인을 포함하는 문자영역 바운딩박스를 각각 분류하고,
    상기 각 문자영역 바운딩박스의 왼쪽 상단 x좌표에 따라 상기 분류한 문자영역 바운딩박스를 오름차순으로 각각 정렬한 후, 상기 x좌표에 따라 해당 차량번호판의 상단 영역에 위치하는 문자영역 바운딩박스를 순차적으로 출력한 후, 해당 차량번호판의 하단 영역에 위치하는 문자영역 바운딩박스를 순차적으로 출력함으로서, 상기 인식한 복수의 문자에 대한 시퀀스를 추출하여 이중 라인 레이아웃으로 형성된 해당 차량번호판을 최종적으로 인식하는 것을 특징으로 하는 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 방법.

Images