KR101282663B1 - 차량 번호판의 이미지 영역을 검출하기 위한 장치 및 그 방법 - Google Patents

Abstract

본 발명에 의한 차량 번호판의 이미지 영역을 검출하기 위한 장치 및 그 방법이 개시된다.
본 발명에 따른 차량 번호판의 이미지 영역을 검출하기 위한 장치는 차량 번호판을 촬영한 영상에 대한 바이너리 이미지를 입력받고 입력받은 상기 바이너리 이미지로부터 각 수직 방향 경계 선분의 위치 정보를 포함하는 수직에지 정보를 생성하는 위치정보 생성부; 상기 수직에지 정보를 기반으로 상기 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 포함하는 축약공간 테이블을 생성하는 축약공간 테이블 생성부; 및 상기 축약공간 테이블을 기반으로 상기 후보 이미지 영역의 위치 및 크기를 산출하는 후보영역 추출부를 포함하는 것을 특징으로 한다.

Description

차량 번호판의 이미지 영역을 검출하기 위한 장치 및 그 방법{APPARATUS FOR DETECTING IMAGE REGION OF VEHICLE NUMBER PLATE AND METHOD THEREOF}

본 발명은 차량 번호판 인식 기술에 관한 것으로, 특히, 차량 번호판 영상에서 테두리 윤관선의 수직 선분 요소들을 검출하고 검출된 수직 선분 요소들에 대응하는 수평 선분 요소들이 존재하는지를 확인하여 그 확인한 결과에 따라 차량 번호판의 후보 이미지 영역을 결정하도록 하는 차량 번호판의 이미지 영역을 검출하기 위한 장치 및 그 방법에 관한 것이다.

차량의 번호판 인식기는 일반적으로 번호판 후보추출, 번호판 검증, 부호(문자, 수자, 기호) 분리 및 부호 인식의 4단계 기능의 결합으로 구성되며 소프트웨어로 구현되어 컴퓨터 시스템에서 수행된다. 따라서 차량 번호판 인식기의 성능은 차량의 영상을 촬영하는 카메라와 인식기 소프트웨어를 실행하는 컴퓨터의 제반 요건이 동일한 조건에서 차량 영상 프레임에 대한 처리 속도와 인식률로 평가된다. 즉, 차량번호 인식기 성능의 고하는 상기 4단계 기능 구현에 적합한 알고리즘의 설계에 기인한다고 할 수 있다.

차량번호판 인식기의 상기 4단계 기능 중에서 차량 영상 프레임에서 차량 번호판 후보를 찾아내는 단계인 번호판 추출은 일반적으로 영상 프레임의 총 화소수에 비례하여 처리부하가 증가하고, 실제 번호판 영역이 후보에서 누락되는 경우에는 이어지는 단계의 처리 능력과 관계없이 미인식의 결과를 낳기 때문에 효과적인 알고리즘 설계가 요구되는 매우 중요한 기능이다.

또한, 차량 번호 인식 대상의 영상 프레임은 주·야간 시간대와 일기의 변화에 따라 영상의 품질이 일정하지 않으므로 저 품질의 영상에 대해서도 누락 없이 차량 번호판 후보를 추출할 수 있는 견고한 알고리즘이 필요하다.

특히, 차량 번호 인식기의 용도가 종래의 한 개의 카메라 영상 프레임에서 한 개 차량에 대한 차량 번호를 인식하는 기능에서 한 개의 영상 프레임에 복수개의 차량을 동시에 촬영한 영상에 대해서도 인식 가능한 기능인 다차로 번호인식기에 대한 기능 구현의 요구가 점차 증대되고 있고 이를 실현하기 위한 여러 가지 방법들이 시도 되고 있다.

그러나, 이를 실현하는데 있어서 난제는 복수개의 차량을 한 영상 프레임에 수용케 함으로써 인식대상인 차량 번호판의 영상 영역이 상대적으로 작아지므로 차량 번호판 후보를 추출하기 어려워진다는 것이다. 이것을 종래의 방법으로 해결하기 위해서는 해상도가 더 높은 카메라를 선택하여 실제 인식 대상 번호판을 구성하는 임계 화소수를 보전해야 하지만 이 방법으로는 n개의 차로를 지원하기 위해서 카메라 해상도를 n²배로 높여야 하므로 화소수 증가에 따른 처리속도 저하 문제가 발생할 뿐 아니라 카메라의 비용도 급격히 증가한다.

종래의 차량 번호판 추출 방법으로는 차량 번호판의 색상 정보에 기초하는 방법, 차량 번호판 문양의 형태학적 요소에 기반한 방법, 차량 번호판의 테두리 윤곽선을 검출하는 방법 등이 있다.

이들 중 차량 번호판의 색상정보를 이용하는 방법은 일기 변화나 영상의 품질에 민감할 뿐 아니라, 번호판의 색상이 차량의 그것과 대비가 약한 경우 누락되기 쉬우며, 구현 방법의 완성도에 관계없이 야간 시 플레시를 이용하여 취득된 차량의 흑백 영상에는 적용할 수 없다는 점에서 용도가 제한된다.

또한, 차량 번호판의 형태학적 요소에 기반한 방법으로는 모폴로지 연산과 특징 추출함수를 이용하여 특징 이미지를 생성하여 번호판 위치를 검출하는 방법 등을 사용한다. 이 방법은, 이를 테면, 국내 차량 번호판의 경우 반드시 4자리의 수자를 포함한다는 사실에 근거하여 이 4자리 수자 영역을 번호판 후보의 위치로 검출한다. 이 형태학적 요소기반 방법은 실제 번호판의 이들 4자리 수자중 하나라도 오·훼손된 경우 검출과정에서 누락되기 쉬우며, 번호판의 글자 색상과 배경 색상의 밝기 대비가 뚜렷해야 하는 하므로 검출능력이 영상의 품질에 크게 의존하는 것이 문제이다.

더욱이 색상 정보나 형태학적 요소에 기반한 방법은 통계적 본질의 방법으로서 대상 이미지 영역의 화소수가 결과의 신뢰성을 보장할 만큼 충분히 클 것을 요구하므로 작은 이미지의 번호판을 추출하는 용도로는 적합하지 않다.

번호판테두리 윤곽선에 기초한 방법은 주로 범용 하흐 변환(Generalized Hough Transform)을 이용하는데, 이 방법은 일반적으로 계산량이 많고, 번호판 테두리 부를 이루는 화소수에 의존하는 바가 크므로 상기 다차로 번호판 인식기에서와 같이 작은 화소수로 이루어진 영상에 대해서는 적용상 한계가 있다. 더구나 조도 저하 등 환경의 변화 때문에 카메라가 취득한 영상의 품질이 떨어져 경계를 이루는 화소수가 작아지는 경우에도 번호판 영상이 추출과정에서 누락되기 쉽다.

한국등록특허 제10-1182173호(발명의 명칭: 차량번호판 인식방법 및 시스템)

따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 차량 번호판 영상에서 테두리 윤곽선의 수직 선분 요소들을 검출하고 검출된 수직 선분 요소들에 대응하는 수평 선분 요소들이 존재하는지를 확인하여 그 확인한 결과에 따라 차량 번호판의 후보 이미지 영역을 결정하도록 하는 차량 번호판의 이미지 영역을 검출하기 위한 장치 및 그 방법을 제공하는데 있다.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 차량 번호판의 이미지 영역을 검출하기 위한 장치는 차량 번호판을 촬영한 영상에 대한 바이너리 이미지를 입력받고 입력받은 상기 바이너리 이미지로부터 각 수직 방향 경계 선분의 위치 정보를 포함하는 수직에지 정보를 생성하는 위치정보 생성부; 상기 수직에지 정보를 기반으로 상기 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 포함하는 축약공간 테이블을 생성하는 축약공간 테이블 생성부; 및 상기 축약공간 테이블을 기반으로 상기 후보 이미지 영역을 산출하는 후보영역 추출부를 포함할 수 있다.

바람직하게, 상기 위치정보 생성부는 수직 방향으로 최소 3개의 화소로 구성되는 수직 방향 경계 선분을 검출하고 검출한 상기 수직방향 경계 선분의 위치 정보를 포함하는 수직에지 정보를 생성하는 것을 특징으로 한다.

바람직하게, 상기 수직에지 정보는 상기 수직방향 경계 선분의 위치 정보, 총 개수, 각 선분의 시작 화소 좌표값, 끝 화소 좌표값을 포함하는 것을 특징으로 한다.

바람직하게, 상기 축약공간 테이블 생성부는 상기 수직에지 정보를 기반으로 상기 후보 이미지 영역의 좌측 테두리의 일부 또는 전체의 수직 선분과 이에 상응하는 우측 테두리의 일부 또는 전체의 수직 선분이 존재하는지를 확인하고, 그 확인한 결과로 좌측 테두리와 우측 테두리의 수직 선분이 존재하면 상기 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 저장하기 위하여 후보 이미지의 가로방향 중심좌표 정보의 변량 x, 세로방향 중심좌표 정보의 변량 y 및 세로 방향 반경 정보 r을 인덱스로 하는 3차원 테이블을 생성하고 생성된 상기 3차원 테이블에 상기 후보 이미지 영역의 범위정보를 산출하여 기록하는 것을 특징으로 한다.

바람직하게, 상기 축약공간 테이블 인덱스 x, y, r은 각각 상기 수직에지 정보의 가로, 세로 방향 변량 X, Y 및 가로방향 변량 R을 특정 축약상수 S로 나눈 결과의 정수를 변량으로 하여, 수직 에지 정보내의 수직선분들에 대한 위치정보를 상기 축약공간 테이블로 변환하여 저장함에 있어서, 상기 S에 의해 그 범위가 결정되는 인접한 것들이 동일한 인덱스를 가지는 배열 요소에 매핑되도록 하는 것을 특징으로 한다.

바람직하게, 상기 축약공간 테이블에의 정보 기록은 상기 수직에지 정보에서 후보 이미지의 좌·우 테두리 수직선분 윤곽화소의 위치 정보를 변환하여 상기 축약공간 테이블의 인덱스 x, r를 결정하고, 각 화소를 기준으로 후보 이미지의 상하변 차이값을 그 범위로 하는 테이블 영역의 값을 1씩 누진시켜 기록함으로써, 테이블 내 값이 로컬 피크를 가지는 요소의 위치가 나머지 인텍스값 y 정보로 간주되고 그 피크값이 해당 후보 이미지의 수직 테두리에 포함된 화소수에 비례하게 하는 것을 특징으로 한다.

바람직하게, 상기 후보영역 추출부는 상기 축약공간 테이블을 기반으로 테이블 내에서 임계치 이상의 로컬 피크값을 가지는 요소에 대하여, 해당 요소의 테이블 내 인덱스와 추출하고자 하는 번호판의 형상비를 이용하여 후보 이미지의 중심 좌표값, 가로, 세로 반경값을 산출해 내는 것을 특징으로 한다.

또한, 본 발명에 따른 차량 번호판의 이미지 영역을 검출하기 위한 장치는 카메라를 통해 상기 차량 번호판의 컬러 영상을 획득하는 컬러영상 획득부; 및 획득한 상기 컬러 영상을 프레임 단위로 입력 받아 그레이 스케일의 흑백 영상으로 변환하고 그 변환된 흑백 영상을 바이너리 경계 이미지로 변환하는 영상 전처리부를 더 포함할 수 있다.

본 발명의 다른 한 관점에 따른 차량 번호판의 이미지 영역을 검출하기 위한 방법은 차량 번호판을 촬영한 영상에 대한 바이너리 이미지를 입력받고 입력받은 상기 바이너리 이미지로부터 각 수직 방향 경계 선분의 위치 정보를 포함하는 수직에지 정보를 생성하는 위치정보 생성단계; 상기 수직에지 정보를 기반으로 상기 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 포함하는 축약공간 테이블을 생성하는 축약공간 테이블 생성단계; 및 상기 축약공간 테이블을 기반으로 상기 후보 이미지 영역을 산출하는 후보영역 추출단계를 포함할 수 있다.

바람직하게, 상기 위치정보 생성단계는 수직 방향으로 최소 3개의 화소로 구성되는 수직 방향 경계 선분을 검출하고 검출한 상기 수직방향 경계 선분의 위치 정보를 포함하는 수직에지 정보를 생성하는 것을 특징으로 한다.

바람직하게, 상기 수직에지 정보는 상기 수직방향 경계 선분의 위치 정보, 총 개수, 각 선분의 시작 화소 좌표값, 끝 화소 좌표값을 포함하는 것을 특징으로 한다.

바람직하게, 상기 축약공간 테이블 생성단계는 상기 수직에지 정보를 기반으로 상기 후보 이미지 영역의 좌측 테두리의 일부 또는 전체의 수직 선분과 이에 상응하는 우측 테두리의 일부 또는 전체의 수직 선분이 존재하는지를 확인하고, 그 확인한 결과로 좌측 테두리와 우측 테두리의 수직 선분이 존재하면 상기 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 저장하기 위하여 후보 이미지의 가로방향 중심좌표 정보의 변량 x, 세로방향 중심좌표 정보의 변량 y 및 세로 방향 반경 정보 r을 인덱스로 하는 3차원 테이블을 생성하고 생성된 상기 3차원 테이블에 상기 후보 이미지 영역의 범위정보를 산출하여 기록하는 것을 특징으로 한다.

바람직하게, 상기 축약공간 테이블 인덱스 x, y, r은 각각 상기 수직에지 정보의 가로, 세로 방향 변량 X, Y 및 가로방향 변량 R을 특정 축약상수 S로 나눈 결과의 정수를 변량으로 하여, 수직 에지 정보내의 수직선분들에 대한 위치정보를 상기 축약공간 테이블로 변환하여 저장함에 있어서, 상기 S에 의해 그 범위가 결정되는 인접한 것들이 동일한 인덱스를 가지는 배열 요소에 매핑되도록 하는 것을 특징으로 한다.

바람직하게, 상기 축약공간 테이블에의 정보 기록은 상기 수직에지 정보에서 후보 이미지의 좌·우 테두리 수직선분 윤곽화소의 위치 정보를 변환하여 상기 축약공간 테이블의 인덱스 x, r를 결정하고, 각 화소를 기준으로 후보 이미지의 상하변 차이값을 그 범위로 하는 테이블 영역의 값을 1씩 누진시켜 기록함으로써, 테이블 내에서 값이 로컬 피크를 가지는 요소의 위치가 나머지 인텍스값 y 정보로 간주되고 그 피크값이 해당 후보 이미지의 수직 테두리에 포함된 화소수에 비례하게 하는 것을 특징으로 한다.

바람직하게, 상기 후보영역 추출단계는 상기 축약공간 테이블을 기반으로 테이블 내에서 임계치 이상의 로컬 피크값을 가지는 요소에 대하여, 해당 요소의 테이블 내 인덱스와 추출하고자 하는 번호판의 형상비를 이용하여 후보 이미지의 중심 좌표값, 가로, 세로 반경값을 산출해 내는 것을 특징으로 한다.

또한, 본 발명에 따른 차량 번호판의 이미지 영역을 검출하기 위한 방법은 카메라를 통해 상기 차량 번호판의 컬러 영상을 획득하는 컬러영상 획득단계; 및 획득한 상기 컬러 영상을 프레임 단위로 입력 받아 그레이 스케일의 흑백 영상으로 변환하고 그 변환된 흑백 영상을 바이너리 경계 이미지로 변환하는 영상 전처리단계를 더 포함할 수 있다.

이를 통해, 본 발명은 차량 번호판 영상에서 테두리 윤관선의 수직 선분 요소들을 검출하고 검출된 수직 선분 요소들에 대응하는 수평 선분 요소들이 존재하는지를 확인하여 그 확인한 결과에 따라 차량 번호판의 후보 이미지 영역을 결정하도록 함으로써, 영상의 품질이 낮아 윤곽선이 뚜렷하지 않거나 기울어진 이미지의 경우에도 번호판 검출이 누락될 소지를 줄여 번호판의 인식률을 크게 증대시킬 수 있는 효과가 있다.

또한, 본 발명은 차량 번호판 영상에서 테두리 윤곽선의 수직 선분 요소들을 검출하고 검출된 수직 선분 요소들에 대응하는 수평 선분 요소들이 존재하는지를 확인하여 그 확인한 결과에 따라 단순한 계산으로 차량 번호판의 후보 이미지 영역을 결정하도록 함으로써, 처리 절차가 간략하고 계산량이 많지 않아 컴퓨터의 부하를 크게 감소시킬 수 있는 효과가 있다.

또한, 본 발명은 차량 번호판 영상에서 테두리 윤곽선의 최소 유효 화소수를 3개까지 검출함으로써, 상대적으로 저해상도로 촬영하는 차량번호 인식기에 활용될 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 차량 번호판의 이미지 영역을 검출하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 영상 화면의 좌표와 차량 번호판 이미지 영역의 위치 좌표 및 크기를 표시하는 원리를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따라 메모리 내 VerEdgeInfo의 자료 구조 공간의 배열과 관련 정보가 저장되는 순서를 표시하는 원리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 경계 이미지 공간의 수직방향으로 임의의 스캔라인의 수직 윤곽선분의 위치 정보와 해당 수직 윤곽선분의 관련 정보를 저장하는 VerEdgeInfo 자료 구조의 대응 위치를 표시하는 원리를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 경계 이미지 공간에서 번호판 후보 이미지 영역의 범위를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 축약공간 VoteTable의 3차원 배치 구조와 특정 후보 이미지에 대응되는 VoteTable 공간의 점 P의 좌표를 표시하는 원리를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 바이너리 경계 이미지 공간내에서 번호판 후보 이미지의 좌변 윤곽선 각 화소에 대해 이와 쌍을 이루어 최대 높이 번호판 후보로서 가능한 이미지의 우변 윤곽선 구성 화소로 간주할 수 있는 좌표값 범위인 Vote범위를 산출하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 이미지에서 번호판 후보의 수평, 수직 윤곽선으로 나타날 수 있는 화소들의 위치와 이에 대해 추출되는 이미지 영역을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 차량 번호판의 이미지 영역을 검출하기 위한 방법을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따라 VerEdgeInfo의 각 엔트리에 내의 각 수직 선분 요소들을 번호판 후보 이미지의 좌측변으로 하여, Vote1처리 과정을 통해 대응하는 우측변 수직성분 요소의 범위를 판단하여 자료 VoteTable에 명기하는 과정을 설명하기 위한 도면이다.
도 11은 도 10에서 호출되는 Vote1 루틴의 처리 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따라 VoteTable의 내용을 참조하여 추출하고자 하는 유형의 번호판 형상비에 상응하는 이미지 영역의 좌표값과 크기값 정보를 추출하는 과정을 설명하기 위한 도면이다.
도13은 본 발명에 따라 차량 번호판을 인식한 화면의 일 예(1920x1280의 카메라로 촬영한 영상)를 나타낸 도면이다.
도14는 본 발명에 따라 차량 번호판을 인식한 화면의 일 예(1280x720의 카메라로 촬영한 영상)를 나타낸 도면이다.

이하에서는, 본 발명의 실시예에 따른 차량 번호판의 이미지 영역을 검출하기 위한 장치 및 그 방법을 첨부한 도 1 내지 도 12를 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.

특히, 본 발명은 차량 번호판 영상에서 테두리 윤곽선의 수직 선분 요소들을 검출하고 검출된 수직 선분 요소들에 대응하는 수평 선분 요소들이 존재하는지를 확인하여 그 확인한 결과에 따라 후보 이미지 영역으로 결정하도록 하는 새로운 방안을 제안한다.

도 1은 본 발명의 일 실시예에 따른 차량 번호판의 이미지 영역을 검출하기 위한 장치를 나타내는 도면이다.

도 1에 도시한 바와 같이, 본 발명에 따른 차량 번호판의 이미지 영역을 검출하기 위한 장치는 컬러영상 획득부(110), 영상 전처리부(120), 위치정보 생성부(130), 축약공간 테이블 생성부(140), 후보영역 추출부(150) 등을 포함하여 구성될 수 있다.

컬러영상 획득부(110)는 카메라를 통해 차량 번호판의 컬러 영상을 획득할 수 있다.

영상 전처리부(120)는 입력받은 컬러 영상을 프레임 단위로 입력 받아 0에서 255까지 256 단계의 그레이 스케일 흑백 영상으로 변환하고 변환된 흑백 영상을 바이너리 경계 이미지로 변환할 수 있다.

구체적으로 설명하면 다음과 같다. 즉, 영상 전처리부(120)는 변환된 흑백 영상에서 화소의 밝기 값에 특정 준위의 기준 값을 임계치로 정하여 각 화소의 밝기 값이 해당 임계치 이상인 경우에 흰색 값(255)을 부여하고, 그 이하의 밝기 값을 가지는 화소에 대해서는 검정색 값(0)을 부여하여 바이너리 이미지로 변환하게 된다.

상기 과정에서 임계치는 변환된 영상에서 차량의 번호판을 비롯한 사물의 경계선이 밝은 윤곽선으로 최대한 많이 표시되도록 정하게 되는데 이러한 원리는 영상처리 기술 분야 및 패턴 인식기술 분야의 경계추출 기법을 사용함으로써 가능하기 때문에 본 발명에서의 영상 전처리 과정으로 그 방법을 특정하지 아니한다.

이때, 배경영상을 포함하여 적어도 한 대 이상의 차량에 대하여 해당 차량의 번호판의 이미지가 나타나도록 카메라로 촬영하여 얻은 영상의 한 프레임을 각 화소의 밝기값에 대하여 256단계의 그레이(gray) 레벨로 변환한 영상 프레임을 오리지널 영상(original image)이라 하며 각 화소의 밝기값을 화소값이라 약칭하기로 한다.

또한 바이너리 이미지에서 수직 및 수평 방향으로 서로 연속한 흰색 화소에 대해 각각 수직 화소값 VER_P, 수평 화소값 HOR_P를 부여하고 그 외 화소에 대해서는 NON_P값을 부여하여 구분되게 하여 바이너리 경계 이미지를 만든다. 예컨대, 수직 화소값 VER_P, 수평 화소값 HOR_P, 및 NON_P들은 각각 254, 253, 128과 같은 값을 부여하여 구분할 수 있다.

이러한 바이너리 경계 이미지는 그레이 레벨로 변환한 오리지널 이미지와 같은 크기로 정의되며, 각 윤곽선의 화소 위치는 그 오리지널 이미지에서 사물 윤곽선의 좌표 상의 위치와 동일하다. 이에 따라 바이너리 경계 이미지는 경계 이미지로 약칭하기로 한다.

도 2는 본 발명의 일 실시예에 따라 영상 화면의 좌표와 차량 번호판 이미지 영역의 위치 좌표 및 크기를 표시하는 원리를 설명하기 위한 도면이다.

도 2에 도시한 바와 같이, 화면에 표시되는 2차원 평면 영상의 좌표를 (X, Y)로 나타내고, 좌측 상단을 기점 (0,0)으로 하여 오른쪽을 X값이 증가하는 방향으로 또, 아래쪽으로 Y값이 증가하는 방향으로 한다.

그리고 가로 및 세로 방향의 화소수를 W 및 H로 표시하여 차량 영상의 해상도를 W x H로 나타내기로 하며, 또한, 컴퓨터 메모리 공간에 영상을 저장하는 순서는 메모리가 증가하는 방향으로 좌표 (0,0), (1,0), (2, 0), .... (W-1, 0), (0,1), (1,1), (2,1), ....(W-1, 1), .....(0, H-1), (1, H-1), (2, H-2), ...(W-1, H-1)의 순으로 대응되는 각 화소값을 저장하기로 한다.

이때, 영상 이미지 img에 대한 자료 구조는 img[H][W]와 같이 표기하여 2차원 배열로 나타낸다.

본 발명에서 원래 영상 프레임 내의 차량 번호판은 위치 좌표와 크기로 정의하기로 한다. 즉, 차량의 번호판은 차량 번호판의 중심 좌표값 c_x, c_y와 X, Y방향으로의 좌표상의 반경값 r_x, r_y로 표현하여 4개 인수의 조합 (c_x, c_y, r_x, r_y)로 나타낸다.

위치정보 생성부(130)는 바이너리 경계 이미지를 참고하여 각 수직 방향 경계 선분의 위치 정보 등을 포함하는 수직에지 정보 VerEdgeInfo를 생성할 수 있다.

도 3은 본 발명의 일 실시예에 따라 메모리 내 VerEdgeInfo 자료 구조 공간의 배열과 관련 정보가 저장되는 순서를 표시하는 원리를 설명하기 위한 도면이다.

도 3에 도시한 바와 같이, 먼저 위치정보 생성부(130)는 수직 에지 정보 VerEdgeInfo를 생성하기 위하여 메모리 내에 W × h개의 저장 공간을 확보할 수 있다. 여기서, h는 h = H / 2의 연산 결과값으로 수직 방향 화소수의 절반을 나타내는데, 디지털 화상 정보에서 화소의 위치는 정수값을 가지므로 그 연산 결과로 소수점 이하를 버린 정수 값을 취하는 것으로 한다.

이때, 이러한 수직 에지 정보의 자료 구조는 VerEdgeInfo[W][h]과 같이 표기하여 화살표 방향 예컨대, 위에서 아래 방향으로 순차적으로 자료가 저장되게 한다. 이 자료가 저장되는 순서를 스캔 방향으로 한다.

도 4는 본 발명의 일 실시예에 따라 경계 이미지 공간의 수직방향으로 임의의 스캔라인의 수직 윤곽선분의 위치 정보와 해당 수직 윤곽선분의 관련 정보를 저장하는 VerEdgeInfo 자료 구조의 대응 위치를 표시하는 원리를 설명하기 위한 도면이다,

도 4에 도시한 바와 같이, 수직 에지 정보 VerEdgeInfo는 메모리 내에서 저장용량 h의 크기를 가지는 W개의 엔트리로 구성되는데, 각 엔트리는 경계 이미지의 대응되는 수직방향 스캔라인(X=i, Y)에 대한 정보를 저장하는 공간으로 사용될 수 있다.

수직 에지 정보 VerEdgeInfo내의 각 엔트리는 경계 이미지를 수평방향 각 X값에 대해 수직방향으로 스캔하여 최소 3개 이상의 화소로 구성되는 수직 선분들을 조사하여 채워 나간다. 각 엔트리에 정보가 저장되는 순서는 스캔라인 (X = i, Y)에 대한 엔트리 Ei의 첫째 저장소 Ei[0]에 해당 스캔라인에서 발견되는 수직 선분의 총 개수를 저장하고, Ei[1]과 Ei[2]에 각각 첫 번째 수직 선분의 시작화소와 끝 화소의 Y 좌표값을 저장하며, 동일하게 반복하여 Ei[j+1]와 Ei[j+2]에 수직선분 v_l_j의 시작과 끝 화소의 Y 좌표값을 저장한다. 이렇게 하면 VerEdgeInfo의 각 엔트리에는 해당 스캔라인에 속한 유효 수직선분의 위치 정보 및 시작과 끝 화소의 위치값 차이로서 구성화소수에 대한 정보를 포함하게 된다.

위에서, 수직 에지 정보 VerEdgeInfo의 정보를 저장하는 각 엔트리의 크기를 원래 영상의 높이의 반으로 확보하는 이유는 수직 방향의 최대 선분의 개수가 각 선분이 최소 유효화소 기준인 3개 화소만으로 구성되고 각 수직선분들이 한 개의 화소 거리만큼 떨어져 있는 경우라도 한 스캔 라인당 최대 H÷(3+1)개의 선분이 존재할 수 있고, 또 하나의 선분에 대해 두 개의 저장 공간이 필요하기 때문에 결과적으로 (H÷4)×2개의 저장 공간이면 충분하기 때문이다.

축약공간 테이블 생성부(140)는 수직에지 정보 VerEdgeInfo를 기반으로 후보 이미지 영역의 범위를 지정하기 위한 정보를 포함하는 축약공간 테이블 VoteTable을 생성할 수 있다.

도 5는 본 발명의 일 실시예에 따라 경계 이지미 공간에서 번호판 후보 이미지 영역의 범위를 나타내는 도면이다.

도 5에 도시한 바와 같이, 경계 이미지 내 좌표 (i,j)에서 시작하여 아래 방향으로 연속된 화소의 수직선분이 존재하는 경우, 그 수직선분을 번호판의 좌측 테두리로 간주하여 번호판 후보 이미지 영역으로서 가능한 나머지 우측 테두리 위치의 범위를 나타내고 있다.

상기 수직선분을 기준으로 가로 반경 및 세로 반경을 각각 r_x, r_y를 가지는 최소크기의 번호판에서 R_x, R_y를 가지는 최대 크기의 번호판을 가정할 수 있으며, 만일 추출하고자 하는 범위의 크기를 가진 유효한 번호판 후보이면 이 최소 번호판 크기와 최대 번호판 크기 사이의 위치 값을 가지는 나머지 테두리 윤곽 선분화소를 가져야 한다.

여기서, 최소번호판 크기, 최대 번호판 크기는 오리지널 영상에서 번호판 후보 이미지 영역으로 추출하고자 하는 사각형 이미지를 나타내는데 있어서, 그 사각형 이미지의 최소 폭과 최대 폭, 및 최소 높이와 최대 높이의 범위를 화소 단위로 지정한 것이다.

좌표 (i,j)는 수직에지 정보 VerEdgeInfo 내에 저장되어 있으며 좌표값 i의 변량 X는 수직선분을 조사할 수직방향 스캔라인의 위치 정보로서, 변위 범위는 0에서부터 최소크기의 번호판이 원래 영상의 최 우측에 위치한 경우 최대 X = W - (최소번호판의 폭)까지이며, 좌표값 j의 변량 Y는 각 스캔라인에서 조사할 수직선분의 유효 범위로서 변위 범위는 0에서부터 최소크기의 번호판이 영상의 최 하단에 위치한 경우 최대 Y = H - (최소번호판의 높이)까지이다.

또한, 최소번호판 크기, 최대번호판 크기는 가로 반경과 세로 반경 r_x와 r_y, R_x와 R_y으로 각각 나타낼 수 있는 데, 사실상 번호판의 크기는 규격으로 정해져 있기 때문에 가로 길이 대비 세로 길이의 비율로부터 세로 길이만 알면 가로 길이는 계산된다. 이러한 번호판의 가로 길이 대비 세로 길이의 비율을 형상비라고 한다.

따라서 번호판 가로 길이에 대한 변량으로 R을 정의하면 그 범위는 r_x ≤ R ≤ R_x이 된다.

이상에서 각 변량의 범위를 한정함으로써 계산속도를 빠르게 할 수 있다.

위와 같이하면 번호판의 각 후보 이미지들은 상기 세 변량 X, Y, R로 유일하게 정의되므로, 이 정보를 변환하여 저장할 메모리 공간 VoteTable을 확보하고 값 0으로 초기화한다.

VoteTable의 자료 구조는 다음과 같이 정의한다.

VoteTable[rlen][xlen][ylen];

xlen = (W minPlateW) / S,

ylen = (H minPlateH) / S,

rlen = (maxPlateW / 2 minPlateW / 2) / S

여기서, minPlateW, minPlateH는 화소수 단위로 각 후보 이미지의 최소폭과 높이를 나타내고 maxPlateW, maxPlateH는 각 후보 이미지의 최대 폭과 높이를 나타낸다.

이들 값은 본 발명의 구현시 그 목적에 따라 적정 상수값으로 부여되는 것이 바람직하고 상기 S는 축약상수라 칭하기로 하며 그 의미는 아래에서 설명하기로 한다.

도 6은 본 발명의 일 실시예에 따라 VoteTable 자료 공간의 3차원 배치 구조와 특정 후보 이미지에 대응되는 VoteTable 공간의 점 P의 좌표를 표시하는 원리를 설명하기 위한 도면이다. 도 6의 공간 구조에서 3개의 축 x, y, r은 상기 X, Y, R을 축약 상수로 나눈 변량으로 정의되며 그 값의 최대 변위는 각각 xlen, ylen, rlen이다.

도 6에 3 변량들을 축으로 하여 VoteTable을 3차원 공간에 도시한 것을 보여준다. 각 축의 최대 변위값으로 한정된 점선으로 표시된 입체 공간 내 임의 평면 r’plane 상의 정수 좌표값을 가지는 임의 점 P(r’, x’, y’)은 원래 영상에서 중심좌표: (x’+ r’, y’ + Rs × r’), 가로폭: 2r’인 후보 이미지에 1:1 대응되는 점이다. 여기서, Rs는 추출하고자 하는 차량 번호판의 형상비(번호판 높이/번호판 폭)를 나타낸다.

상기한 바와 같이 자료 VoteTable에 대한 저장공간을 확보하여, 원래 영상으로부터 얻은 상기 경계 이미지 상에서 수직방향 윤곽선분들에 대한 위치 정보를 조사, 저장한 자료 VerEdgeInfo로부터 각 수직윤곽 선분에 대하여 VoteTable 자료 공간의 대응되는 위치에 관련 정보를 기록하는 과정은 도 10을 참조한다.

도 10은 본 발명의 일 실시예에 따라 VerEdgeInfo의 각 엔트리에 내의 각 수직 선분 요소들을 번호판 후보 이미지의 좌측변으로 하여, Vote1처리 과정을 통해 대응하는 우측변 수직성분 요소의 범위를 판단하여 자료 VoteTable에 명기하는 과정을 설명하기 위한 도면이다.

도 10을 참조하면, 경계 이미지의 가로 방향 i번째 스캔라인에 대응하는 상기 VerEdgeInfo자료의 i번째 엔트리의 내용을 조사하여 수직선분 개수가 0이 아닐 때, 해당 스캔 라인의 각 수직선분이 특정 번호판 후보의 좌측 테두리의 구성요소가 되기 위해서는 해당 스캔라인에서 오른쪽으로 minPlateW에서부터 maxPlateW까지 구간내의 수직 스캔라인 상에 해당 수직 선분과 짝을 이루어 오른쪽 테두리를 구성하는 수직선분 요소가 존재해야 한다.

이에 대한 정보를 VerEdgeInfo 자료의 i+minPlateW 번째 엔트리에서부터 i+maxPlateW번째 엔트리까지 조사하여 수직 선분의 개수가 0이 아닌 경우 과정 Vote1을 진행한다.

인덱스 k는 상기 i+minPlateW 및 i+maxPlateW번째 엔트리 사이에서 유효선분의 개수가 0이 아닌 엔트리의 i+minPlateW번째 엔트리에 대한 오프셋 정보로서 번호판 후보 이미지의 폭에 관한 것이므로 그 반이 후보 이미지의 가로 반경이며, 인덱스 i는 후보 이미지 좌측변의 가로축 좌표값이므로 이에 가로 반경값을 더한 것이 후보 이미지의 가로축 방향 중심 좌표값이 된다. 따라서 이것들을 VoteTable 자료 공간에 매핑시키기 위해 새 변량 rx, cx로 표시하면 다음과 같다.

rx = (k / 2) /S,

cx = (i + k / 2) / S

여기서, S는 상기의 축약상수이며 나눗셈 연산자 /는 결과에 소수이하를 버린 정수값을 취하므로, 예를 들어, 위식에서 S가 3일 때 k = 6, 7, 8, 9, 10, 11인 경우 모두 rx = 1의 값을 가진다.

상기의 과정에서 대상 번호판 후보 이미지 정의값 3개중 가로 방향 중심 좌표값과 가로 방향 반경이 정해지며, 나머지 세로 방향 중심좌표는 과정 Vote1을 수행하여 정한다.

도 7은 본 발명의 일 실시예에 따라 경계이미지 공간내에서 번호판 후보 이미지의 좌변 윤곽선 각 화소에 대해 우변 윤곽선 구성 화소로 간주할 수 있는 영역의 좌표값 범위인 Vote범위를 산출하는 과정을 설명하기 위한 도면이다.

도 11은 도 10에서 호출되는 Vote1 루틴의 처리 과정을 설명하기 위한 도면이다.

도 7과 도 11을 참조하면, 경계 이미지에서 좌측 i번째 스캔 라인과 우측 i+k번째 스캔 라인의 수직선분들에 대하여, 좌측 선분의 각 화소를 기준으로 우측 선분과 짝을 이루어 번호판 후보로서 가능한 사각형 이미지 영역을 판단하는 방법을 예시하기 위한 것이다. 좌측 선분의 화소들은 Vote1의 인수로서 입력받은 값 s_j, e_j에 의해 값이 정해져 있고 우측 선분은 인수 k에 의해 상기 자료 VerEdgeInfo의 i+k 엔트리를 참조함으로써 그 개수와 화소의 위치를 알 수 있다.

Vote1에서는 s_j에서부터 e_j까지 범위내의 각 화소들을 기준으로 다음과정을 반복하여 수행한다.

상기 범위내 임의 화소위치를 도 7에서 검은색으로 채워진 것으로 가정할 경우 이 화소의 수직방향 좌표 P_y를 기준으로 하여 l_bottom, l_top을 다음과 같이 계산한다.

l_bottom = P_y maxPlateH,

l_top = P_y + maxPlateH

다음으로 i+k 번째 스캔 라인의 각 수직 선분의 시작 좌표 값 r_bottom과 끝좌표 값 r_top에서 v_s, v_e를 다음과 같이 계산한다.

v_s = max(l_bottom, r_bottom),

v_e = min(l_top, r_top)

여기서, max, min 연산은 각 인자중에서 가각 큰 값과 작은 값을 되돌리는 연산자를 나타낸다. 상기 계산 결과값의 차 (v_ev_s)를 Vote범위라 하기로 하고 상기과정에서 이미 정해진 값 rx, cx를 참조하여 상기 VoteTable자료의 VoteTable[rx][cx][v_s]에서부터 VoteTable[rx][cx][v_e]값을 1 만큼 증가 시키게 된다.

Vote1 과정에서 매 화소에 대해 산출된 Vote범위에 대해 해당 VoteTable공간의 값을 누진 시키고, 이 과정을 각 스캔라인의 모든 수직선분들에 대해 반복함으로써 VoteTable공간에는 특정 영역들에 로컬 피크값을 가지는 영역이 생기게 되는데, 이 로컬 피크값은 VoteTable공간의 해당 위치에서의 번호판 후보 이미지에서 좌우측 경계선의 화소수에 비례하며 이 로컬 피크값이 위치한 y축 값이 후보이미지 중심좌표의 Y축 위치 정보를 가지게 된다.

후보영역 추출부(150)는 생성된 축약공간 테이블을 이용하여 후보 이미지 영역을 산출할 수 있다. 이렇게 후보 이미지 영역을 산출하는 과정을 도 12를 참조하여 설명한다.

도 12는 본 발명의 일 실시예에 따라 VoteTable의 내용을 참조하여 추출하고자 하는 유형의 번호판 형상비에 상응하는 이미지 영역의 좌표값과 크기값 정보를 추출하는 과정을 설명하기 위한 도면이다.

도 12를 참조하면, 실제 차량 번호판은 종류에 따라 가로, 세로의 형상비가 규격화 되어 있다. 예컨대, 가로변 520mm, 세로변 110mm인 번호판의 형상비는 520/110 = 4.727이다. 이하, 특정 타입 차량 번호판 T의 형상비를 S_T라 한다.

상기 자료 VoteTable 배열의 첫 번째 인자인 rx를 0에서 rlen까지 변화 시키고, 각각의 rx에 대하여 상기 VoteTable의 두 번째 인자 cx를 0에서 xlen까지 변화시켜 가면서, 다시 각각의 (rx, cx)쌍에 해당하는 세 번째 인자의 범위 0<= y < ylen 내에서 0인 아닌 Vote영역을 찾고, 이 Vote영역의 위치 y = cy에서 최고치 Vote값이 특정 임계치로 부여한 VerThrehold를 상회하는 경우 rx, cx를 이용하여 다음의 [수학식]을 계산한다.

[수학식]

ry = rx / S_T,

bottom = S × cy - S × ry,

top = S × cy + S × ry

여기서, bottom 및 top은 해당 Vote 영역이 S_T 타입의 차량 후보 이미지인 경우 상기 경계 이미지에서 해당 후보 이미지의 상단 가로 윤곽선과 하단 가로 윤곽선의 세로축 크기 값의 비율인 형상비이다.

상기 계산한 결과를 이용하여 상기 바이너리 경계 이미지의 세로축 Y = bottom과 Y = top 위치에서 가로축 방향의 범위 S × cx S × rx <= X <= S × cx + S × rx내에 포함된 수평 선분을 이루는 화소수를 계산하고 특정 임계치로 부여한 HorThreshold를 상회하는 경우 이 이미지 영역을 변수의 조합 및 형상 타입 T의 5변수 조합 (c_x, c_y, r_x, r_y, T)으로 특정한다.

c_x = S × cx,

c_y = (bottom + top) / 2,

r_x = S × rx,

r_y = S × ry

이 5변수 조합은 해당 이미지의 화면상 중심좌표와 가로, 세로 방향의 크기 및 후보 번호판의 타입까지 지정한다.

또한, 상기 VerEdgeInfo 테이블로부터 VoteTable을 작성하는 과정에서 인덱스 i, k의 일정 범위의 변화에 대해 축약 상수 S로 인해 동일한 cx, rx값으로 VoteTable 공간에 매핑되고, 결과적으로 추출한 정보 c_x, c_y, r_x, r_y가 해당 범위내에서 같을 것이므로 해당 인접한 범위내의 직선 선분들을 사실상 같은 직선상에 위치한 것으로 간주되어 기울어진 이미지나 저 품질의 영상에서도 이미지 추출이 가능해 진다.

도 8은 본 발명의 일 실시예에 따라 이미지에서 번호판 후보의 수평, 수직 윤곽선으로 나타날 수 있는 화소들의 위치와 이에 대해 추출되는 이미지 영역을 나타내는 도면이다.

도 8에 도시한 바와 같이, 원래 영상의 품질이 낮거나 번호판 영상이 기울어져 경계 이미지 상에 번호판의 후보 이미지의 윤곽선의 화소 배열이 점선 선분들과 같이 하나의 직선 선분으로 나타나지 않는 경우에도 인접한 선분 배열을 사실상 하나의 번호판 후보 이미지의 일부로 간주하게 된다.

따라서 본 발명은 누락됨이 없이 번호판 후보 이미지를 추출하게 되는 효과가 있다.

도 9는 본 발명의 일 실시예에 따른 차량 번호판의 이미지 영역을 검출하기 위한 방법을 나타내는 도면이다.

도 9에 도시한 바와 같이, 본 발명에 따른 차량 번호판의 이미지 영역을 검출하기 위한 장치(이하 검출 장치라고 한다)는 카메라를 통해 차량 번호판의 컬러 영상을 획득할 수 있다(S910).

다음으로, 검출 장치는 촬영한 컬러 영상을 바이너리 이미지로 변환할 수 있다(S920). 즉, 검출 장치는 촬영한 컬러 영상을 프레임 단위로 입력 받아 그레이 스케일의 흑백 영상으로 변환하고 변환된 흑백 영상을 수직, 수평 선분을 이루는 화소들에 구분가능토록 특정 값을 부여한 바이너리 경계 이미지로 변환할 수 있다.

다음으로, 검출 장치는 변환한 바이너리 경계 이미지로부터 각 수직 방향 경계 선분의 위치 정보 등을 포함하는 수직에지 정보를 생성할 수 있다(S930). 즉, 검출 장치는 수직 방향으로 적어도 3개 이상의 화소로 구성되는 수직 방향 경계 선분을 검출하고 검출한 수직방향 경계 선분의 위치 정보 등을 포함하는 수직에지 정보를 생성하게 된다.

이때, 수직에지 정보에는 바이너리 경계 이미지에서 각 수직방향 스캔라인에 대하여 X축 좌표값 및 해당 스캔라인에 포함된 직선선분의 개수, 그리고 각 수직선분들의 시작 화소와 끝화소의 Y축 좌표값을 포함한다.

다음으로, 검출 장치는 생성한 수직에지 정보를 기반으로 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 포함하는 축약공간 테이블을 생성할 수 있다(S940).

이때, 축약공간 테이블은 바이너리 경계 이미지의 가로, 세로 방향 변량 X, Y 및 후보 이미지 영역의 가로방향 반경 R에 대한 변량을 각각 축약상수 S로 나눈 크기의 변량 x, y, r로 정의하여 3차원 배열 테이블을 생성하고, 수직 에지정보의 각 엔트리 정보를 참조하여 후보 이미지의 중심좌표의 x축 값 cx와 가로 반경 cr을 산출하고 수직선분의 각 화소의 Y값에 대응하는 vote범위내의 테이블값을 1씩 누진 시켜 중심좌표 cy의 위치를 결정한다.

다음으로, 검출 장치는 상기 축약공간 테이블을 기반으로 후보 이미지 영역을 산출할 수 있다(S950). 즉, 검출 장치는 축약공간 테이블을 기반으로 후보 이미지 영역의 중심 좌표의 좌표값 즉, 가로 좌표값과 세로 좌표값, 가로 방향의 크기, 세로 방향의 크기, 및 차량 번호판의 가로 길이 대 세로 길이의 비율인 형상비가 다르게 정의된 종류를 산출하게 된다.

이상에서 설명한 바와 같이 본 발명은 여러 단계 중에서 VerEdgeInfo의 값들을 경계 이미지에서 찾아낼 때, 유효 수직선분의 최소 화소수를 3까지 지정할 수 있으며, 이로써 번호판 후보 이미지의 높이가 최소 3화소의 크기를 갖는 작은 영역의 이미지까지 추출 가능하다는 특징을 가진다. 실제로는, 번호판 후보 이미지 영역 내에 인식가능한 정도의 화소수를 가진 문자, 수자 등의 심볼이 존재해야 하므로 본 발명의 방법이 적용되는 상황에서 추출 대상의 번호판 이미지의 최소 높이 화소수는 이를 상회할 것이므로 대상 이미지를 누락됨이 없이 추출할 수 있다.

또한 본 발명은 일기, 기상의 변화로 인해 영상의 품질이 저하되어 번호판 이미지의 테두리 윤곽선이 분명하게 촬영되지 않는 경우에도 임계치 이상의 화소수만으로도 번호판 이미지 영역을 추출할 수 있다.

또한 본 발명은 각 단계에서 경계 이미지 공간의 수평, 수직선분의 각 화소 좌표 값을 참조하여 메모리 자료 공간에 단순연산으로 처리한 결과 값을 저장해 나가는 과정으로 수행되기 때문에 기타 통계적 방법에 비해 복잡한 수학식 연산이 필요하지 않아 고속 수행이 가능하다.

또한 본 발명은 VoteTable 자료 공간에 축약 상수를 도입함으로써 번호판 이미지가 기울어지거나 윤곽선이 단선이 아닌 영역도 추출할 수 있다는 특징이 있다.

도13은 본 발명에 따라 차량 번호판을 인식한 화면의 일 예(1920x1280의 카메라로 촬영한 영상)를 나타낸 도면이고, 도14는 본 발명에 따라 차량 번호판을 인식한 화면의 일 예(1280x720의 카메라로 촬영한 영상)를 나타낸 도면이다.

도13의 예시는 3개의 차선을 1920x1280 해상도의 카메라로 촬영한 영상을 처리한 것으로 화면 하단에 카메라의 해상도가 표시된다. 인식된 결과(예: 차량번호)는 화면 오른쪽 상단에 표시되며, 검출된 번호판 개수와 대표 번호판 이미지 영역 컷 1개 및 그 아래에 인식된 결과들(예: 차량번호들)을 문자열로 표시한다.

도14의 예시는 2개의 차선을 1280x720 해상도의 카메라로 촬영한 영상을 처리한 것으로 역시, 도13의 예시에서처럼, 카메라의 해상도와 인식된 결과들이 화면에 표시된다.

대체로, 1280x720정도의 영상은 대부분 제품들이 한 개의 차선 전용으로서 요구하는 카메라의 해상도(1280x980) 보다 오히려 낮은 것이며, 본 발명에 따른 인식기술은 이렇게 낮은 해상도의 환경에서 2개 차로를 인식하는 기술을 실현한 것이다.

한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110: 컬러영상 입력부
120: 영상 전처리부
130: 위치정보 생성부
140: 축약공간 테이블 생성부
150: 후보영역 추출부

Claims (16)

1. 차량 번호판을 촬영한 영상에 대한 바이너리 이미지를 입력받고 입력받은 상기 바이너리 이미지로부터 각 수직 방향 경계 선분의 위치 정보를 포함하는 수직에지 정보를 생성하는 위치정보 생성부;
   상기 수직에지 정보를 기반으로 상기 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 포함하는 축약공간 테이블을 생성하는 축약공간 테이블 생성부; 및
   상기 축약공간 테이블을 기반으로 상기 후보 이미지 영역을 산출하는 후보영역 추출부를 포함하여 구성되며,
   상기 위치정보 생성부는,
   수직 방향으로 최소 3개의 화소로 구성되는 수직 방향 경계 선분을 검출하고 검출한 상기 수직방향 경계 선분의 위치 정보를 포함하는 수직에지 정보를 생성하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 장치.
2. 삭제
3. 제1 항에 있어서,
   상기 수직에지 정보는,
   상기 수직방향 경계 선분의 위치 정보, 총 개수, 각 선분의 시작 화소 좌표값, 끝 화소 좌표값을 포함하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 장치.
4. 제1 항에 있어서,
   상기 축약공간 테이블 생성부는,
   상기 수직에지 정보를 기반으로 상기 후보 이미지 영역의 좌측 테두리의 일부 또는 전체의 수직 선분과 이에 상응하는 우측 테두리의 일부 또는 전체의 수직 선분이 존재하는지를 확인하고,
   그 확인한 결과로 좌측 테두리와 우측 테두리의 수직 선분이 존재하면 상기 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 저장하기 위하여 후보 이미지의 가로방향 중심좌표 정보의 변량 x, 세로방향 중심좌표 정보의 변량 y 및 세로 방향 반경 정보 r을 인덱스로 하는 3차원 테이블을 생성하고 생성된 상기 3차원 테이블에 상기 후보 이미지 영역의 범위정보를 산출하여 기록하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 장치.
5. 제4 항에 있어서, 상기 x, y, r은,
   축약공간 테이블 인덱스로서 각각 상기 수직에지 정보의 가로, 세로 방향 변량 X, Y 및 가로방향 반경 R을 특정 축약상수 S로 나눈 결과의 정수를 변량으로 하여, 수직 에지 정보내의 수직선분들에 대한 위치정보를 상기 축약공간 테이블로 변환하여 저장함에 있어서, 상기 S에 의해 그 범위가 결정되는 인접한 것들이 동일한 인덱스를 가지는 배열 요소에 매핑되도록 하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 장치.
6. 제4 항에 있어서,
   상기 축약공간 테이블에의 정보 기록은,
   상기 수직에지 정보에서 후보 이미지의 좌·우 테두리 수직선분 윤곽화소의 위치 정보를 변환하여 상기 축약공간 테이블의 인덱스 x, r를 결정하고, 각 화소를 기준으로 후보 이미지의 상하변 차이값을 그 범위로 하는 테이블 영역의 값을 1씩 누진시켜 기록함으로써, 테이블 내 값이 로컬 피크를 가지는 요소의 위치가 나머지 인텍스값 y 정보로 간주되고 그 피크값이 해당 후보 이미지의 수직 테두리에 포함된 화소수에 비례하게 하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 장치.
7. 제1 항에 있어서, 상기 후보영역 추출부는,
   상기 축약공간 테이블을 기반으로 테이블 내에서 임계치와 같거나 임계치보다 큰 로컬 피크값을 가지는 요소에 대하여, 해당 요소의 테이블 내 인덱스와 추출하고자 하는 번호판의 형상비를 이용하여 후보 이미지의 중심 좌표값, 가로, 세로 반경값을 산출하며,
   상기 임계치는 일종의 실험치로서, 흑백으로 변환된 영상에서 차량의 번호판을 비롯한 각 사물의 경계선이 밝은 윤곽선으로 최대한 많이 표시되도록 할 수 있는 기준 값인 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 장치.
8. 제1 항에 있어서,
   카메라를 통해 상기 차량 번호판의 컬러 영상을 획득하는 컬러영상 획득부; 및
   획득한 상기 컬러 영상을 프레임 단위로 입력 받아 그레이 스케일의 흑백 영상으로 변환하고 그 변환된 흑백 영상을 바이너리 경계 이미지로 변환하는 영상 전처리부;
   를 더 포함하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 장치.
9. 차량 번호판을 촬영한 영상에 대한 바이너리 이미지를 입력받고 입력받은 상기 바이너리 이미지로부터 각 수직 방향 경계 선분의 위치 정보를 포함하는 수직에지 정보를 생성하는 위치정보 생성단계;
   상기 수직에지 정보를 기반으로 상기 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 포함하는 축약공간 테이블을 생성하는 축약공간 테이블 생성단계; 및
   상기 축약공간 테이블을 기반으로 상기 후보 이미지 영역을 산출하는 후보영역 추출단계를 포함하여 구성되며,
   상기 위치정보 생성단계는,
   수직 방향으로 최소 3개의 화소로 구성되는 수직 방향 경계 선분을 검출하고 검출한 상기 수직방향 경계 선분의 위치 정보를 포함하는 수직에지 정보를 생성하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 방법.
10. 삭제
11. 제9 항에 있어서,
    상기 수직에지 정보는,
    상기 수직방향 경계 선분의 위치 정보, 총 개수, 각 선분의 시작 화소 좌표값, 끝 화소 좌표값을 포함하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 방법.
12. 제9 항에 있어서,
    상기 축약공간 테이블 생성단계는,
    상기 수직에지 정보를 기반으로 상기 후보 이미지 영역의 좌측 테두리의 일부 또는 전체의 수직 선분과 이에 상응하는 우측 테두리의 일부 또는 전체의 수직 선분이 존재하는지를 확인하고,
    그 확인한 결과로 좌측 테두리와 우측 테두리의 수직 선분이 존재하면 상기 차량 번호판에 대한 후보 이미지 영역의 범위를 지정하기 위한 정보를 저장하기 위하여 후보 이미지의 가로방향 중심좌표 정보의 변량 x, 세로방향 중심좌표 정보의 변량 y 및 세로 방향 반경 정보 r을 인덱스로 하는 3차원 테이블을 생성하고 생성된 상기 3차원 테이블에 상기 후보 이미지 영역의 범위정보를 산출하여 기록하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 방법.
13. 제12 항에 있어서, 상기 x, y, r은,
    축약공간 테이블 인덱스로서 각각 상기 수직에지 정보의 가로, 세로 방향 변량 X, Y 및 가로방향 반경 R을 특정 축약상수 S로 나눈 결과의 정수를 변량으로 하여, 수직 에지 정보내의 수직선분들에 대한 위치정보를 상기 축약공간 테이블로 변환하여 저장함에 있어서, 상기 S에 의해 그 범위가 결정되는 인접한 것들이 동일한 인덱스를 가지는 배열 요소에 매핑되도록 하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 방법.
14. 제12 항에 있어서,
    상기 축약공간 테이블에의 정보 기록은,
    상기 수직에지 정보에서 후보 이미지의 좌·우 테두리 수직선분 윤곽화소의 위치 정보를 변환하여 상기 축약공간 테이블의 인덱스 x, r를 결정하고, 각 화소를 기준으로 후보 이미지의 상하변 차이값을 그 범위로 하는 테이블 영역의 값을 1씩 누진시켜 기록함으로써, 테이블 내에서 값이 로컬 피크를 가지는 요소의 위치가 나머지 인텍스값 y 정보로 간주되고 그 피크값이 해당 후보 이미지의 수직 테두리에 포함된 화소수에 비례하게 하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 방법.
15. 제 9 항에 있어서, 상기 후보영역 추출단계는,
    상기 축약공간 테이블을 기반으로 테이블 내에서 임계치와 같거나 임계치보다 큰 로컬 피크값을 가지는 요소에 대하여, 해당 요소의 테이블 내 인덱스와 추출하고자 하는 번호판의 형상비를 이용하여 후보 이미지의 중심 좌표값, 가로, 세로 반경값을 산출하며,
    상기 임계치는 일종의 실험치로서, 흑백으로 변환된 영상에서 차량의 번호판을 비롯한 각 사물의 경계선이 밝은 윤곽선으로 최대한 많이 표시되도록 할 수 있는 기준 값인 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 방법.
16. 제9 항에 있어서,
    카메라를 통해 상기 차량 번호판의 컬러 영상을 획득하는 컬러영상 획득단계; 및
    획득한 상기 컬러 영상을 프레임 단위로 입력 받아 그레이 스케일의 흑백 영상으로 변환하고 그 변환된 흑백 영상을 바이너리 경계 이미지로 변환하는 영상 전처리단계;
    를 더 포함하는 것을 특징으로 하는 차량 번호판의 이미지 영역을 검출하기 위한 방법.

Images