KR101565978B1 - 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법 - Google Patents

Abstract

본 발명은 차량단속 및 방범 기능의 다목적 CCTV시스템에서 적어도 2M 픽셀의 해상도의 원거리 캡처 영상으로 복수의 차량번호를 인식하고, 위반된 차량의 증거사진을 3장 이상 동시에 추출하는 방법에 관한 것이다.

Description

원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법{Method of identifying vehicle number and extracting photographic evidences using long distance captured image}

본 발명은 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 추출하는 방법에 관한 것으로서, 상세하게는 차량단속 및 방범 기능의 다목적 CCTV시스템에서 적어도 2M 픽셀의 해상도의 원거리 캡처 영상으로 복수의 차량번호를 인식하고, 위반된 차량의 증거사진을 3장 이상 동시에 추출하는 방법에 관한 것이다.

종래의 불법주정차 단속방식은 번호판 사진, 차량 전경 사진 및 주위 배경 사진 등 채증 영상을 확보하기 위하여, 번호판 인식용 근거리 카메라와 채증 영상용 원거리 카메라 등 2대 이상의 카메라를 사용하여 촬영하거나, PTZ 카메라를 사용하여 줌인(zoom-in) 구동을 하여 번호판을 인식하고, 줌아웃(zoom-out) 구동하여 채증 영상을 확보하는 방법을 사용하였다.

특히, 도 1과 같이 이동식 단속 카메라의 경우, 번호판 인식은 근거리 확대 이동방식을 사용하여 한 번에 한 대의 차량번호밖에 인식하지 못한다. 주정차 위반으로 판단하여 증거자료를 추출하려면, 초기 단속사진을 3번 촬영하고, 확정 단속사진을 3번 촬영해야 하므로 총 6번의 카메라 PTZ 구동이 반드시 필요하다.

PTZ 카메라를 사용한 이동식 단속은 차량의 유무와 상관없이 지속적으로 근거리를 확대하여 순회해야 하기 때문에, 단속 범위가 좁아 주차나 정차의 위치가 조금만 벗어나도 단속이 안 되는 문제점이 있다.

또한, PTZ 구동은 단속하는데 시간도 많이 걸릴 뿐 아니라, 과도한 구동으로 잦은 고장이 발생할 수 있어 카메라의 수명을 단축시키고, 단속범위가 좁아 단속된 차량과 단속 안 된 차량과의 형평성 불만 등 민원이 발생한다.

종래의 기술로서 특허문헌 1은 영상검지 기법을 이용한 불법 주/정차 무인단속 시스템을 개시하고 있으나, 2대의 전후방 카메라를 사용하고, 번호판 인식을 위하여 PTZ 구동으로 확대 촬영하는 등 종래의 문제점을 그대로 가지고 있다.

1. 한국공개특허 제10-2006-0033752호

상기의 문제점을 해결하기 위하여 본 발명은 복수의 카메라나 카메라를 기계적으로 구동하지 않고, 소프트웨어적으로 한 번의 캡처영상으로 번호인식과 증거사진을 동시에 추출하는 방법을 제공하고자 한다.

상기의 해결하고자 하는 과제를 위한 본 발명에 따른 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법은, 로컬서버에서 단속영역을 원거리에서 전체적으로 촬영할 수 있도록 디지털 IP카메라를 제어하여 원거리 촬영 모드로 설정하고, 상기 디지털 IP카메라가 원거리 촬영 모드에서 촬영한 영상을 로컬서버로 전송하면 로컬서버는 번호인식 서버로 전송하고, 상기 번호인식 서버는 전송받은 원거리 고해상도 이미지 영상을 멀티 섹터 분리하고, 분할된 섹터의 각 크기를 정규화하여 차량번호를 추출하는 것을 특징으로 한다.

상기의 고해상도 이미지는 적어도 2M 픽셀이고, 하나의 단속 대상 차량에 대하여, 차량의 번호판 사진, 차량의 전경 사진 및 배경 사진을 동시에 추출하여 증거자료로 활용하는 것을 특징으로 한다.

상기 차량의 번호판 사진은 번호판의 가로길이의 2배로 설정하고, 전경 사진은 차량 이미지의 2배로 설정하고, 배경사진은 원본 이미지로 설정한다.

상기 번호인식 서버는 멀티코어 CPU를 가지고, 섹터별로 영상처리를 한다.

멀티 섹터로 분리하는 단계에서는 경계부분에서 추출 객체가 유실되지 않도록 중첩 분리하는 것을 특징으로 한다.

크기 정규화 단계에서는 촬영 높이와 틸팅 각도로부터 촬영 거리를 계산하여, 촬영 거리에 따른 비율로 멀리 있는 객체는 확대하고 가까이 있는 객체는 축소하여 각 섹터의 크기를 정규화하는 것을 특징으로 한다.

크기 정규화 단계에서는 섹터 분리된 영상의 픽셀수가 소정의 규격보다 적으면 양선형 보간법(bilinear interpolation)를 통해 원영상의 픽셀수보다 많게 픽셀들을 생성하고, 섹터 분리된 영상의 픽셀수가 소정의 규격보다 많으면 재표본추출(resampling) 기법을 적용하여 일부 픽셀만을 추출함으로써 픽셀수를 조절하는 것을 특징으로 한다.

크기 정규화 단계 이후에, 원본 좌표와 분리된 섹터의 이미지 좌표를 매핑하여 중복된 이미지를 제거하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에 따른 번호인식과 동시에 증거자료 추출 방법은 종래의 복수의 카메라를 사용하거나 기계적 구동을 사용하지 않고, 소프트웨어적으로 처리하기 때문에 번호인식과 동시에 3장 이상의 증거자료를 동시에 추출하여 간편하다.

또한, 기계적인 카메라 구동을 하루 평균 1/10로 감소시켜 카메라의 고장율을 1/70로 줄일 수 있어 유지보수비용을 1/2로 절약할 수 있고 카메라의 수명을 연장할 수 있으며, 단속시간이 짧아 단속율을 2배이상 높일 수 있어 효과적인 불법주정차 단속을 할 수 있다.

또한, 한 번의 캡처영상으로 복수의 번호판을 인식할 수 있어 단속범위를 확대할 수 있고, 형평성을 유지할 수 있어 민원 발생 소지가 줄어든다.

또한, 본 발명에 따른 번호인식과 동시에 증거자료 추출 방법은 불법주정차 단속뿐만 아니라, 수배차량, 불법 쓰레기 투기, 방범 및 주차 관제시스템 등 다목적으로 활용할 수 있다.

도 1은 종래기술에 의한 단속 방법.
도 2는 본 발명에 따른 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 시스템 구성도.
도 3은 본 발명에 따른 불법주차 단속의 흐름도.
도 4는 하나의 원거리 캡처 영상을 중첩 분리하는 개념도.
도 5는 하나의 원거리 캡처 영상을 중첩 분리한 실시예.
도 6은 크기 정규화를 위한 양선형 보간법의 실시예.
도 7은 크기 정규화 단계에서 촬영 거리를 계산하는 방법.
도 8은 크기 정규화를 거친 실시예.
도 9는 본 발명에 따른 증거사진 추출 실시예를 보여주는 사진.

이하 본 발명의 실시를 위한 구체적인 실시예를 도면을 참고하여 설명한다. 본 발명의 실시예는 하나의 발명을 설명하기 위한 것으로서 권리범위는 예시된 실시예에 한정되지 아니하고, 예시된 도면은 발명의 명확성을 위하여 핵심적인 내용만 확대 도시하고 부수적인 것을 생략하였으므로 도면에 한정하여 해석하여서는 아니 된다.

도 2는 본 발명에 따른 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 시스템 구성도로서, 적어도 2M 픽셀의 영상을 촬영하는 카메라, 로컬서버 및 운영단말, 데이터베이스 서버 및 번호인식 서버를 포함하여 구성된다.

상기 카메라는 디지털 카메라로 한 프레임에 적어도 2M 픽셀의 화소를 가지고 있어 확대하여도 충분히 번호판을 인식할 수 있고, 네트워크로 연결되어 IP를 가지고 있어 원격으로 제어할 수 있다.

상기 IP카메라는 고정형 CCTV, 이동형 CCTV, 방범용 CCTV, 불법쓰레기 투기나 주차관제 등 다목적 CCTV에 유선 또는 무선으로 연결하여 설치할 수 있다.

상기 로컬서버는 카메라로부터 영상데이터를 전송받아 데이터베이스 서버에 저장한다. 또한 로컬서버의 운영단말은 로컬서버를 통하여 IP카메라를 제어하고 단속 통지서를 발행할 수 있다.

상기 데이터베이스 서버는 카메라가 촬영한 영상데이터, 차량정보 및 단속정보 및 이들을 통계 처리한 결과를 저장하고, 단속 및 정보 처리에 활용한다.

상기 번호인식 서버는 영상데이터를 영상처리하여 번호인식을 하고 증거사진을 추출한다. 번호인식 서버는 동시에 멀티 프로세싱을 하기 위하여 복수의 코어를 가진 멀티코어 CPU를 채택한다. 멀티코어는 통상 12개 정도이나 분할 섹터 수에 대응한 코어가 적당하다. 본 발명에서는 하나의 캡처 영상을 9개로 분할하나 이에 한정하지는 않는다.

상기 로컬서버와 데이터베이스 서버 및 번호인식 서버는 유선 또는 무선 인터넷으로 연결된다.

도 3은 본 발명에 따른 불법주차 단속의 흐름도를 보여준다.

로컬서버에서 단속영역을 원거리에서 전체적으로 촬영할 수 있도록 디지털 IP카메라를 제어하여 원거리 촬영 모드로 설정한다.

디지털 카메라가 원거리 촬영 모드에서 촬영한 영상을 로컬서버로 전송하면 로컬서버는 번호인식 서버로 전송한다. 이때 촬영한 영상은 적어도 2M 픽셀이상의 고해상도 이미지이다.

번호인식 서버에서는 전송받은 고해상도 이미지 영상을 영상처리 분석을 하여 복수의 번호판을 인식하고 불법주정차로 판단되면 적어도 3장 이상의 증거사진을 추출한다.

영상처리 분석은 다음과 같은 과정을 거친다.

하나의 캡처 영상에서 복수의 번호판을 인식하기 위한 멀티프로세싱은 1)멀티 섹터 분리 단계 2) 크기 정규화 단계 3)차량번호 추출 단계 4) 중복 제거 단계 5) 증거사진 추출 단계를 포함한다.

도 4는 하나의 원거리 캡처 영상을 멀티 섹터로 중첩 분리하는 개념도로서, 경계부분에서 추출 객체가 유실되지 않도록 중첩 분리하는 것이 특징이다. 섹터는 차량 크기를 기준으로 전후좌우로 마진을 가지고 중첩을 한다. 도 5는 하나의 원거리 캡처 영상을 중첩 분리한 실시예를 보여 준다.

도 6은 크기 정규화를 위한 양선형 보간법에서 사용한 양선형 보간법을 보여준다. 원영상의 원시화소가 A(0,0), B(0,1), C(1,0), D(1,1)일 때 X축의 보간율(a)과 수학식 1을 사용하여 X축 보간 화소 E(0,1), F(2,1)을 정하고, Y축의 보간율(b)과 수학식 2를 사용하여 최종 보간 화소 X(1,1)을 결정한다.

크기의 축소 시에는 보간율 a, b를 음의 값으로 사용하거나, 재표본추출(resampling) 기법을 적용할 수 있고, 필터를 사용하여 인접 픽셀을 제거할 수 있다.

도 7은 크기 정규화 단계에서 촬영 거리를 계산하는 방법을 보여준다. 멀티 섹터들은 객체 추출과 번호인식에 적합한 동일 수준의 크기로 정규화 하기 위하여 촬영 거리를 계산한다. 촬영 거리(d)는 카메라의 촬영 높이(h)와 카메라의 틸트 각도(θ)를 이용하여 수학식 3으로 계산한다. 여기서 α는 보정계수로 오르막 또는 내리막과 같이 원근의 차이가 있을 때 사용한다. 정규화 크기 설정은 촬영 거리에 따른 비율로 각 섹터의 크기를 정규화 한다.

촬영 거리 비율에 의하여 멀리 있는 객체는 크게 확대되며, 가까이 있는 객체는 작게 축소된다.

또 다른 방법으로는 이미지 보정기술로서, 섹터 분리된 영상의 픽셀수가 소정의 규격보다 적으면 양선형 보간법(bilinear interpolation)를 통해 원영상의 픽셀수보다 많은 픽셀들을 생성하고, 섹터 분리된 영상의 픽셀수가 소정의 규격보다 많으면 재표본추출(resampling) 기법을 적용하여 일부 픽셀만을 추출함으로써 픽셀수를 조절한다.

번호판 인식에 있어서 종래에는 최소 120 픽셀을 사용하였으나, 본원 발명은 위와 같은 이미지 보정기술을 사용하여 80 픽셀로도 번호인식이 가능하다.

크기 정규화된 이미지를 패턴인식 알고리즘을 사용하여 차량번호를 추출한다.

패턴인식 알고리즘은 차체, 헤드라이트, 범퍼의 패턴 또는 4자리 연속 숫자열 패턴과 같은 차종을 식별할 수 있는 차량 패턴이 데이터베이스화된 차량 패턴 데이터로부터 섹터 분리된 데이터와 패턴 비교를 하여 차량 여부를 식별한다.

또는 저장된 차량 패턴 데이터와 비교하여 번호판 부착위치에서 4자리의 연속된 숫자와 일치하는 패턴으로 인식되면 차량으로 식별한다. 기저장된 배경영상과 전송받은 영상의 차분(difference) 영상을 추출한 후에 차량 패턴 데이터와 비교함으로써 인식 속도를 개선시킬 수 있다.

원본 영상은 노이즈 제거 및 색대비(contrast) 불량 제거를 위하여 영상 전처리(pre-processing)를 수행할 수 있다.

영상 전처리 기법은 메디안 필터링(median filtering) 기법, 히스토그램 등화(histogram equalization) 및 모폴로지(morphology) 처리 기법을 사용한다.

메디안 필터링(median filtering) 기법은 영상의 노이즈를 감소시키기 위한 비선형 필터링 방식을 적용하여, N개의 데이터가 주어지는 경우, 전체 N개의 데이터에서 최소값이나 최대값을 찾은 후, 남은 데이터로부터 다시 최소값이나 최대값을 찾고, 하나씩 배제함으로써 중간값을 찾는다. N이 홀수이면 평균 필터는 N에 비례한 연산이 필요하며, 메디안 필터는 N²에 비례하는 연산을 수행한다. 메디안 필터링은 출력에 잡음의 영향을 감소시킬 수 있고 선명도가 개선된다. 필요에 따라 메디안 필터링 단계를 생략하고 평균 필터(mean filter)를 적용할 수 있다.

히스토그램 등화 기법은 등화 이후에 등화 전과 비교하여 확산된 분포를 가진 히스토그램을 생성하고, 생성된 히스토그램을 이용하여 변환함수를 얻고, 변환함수를 이용하여 등화 전 영상의 명도의 동적 영역을 재조절함으로써 영상의 명도를 개선시킨다. 히스토그램 알고리즘에서는 빈번히 발생하는 최저 비트값을 할당하고 빈도수의 크기가 적어짐에 따라 좀 더 큰 비트값을 할당하여 영상값을 분석한다.

차량의 영상은 왜곡될 수 있으므로 차량의 번호판을 정확하게 인식하기 위해서 DoG(difference of gaussians) 필터를 이용하여 에지기반 이미지를 생성한다. DoG 필터링 기법은 흐릿한 2개의 영상들 중 덜 흐릿한 영상에서 나머지 영상을 감산하여 영상 이미지를 향상시킨다. 흐릿한 2개의 영상들은 카메라로부터 출력된 차량의 그레이 스케일 이미지와 서로 다른 표준편차들을 가지는 가우시안 커널들(Gaussian kernels)을 컨볼루션(convolution)함으로써 얻어진다. 예컨대, 상기 그레이스케일 이미지와 표준편차 '1'을 가지는 가우시안 커널들을 컨볼루션하여 하나의 영상이 얻어지고, 상기 그레이스케일 이미지와 표준편차 '2'를 가지는 가우시안 커널들을 컨볼루션하여 다른 하나의 영상이 얻어진다.

원영상과 전처리된 영상을 입력받아 영상 이진화 작업을 한다. 영상 이진화를 위해서는 영상평균, 분산값으로 가우시안 분포를 산출하여 임계치를 정한다.

이진화 작업을 마치면, 복수의 이진화된 영상에 대해 4방향(상하좌우) 연결 체인코딩(chain coding) 기법에 의해서 지역경계(region boundary) 작업을 수행한다. 지역경계 작업에 의해 사각형 객체(object rectangle)값이 생성된다.

사각형 객체값이 생성되면 차량번호판 규격에 따른 제한조건 즉, 숫자 높이비율, 간격거리 등에 의해서 매칭작업을 한다. 매칭작업에 의해서 번호판과 유사한 지역후보들이 생성된다.

번호판 후보영역들이 생성되면 매칭 점수(matching score)식으로 점수를 계산해서 목표치에 가장 접근된 번호판 후보영역을 최종 단일 번호판영역으로 추출한다.

만약 추출된 단일 번호판영역이 기울어져 있으면 상하(up/down) 또는 좌우(left/ right) 전단(shearing)작업을 통하여 번호판영역위치를 보정한다.

번호판 세분화(segmentation) 단계에서는 구번호판과 신번호판을 구분해서 큰 숫자, 작은 숫자, 한글 부분 영역을 구분한다. 예컨대, 번호판의 종류는 구형일 경우, '대구 47 허 8815', 신형인 경우에 '28노 4987' 등이며, 자가용 등의 최신형에는 지역 명칭이 없고, 운수 사업용 최신형의 경우에는 지역명칭이 있다.

구분된 각 데이터에 대해 인식엔진에 의해 번호판 데이터를 인식한다. 인식엔진은 신경망학습기법 또는 패턴인식 기법을 사용한다. 예를 들면 번호판 종류에 따른 문자수, 문자크기, 문자종류 등을 예상하고, 신경망과 패턴 인식기술 등을 이용하여 4자리 숫자의 일련번호(예, 28 노 4987에서 '4987'), 2자리 숫자의 차종 코드(예, 28 노 4987에서 28'), 1자리 용도 코드(예, 28 노 4987에서 '노')에 해당하는 문자들을 인식해 내고, 지역 명에 해당되는 문자가 있는 경우, 해당 지역명 문자를 인식할 수 있다. 이로써, 본 발명은 고가의 번호인식카메라를 추가하지 않고도 번호판 인식 알고리즘에 의해 영상 처리 데이터량은 감소시켜 속도를 개선하고 화질 개선 기법들을 적용하여 번호 인식 정확성을 높일 수 있으며, 멀티프로세싱 기법으로 복수의 번호판을 인식할 수 있다.

객체 유실을 방지하기 위하여 원본 이미지를 중첩 분할하였기 때문에 섹터 경계 분분에서 동일한 중복 객체가 출현할 수 있으므로 좌표 매핑을 통하여 이미지 중복을 제거한다.

도 9는 본 발명에 따른 증거사진 추출 실시예를 보여주는 사진으로서, 단속 대상 차량의 번호가 추출되면 원본영상을 가지고 차량의 번호판 사진(근거리), 차량의 전경 사진(중거리) 및 배경 사진(원거리) 등을 동시에 추출하여 과태료 증거자료로 활용한다. 차량의 번호판 사진은 번호판의 가로길이의 2배로 설정하고, 전경 사진은 차량 이미지의 2배로 계산하고, 배경사진은 원본 이미지를 사용한다.

단속 대상 차량의 범죄관련 유무, 세금채납 유무, 불법주정차 유무를 동시에 판단하여, 해당업무에 따라 유.무선 네트워크 및 경찰망을 통하여 위치정보에 따라 가장 인접한 경찰서 및 인근 순찰차, 주행형 주정차 단속차량을 통한 차량 번호판영치, 불법주정차 고지서 발행 등의 복합 업무를 통합하여 수행할 수 있다.

또한, 차량 번호, 차량의 위치, 촬영된 시간 및 날짜의 데이터를 통계 처리하여 해당 차량의 이동 경로를 파악하여 차량과 관련 각종 사건 사고의 추론적 근거로 활용할 수 있다.

Claims (9)

1. 로컬서버에서 단속영역을 원거리에서 전체적으로 촬영할 수 있도록 하나의 고정형 디지털 IP카메라를 제어하여 원거리 촬영 모드로 설정하고,
   상기 디지털 IP카메라가 원거리 촬영 모드에서 촬영한 영상을 로컬서버로 전송하면 로컬서버는 번호인식 서버로 전송하고,
   상기 번호인식 서버는 전송받은 적어도 2M 픽셀의 원거리 고해상도 이미지 영상을 멀티 섹터로 중첩 분리하고,
   분할된 각 섹터에서 멀리 있는 객체는 크게 확대하고 가까이 있는 객체는 축소하여 이미지 크기를 정규화하여 차량번호를 추출하되,
   복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법.
2. 삭제
3. 제1항에 있어서,
   하나의 단속 대상 차량에 대하여, 차량의 번호판 사진, 차량의 전경 사진 및 배경 사진을 동시에 추출하여 증거자료로 활용하는 것을 특징으로 하는, 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법.
4. 제3항에 있어서,
   상기 차량의 번호판 사진은 번호판의 가로길이의 2배로 설정하고, 전경 사진은 차량 이미지의 2배로 설정하고, 배경사진은 원본 이미지로 설정하여, 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법.
5. 제1항에 있어서,
   상기 번호인식 서버는 멀티코어 CPU로서 섹터별로 코어가 처리하는 것을 특징으로 하는, 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법.
6. 제1항에 있어서,
   멀티 섹터로 분리하는 단계에서는, 경계부분에서 추출 객체가 유실되지 않도록 중첩 분리하는 것을 특징으로 하는, 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법.
7. 제1항에 있어서,
   크기 정규화 단계에서는, 촬영 높이와 틸팅 각도로부터 촬영 거리를 계산하여, 촬영 거리에 따른 비율로 멀리 있는 객체는 확대하고 가까이 있는 객체는 축소하여 각 섹터의 크기를 정규화하는 것을 특징으로 하는, 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법.
8. 제1항에 있어서,
   크기 정규화 단계에서는, 섹터 분리된 영상의 픽셀수가 소정의 규격보다 적으면 양선형 보간법(bilinear interpolation)를 통해 원영상의 픽셀수보다 많게 픽셀들을 생성하고, 섹터 분리된 영상의 픽셀수가 소정의 규격보다 많으면 재표본추출(resampling) 기법을 적용하여 일부 픽셀만을 추출함으로써 픽셀수를 조절하는 것을 특징으로 하는, 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법.
9. 제1항에 있어서,
   크기 정규화 단계 이후에, 원본 좌표와 분리된 섹터의 이미지 좌표를 매핑하여 중복된 이미지를 제거하는 단계를 더 포함하는 것을 특징으로 하는, 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법.

Images