KR101874427B1

KR101874427B1 - 차량번호 인식방법

Info

Publication number: KR101874427B1
Application number: KR1020180038645A
Authority: KR
Inventors: 이정우
Original assignee: 에스트래픽(주)
Priority date: 2018-04-03
Filing date: 2018-04-03
Publication date: 2018-07-04

Abstract

본 발명은 도로를 주행하는 차량에 대한 번호판을 인식하는 차량번호 인식방법에 관한 것으로, 주행하는 차량에 대하여 전면 카메라에 의하여 차량 전면을 기설정된 횟수만큼을 촬영하면서 촬영된 전면영상의 선명도를 판단하는 선명도 검사단계; 상기 선명도 판단검사에서 촬영된 전면영상의 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 이상인지를 판단하는 선명도 영상 숫자 판단단계; 상기 선명도 영상 숫자 판단단계에서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 이상인 경우에 번호판의 각 문자위치에 대해서 신뢰도를 평가하는 신뢰도 평가단계; 상기 신뢰도 평가단계에서 높은 신뢰도록 갖는 문자를 해당 문자위치에 진정 문자로 판단하고, 각 문자위치에 대하여 진정문자들을 조합하여 차량번호를 인식하는 번호인식단계를 포함하는 것이다.

Description

차량번호 인식방법{licence plate recognizing method}

본 발명은 순차적으로 촬영된 복수개의 차량영상으로부터 정확하고 빠르게 차량번호를 인식할 수 있도록 하는 차량번호인식방법에 관한 것이다.

차량번호인식(LPR: licence plate recognition) 장치는 차량영상으로부터 번호판 영상을 추출하고, 추출된 번호판 영상으로부터 차량번호를 인식하기 위한 장치로서 문자인식률을 높이기 위하여 다양한 연구가 이루어져 왔다.

특허등록 10-0991106호(발명의 명칭: 전후면 카메라모듈을 이용한 차량번호 인식 시스템 및 인식 방법)(‘종래기술1’이라 함)은 차량이 제1 루프 검지기를 통과한 것을 검출하여 차량 전면을 촬영하고, 차량이 제2 루프 검지기를 통과한 것을 검출하여 차량 후면을 촬영하고, 이 촬영된 전, 후면의 영상으로부터 검출된 각 글자들의 신뢰도를 비교하여 신뢰도 높은 글자를 번호판의 글자로 인식하는 구성이 개시되어 있다. 그러나 종래기술1은 전, 후면의 촬영 영상이 동일 차량에 대한 것으로 동기가 보장되어야 하지만 갠트리 내를 차량들이 연속되게 통과하는 경우 다른 차량의 전후면을 촬영하는 문제가 발생될 수 있으며, 시스템적으로 전면 영상과 후면 영상간 연결되어 처리할 수 있는 로직이 필요하며 연동하는 구성이 복잡하여, 속도가 느려지는 문제점을 갖고 있다.

또한 특허등록 10-1778605호(발명의 명칭: 차량번호판 인식방법 및 장치)(‘종래기술2’라 함)는 하나의 번호판 영상을 RGB 채널로 분리하고, 각 채널별로 영상에 대한 문자인식을 수행함으로써 정확한 번호판 인식을 수행하기 위한 구성이 개시되고 있다. 그러나 종래기술2도 오리지날 영상이 선명하지 않은 상태라면 RGB 각 채널별로 분리된 영상 또한 선명하지 않게 되기 때문에 문자인식률이 떨어질 수 밖에 없으며, 각 채널별로 촬영된 영상에 대한 문자인식이 수행되어져야 되기 때문에 촬영된 횟수에 따라서 많은 시간이 소요되게 되는 문제점이 존재한다.

또한 이와 같은 종래기술1, 2의 문자인식방법은 일방향 또는 전, 후방 차량에 대한 다수회의 촬영이 종료된 후에 문자인식이 수행되기 때문에 실시간 문자인식이 이루어지지 않게 된다.

본 발명은 이러한 종래기술들의 문제점을 감안한 것으로, 전방에서 진입차량에 대하여 연속적으로 촬영을 하고 촬영된 전면영상에 대하여 선명도를 검출하고, 선명도가 설정값 이상인 영상들을 추출하고, 선명도가 설정값 이상인 영상들의 숫자가 기설정된 값 이상인 경우에는 전방에서 촬영된 영상들에 대하여 문자인식을 수행하고, 각 문자위치에 대하여 가장 신뢰도가 높은 문자를 그 문자위치의 진정문자로 판정하고, 선명도가 설정값 이상인 영상이 기설정된 값 미만인 경우에는 진출하는 차량의 후면영상을 복수회 촬영하고 선명도가 기설정된 이상인 촬영된 추출하고 전면영상과 후면영상들 중 선명도가 높은 순으로 설정된 숫자만큼의 영상들로부터 문자인식을 수행하고 각 문자위치에 대하여 가장 신뢰도가 높은 문자를 그 문자위치의 문자로 판정함으로써 짧은 시간에 신뢰도 높은 차량번호 문자인식을 수행할 수 있도록 하기 위한 것이다.

상기 과제를 해결하기 위한 해결수단은 주행하는 차량에 대하여 전면 카메라에 의하여 차량 전면을 기설정된 횟수만큼을 촬영하면서 촬영된 전면영상의 선명도를 판단하는 선명도 검사단계; 상기 선명도 판단검사에서 촬영된 전면영상의 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 이상인지를 판단하는 선명도 영상 숫자 판단단계; 상기 선명도 영상 숫자 판단단계에서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 이상인 경우에 번호판의 각 문자위치에 대해서 신뢰도를 평가하는 신뢰도 평가단계; 상기 신뢰도 평가단계에서 가장 높은 신뢰도를 갖는 문자를 해당 문자위치에 진정 문자로 판단하고, 각 문자위치에 대하여 진정문자들을 조합하여 차향번호를 인식하는 번호인식단계를 포함하는 것이다.

또한 본 발명에서 주행하는 차량에 대하여 후면 카메라에 의하여 후면을 촬영하는 후면 영상 획득단계를 더 포함하고, 상기 선명도 영상 숫자 판단단계에서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 미만인 경우에는 전면 영상을 포함해서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값에 도달할 때까지 후면영상을 획득하는 것이 바람직하다.

또한 본 발명에서 상기 신뢰도 평가단계는 상기 전면영상과 상기 후면영상에 대하여 신뢰도를 평가하고, 상기 번호인식단계는 상기 전면영상과 후면영상 중 신뢰도가 가장 높은 문자를 그 위치에 대한 진정문자로 판단하는 것이 바람직하다.

또한 본 발명에서 주행하는 차량에 대하여 후면 카메라에 의하여 후면을 촬영하는 후면 영상 획득단계를 더 포함하고, 상기 선명도 영상 숫자 판단단계에서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 미만인 경우에 전면 영상을 포함해서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값에 도달하기 전에 후면 영상의 선명도가 기설정된 값 미만으로 떨어지게 되면, 후면 카메라에 의한 촬영을 중단하고 선명도가 기설정된 값 이상의 전면 영상과 후면 영상들 대하여 신뢰도를 평가하는 것이 바람직하다.

상기 과제와 해결수단을 갖는 본 발명에 따르면, 전면영상을 획득하는 단계에서 순차적으로 선명도를 판단하고, 선명한 영상으로부터 각 문자들에 대하여 신뢰도를 판단하여 진정문자를 선택함으로써 빠른 시간안에 정확한 문자를 인식하도록 한다.

또한 본 발명에 의하면, 전면영상들로부터 충분한 수의 선명한 영상을 취득하지 못할 때에는 보완적으로 선명한 영상을 후면 영상으로부터 취득할 수 있으므로 전면번호판이 훼손된 경우라 하여도 정확한 번호판인식을 수행할 수 있다.

또한 본 발명에 의하며, 최소한의 영상들로부터 실시간으로 영상처리를 수행하고, 문자인식을 수행함으로써 콘트롤러 내의 모듈의 부하를 경감시켜 처리속도를 빠르게 수행할 수 있도록 하여 정확한 문자인식이 이루어지도록 한다.

도 1은 본 발명의 일실시예를 설명하기 전체 구성도이다.
도 2는 본 발명의 콘트롤러의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 콘트롤러의 동작과정을 설명하는 순서도이다.
도 4는 본 발명의 문자인식과정을 설명하기 위하여 문자신뢰도를 표시한 표이다.

이하, 첨부된 도면에 따라서 본 발명의 일실시예를 상세히 설명하기로 한다. 도 1은 본 발명의 일실시예를 설명하기 전체 구성도이다.

본 발명의 차량번호인식장치(1)는 차량을 검지하기 위한 루프 검지기등으로 이루어진 검지부(2), 검지부(2)에 대하여 차량진행방향으로 전방에 설치되어 차량의 전면에 대하여 촬영하는 전면카메라(42)와, 검지부(2)에 대하여 차량진행방향으로 후방에 설치되어 차량의 후면에 대하여 촬영하는 후면카메라(41)와, 검지부(2)에 의해 감지된 차량(10)이 감지될 때 전면카메라(42)와 후면 카메라(42)를 제어하고 차량(10)의 전, 후면 영상을 전송받아 차량번호를 검출하는 컨트롤러(5)로 이루어진다.

도 2는 본 발명의 콘트롤러의 구성을 설명하기 위한 블록도이고, 도 3은 본 발명의 콘트롤러의 동작과정을 설명하는 순서도이다.

본 발명에서 콘트롤러(5)는 연결된 제어대상을 제어하고, O.S.를 담당하는 제어모듈(51)과, 촬영된 영상들의 선명도를 검사하는 선명도 검사모듈(52)과, 각각의 문자위치별로 인식된 문자들의 신뢰도를 검사하는 신뢰도검사모듈(53)과, 신뢰도 검사모듈(53)로부터 검사된 높은 신뢰도를 갖는 문자들을 조합하여 검사대상차량의 차량번호판의 진정문자들을 최종적으로 결정하는 문자인식모듈(54)로 이루어진다.

제어모듈(51)은 검지부(2)로부터 차량(10)이 검출되어 차량검출신호가 입력되면, 촬영구역을 통과하는 동안 일정 간격으로 전면 카메라(42)가 차량(10)의 전면을 촬영하도록 하고, 촬영된 순서대로 촬영 영상은 입력되어 선명도 검사모듈(52)에 입력되고, 선명도 검사모듈(52)은 입력된 영상에 선명도 검사를 실시한다. 선명도 검사는 기설정된 알고리즘에 의하여 실시된다. 이때 선명도 검사에는 다양한 알고리즘이 제시될 수 있으나, 일 예로 인간 시각은 선명도에 가장 민감하게 반응하는 점을 이용하여 JNB(Just Noticeable Blur) 기반의 블러 정도를 측정한다. 각 프레임 이미지에서의 블러 정도를 가우시안 함수의 분산값으로 정의하여 분산값에 따라 사람이 블러라고 판단할 확률을 실험적으로 구하고, 이 확률이 임계값 이상일 경우 블러되었다고 판단한다. 임계 분산값의 추정은 이미지 내 엣지의 폭을 이용한다. 즉, 엣지의 폭이 작을 경우에는 분산값을 작게 추정할 수 있고, 반대의 경우에는 분산값을 크게 추정할 수 있다. 영상 전체의 선명도 측정은 먼저 입력 프레임 이미지에서 돌출영역 검출방법(saliency detection)을 이용하여 선명한 영역을 검출하고, 블록단위로 JNB에 기반한 블러정도를 추정한 후 각 블록에서의 추정값들을 평균하여 전체 영상의 선명도를 계산한다 (한국 전자통신연구원 콘텐츠보호연구실 서용석, 임동혁, 유원영“동영상 품질 측정 시스템의 설계 및 구현”한국통신학회 2016년도 동계종합학술발표회 p1287~p1288 )(S10).

이때, 전면 카메라(42)의 촬영횟수는 촬영구역의 통과시간과 통과속도 및 카메라 성능에 의하여 결정되나, 예시적으로 촬영이 '20’회 이루어지는 것으로 설정하고, 선명도 값이 설정된 값을 초과하는 영상을 10회 이상 획득하여 이들 영상으로부터 문자인식을 수행하도록 하는 것으로 정하고, 만일 전면 카메라(42)에 의하여 촬영된 영상 중 후술되는 도 4에서와 같이 7회만 얻어지는 경우 나머지 3회를 후면 카메라(41)를 작동시켜 후면 카메라 영상으로부터 얻게 된다(S11), (S15).

전면 카메라(42)로부터 20개의 영상 중 선명도가 기설정된 값 이상인 숫자가 7 개인 경우 제어모듈(51)은 후면 카메라(41)를 작동시켜 1회 촬영하도록 하고, 선명도검사모듈(52)은 후면카메라(41)로부터 입력된 영상에 대하여 선명도 검사를 수행하여 입력된 영상이 기설정된 선명도를 이상인지를 검출하고, 전체적으로 선명도가 기설정된 값 이상의 영상을 3회를 얻을 때까지 후면 카메라(41)로 촬영을 수행한다. 만일 후면 영상의 수가 3개가 되기 전에 선명도가 기설정된 값 미만으로 떨어지게 되면 에러처리를 하게 된다(S11), (S15).

후면카메라(41)는 멀어져가는 차량(10)에 대한 촬영이므로 기설정된 값 이하로 떨어진 영상 이후의 영상은 선명도가 전 영상보다 더욱 떨어지기 마련이므로 더 이상의 촬영은 의미가 없게 된다.

보완적으로 후면 영상의 수가 3개가 되기 전에 선명도가 기설정된 값 미만으로 떨어지게 되면 선명도가 높은 후면 영상을 추가하여 문자인식을 수행할 수도 있다. 예시적으로 후면 카메라에 의하여 1개를 촬영한 후 2번째 영상부터 선명도가 낮아지게 되면 후면 영상 중 1개와 전면 영상 7개로 문자인식을 수행하도록 설정할 수 있다.

이와 같이, 전면 카메라(42)에 의하여 촬영된 영상 및 후면 카메라(41)에 의하여 촬영된 영상에 대하여 선명도가 기설정된 값 이상인 영상을 기설정된 횟수(예시적으로 10개)를 획득한 경우에는 신뢰도 검사모듈(53)은 각 문자위치별로 10개의 영상에서 각 문자의 위치별로 신로도가 높은 문자를 선택하여 그 위치에서의 진정문자로 결정한다(S13).

이와 같이 각 문자위치별 신뢰도 검사모듈에서 각 문자위치별로 진정문자가 결정되게 되면 문자인식모듈(54)은 각각의 문자위치별로 진정문자를 조합함으로써 전체 번호판의 문자를 인식하도록 한다(S14).

도 4는 본 발명의 문자인식과정을 설명하기 위하여 문자신뢰도를 표시한 표이다.

도 4에 도시된 바와 같이 전면 카메라에 의하여 20회의 영상이 획득되었으나, 선명도가 기설정된 이상인 영상은 1번 내지 7번까지로 표기되었고 선명도가 기설정된 값 이상인 영상을 10회 얻기 위하여 후면 카메라에 의하여 3회의 촬영이 이루어져 결국 8, 9, 10번의 영상을 획득하였으며, 각 문자위치별로 인식된 문자와, 문자에 대한 신뢰도 검사가 이루어져 가장 신뢰도가 높은 진정문자들인 "19로6527”로 문자인식되게 된다.

이와 같이 본 발명에서는 가능한 전면 카메라에서 문자인식이 실시간으로 이루어지도록 하며, 이 과정에서 선명도에 의하여 영상을 선별하도록 하여 정확한 문자인식이 이루어지도록 함과 동시에 선명도가 높은 영상에 대하여 신뢰도 검사를 실시하게 됨으로써 처리속도를 높이도록 함으로써 실시간으로 문자인식이 이루어지도록 한다.

41: 후면 카메라
42: 전면 카메라
50: 콘트롤러
51: 제어모듈
52: 선명도검사모듈
53: 신뢰도검사모듈
54: 문자인식모듈

Claims

도로를 주행하는 차량에 대한 번호판을 인식하는 차량번호 인식방법에 있어서:
주행하는 차량에 대하여 전면 카메라에 의하여 차량 전면을 기설정된 횟수만큼을 촬영하면서 촬영된 전면영상의 선명도를 판단하는 선명도 검사단계;
상기 선명도 판단검사에서 촬영된 전면영상의 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 이상인지를 판단하는 선명도 영상 숫자 판단단계;
상기 선명도 영상 숫자 판단단계에서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 이상인 경우에 번호판의 각 문자위치에 대해서 신뢰도를 평가하는 신뢰도 평가단계;
상기 신뢰도 평가단계에서 가장 높은 신뢰도를 갖는 문자를 해당 문자위치에 진정 문자로 판단하고, 각 문자위치에 대하여 진정문자들을 조합하여 차량번호를 인식하는 번호인식단계를 포함하는 것을 특징으로 하는 차량번호 인식방법.
청구항 1에 있어서, 주행하는 차량에 대하여 후면 카메라에 의하여 후면을 촬영하는 후면 영상 획득단계를 더 포함하고,
상기 선명도 영상 숫자 판단단계에서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 미만인 경우에는 전면 영상을 포함해서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값에 도달할 때까지 후면영상을 획득하는 것을 특징으로 하는 차량번호 인식방법.
청구항 2에 있어서, 상기 신뢰도 평가단계는 상기 전면영상과 상기 후면영상에 대하여 신뢰도를 평가하고, 상기 번호인식단계는 상기 전면영상과 후면영상 중 신뢰도가 가장 높은 문자를 그 위치에 대한 진정문자로 판단하는 것을 특징으로 하는 차량번호 인식방법.
청구항 1에 있어서, 주행하는 차량에 대하여 후면 카메라에 의하여 후면을 촬영하는 후면 영상 획득단계를 더 포함하고,
상기 선명도 영상 숫자 판단단계에서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값 미만인 경우에
전면 영상을 포함해서 선명도가 기설정된 값 이상인 영상의 숫자가 기설정된 값에 도달하기 전에 후면 영상의 선명도가 기설정된 값 미만으로 떨어지게 되면, 후면 카메라에 의한 촬영을 중단하고 선명도가 기설정된 값 이상의 전면 영상과 후면 영상들 대하여 신뢰도를 평가하는 것을 특징으로 하는 차량번호 인식방법.