KR100778390B1 - 동영상 차량 번호 인식 방법 - Google Patents

Abstract

본 발명은 차량의 동영상을 이용하여 주차장 내의 차량 번호를 인식하기 위한 방법에 관한 것으로서, 차량의 정지 영상으로부터 차량 번호 인식이 실패할 때, 차량의 동영상을 촬영하고, 촬영된 동영상의 복수 프레임에서 인식된 번호의 중복으로부터 인식율이 향상된 차량 번호를 인식하는 방법을 제공한다.

주차, 카메라, 동영상, 정지영상, 차량번호, 인식

Description

동영상 차량 번호 인식 방법{Automobile Number Recognition Method from Moving Image}

도 1은 종래 기술에 따른 차량 번호 인식 시스템의 개략적인 사시도,

도 2는 종래 기술에 따른 차량 번호 인식 방법의 순서도,

도 3은 본 발명에 따른 차량 번호 인식 시스템의 개략적인 사시도,

도 4는 본 발명에 따른 차량 번호 인식 방법의 순서도,

도 5는 차량의 번호판 동영상으로부터 차량의 진출입을 판단하는 경우의 순서도,

도 6a 및 6b는 각각 차량이 진입 및 출차하는 경우 차량 번호판 동영상의 프레임을 예시하는 도면,

도 7은 정상적으로 인식되지 않은 차량 번호판 정지 영상을 예시하는 도면, 및

도 8은 차량 번호판 동영상의 프레임을 예시하는 도면.

<도면의 부호에 대한 설명>

110: 주차면

120: 루프 코일

130: 디지털 카메라

200: 차량

본 발명은 차량의 동영상을 이용하여 주차장 내의 차량 번호를 인식하기 위한 방법에 관한 것이다.

일반적으로 특정 장소(예를 들면, 아파트 단지, 유료 주차장)의 주차장 출입 관리를 위해서 다수의 인력을 이용하여 왔다.

이러한 인력 사용에 의한 인건비를 절감하고자 등록된 차량에 한해 발급되는 주차 카드 또는 리모콘을 이용하는 방식이 사용되고 있다. 그러나, 이러한 방식은 등록되고 주차될 차량이 증가할 경우, 주차 카드 또는 리모콘의 발급에 많은 예산이 소요된다. 또한, 노상 주차장과 같이 등록된 차량만이 출입할 수 있는 주차장이 아닌 경우에 주차 카드 또는 리모콘을 발급하고 관리하는 것은 불가능하다.

이를 해결하고자, 도 1에 예시된 바와 같은, 차량 번호 인식 시스템(License Plate Recognition System, LPR)이 사용되고 있다. 도 1을 참조하면, 각각의 주차면(10) 바닥에는 루프 코일(20)이 설치되어 있고 주차면(10)의 전면에는 카메라(30)가 설치되어 있다. 주차면(10)에서 차량(40)의 입차가 루프 코일(20)에 의해 검지될 때, 카메라(30)는 차량(40)의 번호판을 촬영하고, 그 번호판 영상으로부터 주차면(10)에 입차한 차량(40)의 번호를 추출한다.

도 1에 도시된 바와 같은 시스템에서 차량 번호를 인식하는 방법을 도 2의 순서도를 참조하여 이하에서 기술한다.

차량(10)이 입차하면 주차면(10)의 바닥에 설치된 루프 코일(20)이 차량(40)의 입차를 검지한다(S10 단계). 차량(40)의 입차가 검지되면, 카메라(30)가 작동하여 전면 또는 후면으로 진입하는 차량(40)의 전방 또는 후방 번호판의 정지 영상을 촬영한다(S20 단계). 컴퓨터(미도시)는 카메라(30)에 의해 촬영된 번호판의 정지 영상으로부터 문자를 인식하고, 문자 인식율을 계산한다(S30 단계). 문자 인식이 성공한 경우(S40 단계에서 YES), 인식된 문자를 채택하고 이를 인쇄하거나 주차 관리를 위한 컴퓨터 등에 통고한다(S50 단계).

그러나, 차량 번호판의 훼손, 오염 등에 의한 차단, 강우, 강설, 안개 등의 일기 불순 등의 외부 요인, 번호판의 기울기, 그리고 햇볕 등의 조명의 영향에 의해, 정지 영상이 비정상적으로 촬영되어 문자의 부분 인식이나 미인식이 발생하고 문자 인식율은 낮게 나올 수 있다. 또한, 정상적인 촬영 환경에서도 영상 모듈의 순간적인 인식 처리 단계의 문제로 문자 인식이 정상적으로 되지 않고 부분 인식이나 미인식이 발생할 수도 있다.

이렇듯 문자 인식이 성공하지 못한 경우(S40 단계에서 NO), 주차장의 주차 관리원 등이 해당 차량(40)의 번호를 육안으로 식별하고 수동으로 주차 관리를 위한 컴퓨터 등에 입력한다(S60 단계).

한편, 주차면에 차량 번호 인식 시스템이 설치된 경우에 대하여 도 1 및 도 2를 참조하여 상술하였지만, 주차장 입구 등에 차량 번호 인식 시스템이 설치된 경우에도 상술한 방법이 유사하게 적용된다.

상술한 바와 같이, 현재의 카메라로 촬영한 정지 영상으로부터 문자를 인식하는 방법은 문자의 부분 인식 또는 미인식으로 인한 인식율의 저하의 문제가 있다. 예를 들면, 현재 경찰청의 문자 인식율의 기준은 80%이고 도로 공사의 기준은 90%로 높지 않은 상태이다. 이러한 낮은 인식율은 제품의 신뢰성을 저하시키고 다양한 현장 배치 및 운용에 문제를 유발시킨다. 또한, 문자를 인식하지 못한 경우 주차 관리원 등에 의해 수동으로 문자를 식별하여야 하므로, 인력 절감의 효과가 감소한다.

본 발명은 상술한 문제점으로부터 안출된 것으로서, 본 발명은 정지 영상으로부터 차량 번호 인식이 불량일 때 추가적으로 동영상을 촬영하고 이로부터 차량 번호를 인식하는 방법을 제공하는 것을 목적으로 한다.

그리고, 본 발명은 동영상으로부터 차량의 입차 및 출차 여부를 판단할 수 있는 방법을 제공하는 것을 추가적인 목적으로 한다.

이와 같은 본 발명의 목적은, 설정 영역 내에 차량의 진출입 여부를 판단하는 단계(S100); 설정 영역 내로 진출입하는 차량의 정지 영상을 촬영하는 단계(S200); 촬영된 정지 영상으로부터 차량 번호판의 문자 데이터 및 정지 영상 문자 인식율을 추출하는 단계(S210); 정지 영상 문자 인식율이 사전에 설정된 정지 영상 문자 인식율 경계값을 초과하는지를 판단하는 단계(S220); 정지 영상 문자 인식율이 정지 영상 문자 인식율 경계값을 초과하는 경우, 인식된 문자 데이터를 채택/출력하는 단계(S230); 정지 영상 문자 인식율이 정지 영상 문자 인식율 경계값 이하인 경우, 차량의 동영상을 촬영하는 단계(S300); 촬영된 동영상의 각각의 프레임으로부터 차량 번호판 영역을 추출하는 단계(S310); 각각의 차량 번호판 영역으로부터 문자 데이터 및 동영상 문자 인식율을 추출하는 단계(S320); 프레임 중 동영상 문자 인식율이 사전에 설정된 동영상 문자 인식율 경계값을 초과하는 프레임들을 선택하는 단계(S330); 및 프레임 선택 단계(S330)에서 선택된 프레임들로부터 추출된 문자 데이터의 각각의 문자 또는 숫자의 중복 갯수에 기초하여, 차량의 번호를 인식하고 채택/출력하는 단계(S340);를 포함하는 동영상 차량 번호 인식 방법에 의해 달성된다.

차량의 진출입 여부를 판단하는 단계(S100)는 루프 코일의 전류의 변화에 기초하거나, 또는 설정 영역의 동영상에 기초할 수 있다.

후자의 경우, 차량의 진출입 여부를 판단하는 단계(S100)는, 차량의 동영상을 촬영하는 단계(S111); 촬영된 동영상의 각각의 프레임으로부터 차량 번호판 영역을 추출하는 단계(S112); 추출된 차량 번호판 영역의 픽셀 크기를 산출하는 단계(S113); 및시간에 따라 차량 번호판 영역의 픽셀 크기가 증가하는 경우 차량이 입차하는 것으로 판단하고, 감소하는 경우 차량이 출차하는 것으로 판단하는 단계(S114);를 포함할 수 있다.

이하에서는 첨부한 도면을 참조하여 본 발명의 구성을 상세하게 기술하도록 한다.

도 3은 차량 번호 인식 시스템(License Plate Recognition System, LPR)이 설치된 주차장의 개략적인 사시도이다. 도 3을 참조하면, 차량(200)이 주차하는 주차면(110) 바닥에는 루프 코일(120)이 설치되고, 주차면(110)의 전면에는 카메라(130)가 설치되어 있다. 루프 코일(120) 및 카메라(130)는 주차 관리를 위한 제어부(미도시)에 연결된다. 제어부는 주차장을 통합하여 관리하기 위한 중앙 통제부(미도시)에 연결될 수 도 있다. 도 3은 각각의 주차면에 차량 번호 인식 시스템이 설치된 경우를 도시하고 있지만, 본 발명은 이에 제한되지 않고 주차장 입구와 같이 주차 차량을 통제할 수 있는 특정 위치에 설치된 차량 번호 인식 시스템에도 적용될 수 있다.

루프 코일(120)은 차량(200)의 유무에 따라 루프 코일(120)에 흐르는 전류의 변화로부터 차량(200)의 입차 및 출차 여부를 감지하기 위해 선택적으로 설치될 수 있다. 루프 코일(120)을 설치하는 것이 용이하지 않거나 많은 공사비가 필요한 경우 루프 코일(120)은 생략될 수 있다.

카메라(130)는 주차면(110)의 전면에 설치되어 차량(200)의 전방 또는 후방의 번호판의 정지 영상 및 동영상을 촬영한다. 후술할 바와 같이, 카메라(130)는 차량(200) 번호판의 정지 영상을 촬영하고, 정지 영상이 비정상적으로 촬영되는 경우 차량(200) 번호판의 동영상을 촬영한다.

또한, 후술할 바와 같이, 차량(200)의 입차 및 출차는 카메라(200)에 의해 감지될 수 있다. 루프 코일(120)을 설치하는 것이 용이하지 않거나 많은 공사비가 필요한 경우, 루프 코일(120)은 생략되고 카메라(200)에 의해 촬영된 영상에 의해 차량(200)의 입차 및 출차가 감지된다. 반대로, 루프 코일(120)을 설치하는 것이 용이하고 카메라(200)를 통해 입차 및 출차를 감지하는 것이 제어부(미도시)의 중앙 처리 장치(CPU)에 부담이 큰 경우, 루프 코일(120)이 설치되고 루프 코일(120)에 의해 차량의 입차 및 출차가 감지된다.

이하에서는 상술한 바와 같이 구성된 차량 번호 인식 시스템에서 차량 번호를 인식하기 위한 방법을 도 4의 순서도를 참조하여 기술한다.

우선, 설정 영역 내에 차량(200)의 진출입을 감지한다(S100 단계). 도 3에서 주차면(110)이 설정 영역으로 지정되지만, 주차장 입구 등이 설정 영역으로 지정될 수도 있다.

차량(200)의 진출입 여부는 루프 코일(120)에 의해 감지될 수 있다. 압력 센서 또는 광센서 또한 차량(200)의 진출입 여부를 감지하기 위해 사용될 수 있다.

또는, 차량(200)의 진출입 여부는 카메라(130)에 의해 감지될 수 있다. 이러한 경우, 카메라(130)는 상시 주차면(110) 등의 설정 영역의 동영상을 촬영한다. 카메라(130)에 의해 촬영된 동영상은 실시간으로 검색된다.

이하에서, 카메라(130)를 이용하여 차량(200)의 진출입을 감지하는 방법의 일예를 도 5의 순서도를 참조하여 기술한다.

우선, 설정 영역 내의 차량(200)의 동영상을 촬영한다(S111 단계). 예를 들면, 동영상은 30 프레임/초의 속도로 촬영된다. 각각의 프레임으로부터 차량 번호판 영역을 추출한다(S112 단계). 추출된 차량 번호판 영역이 프레임 내에서 차지하는 픽셀 크기를 산출한다(S113 단계).

차량이 진입하는 경우, 시간에 따라 프레임 내에서 차량(200)의 전방 또는 후방 번호판이 차지하는 픽셀 크기는 증가한다(도 6a 참조). 이러한 경우, 차량(200)이 설정 영역 내로 입차하는 것으로 판단한다. 반대로, 차량이 진출하는 경우, 시간에 따라 프레임 내에서 차량(200)의 전방 또는 후방 번호판이 차지하는 픽셀 크기는 감소한다(도 6b 참조). 이러한 경우, 차량(200)이 설정 영역에서 출차하는 것으로 판단한다(S114 단계).

한편, 빈 설정 공간에 차량(200)이 나타나는 경우, 그리고 차량(200)이 주차되어 있던 설정 공간에 차량(200)이 사라진 경우에 각각 차량(200)이 입차 및 출차되는 것으로 판단할 수도 있다.

카메라(130)에 의해 촬영된 동영상에 기초하여 차량의 입출차를 판단하는 방법은, 루프 센서(120) 등의 센서의 설치가 용이하지 않거나 공사비가 많이 요구되는 경우에 유리하다. 그러나, 이러한 방법은 제어부의 CPU에 많은 부담을 인가하므로, 루프 코일(120) 등의 센서의 설치가 용이하고 공사비가 많이 요구되지 않는 경우, 루프 코일(120) 등의 센서를 이용하는 것이 유리할 수 있다.

상술한 바와 같이, S100 단계에서 차량의 진출입이 판단될 때, 카메라(130)는 차량(200)의 정지 영상을 촬영한다(S200 단계). 제어부는 촬영된 정지 영상으로부터 차량 번호판의 문자 데이터를 추출한다. 동시에 제어부는 문자 데이터 인식 과정에서 문자 인식율을 계산한다(S210 단계). 문자 인식 방법 및 문자 인식율 계산 방법은 주지된 알고리즘을 이용하여 실행된다.

제어부는 문자 인식율이 사전에 설정된 정지 영상 문자 인식율 경계값을 초과하는지 여부를 판단한다(S220 단계). 예를 들어, 정지 영상 문자 인식율 경계값 이 90%로 설정되고 정지 영상의 문자 인식율이 95%인 경우(S220 단계에서 YES), 문자 인식율이 사전에 설정된 정지 영상 문자 인식율 경계값을 초과하였으므로, 인식된 문자 데이터는 채택/출력된다(S230 단계). 채택된 문자 데이터는 주차 관리를 위하여 사용될 것이다. 상술한 S200 단계 내지 S230 단계는 종래 기술에 따른 정지 영상을 이용한 차량 번호 인식 방법과 동일하다.

그러나, 차량 번호판의 차단, 날씨 등의 외부 요인, 번호판의 기울기, 조명의 영향, 카메라(130) 또는 제어기의 오류 등에 의해 번호판 상의 문자가 정상적으로 인식되지 않을 수 있다. 도 7은 비정상적으로 인지될 수 있는 번호판의 일예를 도시한다. 도 7의 차량의 실제 번호는 "04부 6316"이지만, 정지 영상 상의 불량 픽셀에 의해 실제 번호의 "6"은 인식되지 않을 것이다. 도 7에서 문자 인식율은 70%이다.

도 7에서와 같이 정지 문자 문자 인식율이 사전에 설정된 문자 인식율 경계값 이하인 경우(S220 단계에서 NO), S210 단계에서 인식된 문자 데이터는 채택되지 않고 무시된다.

그리고, 카메라(130)는, 일예로서 30 프레임/초의 속도로, 차량(200)의 동영상을 촬영한다(S300 단계). 제어부는 동영상의 각각의 프레임에 대하여 차량 번호판 영역을 추출하고(S310 단계), 각각의 차량 번호판 영역으로부터 문자 데이터를 인식하고 문자 인식율을 계산한다(S320 단계).

그리고, 동영상의 프레임 중에서 문자 인식율이 사전에 설정된 동영상 문자 인식율 경계값을 초과하는 프레임을 선택하고, 문자 인식율이 동영상 문자 인식율 경계값 이하인 프레임은 무시한다(S330 단계). 선택된 프레임들의 문자 데이터를 취합하여 인식된 문자 데이터의 중복 갯수에 기초하여 차량(200)의 번호를 인식하고 채택/출력한다(S340 단계). 채택된 문자 데이터는 주차 관리를 위하여 사용될 것이다.

동영상의 각각의 프레임은 데이터의 생성/전송/저장 속도에 데이터의 크기가 제한되어 정지 영상에 비해 낮은 분해능을 가진다. 또한, 30 프레임/초의 속도로 카메라(130)로부터 제어부로 전송된 동영상 데이터를 제어부가 30 프레임/초의 속도로 처리해야 하기 때문에, 동영상의 각각의 프레임으로부터 문자 데이터를 인식하는 알고리즘은 정지 영상으로부터 문자 데이터를 인식하는 알고리즘에 비해 문자 인식율이 낮은 특성을 가진다.

그리하여, 본 발명은 동영상의 낮은 문자 인식율을 감안하여 동영상 문자 인식율 경계값을 정지 영상 문자 인식율 경계값에 비해 낮게 설정하고, 대신에 인식된 복수의 문자 데이터를 서로 비교하여 실제 번호를 추출하는 방식을 이용한다.

도 8은 카메라(130)에 의해 촬영된 동영상의 프레임들의 예를 도시한다. 도 8에서 차량의 실제 번호는 "04부6316"이다. 도 8a에서 차량의 번호는 "04XX6316"(X는 미인식된 문자를 표시)으로 인식되고 문자 인식율은 78%이다. 도 8b에서 차량의 번호는 "04부6316"으로 인식되고 문자 인식율은 92%이다. 도 8c에서 차량의 번호는 "04부6316"으로 인식되고 문자 인식율은 95%이다. 도 8d에서 차량의 번호는 "04XXX316"으로 인식되고 문자 인식율은 70%이다. 그리고, 도 8e에서 차량의 번호는 "04XX6316"으로 인식되고 문자 인식율은 73%이다.

도 8에 도시된 예에서 동영상 문자 인식율 경계값은 85%로 설정한다. 문자 인식율이 85% 이하인 도 8a, 8d, 8e 등에서 인식된 문자 데이터는 무시하고, 문자 인식율이 85%를 초과한 도 8b, 8c 등에서 인식된 문자 데이터만을 취합한다.

취합된 문자 데이터에서 각각의 문자/숫자의 중복 갯수를 센다. 문자/숫자의 중복 갯수가 소정의 중복 갯수 이상인 경우, 그 문자/숫자는 확정된다. 소정의 갯수는 차량 번호판에서 문자/숫자의 크기에 따라 결정된다. 번호판에서 문자/숫자의 크기가 작은 경우 결과값을 얻기 위한 중복 갯수는 크고, 크기가 큰 경우 중복 갯수는 작다. 이러한 소정의 중복 갯수는 경험에 의해 선택되고 수시로 변경 가능하다. 도 8의 예에서, 크기가 작은 "04" 및 "부"는 15장 이상의 프레임에서 중복되면 채택되고, 크기가 큰 "6316"은 5장 이상의 프레임에서 중복되면 채택된다.

각각의 주차면에 차량 번호 인식 시스템(LPR)이 설치된 경우에 대하여 상술되었지만, 본 발명은 이에 제한되지 않고 주차장 입구에 차량 번호 인식 시스템이 설치된 경우에도 적용될 수 있다.

자동차 번호가 "04부6316"과 같이 "숫자2-문자1-숫자4"으로 구성된 경우에 대하여 상술하였지만, 본 발명은 이에 제한되지 않고 "서울32나2833"과 같이 "문자2-숫자2-문자1-숫자4"으로 구성된 경우에도 적용될 수 있다. 또한, 해당 국가의 교통 관련 법체계에 따른 다른 차량 번호의 기입 형식에도 적용될 수 있다.

본 발명에 따른 동영상을 이용한 차량 번호 인식 방법은 정지 영상만에 의한 차량 번호 인식에 비하여 차량 번호 인식율을 획기적으로 향상시킬 수 있다. 그리 하여 별도의 부가적인 차량 번호 인식 방법없이 카메라에 의해 촬영된 정지 영상 및 동영상으로부터 차량의 번호를 인식하는 것이 가능하다. 이러한 방식은 종래의 주차 카드 방식 또는 리모콘 방식을 대체할 수 있을 것이다.

또한, 본 발명은 동영상으로부터 차량의 입차 및 출차 여부를 판단할 수 있는 방법을 제공한다. 그리하여 루프 코일 또는 센서 등과 같은 별도의 장비 없이도 차량의 입차 및 출차를 판단할 수 있다.

비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되었지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허청구범위에 속함은 자명하다.

Claims (4)

1. 설정 영역 내에 차량의 진출입 여부를 판단하는 단계(S100);

   상기 설정 영역 내로 진출입하는 차량의 정지 영상을 촬영하는 단계(S200);

   상기 촬영된 정지 영상으로부터 차량 번호판의 문자 데이터 및 정지 영상 문자 인식율을 추출하는 단계(S210);

   상기 정지 영상 문자 인식율이 사전에 설정된 정지 영상 문자 인식율 경계값을 초과하는지를 판단하는 단계(S220);

   상기 정지 영상 문자 인식율이 상기 정지 영상 문자 인식율 경계값을 초과하는 경우, 인식된 문자 데이터를 채택/출력하는 단계(S230);

   상기 정지 영상 문자 인식율이 상기 정지 영상 문자 인식율 경계값 이하인 경우, 상기 차량의 동영상을 촬영하는 단계(S300);

   상기 촬영된 동영상의 각각의 프레임으로부터 차량 번호판 영역을 추출하는 단계(S310);

   각각의 차량 번호판 영역으로부터 문자 데이터 및 동영상 문자 인식율을 추출하는 단계(S320);

   상기 프레임 중 상기 동영상 문자 인식율이 사전에 설정된 동영상 문자 인식율 경계값을 초과하는 프레임들을 선택하는 단계(S330); 및

   상기 프레임 선택 단계(S330)에서 선택된 프레임들로부터 추출된 문자 데이터의 각각의 문자 또는 숫자의 중복 갯수에 기초하여, 상기 차량의 번호를 인식하 고 채택/출력하는 단계(S340);를 포함하는 것을 특징으로 하는 동영상 차량 번호 인식 방법.
2. 제 1 항에 있어서,

   상기 차량의 진출입 여부를 판단하는 단계(S100)는 루프 코일의 전류의 변화에 기초하는 것을 특징으로 하는 동영상 차량 번호 인식 방법.
3. 제 1 항에 있어서,

   상기 차량의 진출입 여부를 판단하는 단계(S100)는 상기 설정 영역의 동영상에 기초하는 것을 특징으로 하는 동영상 차량 번호 인식 방법.
4. 제 3 항에 있어서,

   상기 차량의 진출입 여부를 판단하는 단계(S100)는,

   상기 차량의 동영상을 촬영하는 단계(S111);

   상기 촬영된 동영상의 각각의 프레임으로부터 차량 번호판 영역을 추출하는 단계(S112);

   상기 추출된 차량 번호판 영역의 픽셀 크기를 산출하는 단계(S113); 및

   시간에 따라 상기 차량 번호판 영역의 픽셀 크기가 증가하는 경우 상기 차량이 입차하는 것으로 판단하고, 감소하는 경우 상기 차량이 출차하는 것으로 판단하는 단계(S114);를 포함하는 것을 특징으로 하는 동영상 차량 번호 인식 방법.

Images