KR20210014937A

KR20210014937A - 고속도로 요금 과금을 위한 영상 처리 시스템 및 그 방법

Info

Publication number: KR20210014937A
Application number: KR1020190093036A
Authority: KR
Inventors: 황준현; 김태균; 원영하
Original assignee: 주식회사 크래비스
Priority date: 2019-07-31
Filing date: 2019-07-31
Publication date: 2021-02-10
Also published as: KR102304802B1

Abstract

고속도로 진입 및 진출 차량의 과금을 위해 번호판을 인식하는 개선된 영상 처리 기술이 개시된다. 번호판 영상에서 자리 별로 글자 단위로 문자를 인식하되, 인식에 실패한 글자는 저장된 과거 번호판 인식 결과를 참조하여 인식한다. 여전히 인식에 실패한 글자는 네트워크를 통해 타 정보처리장치로부터 수신한 유사 번호판 영상을 참조하여 인식을 시도할 수 있다.

Description

고속도로 요금 과금을 위한 영상 처리 시스템 및 그 방법{Image Processing Method for Highway Toll Calculation and System for the same}

영상 처리 기술, 특히 고속도로 진입 및 진출 차량의 과금을 위해 번호판을 인식하는 개선된 영상 처리 기술이 개시된다.

고속도로 톨게이트에서 무선 통신을 이용한 과금이 행해지고 있지만, 특별한 단말기나 결제 수단을 구비하지 않은 차량의 과금을 위해 인력이 여전히 투입되고 있다. 카메라를 이용하여 고속도로에 진입하는 차량과 진출하는 차량을 인식하여 후불로 청구하는 시스템의 개발이 진행되고 있으나, 97~98% 수준의 인식률에 머물러 있다. 2~3%의 인식 실패율을 금전적으로 환산하면 엄청난 금액이 되기 때문에 카메라를 이용한 과금이 아직 적용되지 못하고 있다.

출원인은 이러한 문제를 해결하기 위해 다양한 영상 인식 기술을 시도하였다. 그러한 과정에서 주로 악천후이거나 태양이 카메라와 차량 번호판에 대해 특정한 위치에 있을 때, 즉 특정한 시간대에 일어난다는 사실을 알게 되었다. 악천후가 장시간 지속되는 경우는 드물고 태양의 위치는 하루 중에 계속 변하므로 진입시 인식에 실패한 경우에 진출시에도 실패하는 경우는 극히 드물다. 반대로 진출시 인식에 실패한 경우에는 진입시에는 성공하였을 가능성이 높다. 또 전체 번호판의 문자 중 3자 이상이 인식 실패로 되는 경우는 드물고 대부분의 경우는 1, 2 글자의 정인식 확률이 기준치 미달로 된다는 사실도 알게 되었다.

제안된 발명은 카메라를 이용하여 차량의 고속도로 입출 정보를 제공하는 과금 시스템에서 정인식률을 한층 더 높이는 것을 목적으로 한다.

제안된 발명의 일 양상에 따르면, 번호판 영상에서 자리 별로 글자 단위로 문자를 인식하되, 인식에 실패한 글자는 저장된 과거 번호판 인식 결과를 참조하여 인식한다.

추가적인 양상에 따르면, 여전히 인식에 실패한 글자는 네트워크를 통해 타 정보처리장치로부터 수신한 유사 번호판 영상을 참조하여 인식을 시도할 수 있다.

보조적인 양상에 따르면, 유사 번호판 영상은 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하는 번호판 영상일 수 있다.

또 다른 보조적인 양상에 따르면, 유사 번호판 영상은 진출 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상일 수 있다.

추가적인 양상에 따르면, 여전히 인식에 실패한 글자는 이전 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 해결을 시도할 수 있다.

제안된 발명에 따라 번호판 인식율은 98% 내지 99% 수준으로 올릴 수 있다.

도 1은 제안된 발명이 적용되는 고속도로 과금 시스템의 전체적인 구성의 일 예를 도시한다.
도 2는 고속도로 진입 차량의 영상 처리 방법의 일 실시예의 구성을 도시한 흐름도이다.
도 3은 정보 처리 장치가 유사 번호판 영상을 추출하는 과정의 일 실시예를 도시한 흐름도이다.
도 4는 고속도로 진출 차량의 영상 처리 방법의 일 실시예의 구성을 도시한 흐름도이다.
도 5는 도 4에서 진입 정보 획득 단계의 구성의 일 실시예를 도시한 흐름도이다.
도 6은 일 실시예에 따른 영상 진출입 정보 처리 장치의 구성을 도시한 블록도이다.

전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 다양한 조합이 가능한 것으로 이해된다. 이하에서는 이러한 양상들을 첨부된 도면을 참조하여 설명하는 실시예들을 통하여 상세히 설명한다.

도 1은 제안된 발명이 적용되는 고속도로 과금 시스템의 전체적인 구성의 일 예를 도식적으로 도시한다. 카메라들(11,13)은 고속도로 진입로 및 진출로에 차선별로 설치될 수 있다. 출원인의 시스템에서 카메라들(11,13)은 이동통신망을 통해 영상 처리 서버(30)로 연결된다. 이동통신망과 유선망의 사이에 게이트웨이가 존재할 수 있다. 현재의 5G 이동통신망은 고해상도 카메라 영상을 실시간 전송할 수 있다. 차량들은 고속도로 진입로나 진출로에서 속도를 줄일 필요가 없다. 차량의 통과를 감지하는, 예를 들면 루프 코일들이 도로 바닥에 매설되어 카메라에 촬영을 지시하는 셔터링 신호를 제공할 수 있다. 또 다른 예로, 카메라는 차량의 진입을 인식하여 적절한 시점, 즉 번호판이 제대로 보이는 시점에 획득한 영상을 영상 처리 서버(30)로 전송한다.

카메라들(11-1,11-2,…,11-N₁, 13-1,13-2,…,13-N₂)은 예를 들면 설치된 지역별로 영상 처리 서버들(30-1, 30-2,…, 30-M)에게 할당될 수 있다. 영상 처리 서버들(30-1, 30-2,…, 30-M)로 서로 간에 통신망, 예를 들면 유선 네트워크를 통해 상호간에 연결될 수 있다. 영상 처리 서버들(30-1, 30-2,…, 30-M)은 각각이 하나의 서버로 구성될 수도 있고, 기능별로 또는 부하를 분산하기 위해 몇 개의 서버로 구성될 수도 있다. 서버들(30-1, 30-2,…, 30-M)의 각각은 서로 간에 상이한 구성을 가질 수 있다. 또 이들 영상 처리 서버들(30-1, 30-2,…, 30-M)은 통합된 과금 서버(50)에 예를 들면 이더넷과 같은 전용의 유선망을 통해 연결될 수 있다. 영상 처리 서버들(30-1, 30-2,…, 30-M)은 카메라로부터 수신한 영상을 처리하여 차량의 진입, 진출 정보를 생성하여 통합된 과금 서버(50)로 전송한다. 과금 서버(50)는 차량의 진입, 진출 정보를 토대로 과금 정보를 생성하여, 예를 들면 익월에 각 차량의 차주에게 청구서를 발송하도록 처리한다. 과금 서버(50)는 단일의 서버로 구성될 수도 있고, 기능별로 또는 부하를 분산하기 위해 몇 개의 서버로 구성될 수도 있다.

도 2는 고속도로 진입 차량의 영상 처리 방법의 일 실시예의 구성을 도시한 흐름도이다. 도시된 실시예에서, 방법을 이루는 단계들은 서버 컴퓨터에서 실행되는 프로그램 명령어들로 구현될 수 있다. 특별히 처리량이 많은 모듈, 예를 들면 번호판 영상을 인식하는 모듈의 경우 처리 속도를 높이기 위해 하드웨어를 포함하여 구현될 수도 있다. 또 하나의 서버에 이러한 번호판 인식 모듈이 복수로 구비될 수도 있다. 이하에서는 이와 같은 정보처리요소들을 '프로세서'라고 통칭하기로 한다.

도시된 바와 같이, 일 실시예에 따른 고속도로 진입 차량의 영상 처리 방법에 따르면, 먼저 카메라로부터 차량의 진입 영상이 수신된다(단계 210). 일 양상에 따라, 일 실시예에 따른 고속도로 진입 차량의 영상 처리 방법은 현재 번호판 영상 인식 단계(221)와, 자체 저장 정보 참조 인식 단계(231)를 포함한다. 현재 번호판 영상 인식 단계(221)에서, 프로세서는 카메라로부터 수신한 진입 영상에서 추출된 현재 번호판 영상에서 자리 별로 글자 단위로 문자를 인식하여 인식 결과를 저장한다. 프로세서는 진입 영상에서 먼저 번호판 영상을 추출한다. 차량 영상에서 번호판 영상을 추출하는 몇 가지 방법이 알려져 있다. 이후에 추출된 번호판 영상에서 번호판의 유형을 파악하고, 유형별로 정해지는 각각의 글자의 위치 정보를 참조하여 글자 영상들을 추출한다. 예를 들어 각각의 글자 영상에 위치에 따른 인덱스가 부여될 수 있다. 이후에 각 글자 영상들의 문자 인식이 시도된다. 문자 인식은 영상 매칭과 같은 고전적인 방법이나 딥러닝과 같은 방법으로 처리될 수 있다. 인식 결과는 데이터베이스로 저장될 수 있다. 예를 들어 인식 결과는 차량 영상, 번호판 영상, 글자 영상들, 그리고 글자 위치별 인식 결과값, 진입/진출 구분값, 진입/진출 시각, 진입/진출 톨게이트 식별자 등의 정보를 포함할 수 있다.

이후에, 자체 저장 정보 참조 인식 단계(231)에서 프로세서는 인식에 실패한 글자를 저장된 과거 번호판 인식 결과를 참조하여 인식하여 인식 결과에 추가한다. 고속도로를 많이 이용하는 화물차의 경우 정기적인 경로를 운행하는 경우가 많다. 따라서 특정한 톨게이트에서 이전에 촬영되어 인식에 성공한 인식 결과가 그 톨게이트의 인식 결과 데이터베이스에 저장되어 있을 가능성이 높다. 일 실시예에서, 프로세서는 먼저 인식에 성공한 글자를 기초로 후보 번호판 영상을 검색한다.

일 양상에 따르면, 자체 저장 정보 참조 인식 단계(231)에서 유사 번호판 영상은 진입 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상일 수 있다. 번호판 영상은 차량 영상에 비해 사이즈가 크지 않기 때문에 두 영상간의 일치도를 평가하는 것이 많은 시간을 소요하지 않는다. 두 영상의 일치도는 예를 들면 길쌈 신경망 회로(Convolutional Neural Network)를 사용하여 확률값으로 평가할 수 있다.

또 다른 양상에 따르면, 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하는 번호판 영상들이 검색된다. 일 예로, 진입 영상의 번호판 영상과 인식 결과가 일치하는 글자수가 가장 많은 유사 번호판 영상 중 진입 영상의 번호판 인식시 인식에 실패한 글자의 인식에 성공한 유사 번호판 영상이 선택된다. 이후에 선택된 번호판 영상과 현재의 진입 번호판 영상간의 영상 일치도를 산출할 수 있다. 영상 일치도가 기준값 이상이라면 동일한 번호판으로 판단하여, 선택된 번호판의 해당 위치의 글자의 저장된 인식값으로 진입 영상의 번호판 인식시 인식에 실패한 글자를 인식한다. 전술한 예에 비해, 저장된 전체 번호판 영상에 대해 영상 일치도를 산출하지 않고 텍스트 기반의 검색을 통해 검색 과정을 더 신속하게 처리할 수 있다.

추가적인 양상에 따르면, 진입 차량의 영상 처리 방법은 수집 영상 참조 인식 단계(243)를 더 포함할 수 있다. 수집 영상 참조 인식 단계(243)에서 프로세서는 네트워크를 통해 타 정보처리장치로부터 수신한 유사 번호판 영상을 참조하여 인식할 수 있다.

이러한 양상에 따르면, 자체 저장 정보 참조 인식 단계(231)에서 완전한 인식에 실패한 경우(단계 233), 프로세서는 네트워크를 통해 타 정보처리장치로 유사 번호판 영상을 요청하여 수집한다(단계 241). 유사 번호판 영상은 대상 번호판과 동일한 번호판을 촬영한 영상일 가능성이 높은 영상이다. 추가적인 양상에 따르면, 유사 번호판 영상은 진입 영상의 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하고 상이하게 인식된 글자를 포함하지 않는 번호판 영상일 수 있다. 예를 들어 자체 저장 정보 참조 인식 단계(231)에서 인식된 값이 “12가345*”일 때 “12가3*56”, “*2가3457”으로 인식된 영상은 유사 번호판 영상으로 취급되고, “13가3456”으로 인식된 영상은 두 번째 글자가 상이하게 인식되었기 때문에 유사 번호판 영상이 아닌 것으로 취급된다.

추가적인 양상에 따르면, 수집 영상 참조 인식 단계(243)에서 프로세스는 진입 영상의 번호판 영상과 인식 결과가 일치하는 글자수가 가장 많은 유사 번호판 영상 중 진입 영상의 번호판 인식시 인식에 실패한 글자의 인식에 성공한 유사 번호판 영상을 참조하여 차량 번호판 정보를 획득할 수 있다. 예를 들어 자체 저장 정보 참조 인식 단계(231)에서 인식된 값이 “12가345*”일 때 유사 번호판 영상으로 “12가3**6”, “*2가3456”, “12*34*6”, “12가34**” 으로 인식된 영상들이 있는 경우 인식 결과가 일치하는 글자수는 각각 4,5,4,5이므로 가장 많은 유사번호판 영상은 두 번째, 네 번째인데, 그 중 진입 영상에서 인식에 실패한 글자인 마지막 문자의 인식에 성공한 두 번째 유사 영상을 참조하여 차량 번호판 정보가 획득될 수 있다. 이 경우 추가적인 영상 인식을 거치지 않고 바로 마지막 글자의 인식값인 '6'을 취하여 전체 번호판의 인식 값을 '12가3456'으로 결정할 수 있다.

추가적인 양상에 따르면, 수집 영상 참조 인식 단계(243)에서 프로세스는 진입 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상을 유사 번호판 영상으로 선택할 수 있다. 번호판 영상은 번호판 부분만 잘라낸 영상이고 글자의 크기와 배치가 몇 개의 형식으로 제한되어 있으므로 영상간의 유사도 판단이 상당한 신뢰도로 수행될 수 있다. 예를 들어 두 영상의 일치도는 예를 들면 길쌈 신경망 회로(Convolutional Neural Network)를 사용하여 확률값으로 평가할 수 있다. 또 다른 예로 휘도 히스토그램 분포를 통해서도 판단할 수 있다. 또는 사각 번호판 영상의 2축 방향의 휘도 값의 분포로도 영상의 일치도를 판단할 수도 있다. 저장된 번호판 영상에 대해 이러한 유사도 판단 기준 값들이 사전에 계산되어 저장되고, 진입 영상의 유사도 판단 기준값과 비교에 의해 유사 번호판 영상들이 선택될 수 있다. 이 경우 수집 영상 참조 인식 단계는 선택된 유사 번호판 영상들을 전체적으로 고려하여 인식에 실패한 글자를 결정하거나 번호판을 다시 인식할 수 있다. 예를 들어 진입 영상에 비해 훨씬 영상 품질이 양호한 번호판 영상이 있다면 그 번호판의 인식 결과를 진입 영상의 인식 결과와 비교하여 인식 결과를 전체적으로 다시 결정할 수 있다. 진입 영상에서 비록 인식에 성공한 것으로 판단된 글자라도 그 정인식 확률이 낮다면 양호한 번호판 영상으로 다시 인식하는 것이 더 바람직할 수도 있다.

추가적인 양상에 따르면, 진입 차량의 영상 처리 방법은 차적 데이터베이스 조회 단계(253)를 더 포함할 수 있다. 이전 인식 단계에서 완전한 인식에 실패하면, 차적 데이터베이스 조회 단계(253)에서 프로세서는 이전 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 인식 결과에 추가할 수 있다. 도시된 실시예에서, 수집 영상 참조 인식 단계(243)에서 여전히 인식에 실패한 경우(단계 245), 프로세서는 차량 영상을 인식한다(단계 251). 예를 들어 차량 영상을 인식하여 차량의 색상, 차종, 차량 제조사 등을 인식할 수 있다. 이후에 이전 단계에서 인식된 결과인 번호판의 확보된 문자 정보로 차량 등록 데이터베이스를 조회하여 조회된 결과 리스트에서 차량 영상 인식 결과에 매치되는 결과를 선택한다(단계 253). 차적 데이터베이스 조회 단계(253)에서 완전한 번호판 정보를 알아내는데 성공하면 해당 차량의 진입 정보가 저장된다(단계 291). 진입 정보는 향후 진출정보와 결합하여 과금 기초 정보가 된다. 그러나 매치되는 결과가 없는 경우 인식 실패로 처리된다(단계 293). 인식 실패로 처리될 경우 관련 정보가 수집되며, 사후 처리 과정, 예를 들면 사람이 수작업으로 판별하는 과정을 거칠 수 있다.

도 3은 정보 처리 장치가 유사 번호판 영상을 추출하는 과정의 일 실시예를 도시한 흐름도이다. 정보 처리 장치의 프로세서는 타 정보 처리 장치로부터 유사 영상 요청 전문을 수신한다(단계 311). 전문을 수신하면, 프로세서는 유사 번호판 영상을 검색한다(단계 313). 유사 번호판 영상을 검색함에 있어서, 요청한 타 정보 처리 장치가 진입 톨게이트인지 진출 톨게이트인지에 따라 검색 과정을 달리할 수 있다. 진입 톨게이트로부터의 요청이라면 프로세서는 과거에 해당 톨게이트를 통과한 이력을 검색해야 하므로, 해당 차량이 빈번하게 입출하는 톨게이트에서 발견될 가능성이 높다. 예를 들어 1단계로 10일 이내 전출입 영상들을 대상으로 검색할 수 있다. 이후에, 2단계로 1년치 전출입 영상들을 대상으로 검색할 수 있다. 특정한 톨게이트를 포함하는 지역 관할의 프로세서가 유사 번호판 영상의 검색에 성공하면, 해당 프로세서는 결과를 요청한 톨게이트의 프로세서로 회신하는 한편, 다른 관할의 프로세서가 검색 작업을 중단하도록 검색 성공 사실을 브로드캐스팅(broadcasting)할 수 있다(단계 315).

도 4는 고속도로 진출 차량의 영상 처리 방법의 일 실시예의 구성을 도시한 흐름도이다. 도시된 실시예에서, 방법을 이루는 단계들은 서버 컴퓨터에서 실행되는 프로그램 명령어들로 구현될 수 있다. 특별히 처리량이 많은 모듈, 예를 들면 번호판 영상을 인식하는 모듈의 경우 처리 속도를 높이기 위해 하드웨어를 포함하여 구현될 수도 있다. 또 하나의 서버에 이러한 번호판 인식 모듈이 복수로 구비될 수도 있다. 이하에서는 이와 같은 정보처리요소들을 '프로세서'라고 통칭하기로 한다.

도시된 바와 같이, 일 실시예에 따른 고속도로 진출 차량의 영상 처리 방법에 따르면, 먼저 카메라로부터 차량의 진출 영상이 수신된다(단계 410). 일 양상에 따라, 일 실시예에 따른 고속도로 진출 차량의 영상 처리 방법은 현재 번호판 영상 인식 단계(421)와, 자체 저장 정보 참조 인식 단계(431)를 포함한다. 현재 번호판 영상 인식 단계(421)에서, 프로세서는 카메라로부터 수신한 진출 영상에서 추출된 현재 번호판 영상에서 자리 별로 글자 단위로 문자를 인식하여 인식 결과를 저장한다. 이러한 인식 과정은 도 2에서 현재 번호판 영상 인식 단계(221)와 유사하므로 상세한 설명은 생략한다. 인식 결과는 데이터베이스로 저장될 수 있다. 예를 들어 인식 결과는 차량 영상, 번호판 영상, 글자 영상들, 그리고 글자 위치별 인식 결과값, 진입/진출 구분값, 진입/진출 시각, 진입/진출 톨게이트 식별자 등의 정보를 포함할 수 있다.

이후에, 자체 저장 정보 참조 인식 단계(431)에서 프로세서는 인식에 실패한 글자를 저장된 과거 번호판 인식 결과를 참조하여 인식하여 인식 결과에 추가한다. 일 양상에 따르면, 자체 저장 정보 참조 인식 단계(231)에서 유사 번호판 영상은 진출 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상일 수 있다. 또 다른 양상에 따르면, 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하는 번호판 영상들이 검색된다. 이러한 인식 과정은 도 2에서의 자체 저장 정보 참조 인식 단계(231)와 유사하므로 상세한 설명은 생략한다.

추가적인 양상에 따르면, 진출 차량의 영상 처리 방법은 수집 영상 참조 인식 단계(443)를 더 포함할 수 있다. 수집 영상 참조 인식 단계(443)에서 프로세서는 네트워크를 통해 타 정보처리장치로부터 수신한 유사 번호판 영상을 참조하여 인식할 수 있다.

이러한 양상에 따르면, 자체 저장 정보 참조 인식 단계(431)에서 완전한 인식에 실패한 경우(단계 433), 프로세서는 네트워크를 통해 타 정보처리장치로 유사 번호판 영상을 요청하여 수집한다(단계 441). 추가적인 양상에 따르면, 유사 번호판 영상은 진출 영상의 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하고 상이하게 인식된 글자를 포함하지 않는 번호판 영상일 수 있다. 추가적인 양상에 따르면, 수집 영상 참조 인식 단계(443)에서 프로세스는 진출 영상의 번호판 영상과 인식 결과가 일치하는 글자수가 가장 많은 유사 번호판 영상 중 진출 영상의 번호판 인식시 인식에 실패한 글자의 인식에 성공한 유사 번호판 영상을 참조하여 차량 번호판 정보를 획득할 수 있다. 추가적인 양상에 따르면, 수집 영상 참조 인식 단계(443)에서 프로세스는 진출 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상을 유사 번호판 영상으로 선택할 수 있다. 이러한 인식 과정은 도 2에서의 수집 영상 참조 인식 단계(243)와 유사하므로 상세한 설명은 생략한다. 다만, 진출 영상의 인식에 있어서 가장 발견될 확률이 높은 유사 번호판 영상은 진입 영상일 수 있으므로, 타 정보 처리 장치는 유사 번호판 영상을 요청 받으면 먼저 최근의 진입 영상부터 검색할 수 있다.

추가적인 양상에 따르면, 진출 차량의 영상 처리 방법은 차적 데이터베이스 조회 단계(453)를 더 포함할 수 있다. 이전 인식 단계에서 완전한 인식에 실패하면, 차적 데이터베이스 조회 단계(453)에서 프로세서는 이전 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 인식 결과에 추가할 수 있다. 이러한 조회 과정은 도 2 차적 데이터베이스 조회 단계(253)와 유사하므로 상세한 설명은 생략한다. 차적 데이터베이스 조회 단계(453)에서 완전한 번호판 정보를 알아내는데 성공하면 해당 차량의 진입 정보가 획득된다(단계 460). 진입 정보는 진출 영상에서 획득된 번호판 정보에 해당하는 차량이 진입한 톨게이트와 진입 시간 등 진입 정보를 포함한다. 차량 진입 정보는 해당 차량의 진입 정보를 요청하는 전문을 정보 처리 장치가 타 정보 처리 장치로 브로드캐스팅하여 회신을 수신하여 획득하거나 중앙의 통합된 정보 처리 서버로 조회하여 획득할 수 있다. 이에 대해서는 이후에 도 5를 참조하여 상술하기로 한다. 차량 진입 정보가 획득되면, 차량 입출 정보, 즉 진입, 진출 관련 정보가 외부 서버, 예를 들면 과금 서버로 출력된다(단계 470). 차적 데이터베이스 조회 단계(453)에서도 매치되는 결과가 없는 경우 인식 실패로 처리된다(단계 493). 인식 실패로 처리될 경우 관련 정보가 수집되며, 사후 처리 과정, 예를 들면 사람이 수작업으로 판별하는 과정을 거칠 수 있다.

도 5는 도 4에서 진입 정보 획득 단계의 구성의 일 실시예를 도시한 흐름도이다. 정보 처리 장치는 진입 정보를 확보하기 위해 먼저 진입 정보 질의 전문을 생성하여 송신한다. 진입 정보 질의 전문은 전문의 종류와, 진출 차량의 번호판 정보와, 진출 차량이 진출 톨게이트를 통과한 시각 정보와, 진출 톨게이트 식별자를 포함할 수 있다. 추가로 진출 차량의 완전한 번호판 정보가 확보되지 않은 경우의 처리를 위해, 차량 영상과, 번호판 영상을 더 포함할 수도 있다. 이러한 진입 정보 질의 전문은 네트워크 상의 모든 정보 처리 장치로 브로드캐스팅될 수 있다.

질의 전문 송신 이후 일정 시간 안에 완전한 진입 정보가 수신되면(단계 513), 처리는 종료된다. 질의 전문 송신 이후 일정 시간 안에 완전한 진입 정보가 수신되지 않으면(단계 513), 유사 번호판 영상의 요청 전문이 생성되어 브로드캐스팅된다.

일정 시간 안에 완전한 진입 정보가 수신되지 않는 경우는 진입 시 번호판 인식에 실패한 경우일 수 있다. 이 경우 진출시 촬영된 영상을 이용하여 인식을 시도할 수 있다. 타 정보처리장치로부터 각 정보 처리 장치의 데이터베이스에 저장된 진입 영상 중 일정한 시간 범위, 예를 들면 3일 이내의 유사 번호판 영상이 수집된다(단계 543). 이후에, 타 정보 처리 장치로부터 수집된 진입시의 유사 번호판 영상의 처리를 통해, 진입 정보가 획득된다(단계 545). 각각의 정보 처리 장치가 유사 번호판 영상을 인식하여 진입 정보를 생성하는 것보다, 요청한 정보 처리 장치가 진입시의 유사 번호판 영상을 수집하고 통합하여 인식하는 것이 더 신뢰성을 높일 수 있다. 예를 들어 수집한 유사 번호판 영상 중 진출 번호판 영상과 영상 일치도가 기준치 이상이면서 가장 높은 영상을 선택하여 그 진입 정보를 해당 차량의 진입 정보로 선택할 수 있다. 이러한 유사 번호판 영상 수집을 통해서도 진입 정보 획득에 실패하면, 최종적으로 인식 실패로 처리된다(단계 570).

도 6은 일 실시예에 따른 영상 진출입 정보 처리 장치의 구성을 도시한 블록도이다. 영상 진출입 정보 처리 장치는 고속도로 톨게이트에 설치된 복수의 카메라 및 타 정보 처리 장치와 네트워크를 통해 연결되며, 그 카메라로부터의 차량 영상을 수신하여 처리한다.

도시된 바와 같이, 일 실시예에 따른 영상 진출입 정보 처리 장치는 통신부(610)와, 차량 입출 정보 생성부(630)와, 번호판 정보 획득부(670)와, 번호판 영상 인식부(691)를 포함한다. 통신부(610)는 하나 혹은 복수의 통신 모뎀을 포함할 수 있다. 도시된 실시예에서, 통신부(610)는 이더넷 통신부를 통해 외부의 타 정보 처리 장치와, 추가로 네트워크 카메라와 연결된다. 일 양상에 따르면, 차량 입출 정보 생성부(630)는 진입 정보 획득부(631)와, 진출 정보 획득부(633)를 포함하며, 차량의 진입, 진출 정보를 획득하여 출력한다. 예를 들어 차량 입출 정보 생성부(630)는 생성된 차량의 진입, 진출 정보를 통신부(610)를 통해 외부의 과금 서버로 전송할 수 있다.

번호판 정보 획득부(670)는 차량 입출 정보 생성부(630)의 제어 하에 진입 혹은진출하는 차량의 번호판 정보를 획득하여 리턴한다. 획득된 정보들은 진출입 차량 데이터베이스(630)에 저장된다. 번호판 영상 인식부(691)는 차량의 번호판 영상을 인식하여 번호판 정보를 획득하여 출력한다. 일 양상에 따르면, 번호판 영상 인식부(691)는 입력된 차량 번호판 영상을 자리별로 글자 단위로 문자 인식하여 인식 결과를 출력한다.

진입 정보 획득부(631)는 진출 정보를 타 정보 처리 장치로 송신하여 해당 차량의 진입 정보를 획득한다. 이에 대해서는 도 5를 참조하여 진입 정보 질의 전문 송신 단계(511)에서 설명한 바 있으므로 상세한 설명은 생략한다. 진출 정보 획득부(633)는 카메라로부터 수신한 진출 영상을 번호판 정보 획득부(670)로 제공하여 진출 정보를 획득한다.

일 양상에 따르면, 번호판 정보 획득부(670)는 현재 번호판 영상 처리부(671)와, 자체 저장 정보 참조 인식부(673)를 포함한다. 현재 번호판 영상 처리부(671)는 입력된 차량 영상에서 번호판 영상을 추출하여 번호판 영상 인식부(691)로 제공하여 그 인식 결과를 출력한다. 자체 저장 정보 참조 인식부(673)는 입력된 불완전한 인식 결과에서 인식에 실패한 글자를 저장된 과거 번호판 인식 결과를 참조하여 인식하여 진출입 차량 데이터베이스(630)에 저장된 기존의 인식 결과에 추가한다. 이와 같은 현재 번호판 영상 처리부(671)와 자체 저장 정보 참조 인식부(673)의 동작에 대해서는 도 2를 참조하여 현재 번호판 영상 처리 단계(221)와, 자체 저장 정보 참조 인식 단계(231)에서 설명한 바 있으므로 상세한 설명은 생략한다.

추가적인 양상에 따르면, 번호판 정보 획득부(670)는 수집 영상 참조 인식부(675)를 더 포함할 수 있다. 수집 영상 참조 인식부(675)는 네트워크를 통해 타 정보 처리 장치로부터 수신한 유사 번호판 영상을 참조하여 인식하여 진출입 차량 데이터베이스(630)에 저장된 기존의 인식 결과에 추가한다. 수집 영상 참조 인식부(675)의 동작에 대해서는 도 2를 참조하여 수집 영상 참조 인식 단계(243)에서 설명한 바 있으므로 상세한 설명은 생략한다.

추가적인 양상에 따르면, 번호판 정보 획득부(670)는 차적 데이터베이스 조회부 (677)를 더 포함할 수 있다. 차적 데이터베이스 조회부(677)는 저장된 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 진출입 차량 데이터베이스(630)에 저장된 기존의 인식 결과에 추가한다. 차량 영상 인식부(693)는 차적 데이터베이스 조회부(677)의 제어 하에 차량 영상을 인식하여 차량 정보를 획득하여 출력한다. 이러한 차량 영상 인식 및 차적 데이터베이스의 조회를 통한 진입 혹은 진출 차량의 정보를 획득하는 과정에 대해서는 도 2를 참조하여 차적 데이터베이스 조회 단계(253)에서 설명한 바 있으므로 상세한 설명은 생략한다.

추가적인 양상에 따르면, 영상 진출입 정보 처리 장치는 차량 정보 서비스부(650)를 더 포함할 수 있다. 차량 정보 서비스부(650)는 외부의 타 영상 진출입 정보 처리 장치의 요청에 대해 서비스를 제공한다. 추가적인 양상에 따르면, 차량 정보 서비스부(650)는 진입 차량 정보 서비스부(651)를 더 포함할 수 있다. 진입 차량 정보 서비스부(651)는 타 정보 처리 장치로부터 진출 정보를 포함하는 진입 차량 정보 요청에 응답하여 대응하는 진입 정보를 진출입 차량 데이터베이스(640)를 검색하여 송신한다. 추가적인 양상에 따르면, 영상 진출입 정보 처리 장치는 인식 지원 서비스부(653)를 더 포함할 수 있다. 인식 지원 서비스부(653)는 타 정보 처리 장치의 요청에 응답하여 요청에 포함된 번호판 영상과 유사한 번호판 영상을 가진 진입 및/또는 진출 영상을 검색하여 회신한다. 요청한 타 정보 처리 장치는 여러 정보 처리 장치에서 수집한 유사 번호판 영상을 전체적으로 비교하여 좀 더 정확한 번호판 인식을 할 수 있다.

추가적인 양상에 따르면, 진입 정보 획득부(631)는 수집 영상 참조 인식부(675)를 통해 진출 번호판 영상과 유사한 진입시의 유사 번호판 영상을 네트워크를 통해 타 정보 처리 장치로부터 수신하여 이를 인식하여 진입 정보를 획득할 수 있다. 이에 대해서는 도 5를 참조하여 설명한 바 있으므로 상세한 설명은 생략한다.

이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다.

610 : 통신부 630 : 차량 입출 정보 생성부
631 : 진입 정보 획득부 633 : 진출 정보 획득부
640 : 진출입 차량 데이터베이스
650 : 차량 정보 서비스부 651 : 진입 차량 정보 서비스부
653 : 인식 지원 서비스부
670 : 번호판 정보 획득부 671 : 현재 번호판 영상 처리부
673 : 자체 저장 정보 참조 인식부 675 : 수집 영상 참조 인식부
677 : 차적 조회 인식부
691 : 번호판 영상 인식부 693 : 차량 영상 인식부

Claims

지역별 고속도로 톨게이트에 각각 설치된 복수의 카메라와 네트워크를 통해 연결되어, 그 카메라로부터의 차량 영상을 수신하는 정보 처리 장치에서 수행되는 고속 도로 과금시 진출 차량의 영상 처리 방법에 있어서,
카메라로부터 수신한 진출 영상에서 추출된 현재 번호판 영상에서 자리별로 글자 단위로 문자를 인식하여 인식 결과를 저장하는 현재 번호판 영상 인식 단계;
인식에 실패한 글자를 저장된 과거 번호판 인식 결과를 참조하여 인식하여 인식 결과에 추가하는 자체 저장 정보 참조 인식 단계;
진출 정보로 조회하여 해당 차량의 진입 정보를 획득하는 진입 정보 획득 단계;
차량 입출 정보를 출력하는 차량 입출 정보 출력 단계;
를 포함하는 고속도로 과금시 진출 차량의 영상 처리 방법.
청구항 1에 있어서, 상기 방법이 :
자체 저장 정보 참조 인식 단계에서 완전한 인식에 실패하면, 네트워크를 통해 타 정보 처리 장치로부터 수신한 유사 번호판 영상을 참조하여 인식하여 인식 결과에 추가하는 수집 영상 참조 인식 단계;를 더 포함하는 고속도로 과금시 진출 차량의 영상 처리 방법.
청구항 2에 있어서, 수집 영상 참조 인식 단계에서 유사 번호판 영상은 진출 영상의 이전 인식 결과 유효하게 인식된 글자들 중 적어도 일부를 동일한 번호판 위치에 포함하고 상이하게 인식된 글자를 포함하지 않는 번호판 영상인 고속도로 과금시 진출 차량의 영상 처리 방법.
청구항 3에 있어서, 수집 영상 참조 인식 단계는 진출 영상의 번호판 영상과 인식 결과가 일치하는 글자수가 가장 많은 유사 번호판 영상 중 진출 영상의 번호판 인식시 인식에 실패한 글자의 인식에 성공한 유사 번호판 영상을 참조하여 차량 번호판 정보를 획득하는 고속도로 과금시 진출 차량의 영상 처리 방법.
청구항 2에 있어서, 수집 영상 참조 인식 단계에서 유사 번호판 영상은 진출 영상과 영상 일치도가 기준치 이상으로 평가된 번호판 영상인 고속도로 과금시 진출 차량의 영상 처리 방법.
청구항 2에 있어서, 상기 방법이 :
이전 인식 단계에서 완전한 인식에 실패하면, 이전 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 인식 결과에 추가하는 차적 데이터베이스 조회 단계;를 더 포함하는 고속도로 과금시 진출 차량의 영상 처리 방법.
청구항 1에 있어서, 상기 진입 정보 획득 단계가 :
진출 정보와 유사한 유사 진입 영상을 네트워크를 통해 타 정보 처리 장치로부터 수신하여 인식하여 진입 정보를 획득하는 수집한 수집한 진입 영상 참조 인식 단계;
를 포함하는 고속도로 과금시 진출 차량의 영상 처리 방법.
고속도로 톨게이트에 설치된 복수의 카메라 및 타 정보 처리 장치와 네트워크를 통해 연결되며, 그 카메라로부터의 차량 영상을 수신하여 처리하는 영상 진출입 정보 처리 장치에 있어서,
입력된 차량 번호판 영상을 자리별로 글자 단위로 문자 인식하여 인식 결과를 출력하는 번호판 영상 인식부와;
차량 진출입 정보를 저장하는 진출입 차량 데이터베이스와;
입력된 차량 영상에서 번호판 영상을 추출하여 번호판 영상 인식부로 제공하여 그 인식 결과를 출력하는 현재 번호판 영상처리부와, 입력된 불완전한 인식 결과에서 인식에 실패한 글자를 저장된 과거 번호판 인식 결과를 참조하여 인식하여 인식 결과에 추가하는 자체 저장 정보 참조 인식부를 포함하는 번호판 정보 획득부와;
진출 정보를 타 정보 처리 장치로 송신하여 해당 차량의 진입 정보를 획득하는 진입 정보 획득부와, 카메라로부터 수신한 진출 영상을 상기 번호판 정보 획득부로 제공하여 진출 정보를 획득하는 진출 정보 획득부;를 포함하며, 획득된 차량의 진입, 진출 정보를 출력하는 차량 입출 정보 생성부;
를 포함하는 영상 진출입 정보 처리 장치.
청구항 8에 있어서, 상기 번호판 정보 획득부가 :
네트워크를 통해 타 정보 처리 장치로부터 수신한 유사 번호판 영상을 참조하여 인식하여 인식 결과에 추가하는 수집 영상 참조 인식부;를 더 포함하는 영상 진출입 정보 처리 장치.
청구항 8에 있어서, 번호판 정보 획득부가 :
저장된 인식 결과와 차량 영상에서 인식된 차량 정보로 차적 데이터베이스를 조회하여 인식 결과에 추가하는 차적 데이터베이스 조회부;를 더 포함하는 영상 진출입 정보 처리 장치.
청구항 8에 있어서, 상기 정보 처리 장치가 :
타 정보 처리 장치로부터 진출 정보를 포함하는 진입 차량 정보 요청에 응답하여 대응하는 진입 정보를 진출입 차량 데이터베이스를 검색하여 송신하는 진입 차량 정보 서비스부;를 더 포함하는 영상 진출입 정보 처리 장치.
청구항 9에 있어서, 상기 진입 정보 획득부가 :
수집 영상 참조 인식부를 통해 진출 번호판 영상과 유사한 진입시의 유사 번호판 영상을 네트워크를 통해 타 정보 처리 장치로부터 수신하여 이를 인식하여 진입 정보를 획득하는 영상 진출입 정보 처리 장치.