KR20080098850A - 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정장치 - Google Patents

차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정장치 Download PDF

Info

Publication number
KR20080098850A
KR20080098850A KR1020070044210A KR20070044210A KR20080098850A KR 20080098850 A KR20080098850 A KR 20080098850A KR 1020070044210 A KR1020070044210 A KR 1020070044210A KR 20070044210 A KR20070044210 A KR 20070044210A KR 20080098850 A KR20080098850 A KR 20080098850A
Authority
KR
South Korea
Prior art keywords
license plate
image
vehicle
classifier
values
Prior art date
Application number
KR1020070044210A
Other languages
English (en)
Other versions
KR101218302B1 (ko
Inventor
안명석
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020070044210A priority Critical patent/KR101218302B1/ko
Publication of KR20080098850A publication Critical patent/KR20080098850A/ko
Application granted granted Critical
Publication of KR101218302B1 publication Critical patent/KR101218302B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration by non-spatial domain filtering
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 촬상 장치로부터 취득된 영상에서 차량의 번호판의 위치를 정확하게 추정할 수 있는 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정 장치를 제공하는 것을 목적으로 하며, 이 목적을 달성하기 위하여, 본 발명은, 촬상 장치를 구비한 주정차 감시 시스템의 차량 번호판 위치 추정 방법에 있어서, (a) 상기 촬상 장치로부터 촬상된 영상을 분석함으로써, 상기 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 복수개 선정하는 단계;와, (b) 상기 선정된 후보 부분들의 각각의 영상 신호를 주파수 이용 분류기와 공간정보 이용 분류기로 각각 처리하는 단계;와, (c) 상기 주파수 이용 분류기 및 상기 공간 정보 이용 분류기에서 산출된 유사도 값들을 상호 비교를 위해 정규화하고 가중치를 부여하는 단계;와, (d) 상기 정규화되고 가중치가 부여된 유사도 값들을 취합하여 서로 비교함으로써, 상기 정규화되고 가중치가 부여된 유사도 값들 중 가장 큰 값을 가지는 후보 부분을 차량 번호판 위치로 결정하는 단계;를 포함하는 차량 번호판 위치 추정 방법 및 그 차량 번호판 위치 추정 방법을 수행하는 차량 번호판 위치 추정 장치를 제공한다.

Description

차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정 장치{Method for location estimation of vehicle number plate and the device for location estimation of vehicle number plate}
도 1은 본 발명의 일 실시예에 관한 불법 주정차 단속 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 관한 센터 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 관한 차량 번호판 위치 추정 방법의 수행 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 관한 촬상 장치가 촬영한 영상 중 차량 번호판이 위치할 가능성이 높은 후보 부분들이 선정된 모습을 도시한 도면이다.
* 도면의 주요부분에 대한 부호의 설명 *
100: 불법 주정차 단속 시스템 110-1,..., 110-n: 카메라
120: 통신망 130: 센터 장치
131: 사용자 인터페이스부 132: 감시 영역 설정부
133: 차량 인식부 134: 번호판 인식부
135: 카메라 제어부 136: 단속 수행부
137: 저장부 138: 망 접속부
140: 차량 영역 141, 142, 143, 144: 후보 부분
본 발명은 차량 번호판의 문자를 인식하는 단계의 전단계인 차량 번호판의 위치를 추정하는 방법 및 그 장치에 관한 것이다.
최근에 산업 발전 및 소득 증가로 인하여 차량의 수가 증가되면서, 불법 주정차 단속 시스템에 관한 연구가 활기를 띠고 있다.
종래의 불법 주정차 단속 시스템은 촬상 장치, 단속 시스템 등을 구비하고 있는데, 그 작동 과정은 다음과 같다.
불법 주정차 단속 시스템이 미리 설치된 감시 지역에, 차량이 주정차를 하게 되면, 설치된 촬상 장치는 주정차된 차량을 촬영하여 차량의 영상을 취득한다. 이어, 상기 단속 시스템은, 상기 취득된 영상에서 차량의 번호판의 위치를 추정하여, 그 번호판의 문자를 인식함으로써, 단속을 실시하게 된다.
여기서, 상기 취득된 영상에서 차량의 번호판의 위치를 추정하는 종래의 방법으로는 i)차량 번호판의 질감(texture)을 이용한 방법, ii)컬러(color) 정보를 이용한 방법 등이 사용되어 왔다.
그러나, 상기의 종래의 방법들은 번호판은 아니나 번호판과 비슷한 형상을 가지는 부분이 촬영되었을 경우, 또한, 번호판의 컬러가 변질되거나, 외부 조명 조건이 변하는 경우 등에는 정확하게 차량의 번호판의 위치를 추정하기가 어려운 문 제점들이 있었다.
따라서, 촬상 장치로부터 취득된 영상에서 차량의 번호판의 위치를 보다 정확하게 추정하는 새로운 기술의 개발의 필요성이 대두된다.
본 발명의 주된 목적은, 촬상 장치로부터 취득된 영상에서 차량의 번호판의 위치를 정확하게 추정할 수 있는 차량 번호판 위치 추정 방법 및 차량 번호판 위치 추정 장치를 제공하는 것이다.
본 발명은, 촬상 장치를 구비한 주정차 감시 시스템의 차량 번호판 위치 추정 방법에 있어서, (a) 상기 촬상 장치로부터 촬상된 영상을 분석함으로써, 상기 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 복수개 선정하는 단계;와, (b) 상기 선정된 후보 부분들의 각각의 영상 신호를 주파수 이용 분류기와 공간정보 이용 분류기로 각각 처리하는 단계;와, (c) 상기 주파수 이용 분류기 및 상기 공간 정보 이용 분류기에서 산출된 유사도 값들을 상호 비교를 위해 정규화하고 가중치를 부여하는 단계;와, (d) 상기 정규화되고 가중치가 부여된 유사도 값들을 취합하여 서로 비교함으로써, 상기 정규화되고 가중치가 부여된 유사도 값들 중 가장 큰 값을 가지는 후보 부분을 차량 번호판 위치로 결정하는 단계;를 포함하는 차량 번호판 위치 추정 방법을 개시한다.
여기서, 상기 (a)단계에서 상기 후보 부분들을 선정하기 위하여, 상기 촬상된 영상에 컬러 좌표계를 이용한 영상 필터링 방법을 적용할 수 있다.
여기서, 상기 (a)단계에서 상기 후보 부분들을 선정하기 위하여, 상기 촬상된 영상의 질감을 이용한 영상 필터링 방법을 적용할 수 있다.
여기서, 상기 영상 필터링 방법들은 일정 크기 이하 또는 일정 크기 이상의 블랍(blob)을 무시하는 블랍 라벨링(blob labeling) 방법을 이용할 수 있다.
여기서, 상기 (a)단계와 (b)단계 사이에서는, (e) 상기 선정된 후보 부분들의 영상의 크기를 정규화하는 단계;와, (f) 상기 (e)단계를 거친 영상들의 화질을 개선하는 단계;를 더 포함할 수 있다.
여기서, 상기 (f)단계에서 화질을 개선하는 단계는 컨트라스트(contrast) 향상 방법을 이용할 수 있다.
여기서, 상기 (f)단계에서 화질을 개선하는 단계는 밝기 보상(lightness compensation) 방법을 이용할 수 있다.
여기서, 상기 (b)단계에서 상기 선정된 후보 부분들의 각각의 영상 신호를 상기 주파수 이용 분류기로 처리하는 과정은, 미리 입력된 기준 번호판의 영상 신호의 주파수 값들과, 상기 선정된 후보 부분들의 영상 신호의 주파수 값들을 비교함으로써, 유사도 값을 산출하는 과정을 포함할 수 있다.
여기서, 상기 (b)단계에서 상기 선정된 후보 부분들의 각각의 영상 신호를 공간 정보 이용 분류기로 처리하는 과정은, 미리 입력된 기준 번호판의 영상의 픽셀들의 계조 값들과, 상기 선정된 후보 부분들의 영상의 픽셀들의 계조 값들을 비교함으로써, 유사도 값을 산출하는 과정을 포함할 수 있다.
또한, 본 발명은, 상기의 차량 번호판 위치 추정 방법을 수행하는 차량 번호 판 위치 추정 장치를 개시한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 관한 불법 주정차 단속 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 불법 주정차 단속 시스템(100)은 복수의 카메라(110-1 내지 110-n), 통신망(120) 및 센터 장치(130)로 구성된다.
복수의 카메라(110-1 내지 110-n)는 촬상 장치로서 단속 대상 구역에 설치되는데, 동일한 단속 대상 구역에 두 개 이상의 카메라가 설치될 수 있다.
각각의 카메라(110-1 내지 110-n)에는 독자적인 감시 영역이 할당된다. 각각의 카메라(110-1 내지 110-n)로는 촬상한 영상을 센터 장치(130)로 전송할 수 있는 기능을 구비한 어떠한 카메라도 채용될 수 있으나, 팬/틸트/줌이 자유로우면서도 촬영한 영상을 디지털화하여 전송하는 웹카메라가 채용되는 것이 바람직하다. 이 때, 각각의 카메라(110-1 내지 110-n)는 센터 장치(130)로부터 수신되는 제어명령에 의해 제어되며, 각각의 카메라(110-1 내지 110-n)의 감시 영역은 센터 장치(130)에 의해 설정된다.
센터 장치(130)는, 유무선 인터넷, 이동통신망 등이 될 수 있는 통신망(120)을 통해 연결되어 있는 각각의 카메라(110-1 내지 110-n)를 제어하는 기능과, 각각의 카메라(110-1 내지 110-n)로부터 수신된 영상을 기초로 불법 주정차 차량을 인식한 후, 과태료 고지서를 생성하는 기능을 수행한다.
도 2는 센터 장치(130)의 상세한 구성을 도시한 블럭도이다.
도 2를 참조하면, 센터 장치(130)는 사용자 인터페이스부(131), 감시 영역 설정부(132), 차량 인식부(133), 번호판 인식부(134), 카메라 제어부(135), 단속 수행부(136), 저장부(137) 및 망 접속부(138)로 구성된다.
사용자 인터페이스부(131)는 각각의 카메라(110-1 내지 110-n)가 촬영한 영상과 센터 장치(130)의 상태 정보를 출력하고, 운영자로부터 명령을 입력받는 수단이다.
감시 영역 설정부(132)는 연결되어 있는 각각의 카메라(110-1 내지 110-n)의 감시 영역을 설정한다. 감시 영역은 카메라가 설치된 지점을 기준으로 전방 하위 감시 영역, 하방 하위 감시 영역, 및 후방 하위 감시 영역의 광역 감시 영역으로 구성될 수 있다.
차량 인식부(133)는 망 접속부(138)를 통해 단속장소에 설치된 각각의 카메라(110-1 내지 110-n)로부터 실시간으로 수신된 영상에 대한 이미지 처리를 통해 차량 영역을 추출한다. 즉, 차량 인식부(133)는 헤드라이트의 대칭성, 그림자의 존재, 유리창 형상의 존재여부 등을 기초로 수신된 영상에서 차량 영역을 추정한다.
차량 인식부(133)로부터 추정된 차량 영역은 수신된 영상에서 차량으로 인식되는 영역의 좌상 및 우하 좌표(또는 우상 및 좌하 좌표)로 표시된다. 이 때, 차량 영역을 나타내는 좌표는 수신된 영상의 해상도를 기준으로 산출하거나 수신된 영상을 소정의 좌표상에 매칭시켜 산출한다. 차량 인식부(133)는 각각의 하위 감시 영역별로 차량 영역의 추출시점, 추출된 차량 영역의 좌표, 및 하위 감시 영역 식별 정보를 포함하는 차량 영역 인식 정보를 생성하여 저장부(137)에 저장한다.
번호판 인식부(134)는 추출된 차량 영역 또는 수신된 영상으로부터 번호판 의 위치를 추정하고, 위치가 추정된 번호판 영역에서 차량 번호를 판별한다. 즉, 번호판 인식부(134)는 촬영된 영상에서 차량의 번호판의 위치를 추정하고, 이어 위치가 추정된 번호판의 영역내의 문자를 인식하는 기능을 수행한다. 여기서, 번호판 인식부(134)가 차량의 번호판의 위치를 추정하는 방법에 대해서는 후술하기로 한다.
본 실시예에 따른 센터 장치(130)는 차량 인식부(133)와 번호판 인식부(134) 모두를 포함하여 구성되어 있지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 센터 장치는 차량 인식부를 구비하지 않고 번호판 인식부만을 구비할 수도 있다. 그 경우에 번호판 인식부는 촬상된 영상으로부터 직접 차량의 번호판의 위치를 탐색하여 인식하게 된다.
카메라 제어부(135)는 연결되어 있는 카메라(110-1 내지 110-n)의 동작을 제어한다. 센터에 위치한 운영자는 사용자 인터페이스부(131)를 이용하여 각각의 카메라(110-1 내지 110-n)의 팬/틸트/줌을 조절할 수 있으며, 카메라 제어부(135)는 운영자로부터 입력받은 제어명령에 해당하는 카메라의 수평각, 수직각, 줌레벨 및 감시시간을 포함하는 카메라 제어정보를 생성하여 망 접속부(138)를 통해 제어대상 카메라로 전송한다. 제어대상 카메라는 센터 장치(130)로부터 수신된 카메라 제어정보에 기초하여 동작하며, 카메라 제어정보가 감시 영역에 대한 설정정보일 경우에는 자체에 구비된 저장부에 수신된 카메라 제어정보를 저장한다.
단속 수행부(136)는 불법 주정차 차량에 대한 단속 업무를 처리한다. 단속 수행부(136)에 의한 단속업무는 다음과 같이 수행될 수 있다.
즉, 단속 수행부(136)는 차량 인식부(133)에 의해 생성된 차량 영역 인식 정보를 기초로 일정시간(예를 들면, 5초)이상 동일한 위치에서 차량 영역이 인식되면, 해당 차량 영역에 존재하는 차량을 주정차 중인 차량으로 간주하여 해당 차량 영역 인식 정보를 주정차 차량 데이터 베이스에 기록한다.
주정차 중인 차량이 발견되면 단속 수행부(136)는 번호판 인식부(134)로 해당 차량 영역으로부터 번호판 위치를 추정하여 번호판의 문자를 인식하도록 지시하며, 번호판 인식부(134)에 의해 생성된 번호판 영역 인식 정보를 번호판 데이터 베이스에 기록한다.
단속 수행부(136)는 주정차 중인 차량의 발견시점(즉, 해당 차량에 대한 번호판 영역 인식 정보를 번호판 데이터 베이스에 기록한 시점)으로부터 불법 주정차 단속 기준 시간(예를 들면, 5분)이 경과되면 대응되는 카메라가 해당 하위 감시 영역을 촬영하도록 제어한다. 이러한 카메라 제어는 단속 수행부(136)의 구동에 의해 카메라 제어부(135)가 수행하도록 구성될 수 있다.
해당 하위 감시 영역에 대한 촬영이 수행되면 차량 인식부(133)는 카메라로부터 수신된 영상으로부터 차량 영역을 추출한다. 단속 수행부(136)는 추출된 차량 영역이 주정차 차량 데이터 베이스에 기록되어 있는 차량 영역 인식 정보에 포함된 차량 영역과 일치하면 해당 차량을 불법 주정차 차량으로 판단한다.
다음으로, 단속 수행부(136)는 번호판 인식부(134)로 추출된 차량 영역에서 번호판 영역을 추출하여 해당 차량의 차량 번호를 추정하여 번호판 데이터 베이스부에 저장되어 있는 해당 차량의 차량번호와 동일한지 여부를 확인하도록 제어한다. 이 때, 카메라의 제어를 위해 차량 인식부(133) 및 번호판 인식부(134)에 의해 추출된 차량 영역 및 번호판 영역의 좌표에 대응하는 카메라 제어정보가 이용될 수 있다. 만약, 동일한 차량으로 확인되면 단속 수행부(136)는 단속시점, 차량번호, 불법 주정차 단속 시작 시점의 촬영 영상의 저장 위치, 불법 주정차 단속 기준시간의 경과 시점의 촬영 영상의 저장 위치, 추출된 번호판 영역의 좌표, 및 하위 감시 영역 식별정보를 포함하는 단속 차량 정보를 생성하여 단속 차량 데이터 베이스에 기록한다.
또한, 단속 수행부(136)는 단속 차량 정보를 기초로 불법 주정차 중인 것으로 확인된 차량에 대한 과금 문서를 작성한다. 이 때 과금 문서에는 차량 번호, 차량의 단속 시간(주정차 시작 시각과 종료 시각), 단속시의 영상(주정차 시작 시점 및 불법 주정차 단속 기준의 초과 시점), 장소 등의 내용이 기재된다.
저장부(137)에는 각각의 카메라(110-1 내지 110-n)에 대응하는 감시 영역을 구성하는 하위 감시 영역을 촬영하기 위한 카메라 제어정보, 차량 영역 인식 정보, 번호판 영역 인식 정보, 주정차 차량 데이터 베이스, 차량 번호 데이터 베이스, 단속 차량 데이터 베이스 등이 저장된다.
망 접속부(138)는 유무선 통신망에 연결되어 각각의 카메라(110-1 내지 110-n)와 데이터를 송수신하기 위한 수단을 제공한다. 센터 장치(120)는 망 접속부(138)를 통해 각각의 카메라(110-1 내지 110-n)로 카메라 제어정보를 송신하며, 각각의 카메라(110-1 내지 110-n)로부터 촬영된 영상을 수신한다.
망 접속부(138)가 지원하는 네트워크 프로토콜의 예로는 TCP/IP, HTTP, ARP, PARP, ICMP, DHCP, FTP, SMTP 등이 있으며, 통신라인은 xDSL, 이더넷, LAN 등이 있다. 카메라(110-1 내지 110-n)와 센터 장치(130)는 다양한 통신방법에 의해 통신을 수행할 수 있으며, 일예로 xDSL 모뎀이 카메라(110-1 내지 110-n)와 센터 장치(130) 사이의 통신수단으로 채용될 수 있다.
이하, 도 3 및 도 4를 참조하여, 번호판 인식부(134)가 차량의 번호판의 위치를 추정하는 방법에 대하여 상세히 설명한다.
각각의 카메라(110-1 내지 110-n)로부터 실시간으로 수신된 영상에 대한 이미지 처리를 통해 차량 인식부(133)에 의해 차량 영역이 추출된 후, 추출된 차량 영역으로부터 번호판의 위치를 추정하게 된다.
본 실시예에서는 차량 영역이 일단 추출된 후, 번호판 위치를 탐색하게 되나, 본 발명은 이에 한정하지 않는다. 즉, 전술한 바와 같이, 본 발명은 차량 인식부(133)를 구비하지 않을 수 있으며, 그 경우에는, 촬상된 영상으로부터 직접 차량의 번호판의 위치를 탐색하게 된다.
자세히 살펴보면, 먼저, 번호판 인식부(134)가 카메라(110-1 내지 110-n)로부터 촬상된 영상을 분석함으로써, 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 복수개 선정한다(단계 S1).
여기서, 후보 부분들을 복수개 선정하기 위해 영상을 분석하는 방법으로는 컬러 좌표계를 이용한 영상 필터링 방법과 질감을 이용한 영상 필터링 방법이 사용 될 수 있다.
컬러 좌표계를 이용하는 영상 필터링 방법은 공개특허공보 제2005-0042096에 개시된 방법을 사용할 수 있다. 즉, 컬러 좌표계를 이용하는 영상 필터링 방법은, i)컬러 영상을 HSI 컬러 좌표계의 Hue 채널을 획득하는 단계, ii)YIQ 컬러 좌표계의 I와 Q채널을 획득하는 단계, ⅲ)상기 단계에서 얻어진 Hue와 I,Q 채널을 합쳐 H-IQ 컬러 좌표계를 만드는 단계, ⅳ)H-IQ 좌표계에 대한 변위에 기초하여 영상을 필터링하는 단계, ⅴ)필터링된 컬러 영상 정보를 바탕으로 상응하는 컬러 영상 위치 정보를 획득하는 단계를 포함하여 구성된다.
또한, 질감을 이용한 영상 필터링 방법도 공개특허공보 제2005-0042096에 개시된 방법을 사용할 수 있다. 즉, 질감을 이용하는 영상 필터링 방법은, i)컬러 영상을 그레이 영상으로 변환하는 단계, ii)수직 엣지(edge)를 추정하는 단계, ⅲ)엣지를 돋보이게 하는 다일레이션(dilation) 단계를 포함하여 구성된다.
상기와 같은 본 실시예에 따른 영상 필터링 방법들에는 영상 신호 노이즈 감쇠(noise reduction)를 위한 과정과, 미리 설정된 번호판의 기준 크기 이하 또는 기준 크기 이상의 블랍(blob)을 무시하는 블랍 라벨링(blob labeling) 방법이 포함된다.
본 실시예의 영상 필터링 방법들은 공개특허공보 제2005-0042096에 개시된 방법을 사용하나, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 선정할 수 있다면, 그 방법에 있어 특별한 제한은 없다.
한편, 도 4는, 상기의 방법을 이용하여, 촬상된 영상의 차량 영역(140) 중에 차량 번호판이 위치할 가능성이 높은 후보 부분들이 4개로 선정된 모습을 보여주는 도면이다.
여기서, 각 후보 부분들(141)(142)(143)(144)의 영상은 크기가 모두 상이하므로, 효율적인 영상처리 및 차후 기준 번호판 영상과의 비교를 위하여, 후보 부분들(141)(142)(143)(144)의 영상의 크기를 정규화한다(단계 S2). 즉, 각 후보 부분들(141)(142)(143)(144)의 크기를 동일하게 하는 작업을 수행한다.
그 다음, 후보 부분들(141)(142)(143)(144)의 영상들의 화질을 개선하는 단계를 수행한다(단계 S3). 여기서, 화질을 개선하는 방법으로서 컨트라스트(contrast) 향상 방법, 밝기 보상(lightness compensation) 방법 등이 사용될 수 있다.
그 다음, 화질이 개선된 후보 부분들(141)(142)(143)(144)의 영상들의 신호를 주파수 이용 분류기 및 공간 정보 이용 분류기로 처리한다(단계 S4-1, S4-2).
여기서, 주파수 이용 분류기란 영상 신호의 주파수를 FFT(Fast Fourier Transform), DCT(Discrete Cosine Transform) 등의 방법으로 처리하여 유사도 값을 산출하는 장치이다.
즉, 주파수 이용 분류기에는, 기준이 되는 번호판의 영상 신호의 기준 주파수 값들이 계산되어 미리 입력된다. 이 후, 후보 부분들(141)(142)(143)(144)의 영상들의 신호를 주파수 영역으로 처리하여, 상기 미리 입력된 기준 주파수 값들과 비교하여 유사도 값을 출력한다. 여기서, 유사도 값은 기준 번호판의 영상 신호와 비슷하면 비슷할 수록 높은 수치를 나타내는데, 본 실시예의 경우에는 단일의 수치로 나타내는데, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 출력되는 유사도 값은 복수개의 수치로 나타낼 수도 있다.
한편, 공간 정보 이용 분류기란 영상 신호를 Template 방법 등을 사용하여 픽셀 별로 처리하여, 유사도 값을 산출하는 장치이다.
즉, 공간 정보 이용 분류기에는, 기준이 되는 번호판 영상의 각 픽셀 당 계조 값들이 계산되어 미리 입력된다. 이 후, 후보 부분들(141)(142)(143)(144)의 영상들의 각 픽셀 당 계조 값들과, 그에 대응하는 상기 미리 입력된 번호판 영상의 각 픽셀 당 계조 값들과 비교하여 유사도 값을 출력한다. 여기서, 유사도 값은 기준 번호판의 영상 신호와 비슷하면 비슷할 수록 높은 수치를 나타내는데, 본 실시예의 경우에는 단일의 수치로 나타내는데, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 출력되는 유사도 값은 복수개의 수치로 나타낼 수도 있다.
본 실시예에 따른 공간 정보 이용 분류기는 번호판의 영상의 픽셀 당 계조 값을 계산하여 비교하나, 본 발명은 이에 한정하지 않는다. 즉, 계조 외에 픽셀 당 다른 성질을 서로 비교하여 유사도 값을 산출할 수 있다.
본 실시예에서 후보 부분들(141)(142)(143)(144)의 영상들의 신호를 처리함에 있어서, 주파수 이용 분류기와 공간 정보 이용 분류기의 2가지 분류기를 거쳐서 처리하는 이유는 다음과 같다. 즉, 외부 조명의 변화나 번호판의 인위적인 변형에 의하여, 어떤 경우는 주파수 이용 분류기로부터 산출된 유사도 값이 높게 나타나는 경우가 있고, 또 어떤 경우는 공간 정보 이용 분류기로부터 산출된 유사도 값이 높 게 나타나는 경우가 있어, 두 개의 분류기를 모두 사용하여 분석하면, 누락됨이 없이 실제 번호판 영역을 효과적으로 찾을 수 있기 때문이다.
그 다음, 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 각각 산출된 유사도 값들을 정규화하고, 상기 유사도 값들에 가중치를 부여한다(단계 S5-1, 단계 S5-2). 즉, 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 산출된 유사도 값들을 정규화하고, 가중치를 부여하여 서로 비교가 가능하게끔 가공한다.
우선, 주파수 이용 분류기로부터 바로 산출된 유사도 값을 정규화시킨다. 즉, 주파수 이용 분류기로부터 나온 유사도 값의 정규화의 기준으로는, 정규화된 유사도 값의 최소값이 0이고, 최대값이 1을 넘지 않도록 정규화시킴으로써, 정규화된 유사도 값 Sim_Fi을 구한다. 예를 들어, 주파수 이용 분류기로부터 나올 수 있는 유사도 값의 최소값이 0이고, 최대값이 1000이라고 가정하면, 주파수 이용 분류기로부터 바로 산출된 유사도 값이 500인 경우에, 그 유사도 값의 정규화된 값 Sim_Fi은 0.5의 값을 가지도록 정규화 된다. 즉, 그 경우, 바로 산출된 유사도 값 500에 정규화 인자 0.001을 곱하여 정규화를 행한다.
마찬가지의 방법으로, 공간 정보 이용 분류기로부터 산출된 유사도 값을 정규화시킨다. 즉, 공간 정보 이용 분류기로부터 나온 유사도 값의 정규화의 기준으로는, 정규화된 유사도 값의 최소값이 0이고, 최대값이 1을 넘지 않도록 정규화시킴으로써, 정규화된 유사도 값 Sim_Si을 구한다. 예를 들어, 주파수 이용 분류기로부터 나올 수 있는 유사도 값의 최소값이 0이고, 최대값이 400이라고 가정하면, 주파수 이용 분류기로부터 바로 산출된 유사도 값이 100인 경우에, 그 유사도 값의 정규화된 값 Sim_Si은 0.25의 값을 가지도록 정규화 된다. 즉, 그 경우, 바로 산출된 유사도 값 100에 정규화 인자 0.0025를 곱하여 정규화를 행한다.
본 실시예에서는 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 나온 유사도 값의 정규화의 기준으로서, 정규화된 유사도 값의 최소값이 0이고, 최대값이 1을 넘지 않도록 정규화시키나, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 나온 유사도 값의 정규화의 기준이 동일하여, 주파수 이용 분류기 및 공간 정보 이용 분류기로부터 나온 유사도 값의 비교가 용이할 수 있다면, 정규화의 기준에는 특별한 제한이 없다.
상기와 같이 정규화된 유사도 값 Sim_Fi 및 Sim_Si를 구한 후에는, 상기의 정규화된 유사도 값 Sim_Fi 및 Sim_Si에 가중치를 부여한다.
여기서, 가중치의 부여 방법은 가중치 인자 α(0≤α≤1)를 이용하는데, 다음의 수학식 1 및 수학식 2를 이용하여, 가중치가 부여된 유사도 값 Sim_Ff와 Sim_Sf를 구한다.
Figure 112007033917385-PAT00001
Figure 112007033917385-PAT00002
여기서, 가중치를 부여하는 이유는 주파수 이용 분류기와 공간 정보 이용 분 류기의 특성이 다르기 때문에 이를 적절하게 보정하기 위한 것이다. 즉, 가중치 인자 α를 구하기 위해서는, 주파수 이용 분류기와 공간 정보 이용 분류기를 이용하여, 실제 번호판의 위치 추정 실험을 반복 수행하여 구하게 된다. 또한, 가중치 인자 α는 카메라에서 얻어지는 영상의 화질, 영상의 압축 여부 등에 따라서 그 값이 조정될 수 있다.
그 다음, 상기 정규화되고 가중치가 부여된 유사도 값들을 취합하여 서로 비교함으로써, 상기 정규화되고 가중치가 부여된 유사도 값들 중 가장 큰 값을 가지는 후보 부분을 차량 번호판 위치로 결정한다(단계 S6).
예를 들어, 도 4의 후보 부분들(141)(142)(143)(144)의 각각의 유사도 값이 다음과 같을 경우를 가정한다. 여기서, 가중치 인자 α를 0.6로 놓고 계산한다.
Sim_Fi Sim_Si Sim_Ff Sim_Sf
후보 부분 141 0.3 0.5 0.18 0.2
후보 부분 142 0.5 0.8 0.3 0.32
후보 부분 143 0.4 0.6 0.24 0.24
후보 부분 144 0.2 0.3 0.12 0.12
여기서, 후보 부분들(141)(142)(143)(144)의 Sim_Ff 및 Sim_Sf의 값을 통틀어 가장 큰 값은 후보부분(142)의 Sim_Sf 값인 0.32이다. 따라서, 후보 부분(142)이 차량의 번호판 위치로 결정되게 된다.
여기서, 차량의 번호판 위치로 결정되기 위해서는, 각 후보 부분의 Sim_Ff의 값과 Sim_Sf의 값을 더하거나 곱한 값으로 결정되는 것이 아니고, Sim_Ff 및 Sim_Sf의 값을 통틀어 가장 큰 최대값을 가지는 것이 선택되고, 그 최대값을 가지는 후보 부분이 번호판 영역으로 결정되게 된다.
상기와 같은 결정 방법은, 외부 조명, 기상 조건 등의 악화로 인해 촬상된 차량 번호판의 영상 신호가 왜곡됨으로써, 주파수 이용 분류기와 공간 정보 이용 분류기 중 어느 하나로부터 산출되는 유사도 값이 정확하게 나오지 않더라도 나머지 하나에서 산출되는 유사도 값으로 차량 번호판 위치를 결정할 수 있게 한다.
비교예를 들면, 도 4의 촬영 영상에서, 폭우로 인해 영상 신호가 왜곡되어 공간 정보 이용 분류기의 처리가 부정확해지는 경우, 다음의 표 2와 같이 유사도 값이 계산되었다고 가정한다. 이 때의 가중치 인자 α의 값도 전술한 예의 경우와 같이 0.6라 한다.
Sim_Fi Sim_Si Sim_Ff Sim_Sf
후보 부분 141 0.3 0.2 0.18 0.08
후보 부분 142 0.5 0.1 0.3 0.04
후보 부분 143 0.4 0.2 0.24 0.08
후보 부분 144 0.2 0.1 0.12 0.04
상기의 표 2에 나타난 바와 같이, 공간 정보 이용 분류기의 기능이 제대로 발휘되지 않아, 전체적으로 Sim_Sf 들의 유사도 값이 낮은데다가, 실제 번호판 영역인 후보 부분(142)의 Sim_Sf의 값은 후보 부분(143)의 Sim_Sf의 값 보다 작게 된다. 그러나, 본 실시예의 결정 방법에 따르면, Sim_Ff 및 Sim_Sf의 값을 통틀어 가장 큰 값인 0.3을 가지는 후보 부분(142)이 선택되기 때문에, 이 경우에도 후보 부분(142)이 번호판 영역으로 결정된다. 이와 같이, 본 실시예에 따르면, 공간 정보 이용 분류기로부터 산출되는 유사도 값이 정확하지 않더라도 차량 번호판 위치를 정확하게 결정할 수 있게 된다.
또한, 상기 비교예로서, 공간 정보 이용 분류기의 기능이 제대로 작동되지 않는 경우를 설명하였으나, 상기와 같은 설명은 주파수 영역 분류기의 기능이 제대로 작동되지 않은 경우에도 마찬가지로 적용될 수 있음은 물론이다.
이상과 같은 방법으로, 번호판으로 결정되는 후보 부분이 결정되고 나면, 그 번호판으로 결정된 후보 부분(142)의 영역의 문자를 식별하는 공정이 진행되는데, 그러한 방법은 공지의 문자 인식 방법이 사용될 수 있다.
본 실시예에 따르면, 번호판 인식부(134)가, 차량 번호판의 위치를 추정하는 작업과, 위치가 추정된 번호판의 문자를 인식하는 작업을 모두 수행하지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 상기와 같이 설명한 차량 번호판 위치 추정 방법만을 수행하는 별개의 차량 번호판 위치 추정 장치가 구성될 수 있다. 별개로 구성되는 경우, 그 차량 번호판 위치 추정 장치의 하드웨어 형식은, 전자 회로가 될 수 있고, 차량 번호판 위치 추정 방법의 소프트웨어가 탑재된 롬(ROM) 등의 형식이 될 수도 있다. 한편, 별개의 차량 번호판 위치 추정 장치가 구성되는 경우에는, 차량 번호판의 문자를 인식하는 별개의 차량 번호판 문자 인식 장치가 필요하게 된다.
이상과 같이, 번호판의 위치를 추정한 후, 번호판의 문자를 인식하게 되면, 단속 수행부(136)는 전술한 바와 같이 단속 작업을 수행하게 된다.
이상과 같이 본 실시예의 차량 번호판 위치 추정 방법에 따르면, 주파수 이용 분류기와 공간 정보 이용 분류기로부터 산출된 유사도 값을 서로 비교가 가능하도록 정규화하고, 정규화된 유사도 값들 중 최대값을 가지는 후보 부분을 차량 번호판 영역으로 결정함으로써, 주파수 이용 분류기와 공간 정보 이용 분류기 중 어느 하나로부터 산출되는 유사도 값이 정확하게 나오지 않더라도 나머지 하나에서 산출되는 유사도 값으로도 정확한 번호판 위치를 결정할 수 있게 된다. 그렇게 되면, 촬상된 영상에서 차량 번호판의 위치를 정확하게 결정할 수 있게 됨으로써, 효율적인 주정차 단속이 이루어질 수 있게 된다.
상술한 바와 같이, 본 발명에 따르면, 촬상 장치로부터 취득된 영상에서 차량의 번호판의 위치를 정확하게 추정할 수 있는 효과가 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (10)

  1. 촬상 장치를 구비한 주정차 감시 시스템의 차량 번호판 위치 추정 방법에 있어서,
    (a) 상기 촬상 장치로부터 촬상된 영상을 분석함으로써, 상기 촬상된 영상의 부분 중 차량 번호판이 위치할 가능성이 높은 후보 부분들을 복수개 선정하는 단계;
    (b) 상기 선정된 후보 부분들의 각각의 영상 신호를 주파수 이용 분류기와 공간정보 이용 분류기로 각각 처리하는 단계;
    (c) 상기 주파수 이용 분류기 및 상기 공간 정보 이용 분류기에서 산출된 유사도 값들을 상호 비교를 위해 정규화하고 가중치를 부여하는 단계; 및
    (d) 상기 정규화되고 가중치가 부여된 유사도 값들을 취합하여 서로 비교함으로써, 상기 정규화되고 가중치가 부여된 유사도 값들 중 가장 큰 값을 가지는 후보 부분을 차량 번호판 위치로 결정하는 단계;를 포함하는 차량 번호판 위치 추정 방법.
  2. 제1항에 있어서,
    상기 (a)단계에서 상기 후보 부분들을 선정하기 위하여, 상기 촬상된 영상에 컬러 좌표계를 이용한 영상 필터링 방법을 적용하는 차량 번호판 위치 추정 방법.
  3. 제1항에 있어서,
    상기 (a)단계에서 상기 후보 부분들을 선정하기 위하여, 상기 촬상된 영상의 질감을 이용한 영상 필터링 방법을 적용하는 차량 번호판 위치 추정 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 영상 필터링 방법들은 일정 크기 이하 또는 일정 크기 이상의 블랍(blob)을 무시하는 블랍 라벨링(blob labeling) 방법을 이용하는 차량 번호판 위치 추정 방법.
  5. 제1항에 있어서,
    상기 (a)단계와 (b)단계 사이에서는,
    (e) 상기 선정된 후보 부분들의 영상의 크기를 정규화하는 단계; 및
    (f) 상기 (e)단계를 거친 영상들의 화질을 개선하는 단계;를 더 포함하는 차량 번호판 위치 추정 방법.
  6. 제5항에 있어서,
    상기 (f)단계에서 화질을 개선하는 단계는 컨트라스트(contrast) 향상 방법을 이용하는 차량 번호판 위치 추정 방법.
  7. 제5항에 있어서,
    상기 (f)단계에서 화질을 개선하는 단계는 밝기 보상(lightness compensation) 방법을 이용하는 차량 번호판 위치 추정 방법.
  8. 제1항에 있어서,
    상기 (b)단계에서 상기 선정된 후보 부분들의 각각의 영상 신호를 상기 주파수 이용 분류기로 처리하는 과정은,
    미리 입력된 기준 번호판의 영상 신호의 주파수 값들과, 상기 선정된 후보 부분들의 영상 신호의 주파수 값들을 비교함으로써, 유사도 값을 산출하는 과정을 포함하는 차량 번호판 위치 추정 방법.
  9. 제1항에 있어서,
    상기 (b)단계에서 상기 선정된 후보 부분들의 각각의 영상 신호를 공간 정보 이용 분류기로 처리하는 과정은,
    미리 입력된 기준 번호판의 영상의 픽셀들의 계조 값들과, 상기 선정된 후보 부분들의 영상의 픽셀들의 계조 값들을 비교함으로써, 유사도 값을 산출하는 과정을 포함하는 차량 번호판 위치 추정 방법.
  10. 제1항 내지 제9항 중 어느 하나의 항의 차량 번호판 위치 추정 방법을 수행하는 차량 번호판 위치 추정 장치.
KR1020070044210A 2007-05-07 2007-05-07 차량 번호판 위치 추정 방법 KR101218302B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070044210A KR101218302B1 (ko) 2007-05-07 2007-05-07 차량 번호판 위치 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070044210A KR101218302B1 (ko) 2007-05-07 2007-05-07 차량 번호판 위치 추정 방법

Publications (2)

Publication Number Publication Date
KR20080098850A true KR20080098850A (ko) 2008-11-12
KR101218302B1 KR101218302B1 (ko) 2013-01-03

Family

ID=40286075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070044210A KR101218302B1 (ko) 2007-05-07 2007-05-07 차량 번호판 위치 추정 방법

Country Status (1)

Country Link
KR (1) KR101218302B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101298937B1 (ko) * 2011-11-11 2013-08-23 서강대학교산학협력단 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
KR101484043B1 (ko) * 2010-09-02 2015-01-19 한국전자통신연구원 차량 식별자 인식 시스템 및 그 방법
KR20160125824A (ko) * 2015-04-22 2016-11-01 한국전자통신연구원 차량 번호판 검출 장치 및 방법
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置
CN109270952A (zh) * 2018-09-19 2019-01-25 清远市飞凡创丰科技有限公司 一种农田信息获取系统及方法
KR102222109B1 (ko) * 2020-01-17 2021-03-03 유한회사 홍석 불법 주정차 단속 이미지 통합 관리 시스템
KR102383377B1 (ko) * 2021-06-02 2022-04-08 (주)트루엔 차량용 번호판을 인식하기 위한 전자 장치
KR20230038884A (ko) * 2021-09-13 2023-03-21 주식회사 디코 차량 번호 자동인식 시스템 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100705660B1 (ko) * 2005-03-21 2007-04-10 비알아이티(주) 컬러영상의 위치 추정 방법 및 그 방법에 따른 차량 번호판번호 인식 및 위치추정 장치
KR100657970B1 (ko) * 2005-09-15 2006-12-14 삼성전자주식회사 Dct 계수를 이용한 얼굴 검출방법 및 장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101484043B1 (ko) * 2010-09-02 2015-01-19 한국전자통신연구원 차량 식별자 인식 시스템 및 그 방법
KR101298937B1 (ko) * 2011-11-11 2013-08-23 서강대학교산학협력단 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
KR20160125824A (ko) * 2015-04-22 2016-11-01 한국전자통신연구원 차량 번호판 검출 장치 및 방법
CN107203754A (zh) * 2017-05-26 2017-09-26 北京邮电大学 一种基于深度学习的车牌定位方法及装置
CN107203754B (zh) * 2017-05-26 2019-04-12 北京邮电大学 一种基于深度学习的车牌定位方法及装置
CN109270952A (zh) * 2018-09-19 2019-01-25 清远市飞凡创丰科技有限公司 一种农田信息获取系统及方法
KR102222109B1 (ko) * 2020-01-17 2021-03-03 유한회사 홍석 불법 주정차 단속 이미지 통합 관리 시스템
KR102383377B1 (ko) * 2021-06-02 2022-04-08 (주)트루엔 차량용 번호판을 인식하기 위한 전자 장치
KR20230038884A (ko) * 2021-09-13 2023-03-21 주식회사 디코 차량 번호 자동인식 시스템 및 그 방법

Also Published As

Publication number Publication date
KR101218302B1 (ko) 2013-01-03

Similar Documents

Publication Publication Date Title
KR101218302B1 (ko) 차량 번호판 위치 추정 방법
KR101758684B1 (ko) 객체 추적 장치 및 방법
KR101935399B1 (ko) 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템
EP2959454B1 (en) Method, system and software module for foreground extraction
US8050456B2 (en) Vehicle and road sign recognition device
KR100703956B1 (ko) 차량의 번호판 인식 시스템 및 이를 처리하는 방법
US8326084B1 (en) System and method of auto-exposure control for image acquisition hardware using three dimensional information
CN101512549A (zh) 数字图像采集装置中的实时人脸追踪
CA2818579A1 (en) Calibration device and method for use in a surveillance system for event detection
KR101224164B1 (ko) 번호판영역 검출을 위한 전처리 방법 및 장치
KR100948382B1 (ko) 방범 서비스 방법 및 시스템
CN111612104A (zh) 车辆定损图像获取方法、装置、介质和电子设备
KR101553589B1 (ko) Lpr 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법
US20220366570A1 (en) Object tracking device and object tracking method
Chen et al. Robust license plate detection in nighttime scenes using multiple intensity IR-illuminator
CN111582118A (zh) 一种人脸识别方法及装置
JP2013214143A (ja) 車両異常管理装置、車両異常管理システム、車両異常管理方法、及びプログラム
KR101911239B1 (ko) 불법 주정차 단속을 위한 채널 확대 운영 시스템
JP2008257574A (ja) 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
CN106778765B (zh) 一种车牌识别的方法及装置
KR101381580B1 (ko) 다양한 조명 환경에 강인한 영상 내 차량 위치 판단 방법 및 시스템
KR20150055652A (ko) 차량 번호판 인식 시스템 및 방법
KR100801989B1 (ko) 번호판 인식 시스템,전처리 장치 및 방법
KR20140000402A (ko) 스테레오 카메라를 이용한 차량 검지 방법 및 장치
CN115923607A (zh) 座椅参数调节方法、设备、存储介质及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 8