KR100508763B1 - 스테레오 비전을 이용한 자동차 번호판 추출 및 인식시스템 및 그 방법 - Google Patents

Abstract

본 발명은 스테레오비전을 이용한 자동차번호판 추출 및 인식 시스템이다. 본 발명에 따른 자동차 번호판 추출 및 인식 시스템은 스테레오비전을 이용함으로써 자동차영상을 획득하기 위해 설치하는 카메라의 설치 및 촬영 위치에 대한 제한조건을 줄여 사용범위를 넓혔으며, 이로 인해 발생할 수 있는 목표차량에 대한 다양한 영상과 영상 내 차량번호판영역에 대하여 스테레오 영상 특성으로부터 정보를 구하여 자동차번호판 영역을 자동 추출하고, 자동 인식하는 시스템을 제공한다.

스테레오 영상을 이용하여 카메라와 목표 차량과의 거리를 알아내어 지속적으로 감시하고 적정거리 시점에 이르러 획득된 스테레오 영상으로부터 차량번호영역을 추출한다. 추출된 차량번호영역의 기울어짐, 각, 크기 및 위치정보를 검출하고 이들 정보를 이용하여 차량 번호영역으로부터 차량 번호를 인식함으로써, 촬영위치의 변화, 기울어짐, 크기 변화, 노이즈 등에 강한 번호판 추출 및 인식을 제공할 수 있게 된다.

Description

스테레오 비전을 이용한 자동차 번호판 추출 및 인식 시스템 및 그 방법{SYSTEM FOR DETECTING AND RECOGNIZING A CAR PLATE AREA BY USING STEREO VISION AND METHOD THEREOF}

본 발명은 자동차 번호판 추출 및 인식 시스템 및 그 방법에 관한 것으로서, 더욱 구체적으로는 두 대의 카메라로부터 촬영되는 스테레오 영상을 이용하여 차량과 카메라와의 관계, 스테레오 영상과 목표차량과의 관계 등의 정보를 추출해내고 이를 이용하여 자동차번호판 영역을 추출하고, 인식률을 높이기 위한 영상 데이터로 변환하여 번호판정보를 인식하는 자동차 번호판 추출 및 인식 시스템에 관한 것이다.

종래에는 고정형의 레이저나 루프코일 방식 혹은 이동형의 레이저기술을 이용하여 차량이 지나갈 때 발생한 자장의 크기변화나 레이저반사파의 시간 등을 이용하여 차량위치정보를 획득하고 차량영상의 확보 여부를 결정한 후 촬영 이벤트가 발생하면 단독카메라를 사용하여 목표차량의 영상을 획득하였다.그러나, 영상촬영 여부를 결정하는 이벤트 발생원인 이들 루프코일 혹은 레이저의 노후화나 통신간섭으로 인한 신뢰성 악화로 촬영된 차량영상이 안정적인 특징을 가지지 못하여 이를 실시간 자동 영상인식으로 적용하는데 많은 어려움이 있어 왔으며 촬영된 영상은 추후 관계자가 일일이 수동으로 차량정보를 검색, 정리하는 방식을 취해왔다.

종래의 자동영상인식 장치를 도입한 도로차량 감시 시스템의 경우, 번호판을 추출,인식하기 위해서는 도로의 특정 지점을 통과하는 차량에 대해 위치정보의 획득은 여전히 종래의 고정형의 레이저나 루프코일 방식 혹은 이동형의 레이저 기술방식을 이용하도록 되어 있으며 도로중앙 상단에 별도의 설치물을 두어 원거리 전방에서 근거리 후방으로 지나가는 차량에 대한 영상을 획득하였다.

종래의 도로 중앙 상단에 설치된 별도 설치물은 이를 포함한 도로감시 카메라 시스템을 설치하는데 드는 비용 비중에서 전체의 절반 이상을 차지하고 있으며 그 가격 또한 수천만원에 이르는 고가를 형성하고 있다. 종래의 영상자동인식 카메라시스템의 경우 설치환경이 열악한 곳에서는 설치비용이 많이 들뿐만 아니라 별도의 설치물이 필요하다.

종래의 차량 자동영상획득 시스템의 경우 한 차선 당 하나의 카메라를 설치하는 제한된 촬영범위와 조건 하에서 목표차량에 대한 영상을 획득 할 수 있도록 되어 있다. 설치된 카메라 위치를 기준으로 이미 결정된 촬영각과 거리라는 조건 하에서 영상을 획득, 처리할 수 있게 되는 것이다. 따라서, 그 조건에서 벗어나는 경우, 양호한 차량영상을 획득하기 어려운 실정이다.

종래에는 목표차량을 촬영하는데 있어 차량이 앞차에 연달아 주행하거나 정체, 혹은 다른 이유 등으로 정차되어 있는 경우 카메라 사각이 존재하게 되어 뒤차의 번호판이 가려져 뒤에 위치한 목표차량에 대한 번호판 영상 획득에 실패할 수 있는 문제점이 있다.

종래에는 자동차번호판을 인식하기 위해 번호판에 대하여 정면에 가까운 영상을 획득하기 위한 노력을 해오고 있다. 이것은 정면이 아닌 측면이나 위 혹은 아래에서 촬영된 영상의 경우 인식률의 저하를 가져오게 됨에 따라 차량번호판이 정면에 가까운 형태로 찍히도록 카메라의 위치와 높이를 설정해야 했다. 따라서, 차량이 지나가는 도로상에 설치하기는 어려움에 따라 도로에서 수m 떨어진 높이에 구조물을 설치하고 거기에 카메라를 설치하여 자동차의 정면 영상을 확보하고자 하였다.

종래의 이동형 차량감시장치 등을 운영하는 관계자들은 도로 가에 이동형 장비를 설치한 후 자동 혹은 수동에 의한 과속, 차선위반 등등의 해당차량에 대한 영상을 확보하였다. 확보된 영상은 수동으로 차량정보가 입력되어 관계기관에 전송되어지는 방식을 따르고 있다. 여기서, 확보된 영상을 자동번호판 자동인식과 연결하지 못하고 일일이 수동으로 입력해야만 하는 한계를 가진다. 이것은 목표차량을 도로 가에서 찍은 측면 영상이므로 자동차 번호판은 우리가 정면에서 바라본 직사각형의 모양이 아니라 가로 혹은 세로로 기울어짐과 함께 소실점이 있는 영상특성을 가진다. 따라서, 영상데이터의 어느 부분이 측면 임의각에서 바라본 기울어진 번호판 영역에 해당하는 지를 먼저 찾아 낼 수 있어야 하며 최소한 번호판의 네 개의 외곽지점을 정확히 찾아내야만 정확한 기하학적 변환이 가능하다. 찾아진 기하학적 변환을 위한 매칭 포인트를 시작으로 자동차 번호판은 번호 문자인식에 유리하도록 변환을 할 수 있게 되는 것이다. 따라서, 종래의 시스템으로는 번호판의 위치를 자동으로 추출하기도 어려울 뿐만 아니라 추출된 번호판 영상은 기울어지거나 소실점을 가지는 변형된 사각형의 번호판영역에 포함된 차량번호영상을 그대로 인식에 적용하여 차량감시장치를 운영하는 것은 인식률 저하를 가져와 실제 적용하여 사용하기는 불가능하기 때문이다. 즉, 영상으로부터 차량번호판의 영역을 정확히 찾아내어야 인식에 유리하도록 기하학적 변환이 가능하며 변환을 마친 번호판영역영상은 인식률을 높여 실제 시스템에 적용가능하지만 종래의 시스템은 그러한 기능을 제공하고 있지 못하다.

전술한 문제점을 해결하기 위한 본 발명의 제 1목적은, 각 차선 중앙 등에 별도의 시설물을 설치하여 차량 감시카메라를 설치 해야만 할 필요 없이 기존의 시설물을 이용하여 다양한 위치와 높이,거리에 차량감시를 위한 스테레오 카메라를 설치하여 차량영상을 확보하고 이들 영상으로부터 차량이 현재 카메라로부터 얼마의 거리에 있는지, 스테레오 영상을 이용하여 목표차량이 어느 영역에 있는지를 지속적으로 알아낼 수 있는 자동차 위치검출 시스템을 제공하는 것이다.

또한, 본 발명의 제2 목적은, 한 쌍의 영상 즉, 동일한 목표차량에 대하여 왼쪽 카메라로 입력된 영상과 오른쪽 카메라로 입력된 영상 데이터를 이용하여 자동차의 번호판 위치를 검출함으로써 촬영 사각영역을 최대한 줄이고 별도의 시설물 없이 다양한 촬영위치 설정이 가능하도록 하면서 차량의 번호판정보에 대한 자동인식이 가능하도록 정보를 제공하는,차량번호판 위치 검출 시스템을 제공하는 것이다.

또한, 본 발명의 제3 목적은. 차량과 카메라간의 거리, 스테레오 매칭 특성을 이용한 자동차 번호판 영역검출, 자동차 번호판의 기울어진 정도, 번호판을 보는 각도, 번호판의 크기 정보 등을 검출 해내고 이러한 정보를 이용하여 추출된 자동차의 최종 번호판 영역을 기하학적 변환을 통해 문자인식을 위한 가상 이상적인 조건의 가상영상으로 재구축하는 문자인식을 위한 선행 영상변환시스템을 제공하는 것이다. 이렇게 형성된 문자인식을 위한 변환영상은 번호판 자동 문자 인식과정을 거쳐 완성된다.

본 발명에 의하여, 종래의 차량위치 검출을 위해 설치한 루프코일이나 레이저 방식의 설비가 잦은 도로공사나 과적차량의 도로 훼손 등으로 유지보수가 어렵고 신뢰성이 저하되던 문제점은 두 대의 카메라를 이용하여 스테레오 영상을 획득하고 이들 스테레오 영상으로부터 목표차량과 카메라간의 거리를 정확하게 계산 해 낼 수 있음으로 해서 더 이상 종래의 차량검출을 위한 공사설비가 필요 없게 됨으로 해서 해소 되었으며 더불어 종래의 시스템과는 달리 가장 선명한 최적의 차량영상을 확보 할 수 있게 되었다.

또한, 도로의 중앙상단에 별도의 설치물이라는 제한된 촬영조건이 아니라 별도의 시설물 없이 기존의 시설물을 이용 할 수 있도록 되어 있어 설치비가 저렴하고 유지비도 절감할 수 있게 되었으며 설치환경이 열악한 곳에도 별도의 구조물을 두지 않고 기존 구조물을 이용할 수 있게 되어 더욱 경제적이다.

반드시 도로중앙 상단에 설치 할 필요 없이 도로가, 측면상단 등의 다양한 위치에 설치 운영이 가능하다. 이것은 종래의 한 차선 당 하나의 카메라를 두어 목표차량을 촬영하는 방식에서 벗어나 카메라의 해상도와 촬영위치에 따라 여러 차선을 통과 하는 차량을 동시에 촬영할 수 있는 기능을 가진다.

본 발명이 이루는 시스템은 도로의 어디든 설치할 수 있어 종래시스템에 비해 목표차량에 대한 카메라 촬영 사각을 줄였다.즉, 촬영환경이 열악한 차량 정체 환경이라든가 병렬주차 등의 주차차량 관리시스템 등에서도 번호판 영역에 대한 영상 획득이 가능하다. 이것은 스테레오 영상을 이용하여 측면에서 촬영한 목표차량영상으로 부터도 자동차 번호판영상 정보를 획득할 수 있으며 스테레오 영상 특성을 이용하여 추출된 번호판 영상으로부터 번호판정보 인식이 가능하기 때문이다. 따라서,자동차의 정면에 가까운 영상을 획득하기 위해 도로 상단이라는 카메라 위치제한을 따를 필요도 없으면서 목표차량의 번호판영상을 획득 가능하게 하는 것이다.

스테레오비전 특성을 이용하여 자동으로 자동차번호판 영역을 추출,변환,인식 함으로써 종래의 이동형 차량감시장치가 측면에서 촬영한 영상을 수동으로 정보를 입력하던 문제점을 해결하였다. 한대의 카메라로 구성된 이동형 차량감시장치는 차량의 위치확보를 위해 레이저 기술을 사용하고 있으며 이벤트가 발생시 영상을 확보하도록 되어 있다. 그러나,이때 확보된 차량영상으로부터 번호판영역을 추출하고 인식하기는 어렵다. 즉, 이러한 문제점은 스테레오 영상과 스테레오 특성을 이용하여 번호판 영역을 추출해내고 기하학적 변환을 거쳐 차량번호판을 인식률을 높일 수 있는 형태로 정규화하고 이를 바탕으로 번호판 문자인식을 함으로써 가능하게 되었다.

본 발명이 이루는 시스템은 스테레오 카메라를 이용하여 스테레오 영상을 획득하는 단계에서부터 임의순간의 스테레오 영상으로부터 목표차량이 어느 위치에 있는 지를 알아 낼 수 있으므로 한대의 카메라 만으로 목표차량의 위치를 정확히 계산해 낼 수 없어 적정위치에서의 차량영상 획득을 위해 루프코일 등의 외부 트리거 신호가 필요했던 종래 시스템에 비해 스테레오 카메라와 획득영상을 이용하여 목표차량의 정확한 위치를 계산해 낼 수 있게 되었다. 즉, 그 결과 정확한 거리 산출에 따라 촬영된 영상은 기 설정된 카메라의 촬영조건과 초점거리 등의 정보에 따라 최적의 촬영조건이 되었을 때 스테레오 영상을 확보하게 된다.

이러한 조건과 정보 하에 획득된 스테레오 영상이므로 영상인식에 의한 자동 차량번호인식 시스템의 기초영상 데이터는 가장 좋은 조건으로 확보되게 된다.

이미 알고 있는 카메라와 목표차량과의 거리 정보와 함께 확보한 스테레오 영상으로부터 차량번호판 영역의 위치와 크기,기울어진 정도를 정확하게 알아 낼 수 있다. 즉, 거리정보로부터 구한 차량 번호판의 크기와 위치 정보, 그리고 스테레오 영상 특성을 이용하여 차량번호판의 특징 포인트를 찾아냄으로써 기울어진 각도를 알아내고 이러한 정보를 차량번호 영역을 정규화 하는데 이용함으로써 신뢰성 있는 차량번호 인식이 가능하도록 하였다.

촬영 하고자 하는 임의의 위치에 스테레오비전 방식의 카메라를 설치하고 카메라를 통해 들어오는 목표 차량에 대한 영상으로부터 어느 지점을 통과하는지 그 차량의 위치를 계산해내고 최적의 위치에 도달했을 때 영상을 획득한다. 이렇게 획득된 스테레오 영상이 자동차번호판 추출 및 인식을 위한 기초영상 데이터로 사용된다.

스테레오 영상, 카메라 촬영조건, 이로부터 추출된 차량과 카메라의 거리 정보, 거리정보로부터 추출할 수 있는 자동차번호판의 개략적인 크기와 위치, 이로부터 번호판 추출을 위한 검색 영역 설정, 설정된 검색영역 내에서 스테레오 매칭 특성을 이용하여 차량번호판의 위치와 크기,기울기 촬영각 등을 정확하게 추출해 낼 수 있다. 추출된 번호판영역에 대한 좌표와 크기,기울기 데이터는 정확한 차량번호인식에 좀 더 유리하도록 기하학적 변환과정을 거쳐 영상을 재구축하고 정규화 한다.

정규화 한 번호판 영상으로부터 차량번호 각각에 대한 추출, 인식을 수행하며 그 인식된 차량번호 결과는 차량정보 관리 시스템에 전송하는 장치에 대해 제시한다. 본 고안은 종래의 루프코일방식이나 레이저검출기가 설치된 전주 방식을 필요로 하지 않고 스테레오비전을 이용한 자동차 번호판 인식 시스템이므로 이동설치가 가능하며 따라서,원하는 위치 어디서든 스테레오비전을 이용한 고정 설치형 자동차번호판 인식시스템은 물론, 이동형 설치 혹은 주행형 자동차번호판 인식 시스템을 운영 할 수 있도록 하였다.

연속하여 받아 들인 스테레오 영상은 스테레오 비전 특성에 의해 동일 차량에 대해 두개의 시점영상을 입력 받게 된다. 이때, 통과하는 목표차량에 대한 차량번호 추출 및 인식을 실시간으로 수행하기 위해서는 스테레오 매칭 특성을 이용하면서도 실시간 처리가 가능하도록 해야 하는 문제점이 있다.

따라서, 본 발명에서는 연속해서 들어오는 스테레오 영상으로부터 카메라와 목표차량과의 거리를 이용하여 자동차 번호판의 기울어진 각과 크기, 위치를 알아냄으로써 보다 빠르게 번호판 영역을 추출하고, 스테레오 영상을 이용하여 인식처리시 상호보완데이터로 활용함으로써 햇빛, 기울어짐, 난반사 등의 노이즈에도 강하고 데이터 리던던시도 제공하게 하여 자동차 번호판 인식률을 개선하였다. 즉, 임의 위치에 설치된 스테레오 카메라로부터 촬영한 특정차량의 스테레오 이미지가 수평 스캔라인을 따라 매칭을 해보면 한쪽 이미지에 존재하는 픽셀은 다른 한쪽 이미지의 특정 픽셀과 선형적인 매칭이 가능하다는 점을 이용하여 영역중심의 매칭방식을 이용하되 전체영역에 대해 하지 않고 일부 구간마다 임의 수평스캔라인에 대해 좌우 영상의 기하학적 매핑을 수행한다. 이렇게 하여 이차원 이미지 쌍으로부터 카메라의 투사 기하학적 정보와 촬영 대상인 차량의 구성상태, 카메라 기하정보를 구할 수 있으며 따라서, 차량의 번호판이 어떤 촬영각에 있건, 또한 차량의 번호판의 기울어짐 혹은 뒤틀림에도 강하게 차량번호 영상을 정규화 할 수 있게 되었다.

카메라와 목표차량간의 거리정보와 함께 정확한 번호판 영역과 크기, 기울기를 구함으로 해서 번호영역 내 문자 인식률을 높이게 되며, 좌우 영상가운데 어느 하나의 입력부에 주변 날씨,난반사 혹은 환경 등의 외부 노이즈 등에 의한 문자 영역훼손이 발생한다 하더라도 나머지 하나의 기하학적 위치정보로부터 다른 하나의 값을 구해 낼 수 있게 된다. 좌우 영상가운데 임의의 한 영상으로부터 추출된 번호판 후보영역은 남아 있는 다른 한 영상정보를 이용하여 정확한 번호판의 위치를 알아낼 수 있게 되는 것이다.

전술한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 자동차 번호판 추출 및 인식시스템은, 적어도 2개 이상의 카메라를 구비하여 목표 차량에 대한 스테레오 영상을 촬영하는 스테레오 영상 입력부, 상기 스테레오 영상 입력부로부터 전송된 스테레오영상으로부터 목표 차량과 카메라간의 거리정보를 구하는 차량 위치 검출부, 목표 차량에 대한 최적촬영조건에 대한 정보들을 미리 설정하여 저장하는 메모리부, 목표 차량에 대한 거리 정보를 지속적으로 감시하면서 기 메모리에 저장되어 있는 최적의 촬영조건 값을 만족할 경우 촬영이벤트(211)를 발생시켜 현재의 스테레오 영상을 획득하는 최적영상 획득부, 목표차량에 대한 거리정보와 스테레오 영상을 이용하여 차량번호판 영역의 위치, 크기, 및 기울기를 정확하게 검출하고 이를 이용하여 스테레오 영상으로부터 차량 번호판 영역에 대한 위치좌표정보 및 차량번호판 영역을 추출해내는 차량번호영역 추출부, 상기 차량번호영역 추출부에 의하여 추출된 차량번호판 영역에 대한 영상을 인식율을 높일 수 있는 적합한 영상으로 변환시키는 차량번호영역 변환부, 상기 차량번호영역 변환부에 의하여 변환된 차량번호판 영역에 대한 영상으로부터 문자인식처리를 하여 차량 번호를 인식하는 차량번호 인식부, 목표 차량에 대한 스테레오 영상과 인식된 차량번호에 대한 정보를 외부로 전송하는 정보전송부(260)를 구비하여, 목표차량에 대한 번호판을 추출하고 차량 번호를 인식한다.

이때, 상기 차량번호영역 추출부는, 스테레오 영상으로부터 차량 번호판 특징 영역을 추출하고, 추출된 차량 번호판 특징 영역에 대하여 스테레오 매칭을 수행하여 좌측 영상과 우측 영상에서의 차량 번호판 영역을 일차적으로 추출해 내고, 3차원 깊이 정보를 구하고, 이를 이용하여 차량 번호판이 스테레오 영상의 어느 영역에 위치하는지를 나타내는 차량 번호판 영역에 대한 위치좌표정보를 검출하는 것이 바람직하다.

또한, 상기 차량번호영역 변환부는, 상기 차량번호영역 추출부에 의해 추출된 차량번호판 영역에 대하여 기하학적 변환과정 및 정규화과정을 수행하는 것이 바람직하다.

또한, 상기 차량번호 인식부는, 상기 차량번호영역 변환부에 의해 정규화된 차량번호판영역에 대한 영상으로부터 차량번호로 추정되는 후보영역을 추출하고, 각 차량번호의 문자영역에 대하여 세그멘테이션을 수행하고, 세그멘테이션 된 각 문자와 숫자를 인식하기 적합한 형태로 변환하여 개별 문자 인식 과정을 거쳐 차량 번호를 인식하는 것이 바람직하다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 자동차 번호판 추출 및 인식 시스템에 대한 구성 및 그 동작과정을 구체적으로 설명한다. 도 1은 본 발명에 따른 자동차 번호판 추출 및 인식 시스템을 개략적으로 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 자동차 번호판 추출 및 인식 시스템은, 적어도 둘 이상의 카메라를 구비하고 상기 카메라들로부터 이동하는 목표 차량에 대한 스테레오 영상이 입력되는 스테레오 영상 입력부(200), 스테레오영상과 카메라 촬영조건으로부터 목표 차량과 카메라간의 거리정보를 구하는 차량 위치 검출부(210), 최적의 카메라 촬영조건과 거리값 등에 관한 정보를 미리 설정하여 저장하는 메모리부(270), 차량 위치 값을 지속적으로 감시하면서 기 메모리에 저장되어 있는 최적의 촬영조건 값을 만족할 경우 촬영이벤트(211)를 발생시켜 현재의 영상을 획득하는 최적영상 획득부(220), 목표차량에 대한 거리정보와 스테레오 영상을 이용하여 차량번호판 영역의 위치, 크기, 및 기울기를 정확하게 검출하고 이를 이용하여 스테레오 영상으로부터 차량번호판 영역을 추출해내는 차량번호영역 추출부(230), 추출된 차량번호판 영역에 대한 영상을 인식율을 높일 수 있는 적합한 영상으로 변환시키는 차량번호영역 변환부(240), 변환된 차량번호판 영역에 대한 영상으로부터 문자인식처리를 하여 차량 번호를 인식하는 차량번호 인식부(250), 추출된 차량의 영상과 인식된 차량번호에 대한 정보를 관리 시스템에 전송하는 정보전송부(260) 등을 구비하여 목표차량에 대한 번호판을 추출하고 차량 번호를 인식하도록 구성되어 있다. 이하, 각 구성요소에 대하여 구체적으로 설명한다.

상기 스테레오 영상 입력부(200)는, 도 2에 도시된 바와 같이, 제 1카메라(201)및 제2카메라(202)를 구비하고, 상기 제1카메라(201) 및 제2카메라(202)로부터 각각 제1 영상 및 제2 영상이 입력되는 것이 바람직하다. 이때, 에피폴러 선(epipolar line)은 각각의 영상에 대해 평행하도록 구성되며 에피폴(epipoles)들은 무한히 진행된다고 가정하는 것이 바람직하다. 이러한 조건은 왼쪽 영상에서의 특정 포인트 U가 오른쪽 영상에서의 특정 포인트 U'과 일치 하는지를 찾아 내기위한 차수(2차원에서 1차원으로)의 범위를 줄여주는 효과가 있기 때문이다.

상기 메모리부(270)는 촬영하고자 하는 목표 차량에 대한 최적 위치 정보를 미리 설정하여 저장하게 되며, 이러한 최적 위치 정보는 상기 제1 및 제2 카메라의 초점거리와 렌즈의 조건, 상기 카메라들과 목표차량과의 목표 촬영구간, 촬영된 영상에서의 차량이 차지하는 비중, 번호판의 크기 등에 따라 결정된다. 따라서, 목표 차량에 대한 상기 최적 위치 정보는, 본 발명의 자동차번호판 추출 및 인식 시스템을 운영하고자 하는 위치에서 카메라와 목표 차량에 대해 원하는 조건에서 촬영 할 수 있도록 조정하고 그때 검출되는 목표 차량의 위치정보가 된다.

상기 차량위치 검출부(210)는, 도 3에 도시된 바와 같이, 스테레오비전 특성에 따라 기하학적 매핑 과정을 통해 연속적으로 목표 차량과 카메라 간의 거리정보를 검출하게 된다. 즉, 도로상의 임의의 위치에 설치된 스테레오 영상 입력부로부터 연속적으로 입력되는 제1 및 제2 영상들을 이용하여, t-1시점에서의 목표차량과 카메라와의 거리 P를 구하고, t시점에서의 목표차량과 카메라와의 거리 Q를 구하게 된다. 따라서, 상기 차량 위치 검출부(210)는 스테레오 카메라로부터 입력되는 스테레오 영상(제1 영상 및 제2 영상)으로부터 지속적으로 차량의 위치를 계산해낸다. 이때,결과 위치값이 기 설정된 메모리부(270)에 저장된 최적위치정보와 일치하는 지점을 통과하고 있다면 최적의 촬영조건에 왔음을 알리는 이벤트를 발생시킨다.

이하, 도 4를 참조하여, 목표 차량이 어느 지점을 통과 하고 있는지 그 위치를 계산하는 방법을 설명한다. 도 4는 일반적으로 스테레오 카메라가 갖는 기하학적 모델을 도시한 것으로서, 두 대의 카메라가 하나의 물체 즉, 목표 차량을 바라보고 있는 구조를 가지며, 본 발명에서는 이들 목표 차량영상으로부터 번호판 영역을 추출하고 정규화하여 정확한 번호판인식이 되도록 하는 것이다. 도 4는 두 대의 카메라가 평행하게 배치되어 있는 구조이다. 도 4에 도시된 바와 같이, 스테레오 영상으로부터 목표차량과 카메라와의 거리(depth)를 z라고 하고 v1과 v2의 차이(disparity)를 d라고 가정하면 d=v₂-v₁=d₁₂f/z 식이 성립한다. 즉,카메라로부터 목표차량 M까지의 떨어진 거리 z=d₁₂f/(v₂-v₁)로 구할 수 있다. 즉,이러한 관계를 이용하여 3차원 공간 내 지점들의 상대적 거리를 구할 수 있고, 초점거리와 기준선의 길이를 알 수 있다면 물체의 z좌표를 구할 수 있다. 이때, C₁과 C₂는 왼쪽 카메라와 오른쪽 카메라의 각 Optical Center를 의미한다.

상기 최적영상 획득부(220)는 상기 차량위치 검출부(210)로부터 위치 결과가 최적의 조건을 만족하면 촬영이벤트(211) 신호를 전달 받게 된다. 상기 차량 위치 검출부(210)로부터 촬영 이벤트 신호를 전달받은 최적영상 획득부는 연속적으로 스테레오영상 입력부(200)로부터 입력되고 있는 스테레오 영상 가운데 최적위치 이벤트를 발생시킨 순간의 스테레오 영상 즉, 왼쪽 영상과 오른쪽 영상을 가져와서 내부 메모리에 저장한다.

상기 차량번호영역 추출부(230)는 최적영상 획득부(220)로부터 최적 거리에서 촬영된 스테레오 영상(221,222)을 전달 받게 되며 목표차량에 대해 촬영된 이 스테레오 영상으로부터 차량 번호판 영역을 추출한다.

이하, 도 5를 참조하여, 상기 차량번호영역 추출부(230)의 동작을 설명한다. 먼저 입력된 스테레오 영상(231)으로부터 차량 번호판이 가지는 번호판 특징 영역을 추출(232)한다. 추출된 특징 영역에 대하여 스테레오 매칭(233)을 수행하여 좌측영상과 우측영상에서의 차량 번호판 영역을 일차적으로 추출해 내는 후처리 단계(234)를 거친다. 다음 변위수집단계(235)를 거쳐 3차원 깊이 정보를 구하여(236) 목표 차량에 대한 번호판이 영상의 어느 영역에 위치하고 있는지를 확정 짓는다. 이와 같이, 거리 정보를 얻기 위한 기본 단계는 영상 획득,특징 추출, 스테레오 정합, 변위추정, 변위로부터 거리계산 등으로 이루어지는데 여기에서 가장 중요한 인자는 특징으로 사용될 정합요소의 선택과 그 요소에 적절한 정합 전략을 구하는 것이라 할 수 있다.

우리가 목표로 하는 것은 스테레오 영상으로부터 자동차의 번호판 영역을 추출하는 것이며 자동차를 3차원영상에 복원하려는 것은 아니다. 따라서, 스테레오 정합시 정합요소에 따른 특징기반(feature-based)법과 영역기반(area-based)법에서 차량번호판은 직사각형의 알미늄판에 양각으로 새겨진 숫자와 문자로 구성되어 있다는 특징이 있으므로 경계선이나 모서리 정보는 특징기반을 이용하고 번호판의 문자의 모양이나 밝기, 면적 등은 영역기반을 이용하여 스테레오 정합을 수행한다. 또한, 촬영된 차량번호판 영상으로부터 발생할 수 있는 영상의 깊이 값 범위에서 벗어난 것은 검색 대상에서 제외시켜 처리 부하를 줄였다. 또한, 스테레오 정합을 수행하기 위해서는 스테레오 영상이 가지는 고유의 특성을 이용함으로써 좋은 결과를 얻을 수 있는데 , 그 제한 사항으로 정합 된 값은 서로 유사성을 갖게 되는 유사성의 성질과, 변위 값이 급격하게 변하지 않게 되는 완만함의 성질, 각 영상의 픽셀은 동일한 3차원상의 지점을 가리키는 유일성의 성질을 이용하도록 한다. 또한, 스테레오 정합 시 고려해야 하는 영상에 적절한 특징추출이 가능해야 한다는 점과 추출된 특징에 따른 정합전략은 자동차번호판이라는 정해진 패턴을 대상으로 하여 처리하고자 하므로 이러한 제한된 조건과 특징을 이용하여 그 처리범위에 대한 부하를 줄였다.

참고로 서술하자면 스테레오 정합은 정합요소에 따라 크게 특징기반(feature-based)법과 영역기반(area-based)법으로 나눌 수 있다. 특징 기반에 사용되는 정합요소(matching primitive)는 영 교차점,경계선, 모서리, 마루, 골, 원추곡선 등이 있다. 이들은 정합점이 정확하고 잡음에 강한 특징을 가지나. 정합 되어지는 점들이 적으므로 전체 영상의 변위값을 구하기 위해서는 폐색 모델링(occlusion modeling)과 변위 연속성(disparity continuity)등을 포함하는 어려운 내삽(interpolation)과정을 필요로 한다. 반면에 영역 기반법에서의 정합 요소는 밝기 정보의 변화가 평탄하거나 동일한 영역의 모양,평균 밝기 및 면적 등을 이용한다. 이 정합 요소는 밝기 정보에 많이 의존하기 때문에 잡음에 약한 면이 있지만 영상의 정체 거리 정보를 얻을 수 있다는 장점이 있다. 최근에는 계층적인 정합법, 여러가지 정합 요소를 이용하는 복합적인 정합법, 색정보를 이용하는 정합법, 여러 장의 스테레오 영상을 이용하는 정합법, 그리고 위상을 이용하는 정합법, 신경회로망을 이용하는 방법, 유전자 알고리즘을 이용하는 방법등이 제안되고 있다. 이러한 다양한 정합법 자체에 대한 논의는 본 발명의 핵심이 아니므로 여기서 생략한다.

상기 차량번호영역 변환부(240)는 차량번호영역 추출부(230)에 의해 추출된 차량 번호판 영상 영역에 대한 위치좌표 정보(237)를 이용하여 추출된 차량번호판 영상영역을 기하학적 변환과정과 정규화 과정을 거친다.

이하, 도 6을 참조하여, 상기 차량번호영역 변환부(240)의 동작을 구체적으로 설명한다. 먼저, 자동차 번호판 영상영역의 스테레오 매칭 포인트를 이용하여 차량번호판의 크기, 위치, 및 기울어진 정도를 추출한 후(242), 촬영각을 추출해 낸다(243). 추출된 각 값을 이용하여 스테레오 영상(221, 22)의 특징점을 포함하여 번호판영역이라고 추정되는 특징점 내부영역에 대하여 스테레오 매칭을 수행하는 비교검증 과정(244)을 거친다. 이렇게 오정합을 줄이고 일관성 있는 결과를 얻기 위한 처리를 거친 후 검증 결과에 따라 발생할 수 있는 오차에 대해 특징기반의 영상에서의 위치정보를 보정하는 단계(245)를 거쳐 자동차 번호판 영상영역에 대한 좌표정보를 확인하는 과정을 완료한다. 완료된 차량번호판 영상영역에 대한 좌표값을 이용하여 기하학적 변환(246)을 한다. 변환된 영상은 다시 정규화된 번호판 영상이 되도록 변환을 행하여 정규화된 차량 번호판 영역 영상(247)을 획득하게 된다.

도 7은 위치보정이 완료된 자동차 번호판 영역 영상(245)이 기하학적 변환과정 및 정규화 과정을 거쳐 결과 영상(247)으로 변환되는 과정을 개념적으로 도시하고 있다. 도 7에 도시된 바와 같이, 위치보정이 완료된 자동차 번호판 영역영상(245)이 스테레오 매칭 특징점 정보, 기울기, 크기, 및 각 정보를 이용하여 기하학적 변환과정을 거쳐서 결과영상(246)을 얻게 된다. 또한, 상기 결과 영상(246)은 정규화된 크기로 변환된 결과 영상(247)으로 변환되어, 차량 번호를 인식하기 가장 유리한 형태인 번호판 정면 영상 형태로 가로세로의 비를 유지하게 된다. 이렇게 정규화된 차량번호판 영역영상(247)은 차량 번호 인식부(250)의 입력영상 데이터로 이용된다.

상기 차량 번호 인식부(250)는, 도 8에 도시된 바와 같이, 상기 차량번호 영상영역 변환부(240)의 결과로 만들어진 정규화된 차량번호판 영역영상(247)으로부터 차량번호로 추정되는 후보영역을 추출(251)한 후 각 차량번호 문자영역에 대한 세그멘테이션(segmentation) (252)을 수행한다. 세크멘트되어진 각 문자와 숫자영역은 문자정규화(253)과정을 거쳐 인식을 위해 구축된 인식검증 데이터에 적합한 형태로 변환된다. 정규화된 각 문자는 개별 문자 인식과정을 거쳐 각 문자와 숫자에 대한 추정인식(254)을 하는 단계를 거쳐 스테레오 영상을 이용하여 비교검증(255)후 인식결과 정보를 결론짓는다. 즉, 인식처리과정에서 스테레오 영상은 스테레오 매칭에 의해 한쪽 번호판의 영상은 다른 쪽 영상의 번호판의 보정 및 보완과 비교검증(255)을 위한 정보로 활용되어 문자 인식률을 높이도록 한 것이다.

상기 정보전송부(260)는 차량번호 인식부(250)에서 얻어진 차량번호 인식결과(256) 정보와 추출 및 인식에 사용된 스테레오 영상(221,222)가운데 하나의 영상을 영상정보로 구성된 데이터를 전송받게 되며, 이렇게 전송된 데이터들인 차량번호인식결과와 영상 정보는 이용하는 목적에 따라 해당기관의 차량정보 관리 및 관련기기의 제어에 이용될 수 있도록 전송 시키게 된다.

본 발명에 따른 스테레오 비전을 이용한 자동차 번호판 추출 및 인식 시스템은 목표차량의 위치를 연속적으로 검출해내고 상기 최적 영상 획득부에 의해 획득된 목표차량에 대한 최적의 스테레오 영상 및 상기 차량과 카메라간의 거리를 이용하여 차량번호판영역의 위치와 크기,기울기를 정확히 알아내고 이 정보와 스테레오 영상을 이용하여 자동차번호판 영상영역을 기하학적 변환과정을 거치게 한다. 변환된 결과영상은 인식률을 높이기 위한 선행처리로 정규화 처리 과정을 거쳐 이후 변환된 번호판 영상으로부터 차량번호를 인식한다.

따라서, 종래의 목표차량 영상으로부터 번호판 영역에 대한 영상영역을 추출 및 인식 하는데 있어 거리는 별도 설치물을 이용하여 촬영이벤트 트리거 정보로만 쓰이고 영상은 단일 카메라에서 차량을 촬영하므로 설치한 카메라의 위치나 각도, 대상 차량의 상태변화,도로 여건 등 주변환경에 따라 추출 및 인식률이 가변하여 일관성이 없고 난반사 등으로 인한 입력영상의 손실 부분에 대한 보완책이 전혀 없었던 문제점을 본 고안에서는 해결하였다.

또한, 상기 자동차번호판 추출 및 인식 시스템은 스테레오 비전특성을 이용함으로써 도로나 골목 어느 위치에서는 물론 노변의 평행주차 등의 촬영사각이 큰 주차관리 시스템에도 설치적용이 가능한 것을 특징으로 한다.

즉, 스테레오 영상을 이용함으로써 카메라의 각도나 위치의 가변 등 주변 환경의 변화에 강하게 대처할 수 있도록 하고 촬영사각을 줄여 영상정보의 손실을 최소화 하였으며 자동차 번호판 영역의 위치,크기,기울기 등을 정확하게 추출해 내어 번호판 인식에 이용할 기초영상 데이터를 제공하게 되었다.

본 발명은 한 쌍의 영상은 서로 영상의 손실된 결점을 보완하는 역할을 하여 추출 및 인식률을 높이는데 기여하도록 이용하였다.

본 발명은 도로상의 차량에 대한 번호 추출 및 인식을 3차원정보 획득으로 다양한 환경에서도 높은 추출 및 인식률로 적용 가능하게 되어 자동차영상을 획득하여 차량번호를 추출 인식하는 것이 요구되는 장소라면 어디든지 가변적으로 별도의 구조물 없이 설치하여 운영할 수 있게 하였다.

본 발명에 의하여, 이동하는 목표차량에 대해 별도의 차량검지를 위한 매설물이나 설치물로부터 영상 촬영 이벤트를 받는 것이 아니라 공사가 필요 없이 다양한 촬영위치에서 획득한 스테레오 영상으로부터 거리정보를 얻을 수 있음으로 해서 설치 및 유지보수비의 대폭절감을 기대할 수 있게 되었다.

카메라조건과 목표차량의 조건이 최적으로 일치하는 순간의 영상을 획득 할 수 있게 됨으로써 자동차번호판 영상영역에 대한 추출율을 높였으며 이러한 기초데이터는 번호판 인식률도 높이는 기초를 제공하게 하였다.

자동차번호판 영상영역을 추출하는데 있어 자동차번호판을 구성하는 모양과 문자 숫자에 대해 특징기반과 영역기반의 장점을 이용하여 추출함으로써 스테레오 매칭의 처리부하를 최대한 줄여 효율적 처리시간이 가능하게 하였다.

자동차 번호판 영역과 번호판의 상태를 정확하게 구하고 스테레오 매칭 특성을 이용하여 신뢰성 있는 차량번호인식이 가능하도록 전처리(preprocessing)변환을 하게 함으로써 차량번호판 자동 인식률을 높였다.

스테레오 영상으로부터 거리와 위치를 구해 낼 수 있으므로 도로 고정 설치형 자동차번호판 인식시스템은 물론,이동 설치형, 주행중인 차량에 설치해서 운영하는 차량이동 순회형 자동차번호판 인식 시스템 모두를 가능하게 하였다.

도 1은 본 발명에 따른 자동차 번호판 인식 및 추출 시스템을 개략적으로 도시한 블록도.

도 2는 본 발명에 따른 자동차 번호판 인식 및 추출 시스템에 있어서, 스테레오 영상을 촬영하는 상태를 도시한 도면.

도 3은 본 발명에 따른 자동차 번호판 인식 및 추출 시스템에 있어서, 목표 차량에 대한 거리 정보를 획득하는 과정을 설명하기 위하여 도시한 도면.

도 4는 본 발명에 따른 자동차 번호판 인식 및 추출 시스템에 있어서, 두 대의 카메라를 이용한 에피폴러(Epipolar) 기하구조와 변위, 깊이의 관계를 설명하기 위하여 도시한 도면.

도 5는 본 발명에 따른 자동차 번호판 인식 및 추출 시스템에 있어서, 차량번호영역 추출부의 동작 과정을 순차적으로 나타내는 흐름도.

도 6은 본 발명에 따른 자동차 번호판 인식 및 추출 시스템에 있어서, 차량번호영역 변환부의 동작 과정을 순차적으로 나타내는 흐름도.

도 7은 본 발명에 따라 차량 번호판 영역에 대한 영상을 변환시키는 과정을 개념적으로 도시한 도면.

도 8은 본 발명에 따른 자동차 번호판 인식 및 추출 시스템에 있어서, 차량번호 인식부의 동작 과정을 순차적으로 나타내는 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

200 : 스테레오 영상 입력부

210 : 차량위치 검출부

220 : 최적 영상 획득부

270 : 메모리

230 : 차량번호영역 추출부

240 : 차량번호영역 변환부

250 : 차량번호 인식부

260 : 정보전송부

Claims (4)

1. 적어도 2개 이상의 카메라를 구비하여 목표 차량에 대한 스테레오 영상을 촬영하는 스테레오 영상 입력부;

   상기 스테레오 영상 입력부로부터 전송된 스테레오영상으로부터 목표 차량과 카메라간의 거리정보를 구하는 차량 위치 검출부;

   목표 차량에 대한 최적촬영조건에 대한 정보들을 미리 설정하여 저장하는 메모리부;

   목표 차량에 대한 거리 정보를 지속적으로 감시하면서 기 메모리에 저장되어 있는 최적의 촬영조건 값을 만족할 경우 촬영이벤트(211)를 발생시켜 현재의 스테레오 영상을 획득하는 최적영상 획득부;

   목표차량에 대한 거리정보와 스테레오 영상을 이용하여 차량번호판 영역의 위치, 크기, 및 기울기를 정확하게 검출하고 이를 이용하여 스테레오 영상으로부터 차량 번호판 영역에 대한 위치좌표정보 및 차량번호판 영역을 추출해내는 차량번호영역 추출부;

   상기 차량번호영역 추출부에 의하여 추출된 차량번호판 영역에 대한 영상을 인식율을 높일 수 있는 적합한 영상으로 변환시키는 차량번호영역 변환부;

   상기 차량번호영역 변환부에 의하여 변환된 차량번호판 영역에 대한 영상으로부터 문자인식처리를 하여 차량 번호를 인식하는 차량번호 인식부;

   목표 차량에 대한 스테레오 영상과 인식된 차량번호에 대한 정보를 외부로 전송하는 정보전송부(260)

   를 구비하여, 목표차량에 대한 번호판을 추출하고 차량 번호를 인식하는 자동차 번호판 추출 및 인식 시스템.
2. 제1항에 있어서, 상기 차량번호영역 추출부는, 스테레오 영상으로부터 차량 번호판 특징 영역을 추출하고, 추출된 차량 번호판 특징 영역에 대하여 스테레오 매칭을 수행하여 좌측 영상과 우측 영상에서의 차량 번호판 영역을 일차적으로 추출해 내고, 3차원 깊이 정보를 구하고, 이를 이용하여 차량 번호판이 스테레오 영상의 어느 영역에 위치하는지를 나타내는 차량 번호판 영역에 대한 위치좌표정보를 검출하는 것을 특징으로 하는 자동차 번호판 추출 및 인식 시스템.
3. 제1항에 있어서, 상기 차량번호영역 변환부는, 제2항에 기술한 차량번호영역 추출부에서 추출한 차량번호판 영역에 대한 위치좌표정보로부터 차량 번호판의 크기, 기울기 및 촬영각을 추출하고, 추출된 정보를 이용하여 스테레오 매칭을 수행하여 차량번호판 영역에 대한 위치좌표정보를 재확인한 후 차량번호판 영역에 대한 기하학적 변환 및 정규화 변환을 하는 것을 특징으로 하는 자동차 번호판 추출 및 인식 시스템
4. 제1항에 있어서, 상기 차량번호 인식부는, 상기 차량번호영역 변환부에 의해 정규화된 차량번호판영역에 대한 영상으로부터 차량번호로 추정되는 후보영역을 추출하고, 각 차량번호의 문자영역에 대하여 세그멘테이션을 수행하고, 세그멘테이션된 각 문자와 숫자를 인식하기 적합한 형태로 변환하여 개별 문자 인식 과정을 거쳐 차량 번호를 인식하는 것을 특징으로 하는 자동차 번호판 추출 및 인식 시스템.