KR102062579B1 - 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템 - Google Patents

Abstract

본 발명은 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템에 관한 것이다.
상세하게는 본 출원인이 출원하여 권리로 확보한 등록특허공보 제10-1881458호에 기재된 기술을 통해 차량번호판의 인식영역을 추출하는 시스템으로 차량 인식 효율을 개선하여 차량번호판을 인식하고,
이에 더하여, 인식된 차량번호판에 대하여, 그림자 또는 빛 반사 등으로 훼손되어 시스템적으로 인식이 불가능한 차량번호판의 인식이 가능하도록 보정할 수 있는 보정시스템을 적용한, 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템에 관한 것이다.

Description

영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템{Vehicle license-plate recognition system that recognition of Vehicle license-plate damaged by shadow and light reflection through the correction}

본 발명은 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템에 관한 것이다.

상세하게는 본 출원인이 출원하여 권리로 확보한 등록특허공보 제10-1881458호에 기재된 기술을 통해 차량번호판의 인식영역을 추출하는 시스템으로 차량 인식 효율을 개선하여 차량번호판을 인식하고,

이에 더하여, 인식된 차량번호판에 대하여, 그림자 또는 빛 반사 등으로 훼손되어 시스템적으로 인식이 불가능한 차량번호판의 인식이 가능하도록 보정할 수 있는 보정시스템을 적용한, 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템에 관한 것이다.

여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다.

과속에 의한 교통사고는 운전자에게 치명적인 손상을 입히는 인명사고로 발전할 수 있기 때문에 차량의 과속을 방지하거나 과속차량을 검출하기 위하여 레이더 장비를 비롯한 첨단장비를 이용한 과속검출장치에 대한 연구가 다양하게 진행되고 있으며, 이러한 과속검출장치는 도로 곳곳에 설치되어 무인으로 과속차량을 검출할 수 있는 장점으로 인해 사용분야가 더욱 확대되고 있는 실정이다.

현재 국내의 ITS 시스템에서 차량에 대한 정보 및 속도를 측정하는 방법은 도로에 LOOP 검지기를 매설하거나 레이저 센서를 이용하는 방법, 카메라를 통해 영상만으로 정보를 취득하는 방법 등이 사용되고 있다.

하지만 LOOP 검지기는 도로에 매설하는 과정에서 도로를 파괴하여야 하고, 공사하는 과정에서 차량의 흐름에 방해를 주는 요인이 될 수 있다는 단점이 있다. 또한, 차선을 변경하는 차량에 대해서는 제대로 된 데이터를 획득하기 어렵다.

아울러, 레이저 검지기도 날씨 및 기후의 영향(눈, 비, 안개, 먼지 등)을 많이 받고, 검지폭이 좁은 단점을 가지고 있었다. 또한, 영상 검지기도 역시 날씨 및 기후의 영향을 많이 받는 단점을 가지고 있으며, 특히 야간에는 검지율이 크게 저하되는 단점을 가지고 있다.

이에 반해서, 레이더 검지기는 상대적으로 다른 검지기에 비해 날씨 및 기후의 영향을 가장 적게 받고, 비접촉식이라 도로의 파괴가 없다. 또한 광범위적으로 검지하기 때문에 LOOP나 레이저 검지기의 단점인 차선을 변경하는 차량에 대해서도 검지가 가능하다.

레이더 검지기에서 출력되는 정보는 차량의 속도, 거리, 각도이며, 이를 통해 차량의 정확한 위치 및 정보를 추출해 낼 수 있다.

다만, 레이더도 전파를 사용하는 것이므로 전파 환경에 의해 오류가 발생할수 있어 레이더와 영상을 동시에 사용하는 방법이 제공되었다.

그러나, 차량이 다차선인 경우, 각 차선마다 전용의 카메라가 필요하고, 레이더를 통해 감지되는 특정 차량의 속도를 촬영하기 위해 복수의 카메라 전부가 촬영한 영상을 판독해야 하므로 메모리 및 처리의 과사용이 불가피하다.

또한, 영상의 위치에 따라 실제 차량의 위치와 오차가 발생할 수 있어 이에 대한 보정이 요구된다.

이러한 문제점들을 취합하여 극복하고자 본 출원인은 등록특허공보 제10-1881458호의 동적객체에 대한 인식영역 추출시스템을 출원하여 등록받은 바 있다.

이러한 권리를 비롯한 종래 기술들을 보면, 차량번호판이 차량 구조상 가려져 그림자진 영역이 생기거나, 촬영 당시 주변 빛이 반사되는 영향으로 인해, 촬영된 차량번호판에 이상영역이 발생되어 차량번호판의 인식이 어려운 문제점이 있었다.

이에 본 출원인은, 차량번호판의 이상영역 발생시 이를 검출하여 보정할 수 있는 기술을 착안하여 제공하고자 한다.

차량번호판의 이상영역을 검출하여 보정할 수 있는 기술에 관련하여, 등록특허공보 제10-1774735호의 차량번호판 주변 그림자 영역 개선 및 차량번호 인식 방법(선행기술 1)과, 등록특허공보 제10-0672015호의 조도측정용 구조물이 구비된 차량번호 인식시스템 및 그시스템을 이용한 차량번호판 영상의 선명도 개선방법(선행기술 2)과, 공개특허공보 제10-2005-0042123호의 차량번호 인식시스템 및 그 시스템을 이용한 차량번호판영상의 선명도 개선방법(선행기술 3)과, 등록특허공보 제10-1954404호의 가변 문턱값을 이용한 반그림자 차량번호판 인식률 개선방법 및 그 방법을 위한 CCTV 시스템(선행기술 4)이 기재되어 있다.

등록특허공보 제10-1774735호(2017.09.06. 공고) 등록특허공보 제10-0672015호(2007.01.19. 공고) 공개특허공보 제10-2005-0042123호(2005.05.04.) 등록특허공보 제10-1954404호(2019.03.05. 공고)

본 발명의 목적은, 본 출원인이 출원하여 권리로 확보한 등록특허공보 제10-1881458호에 기재된 기술을 통해 차량번호판의 인식영역을 추출하는 시스템으로 차량 인식 효율을 개선하여 차량번호판을 인식하고,

이에 더하여, 인식된 차량번호판에 대하여, 그림자 또는 빛 반사 등으로 훼손되어 시스템적으로 인식이 불가능한 차량번호판의 인식이 가능하도록 보정할 수 있는 보정시스템을 적용한, 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템을 제공하는데 있다.

상술된 목적을 달성하기 위하여 안출된 것으로, 본 발명에 따른 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템은, 인식된 차량번호판에 그림자 또는 빛 반사에 의해 형성된 이상영역을 검출하고, 상기 이상영역이 그림자영역인지 또는 빛 반사영역인지를 판단하여, 판단된 영역 종류에 따라 보정을 수행한다.

이때, 이상영역의 검출, 영역종류 판단 및 보정은 보정시스템에 의해 이루어지되, 상기 보정시스템은, 차량영상에서 딥러닝 방식으로 해당 차량의 번호판정보를 인식하고, 인식된 번호판정보에 이상영역이 존재하는지 판단하여, 이상영역이 존재하는 경우, 해당 이상영역이 그림자영역인지 또는 빛 반사영역인지 확인하는 것을 특징으로 한다.

또한, 상기 이상영역의 존재 판단은,

상기 보정시스템이 상기 이상영역을 분할하여 분할된 세그먼트의 Mean 및 Weight를 분석하고, 분석된 Mean 및 Weight를 기반으로 이루어지는 것을 특징으로 한다.

또한, 상기 Mean 및 Weight를 분석은 다음의 수학식으로 이루어지는 것을 특징으로 한다.

Mean =

for j = 0 to image Height

for i = 0 to image Weigth

if(current pixel = current cluster)

Accumulate current data / N

Weight = current pixels / total pixels

한편, 상기 이상영역은,

이상영역의 Mean이 이상영역을 제외한 나머지 영역의 Mean보다 높고,

이상영역의 Height가 미리 정해진 임계치보다 크며,

이상영역의 Width가 미리 정해진 임계치보다 작은 경우,

해당 이상영역을 빛 반사영역으로 판단하는 것을 특징으로 한다.

다른 한편, 상기 이상영역은,

이상영역의 Mean이 이상영역을 제외한 나머지 영역의 Mean보다 낮고,

이상영역의 Height가 미리 정해진 임계치보다 작으며,

이상영역의 Width가 미리 정해진 임계치보다 큰 경우,

해당 이상영역을 그림자영역으로 판단하는 것을 특징으로 한다.

또한, 상기 보정시스템의 보정은,

판단된 이상영역의 복원이 가능한지 판단하여 복원 가능성이 있는 경우, 해당 이상영역이 그림자영역인지 또는 빛 반사영역인지에 따라 복원을 수행하되,

상기 빛 반사영역의 경우,

가중치(weight)가 가장 큰 영역의 mean 값과 이상영역의 mean의 절대 차이값 만큼 빼줌으로써 보정을 하고,

그림자영역의 경우,

가중치가 가장 큰 영역의 mean 값과 이상영역의 mean의 절대 차이값을 더해줌으로써 보정하는 것을 특징으로 한다.

또한, 상기 보정시스템은,

보정이 완료된 뒤 나타는 이상영역의 라인 성분을, 상기 이상영역의 edge라인에 가우시안 스무딩 처리를 수행하여 제거하는 것을 특징으로 한다.

본 발명에 따른 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템에 의하면, 인식된 차량번호판이 그림자 또는 빛 반사에 의해 훼손되어 인식이 불가능하여도, 보정 알고리즘을 통해 시스템적으로 자동 인식되도록 할 수 있는 효과를 제공한다.

또한, 차량번호판을 인식하여 추출하는데 있어서,

첫째, 레이더(radar)를 출사하여 감지구역 내를 주행하는 모든 차량의 속도를 측정하며, 하나의 카메라를 통해 다차선의 차량 중 특정 차량에 대한 영상을 촬영하므로, 카메라의 수요를 줄일 수 있다. 또한, 카메라로부터 촬영된 영상에서 특정 차량에 대한 영상을 인식 영역으로 잘라내어 상기 인식 영역만을 판독함으로 데이터 처리 용량을 줄일 수 있어 연산 속도를 향상시키고, 연산양을 줄일 수 있다.

둘째, 레이더에 의해 수득되는 주행정보 및 카메라에 의해 촬영된 영상에서 추출되는 정보를 이용하여 후 촬영된 영상에서 추출되는 인식 영역을 최소화함으로써 데이터 처리 용량을 줄여 처리 속도를 향상시킬 수 있고, 차량 번호판을 포함하는 인식 영역을 신뢰성 있게 추출함으로써 차량 인식 효율을 높일 수 있다.

셋째, 인식영역의 영상만으로 속도를 계산할 수 있으며, 속도계산시 좌표에 따라 발생할 수 있는 수평, 수직 오차를 보상하고, 번호판의 특징 등에 따른 오차를 보상하여 영상으로부터의 속도를 정확하게 연산할 수 있어 신뢰성이 향상된다.

넷째, 레이더에서 검지된 속도와 영상 분석에 따른 속도가 일치하지 않으면서 오차 범위 내에 존재하지 않을 경우에 오류로 처리하여 영상 분석에 따른 속도를 관제센터로 송출하도록 함으로써, 속도 오류를 제거하는 효과를 제공한다.

도 1은 본 발명의 일실시예에 따른 다차선 차량 속도 측정시스템의 전체 구성도이다.
도 2는 도 1의 본 발명의 일실시예에 따른 다차선 차량 속도 측정 시스템의 상세 블록도이다.
도 3은 도 2의 제어부의 일 실시예를 나타내는 블록도이다.
도 4는 제어부의 속도 연산 방법을 나타내는 순서도이다.
도 5는 영상처리부의 인식영역 획득하는 단계를 나타내는 그림이다.
도 6은 도 4의 인식 영역 획득을 나타내는 순서도이다.
도 7은 도 6의 인식 영역 획득을 나타내는 그림이다.
도 8은 도 4의 인식 영역에 대한 보정을 나타내는 순서도이다.
도 9는 도 8의 좌표 수득을 나타내는 그림이다.
도 10은 도 8의 역차량기준좌표 수득을 나타내는 그림이다.
도 11은 도 10의 번호판 보정을 나타내는 상세 순서도이다.
도 12는 도 11의 번호판 특징 추출하는 동작을 나타내는 그림이다.
도 13은 도 11의 차종분석을 나타내는 그림이다.
도 14는 도 11의 번호판 높이 측정을 나타내는 그림이다.
도 15는 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 보정을 수행하는 것을 나타낸 것이다.
도 16은 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 이상영역을 검색(검출)하는 과정을 나타낸 것이다.
도 17은 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 이상영역이 빛 반사영역인 경우로 판단하는 알고리즘이다.
도 18은 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 이상영역이 그림자영역인 경우로 판단하는 알고리즘이다.
도 19는 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 선택된 이상영역을 보정하는 과정을 나타낸 것이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 사항은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.

본 발명은 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템에 관한 것이다.

상세하게는 본 출원인이 출원하여 권리로 확보한 등록특허공보 제10-1881458호에 기재된 기술을 통해 차량번호판의 인식영역을 추출하는 시스템으로 차량 인식 효율을 개선하여 차량번호판을 인식하고,

이에 더하여, 인식된 차량번호판에 대하여, 그림자 또는 빛 반사 등으로 훼손되어 시스템적으로 인식이 불가능한 차량번호판의 인식이 가능하도록 보정할 수 있는 보정시스템을 적용한, 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템에 관한 것이다.

통상의 차량번호판의 인식영역 추출시스템을 통해 얻은 차량정보 중 차량번호는, 실제 차량의 차량번호판에 그림자 또는 빛 반사가 적용되는 경우, 아래 [표 1]과 같이 차량번호판 인식이 원할하지 않을 수 있다.

[표 1]은 본 발명에 따른 차량번호판 인식 시스템의 보정시스템을 설명하기 위한 실제 차량번호판에 그림자 또는 빛 반사가 적용되는 경우를 예로 든 것이다.

원본	원본
번호판 영역 인식 결과	번호판 영역 인식 결과
픽셀 분할 결과	픽셀 분할 결과

이 경우, 제2 실시예에 기재된 보정시스템에 의해 그림자 또는 빛 반사에 의해 인식이 불가능한 차량번호판을 인식할 수 있도록 하는데, 이러한 보정시스템은 제1 실시예에 기재된 차량번호판의 인식영역 추출시스템의 제어부에 후술되는 구성이 구비되거나, 혹은 보정시스템으로 별도로 형성되어, 제어부와 통신하여 연계되도록 구성될 수 있다. 이는 어느 하나의 것으로 한정되는 것은 아니다.

본 발명에 따른 보정시스템은 제1 실시예의 도 11을 참조한 번호판 보정이 종료되면, 해당 번호판이 그림자 또는 빛 반사에 의해 이상영역이 번호판 상에 존재하여 보정이 필요한 번호판인지를 도 15와 같이 판단하도록 한다.

다만, 상술된 기술적 의의는, 본 발명에 따른 제2 실시예의 보정시스템이 제1 실시예와 연계되는 경우이고, 만약 차량번호판을 인식하는 기술이 제1 실시예가 아닌 다른 일반적인 번호판인식 기술에 적용되는 경우라면, 후술되는 S240의 과정이 통상의 차량번호판 인식 과정으로 해석될 수 있어야 한다.

도 15는 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 보정을 수행하는 것을 나타낸 것이다.

도 15를 참조하면, 도 11을 참조하여 번호판 좌표 보정(S240) 후, 해당 차량의 번호판을 인식한다(S250).

그리고, 인식된 번호판정보에서 그림자영역 및 빛 반사영역을 포함하는 이상영역이 존재하는지 검색한다(S260).

검색 결과, 이상영역이 번호판에 존재하지 않는다면 보정과정이 종료되도록 하고(도 4의 S170 수행 또는 종료), 이상영역이 존재한다면 해당 이상영역이 그림자영역인지 혹은 빛 반사영역인지 확인하고(S270), 번호판정보를 보정하도록 한다(S280).

이때, 상기 번호판 인식(S250)은, 도 11의 번호판 보정이 종료된 정보 상에서 물체 감지를 위하여 딥러닝(Deep learning) 방식을 적용한다.

종래의 전통적인 패턴 인식 방법은 영상내 Feature Extraction -> Feature Detection -> Pattern Recognition 방법과 으로 이루어 진다. 이러한 방법들은 선택된 Feature에 의해서 그 성능의 영향이 매우 크게 받는다는 단점이 있다.

이러한 단점들을 보완하고자 본 발명에서는 Object Detection을 위한 DeepLearning 방식을 사용하는 것인데, 일반적으로 영상에서 사용되는 DeepLearning 방법은 CNN(convolutional neural networks, 이하 CNN)을 사용한다. 이 방법은 앞서 언급되었던 기존의 인식 방법들과는 다르게 위 3가지 프로세스를 한개의 알고리즘으로 처리가 가능하다는 특징이 있다.

이러한 DeepLearning 방식을 사용한 인식 방법은 개발자에 의해 선택된 Feature에 의해 시스템의 성능이 좌우되는 것이 아닌 학습을 위한 Database와 학습 모델의 크기에 가장 큰 영향을 받으며 일반적으로 그 성능 또한 우수하다고 알려져 있다.

한편, 도 15의 번호판정보에서 이상영역의 존재를 검색하는 과정(S260)은 도 16을 참조할 수 있다.

도 16은 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 이상영역을 검색(검출)하는 과정을 나타낸 것이다.

도 16을 참조한 이상영역의 검색은, 영역을 Isodata를 이용하여 영역을 분할하고(S261), 분할된 세그먼트의 통상의 의미(mean)와 가중치(weight)를 분석하도록 한다(S262).

이후, 분석된 세그먼트의 의미와 가중치에 기반하여 이상영역이 존재하는지 여부를 판단하도록 한다(S263).

그리고, 판단된 결과 이상영역이 존재한다면, 전술된 이상영역의 종류 확인을 위하여(S270), 해당 이상영역이 그림자영역인지 또는 빛 반사영역인지 구분하여 이상영역이 선택되도록 한다.

이때, 분할된 세그먼트의 의미(mean)와 가중치(weight)를 분석하는 수학식은 다음과 같다.

[수학식 2]

Mean =

for j = 0 to image Height

for i = 0 to image Weigth

if(current pixel = current cluster)

Accumulate current data / N

Weight = current pixels / total pixels

(이때, cluster는 구분된 각 영역(영상 내 특정영역을 유사한 데이터끼리 묶어서 분할할 때 각 영역을 의미)을, N은 해당 구분된 영역의 총 픽셀 갯수를 나타낸다.

즉 Mean 은 영상 내 해당 cluster(영역) 내 총 픽셀데이터의 누적값을 해당 cluster의 픽셀 갯수로 나눈 값(각 클러스터의 평균 데이터 값)이며,

각 cluster의 wieght는 해당 cluster 의 픽셀 갯수를 영상의 총 pixel로 나눈 값(각 클러스터가 전체영역 중 어느 정도의 비율을 차지하는지 나타내는 수치)이다.)

또한, 존재하는 이상영역이 그림자영역인지 혹은 빛 반사영역인지 확인하는 과정은(S270), 위 분석된 의미와 가중치에 기반하여 수행되는 것으로 도 17 및 도 18과 같이 이루어질 수 있다.

도 17은 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 이상영역이 빛 반사영역인 경우로 판단하는 알고리즘이고, 도 18은 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 이상영역이 그림자영역인 경우로 판단하는 알고리즘이다.

만약, 도 17과 같이 이상영역의 Mean이 이상영역을 제외한 차량번호판의 나머지 Mean보다 높고, 이상영역의 Height가 기 정해진 임계치보다 크며, 이상영역의 Width가 기 정해진 임계치보다 작은 경우, 해당 이상영역은 빛 반사영역으로 판단된다.

이때, 임계치는 시스템 설계자에 따라 다르게 설정될 수 있으나, 빛 반사영역이라 함은, [표 1]에서 설명한 바와 같이, 그림자영역에 비해 번호판 높이 전체에 대해 형성되고, 폭이 좁게 형성되기 때문에, 임계치보다 좁은 폭을 갖고, 높은 높이를 가지면, 빛 반사영역이라고 정의할 수 있는 것이다.

또한, 도 18과 같이 이상영역의 Mean이 이상영역을 제외한 차량번호판의 나머지 Mean보다 낮고, Height가 기 정해진 임계치보다 작으며, Width가 기 정해진 임계피보다 큰 경우, 해당 이상영역은 그림자영역으로 판단될 수 있다.

이는 [표 1]에 도시된 바와 같이, 그림자영역이 빛 반사영역에 비해 높이가 낮고, 폭이 크게 형성되기 때문이다.

이는, 상술된 임계치의 기준값이 명확하게 기재되지 않아도, 어느 일정값을 기준으로 이상, 이하인 경우 빛 반사영역 또는 그림자영역으로 판단하는 것이기 때문에, 통상의 기술자가 본 발명을 이해하는데 무리가 없을 것이다.

이러한 그림자영역과 빛 반사영역은 [표 2]를 통해 예를 들도록 한다.

선택된 빛 반사영역	선택된 그림자영역
선택된 빛 반사영역	선택된 그림자영역
선택된 빛 반사영역

위와 같이, 이상영역이 그림자영역인지 또는 빛 반사영역인지 확인되어 선택된 이상영역을 보정하는 과정(S280)은, 도 19를 참조하도록 한다.

도 19는 본 발명에 따른 차량번호판 인식 시스템의 보정시스템에서 선택된 이상영역을 보정하는 과정을 나타낸 것이다.

도 19에 따르면, 이상영역의 복원 가능성을 판단한 뒤(S281),

복원 가능성이 있는 경우, 이상영역이 그림자영역인지 또는 빛 반사영역인지를 판단하여(S282), 판단 결과에 따라 보정 복원을 수행한다(S283, S284).

이때, 복원 가능성의 판단은, 예를 들어 빛 반사영역의 경우, 선택된 이상영역이 2개 이상의 복수 개이거나, 선택된 이상영역의 크기가 기준값 이상으로 크거나, 또는 선택된 이상영역의 밝기가 기준값 이상으로 어두운 경우를 예로 들 수 있다([표 3] 참조).

이를 위해 보정시스템은 선택된 이상영역 분석부를 포함하여 선택된 이상영역의 밝기, 크기 및 개수를 분석하도록 할 수 있다.

이후, 복원 가능성이 있다면, 복원시스템은 상기와 같이, 이상영역이 그림자영역인지 또는 빛 반사영역인지를 판단하여(S282), 판단 결과에 따라 보정 복원을 수행한다(S283, S284).

즉, 빛 반사영역의 경우, 도 19에 도시된 바와 같이,

가중치(weight)가 가장 큰 영역의 mean 값과 이상영역의 mean의 절대 차이값 만큼 이상영역의 mean에서 빼줌으로써 보정을 수행하고,

그림자영역의 경우,

가중치가 가장 큰 영역의 mean 값과 이상영역의 mean의 절대 차이값을 이상영역의 mean에서 더해줌으로써 보정을 수수행할 수 있다([표 4] 참조).

부연하면, 그림자영역은 일반적으로 이상영역 외의 다른 영역에 비해 낮은 명도를 갖고, 빛 반사영역은 다른 영역에 비해 높은 명도를 갖는다. 따라서, 그림자영역은 더 밝게 보정하여야 하고, 빛 반사영역은 더 어둡게 보정하여야 한다.

이때, 가중치가 가장 큰 영역은 번호판의 배경영역이 되는 것이고, 이상영역은 그림자영역 또는 빛 반사영역을 의미한다.

예를 들어, 가중치가 가장 큰 영역의 mean이 100명도값을 갖고 있고, 이상영역이 빛 반사영역인 경우 130명도값을 갖는다고 가정하면, 이들의 절대 차이값인 30을 이상영역의 mean에서 빼주어 보정을 수행하고,

가중치가 가장 큰 영역의 mean이 100명도값을 갖고 있고, 이상영역이 그림자영역인 경우 50명도값을 갖는다고 가정하면, 이들의 절개 차이값인 50을 이상영역의 mean에서 더해주어 보정을 수행하는 것이다.

원본-빛 반사	원본-그림자
보정 후-빛 반사	보정 후-그림자

상술된 보정에 따라. [표 4]에서와 같이, 각 이상영역에는 라인 성분이 나타나게 되며, 이를 제거하기 위하여 이상영역의 edge라인에 대한 가우시안 스무딩(gaussian smoothing) 처리를 수행하여 라인 성분을 제거한다(S285).

이러한 라인 성분 제거 과정을 통해 출력되는 번호판정보는 [표 5]와 같다.

한편, 상술된 통상의 차량번호판 인식영역 추출시스템은 다양할 수 있으나, 일예로서 다음과 같을 수 있다. 그러나 본 발명의 권리범위가 청구항에 의해 한정되는 것인 만큼, 후술되는 차량번호판 인식영역 추출시스템이 본 발명에 사용되는 추출시스템으로 한정되는 것으로 해석되어서는 안된다 할 것이다.

도 1은 본 발명의 일실시예에 따른 다차선 차량 속도 측정시스템(10)의 전체 구성도이고, 도 2는 도 1의 본 발명의 일실시예에 따른 다차선 차량 속도 측정 시스템(10)의 상세 블록도이고, 도 3은 도 2의 제어부(100)의 일 실시예를 나타내는 블록도이다.

도 1을 참고하면, 본 발명의 일실시예에 따른 다차선 차량 속도 측정시스템(10)은 다차선 도로에 방사파를 출사하고, 다차선 도로를 주행하는 차량(20)으로부터 반사되는 반사파를 수신하기 위한 레이더(300), 상기 레이더(300)에 의해 감지되는 차량(20)을 촬영하여 영상을 획득하는 하나의 카메라(200), 그리고 상기 레이더(300)로부터의 제1 차량 속도와 카메라(200)로부터의 제2 차량 속도를 연산하고 보정 및 비교하여 차량(20)의 최종 속도를 연산하는 제어부(100)를 포함한다.

상기 레이더(300)는 짧은 주기를 가지고, 상기 방사파를 출사할 수 있으며, 상기 카메라(200)는 상기 레이더(300)로부터 수득된 방사파에 의해 과속 차량(20)이 타겟으로 인지되면, 트리거되어 다차선 중 타겟 차량(20)이 위치한 차선을 중심으로 2회 촬영을 진행한다.

상기 제어부(100)는 레이더(300)로부터의 반사파를 수신하고, 이를 판독하여 차량(20)의 제1 차량 속도를 연산하는 레이더 속도 연산부(110), 상기 카메라(200)로부터 영상을 수신하고, 가공 및 보정하여 차량(20)의 제2 차량 속도를 연산하는 영상 속도 연산부(120), 그리고 제1 차량 속도와 제2 차량 속도를 수신하고, 이를 비교하여 최종 속도를 수득하는 최종 속도 연산부(130)를 포함한다.

상세하게는, 상기 레이더 속도 연산부(110)는 레이더(300)로부터 방사파의 출사시점과 반사파의 수신시점 정보를 획득하여 레이더(300)로부터 차량(20)이 이격된 거리정보를 산출하여 거리정보로부터 속도 정보를 추출하여 제1 차량 속도로 정의하고, 상기 제1 차량 속도가 임계속도(단속속도)를 초과하는 경우 이를 과속 차량(20)으로 인지한다. 상기 과속 차량(20)이 타겟 차량(20)으로 정의되면, 이에 카메라(200)가 트리거되어 타겟 차량(20)이 포함된 풀프레임 영상을 2회에 걸쳐 촬영을 수행한다.

또한, 상기 제어부(100)는 상기 레이더(300)로부터 얻어지는 타겟 차량(20)의 주행정보를 분석하여 상기 다차선 도로상의 풀프레임 영상에서 타겟차량(20)의 위치를 파악하고, 상기 다차선 도로상의 풀프레임 영상에서 타겟차량이 위치한 영역을 크롭핑(cropping)하여 제1 크롭핑 영상(인식 영역)으로 저장하고, 상기 제1 크롭핑 영상으로부터 타겟 차량(20)의 번호판을 인식하여 번호판이 위치한 영역을 크롭핑하여 제2 크롭핑 영상으로 저장하는 영상처리부(도시하지 않음)를 더 포함할 수 있다.

상기 영상처리부는 상기 2회에 걸쳐 촬영된 영상으로부터 타겟 차량(20)이 위치하는 영역을 크롭(crop)하여 2개의 제1 크롭핑 영상을 인식 영역(ROI: region of interest)으로 추출한다. 2회에 걸쳐 촬영된 영상 중, 선 촬영된 풀프레임 영상에서 크롭된 제1 크롭핑 영상은 제1 인식 영역으로 추출하고, 후 촬영된 풀프레임 영상에서 크롭된 제1 크롭핑 영상은 제2 인식 영역으로 추출한다.

또한, 상기 제어부(100)는 상기 제2 크롭핑 영상에서 상기 차량 번호판의 번호를 인식하는 번호인식부(도시하지 않음)를 더 포함할 수 있다. 상기 번호인식부는 2개의 제2 크롭핑 영상 내에 위치하는 차량 번호판을 인식하고, 차량 번호판의 번호 및 위치를 판별한다. 이때, 상기 번호판 위치는 타겟 차량(20)의 번호판 내의 한 점을 기준점으로 정의할 수 있다. 일 예로 상기 기준점은 번호판의 중심일 수 있으며, 번호판이 직사각형인 경우, 4 개의 모서리 중 하나일 수 있다.

또한, 상기 제어부(100)는 상기 레이더 속도 연산부(110)로부터 상기 레이더송수신수단에 의해 측정된 상기 타겟 차량의 주행속도를 제1 차량 속도로 정의하고, 상기 타겟 차량의 영상처리부에서 판별된 번호판의 위치를 전달받아 소정 시간 간격으로 촬영한 영상에서 이동된 차량번호의 픽셀 수를 계수하여 제2 차량 속도로 정의할 때, 상기 제1 차량 속도와 제2 차량 속도와 일정시간 경과 후의 상기 제2 차량 속도 모두 임계 속도를 벗어나는 경우 단속대상차량으로 판단하는 단속판단부(도시하지 않음)를 더 포함할 수 있다.

상기 영상 속도 연산부(120)는 상기 타겟 차량(20)이 제1 크롭핑 영상 좌표계에서의 차지하는 제1 좌표값을 풀프레임 영상 좌표계에서 차지하는 제2 좌표값으로 변환하고, 상기 제2 좌표값의 시간에 따른 이동거리를 계산하여 차량의 속도를 연산한다.

즉, 상기 영상 속도 연산부(120)는 전체 영상 내에서의 인식 영역의 위치에 대한 좌표 보정을 수행하고, 기준점이 되는 번호판의 특징에 따라 보정하는 영상 보정부(125)를 포함할 수 있다.

상기 영상 속도 연산부(120)는 상기 영상 보정부(125)로부터의 보정된 제2 좌표값에 의해 제2 차량 속도를 연산할 수 있다.

상기 제2 차량 속도는 두 개의 영상 사이의 시간차에 대한 두 개의 보정된 제2 좌표값 사이의 거리를 기준으로 연산될 수 있다.

상기 최종 속도 연산부(130)는 상기 제1 차량 속도와 제2 차량 속도를 비교하여 두 개의 차량 속도가 일치하는지, 레이더(300)에 의한 제1 차량 속도와 카메라(200)에 의한 제2 차량 속도가 오차 범위 내에 포함되는지를 판단하여 최종 속도를 산출한다.

상기 제어부(100)는 산출된 최종 속도 및 차량 정보를 실시간으로 관제 센터(400)로 전송하기 위한 통신부(150)를 포함하며, 촬영된 영상, 차량번호, 평균속도, 날짜, 시간 데이터를 저장하는 메모리(140)를 포함한다.

관제 센터(400)는 상기 다차선 차량 속도 검출 시스템(10)으로부터의 과속 차량(20)에 대한 차량정보 및 최종속도 정보를 수신하고, 상기 차량(20) 영상 화면에 차량번호, 평균속도, 날짜 및 시간 데이터를 정해진 영역에 표출시키고 저장하는 서버를 포함한다.

이하, 본 발명에 의한 다차선 차량 속도 측정시스템(10)의 동작을 상세히 설명한다.

도 4는 제어부(100)의 속도 연산 방법을 나타내는 순서도이고, 도 5는 영상 속도 연산부(120)의 인식 영역 획득하는 단계를 나타내는 그림이다.

먼저, 레이더(300)가 주기적으로 반송파를 수신하고, 이를 연산하여 제1 차량 속도를 생성한다(s110). 레이더 속도 연산부(110)에서 연산된 차량(20)의 제1 차량 속도가 임계속도(단속속도)을 초과하는 것으로 판단되면(s120), 해당 차량(20)을 타겟 차량(20)으로 정의한다. 이때, 임계속도는 해당 다차선 도로의 단속속도일 수 있다.

타겟 차량(20)이 정의되면, 타겟 차량(20)이 위치하는 차선을 인식하고(s130), 다차선 도로에 배치된 한대의 카메라(200)가 트리거되어 타겟 차량(20)이 포함되도록 시간차를 두고 2회에 걸쳐 촬영이 진행된다(s140).

일 예로, 2회에 걸쳐 촬영된 2개의 영상은 도 5와 같이 80msec의 시간차를 두고 수득될 수 있다.

이때, 시간차는 제1 차량 속도에 따라 변동할 수 있으며, 60km/h 이하인 경우 160msec 시간차를 가질 수 있고, 60km/h~80km/h인 경우 120msec 의 시간차를 가질 수 있으며, 80km/h~100km/h인 경우 80msec 의 시간차를 가질 수 있으며, 100km/h 이상인 경우 40msec의 시간차를 가질 수 있다.

영상 처리부는 2개의 영상으로부터 타겟 차량(20)의 차량 번호 정보를 수득하고, 타겟 차량(20)이 배치되어 있는 영역을 인식영역으로 크롭(crop)한다(s150).

즉, 도 5와 같이 붉은 선으로 정의되는 레이더(300) 거리 정보의 인식영역으로부터 타겟 차량(20) 위치를 정의하는 영역을 수득하고, 이를 포함하는 인식영역을 잘라내어 신호 처리 대상으로 정의한다.

이때, 인식 영역의 위치는 레이더로부터 얻어지는 주행정보 및 영상에서 얻어지는 타겟 차량 위치를 정의하는 영역에 의해 결정될 수 있다. 도 5와 같이 시간차를 가지는 두 개의 풀프레임 영상에서 인식 영역의 위치가 차량(20)의 속도에 따라 이동한 것을 볼 수 있다.

또한 인식 영역의 크기는 해당 타겟 차량(20) 위치를 정의하는 영역의 크기 및 영상 내 차량(20)의 크기에 따라 조절될 수 있다. 상기 크기 조절에 대하여는 뒤에 상세히 설명한다.

상기 영상 속도 연산부(120)의 영상 보정부(125)는 상기 인식 영역의 전체 영상에서의 위치에 따라 수직 보정 및 수평 보정을 수행하고, 번호판과 관련하여 보정을 수행하고 기준점에 대한 보정된 좌표를 생성한다(s160).

이때, 수직 및 수평 보정은 3차원의 공간이 2차원의 촬영 영상으로 전환되면서 원근감의 차이에 의해 발생하는 오차를 보정하는 것으로, 촬영 영상에서 픽셀 하나의 거리가 영상의 상부에 위치하는지 하부에 위치하는지에 따라 서로 다른 거리를 나타내게 되며, 이는 영상의 좌우의 차이에 의하여도 발생하게 된다.

따라서, 이러한 오차를 보상하여 수직 및 수평 보정을 진행함으로써 영상 전체가 아닌 인식 영역에 대하여만 데이터를 판독하여도 원근감으로부터의 오차 없이 정확한 좌표를 수득할 수 있다.

상기 보정에 대하여는 뒤에 상세히 설명한다.

영상 속도 연산부(120)는 보정된 좌표값을 기준으로 영상으로부터의 타겟 차량(20)의 제2 차량 속도를 연산한다(s170).

다음으로, 최종속도 연산부(130)는 제1 차량 속도와 제2 차량 속도를 비교하여 최종속도를 연산한다(s180).

최종속도 연산부(130)는 속도 편차를 연산하여 최종속도를 규정한다.

속도 편차는 다음의 수식을 따른다.

[수학식 1]

속도 편차 = (제1 차량 속도 / 제2 차량 속도) X 100

최종 속도 연산부는 상기 제1 차량 속도와 상기 제2 차량 속도의 편차가 제1 임계값 미만이면 상기 제1 차량 속도를 상기 타겟차량의 속도로 정의하고, 상기 제1 차량 속도와 상기 제2 차량 속도의 편차가 제1 임계값과 제2 임계값 사이의 범위를 충족하면 상기 제1 차량 속도와 상기 제2 차량 속도의 평균값을 상기 타겟차량의 속도로 정의하고, 상기 편차가 상기 제2 임계값을 초과하면 상기 타겟 차량의 속도를 버릴 수 있다.

예컨데, 제1 임계값이 3%, 제2 임계값이 7%인 경우 제1 차량 속도와 제2 차량 속도의 편차가 3%보다 작으면, 타겟차량의 최종속도는 제1 차량 속도이고, 편차가 3% 내지 7%인 경우 타겟차량의 최종속도는 제1 차량 속도와 제2 차량 속도의 평균이고, 편차가 7%를 초과하는 경우 타겟차량의 최종속도를 연산하지 못하는 허수로 판단하고 에러로 처리한다.

마지막으로, 타겟 차량(20)에 대한 최종속도를 수득하면, 상기 타겟 차량(20)에 대한 정보, 즉, 차량 번호, 시간, 위치와 상기 최종속도를 관제 센터(400)에 실시간으로 전송하고 감지 동작을 종료한다.

이와 같이 다차선에서의 차량(20)의 과속 여부를 하나의 레이더(300) 및 하나의 카메라(200)를 통해 수행하여 카메라(200)의 개수를 줄일 수 있고, 촬영된 영상에서 데이터 처리 대상인 인식 영역을 크롭하여 데이터 처리량을 줄이고, 처리 속도를 향상시킬 수 있다.

한편, 본 발명은 풀프레임 영상에서 추출되는 인식 영역을 최소화하여 데이터를 처리함에 있어서 처리 속도 및 신뢰성을 높일 수 있는 동적객체에 대한 인식영역 추출시스템을 제공한다. 풀프레임 영상에서 인식 영역을 획득함에 있어서, 레이더에 의해 수득되는 주행정보 및 카메라에 의해 촬영된 영상에서 추출되는 정보를 이용하여 후 촬영된 풀프레임 영상에서 추출되는 제2 인식 영역을 최소화한다.

즉, 레이더를 통해 수득되는 주행정보를 이용하여 선 촬영된 풀프레임 영상에서 제1 인식 영역을 추출하고, 상기 레이더를 통해 수득되는 주행정보와 상기 제1 인식 영역 내의 번호판이 위치한 영역을 이용하여 상기 제1 인식 영역으로부터 위치와 크기를 조절하여 제2 인식 영역을 추출한다.

레이더를 통해 수득되는 주행정보는 차량 위치값, 차량 속도, 추적 기울기를 포함한다.

차량의 위치값은 레이더에서 출사되는 방사파의 주기마다 차량이 이동함으로써 변하는 위치를 나타내는 것으로서, 상기 카메라로부터 취득한 영상에 레이더 위치값을 투영한 파라미터(예를 들면, 좌표값)이다. 차량의 위치값은 카메라를 통해 촬영된 영상의 좌표에 매칭시킬 수 있다.

차량의 속도(제1 차량 속도)는 레이더로부터 방사파의 출사시점과 반사파의 수신시점 정보를 획득하여 레이더로부터 차량이 이격된 거리정보를 산출하여 계산되는 파라미터이다. 차량의 속도에 따라 카메라의 촬영 여부를 결정하고, 2회 촬영 시 선 촬영과 후 촬영의 시간차를 결정하는데 이용될 수 있다.

추적 기울기는 방사파의 주기적인 출사에 의해 연속적으로 얻어지는 다수개의 차량 위치값들의 궤적에 의해 계산되는 파라미터이다. 추적 기울기는 인식 영역을 더욱 세밀하게 추출하는데 이용될 수 있다.

이하에서는, 도 6 및 도 7을 참고 하여, 도 4의 영상에서 인식 영역 획득 방법(s150)을 상세히 설명한다.

도 6은 도 4의 영상에서 인식영역 획득 방법을 나타내는 순서도이고, 도 7은 도 6의 인식 영역 획득을 나타내는 그림이다.

도 6을 참고하면, 먼저, 촬영된 풀프레임 영상에 레이더를 통해 수득한 차량의 위치값을 매칭시킨 후(s151), 선 촬영된 풀프레임 영상에서 타겟차량이 위치한 영역을 포함하는 제1 인식 영역(제1 크롭핑 영상)을 추출한다(s152)(도 7, ①). 이때 제1 인식 영역은 매칭된 차량의 위치값을 이용하여 선 촬영된 풀프레임 영상 중에서 번호판을 포함하는 타겟 차량의 위치를 대략적으로 추측하여 추출된다.

제1 인식 영역이 추출되면, 상기 제1 인식 영역에서 타겟 차량의 번호판이 위치하는 영역(제2 크롭핑 영상)을 추출한다(s153). 번호판이 위치하는 영역에서 전술한 번호판 기준점의 좌표값을 얻을 수 있다.

번호판 좌표값이 얻어지면, 상기 차량 위치값과 번호판 좌표값의 상대적 차이값을 얻는다(s154)(도 7, ②).

다음으로, 후 촬영된 풀프레임 영상에서 타겟차량이 위치한 영역을 포함하는 제2 인식 영역(제1 크롭핑 영상)의 위치를 결정한다(s155)(도 7, ③). 이때 제2 인식 영역의 위치는 매칭된 차량의 위치값 및 추적 기울기를 이용하여 후 촬영된 풀프레임 영상 중에서 타겟 차량의 이동한 위치를 대략적으로 추측하여 결정된다.

또한 제2 인식 영역의 위치는 상기 차량 위치값과 번호판 좌표값의 상대적 차이값을 반영하여 더욱 세밀하게 조절될 수 있다. 즉, 차량 위치값으로부터 제1 인식 영역에서 추출된 번호판 좌표값의 상대적 차이값이 크다면 상기 제2 인식 영역 내에 번호판이 위치하는 영역이 존재하지 않을 가능성이 있으므로, 상기 상대적 차이값을 반영하여 제2 인식 영역의 위치를 더욱 세밀하게 조절함으로써 제2 인식 영역 내의 번호판이 위치하는 영역이 높은 확률로 포함될 수 있도록 한다.

제2 인식 영역의 위치가 결정되면, 조정 조건을 적용하여 제2 인식 영역의 상단 부분, 좌/우측 부분 및 하단 부분 중 적어도 어느 한 부분 이상의 크기를 조절함으로써 최종적으로 제2 인식 영역(제1 크롭핑 영상)을 추출한다(s156).

이하, 제2 인식 영역의 크기를 조절하는 조정 조건을 더욱 구체적으로 설명한다.

제1 조건은 제1 인식 영역 내의 번호판이 위치하는 영역에 따라 제2 인식 영역의 상단부분을 축소한다(s156-1)(도 7, ④). 도 7에 나타낸 것과 같이 차량은 카메라와 가까워지는 방향으로 진행하기 때문에 제1 인식 영역에서 얻은 번호판이 위치하는 영역의 상단부분은 인식 대상이 존재하지 않을 것으로 예상되는 부분으로서 제2 인식 영역의 축소가 가능하다.

제2 조정 조건은 추적 기울기에 따라 제2 인식 영역의 좌측 또는 우측 부분을 축소한다(s156-2)(도 7, ⑤). 도 7에 나타낸 것과 같이 추적 기울기의 방향이 우측 하단을 향하므로 제1 인식 영역내의 번호판이 위치하는 영역을 기준으로 좌측 부분은 인식 대상이 존재하지 않을 것으로 예상되는 부분으로서 제2 인식 영역의 축소가 가능하다.

차량이 위치하는 차선이나 카메라가 설치된 위치에 따라 타겟차량에 대한 추적 기울기의 방향이 결정되고, 추적 기울기의 방향이 우측 하단을 향하는 경우 좌측 부분은 인식 대상이 존재하지 않을 것으로 예상되므로 제1 인식 영역 내의 번호판이 위치하는 영역을 기준으로 제2 인식 영역의 좌측 부분을 축소하고, 추적 기울기의 방향이 좌측 하단을 향하는 경우 우측 부분은 인식 대상이 존재하지 않을 것으로 제1 인식 영역 내의 번호판이 위치하는 영역을 기준으로 제2 인식 영역의 우측 부분을 축소할 수 있다.

제3 조정 조건은 차량 속도에 따라 제2 인식 영역의 하단 부분을 축소한다(s156-3)(도 7, ⑥). 도 7에 나타낸 것과 같이 레이더를 통해 측정되는 차량 속도를 통해 예상되는 제2 인식 영역 내의 번호판 위치를 기준으로 하단 부분은 인식 대상이 존재하지 않을 것으로 예상되는 부분으로서 제2 인식 영역의 축소가 가능하다.

상기 차량 속도를 통해 적당한 여유 거리를 포함한 예상되는 차량(번호판)의 이동 위치를 예측한다.

레이더에 의해 수득되는 정보 및 카메라에 의해 촬영된 영상에서 추출되는 정보를 이용하여 후 촬영된 풀프레임 영상에서 추출되는 인식 영역을 최소화함으로써 데이터 처리 용량을 줄여 처리 속도를 향상시킬 수 있고, 차량 번호판을 포함하는 인식 영역을 신뢰성 있게 추출함으로써 차량 인식 효율을 높일 수 있다.

한편, 본 발명의 다차선 차량 속도 측정 시스템(10)은 인식 영역을 크롭하여 데이터를 처리함에 있어 발생할 수 있는 오류에 대하여 보정을 수행하여 보다 신뢰성 있는 속도를 연산할 수 있다.

이하에서는, 도 8 내지 도 10을 참고하여, 도 4의 인식 영역에 대한 좌표 보정 방법(s160)을 상세히 설명한다.

도 8은 도 4의 인식 영역에 대한 보정 방법을 나타내는 순서도이고, 도 9는 도 8의 좌표 수득을 나타내는 그림이며, 도 10은 도 8의 역 차량기준좌표 수득을 나타내는 그림이다.

도 8을 참고하면, 풀프레임 영상에서의 좌표계 및 제1 크롭핑 영역에서의 좌표계가 각각 정의된 상태에서, 영상 보정부(125)는 풀프레임 영상 좌표계에서 제1 크롭핑 영역이 해당하는 영역의 좌표값을 수득한다(s161).

제1 크롭핑 영역의 풀프레임 영상 좌표계에서의 좌표값은 풀프레임 영상에서 제1 크롭핑 영역이 어디에 위치하는지에 따라 발생하는 거리 오차를 보정하기 위한 기초 데이터가 된다.

다음으로, 제1 크롭핑 영역 좌표계에서 상기 타겟 차량(20)의 차량기준좌표값을 수득한다(s163).

이러한 차량기준좌표값은 번호판의 좌표값일 수 있으며, 번호판의 한 점 또는 복수의 점일 수 있다. 일예로, 도 9과 같이, 좌측 상단 모서리와 우측 하단 모서리의 좌표값을 차량기준좌표로 인식할 수 있다.

다음으로, 제1 크롭핑 영상을 풀프레임 영상 내로 변환을 수행하면, 도 10과 같이 시간차를 두고 촬영된 두 개의 제1 크롭핑 영상(t1) 및 제1 크롭핑 영상(t2)의 좌우 상단의 배치가 이동한다(s165).

다음으로, 제1 크롭핑 영역에서의 차량기준좌표값을 풀프레임 영상 좌표계의 좌표값으로 변환하여 수득한다(s167).

이로써, 도 9 및 도 10과 같이 시간차를 가지는 두 개의 영상으로부터의 두 개의 제1 크롭핑 영상에서의 우측 하단 모서리의 y축 좌표값 차가 74 픽셀에서 풀프레임 영상 좌표계에 의한 우측 하단 모서리의 y축 좌표값 차는 124픽셀이 된다.

즉, 인식 영역의 좌표를 반영하여 데이터 처리를 인식 영역만을 수행하여 연산 속도를 높이면서도 데이터의 정확성을 확보할 수 있다.

다음으로, 풀프레임 영상 좌표계에 수직 보정 및 수평 보정을 수행한다(s168).

상기 수직 보정 및 수평 보정은 상기 좌표값이 풀프레임 영상의 어느 영역에 위치하는지에 따라 가중치를 두어 2차원 영상으로부터 3차원 실제 차량(20)의 이동 거리를 보정하여 이루어진다.

즉, 3차원 공간이 2차원 촬영 연상으로 전환되면서 원근감의 차이에 발생하는 오차를 보정하는 것으로, 영상에서 하나의 픽셀은 동일한 거리 값을 가지나, 상기 픽셀이 2차원 영상에서 위 또는 아래 중 어느 위치에 배치되는지에 따라 해당 픽셀이 가지는 거리 값이 상이하고, 좌 또는 우 중 어느 위치에 배치되는지에 따라 거리 값이 상이하다.

따라서, 각 픽셀의 위치에 따라 가중치를 두고, 해당 기준치를 곱하여 보정된 풀프레임 영상 좌표값으로부터 차량(20)의 이동 거리를 연산할 수 있다.

이때, 상기 영상 보정부(125)는 풀프레임 영상 좌표값에 수직 및 수평 보정을 수행한 뒤, 번호판 보정을 더 진행할 수 있다(s169).

도 11은 도 8의 번호판 보정을 나타내는 상세 순서도이고, 도 12는 도 11의 번호판 특징 추출하는 동작을 나타내는 그림이고, 도 13은 도 11의 차종분석을 나타내는 그림이며, 도 14는 도 11의 번호판 높이 측정을 나타내는 그림이다.

도 11을 참고하면, 번호판 보정이 시작되면, 상기 영상 보정부(125)는 두 개의 촬영 영상으로부터 타겟 차량(20)의 번호판의 특징을 추출한다(s200).

이때, 번호판 특징으로는 번호판의 크기, 색깔, 가로세로비율 등일 수 있다.

다음으로, 두 개의 촬영 영상으로부터 타겟 차량(20)의 차종 분석을 수행한다(s210). 상기 차종 분석은 차량(20)의 크기에 따라 대형, 중형, 소형 차량(20)으로 분류하고, 세부 차종분류를 수행한다.

즉, 차량(20)을 승용차, 버스, 트럭, 기타 차량(20)으로 분류하고, 버스인 경우 속도 보정을 수행하지 않고, 다른 차종인 경우에만 속도 보정을 수행할 수 있다.

다음으로, 번호판 높이(d)를 측정한다(s220).

상기 번호판 높이(d)는 차량(20)의 하단, 즉, 차량(20)의 타이어 밑단으로부터 번호판의 기준점, 일예로 번호판의 우측 하단 모서리까지의 최단거리로 정의할 수 있으며, 도 11a 내지 도 11d와 같이 차종에 따라 서로 다른 높이를 가질 수 있고, 도 12a 및 도 12b와 같이 같은 차종에서도 차량(20) 내 번호판이 배치된 영역에 따라 서로 다를 수 있다.

이와 같이 번호판의 위치 분석이 종료되면, 차량(20) 헤드라이트 위치 분석을 수행한다(s230).

상기 헤드라이트 분석은 헤드라이트 사이의 간격으로 차량(20)의 폭을 추정하여 대형 차량(20)을 구분할 수 있으며, 차량(20) 헤드라이트로부터의 번호판의 기준점 위치를 분석할 수 있다.

다음으로, 기 수행된 번호판 특징, 차종, 번호판 높이, 헤드라이트 분석 내용을 바탕으로 번호판 좌표 보정을 수행한다(s240).

즉, 도 12의 번호판 a와 번호판 b를 검토하면, 차량(20)이 근접함에 따라 번호판의 크기가 5 ~15% 확대되어 보일 수 있다. 따라서, 확대 비율에 대한 가중치를 두어 픽셀의 좌표 보정을 수행할 수 있으며, 이때 좌표는 기준점, 일 예로 번호판의 모서리 또는 중심일 수 있다.

또한, 도 13 및 도 14와 같이 차종 및 번호판의 배치에 따라 지면으로부터 번호판의 높이(d)가 달라질 수 있어 앞서 설명한 수직 오차를 발생하게 된다.

따라서, 차종 및 번호판의 높이(d)에 따라 가중치를 두어 오차를 보상하는 기준점의 좌표를 생성할 수 있다. 이때, 상기 가중치는 상기 번호판의 높이(d)가 임계값 이상인 경우에만 부여될 수 있다.

이와 같이 번호판 보정을 수행한 보정된 기준점의 좌표로부터 차량(20)의 속도를 연산하여 신뢰도가 향상된 데이터를 구할 수 있다.

상기에서 도면을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도면의 구성에 한정되는 것이 아님은 자명하다.

Claims (8)

1. 인식된 차량번호판에 그림자 또는 빛 반사에 의해 형성된 이상영역을 검출하고, 상기 이상영역이 그림자영역인지 또는 빛 반사영역인지를 판단하여, 판단된 영역 종류에 따라 보정을 수행하는 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템에 있어서,
   이상영역의 검출, 영역종류 판단 및 보정은 보정시스템에 의해 이루어지되,
   상기 보정시스템은,
   차량영상에서 딥러닝 방식으로 해당 차량의 번호판정보를 인식하고,
   인식된 번호판정보에 이상영역이 존재하는지 판단하여, 이상영역이 존재하는 경우, 해당 이상영역이 그림자영역인지 또는 빛 반사영역인지 확인하고,
   상기 이상영역의 존재 판단은,
   상기 보정시스템이 상기 이상영역을 분할하여 분할된 세그먼트의 의미값 및 가중치값을 분석하고, 분석된 의미값 및 가중치값을 기반으로 이루어지며,
   상기 의미값(mean) 및 가중치값(Weight)을 분석은 다음의 수학식으로 이루어지는 것을 특징으로 하는, 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템.
   Mean =
   for j = 0 to image Height
   for i = 0 to image Weigth
   if(current pixel = current cluster)
   Accumulate current data / N
   Weight = current pixels / total pixels
   (이때, cluster는 구분된 각 영역(영상 내 특정영역을 유사한 데이터끼리 묶어서 분할할 때 각 영역을 의미)을, N은 해당 구분된 영역의 총 픽셀 갯수를 나타낸다.
   즉 의미값(mean)은 영상 내 해당 cluster(영역) 내 총 픽셀데이터의 누적값을 해당 cluster의 픽셀 갯수로 나눈 값(각 클러스터의 평균 데이터 값)이며,
   각 cluster의 가중치값(Weight)은 해당 cluster의 픽셀 갯수를 영상의 총 pixel로 나눈 값(각 클러스터가 전체영역 중 어느 정도의 비율을 차지하는지 나타내는 수치)이다.)
   
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 이상영역은,
   이상영역의 의미값(mean)이 이상영역을 제외한 나머지 영역의 의미값(mean)보다 높고,
   이상영역의 Height가 미리 정해진 임계치보다 크며,
   이상영역의 Width가 미리 정해진 임계치보다 작은 경우,
   해당 이상영역을 빛 반사영역으로 판단하는 것을 특징으로 하는, 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템.
   
6. 청구항 1에 있어서,
   상기 이상영역은,
   이상영역의 의미값(mean) 이상영역을 제외한 나머지 영역의 의미값(mean) 보다 낮고,
   이상영역의 Height가 미리 정해진 임계치보다 작으며,
   이상영역의 Width가 미리 정해진 임계치보다 큰 경우,
   해당 이상영역을 그림자영역으로 판단하는 것을 특징으로 하는, 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템.
   
7. 청구항 1에 있어서,
   상기 보정시스템의 보정은,
   판단된 이상영역의 복원이 가능한지 판단하여 복원 가능성이 있는 경우, 해당 이상영역이 그림자영역인지 또는 빛 반사영역인지에 따라 복원을 수행하되,
   상기 빛 반사영역의 경우,
   가중치값(weight)이 가장 큰 영역의 의미값(mean)과 이상영역의 의미값(mean)의 절대 차이값 만큼 빼줌으로써 보정을 하고,
   그림자영역의 경우,
   가중치가 가장 큰 영역의 의미값(mean)과 이상영역의 의미값(mean)의 절대 차이값을 더해줌으로써 보정하는 것을 특징으로 하는, 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템.
   
8. 청구항 7에 있어서,
   상기 보정시스템은,
   보정이 완료된 뒤 나타는 이상영역의 라인 성분을, 상기 이상영역의 모서리(edge)라인에 가우시안 스무딩 처리를 수행하여 제거하는 것을 특징으로 하는, 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템.

Images