KR101461108B1 - 인식기, 차량모델인식장치 및 방법 - Google Patents

Abstract

본 발명에 따른 차량모델인식장치에는, 차량의 기준 이미지를 취득하여 데이터 베이스를 구축하는 학습기: 및 차량의 임의방향 이미지를 취득하고, 그 이미지를 처리하여 상기 데이터 베이스의 정보와 비교하여 차량을 인식하는 인식기가 포함되는 차량모델인식장치이고, 상기 인식기에는, 임의의 방향에서 이미지를 취득하는 이미지 취득기; 취득된 이미지에서 차량의 번호판을 검출하는 차량 번호판 검출기; 상기 번호판을 기준으로, 상기 학습기의 기준 이미지의 방향으로 관심영역을 추출하는 관심영역추출기; 상기 관심영역을 기술어로 표현하는 기술어 생성기; 및 상기 기술어와 상기 데이터 베이스를 비교하는 판독기가 포함된다.
본 발명에 따른 차량모델의 인식율이 높아지는 장점, 임의의 회전각도를 가지는 차량의 이미지도 정확히 모델을 인식할 수 있는 장점, 인식의 속도가 빨라 산업상의 적용이 충분히 가능한 장점이 있다. 번호판 파손되는 등의 문제가 있는 차량은 벌금과금 등을 편리하게 할 수도 있다.

Description

인식기, 차량모델인식장치 및 방법{RECOGNITION DEVICE, VEHICLE MODEL RECOGNITION APPARATUS AND METHOD}

본 발명은 인식기와, 차량의 모델을 인식하는 장치 및 방법에 관한 것이다. 더 상세하게는 차량의 이미지를 획득하여 자동으로 차량의 이름과 연식 등의 모델을 알아내는 장치 및 방법에 관한 것이다.

차량의 번호판 정보의 인식기술은 유료도로 등에서 널리 사용되고 있다. 상기 번호판 정보는 특정차량을 인식할 수 있는 정보이다. 그러나, 위장 번호판을 부착하는 경우에는 차량과 관련되는 정보를 전혀 추적할 수 없게 되는 문제점이 있다. 이러한 상황을 개선하기 위한 것으로서 차량모델을 인식하는 기술이 제안된 바가 있다. 차량 번호판과 함께 차량 모델을 인식하면 위장 번호판인지의 여부를 파악할 수 있는 것이다.

차량모델을 감지하는 경우에는, 유료도로에서 차종에 따른 과금을 편리하게 할 수 있고, 번호판과 차량모델의 일치 여부를 확인하여 도난차량인지를 확인할 수 있고, 번호판 정보가 진정성이 없는 경우에는 차량의 유일한 인식정보로서 역할을 수행할 수 있다.

기존의 차량의 모델을 인식하는 장치 및 방법은 인식율이 떨어지는 문제점이 있다. 인식율이 떨어지는 요인으로는, 취득되는 차량의 이미지에 대한 회전각도가 고려되지 않기 때문이다. 예를 들어, 데이터 베이스에는 차량의 전면 이미지가 수록되어 있고, 비교대상이 되는 현재의 차량의 이미지는 약간 정도 회전되는 이미지가 될 수 있다. 그런데 조금 회전된 차량의 이미지는 전면 이미지와는 인식과정에서 상당히 다르게 되므로 높은 정확도를 기대할 수 없다. 따라서, 데이터 베이스에 수록되는 이미지와 현재 취득되는 이미지의 촬영방향이 동일하게 되도록 하여야 한다. 그러나, 운행중인 차량의 이미지를 취득하면서 정확한 전면 이미지를 취득하는 것은 사실상 어렵다.

본 발명은 상기되는 문제점을 개선하여, 차량 이미지의 취득을 편리하게 할 수 있고, 차량모델의 인식 시에 인식율을 높일 수 있고, 산업적으로 적용이 가능한 수준의 차량의 모델인식이 가능한 차량모델인식장치 및 방법을 제안한다.

본 발명에 따른 차량모델인식장치는, 차량의 기준 이미지를 취득하여 데이터 베이스를 구축하는 학습기: 및 차량의 임의방향 이미지를 취득하고, 그 이미지를 처리하여 상기 데이터 베이스의 정보와 비교하여 차량을 인식하는 인식기가 포함되는 차량모델인식장치이고, 상기 인식기에는, 임의의 방향에서 이미지를 취득하는 이미지 취득기; 취득된 이미지에서 차량의 번호판을 검출하는 차량 번호판 검출기; 상기 번호판을 기준으로, 상기 학습기와 같은 회전각도와 크기를 가지는 관심영역을 추출하는 관심영역추출기; 상기 관심영역을 기술어로 표현하는 기술어 생성기; 및 상기 기술어와 상기 데이터 베이스를 비교하는 판독기가 포함된다.

여기서, 상기 학습기는 정면방향의 이미지를 취득하고, 상기 인식기는 전면의 임의방향의 이미지를 취득하는 장치이다. 또한, 상기 관심영역추출기는, 상기 번호판을 중심으로 좌우 측의 이미지를 비교하여 관심영역을 구하는 것을 특징으로 한다.

다른 측면에 따른 본 발명의 인식기에는, 임의의 방향의 이미지를 취득하는 이미지 취득기; 취득된 이미지에서 번호판을 검출하는 번호판 검출기; 상기 번호판을 소정의 기준으로 관심영역을 추출하는 관심영역추출기; 상기 관심영역을 기술어로 표현하는 기술어 생성기; 및 상기 기술어와 상기 데이터 베이스를 비교하는 판독기가 포함되고, 상기 관심영역추출기에는, 검출된 상기 번호판을 기준으로 좌우측의 한 쌍의 대조되는 이미지를 생성하는 대조 이미지 생성기; 상기 대조 이미지를 비교하여 차량의 회전정보를 알아내는 회전정보추출기; 및 상기 회전정보를 이용하여 이미지를 교정하는 이미지 교정기가 포함될 수 있다.

여기서, 상기 회전정보는 변환함수의 형태로 제공될 수 있고, 상기 한 쌍의 대조되는 이미지는 번호판의 중심에서 좌우 측의 이미지로서, 어느 한 쪽은 Y축 반전되는 이미지일 수 있다.

또 다른 측면에 따른 본 발명의 차량모델인식방법에는, 임의의 방향의 차량 이미지가 입력되는 것; 입력되는 차량 이미지에서 차량 번호판이 검출되는 것; 상기 차량 번호판을 이용하여 관심영역을 추출하는 것; 상기 관심영역을 기술어로 표현하는 것; 및 DB에서 비교하여 차량모델을 파악하는 것이 포함되고, 상기 관심영역을 추출하는 것에는, 대조가 가능한 한 쌍의 이미지를 생성하는 것; 상기 한 쌍의 이미지를 비교하여 차량의 회전정보를 알아내는 것; 및 상기 회전정보를 이용하여 이미지를 교정하는 것이 포함된다.

여기서, 상기 회전정보는 변환함수로 표현될 수 있다. 또한, 한 쌍의 이미지를 생성하는 것은, 차량 번호판의 상하측 모서리의 평균을 이용하여 상기 차량 이미지의 높이는 맞추는 것; 차량번호판의 배율에 따라서 소정의 영역을 관심영역으로 선정하는 것; 및 번호판의 세로 중심축을 중심으로 어느 한 쪽의 이미지를 Y축 반전하는 것이 포함될 수 있다. 또한, 상기 차량의 회전정보를 알아내는 것은, 메칭을 기본으로 이루어지는데, 이미지에서 메칭에 불필요한 영역을 제거하는 것; 일정 간격의 수평선들을 그은 상태로 특징점을 추출하는 것; 상기 대조가 가능한 한 쌍의 이미지에서 특징점을 메칭하는 것; 및 메칭되는 특징점을 참조하여 상기 회전정보를 변환함수로 표현하는 것이 포함될 수 있다.

본 발명에 따른 차량모델의 인식율이 높아지는 장점, 임의의 회전각도를 가지는 차량의 이미지도 정확히 모델을 인식할 수 있는 장점, 인식의 속도가 빨라 산업상의 적용이 충분히 가능한 장점이 있다. 번호판 파손되는 등의 문제가 있는 차량은 벌금과금 등을 편리하게 할 수도 있다.

도 1은 차량모델인식방법의 흐름도.
도 2는 상기 관심영역의 추출의 단계를 상세하게 보이는 흐름도.
도 3은 대조가 가능한 한 쌍의 이미지를 생성하는 것을 더 상세하게 설명하는 흐름도이다.
도 4는 이미지가 정렬되는 것을 번호판의 영역을 예시하여 보이는 도면.
도 5는 차량의 전면 모양이 관심영역에 포함되는 일 예를 보이는 도면.
도 6은 번호판의 종류 별로 관심영역의 설정영역을 보이는 표이고, 도 7은 관심영역의 실 예를 보이고 도면.
도 8은 관심영역의 왼쪽이 Y축 반전된 것을 예시하는 도면.
도 9는 차량의 회전정보추출단계를 상세하게 보이는 흐름도.
도 10은 도 8의 대조영역에서 번호판과 가까운 영역과 영상 크기 부족으로 인한 공백이 제거된 한 쌍의 이미지를 보이고 있는 도면.
도 11은, 오른쪽 한 쌍의 도면은 라이트 영역을 나타내고, 왼쪽 한 쌍의 도면은 라이트 영역이 제거된 상태의 특징점을 나타내는 도면..
도 12는 좌우 한 쌍의 이미지에서 코너점과 수직에지 성분들이 특징점으로 추출된 것을 나타내는 도면.
도 13에서 왼쪽 그림은 임의의 특징점끼리 메칭한 결과를 나타내는 것이고, 오른쪽 그림은 비슷한 높이의 특징점끼리 메칭한 결과를 나타내는 도면.
도 14는 제안하는 메칭 에러 제거 알고리즘이 적용되기 전의 왼쪽 그림과 적용된 후의 오른쪽 그림을 나타내는 도면.
도 15는 메칭점들과 그것들을 이용해 구한 변환함수의 예시도.
도 16은 이미지가 교정되는 것을 예시하는 도면.
도 17은 본 발명에 따른 차량모델인식장치의 블록도.
도 18은 상기 관심영역추출기의 상세한 구성을 나타내는 도면.
도 19는 상기 대조 이미지 생성기의 상세한 구성을 나타내는 도면.
도 20은 상기 회전정보추출기의 상세한 구성을 보이는 도면.

이하에서 도면을 참조하여 본 발명의 구체적인 실시예를 설명한다. 그러나, 본 발명의 사상은 이하의 실시예에 제한되지 아니하고 본 발명을 이해하는 당업자는 동일한 사상의 범위에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있으나, 이 또한 본 발명의 사상에 포함된다고 할 것이다.

<차량모델인식방법>

도 1은 차량모델인식방법의 흐름도이다.

도 1을 참조하면, 임의의 각도로 회전되어 있을 수 있는 상태의 차량의 전면 이미지가 입력된다(S1). 입력 이미지에서 차량 번호판이 검출된다(S2). 차량의 이미지가 입력되는 것(S1)과 입력 이미지에서 차량 번호판이 검출되는 것(S2)은 종래에 알려져 있는 다양한 방법에 의해서 수행될 수 있다.

차량 번호판이 검출되면 입력된 이미지를 교정하여, 미리 데이터 베이스에 수록되어 있는 이미지의 회전상태와 맞추어지도록 관심영역을 추출한다(S3).

추출된 상기 관심영역은 기술어(descriptor)로 표현된 다음에(S4), 데이터 베이스에 수록되어 있는 이미지와 비교하여 차량모델을 판정한다(S5).

상기 관심영역의 추출(S3)은, 도 2에 제시되는 단계를 포함할 수 있다.

먼저, 차량 번호판을 중심으로 좌우측의 부분영역을 이용하여, 상호 대조가 가능한 한 쌍의 이미지를 생성한다(S31). 상기 한 쌍의 이미지를 비교하여, 차량이 회전된 정도와 관련되는 정보를 추출한다(S32). 여기서 차량이 회전된 정도와 관련되는 정보는 변환함수를 지칭할 수 있다. 상기 변환함수는 이미지를 교정하는 열쇠로서 역할을 수행한다. 상기 변환함수를 이용하여 일부 영역의 이미지를 교정하여 관심영역의 이미지를 만들어 낸다(S33).

도 3은 대조가 가능한 한 쌍의 이미지를 생성하는 것(S31)을 더 상세하게 설명하는 흐름도이다.

도 3을 참조하면, 차량 번호판이 검출되는 것(S2)에서 검출된 차량 번호판의 윗쪽 모서리와 아래쪽 모서리의 기울기를 산출한다(S41). 차량 번호판의 윗쪽 모서리와 아래쪽 모서리의 기울기의 평균을 구하고, 평균 기울기에 따라서 이미지를 새로이 정렬한다(S42). 도 4는 이미지가 정렬되는 것을 번호판의 영역을 예시하여 보이고 있다. 이로써, 회전된 이미지임에 기인하여 경사진(skew) 이미지가 같은 높이 수준으로 정렬될 수 있다.

이후에는 차량 번호판을 소정의 기준으로 하여 관심영역을 설정한다(S43). 상기 관심영역을 설정함에 있어서는, 차량 모델을 식별하는데 사용할 수 있는 차량의 전면모양이 드러날 수 있어야 한다. 따라서, 소정의 회전상태를 보이는 차량의 경우에도 차량의 전면모양이 관심영역에 포함되어야 하고, 승용차/SUV/트럭/중장비와 같이 차종이 다른 경우에도 차량의 전면 모양이 관심영역에 포함되어야 한다. 이들 요건을 충족한 관심영역의 일 예가 도 5에 나타나 있다.

위의 요건을 만족시킬 수 있도록 상기 관심영역을 설정하는 방식을 더 구체적으로 설명한다. 도 6은 번호판의 종류 별로 관심영역의 설정영역을 보이는 표이고, 도 7은 실 예를 보이고 있다. 도 6 및 도 7을 참조하면, 상기 번호판 검출단계(S2)에서 검출된 번호판의 상측 모서리의 가운데를 중심으로 해서, 차량 번호판의 가로세로 크기를 몇 배로 하는 지에 따라서 상기 관심영역을 설정한다. 일 예로 도 6에서 첫번째 행으로 제시되는 '39나 2764'는 335*170mm크기의 번호판이다. 이 경우에 상기 관심영역은, 폭은 상기 번호판의 가로길이에 6.21을 곱하는 범위와, 높이는 상기 번호판의 윗쪽 모서리의 가운데를 중심으로 해서 아래로는 1.29를 곱하는 영역과 위로는 2.59를 곱하는 영역이 된다. 이로써, 전체 관심영역의 폭이 2080mm 높이가 660mm가 된다. 도 7의 오른쪽 사진은 335*170 크기의 번호판의 경우에 관심영역을 설정한 것을 보이고, 도 7의 왼쪽 사진은 520*110 크기의 번호판의 경우에 관심영역을 설정한 것을 보이고 있다.

상기 관심영역의 크기는 데이터끼리 비교를 위하여 통일시킨다. 예를 들어, 360*96픽셀의 크기의 이미지로 줄여서, 이후의 이미지 프로세싱에서 처리속도를 높이도록 하는 장점을 기대할 수 있고, 이로써 계속해서 움직이는 차량의 모델인식과정에 본 사상을 적용시킬 수 있게 된다. 한편, 도 5에서 이미지 왼쪽의 블랭크는 이미지 정렬에서 정보가 사라지는 부분이거나, 관심영역설정 시에 이미지가 없는 부분의 정보일 수 있다.

상기 관심영역의 설정단계(S43) 후에는, 관심영역을 번호판의 중심 세로축을 기준으로 둘로 나누고 임의로 지정된 한쪽을 Y축 반전시킨다. 그러면 나눠진 영역이 전보다 비슷해지기에 비교하기 좋아진다. 도 8에서는 관심영역의 왼쪽이 Y축 반전된 것을 예시하고 있다. 후의 과정을 통해서 정보가 많은 쪽의 영역만이 분류에 사용된다.

상기되는 과정을 통하면, 대조가 가능한 한 쌍의 이미지가 추출된 것을 알 수 있다. 즉, 도 8에서 관심영역의 왼쪽 이미지가 반전되면, 차량의 전면의 왼쪽과 오른쪽으로서 서로 다른 이미지이지만, 동일한 방향성을 가지는 정보로서 서로 대조될 수 있다.

이후에는, 차량의 회전정보추출단계(S32)가 수행된다. 도 9는 차량의 회전정보추출단계를 상세하게 보이는 흐름도이다.

도 9를 참조하면, 대조가 가능한 한 쌍의 이미지의 대조 시에 오류를 억제하기 위하여, 번호판과 가까운 부분인 차량의 가운데 영역과 이미지 정보의 부족에 기인한 블랭크 영역 등의 마진을 제거한다(S51). 도 10은 도 8의 대조영역에서 마진이 제거된 한 쌍의 이미지를 보이고 있는 도면이다.

한편, 차량의 라이트 영역은 빛의 굴절 및 직진성을 높이기 위하여 렌즈에 물결모양 등의 형상이 많이 있고, 조명이 비춰질 때 난굴절 등으로 인하여 특이점이 많이 발생할 수 있다. 이로써, 이미지의 대조시에 많은 에러를 일으킬 수 있는 소지가 많다. 따라서, 라이트영역을 이미지 처리에서 제거한다(S52). 도 11에서 오른쪽 한 쌍의 도면은 라이트 영역을 나타내고, 왼쪽 한 쌍의 도면은 라이트 영역이 제거된 상태의 특징점을 나타낸다. 라이트 영역의 내부에서 특징점들이 없어지는 것을 볼 수 있다.

한 쌍의 이미지를 대조하기 위해서 각 이미지에서 특징점을 추출한다(S53). 구체적으로는 먼저 각 이미지에 수평선을 일정한 간격(8~10)으로 긋는다. 이때 수평선의 화소값은 "255-원래 화소값" 로 변경시킬 수 있다. 이후에 수평선을 따라서 FAST(Features from Accelerated Segment Test)를 이용하여 FAST 특징점을 추출한다. 이때 코너와 수직에지 성분이 FAST특징점으로 추출될 것이다. 도 12는 좌우 한 쌍의 이미지에서 FAST특징점이 추출된 것을 나타내는 도면이다. 특징점을 추출하는 때에는 수평선을 그어서 FAST를 이용하는 방식으로 특징점을 구하는 것으로 구현되어 있다. 그러나, 이러한 방법에 제한되지 아니하고, 특징점을 추출하는 다른 방법으로서, SURF 및 SIFT의 방법을 이용할 수도 있다. 정확한 특징점이 서로 메칭되도록 하기 위하여 수평선을 그은 다음에 FAST 특징점을 추출하는 것이 바람직하다. 그러나, FAST는 사용하는 관심영역의 크기가 작게 고정되어 있는 실시예에서 효율적으로 코너점들을 검출할 수 있다. 또한, 수평선들을 임의로 그리는 간단한 방법을 통해 수직 에지가 강한 점들을 일정하게 검출할 수 있고, 실시예와 같이 검색 방향이 수평이기에 유효한 특징점이 될 수 있다. 이를 통해 유효한 특징점들의 수를 늘림으로써, 특징점끼리의 메칭이 더 많아진다. 따라서 늘어난 메칭 정보를 토대로 더욱 정확한 변환 함수를 만들어내어 이미지 교정에 활용할 수 있다.

좌우 한 쌍의 이미지에서 각각 특징점이 추출된 다음에는, 좌우의 각 이미지에서 비슷한 높이의 특징점을 메칭한다(S54). 비슷한 높이의 특징점을 메칭하는 것은 오메칭을 줄이기 위한 것이다. 도 13에서 왼쪽 그림은 가장 비슷한 정보를 가지는 특징점끼리 메칭한 결과를 나타내는 것이고, 오른쪽 그림은 비슷한 높이의 특징점끼리는 가중치를 줘서 메칭한 결과를 나타낸다. 특징점들의 메칭 결과가 개선되는 것을 확인할 수 있다. 특징점의 메칭에 대한 정확도를 한층 더 높이기 위하여 에러를 줄이는 알고리즘 중의 하나인 RANSAC(Radom SAmple Consensus)알고리즘 개념을 이용하여 혹시라도 있는 잘못 메칭된 특징점을 제거한다(S55). 도 14에서는 오메칭 제거 알고리즘이 적용되기 전의 왼쪽 그림과 적용된 후의 오른쪽 그림이 잘 비교되어 있다. 오른쪽 그림에서 특징점이 보다 올바르게 서로 메칭되어 있는 것을 확인할 수 있다.

서로 메칭되는 특징점이 파악된 다음에는 차량의 회전정보를 알아낼 수 있도록 변환함수를 알아낸다(S56). 변환함수의 생성과정은 도 15에 예시적으로 나타내었다. 도 15의 수평축은 좌우 어느 한 쪽을 기준으로 할 때 특징점의 수평축 상의 위치이고, 도 15의 수직축은 메칭되는 특징점의 수평값의 차이를 나타낸다. 그 정보는 도 15의 아래 그림에 점으로 표시되어 있다. 이 점들을 가장 많이 포함하는 곡선을 찾고, 그 곡선에 포함되지 않는 정보들을 에러로 분류된다. 도 15에서는 변환함수로 사용될 최종 곡선에 포함된 점들을 빨간색, 에러로 분류된 점들을 녹색으로 표시하였다.

즉 도 15의 변환함수는 오른쪽으로 갈수록 메칭되는 특징점이, 이미지 상의 상대적인 위치가 많이 차이가 나는 것을 나타낸다. 이 경우에는 이미지의 교정단계(S33)에서 이미지를 더 많이 교정해야 하는 것을 의미할 수 있다. 도 16은 이미지가 교정되는 것을 예로 나타내었다. 상세하게, 변환함수를 참조하여, 왼쪽의 이미지를 오른쪽의 이미지로 교정한 것이다. 교정된 이미지는 기술어(descriptor)로 표현되어(S4), 데이터베이스에 있는 정보와 비교되어 차량의 모델이 인식될 수 있다(S5). 이미지의 교정시에는 데이터베이스에 수록되어 있는 이미지의 회전상태와 비슷하게 정면 상태로 회전상태가 교정되는 것임은 용이하게 짐작할 수 있을 것이다.

상기되는 방법에 따라서 차량모델이 인식될 수 있게 된다.

상기되는 배경하에서 차량모델인식에 대한 실험을 수행한 결과가 다음과 같다. 데이터베이스정보로는 차량의 정면모델을 사용하도록 한다. 그리고, 현재 인식되는 차량의 이미지는 정면을 활용하는 경우(케이스1), 회전된 이미지를 제안하는 차량모델인식방법으로 처리하여 활용하는 경우(케이스2), 회전된 이미지를 바로 인식하는 경우(케이스3)를 나누어서 실험을 수행하였다.

그 결과, 케이스1의 경우에는 94~100%의 인식율을 보이고, 케이스2의 경우에는 88~95%의 인식율을 보이고, 케이스3의 경우에는 67~85%의 인식율을 보이는 것을 확인할 수 있었다. 모델의 인식율이 한층 더 개선되는 효과를 볼 수 있었다.

인식시간의 경우에는, 케이스 1/3의 경우 0.08s이고, 케이스 2의 경우에는 이미지 교정 때문에 0.06s가 추가되어 0.14s 정도가 걸렸다. 어느 경우이거나 산업적인 적용에 문제가 없는 수준임을 확인할 수 있었다.

<차량모델인식장치>

이하에서는 실시예에 따른 차량모델인식장치에 대하여 설명한다. 차량모델인식장치는 상기 차량모델인식방법과 유사한 과정을 수행되며, 차량모델인식방법을 참조할 수 있다.

도 17은 차량모델인식장치의 블록도이다.

도 17을 참조하면, 데이터베이스(15)를 제작할 수 있는 학습기(1)와, 상기 데이터베이스(15)의 정보를 참조하여 차량모델을 인식하는 인식기(2)가 포함된다.

상기 학습기(1)에는, 기준방향으로 차량의 이미지를 취득하는 기준방향 이미지취득기(11)와, 차량번호판을 검출하는 검출기(12)와, 번호판을 기준으로 관심영역을 추출하는 관심영역추출기(13)가 마련된다. 차량이 완전히 정면인 경우에는 관심영역을 그대로 추출하여 기술어 생성기(14)에서 기술어로 표현하고 DB(15)에 저장할 수 있다.

상기 인식기(2)에는, 임의방향으로 차량의 이미지를 취득하는 임의방향 이미지취득기(21)와, 차량번호판을 검출하는 검출기(22)와, 관심영역을 추출하는 관심영역 추출기(23)가 포함된다. 상기 관심영역 추출기(23)에서는 회전된 이미지를 기준방향의 이미지와 비교할 수 있도록 교정해야 한다. 상기 관심영역 추출기(23)에서 추출된 관심영역은 기술어 생성기(24)에서 기술어로 표현된 다음에, 판독기(25)에서 상기 DB(15)의 정보와 대조되는 작업을 거쳐서 차량모델이 인식된다.

도 18은 상기 관심영역 추출기의 상세한 구성을 나타내고 있다. 상기 관심영역 추출기(23)에는, 이미지를 처리할 수 있도록 한 쌍의 이미지를 만들어 내는 대조 이미지 생성기(31)와, 대조되는 한 쌍의 이미지를 이용하여 회전정보를 추출하는 회전정보추출기(32)와, 회전정보추출기(32)에서 추출되는 변환정보를 활용하여 이미지를 교정하는 이미지 교정기(33)가 포함된다.

도 19는 대조 이미지 생성기의 상세한 구성을 보이고 있다. 먼저, 상기 대조 이미지 생성기(31)에서는, 번호판의 기울기 정보를 이용하여 이미지의 상하 높이를 정렬시키는 기울기 조정기(41)와, 기울기가 조정된 이미지에서 번호판의 중심으로 하여 소정범위 내에 좌우 영상이 포함되도록 관심영역을 설정하는 관심영역 설정기(42)와, 번호판의 중심을 기준으로 어느 한 쪽을 Y축 반전시키는 Y축 반전기(43)가 포함된다.

도 20은 회전정보추출기의 상세한 구성을 보이는 도면이다. 상기 회전정보추출기에는, 먼저, 대조될 한 쌍의 이미지 상의 블랭크 및 라이트 영역 등의 오류영역을 제거하는 오류영역 제거기(51)와, 오류영역이 제거된 상태에서 특징점을 추출하는 특징점 추출기(52)와, 추출된 특징점을 서로 한 쌍의 이미지 상에서 서로 메칭하는 메칭기(53)와, 한 쌍의 이미지에서 메칭된 특징점을 서로 비교하여 변환함수를 생성하는 변환함수 생성기(54)가 포함된다. 변환함수의 형태로 차량의 회전정보가 표현될 수 있다.

파악된 변환함수는 이미지 교정기(33)로 전달되어 이미지를 교정하는데 사용된다. 이미지 교정기는 변환함수를 이용하여 기준방향 이미지취득기(11)에서 취득된 이미지의 방향과 최대한 일치되도록 이미지를 변환한다. 이미지 교정은 이미지를 변환함수의 강도에 상응하여 각 지점별로 당기는 것으로 이해할 수 있을 것이다.

상기되는 차량모델인식방법, 인식기, 차량모델인식장치에서는 데이터베이스의 자료로는 정면으로 제안되는 전면이미지를 입력하고, 현장에서는 회전되는 차량의 전면 이미지를 입력시키는 것을 예시하고 있다. 그러나, 그와 같지 않아서, 데이터베이스에도 회전되는 이미지를 입력할 수도 있다. 그러나, 보다 좋은 인식결과와 데이터 관리의 편의(회전된 데이터를 넣을 경우 각도마다 분류해서 넣어야 하므로)를 위해서는 데이터베이스에 수록되는 기준 이미지가 정면인 이미지가 더 좋다.

상기 실시예에서는 차량의 전면을 기준으로 하고 있으나, 후면을 이용하여 모델을 파악할 수도 있을 것이다.

1: 학습기
2: 인식기

Claims (10)

1. 차량의 기준 이미지를 취득하여 데이터 베이스를 구축하는 학습기: 및 차량의 임의방향 이미지를 취득하고, 그 이미지를 처리하여 상기 데이터 베이스의 정보와 비교하여 차량을 인식하는 인식기가 포함되는 차량모델인식장치이고,
   상기 인식기에는,
   임의의 방향에서 이미지를 취득하는 이미지 취득기;
   취득된 이미지에서 차량의 번호판을 검출하는 차량 번호판 검출기;
   상기 임의의 방향의 이미지를 상기 번호판을 기준으로 대조가 가능한 한 쌍의 이미지로 생성하고, 상기 한 쌍의 이미지를 비교하여 상기 학습기의 기준 이미지의 방향으로 관심영역을 추출하는 관심영역추출기;
   상기 관심영역을 기술어로 표현하는 기술어 생성기; 및
   상기 기술어와 상기 데이터 베이스를 비교하는 판독기가 포함되는 차량모델인식장치.
2. 제 1 항에 있어서,
   상기 학습기는 정면방향의 이미지를 취득하고, 상기 인식기는 전면의 임의방향의 이미지를 취득하는 차량모델인식장치.
3. 제 1 항에 있어서,
   상기 대조가 가능한 한 쌍의 이미지는 상기 번호판을 중심으로 좌우 측의 이미지인 차량모델인식장치.
4. 임의의 방향의 이미지를 취득하는 이미지 취득기;
   취득된 이미지에서 번호판을 검출하는 번호판 검출기;
   상기 번호판을 소정의 기준으로 관심영역을 추출하는 관심영역추출기;
   상기 관심영역을 기술어로 표현하는 기술어 생성기; 및
   상기 기술어와 기 저장된 데이터 베이스의 정보를 비교하는 판독기가 포함되고,
   상기 관심영역추출기에는,
   검출된 상기 번호판을 기준으로 좌우측의 한 쌍의 대조되는 이미지를 생성하는 대조 이미지 생성기;
   상기 대조 이미지를 비교하여 차량의 회전정보를 알아내는 회전정보추출기; 및
   상기 회전정보를 이용하여 이미지를 교정하는 이미지 교정기가 포함되는 인식기.
5. 제 4 항에 있어서,
   상기 회전정보는 변환함수의 형태로 제공되는 인식기.
6. 제 4 항에 있어서,
   상기 한 쌍의 대조되는 이미지는 번호판의 중심에서 좌우 측의 이미지로서, 어느 한 쪽은 Y축 반전되는 이미지인 인식기.
7. 임의의 방향의 차량 이미지가 입력되는 단계;
   입력되는 차량 이미지에서 차량 번호판이 검출되는 단계;
   상기 차량 번호판을 이용하여 관심영역을 추출하는 단계;
   상기 관심영역을 기술어로 표현하는 단계; 및
   상기 기술어를 데이터 베이스의 정보와 비교하여 차량모델을 파악하는 단계가 포함되고,
   상기 관심영역을 추출하는 단계에는,
   대조가 가능한 한 쌍의 이미지를 생성하는 단계;
   상기 한 쌍의 이미지를 비교하여 차량의 회전정보를 알아내는 단계; 및
   상기 회전정보를 이용하여 이미지를 교정하는 단계가 포함되는 차량모델인식방법.
8. 제 7 항에 있어서,
   상기 회전정보는 변환함수로 표현되는 차량모델인식방법.
9. 제 7 항에 있어서,
   한 쌍의 이미지를 생성하는 단계는,
   차량 번호판의 상하측 모서리의 평균을 이용하여 상기 차량 이미지의 높이는 맞추는 단계;
   차량번호판의 배율에 따라서 소정의 영역을 관심영역으로 선정하는 단계; 및
   번호판의 세로 중심축을 중심으로 어느 한 쪽의 이미지를 Y축 반전하는 단계가 포함되는 차량모델인식방법.
10. 제 7 항에 있어서,
    상기 차량의 회전정보를 알아내는 단계는,
    이미지의 불필요한 영역을 제거하는 단계;
    수평선을 그은 상태로 특징점을 추출하는 단계;
    상기 대조가 가능한 한 쌍의 이미지에서 특징점을 메칭하는 단계; 및
    메칭되는 특징점을 참조하여 상기 회전정보를 변환함수로 표현하는 단계가 포함되는 차량모델인식방법.

Images