KR101727487B1

KR101727487B1 - 내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법

Info

Publication number: KR101727487B1
Application number: KR1020150161996A
Authority: KR
Inventors: 최형일; 김수경; 정도욱
Original assignee: 숭실대학교산학협력단
Priority date: 2015-11-18
Filing date: 2015-11-18
Publication date: 2017-04-17

Abstract

내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법은 차량 이미지를 취득하여 기준 데이터로 데이터베이스부를 구축하는 학습기; 및 새롭게 입력된 차량 이미지를 데이터베이스부의 기준 데이터와 비교하여 차량을 인식하는 인식기가 포함되는 차량 이미지를 분석하는 장치이고, 인식기는 입력된 차량 이미지의 수직 방향을 기준으로 선분들의 평균을 구하여 차량의 회전 각도 정보가 포함된 차량의 회전율을 계산하는 회전율 인식기; 계산된 차량의 회전율과 차량번호판의 중심점을 이용하여 차량의 관심영역을 추출하는 관심영역 추출기; 추출한 관심영역 중 차량모델 및 차량제조사에 관한 관심영역을 기술어로 표현되는 국소특징점을 추출하는 기술어 생성기; 및 기술어 생성기로부터 생성된 차량모델과 차량제조사에 관한 기술어를 데이터베이스부에 저장된 차량모델과 차량제조사에 관한 기술어와 비교하여 차량제조사와 차량모델을 판별하는 제조사 모델 인식기를 포함하는 것을 특징으로 한다.

Description

내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법{Content Based Analyzing Device for Vehicle and Method Using the Same}

본 발명은 내용기반 차량분석기에 관한 것으로서, 특히 차량번호판의 인식시 차량 회전율을 기반으로 차량번호판, 차량제조사, 차량모델 및 차량 색상을 분석하여 높은 정확도와 인식률을 구현함으로써 산업 현장에서 적용이 가능한 내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법에 관한 것이다.

차량 번호판 인식기는 공공도로에서 과속 차량의 과금 등의 목적으로 널리 사용되고 있다. 번호판 인식 정보는 특정 범죄 차량의 추적에 이용될 수 있는 정보이다.

그러나 범죄 발생시 용의자나 목격자가 차량의 번호를 인식하여 암기하는 케이스가 드물어서 범죄 용의자 차량의 추적에 어려움을 겪는 문제점이 있었다.

이러한 문제점을 개선하기 위해서 불법 주정차 단속장치, 차량속도 감시장치. 건물의 차량 출입 시스템, CCTV 보안 시스템 등에 차량 번호인식 시스템이 활용되고 있다.

그러나 범죄 용의자들이 차량에 위장 번호판을 부착하는 경우, 차량과 관련되는 정보를 추적할 수 없는 한계가 있었다.

이러한 한계를 극복하기 위해서 차량 모델을 인식하는 기술이 제안된 바 있다. 이 기술은 차량 번호판뿐만 아니라 차량의 모델로 용의자 차량을 추적할 수 있는 것이다.

종래의 차량 모델을 인식하는 장치 및 방법은 취득하는 차량의 이미지에 대한 회전 각도가 고려되지 않기 때문에 차량 인식율이 떨어지는 문제점이 발생한다.

예를 들어, 데이터베이스에는 차량의 전면 이미지가 등록되어 있고, 비교 대상이 되는 현재의 차량의 이미지에는 약간의 회전이 되어 있다.

그러나 조금이라도 회전이 된 차량 이미지는 데이터베이스에 등록된 차량의 전면 이미지와의 인식 과정에서 다르게 인식하게 되므로 높은 정확도를 기대할 수 없었다. 따라서, 종래의 차량 번호인식 시스템은 데이터베이스에 등록된 차량 이미지와 현재 취득하는 차량 이미지의 촬영 방향이 동일하게 되도록 하여야 한다.

종래의 차량 번호인식 시스템은 운행 중인 차량의 이미지를 취득하면서 정확한 전면 이미지를 취득하는 것이 사실상 어렵기 때문에 인식률도 떨어지며 인식 속도를 느리게 만드는 원인이 된다.

이와 같은 문제점을 해결하기 위하여, 본 발명은 차량번호판의 인식시 차량 회전율을 기반으로 차량번호판, 차량제조사, 차량모델 및 차량 색상을 분석하여 높은 정확도와 인식률을 구현함으로써 산업 현장에서 적용이 가능한 내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 특징에 따른 내용기반 차량분석기는,

차량 이미지를 취득하여 기준 데이터로 데이터베이스부를 구축하는 학습기; 및 새롭게 입력된 차량 이미지를 데이터베이스부의 기준 데이터와 비교하여 차량을 인식하는 인식기가 포함되는 차량 이미지를 분석하는 장치이고,

인식기는,

입력된 차량 이미지의 수직 방향을 기준으로 선분들의 평균을 구하여 차량의 회전 각도 정보가 포함된 차량의 회전율을 계산하는 회전율 인식기;

계산된 차량의 회전율과 차량번호판의 중심점을 이용하여 차량의 관심영역을 추출하는 관심영역 추출기;

추출한 관심영역 중 차량모델 및 차량제조사에 관한 관심영역을 기술어로 표현되는 국소특징점을 추출하는 기술어 생성기; 및

기술어 생성기로부터 생성된 차량모델과 차량제조사에 관한 기술어를 데이터베이스부에 저장된 차량모델과 차량제조사에 관한 기술어와 비교하여 차량제조사와 차량모델을 판별하는 제조사 모델 인식기를 포함하는 것을 특징으로 한다.

본 발명의 특징에 따른 내용기반 차량분석기는,

차량번호판이 포함된 차량 이미지로부터 차량 이미지의 수직 방향을 기준으로 선분들의 평균을 구하여 차량의 회전 각도 정보가 포함된 차량의 회전율을 계산하는 회전율 인식기;

기술어 생성기로부터 생성된 차량모델과 차량제조사에 관한 기술어를 데이터베이스부에 저장된 차량모델과 차량제조사에 관한 기술어와 비교하여 차량제조사와 차량모델을 판별하는 제조사 모델 인식기를 포함하며, 관심영역 추출기는 차량의 회전율을 이용하여 차량모델 관심영역의 후보 중 차량번호판의 중심점을 기준으로 좌우측 중 한 면을 상기 차량모델 관심영역을 추출하고 차량번호판의 상단 위로 차량번호판 높이의 일정한 배수만큼 차량제조사 관심영역을 구하며, 차량제조사 관심영역의 상단으로부터 차량번호판의 넓이만큼 차량색상 관심영역을 추출하는 것을 특징으로 한다.

본 발명의 특징에 따른 내용기반 차량분석방법은,

차량번호판 인식기로부터 인식된 차량 이미지가 입력되는 단계;

입력된 차량 이미지의 수직 방향을 기준으로 선분들의 평균을 구하여 차량의 회전 각도 정보가 포함된 차량의 회전율을 계산하는 단계;

계산된 차량의 회전율과 차량번호판의 중심점을 이용하여 차량의 관심영역을 추출하는 단계;

추출한 관심영역 중 차량모델 및 차량제조사에 관한 관심영역을 기술어로 표현되는 국소특징점을 추출하는 단계; 및

추출된 차량모델과 차량제조사에 관한 기술어를 데이터베이스부에 기저장된 차량모델과 차량제조사에 관한 기술어와 비교하여 차량제조사와 차량모델을 판별하는 단계를 포함하는 것을 특징으로 한다.

전술한 구성에 의하여, 본 발명은 차량번호판의 인식시 차량 회전율을 기반으로 차량번호판, 차량제조사, 차량모델 및 차량 색상을 분석하여 높은 정확도, 인식 속도 및 인식률을 구현하는 효과가 있다.

본 발명은 차량번호판, 차량모델 뿐만 아니라 차량 색상, 조수석 탑승 여부까지 판별할 수 있어 범죄 용의자 차량의 추적을 용이하게 할 수 있는 정보를 제공하는 효과가 있다.

도 1은 본 발명의 실시예에 따른 내용기반 차량분석기의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 내용기반 차량분석방법을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 회전율 인식기를 이용하여 차량 이미지에서 차량 회전율을 검출하는 방법을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 차량 회전율을 검출한 일례를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 관심영역 추출 과정의 하위 구조를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 추출된 관심영역의 범위를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 차량색상 관심영역을 추출하는 과정을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 조수석 탑승 판독기를 이용하여 조수석 탑승 여부를 판별하는 방법을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 조수석 탑승 여부를 판별하는 과정 중 차량 전면의 유리 영역을 판별하기 위하여 이진화하여 가장 큰 Blob로 차량 전면의 유리 영역을 검출하는 실시예를 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 검출된 차량 전면의 유리 영역으로부터 조수석 탑승 여부를 판별하기 위하여 검출된 에지의 수직 투영 히스토그램을 나타낸 도면이다.
도 11은 본 발명의 실시예에 따른 기술어를 생성하고 제조사 모델을 판별하는 방법을 나타낸 도면이다.
도 12는 본 발명의 실시예에 따른 매칭된 국소특징점들의 후보를 검증하기 위한 방법을 실제 적용한 실시예를 나타낸 도면이다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 실시예에 따른 내용기반 차량분석기의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 내용기반 차량분석방법을 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 회전율 인식기를 이용하여 차량 이미지에서 차량 회전율을 검출하는 방법을 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 차량 회전율을 검출한 일례를 나타낸 도면이다.

본 발명의 실시예에 따른 내용기반 차량분석기는 차량 이미지를 취득하여 기준 데이터로 데이터베이스부(250)를 구축하는 학습기(200) 및 새롭게 입력된 차량 이미지를 데이터베이스부(250)의 기준 데이터와 비교하여 차량을 인식하는 인식기(100)가 포함되는 차량 이미지를 분석하는 장치이다.

인식기(100)는 제1 차량번호판 인식기(110), 제1 회전율 인식기(120), 제1 관심영역 추출기(130), 색상 인식기(140), 조수석 탑승 판독기(150), 기술어 생성기(160) 및 제조사 모델 인식기(170)를 포함한다.

학습기(200)는 제2 차량번호판 인식기(210), 제2 회전율 인식기(220), 제2 관심영역 추출기(230), 제조사 모델 학습기(240) 및 데이터베이스부(250)를 포함한다.

제1 차량번호판 인식기(110)와 제2 차량번호판 인식기(210)는 차량번호판이 인식된 차량 사진의 이미지가 입력된다(S100).

제1 차량번호판 인식기(110)와 제2 차량번호판 인식기(210)는 촬상부로부터 제공되는 촬상 데이터를 분석하여 차량의 번호판 영역을 구분하고 입체화하며 차량 번호판 영역을 평면화 및 확대 변환하여 차량번호판을 인식하는 장치로서 좌표 산출부, 이미지 변환부, 문자 인식부를 구비한 영상 처리부를 모두 포함한다. 이에 한정하지 않으며 차량번호판을 인식할 수 있는 장치는 종래의 어떠한 차량번호판 인식기도 적용될 수 있다.

제1 회전율 인식기(120)와 제2 회전율 인식기(220)는 입력된 차량 이미지에서 차량의 회전율을 계산한다(S200).

더욱 상세하게 설명하면, 도 3에 도시된 바와 같이, 제1 회전율 인식기(120)와 제2 회전율 인식기(220)는 입력된 차량 이미지를 전처리하여 잡음을 제거한 후 캐니 에지 검출기(Canny Edge Detector)를 이용하여 차량의 에지 이미지를 추출한다(S202, S204).

제1 회전율 인식기(120)와 제2 회전율 인식기(220)는 추출한 에지 이미지에서 차량의 선분 영역을 검출하며(S206), 검출된 선분 영역 중 사분면의 수직축을 기준으로 선분들의 평균을 구하여 차량의 회전율을 계산한다(S208). 여기서, 차량의 회전율은 선분들의 평균값으로 차량의 회전 각도 정보를 포함하고 있다.

즉, 제1 회전율 인식기(120)와 제2 회전율 인식기(220)는 입력된 차량 이미지로부터 차량 영역의 에지 이미지를 추출하고 추출된 에지 이미지로부터 차량의 선분을 구하여 각각의 수직 대비 각도를 비교하여 차량의 회전율을 계산한다.

이때, 차량의 선분을 추출시 제1 차량번호판 인식기(110)와 제2 차량번호판 인식기(210)에서 촬영된 차량 이미지 중에서 차량번호판을 기준으로 차량 넓이만큼의 부분을 에지 검출 영역으로 하였고, 선분 길이의 범위를 차량번호판의 넓이부터 차량번호판의 넓이의 세배까지 하여 불필요한 선분의 추출을 제한하며, 수직축을 기준으로 40도가 넘어가는 선분을 차량의 회전 각도 검출에서 제외시킨다.

도 4는 차량의 회전 각도를 검출한 일례를 나타낸 것으로 선분 검출 영역을 차량번호판의 위쪽의 차량 넓이로 제한하여 차량의 에지에 포함되는 선분만을 검출한다. 도 4에서 파란색 선분은 제1 회전율 인식기(120)와 제2 회전율 인식기(220)에서 구해진 선분의 평균이 차량의 회전율과 매우 유사함을 보여주는 것이다.

제1 관심영역 추출기(130)와 제2 관심영역 추출기(230)는 제1 차량번호판 인식기(110)와 제2 차량번호판 인식기(210)로부터 검출된 차량 회전율과 차량번호판의 중심점을 이용하여 차량의 관심영역을 추출한다(S300).

여기서, 차량의 관심영역은 도 5에 도시된 바와 같이, 차량의 앞 범퍼에 위치한 차량모델 관심영역(S310), 차량의 엠블럼에 위치한 차량제조사 관심영역(S320), 차량 패널에 위치한 차량색상 관심영역(S400)으로 나누어진다.

제1 관심영역 추출기(130)와 제2 관심영역 추출기(230)는 제1 차량번호판 인식기(110)와 제2 차량번호판 인식기(210)를 통해 차량번호판이 인식된 차량 이미지가 입력되므로 차량번호판의 위치와 크기를 알고 있다고 가정한다.

도 6에 도시된 바와 같이, 제1 관심영역 추출기(130)와 제2 관심영역 추출기(230)는 차량번호판의 크기로부터 차량 넓이와 범퍼 영역의 크기를 차량모델 관심영역의 후보로 설정한다.

도 6에 도시된 바와 같이, 제1 관심영역 추출기(130)와 제2 관심영역 추출기(230)는 차량번호판의 가로 세로 비율로 차량번호판이 구형인지 신형인지 여부를 판단하고, 차량번호판의 높이의 일정한 배수만큼 차량모델 관심영역의 크기를 추출한다.

도 6에 도시된 바와 같이, 제1 관심영역 추출기(130)와 제2 관심영역 추출기(230)는 제1 회전율 인식기(120)와 제2 회전율 인식기(220)로부터 계산된 차량의 회전율을 이용하여 차량의 회전 각도를 파악하고, 차량모델 관심영역의 후보 중 차량번호판의 중심점을 기준으로 좌우를 선택하는데 차량의 회전 각도가 양수이면 우측을 음수이면 좌측을 선택하여 차량모델 관심영역을 추출한다.

제1 관심영역 추출기(130)는 차량모델 관심영역이 추출되면, 차량번호판의 상단 위로 차량번호판 높이의 일정한 배수만큼 차량제조사 관심영역을 추출하고, 차량제조사 관심영역의 상단으로부터 차량번호판의 넓이만큼 차량색상 관심영역을 추출한다.

차량색상 관심영역의 경우, 관심영역의 위치가 차량 패널에 위치하기만 하면 되므로 신형번호판과 구형번호판의 크기 차이를 고려하지 않아도 된다.

제1 관심영역 추출기(130)와 제2 관심영역 추출기(230)는 관심영역 추출 범위가 다르다.

제1 관심영역 추출기(130)는 차량모델 관심영역, 차량제조사 관심영역, 차량색상 관심영역을 추출하고, 제2 관심영역 추출기(230)는 차량모델 관심영역, 차량제조사 관심영역을 추출하며 차량색상 관심영역을 추출하는 기능이 없다.

도 7에 도시된 바와 같이, 색상 인식기(140)는 제1 관심영역 추출기(130)에서 차량의 관심영역을 추출한 이후에 차량색상 관심영역을 추출하는 과정을 수행한다(S400).

색상 인식기(140)는 제1 관심영역 추출기(130)로부터 차량색상 검출을 위하여 색상 관심영역 이미지를 입력받고(S402), 입력된 이미지에 대하여 RGB 패널을 HSI 공간으로 치환한다(S404). RGB 채널을 HSI 공간으로 치환하는 방법은 공지되어 있는 기술이므로 상세한 설명을 생략한다.

색상 인식기(140)는 치환된 HSI 공간으로부터 Hue 값에 대하여 히스토그램 분포를 구하여 누적된 값 중 가장 큰 값을 임의의 색상 모델과 비교한다(S406, S408).

임의의 색상 모델에 대한 가능한 실시예는 아래의 [표 1]과 같다.

색상 인식기(140)는 HSI 공간에서 Hue 값은 360도의 분포를 이루며 임의의 범주로서 색상을 구분할 수 있다.

무채색의 색상의 구분은 Saturation 값이 임의의 임계값 이하일 때 Intensity 값을 세단계로 범주를 구분하여 검정색, 회색, 흰색 차량을 구별한다.

도 8에 도시된 바와 같이, 조수석 탑승 판독기(150)를 이용하여 조수석 탑승 여부를 판별하는 방법을 설명한다.

조수석 탑승 판독기(150)는 색상 인식기(140)로부터 추출한 색상 정보를 입력받아 동일한 색상 내의 픽셀들에 대하여 차량의 프레임으로 판단하고, 프레임의 내부에서 차량 전면의 유리 영역을 검출한다(S501, S502, S503).

조수석 탑승 판독기(150)는 검출된 차량 전면의 유리 영역에서 캐니 에지 검출기(Canny Edge Detector)를 이용하여 차량의 에지 이미지를 구하고, 좌측 조수석과 우측 운전자석을 분리하여 각각 에지 이미지에 의한 밝기값의 평균이 기준치 이상으로 동일한 경우 조수석 탑승으로 판단한다(S504, S505).

조수석 탑승 판독기(150)를 이용한 조수석 탑승 여부 판별 방법을 더 구체적으로 설명하면 다음과 같다.

조수석 탑승 판독기(150)는 차량 전면의 유리 영역을 검출하기 위하여 색상 인식기(140)로부터 수신한 차량의 색상 정보로부터 같은 색상 범주의 영역인 차량의 프레임을 제외하고 차량 전면의 유리 영역의 틀의 밝기가 어두운 것을 이용하여 임의의 임계값 영역을 이진화한다. 이진화된 이미지는 도 9에 도시되어 있다.

조수석 탑승 판독기(150)는 이진화된 이미지를 Blob 검출을 위하여 모폴로지 연산을 통하여 닫힘 효과를 적용한다.

조수석 탑승 판독기(150)는 검출된 Blob 중에서 최대의 크기를 가지는 Max Blob을 차량 전면의 유리 영역에 해당한다고 판단한다.

조수석 탑승 판독기(150)는 검출된 차량 전면의 유리 영역으로부터 캐니 에지 검출기(Canny Edge Detector)를 이용하여 캐니 에지를 수행하게 되면, non-maximum suppression에 의하여 노이즈가 제거된 에지를 검출할 수 있으며, 이를 수직 투영한 결과는 도 10에 도시되어 있다.

조수석 탑승 판독기(150)는 수직 투영한 결과로부터 히스토그램의 범위를 조수석과 운전자석으로 한정하여 도 10과 같이 임의의 영역으로 구분하면, 분리된 영역의 에지가 검출된 양의 평균을 비교하여 운전자석의 에지의 양이 조수석에서 검출된 에지의 양과 기설정된 범위 내로 유사하다고 판단되는 경우 조수석에 사람이 탑승되어 있다고 최종 판단할 수 있다.

기술어 생성기(160)는 제1 관심영역 추출기(130)와 제2 관심영역 추출기(230)로부터 추출한 차량모델 관심영역과 차량제조사 관심영역을 입력받아 기술어(Descriptor)를 생성한다.

제조사 모델 인식기(170)는 기술어 생성기(160)로부터 수신한 차량모델과 차량제조사에 관한 기술어를 데이터베이스부(250)에 저장된 차량모델과 차량제조사에 관한 기술어와 비교하여 차량제조사와 차량모델을 판별한다.

도 11을 참조하여 기술어 생성기(160)를 이용한 기술어를 생성하고(S600), 데이터베이스부와 비교하여 제조사 모델을 판별하는 방법(S700)을 더 구체적으로 설명하면 다음과 같다.

기술어 생성기(160)는 제1 관심영역 추출기(130)와 제2 관심영역 추출기(230)로부터 수신한 차량모델 관심영역과 차량제조사 관심영역에 대하여 각각 국소특징점들의 기술어를 생성하는데 기술어에 의하여 매칭이 가능한 모든 방법들이 사용 가능하다.

국소특징점으로는 SURF(Speed up Robust Feature), SIFT(Scale Invariant Feature Transform), FAST(Features from Accelerated Segment Test) 등의 특징점이 가능하며, 본 발명의 실시예에서는 SURF 특징점에 의한 기술어를 활용한다.

제조사 모델 인식기(170)는 기술어 생성기(160)에서 기술어를 생성하면(S701), 데이터베이스부(250)에 저장되어 있는 기술어들과 매칭 과정을 수행한다(S702).

제조사 모델 인식기(170)는 데이터베이스부(250)에 저장된 기술어들의 집합 중 최다 매칭된 집합을 인식된 결과로 판단하게 된다. 제조사 모델 인식기(170)는 정확도를 높이기 위해서 매칭된 기술어에 해당하는 국소특징점에 대한 군집화와 검증 과정을 수행한다.

매칭된 기술어에 대한 국소특징점들의 검증 과정은 RANSAC(Random Sample Consensus), HT(Hough Transform), AT(Affine Transformation) 등이 가능하나 이와 같은 과정은 연산량을 필요로 한다.

따라서, 제조사 모델 인식기(170)는 차량모델 관심영역에서 추출한 국소특징점의 매칭에 차량번호판 영역의 중심점과 데이터베이스부(250)에 저장되어 있는 국소특징점을 추출한 영상에서의 차량번호판 영역의 중심점 간의 거리가 유사하다는 점을 사용한다.

제조사 모델 인식기(170)는 매칭된 국소특징점에 대하여 두 차량번호판 사이의 거리 및 각도가 일정 임계값 이하인지 판단하여 기존의 국소특징점들의 검증 과정에 비하여 빠르게 검증할 수 있게 된다(S703).

도 12는 매칭된 기술어에 대한 국소특징점들의 검증 방법을 적용한 결과의 일실시예이다. 최종적으로 매칭된 결과에 의한 차량모델의 인식은 국소특징점이 기술어에 의하여 최다 매칭된 집합으로 결정된다(S704).

차량제조사 인식 방법은 차량 엠블럼을 인식하기 위한 차량제조사 관심영역의 크기가 작으므로 연산량에 큰 차이를 주지 못하기 때문에 기존의 다양한 검증 방법을 모두 적용할 수 있다.

본 발명의 차량제조사 인식 방법은 RANSAC(Random Sample Consensus)의 매칭 결과에 대한 검증 과정을 사용한다.

제조사 모델 학습기(240)는 차량 범퍼영역으로부터 차량모델을 인식하기 위한 국소특징점들을 생성하고, 각 국소특징점들의 기술어를 데이터베이스부(250)에 저장하는 기능과, 차량 엠블럼 영역으로부터 차량제조사를 인식하기 위한 국소특징점들을 생성하고 각 국소특징점들의 기술어를 데이터베이스부(250)에 저장하는 기능을 수행한다. 이때, 제조사 모델 학습기(240)는 차량번호판의 중심점 좌표를 데이터베이스부(250)에 같은 집합으로 저장하는 기능을 포함한다.

이상에서 설명한 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 인식기
110: 제1 차량번호판 인식기
120: 제1 회전율 인식기
130: 제1 관심영역 추출기
140: 색상 인식기
150: 조수석 탑승 판독기
160: 기술어 생성기
170: 제조사 모델 인식기
200: 학습기
210: 제2 차량번호판 인식기
220: 제2 회전율 인식기
230: 제2 관심영역 추출기
240: 제조사 모델 학습기
250: 데이터베이스부

Claims

차량 이미지를 취득하여 기준 데이터로 데이터베이스부를 구축하는 학습기; 및 새롭게 입력된 차량 이미지를 상기 데이터베이스부의 기준 데이터와 비교하여 차량을 인식하는 인식기가 포함되는 차량 이미지를 분석하는 장치이고,
상기 인식기는,
상기 입력된 차량 이미지의 수직 방향을 기준으로 선분들의 평균을 구하여 차량의 회전 각도 정보가 포함된 차량의 회전율을 계산하는 회전율 인식기;
상기 계산된 차량의 회전율과 차량번호판의 중심점을 이용하여 차량의 관심영역을 추출하는 관심영역 추출기;
상기 추출한 관심영역 중 차량모델 및 차량제조사에 관한 관심영역을 기술어로 표현되는 국소특징점을 추출하는 기술어 생성기;
상기 기술어 생성기로부터 생성된 차량모델과 차량제조사에 관한 기술어를 상기 데이터베이스부에 저장된 차량모델과 차량제조사에 관한 기술어와 비교하여 차량제조사와 차량모델을 판별하는 제조사 모델 인식기;
상기 관심영역 추출기로부터 추출한 차량의 관심영역에서 차량의 색상 정보를 인식하는 색상 인식기; 및
상기 색상 인식기로부터 추출한 색상 정보를 입력받아 동일한 색상 내의 픽셀들에 대하여 차량의 프레임으로 판단하고, 상기 차량의 프레임에서 차량 전면의 유리 영역을 검출하며, 상기 검출된 차량 전면의 유리 영역에서 캐니 에지 검출기(Canny Edge Detector)를 이용하여 차량의 에지 이미지를 구하고, 좌측 조수석과 우측 운전자석을 분리하여 각각 에지 이미지에 의한 밝기값의 평균이 기준치 이상으로 동일한 경우 조수석 탑승으로 판단하는 조수석 탑승 판독기를 포함하는 것을 특징으로 하는 내용기반 차량분석기.
제1항에 있어서,
상기 회전율 인식기는 상기 입력된 차량 이미지를 캐니 에지 검출기를 이용하여 차량의 에지 이미지를 추출하고, 상기 추출한 에지 이미지에서 차량의 선분 영역을 검출하며, 상기 검출된 선분 영역 중 사분면의 수직축을 기준으로 선분들의 평균을 구하면 차량의 회전 각도를 나타내는 차량의 회전율을 계산하는 것을 특징으로 하는 내용기반 차량분석기.
제1항에 있어서,
상기 회전율 인식기는 상기 차량의 선분을 추출하는 경우, 상기 입력된 차량 이미지 중에서 차량번호판을 기준으로 차량 넓이만큼의 부분을 에지 검출 영역으로 하고, 선분 길이의 범위를 상기 차량번호판의 넓이부터 상기 차량번호판의 넓이의 세배까지 하여 불필요한 선분의 추출을 제한하며, 수직축을 기준으로 40도가 넘어가는 선분을 상기 차량의 회전 각도 검출에서 제외하는 것을 특징으로 하는 내용기반 차량분석기.
제1항에 있어서,
상기 관심영역 추출기는 상기 차량번호판이 포함된 상기 차량 이미지가 입력되고, 상기 차량번호판의 크기로부터 차량 넓이와 범퍼 영역의 크기를 차량모델 관심영역의 후보로 설정하고, 상기 차량번호판의 가로 세로 비율로 상기 차량번호판이 구형인지 신형인지 여부를 판단하고, 상기 차량번호판의 높이의 일정한 배수만큼 차량모델 관심영역의 크기를 추출하는 것을 특징으로 하는 내용기반 차량분석기.
제1항에 있어서,
상기 관심영역 추출기는 상기 차량번호판의 상단 위로 상기 차량번호판 높이의 일정한 배수만큼 차량제조사 관심영역을 구하고, 상기 차량제조사 관심영역의 상단으로부터 상기 차량번호판의 넓이만큼 차량색상 관심영역을 추출하는 것을 특징으로 하는 내용기반 차량분석기.
삭제
제1항에 있어서,
상기 제조사 모델 인식기는 상기 기술어 생성기의 기술어와 상기 데이터베이스부의 기술어와 비교하여 매칭된 기술어에 대한 국소특징점에서 차량번호판 영역의 중심점과 상기 데이터베이스부에 저장되어 있는 국소특징점을 추출한 영상에서의 차량번호판 영역의 중심점 간의 거리 및 각도가 일정 임계값 이하인지 판단하여 차량모델을 판별하는 것을 특징으로 하는 내용기반 차량분석기.
제1항에 있어서,
상기 관심영역 추출기는 상기 회전율 인식기로부터 계산된 차량의 회전율을 이용하여 차량의 회전 각도를 파악하고, 차량모델 관심영역의 후보 중 차량번호판의 중심점을 기준으로 차량의 회전 각도가 양수이면 우측을 음수이면 좌측을 선택하여 상기 차량모델 관심영역을 추출하는 것을 특징으로 하는 내용기반 차량분석기.
차량번호판이 포함된 차량 이미지로부터 상기 차량 이미지의 수직 방향을 기준으로 선분들의 평균을 구하여 차량의 회전 각도 정보가 포함된 차량의 회전율을 계산하는 회전율 인식기;
상기 계산된 차량의 회전율과 차량번호판의 중심점을 이용하여 차량의 관심영역을 추출하는 관심영역 추출기;
상기 추출한 관심영역 중 차량모델 및 차량제조사에 관한 관심영역을 기술어로 표현되는 국소특징점을 추출하는 기술어 생성기;
상기 기술어 생성기로부터 생성된 차량모델과 차량제조사에 관한 기술어를 데이터베이스부에 저장된 차량모델과 차량제조사에 관한 기술어와 비교하여 차량제조사와 차량모델을 판별하는 제조사 모델 인식기;
상기 관심영역 추출기로부터 추출한 차량의 관심영역에서 차량의 색상 정보를 인식하는 색상 인식기; 및
상기 색상 인식기로부터 추출한 색상 정보를 입력받아 동일한 색상 내의 픽셀들에 대하여 차량의 프레임으로 판단하고, 상기 차량의 프레임에서 차량 전면의 유리 영역을 검출하며, 상기 검출된 차량 전면의 유리 영역에서 캐니 에지 검출기(Canny Edge Detector)를 이용하여 차량의 에지 이미지를 구하고, 좌측 조수석과 우측 운전자석을 분리하여 각각 에지 이미지에 의한 밝기값의 평균이 기준치 이상으로 동일한 경우 조수석 탑승으로 판단하는 조수석 탑승 판독기를 포함하며, 상기 관심영역 추출기는 상기 차량의 회전율을 이용하여 차량모델 관심영역의 후보 중 차량번호판의 중심점을 기준으로 좌우측 중 한 면을 상기 차량모델 관심영역을 추출하고 상기 차량번호판의 상단 위로 상기 차량번호판 높이의 일정한 배수만큼 차량제조사 관심영역을 구하며, 상기 차량제조사 관심영역의 상단으로부터 상기 차량번호판의 넓이만큼 차량색상 관심영역을 추출하는 것을 특징으로 하는 내용기반 차량분석기.
제9항에 있어서,
상기 관심영역 추출기는 상기 회전율 인식기로부터 계산된 차량의 회전율을 이용하여 차량의 회전 각도를 파악하고, 상기 차량모델 관심영역의 후보 중 차량번호판의 중심점을 기준으로 차량의 회전 각도가 양수이면 우측을 음수이면 좌측을 선택하여 상기 차량모델 관심영역을 추출하는 것을 특징으로 하는 내용기반 차량분석기.
제9항에 있어서,
상기 제조사 모델 인식기는 상기 기술어 생성기의 기술어와 상기 데이터베이스부의 기술어와 비교하여 매칭된 기술어에 대한 국소특징점에서 차량번호판 영역의 중심점과 상기 데이터베이스부에 저장되어 있는 국소특징점을 추출한 영상에서의 차량번호판 영역의 중심점 간의 거리 및 각도가 일정 임계값 이하인지 판단하여 차량모델을 판별하는 것을 특징으로 하는 내용기반 차량분석기.
차량번호판 인식기로부터 인식된 차량 이미지가 입력되는 단계;
상기 입력된 차량 이미지의 수직 방향을 기준으로 선분들의 평균을 구하여 차량의 회전 각도 정보가 포함된 차량의 회전율을 계산하는 단계;
상기 계산된 차량의 회전율과 차량번호판의 중심점을 이용하여 차량의 관심영역을 추출하는 단계;
상기 추출한 관심영역 중 차량모델 및 차량제조사에 관한 관심영역을 기술어로 표현되는 국소특징점을 추출하는 단계;
상기 추출된 차량모델과 차량제조사에 관한 기술어를 데이터베이스부에 기저장된 차량모델과 차량제조사에 관한 기술어와 비교하여 차량제조사와 차량모델을 판별하는 단계를 포함하고,
상기 계산된 차량의 회전율과 차량번호판의 중심점을 이용하여 차량의 관심영역을 추출하는 단계는,
상기 추출한 차량의 관심영역에서 차량의 색상 정보를 인식하는 단계;
상기 추출한 색상 정보를 입력받아 동일한 색상 내의 픽셀들에 대하여 차량의 프레임으로 판단하는 단계;
상기 차량의 프레임에서 차량 전면의 유리 영역을 검출하는 단계; 및
상기 검출된 차량 전면의 유리 영역에서 캐니 에지 검출기(Canny Edge Detector)를 이용하여 차량의 에지 이미지를 구하고, 좌측 조수석과 우측 운전자석을 분리하여 각각 에지 이미지에 의한 밝기값의 평균이 기준치 이상으로 동일한 경우 조수석 탑승으로 판단하는 단계를 포함하는 것을 특징으로 하는 내용기반 차량분석방법.
제12항에 있어서,
상기 차량의 회전율을 계산하는 단계는,
상기 입력된 차량 이미지를 캐니 에지 검출기를 이용하여 차량의 에지 이미지를 추출하는 단계; 및
상기 추출한 에지 이미지에서 차량의 선분 영역을 검출하며, 상기 검출된 선분 영역 중 사분면의 수직축을 기준으로 선분들의 평균을 구하면 차량의 회전 각도를 나타내는 차량의 회전율을 계산하는 단계를 포함하는 것을 특징으로 하는 내용기반 차량분석방법.
삭제