KR101812953B1 - 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법 - Google Patents

Abstract

본 발명은 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법에 관한 것으로, 그 목적은 실시간으로 진입하는 차량을 촬영하여 획득된 영상을 정규화된 엠블럼 후보 영역 영상으로 가공 후, 제조사별 엠블럼에 대한 사전학습 과정을 거친 분류기를 통해 차량 제조사를 판단하여 이에 매칭되는 표준 차량하부영상을 신속하게 불러와 대조토록 함으로써 진출입 차량의 판단 범위를 자동적으로 축소하여 테러 위험 여부를 판단하는데 소요되는 검색정보량과 시간을 획기적으로 줄일 수 있는 차량 하부 영상 검색 시스템 및 방법을 제공하는데 있다.
본 발명의 구성은 진입하는 차량의 차량하부영상을 촬영하는 하부검색부(1); 진입하는 차량의 영상을 촬영하는 차량영상획득부(2); 촬영된 차량의 영상중에서 엠블럼 후보 영역을 찾아 가공 후 학습과정을 거친 분류기를 통해 차량 제조사를 판단하는 과정을 수행하는 차량정보분석부(3); 인식된 차량 제조사의 표준 차량하부영상을 DB부(6)에서 불러와 출력하는 출력부(4); 촬영된 진입차량의 차량하부영상과 표준 차량하부영상을 대조하여 이상유무를 판단하는 차량하부영상대조부(5); 및 DB부(6);를 포함하여 구성된 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 이를 이용한 검색 방법을 발명의 특징으로 한다.

Description

엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법{Image detecting system and method for underbody of vehicle using recognizing a car type by identifying emblem image}

본 발명은 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법에 관한 것으로, 자세하게는 차량의 의한 폭발물 테러등을 방지하기 위해 진입중인 차량의 차량하부 영상을 획득시 기 저장된 차량하부영상과의 신속한 대조를 위해 차량의 엠블럼을 통해 제조사 및 모델명을 인식하여 검색시간을 획기적으로 줄인 차량하부 영상 검색 기술에 관한 것이다.

최근 빈번한 테러 및 폭파 사고로 인해 전 세계적으로 재난, 안전, 보안에 대해 이슈가 되고 있으며, 이러한 위험 요소들은 인명 피해뿐만 아니라 재물 파손 등과 같이 물질적인 손해를 야기할 수 있다.

특히 차량을 이용한 폭발 테러를 방지하기 위해 공공 기관 또는 국가 기관 건물의 차량 출입구에서는 수작업 또는 다양한 검색 장치를 통한 사람과 차량의 테러 가능 여부를 검색하고 있다.

수작업을 통한 검색 방식으로는, 탑승자의 신원을 조회하고 검색용 거울 등을 이용하여 차량 하부 바닥에 대고 직접 눈으로 이상 유무를 검색하고, 탐지견 등을 이용하여 폭발물 유무를 검색하는 방식이 있다.

또한 검색 장치를 통한 검색 방식으로는, 차량의 진입 및 출차 여부를 판단하는 루프 감지기와 차량번호판을 인식하는 광학 인식장치, 그리고 차량의 하부를 촬영하는 카메라 또는 센서, 그리고 획득된 영상정보를 이용하여 이상유무를 판단하는 하부 검색 모듈(하부 검색 프로그램이 실행되는 컴퓨터)등을 구비하여 차량 하부 영상을 촬영하고, 촬영된 영상정보를 분석하여 폭발물과 같은 위험물질이 있는지 여부를 판독하는 방식이 있다.

최근에는 보다 신속하고 정확한 검색을 위해 차량하부영상 검색 장치를 활용한 검색방법이 선호되고 있는 추세이다.

대한민국 특허등록 제 10-0964025호는 차량 하부영상을 이용한 입출차 제어 시스템 및 그 제어를 위한 장치에 관한 것으로, 차량의 무단 출입을 방지하기 위한 차단기를 구동하는 입출제어장치; 차량이 진입하는 경로상에 위치하는 반사경을 통해 구비된 촬영장치를 이용하여 진입하는 차량의 차량번호판을 촬영 또는 스캔하고, 상기 촬영장치를 이용하여 통과하는 상기 차량의 하부를 촬영 또는 스캔하는 차량검색장치; 및 상기 차량하부 및 상기 차량번호판이 촬영 또는 스캔된 각 영상을 이용하여 판단된 상기 차량이 출입이 허용된 차량인지 여부에 따라 상기 입출제어장치가 상기 차단기를 구동하도록 제어하는 중앙관리 장치를 포함하는 기술 구성을 개시하고 있다.

또한 대한민국 특허 공개번호 10-2011-0043048호는 차량 하부 촬영 장치에 관한 것으로, 차량 진입을 감지하는 진입 루프 감지기와, 진입 루프 감지기 후방에 일정 거리 이격되어 설치되어 차량 진출을 감지하는 진출 루프 감지기와, 진입 루프 감지기와 상기 지출 루프 감지기 사이에 설치되며, 차량 하부를 촬영하는 카메라와, 상기 카메라 전방 혹은 후방에 설치되어 차량의 정지 여부를 감지하는 스캔 감지 센서부를 구비하는 하부 검사부 및 카메라로부터 입력되는 영상을 입력받은 후 이를 이미지로 합성하는 스캔 영상 처리부가 개시되어 있다.

하지만 상기 종래 기술에 따른 차량하부영상 검색 방식은 출입하는 차량이 적을 경우는 문제가 없지만, 출입하는 검색 대상 차량이 많을 경우에는 촬영된 차량하부영상이 정상 차량하부영상인지 여부를 판단하는데 많은 시간이 필요하여 실시간 검색이 어렵다는 현실적인 문제가 있고, 이로인해 검색 대상 차량들의 지체가 일어난다는 구조적인 문제점이 있다.

이처럼 많은 시간이 걸리는 이유는, 촬영된 차량하부영상을 가지고 기준이 되는 표준 차량하부영상을 불러오기 위해서는 촬영시 발생되는 영상의 왜곡을 보정하고 다시 보정된 영상 중에서 특징을 추출해야 하는데 복잡한 구조를 가진 차량하부영상 특징상 일정 규격을 가진 영상으로 조절하고 그 중에서 특징을 추출하는데 많은 계산량이 필요하다는 점과 추출된 특징을 가지고 해당 차종에 해당하는 차량하부영상을 불러오기 위해 사전 저장된 방대한 표준 차량하부영상 DB 중에서 해당 특징과 유사한 영상을 일일이 대조하면서 가져와야 한다는 점 때문에 검색 시간을 줄이기가 쉽지 않다는 문제점이 있다.

더욱이 차량이 노후되거나 하부 구조가 변경되었을 경우는 더더욱 검색 시간이 많이 소요되게 된다.

한편, 촬영된 차량번호를 인식하여 해당 차량번호를 가진 차량등록원부 상에 기재된 차량정보를 알 수 있으면 신속하게 해결될 수 있지만, 현실적으로는 이러한 차량등록원부는 법률적인 권한 문제와 같은 여러 문제가 있기 때문에 실시간 검색에 이용할 수 없다는 현실적인 한계가 있다.

따라서 출입하려는 차량이 어느 제조사 차량인지 또는 어느 제조사의 어떤 모델 차종인지를 신속하게 확인할 수 있다면 방대한 기등록 표준 차량하부영상 DB에서 해당 제조사의 차량하부영상을 신속하게 직접 불러와 대조할 수 있어서 검색 시간을 획기적으로 줄일 수 있지만 아직까지 이와 같은 방식의 검색 기술이 제공되지 못하고 있어서 이에 대한 기술 개발의 필요성이 증대되고 있다.

한국 등록특허공보 등록번호 10-0964025(2010.06.08.) 한국 공개특허공보 공개번호 10-2011-0043048(2011.04.27.) 한국 공개특허공보 공개번호 10-2015-0137666(2015.12.09.) 한국 공개특허공보 공개번호 10-2005-0003664(2005.01.12.)

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 실시간으로 진입하는 차량을 촬영하여 획득된 영상을 정규화된 엠블럼 후보 영역 영상으로 가공 후, 제조사별 엠블럼에 대한 사전학습 과정을 거친 분류기를 통해 차량 제조사를 판단하여 이에 매칭되는 표준 차량하부영상을 신속하게 불러와 대조토록 함으로써 진출입 차량의 판단 범위를 자동적으로 축소하여 테러 위험 여부를 판단하는데 소요되는 검색정보량과 시간을 획기적으로 줄일 수 있는 차량 하부 영상 검색 시스템 및 방법을 제공하는데 있다.

상기한 바와 같은 목적을 달성하고 종래의 결점을 제거하기 위한 과제를 수행하는 본 발명은 진입하는 차량의 차량하부영상을 촬영하는 하부검색부와;

진입하는 차량의 전면 또는 후면 영상을 촬영하는 차량영상획득부와;

촬영된 차량의 영상중에서 엠블럼 후보 영역을 찾아 가공 후 CNN 알고리즘을 사용하여 딥러닝 기반의 학습과정을 거친 분류기를 통해 차량 제조사를 판단하는 과정을 수행하는 차량정보분석부와;

인식된 차량 제조사의 표준 차량하부영상을 DB부에서 불러와 출력하는 출력부와;

촬영된 진입차량의 차량하부영상과 엠블럼 인식 과정을 통해 출력된 제조사의 표준 차량하부영상을 대조하여 이상유무를 판단하는 차량하부영상대조부; 및

제조사 표준 차량하부영상DB, 분류기 학습 및 참조용 엠블럼 샘플 DB 및 검색 차량 정보 DB로 이루어진 DB부;를 포함하여 구성된 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템을 제공함으로써 달성된다.

바람직한 실시예로, 상기 차량정보분석부는, 입력된 전면 또는 후면 영상을 이용하여 에지 기반의 특징 추출로 필요한 엠블럼 후보영역을 검출하는 엠블럼 후보 영역 검출부와;

불필요한 부분이 제거된 엠블럼 후보 영역만을 크롭하는 후보영역 엠블럼 크롭부와;

크롭된 영상을 사전에 규정된 하나 이상의 크기로 정규화하는 영상데이터 정규화부와;

정규화된 엠블럼 영상을 분석하여 제조사를 판단하는 분류기;를 포함하여 구성될 수 있다.

바람직한 실시예로, 상기 엠블럼 후보 영역 검출부는 입력된 차량 영상을 케니 에지 영상과 소벨 에지 영상으로 변환하는 과정을 거친 후 다시 모폴로지 영상으로 변환하여 특징부를 부각시킨 영상을 생성한 다음 적합도 판정을 위한 규칙을 통해 불필요한 영역을 제거한 영상을 획득하는 과정을 수행하도록 구성될 수 있다.

바람직한 실시예로, 상기 영상데이터 정규화부는 영상 사이즈를 512×512(픽셀), 256×256(픽셀) , 128×128(픽셀), 64×64(픽셀) 중에서 선택된 어느 하나의 크기로 정규화하도록 구성될 수 있다.

바람직한 실시예로, 상기 분류기는 학습 및 분류 과정의 분석을 위한 컨볼루션층(convolution layer) 5개와 Softmax 함수를 활용하여 카테고리 분류가 가능한 FC층(full-connected layer) 3개층을 활용하여 만들어진 하나의 분류기(classifier)로, 입력된 엠블럼 영상이 어떤 제조사인지를 0과 1의 정합률(correlation)을 기준으로 1에 가장 가까운 확률을 갖는 값으로 판단하여 결정 및 판단하도록 구성될 수 있다.

바람직한 실시예로, 상기 차량 정보분석부는 촬영된 전면 또는 후면 영상으로부터 문자를 검출하여 차량 모델명을 판단하는 과정을 포함하도록 구성될 수 있다.

바람직한 실시예로, 상기 차량 정보분석부는 촬영된 전면 또는 후면 영상으로부터 차량번호를 인식하는 과정을 포함하도록 구성될 수 있다.

또한 본 발명은 다른 실시 양태로, 하부검색부를 이용하여 진입하는 차량의 차량하부영상을 촬영하는 단계(S10)와:

차량영상획득부를 이용하여 진입하는 차량의 전면 또는 후면 영상을 촬영하는 단계(S20)와;

차량정보분석부가 차량영상획득부에서 촬영된 차량의 전면 또는 후면 영상 중에서 엠블럼 후보 영역을 찾아 가공 후 CNN 알고리즘을 사용하여 딥러닝 기반의 학습과정을 거친 분류기를 통해 차량 제조사를 판단하는 단계(S30)와;

출력부에서 인식된 차량 제조사의 표준 차량하부영상을 DB부에서 불러와 출력하는 단계(S40)와;

차량하부영상대조부가 하부검색부에서 촬영된 진입차량의 차량하부영상과 엠블럼 인식 과정을 통해 출력된 제조사의 표준 차량하부영상을 대조하여 이상유무를 판단하는 단계(S50)로 이루어진 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 방법을 제공함으로써 달성된다.

바람직한 실시예로, 상기 (S30) 단계는 엠블럼 후보 영역 검출부가 획득된 전면 또는 후면 영상을 이용하여 에지 기반의 특징 추출로 필요한 엠블럼 후보영역을 검출하는 단계(S310)와;

후보영역 엠블럼 크롭부가 불필요한 부분을 제거된 엠블럼 후보 영역만을 크롭하는 단계(S320)와;

영상데이터 정규화부가 크롭된 영상을 사전에 규정된 하나 이상의 크기로 정규화하는 단계(S330)와;

분류기가 정규화된 엠블럼 영상을 분석하여 제조사를 판단하는 단계(S340);를 포함할 수 있다.

바람직한 실시예로, 상기 (S310) 단계는 케니 에지 영상으로 변환하는 단계와, 이후 소벨 에지 영상으로 변환하는 단계와; 이후 모폴로지 영상으로 변환하여 특징부를 부각시킨 영상을 생성하는 단계와; 이후 적합도 판정을 위한 규칙을 통해 불필요한 영역을 제거한 영상을 획득하는 단계;로 이루어질 수 있다.

바람직한 실시예로, 상기 (S330)단계는 영상 사이즈를 512×512(픽셀), 256×256(픽셀), 128×128(픽셀), 64×64(픽셀) 중에서 선택된 어느 하나의 크기로 정규화하는 단계일 수 있다.

바람직한 실시예로, 상기 분류기는 학습 및 분류 과정의 분석을 위한 컨볼루션층(convolution layer) 5개와 Softmax 함수를 활용하여 카테고리 분류가 가능한 FC층(full-connected layer) 3개층을 활용하여 만들어진 하나의 분류기(classifier)일 수 있다.

.

바람직한 실시예로, 상기 (S340)단계는 분류기가 입력된 엠블럼 영상이 어떤 제조사인지를 0과 1의 정합률(correlation)을 기준으로 1에 가장 가까운 확률을 갖는 값으로 판단하여 제조사로 판단하는 단계와; 기준값보다 적을 경우 분류 범위 내 제조사가 없는 것으로 판단하고 새로운 제조사로 판단하는 단계를 포함할 수 있다.

바람직한 실시예로, 상기 (S30)단계는 상기 차량 정보분석부가 촬영된 전면 또는 후면 영상으로부터 문자를 검출하여 차량 모델명을 판단하는 단계와;

촬영된 전면 또는 후면 영상으로부터 차량번호를 인식하는 단계를 더 포함할 수 있다.

상기와 같은 특징을 갖는 본 발명은 차량영상획득부에서 촬영한 전면 또는 후면 영상으로부터 엠블럼 인식을 통해 차량 제조사를 판단하여 표준 차량하부영상 DB를 불러와 하부검색부에서 촬영한 검색 대상 차량의 차량하부영상과 대조하여 신속하게 이상유무를 분석할 수 있어서 다수의 차량이 접근해도 신속하게 처리할 수 있다는 장점과,

또한 본 발명은 차량영상획득부에서 촬영한 전면 또는 후면 영상을 바탕으로 엠블럼을 도출하여 차량의 제조사 판단시 사전에 다양한 제조사의 모델별 엠블럼에 대한 학습 과정을 거친 분류기를 사용함으로써 신속하게 해당 엠블럼을 가진 제조사 또는 모델을 도출할 수 있어서 방대한 기등록 표준 차량하부영상 DB를 모두 대조하지 해당 제조사의 차량하부영상만을 대조함으로써 검색 및 분석 정보량을 획기적으로 줄였다는 장점을 가진 유용한 발명으로 산업상 그 이용이 크게 기대되는 발명이다.

도 1은 본 발명의 한 실시예에 따른 차량하부영상 검색 시스템의 구성도이고,
도 2는 본 발명의 한 실시예에 따른 분류기를 보인 예시도이고,
도 3은 본 발명의 한 실시예에 따른 차량 하부 영상 검색 방법을 보인 흐름도이고,
도 4은 도 3의 S30 단계의 상세 흐름도이다.

이하 본 발명의 실시 예인 구성과 그 작용을 첨부도면에 연계시켜 상세히 설명하면 다음과 같다. 또한 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

도 1은 본 발명의 한 실시예에 따른 차량하부영상 검색 시스템의 구성도이고, 도 2는 본 발명의 한 실시예에 따른 분류기를 보인 예시도이다.

도시된 바와 같이 본 발명의 구성은 크게 카메라를 이용하여 진입하는 차량의 차량하부영상을 촬영하는 하부검색부(1);

바리케이드 등의 정지 수단에 의해 정지된 상태의 진입 차량을 카메라를 이용하여 진입하는 차량의 전면 또는 후면 영상을 촬영하는 차량영상획득부(2);

촬영된 차량의 전면 또는 후면 영상중에서 엠블럼 후보 영역을 찾아 패치(Patch) 조각 형태로 정규화된 크기로 가공 후 CNN(Convolutional neural network) 알고리즘을 사용하여 딥러닝(deep learning) 기반의 학습과정을 거친 분류기를 통해 차량 제조사를 판단하는 과정을 수행하는 차량정보분석부(3);

인식된 차량 제조사의 표준 차량하부영상을 DB부에서 불러와 출력하는 출력부(4);

촬영된 진입차량의 차량하부영상과 엠블럼 인식 과정을 통해 출력된 제조사의 표준 차량하부영상을 대조하여 이상유무를 판단하는 차량하부영상대조부(5); 및

제조사 표준 차량하부영상DB, 분류기 학습 및 참조용 엠블럼 샘플 DB 및 검색 차량 정보 DB로 이루어진 DB부(6);를 포함하여 구성된다.

상기 차량 정보분석부(3)는 촬영된 전면 또는 후면 영상으로부터 문자를 검출하여 차량 모델명을 판단하는 과정을 포함하여 수행하도록 구성할 수 있다.

또한 상기 차량 정보분석부(3)는 촬영된 전면 또는 후면 영상으로부터 차량번호를 인식하는 과정을 포함하여 수행하도록 구성할 수 있다.

상기 출력부(4)는 인식된 제조사의 엠블럼에 따라 해당 제조사의 표준 차량하부영상DB을 불러오게 된다.

이때 불러오는 표준 차량하부영상DB는 제조사만 확정될 경우는 제조사 표준 차량하부영상DB 전체일 수 있고, 세부 모델명까지의 인식하는 과정을 거칠 경우는 해당 모델의 하나 또는 복수개일 수 있다. 그 이유는 동일 제조사의 엠블럼이라도 차종의 모델별 연식별로 복수개의 표준 차량하부영상이 존재할 수 있기 때문이다.

상기 하부검색부(1), 차량영상획득부(2) 및 차량정보분석부(3)는 차량하부영상대조부(5)와 유선 또는 무선으로 직접 연결되거나 또는 인터넷을 통해 연결되게 구성된다.

상기 DB부(6)를 구성하는 표준 차량하부영상DB(61)는 차량제조사에서 제공되는 표준 영상의 차량하부영상으로 제조사별, 모델별, 연식별 차량하부영상으로 구성되고, 새로운 제조사나 차종별 차량하부영상이 제공되어 저장되는 DB이다.

또한 상기 DB부(6)를 구성하는 분류기 학습 및 참조용 엠블럼 샘플 DB(62)는 제조사별로 기본형 엠블럼, 모델별 엠블럼, 연식별 엠블럼 영상을 구비하고, 이를 바탕으로 다양한 형태로 변형한 엠블럼으로 구성될 수 있다. 또한 학습 능력을 증대시키기 위해 지속적으로 업데이트되어 CNN기반의 딥러닝 분류기의 학습과 진입차량의 엠블럼 검출시 참조하는데 사용되는 DB이다.

또한 상기 DB부(6)를 구성하는 검색 차량 정보 DB(63)는 진입차량 별 차량하부영상, 차량의 전면 또는 후면 영상, 가공과정을 거치면서 정규화된 엠블럼 후보 영역 영상 그리고 후면 영상에서 촬영된 모델명 영상, 차량번호 영상을 저장하고 있는 DB이다.

또한 도 1에는 도시가 생략되었지만 본 발명은 도로 또는 지정된 검색 지면상에 매립 설치되어 차량의 진입 또는 출차를 감지하는 하나 이상으로 이루어진 공지의 바리케이드가 구성될 수 있음은 물론이다.

구체적으로 상기 각 구성을 이하 설명한다.

상기 하부검색부(1)는 진입중인 차량의 차량하부영상을 촬영하는 구성으로 도로의 하부에 매립형으로 구성하거나 이동형으로 구성할 수 있다. 검색 지점이나 목적에 따라 공지된 다양한 형식의 카메라와 조명형태를 사용하여 구성할 수 있다. 예를 들어 건물의 입구등에 설치할 경우는 보다 정밀한 영상 정보를 획득하기 위해 매립형으로 구성하는 것이 바람직하고, 행사장이나 불특정 도로에서 검색을 한다면 이동형으로 구성하면 된다. 이와 같은 본 발명은 하부검색부의 구성 장치 형식이 특정 형식에 한정되는 것은 아니고 차량의 하부를 촬영하여 영상 정보를 획득할 수 있으면 공지의 어떤 방식을 사용해도 충분하다.

사용되는 카메라 형태는 단일의 광각 렌즈 또는 필요로하는 영상을 촬영할 수 있는 시야각을 가진 디지털 카메라를 사용하거나 라인스캔 카메라 중 어느 것을 사용해도 된다. 또한 조명장치도 LED 램프, 할로겐램프 등등 다양한 조명수단 중 어느 하나 이상을 사용하면 충분하다.

촬영된 영상은 디지털 포맷 파일로 저장되어 임시 저장소에 저장되어 차량하부영상대조부(5)에서 사용토록 하거나 검색 차량 정보 DB에 저장한 후 차량하부영상대조부(5)에서 불러와 사용토록 구성할 수 있다.

상기 차량영상획득부(2)는 차량의 전면 또는 후면에 각각 하나 이상의 필요로 하는 시야각을 가진 디지털 카메라와 상기한 공지의 광원방식 중 어느 하나 이상으로 구성된 조명으로 구성할 수 있다. 발명은 차량영상획득부의 구성장치 형식이 특정 형식에 한정되는 것은 아니고 차량의 전면 또는 후면을 촬영하여 엠블럼 영상 그리고 선택적으로 모델명 또는 차량번호 정보를 획득할 수 있으면 공지의 어떤 방식을 사용해도 충분하다.

상기 차량정보분석부(3)는 다시 엠블럼 후보 영역 검출부(31), 후보영역 엠블럼 크롭부(32), 영상데이터 정규화부(33), 분류기(34)로 구성된다.

상기 엠블럼 후보 영역 검출부(31)는 입력된 전면 또는 후면 영상을 이용하여 에지 기반의 특징 추출로 필요한 특징부를 검출하게 된다. 본 발명에서는 케니 에지 영상과 소벨 에지 영상으로 변환하는 과정을 거친 후 다시 모폴로지 영상으로 변환하여 특징부를 부각시킨 영상을 생성한 다음, 적합도 판정을 위한 규칙을 통해 불필요한 영역을 제거한 영상을 획득하였다. 이때 적합도 판정을 위한 규칙은 다양하나, 가장 큰 특징은 필터로써 위치와 색상 기반 그리고 번호판과의 거리, 종횡비로 엠블럼 후보 영역을 검출하는 규칙을 적용하였다.

상기 후보영역 엠블럼 크롭부(32)는 불필요한 부분이 제거된 후보 영역만을 크롭하게 된다.

상기 영상데이터 정규화부(33)는 크롭된 영상을 정규화하게 된다. 정규화를 하는 이유는 차량 제조사 결정에 가장 적합한 영상 데이터를 선정하기 위함이다. 표준 영상으로 정규화를 하는 영상 데이터는 크기에 따라 고속 연산과 차종 결정 알고리즘의 성능에 영향을 미치는데 엠블럼 영상의 해상도에 따라 4가지의 표준영상으로 정규화한다.

또한 크롭된 영상을 정규화함으로써 분류기가 학습한 모델과 동일한 비교 조건을 가지게 됨으로써 제조사 차종 식별시의 판단 신뢰성이 높아지게 된다.

이를 위해 본 발명에서는 크롭된 영상을 Caffe의 ImageNet 모델에서 기본값으로 리사이징 되어 있는 입력 영상 데이터 크기인 256×256을 기준으로 그보다 크거나 작은 크기를 갖는 512×512, 256×256과 128×128, 64×64로 4가지의 표준 영상으로 정규화한 것을 사용한다.

상기 분류기(34)는 정규화된 4개의 영상 크기 중 어느 하나의 크기를 가진 엠블럼 영상이 입력되면 이를 분석하여 제조사를 판단하게 된다.

이때 입력된 영상 중 엠블럼 영상 외에 모델명 영상이 있을 경우 차종까지 판단하게 된다. 모델명 영상은 상기 엠블럼 영상과 동일한 과정을 거쳐 획득할 수 있다. 엠블럼 영상은 전면 또는 후면 영상 모두를 이용할 수 있는데 모델명 영상을 얻을 경우 엠블럼 영상은 전면 영상에서 획득하는 과정을 진행하고, 모델명 영상은 주로 후면 영상을 이용하여 숫자 또는 영문으로 이루어진 부분의 영상을 정규화하여 제공하는 과정을 거치면 된다. 모델명까지 이용하게 되면 표준 차량하부영상을 차량의 제조사로 1차 분류하고 모델명으로 2차 분류하게 되면 검색대상 표준 차량하부영상의 숫자가 줄어들어 전체 검색 시간이 획기적으로 줄어들게 된다.

분류기는 엠블럼 분석을 위해 CNN(Convolutional neural network) 알고리즘을 사용하여 딥러닝(deep learning) 기반에 의해 생성된 분류기로, 이 분류기를 만들기 위해 CNN은 학습 및 분류 과정의 분석을 위한 컨볼루션층(convolution layer) 5개와 Softmax 함수를 활용하여 카테고리 분류가 가능한 FC 층(full-connected layer) 3개층을 활용하여 하나의 분류기(classifier)를 만들었다. 이렇게 이루어진 분류기는 입력된 정규화된 엠블럼 후보영역 영상을 판단하여 해당 차량이 어떤 제조사의 것인지를 0과 1의 정합률(correlation)을 기준으로 1에 가장 가까운 확률을 갖는 값으로 판단하여 결정 및 판단하게 구성된다.

즉, 기준값보다 측정값이 높고 1에 가장 가까운 확률을 갖는 값에 매칭하는 제조사로 판단하게 된다. 만약 기준값보다 적을 경우 분류 범위 내 제조사가 없는 것으로 판단하고 새로운 제조사로 판단하게 된다.

상기 분류기(34)가 사용하는 참조 DB는 CNN방식으로 학습시 사용하여 DB부(6)에 저장한 한 분류기 학습 및 참조용 엠블럼 샘플 DB이다.

이 분류기 학습 및 참조용 엠블럼 샘플 DB는 차량 제조사별로 기본형 엠블럼, 모델별 엠블럼, 연식별 엠블럼을 구비하고, 이를 바탕으로 다양한 형태로 변형한 엠블럼으로 구성될 수 있다. 또한 학습 능력을 증대시키기 위해 지속적으로 업데이트되어 CNN기반의 딥러닝 분류기의 학습과 엠블럼 검출에 사용되는 DB 이다.

이하 도 2에 예시된 구조를 가진 분류기(34)의 학습과정을 설명한다.

본 발명에 사용되는 차량 엠블럼 데이터는 웹을 통해 제공해주는 것과 직접 사용자가 원하는 데이터를 수집하여 학습 데이터로 활용할 수 있다.

먼저 웹을 통해 제공해주는 데이터 셋(SET)을 활용하면 사용자가 일일이 데이터를 수집하거나 정리하지 않아도 되는 장점을 가진다. 하지만 원하는 데이터가 없거나 분류 카테고리가 한정적일 경우 원하는 분류 결과를 도출하기 힘들다.

또한 사용자가 직접 데이터를 수집하면 다양한 카테고리로 분류할 수 있거나 원하는 결과를 도출할 수 있는 반면 방대한 양의 데이터 수집과 정리는 어려운 작업 중 하나이다. 그래서 편의성과 효율성을 위해 자동적으로 테스트 데이터 셋을 수집하기 위한 방법으로 수집한 영상 데이터들을 정규화하여 실제 Caffe 안에서 사용될 수 있는 형태로 가공하여 사용하는 방법이다.

이를 위해 본 발명의 한 실시예에서는 기본이 엠블럼 영상을 필요로 하는 일정각도로 자동 회전, 좌우대칭, 상하대칭, 잡음, 블러, 오토톤, 오토컨트라스트, RGB 채널 값 조정을 매크로 형태의 프로그램을 설계한 후 데이터 25,200개 이상의 커스텀 데이터 셋을 확보하였다. 이러한 데이터 증가 방법으로 데이터 셋을 확보하면 데이터 준비에 대한 시간적 부담을 줄일 수 있게 된다. 다만 이와 같은 데이터 숫자는 한 실시예에 따른 것으로 차량 제조사의 수 증가 및 데이터 증가를 위한 변형 방법의 증가에 따라 변경될 수 있는 것으로 본 발명은 이와 같은 특정 숫자의 데이터 셋에 한정되지 않는다.

데이터 셋 영상은 한실시예에 따라 256×256으로 정규화한 것을 사용할 수 있다. 이것은 데이터의 연산 처리를 수행할 때 병렬 처리를 하는데 효율적인 형태이다. 그리고 이러한 데이터를 Caffe에서 수행할 있는 데이터 형식으로 한 실시예에 따라 lmdb 형식으로 생성한 것을 사용하였다. 준비된 데이터 셋은 영상의 평균값을 계산하는 절차를 거친다. ImageNet의 알고리즘 모델은 각각의 영상으로부터 영상 평균의 차를 구한다. 이것으로부터 영상 간의 유사성을 파악할 수 있게 된다.

도 2에 예시된 분류기 처럼 Caffe의 ImageNet 학습 모델을 변형하여 다양한 크기의 정규화된 영상 집합에서의 학습 모델을 만들어 차량 보안 검색을 위해 가장 적합한 학습 모델을 구성하였다.

이와 같은 모델 선정의 기준은 차량 보안 검사시 고속으로 연산이 가능하고, 신뢰성 높은 분류 결과를 도출할 수 있게 된다. 주어진 512×512, 256×256, 128×128 그리고 64×64 크기의 샘플 각각 25,200개씩 주어졌을 때 이것을 ImageNet 모델로 학습을 시킨다. 분류기에 입력되는 입력단에서는 25,200개가 각 크기별로 학습을 하게 되고 분류기는 컨볼루션 1부터 5까지의 층을 거쳐 풀리 커넥티드 부분인 6부터 8까지를 거쳐 출력층으로 도출한다.

이렇게 각각의 크기별로 학습 모델이 선정되면 동일한 크기의 대조군을 입력으로 하여 학습 분류를 시켰다. 이때 4가지 크기별 학습 모델 비교를 통해 가장 정합률이 높은 값을 갖는 표준 영상 크기의 모델을 선정하여 본 발명의 분류기로 적용하는 것이 바람직하다. 다만 본 발명에서는 512×512, 256×256, 128×128 그리고 64×64 (픽셀)크기를 모두 사용하는 분류기로 구성하였다. 그 이유는 진입하는 차량에서 촬영된 영상은 차량의 노후도나 촬영된 계절, 시간, 날씨에 따라 선명도나 해상도와 같은 품질이 다를 수 있어서 제공되는 영상 크기가 여러 형태로 입력될 수 있기 때문이다.

상기 차량하부영상대조부(5)는 촬영된 진입차량의 차량하부영상과 엠블럼 인식 과정을 통해 출력된 제조사의 표준 차량하부영상을 대조하여 이상유무를 판단하게 된다.

이때 촬영된 진입차량의 차량하부영상은 대조시 표준 차량하부영상과 최대한 동일한 조건을 가지도록 여러 보정과정을 거친 후 대조할 수 있다.

보정방식은 공지의 보정 방법 중 필요에 따라 적절한 것을 선택하여 사용할 수 있다. 예를 들면 촬영된 차량하부영상의 길이를 동일 차종의 표준 차량하부영상과 동일한 길이가 되도록 표준화하는 과정, 촬영된 차량하부영상이 직진방향과 일치되지 않는 각도로 들어왔을 때 방향을 수정하여 촬영된 현재 영상을 동일 차종의 표준 차량하부영상의 주축과 일치되도록 보정하는 과정을 거치면 된다.

상기와 같은 보정된 진입차량의 차량하부영상은 대조시 표준 차량하부영상과 대조시 공지의 검색 방법 중 필요에 따라 적절한 것을 선택하여 사용할 수 있다. 예를 들어 두 영상의 휘도, 색상, 윤곽선 추출 등을 이용하여 서로 동일한 형상을 갖는 물체에 따른 영상인지 여부를 판별하면 된다.

또한 대조시 출력된 제조사의 표준 차량하부영상은 제조사별 표준 차량하부영상 전체이거나 모델별, 연식에 따라 범위가 축소된 표준 차량하부영상일 수 있으므로 공지의 대조 방식을 순차적으로 대조하여 이상 유무를 판단하면 된다.

도 3은 본 발명의 한 실시예에 따른 차량 하부 영상 검색 방법을 보인 흐름도이고, 도 4는 도 3의 S30 단계의 상세 흐름도이다.

이하 상기 각 구성을 이용한 본 발명의 검색 방법을 설명한다.

본 발명의 검색방법은 하부검색부(1)를 이용하여 진입하는 차량의 차량하부영상을 촬영하는 단계(S10)와;

차량영상획득부(2)를 이용하여 진입하는 차량의 전면 또는 후면 영상을 촬영하는 단계(S20)와;

차량정보분석부(3)가 차량영상획득부(2)에서 촬영된 차량의 전면 또는 후면 영상 중에서 엠블럼 후보 영역을 찾아 가공 후 CNN 알고리즘을 사용하여 딥러닝 기반의 학습과정을 거친 분류기를 통해 차량 제조사를 판단하는 단계(S30)와;

출력부(4)에서 인식된 차량 제조사의 표준 차량하부영상을 DB부(6)에서 불러와 출력하는 단계(S40)와;

차량하부영상대조부(5)가 하부검색부(1)에서 촬영된 진입차량의 차량하부영상과 엠블럼 인식 과정을 통해 출력된 제조사의 표준 차량하부영상을 대조하여 이상유무를 판단하는 단계(S50)로 이루어진다.

상기 하부검색부(1)에서 촬영된 진입 차량의 차량하부영상DB는 DB부(6)의 검색 차량 정보 DB에 저장되는 단계를 가진다. 이 차량하부영상DB는 진입차량 별 차량하부영상, 차량의 전면 또는 후면 영상, 가공과정을 거치면서 정규화된 엠블럼 후보 영역 영상 그리고 후면 영상에서 촬영된 모델명 영상, 차량번호 영상을 저장하고 있는 DB이다.

상기 DB부(6)에 저장된 제조사의 표준 차량하부영상DB는 사전에 준비된 자료로 현재 차량을 생산하는 제조사의 차량하부영상과 단종된 차량하부영상을 포함한다. 또한 각 모델별 또는 연식별 차량하부영상을 포함한다.

또한 현재 차량을 생산하지 않는 제조사의 차량하부영상을 포함한다.

상기 DB부(6)에 저장된 분류기 학습 및 참조용 엠블럼 샘플 DB는 현재 차량을 생산하는 제조사 또는 차량을 생산하지 않는 제조사의 엠블럼과 이를 변형한 엠블럼을 저장한 DB로 제조사별로 기본형 엠블럼, 모델별 엠블럼, 연식별 엠블럼을 구비하고, 이를 바탕으로 다양한 형태로 변형한 엠블럼을 포함한다.

이 분류기 학습 및 참조용 엠블럼 샘플 DB는 분류기의 학습을 위한 DB로 사용될 뿐만 아니라 정규화된 엠블럼 후보 영역 영상으로부터 제조사를 판단하는데 사용된다.

또한 학습 능력을 증대시키기 위해 지속적으로 업데이트되어 CNN기반의 딥러닝 분류기의 학습과 엠블럼 검출에 사용되는 DB 이다.

상기 (S30) 단계는,

엠블럼 후보 영역 검출부(31)가 획득된 전면 또는 후면 영상을 이용하여 에지 기반의 특징 추출로 필요한 엠블럼 후보영역을 검출하는 단계(S310)와;

후보영역 엠블럼 크롭부(32)가 불필요한 부분을 제거된 엠블럼 후보 영역만을 크롭하는 단계(S320)와;

영상데이터 정규화부(33)가 크롭된 영상을 사전에 규정된 하나 이상의 크기로 정규화하는 단계(S330)와;

분류기(34)가 정규화된 엠블럼 영상을 분석하여 제조사를 판단하는 단계(S340);를 포함한다.

상기 (S310)단계는 케니 에지 영상으로 변환하는 단계와, 이후 소벨 에지 영상으로 변환하는 단계와; 이후 모폴로지 영상으로 변환하여 특징부를 부각시킨 영상을 생성하는 단계와; 이후 적합도 판정을 위한 규칙을 통해 불필요한 영역을 제거한 영상을 획득하는 단계;를 포함하여 이루어진다. 이때 적합도 판정을 위한 규칙은 다양하나, 가장 큰 특징은 필터로써 위치와 색상 기반 그리고 번호판과의 거리, 종횡비로 엠블럼 후보 영역을 검출하는 규칙을 적용하였다.

상기 (S330)단계에서 크롭된 영상을 정규화하는 이유는 차량 제조사 결정에 가장 적합한 영상 데이터를 선정하기 위함이다. 표준 영상으로 정규화를 하는 영상 데이터는 크기에 따라 고속 연산과 차종 결정 알고리즘의 성능에 영향을 미치는데 엠블럼 영상의 해상도에 따라 4가지의 표준영상으로 정규화한다.

또한 크롭된 영상을 정규화함으로써 분류기가 학습한 모델과 동일한 비교 조건을 가지게 됨으로써 제조사 차종 식별시의 판단 신뢰성이 높아지게 된다.

이를 위해 본 발명에서는 크롭된 영상을 Caffe의 ImageNet 모델에서 기본값으로 리사이징 되어 있는 입력 영상 데이터 크기인 256×256을 기준으로 그보다 크거나 작은 크기를 갖는 512×512, 256×256과 128×128, 64×64로 4가지의 표준 영상으로 정규화한 것을 사용한다.

상기 (S340) 단계는 분류기(34)가 정규화된 4개의 영상 크기 중 어느 하나의 크기를 가진 엠블럼 영상이 입력되면 이를 분석하여 제조사를 판단하는 단계이다.

이때 입력된 영상 중 엠블럼 영상 외에 모델명 영상이 있을 경우 차종까지 판단하게 된다. 모델명 영상은 상기 엠블럼 영상과 동일한 과정을 거쳐 획득할 수 있다. 엠블럼 영상은 전면 또는 후면 영상 모두를 이용할 수 있는데 모델명 영상을 얻을 경우 엠블럼 영상은 전면 영상에서 획득하는 과정을 진행하고, 모델명 영상은 주로 후면 영상을 이용하여 숫자 또는 영문으로 이루어진 부분의 영상을 정규화하여 제공하는 과정을 거치면 된다. 모델명까지 이용하게 되면 표준 차량하부영상을 차량의 제조사로 1차 분류하고 모델명으로 2차 분류하게 되면 검색대상 표준 차량하부영상의 숫자가 줄어들어 전체 검색 시간이 획기적으로 줄어들게 된다.

특히 이 단계에 사용되는 분류기는 엠블럼 분석을 위해 CNN(Convolutional neural network) 알고리즘을 사용하여 딥러닝(deep learning) 기반에 의해 생성된 분류기로, 이 분류기를 만들기 위해 CNN은 학습 및 분류 과정의 분석을 위한 컨볼루션층(convolution layer) 5개와 Softmax 함수를 활용하여 카테고리 분류가 가능한 FC 층(full-connected layer) 3개층을 활용하여 하나의 분류기(classifier)를 만들었다. 이렇게 이루어진 분류기는 입력된 엠블럼 영상이 어떤 제조사인지를 0과 1의 정합률(correlation)을 기준으로 1에 가장 가까운 확률을 갖는 값으로 판단하여 결정 및 판단하게 구성된다.

즉, 기준값보다 측정값이 높고 1에 가장 가까운 확률을 갖는 값에 매칭하는 제조사로 판단하게 된다. 만약 기준값보다 적을 경우 분류 범위 내 제조사가 없는 것으로 판단하고 새로운 제조사로 판단하게 된다.

상기 (S50) 단계는 촬영된 진입차량의 차량하부영상과 엠블럼 인식 과정을 통해 출력된 제조사의 표준 차량하부영상을 대조하여 이상유무를 판단하는 단계로,

이때 촬영된 진입차량의 차량하부영상은 대조시 표준 차량하부영상과 최대한 동일한 조건을 가지도록 여러 보정과정을 거친 후 대조하는 단계를 거치게 된다.

보정방식은 공지의 보정 방법 중 필요에 따라 적절한 것을 선택하여 사용할 수 있다. 예를 들면 촬영된 차량하부영상의 길이를 동일 차종의 표준 차량하부영상과 동일한 길이가 되도록 표준화하는 과정, 촬영된 차량하부영상이 직진방향과 일치되지 않는 각도로 들어왔을 때 방향을 수정하여 촬영된 현재 영상을 동일 차종의 표준 차량하부영상의 주축과 일치되도록 보정하는 과정을 거치게 된다.

상기와 같은 보정된 진입차량의 차량하부영상은 대조시 표준 차량하부영상과 대조시 공지의 검색 방법 중 필요에 따라 적절한 것을 선택하여 사용할 수 있다. 예를 들어 두 영상의 휘도, 색상, 윤곽선 추출 등을 이용하여 서로 동일한 형상을 갖는 물체에 따른 영상인지 여부를 판별하면 된다.

또한 대조시 출력된 제조사의 표준 차량하부영상은 제조사별 표준 차량하부영상 전체이거나 모델별, 연식에 따라 범위가 축소된 표준 차량하부영상일 수 있으므로 공지의 대조 방식을 순차적으로 대조하여 이상 유무를 판단하면 된다.

한편, 엠블럼 영상에 따라 불러온 표준차량하부영상과 대조시 실시간 촬영된 검색 대상 차량의 차량하부영상이 매칭되지 않는다면 불법개조차량 또는 테러용의차량으로 판단할 수 있게 된다.

본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

(1) : 하부검색부 (2) : 차량영상획득부
(3) : 차량정보분석부 (4) : 출력부
(5) : 차량하부영상대조부 (6) : DB부
(31) : 엠블럼 후보 영역 검출부 (32) : 후보영역 엠블럼 크롭부
(33) : 영상데이터 정규화부 (34) : 분류기
(61) : 표준 차량하부영상DB
(62) : 분류기 학습 및 참조용 엠블럼 샘플 DB
(63) : 검색 차량 정보 DB

Claims (14)

1. 진입하는 차량의 차량하부영상을 촬영하는 하부검색부와;
   진입하는 차량의 전면 또는 후면 영상을 촬영하는 차량영상획득부와;
   촬영된 차량의 영상중에서 엠블럼 후보 영역을 찾아 가공 후 CNN 알고리즘을 사용하여 딥러닝 기반의 학습과정을 거친 분류기를 통해 차량 제조사를 판단하는 과정을 수행하는 차량정보분석부와;
   인식된 차량 제조사의 표준 차량하부영상을 DB부에서 불러와 출력하는 출력부와;
   촬영된 진입차량의 차량하부영상과 엠블럼 인식 과정을 통해 출력된 제조사의 표준 차량하부영상을 대조하여 이상유무를 판단하는 차량하부영상대조부; 및
   제조사 표준 차량하부영상DB, 분류기 학습 및 참조용 엠블럼 샘플 DB 및 검색 차량 정보 DB로 이루어진 DB부;를 포함하여 구성하되,
   상기 분류기는 학습 및 분류 과정의 분석을 위한 컨볼루션층(convolution layer) 5개와 Softmax 함수를 활용하여 카테고리 분류가 가능한 FC층(full-connected layer) 3개층을 활용하여 만들어진 하나의 분류기(classifier)로, 입력된 엠블럼 영상이 어떤 제조사인지를 0과 1의 정합률(correlation)을 기준으로 1에 가장 가까운 확률을 갖는 값으로 판단하여 결정 및 판단하도록 구성된 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템.
   
2. 청구항 1에 있어서,
   상기 차량정보분석부는, 입력된 전면 또는 후면 영상을 이용하여 에지 기반의 특징 추출로 필요한 엠블럼 후보영역을 검출하는 엠블럼 후보 영역 검출부와;
   불필요한 부분이 제거된 엠블럼 후보 영역만을 크롭하는 후보영역 엠블럼 크롭부와;
   크롭된 영상을 사전에 규정된 하나 이상의 크기로 정규화하는 영상데이터 정규화부와;
   정규화된 엠블럼 영상을 분석하여 제조사를 판단하는 분류기;를 포함하여 구성된 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템.
   
3. 청구항 2에 있어서,
   상기 엠블럼 후보 영역 검출부는 입력된 차량 영상을 케니 에지 영상과 소벨 에지 영상으로 변환하는 과정을 거친 후 다시 모폴로지 영상으로 변환하여 특징부를 부각시킨 영상을 생성한 다음 적합도 판정을 위한 규칙을 통해 불필요한 영역을 제거한 영상을 획득하는 과정을 수행하도록 구성된 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템.
   
4. 청구항 2에 있어서,
   상기 영상데이터 정규화부는 영상 사이즈를 512×512(픽셀), 256×256(픽셀) , 128×128(픽셀), 64×64(픽셀) 중에서 선택된 어느 하나의 크기로 정규화하도록 구성된 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템.
   
5. 삭제
6. 청구항 1에 있어서,
   상기 차량 정보분석부는 촬영된 전면 또는 후면 영상으로부터 문자를 검출하여 차량 모델명을 판단하는 과정을 포함하도록 구성된 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템.
   
7. 청구항 1에 있어서,
   상기 차량 정보분석부는 촬영된 전면 또는 후면 영상으로부터 차량번호를 인식하는 과정을 포함하도록 구성된 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템.
   
8. 하부검색부를 이용하여 진입하는 차량의 차량하부영상을 촬영하는 단계(S10)와:
   차량영상획득부를 이용하여 진입하는 차량의 전면 또는 후면 영상을 촬영하는 단계(S20)와;
   차량정보분석부가 차량영상획득부에서 촬영된 차량의 전면 또는 후면 영상 중에서 엠블럼 후보 영역을 찾아 가공 후 CNN 알고리즘을 사용하여 딥러닝 기반의 학습과정을 거친 분류기를 통해 차량 제조사를 판단하는 단계(S30)와;
   출력부에서 인식된 차량 제조사의 표준 차량하부영상을 DB부에서 불러와 출력하는 단계(S40)와;
   차량하부영상대조부가 하부검색부에서 촬영된 진입차량의 차량하부영상과 엠블럼 인식 과정을 통해 출력된 제조사의 표준 차량하부영상을 대조하여 이상유무를 판단하는 단계(S50)로 이루어지되,
   
   상기 분류기는 학습 및 분류 과정의 분석을 위한 컨볼루션층(convolution layer) 5개와 Softmax 함수를 활용하여 카테고리 분류가 가능한 FC층(full-connected layer) 3개층을 활용하여 만들어진 하나의 분류기(classifier)인 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 방법.
   
9. 청구항 8에 있어서,
   상기 (S30) 단계는 엠블럼 후보 영역 검출부가 획득된 전면 또는 후면 영상을 이용하여 에지 기반의 특징 추출로 필요한 엠블럼 후보영역을 검출하는 단계(S310)와;
   후보영역 엠블럼 크롭부가 불필요한 부분을 제거된 엠블럼 후보 영역만을 크롭하는 단계(S320)와;
   영상데이터 정규화부가 크롭된 영상을 사전에 규정된 하나 이상의 크기로 정규화하는 단계(S330)와;
   분류기가 정규화된 엠블럼 영상을 분석하여 제조사를 판단하는 단계(S340);를 포함하는 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 방법.
   
10. 청구항 9에 있어서,
    상기 (S310) 단계는 케니 에지 영상으로 변환하는 단계와, 이후 소벨 에지 영상으로 변환하는 단계와; 이후 모폴로지 영상으로 변환하여 특징부를 부각시킨 영상을 생성하는 단계와; 이후 적합도 판정을 위한 규칙을 통해 불필요한 영역을 제거한 영상을 획득하는 단계;로 이루어진 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 방법.
    
11. 청구항 9에 있어서,
    상기 (S330)단계는 영상 사이즈를 512×512(픽셀), 256×256(픽셀), 128×128(픽셀), 64×64(픽셀) 중에서 선택된 어느 하나의 크기로 정규화하는 단계인 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 방법
    
12. 삭제
13. 청구항 9에 있어서,
    상기 (S340)단계는 분류기가 입력된 엠블럼 영상이 어떤 제조사인지를 0과 1의 정합률(correlation)을 기준으로 1에 가장 가까운 확률을 갖는 값으로 판단하여 제조사로 판단하는 단계와; 기준값보다 적을 경우 분류 범위 내 제조사가 없는 것으로 판단하고 새로운 제조사로 판단하는 단계를 포함하는 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 방법.
    
14. 청구항 8에 있어서,
    상기 (S30)단계는 상기 차량 정보분석부가 촬영된 전면 또는 후면 영상으로부터 문자를 검출하여 차량 모델명을 판단하는 단계와;
    촬영된 전면 또는 후면 영상으로부터 차량번호를 인식하는 단계를 더 포함하는 것을 특징으로 하는 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 방법.

Images