KR102240266B1 - 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법 - Google Patents

영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법 Download PDF

Info

Publication number
KR102240266B1
KR102240266B1 KR1020200114933A KR20200114933A KR102240266B1 KR 102240266 B1 KR102240266 B1 KR 102240266B1 KR 1020200114933 A KR1020200114933 A KR 1020200114933A KR 20200114933 A KR20200114933 A KR 20200114933A KR 102240266 B1 KR102240266 B1 KR 102240266B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
classification
information
registration information
Prior art date
Application number
KR1020200114933A
Other languages
English (en)
Inventor
안순현
Original Assignee
렉스젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렉스젠(주) filed Critical 렉스젠(주)
Priority to KR1020200114933A priority Critical patent/KR102240266B1/ko
Priority to US18/040,987 priority patent/US20230306716A1/en
Priority to CN202180055207.7A priority patent/CN116075837A/zh
Priority to PCT/KR2021/004546 priority patent/WO2022055063A1/ko
Application granted granted Critical
Publication of KR102240266B1 publication Critical patent/KR102240266B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K2209/15—
    • G06K2209/23—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따라 영상 분석을 통한 차량 분류 장치가 제안되며, 상기 장치는 차량 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득부; 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하기 위한 차량 정보 획득부; 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 등록 정보 획득부; 상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 제어부; 및 상기 분류키를 이용하여 상기 차량 영상을 학습하는 학습 처리부를 포함할 수 있다.

Description

영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법{Apparatus, system and method for classifying vehicles using image analysis}
본 발명은 영상 분석을 통한 차량 분류 장치, 시스템 및 방법에 관한 것으로서, 좀더 상세하게는 차량 번호판 인식과 자동차 등록정보를 이용하여, 차량을 분류하기 위한 라벨링 정보를 획득하고, 학습기에 라벨링 정보와 차량 영상을 함께 학습하게 하기 위한 것에 관한 것이다.
최근 딥 러닝을 이용한 영상을 분석하고 이를 적용하는 분야 및 사례가 급증하고 있는데, 특히, 공공 분야에서는 교통 정보를 수집하고 분석하는 분야에서 다양하게 활용되고 있다.
한편, 딥 러닝(Deep learning)은 많은 양의 데이터 셋이 필요하고, 각각의 영상은 목적에 맞는 레이블(label)을 생성을 해야 하며, 특히 차량의 종류를 분류하기 위해서는 2천 종 이상의 차량 영상을 분류하여 확보해야 하는 어려움과 차량 종류별로 적절한 데이터의 양을 확보해야 하는 어려움이 있다.
본 명세서에서, 차량의 종류 또는 차량 종류라 함은, 차량을 구분할 수 있는 모든 구분 정보를 의미하며, 예를 들어 국가기관(국토교통부)에서 관리하는 자동차 등록정보(도 3 내 정보들)가 이에 해당하며, 자동차 등록정보 중 적어도 하나의 조합으로도 이루어질 수 있다.
자동차 등록정보는 자동차 등록증에 열거된 정보를 의미하며, 차량이 도로를 주행하기 위해서는 국가기관(국토교통부)은 자동차의 정보를 등록, 관리 관리하는데, 자동차 등록정보에는 자동차등록번호(흔히 일컫는, 차량번호), 차종, 용도, 차명, 형식 및 모델연도, 차대번호, 소유자, 제원 등 많은 정보가 저장되어 있다.
예를 들어, 차량의 영상을 분석하여 차량의 “차명”으로 차량 종류를 구분하려는 경우(즉, 구분/분류하려는 “차량 종류”가 “차명”인 경우), 차명(예, LF SONATA) 을 판별하기 위하여, 본 발명의 도 2에 예시된 사례를 보면, 동일한 차명(즉, LF SONATA)의 수많은 차량 영상(수천 장)을 획득하고, 이를 이용하여 차명을 판별하도록 개발한 것이다.
한편, 자동차 등록정보 내 “차종”은 차량을 크기에 따라 분류한 정보로서, 현행 자동차 등록정보에는 9종(소형 승용, 소형 승합, 소형 화물, 중형 승용, 중형 승합, 중형 화물, 대형 승용, 대형 승합, 대형 화물)으로 분류되어 있다.
이와 같은 차량의 종류에 대한 정보는 차량의 요금징수(주차장, 고속도로), 통행 제한(고속도로 통행방법), 그리고 수사용(번호판 정보 없이 통행한 차량의 모델 정보)으로 그 활용도가 높지만, 현재까지 기존 차량 및 새로운 차량의 증가로 이를 해결할 수 있는 방법은 없는 현실이다.
또한, 우리나라 지방자치단체, 유관 기관(예, 한국도로공사)에는 다양한 형태의 차량영상 촬영장치 및 차량번호 판독장치가 이미 운영 중에 있는데, 차량영상과 차량의 번호판 정보를 이용하여 상술한 차량 등록정보와 연계하여 기존 차량 및 새롭게 출시하는 차량에 대하여 외형상 차이가 있는 차량 종류에 따라 레이블을 하도록 구성하고, 이를 이용하여 효율적으로 알고리즘을 개발, 신속한 업그레이드가 가능한 시스템이 요구된다.
본 발명은 앞서 설명한 문제점을 해결하기 위해 제안된 것으로서, 차량 영상의 학습을 위한 레이블 정보로서, 자동차 등록정보와 차량 영상을 그 입력으로 제공하고자 하며, 이를 입력받아 차량 영상을 통한 차량 인식, 검출의 정확도를 상당 수준으로 높이고자 한다. 아울러, 본 발명은 종래에 학습 데이터 제공을 위해 인간의 개입을 통한 레이블링 작업이 주류였으나, 인간의 개입 없이 장치 또는 시스템에서 레이블 정보를 부여하고자 한다.
본 발명에서 이루고자 하는 해결하고자 하는 과제들은 상기 해결하고자 하는 과제로 제한되지 않으며, 언급하지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따라 영상 분석을 통한 차량 분류 장치가 제안되며, 상기 장치는 차량의 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득부; 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하기 위한 차량 정보 획득부; 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 등록 정보 획득부; 상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 제어부; 및 상기 분류키를 이용하여 상기 차량 영상을 학습하는 학습 처리부를 포함할 수 있다.
추가로 또는 대안으로, 상기 차량 등록 정보는: 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함할 수 있다.
추가로 또는 대안으로, 상기 차량 식별 정보는: 상기 차량에 설치된 통신부의 식별자 또는 MAC(media access control) 주소를 포함할 수 있다.
추가로 또는 대안으로, 상기 등록 정보 획득부는 상기 차량 등록 정보에 포함된 차종, 차명, 형식 및 모델 연도, 차대번호 중 적어도 하나를 기초로 차량의 외관 정보를 추가적으로 획득할 수 있다.
추가로 또는 대안으로, 상기 제어부는: 소정의 분류키 또는 자동차 등록번호를 인덱스로 하여 상기 차량 영상을 저장하는 저장부를 포함할 수 있다.
추가로 또는 대안으로, 상기 학습 처리부는: 동일한 분류키에 해당하는 차량 영상을 분석하여 학습 정보를 추출할 수 있다.
추가로 또는 대안으로, 상기 학습 처리부에 입력되는 차량 영상은 상기 차량 영상에서 상기 차량 번호판의 좌표를 이용하여 추출된 차량 영역을 포함할 수 있다.
본 발명의 또다른 일 실시예에 따라 영상 분석을 통한 차량 분류 시스템이 제안되며, 상기 시스템은 차량 분류 장치 및 운영부를 포함하고, 상기 차량 분류 장치는: 차량의 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득부; 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하기 위한 차량 정보 획득부; 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 등록 정보 획득부; 상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 제어부; 및 상기 분류키를 이용하여 상기 차량 영상을 학습하는 학습 처리부를 포함하고, 상기 운영부는 용도에 따라 상기 분류키를 통합 또는 분리하는 재조정을 통해 재조정된 분류키를 이용하여 상기 차량의 차종을 분류할 수 있다.
추가로 또는 대안으로, 상기 운영부는: 상기 차량 식별 정보에 대응하여 획득한 차량 등록 정보와 차량 영상에서 직접 획득한 차량의 정보가 상이한지 여부를 판단하고, 상기 직접 획득한 차량의 정보는 상기 학습 처리부에 의해 학습된 데이터를 이용하여 획득될 수 있다.
추가로 또는 대안으로, 상기 운영부는: 기 저장된 차량 영상과 분류키 중에서, 중복하는 자동차 등록번호가 있는지 여부를 판단할 수 있다.
본 발명의 또다른 실시예에 따라 영상 분석을 통한 차량 분류를 위한 방법이 개시되며, 상기 방법은 차량의 번호판을 포함하는 차량 영상을 획득하는 단계; 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하는 단계; 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 단계; 상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 단계; 및 상기 분류키를 이용하여 상기 차량 영상을 학습하는 단계를 포함할 수 있다.
상기 과제 해결방법들은 본 발명의 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따르면, 자동차 등록정보를 사용하여 차량 영상에서 차량 인식 및 차량 정보 획득을 위한 레이블 정보를 효율적으로 획득하여 레이블링을 위한 시간과 비용을 현저히 줄일 수 있다.
또한, 본 발명에 따르면 신차가 출시되어도, 신속하게 학습 데이터를 제공하여 학습이 가능하다.
또한, 본 발명에 따르면 학습 결과에 기초하여, 용도 또는 목적에 맞는 차량 분류가 가능해진다.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명과 관련된 교통 관제 시스템의 전체적인 구성을 도시한다.
도 2는 차량 영상에서 차량 정보를 획득한 결과를 도시한다.
도 3은 본 발명과 관련된 자동차 등록증(등록정보)을 도시한다.
도 4는 본 발명과 관련된 장치 또는 시스템의 블록도를 도시한다.
도 5는 본 발명과 관련된 차량 영상으로부터 분류키를 설정하는 절차를 도시한다.
도 6은 본 발명과 관련된 차량 번호판 위변조 차량 검출을 위한 순서도를 도시한다.
도 7은 본 발명과 관련된 분류키를 활용한 차량 영상 내 차량에 대한 레이블 정보 획득 및 학습 절차의 순서도를 도시한다.
이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
도 1은 본 발명이 속하는 분야의 교통 관제 시스템의 전체적인 구성을 도시한다. 상기 시스템에는, 교통 상황을 촬영하여 영상을 획득하기 위한 카메라 등의 영상 획득 장치(1)와 그와 관련된 부속 장치들, 상기 영상 획득 장치와 유선 또는 무선으로 연결되는 서버(2), 그리고 상기 영상을 전달받아 실시간 관제하거나 영상을 저장하고 관리하는 등의 작업을 수행하는 각종 지자체, 도로공사, 시설공단, 경찰청 등이 운영하고 있는 교통 관제실과 같은 관제 시스템(3)을 포함할 수 있다. 상기 영상 획득 장치는 차량 검출 센서와 같은 차량을 검출하기 위한 수단(예컨대, 전자기적 센서, 레이더 센서, 영상 센서 중 적어도 하나)과 연동하여 동작할 수 있다. 본 발명에 따른 장치, 시스템 등은 도 1에 도시된 구성들 중 어느 하나에 포함되어 존재할 수 있거나, 또는 별도의 장치, 시스템 등으로 존재할 수 있다.
도 2는 차량 영상에서 차량 정보를 획득한 결과를 도시한다.
도 2의 좌측은 LF 소나타(SONATA) 차량을, 우측은 YF 소나타 차량을 분석한 사례를 도시한다. 기존에는 이러한 차종 분류를 위해, 수많은 차량 영상에서 해당 차량과 동일한 종류의 차량을 육안으로 판독하여, 수천장의 데이터 셋(set)을 만들고 이를 학습시켜 분류가 가능하도록 구성했다.
이러한 기존의 방식은 차량 영상을 수집하고, 레이블(label)링, 데이터 셋을 구성하여 850종의 차량을 분류하는 알고리즘을 구성하는데 1년 이상이 소요되기 때문에, 신규 차량 출시 속도에 맞게 이를 신속하게 갱신하는 것은 현실상 불가능했다.
이와 같은 방법으로 기존에 우리나라에 등록된 2천종 이상의 차량 영상을 수집하고, 차량의 종류를 분류하는 것은 현실상 불가능하다. 특히, 등록된 차량 수가 적고, 전국에 산재한 차량 종류의 경우에는, 차량 영상의 학습에 필요한 양의 데이터 확보가 어렵고, 따라서 신뢰성있는 알고리즘을 구성하는 것은 어렵다.
또한, 최근에는 내연기관 자동차 에서 전기자동차, 수소자동차 등 신차의 출시가 계속되는 상황에서 차량의 보급이 많지는 않지만 종류는 늘어나는 상황이므로 차량 영상을 이용하여 차량의 종류를 분석하는 알고리즘의 개발은 더욱 난제가 되고 있다.
도 3은 본 발명과 관련된 자동차 등록증(등록정보)을 도시한다.
국가는 차량을 등록하고, 운행할 수 있도록 자동차 관리법 제5조에서 규정하고 있는데, 도 3은 자동차 등록증 사본이다.
이를 살펴보면 “자동차 등록증”에 포함된 정보는 28종의 항목과 등록일자를 포함하면 총 29종의 항목이 등록 된다. 그러나 국가에서 관리하는 차량의 등록정보는 차량 소유주에게 제공되는 “자동차 등록증”에 기재된 내용 보다 많은 차량에 관한 정보를 포함하고 있다.
차량 등록정보에 기재하고, 차량 소유자에게 배부되는 자동차 등록증에는 “차량에 관한 사항”은 자동차 등록번호(차량 번호), 차종, 차명, 형식 및 모델연도, 차대번호 등의 차량 정보와 “소유자에 관한 사항”은 성명, 주소, 주민 등록 번호 그리고 “차량 제원”등 에 관한 사항을 포함하여 등록한다.
한편, 도 3에 도시된 자동차 등록증에 포함된 자동차 등록 정보는 별도의 국가에서 운영하는 데이터 베이스에 저장되어 관리될 수 있다. 후술할 본 발명에 따른 차량 분류 장치는 국가 데이터베이스에 저장된 자동차 등록 정보를 제공받을 수 있다. 또한, 차량 제조사 데이터베이스는 자동차 등록 정보 중, 형식 및 모델연도 및 차대번호에 대응하는 다양한 차량 정보(차량 색상 및 엔진타입 등)를 저장하고 있으며, 후술할 본 발명에 따른 차량 분류 장치는 차량 제조사 데이터 베이스에 저장된 상기 정보를 제공받을 수 있다.
도 4는 본 발명과 관련된 장치(40), 시스템(100)의 블록도를 도시한다.
본 발명의 실시예에 따른 차량 분류 시스템(100)은 차량 분류 장치(40)와 운영부(50)를 포함할 수 있다.
본 발명의 실시예에 따른 차량 분류 장치(40)는 영상 획득부(41), 차량 정보 획득부(42), 등록 정보 획득부(43), 제어부(44), 학습 처리부(45) 를 포함할 수 있다.
영상 획득부(41)는 차량 번호판을 포함하는 차량 영상을 획득할 수 있다. 통상적으로 도로 주행 또는 주차장에서 사용하는 형태에 따라서 각도와 거리에 따라서 화각에 차이가 있으며, 차량의 번호판 영역을 포함한다. 차량의 번호판 영역에 기록된 번호, 문자 등을 자동차 등록증의 정보의 명칭에 따라, 본 명세서에서는 “자동차 등록번호” 또는 간략하게 “등록번호”라 지칭한다.
본 발명에서 획득 또는 수신하는 차량 영상은 차량의 번호판 영역 또는 탑승자 영역을 검출하고 개인정보 보호를 위해, 해당 영역의 영상을 치환하거나 블러링(blur)하는 등 개인정보 보호를 위한 마스킹을 선행하는 것이 바람직하다.
아울러, 차량 영상에서 차량의 식별은 기본적으로 차량의 번호판 영역의 검출, 인식을 통해 수행되지만, 반드시 그런 것은 아니다. 특정 자동차 등록번호를 획득한 차량 영상과 동일한 차량임이 입증된 차량 영상은 차량 번호판이 포함되어 있지 않더라도 본 발명의 차량 영상으로 사용될 수 있다. 예를 들어, 차량의 정면을 촬영하는 카메라와 측면을 촬영하는 카메라가 동시에 설치되어 있는 상황에서, 차량의 번호판을 포함한 정면 영상과 차량의 번호판을 포함하지 않은 측면 영상이라도, 차량의 동일성이 인정되면, 상기 측면 영상도 본 발명에 따른 차량 영상에 포함될 수 있다.
차량 정보 획득부(42)는 상기 획득된 차량 영상으로부터 차량 식별 정보를 획득할 수 있다. 차량 식별 정보는 자동차 등록번호뿐만 아니라, 앞서 언급한 것처럼 차량을 식별할 수 있는 정보를 포함할 수 있다.
차량 식별 정보는 차량 영상에 포함된 차량 번호판을 차량 번호 인식 알고리즘을 이용하여 추출한 텍스트 형태의 자동차 등록번호를 포함하며, 특히 자동차 등록번호 구성 체계에 맞도록 완전하게 구성되어야 한다.
우리나라 자동차 등록번호의 구성 체계를 간략히 살펴보면, 차량 번호판의 구성은 바탕색이 흰색인 번호판은, “112 가 1234” 형태로, 해당 자동차가 승용차, 승합차, 화물차, 특수차(각각 100~699, 70~79, 80~97, 98~97로 할당) 중 어떤 종류인지를 나타내는 2 내지 3자리 숫자로, 용도 기호 한글(한글자), 일련번호 4자리 숫자(0000 내지 9999)이어야 한다.
바탕색이 노랑색인 번호판은, “서울 70 바 1234” 형태이며, 맨 앞에 지역명(“서울”)을 반드시 포함하고, 용도 기호 한글은 “바”, “사”, “아”, “자”를 적어도 하나를 포함하도록 구성된다.
본 발명에서 자동차 등록번호 구성 체계에 맞도록 완전하게 구성된 자동차 등록번호는 차량 등록 정보에서 유일하게 존재하는 것이며, 차량을 특정할 수 있다.
차량 영상에서 차량 식별 정보, 특히 자동차 등록번호(차량 번호판에 기록된)를 인식하기 위해서는, 차량 번호판의 좌표를 이용할 수 있다. 이를 통해, 후술할 학습 처리부(45)에서 효율적인 학습을 위해 차량 정보 획득부(42)는 차량 번호판을 기준으로 차량의 다양한 영역을 검출, 인식 또는 추출하거나, 차량 영상 내에서 차량 영역만을 검출, 인식 또는 추출할 수 있다. 차량 영상은 차량, 도로, 차선, 탑승자 또는 다양한 배경 영상을 포함하고 있기 때문이다.
특히, 상술한 차량 영상이 차량의 정면을 촬영하는 경우에 탑승자 영역은 탑승자 또는 대쉬 보드에 부착한 물건 등에 따른 학습에 불필요한 객체가 포함되므로, 학습 효과를 높이기 위해서는 차량의 전면부에서 전면 유리부분을 제외하여 학습을 수행하는 것이 가능하다.
이를 위하여, 차량 정보 획득부(42)에서 차량 영상에 포함된 차량 번호판의 위치좌표를 이용하여, 번호판의 위치를 중심으로 차량의 영역을 추출할 수 있다.
또한, 상기 차량 식별 정보는 차량에 장착된 통신부의 식별자(identifier: ID) 또는 MAC(media access control) 주소 등을 포함할 수 있다.
등록 정보 획득부(43)는 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득할 수 있다. 상기 차량 등록 정보는 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함할 수 있다.
도 3의 자동차 등록증에 기재된 차량 등록 정보를 살펴보면, 자동차 등록번호 “49하 1XXX”은, 차종 “중형 승용”, 용도 “영업용”, 차명 “쏘나타(SONATA)”, 형식 및 모델연도 “LF4DBG-S6 2019” 등의 차량 등록정보가 포함되고, 이에 따라 차량 식별 정보를 이용하여 차량 등록 정보를 획득하는 것이 가능하다.
또한, 상기 형식 및 모델연도(“LF4DBG-S6 2019”)를 이용하면 차량 제조사에서 제공하는 유용한 정보(예컨대, 차량 색상 정보, 엔진 타입)를 획득하는 것이 가능하며, 이 항목에서 차량의 외형에 차이가 있는 정보를 획득하는 것이 가능하다. 즉, 차량 등록 정보에서 형식 및 모델연도 또는 차대번호 등과 같은 정보에 연계 또는 포함되는 차량의 추가 정보를 획득하는 것도 가능하다. 본 명세서에서는 추가 정보 역시 차량 등록 정보에 포함되는 것으로 가정한다.
한편 본 발명에서 관심이 되는 차량의 등록 정보는 차량의 외형의 특징이 서로 다른 차량을 분류할 수 있는 차량의 등록 정보가 그 대상이 된다. 따라서 상술한 다양한 차량 등록 정보에서 차량의 외형적 특징이 서로 다른 차량을 구분할 수 있는 적어도 하나의 항목(예컨대, 차명 등)을 이용하여 후술하게 될 분류키를 생성하는 것이 가능하다.
또한, 상기 차량 식별 정보가 차량에 장착된 통신부의 식별자(identifier: ID) 또는 MAC 주소 등을 포함하는 경우엔, 통신부의 ID 또는 MAC 주소를 이용하여 차량의 등록 정보를 획득하는 것이 가능하다.
한편, 차량 등록 정보에 포함된 여러가지 정보에서 개인정보보호법을 위반하는 정보는 본 발명과 관련하여 제외되어야 한다. 따라서, 차량의 소유자 정보는 차량의 등록 정보에서 제외될 수 있다.
제어부(44)는 상기 차량 영상 상 외관의 차이를 갖는 상기 차량 등록 정보의 적어도 일부를 이용하여 분류키를 생성하고, 상기 생성된 분류키에 따라 상기 차량 영상을 분류할 수 있다. 여기서, 분류키라 함은 차량 영상에서 인식 또는 검출될 수 있는 적어도 하나의 차량의 외형상 특징과 연관된 차량 분류 정보(예, 차종, 차명, 형식 및 모델 연도 등)를 의미한다. 이에 따라, 예를 들어 두 개의 차량의 외형상 또는 외관상 특징(각각 A와 B라고 지칭함)이 존재하거나 이 둘을 분류키를 생성하는데 사용한다고 하면, A와 B의 조합에 대응하는 분류키 KAB이 생성될 수 있다. 동일한 외형상 또는 외관상 특징 (A, B)을 갖는 차량들에 대한 차량 영상은 모두 동일한 분류키 KAB이 할당되고 이에 따라 분류될 수 있다.
예를 들어, 신규 출시된 차량의 동일한 차명 “KS_SONATA”이고, “형식 및 모델연도”는 2가지 “ABCD-1 2019” 와 “ABCD-2 2019” 가 존재 한다고 가정하면, 본 발명에서는 2가지 차량의 “형식 및 모델연도“가 외형상 차이가 있으면 분류키를 다르게, 또는 외형이 동일하면 동일한 분류키로 설정하게 되며 이는 세분하여 알고리즘을 구성하고 이를 분류하는 단계에서 합리적으로 구성하는 것이 가능하다.
또한, 차량의 색상 정보는 본 발명에 따른 영상 분석 및 학습의 결과물을 이용할 용도(예컨대, 요금징수, 경찰/검찰 수사 등)에 따라 선택적으로 분류키의 적용여부를 판단할 수 있도록 세분하는 것이 가능하다.
따라서, 이와 같은 분류키의 선택은 신규 출시하는 차량의 “형식 및 모델 연도”는 분류키를 생성하도록 구성하고, 기존에 출시되어 “형식 및 모델 연도”는 동일하더라도, 외형적 차이가 있는 차량의 정보는 “차대번호” 등을 이용하여 분류키를 생성, 설정하는 것이 가능하도록 구성할 수 있다.
상술한 여러 개의 차량의 등록 정보 요소 중에서 “차종”, “차명”, “형식 및 모델연도”를 분류 키(예: “승용_SONATA_ABCD-1_2019“)에 적용하는 것이 가능하며, 동일한 “차종”, “차명”, “형식 및 모델연도”를 갖는 차량의 차량 영상을 분류하고 후술하게 될 학습 처리부(45)에 제공하는 기능을 수행하게 된다.
이와 같은 분류키의 구성은 자동차 등록 정보에 포함되어 있는 항목을 선택적으로 추출하여 생성 또는 설정하는 것이 바람직하며, 예를 들면, “제조사”, “차명”, “형식 및 모델 연도”를 기본적으로 포함하는 것이 가능하다. “제조사”의 경우, 자동차 등록 정보 중 “차명” 또는 기타 다른 정보로부터 획득될 수 있는 정보일 수 있다.
본 발명에 따른 차량 분류 알고리즘은 이를 활용하는 용도에 따라 구분하면, 요금징수, 수사, 교통정보 수집 등 다양하게 사용될 수 있으며, 각각의 용도에 맞는 알고리즘을 개발하는 것보다는 세분화된 분류 알고리즘을 구성하고, 이를 용도에 따라서 분류키를 통합, 분리하는 운영이 바람직하다. 즉, 앞서 설명한 것처럼, 분류키가 외형상 또는 외관상 특징 또는 이들의 결합, 조합을 지시할 수 있도록 구성하게 하는 것처럼, 용도에 따라 분류키를 세분화 또는 통합하여 사용할 수 있을 것이다.
한편, 제어부(44)에서 분류키를 생성하고, 이를 이용하여 차량 영상을 분류하여 저장 또는 기존 차량 영상을 호출할 수 있는 인덱싱을 추가적으로 고려할 수 있다. 즉, 획득된 차량 영상은 생성된 분류키로 인덱싱하여 저장할 수 있고, 추후에 호출하는 경우에 해당 분류키를 이용할 수 있다.
아울러, 기존에 등록되어 주행하는 차량에 대한 프로세스와 신차에 대한 프로세스는 전체적인 구성은 동일하지만 세부적으로는 다르게 구성할 수 있다.
학습 처리부(45)는 상기 생성된 분류키를 이용하여 상기 차량 영상을 학습할 수 있다. 또한, 학습 처리부(45)는 상기 차량 영상과 상기 생성된 분류키를 학습할 수 있다. 학습 처리부(45)는 차량 영상에 포함된 차량의 특징 정보를 추출할 수 있고, 좀더 상세하게는 제어부(44)에서 분류키(예컨대, “승용_SONATA_ASCD-A_2019“)에 의해 분류되어 있는 차량 영상의 특징을 추출할 수 있다. 즉, 학습 처리부(45)는 동일한 분류키에 해당하는 차량 영상을 분석하여 학습 정보를 추출할 수 있다.
예를 들면, 현대 "소나타"와 기아의 "K5"의 전면의 형태는 사람의 육안으로도 많은 차이가 있는데, 차량의 전면의 번호판 영역을 중심으로 범퍼, 그릴, 라이트, 엠블럼, 전면 전체 윤곽 등의 특징 정보를 추출하는 것이 가능하다. 차량의 전면 영상에서 차량을 분류할 수 있도록 하는 특징은 그릴, 라이트, 엠블럼이 가장 큰 차이가 있는데, 이들 각 요소의 특징을 추출하고 이를 조합하며 차량을 분류하는 알고리즘의 구성이 가능하다.
한편, 최근에 딥 러닝 (Deep learning)을 이용한 인식(Recognition)과 분류(Classification)를 하는 알고리즘은 차량 영상에서 차량 외형상 차이가 명백한 부분(예컨대, 라이트, 그릴)을 사람이 인위적으로 영역을 지정을 하지 않더라도 차이를 분석하는 것이 가능하다.
그러나, 알고리즘의 효율을 위하여 상세한 부분의 설정은 필요할 수 있으며, 이를 한정하지는 않는다.
학습 처리부(45)는 차량 정보 획득부(42)에서 차량 영상에 포함된 차량 번호판의 위치좌표를 이용하여, 번호판의 위치를 중심으로 차량의 영역을 추출하여 학습하거나, 또는 보다 상세하게 차량의 특정영역(예컨대, 그릴, 라이트, 엠블럼)만을 상세하게 특징정보 추출 및 학습하는 것이 가능하다.
그리고 상술한 바와 같이 상기 차량번호를 포함한 차량과 동일한 차량인 것이 입증된 차량의 번호판이 포함되지 않은 영상(차량의 후방, 측면, 차량 지붕을 촬영한 영상)도 동시에 학습을 수행하는 것이 가능하다. 또한, 후술할 것처럼, 고속도로 요금체계에 따른 차종 분류를 위해서는 차량의 축의 수(축수)를 검출할 수 있어야 하는데, 학습 처리부(45)는 측면 또는 후방 등에서 차량 축의 수를 검출하는 영상을 이용하여 특징 정보를 추출하여 차량의 축수, 윤거, 윤폭 등을 추출할 수 있다.
운영부(50)는 용도에 따라 상기 분류키를 통합 또는 분리하는 재조정을 통해 차종을 분류하는 데이터 베이스부를 포함할 수 있다. 운영부(50)는 차량 분류 장치(40)와 유선 또는 무선 네트워크를 통해 통신 가능하게 연결될 수 있다.
상기 데이터 베이스부는 예를 들어 고속도로 통행요금체계에 맞게 수천 개의 분류키와 차량의 외형상 특징 정보를 이용하여 차종을 6종으로 통합, 구분할 수 있고, 용도에 따라 차량을 승용, 승합(중, 대), 화물(소, 중. 대) 등으로의 분류도 가능하다.
한편, 통행요금체계에 따른 과금을 위하여, “차종분류장치”를 이용하며, 이는 차량의 축수, 윤폭, 윤거 정보를 이용하여 차량은 6종으로 분류한다. 아래의 표 1이 차종 구분 표이다.
차종 차종분류기준 적용차량(예시)
1종
(소형차)		 2축 차량, 윤폭 279.4mm 이하 승용차, 소형승합차, 소형화물차
2종
(중형차)		 2축 차량, 윤폭 279.4mm초과, 윤거 1,800mm 이하 중형승합차, 중형화물차
3종
(대형차)		 2축 차량, 윤폭 279.4mm초과, 윤거 1,800mm 초과 대형승합차, 2축 대형화물차
4종(대형화물차) 3축 대형화물차 　
5종(특수화물차) 4축 이상 특수화물차 　
1종(경형자동차) 배기량 1000cc 미만으로 길이3.6m, 너비1.6m, 높이2.0m 이하 　
일반적으로는, 차량 정보를 생성하기 위하여 노면에 답판 센서를 설치하고, 주행하는 차량의 바퀴와 접촉을 통하여 차량의 정보를 수집하는데, 접촉 방식이므로 파손이 발생하며 유지보수를 위한 비용이 사간에 경과에 따라 증가되는 현실이다.
이와 같은 물리적인 접촉방식의 센서를 대체하기 위하여 차량영상을 이용한 “차종” 분류를 시도하는데, 차량 축의 수를 검출하기 위하여는 측면에서 차량 축의 수를 검출하는 영상을 추가적으로 획득하거나 또는 차량을 대각선으로 촬영하여 하나의 차량 영상으로 획득하고 분석할 수 있다.
한편, 이 경우에도, 차량 영상 분석을 통해 자동차 등록번호를 획득하고, 해당 자동차 등록번호에 대응하는 자동차 등록 정보(자동차 등록증에 포함된 내용)을 획득할 수 있다면, 차량 번호판을 포함한 차량 영상 외에 별도의 측면, 후방 영상 등 부가적인 차량 영상은 필요 없을 수도 있다.
또한, 운영부(50)는 자동차 등록 정보를 이용하여 이상 차량을 검출할 수 있다. 이 때, 운영부(50)는 상기 차량 식별 정보에 대응하여 획득한 차량 등록 정보와 상기 차량 영상에서 직접 획득한 차량의 정보가 상이한지 여부를 판단할 수 있다.
또한, 운영부(50)는 기 저장된 차량 영상과 분류키 중에서, 중복하는 자동차 등록번호가 있는지 여부를 판단할 수 있고, 이는 동일한 차량 번호판을 부착하고 운행하고 있는 차량, 즉 차량 번호판 위조 차량을 검출하기 위함이다.
이를 위해서는 대상 차량의 등록 및 말소에 관한 사항 및 소유자 변동사항 정보를 획득하고 분석하는 차량 등록 관리부가 운영부(50)에 추가로 포함될 수 있다.
이상을 통하여 기존의 차량 영상을 이용하여 차량을 분류하고 분석하는 장치, 시스템 및 방법을 개발하기 위해서는 동일한 종류의 차량 별로 수 많은 차량영상을 수집하고, 레이블링을 하여 데이터 셋을 만들고, 이를 학습하는 과정을 차량 등록정보를 이용하여 자동 레이블링 및 데이터 셋 구성, 이를 학습하도록 구성하는 것이 가능하다.
이를 통하여 신규로 출시되는 차량의 대응하여 차량 분류 및 분석 알고리즘의 개발이 가능하고, 현재 등록된 차량의 종류를 분석하는 알고리즘의 개발이 가능할 것이다.
도 5는 본 발명과 관련된 차량 영상으로부터 분류키를 설정하는 절차를 도시한다. 도 5는 본 발명의 따른 차량 분류 장치(40) 에 의해 수행될 수 있다.
차량 영상으로부터 차량 식별 정보가 추출될 수 있다(S510). 상기 차량 식별 정보는 자동차 등록번호뿐만 아니라, 앞서 언급한 것처럼 차량을 식별할 수 있는 정보를 포함할 수 있다. 또한, 상기 차량 식별 정보는 차량에 장착된 통신부의 식별자(identifier: ID) 또는 MAC 주소 등을 포함할 수 있다.
획득된 차량 식별 정보를 이용하여 차량 등록 정보가 획득될 수 있다(S520). 상기 차량 등록 정보는 자동차 등록에 필요한 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 상기 차량 등록 정보는 상술한 다양한 차량 등록 정보에서 추가적으로 획득된 차량의 외형적 또는 외관적 특징이 포함될 수 있다.
상기 차량 등록 정보에서 분류키가 결정될 수 있다(S530).
결정된 분류키와 동일한 분류키가 존재하는지 여부가 판단될 수 있다(S540). 상기 결정된 분류키와 동일한 분류키가 이미 존재한다면, 해당 차량 영상을 해당 분류키 또는 해당 분류키에 대한 정보와 함께 저장할 수 있다(S550). 이 때, 저장되는 차량 영상은 해당 분류키로 인덱싱되며, 추후에 차량 영상 호출시에 인덱싱을 통해 호출이 가능하다.
상기 차량 등록 정보에 대응하는 분류키가 없다면, 상기 결정된 분류키가 생성될 수 있다(S545). 그리고나서, 해당 영상이 생성된 분류키와 함께 저장될 수 있다(S550).
도 5와 관련하여 설명한 절차에 있어서, 단계 별로 획득되거나 준비되는 데이터를 표현하면 다음과 같다.
S510의 결과로는, 다음의 표 2와 같이 차량 영상과 자동차 등록 번호를 매칭시킬 수 있다.
차량 영상 차량 식별 정보(자동차 등록 번호)
Figure 112020095270043-pat00001
 49하 1XXX
S520을 통해, 획득되는 차량 등록 정보는 다음의 표 3과 같을 수 있다.
차량 식별 정보
(자동차 등록 번호)		 차량 등록 정보
49하 1XXX 차종 제조사 차명 형식 및 모델연도 제원
승용차 현대 쏘나타(LF SOANTA) LF4DBG-S6
2019년식		 ...
S530 내지 S535에서 언급되는 분류키의 예는 다음의 표 4와 같다.
분류키 차량 영상
차종 차명 형식 및
모델 연도		 용도
Figure 112020095270043-pat00002
중형 승용 쏘나타(SOANTA) LF4DBG-S6
2019년식		 영업용
아래와 같이 분류키와 차량 영상이 저장되며, 학습 처리부(45)의 학습 대상이 되는 데이터 셋이다. 표 5에서 차량 영상은 원본 차량 영상에서 배경 영역을 제외한 영상이다.
분류키 차량 영상
차종 차명 형식 및
모델 연도		 용도
Figure 112020095270043-pat00003
중형 승용 쏘나타(SOANTA) LF4DBG-S6
2019년식		 영업용
도 6은 본 발명과 관련된 차량 번호판 위변조 차량 검출을 위한 순서도를 도시한다.
도 6은 본 발명의 따른 차량 분류 장치(40) 또는 운영부(50)에 의해 수행될 수 있다.
차량 영상으로부터 차량 식별 정보가 추출될 수 있다(S610). 상기 차량 식별 정보는 자동차 등록번호뿐만 아니라, 앞서 언급한 것처럼 차량을 식별할 수 있는 정보를 포함할 수 있다. 또한, 상기 차량 식별 정보는 차량에 장착된 통신부의 식별자(identifier: ID) 또는 MAC 주소 등을 포함할 수 있다. 한편, 상기 차량 영상은 영상 획득부(41) 또는 교통 관제 시스템의 영상 획득 장치(1)로부터 획득될 수 있다.
획득된 차량 식별 정보를 이용하여 차량 등록 정보가 획득될 수 있다(S620). 상기 차량 등록 정보는 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 상기 차량 등록 정보는 상술한 다양한 차량 등록 정보에서 추가적으로 획득된 차량의 외형적 또는 외관적 특징이 포함될 수 있다.
그리고나서, 상기 차량 등록 정보와 차량 영상으로부터 직접 획득된 차량의 정보가 일치하는지 또는 상이한지 여부가 판단될 수 있다(S630). 이를 위해, 상기 차량 영상에 대한 객체 인식 및 분석 등의 절차가 수행되며, 이에는 학습 처리부(45)에 의해 학습된 데이터가 이용될 수 있다.
상기 차량 등록 정보와 상기 차량 영상으로부터 직접 획득된 차량의 정보가 일치하면, 차량 번호판 위변조 검출 절차는 종료된다.
상기 차량 등록 정보와 상기 차량 영상으로부터 직접 획득된 차량의 정보가 일치하지 않으면, 예를 들어, 차량 등록 정보에는 차량번호 49하 1XXX가 쏘나타로 등록되어 있는데, 직접 획득된 차량의 정보에서는 동일한 차량번호가 그랜저인 경우, 차량 번호판 위변조인 것으로 판단되며(S640), 해당 정보를 경찰, 지방자치단체 등으로 전달하며, 이는 불법 차량 단속 등에 활용될 수 있다. 이 때, 해당 정보의 경찰, 지방자치단체 등으로의 전달은 운영부(50)에 의해 수행될 수 있다.
도 7은 본 발명과 관련된 관련된 분류키를 활용한 차량에 대한 레이블 정보 획득 및 학습 절차의 순서도를 도시한다. 상기 레이블 정보 획득 및 학습 절차는 영상 분석을 통한 차량 분류 장치(40)에 의해 수행될 수 있으며, 도 7을 참조하여 설명하지만, 도 7을 참조하여 설명하지 않은 앞서 설명한 내용도 장치(40)가 수행할 수 있다.
상기 장치는 차량 번호판을 포함하는 차량 영상을 획득할 수 있다(S710). 상기 차량 영상은 영상 획득부에 의해 촬영될 수 있다.
상기 장치는 상기 획득된 차량 영상으로부터 차량 식별 정보를 추출할 수 있다(S720). 상기 차량 식별 정보는 차량 번호(자동차 등록증 상의 자동차 등록번호)를 포함할 수 있고, 그 밖에 차량의 외형적 특징이 있는 정보(“기타 정보”라 지칭함)를 포함할 수 있다. 또한, 상기 차량 식별 정보는 상기 차량에 설치된 통신부의 식별자 또는 MAC 주소를 포함할 수 있는데, 이 때엔 상기 차량의 외형적 특징 정보와 상기 식별자 또는 MAC 주소가 연동될 수 있는 것이 바람직하다.
상기 장치는 상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득할 수 있다(S730). 상기 차량 등록 정보는 자동차 등록에 필요한 자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함 수 있다. 즉, 상기 차량 등록 정보는 자동차 등록증에 적시된 차량과 관련된 정보를 포함한다.
상기 장치는 자동차 등록증에 포함된 차종, 차명, 형식 및 모델 연도, 차대번호 중 적어도 하나를 기초로 상기 차량 영상 내 차량의 외관 정보를 추가적으로 획득할 수 있다.
상기 장치는 상기 차량 영상 내 외형적 특징을 나타내는 상기 차량 등록 정보의 적어도 일부를 이용하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류할 수 있다(S740). 상기 장치는 소정의 분류키 또는 자동차 등록번호를 인덱스로 하여 상기 차량 영상을 저장하는 저장부를 포함할 수 있다.
그리고나서, 상기 장치는 상기 분류키를 이용하여 상기 차량 영상을 학습할 수 있다(S750). 상기 장치는 동일한 분류키에 해당하는 차량 영상을 분석하여 학습 정보를 추출할 수 있다. 여기서, 학습은 상기 차량 영상과 상기 분류키를 입력받아 상기 차량 영상 내 특징을 추출하고, 추출된 특징을 상기 분류키 또는 상기 분류키가 지시하는 정보와 매칭하는 것을 의미한다. 이릍 통해, 추후 차량 영상 내 차량 번호판의 자동차 등록번호를 이용하지 않아도, 차량의 외형적 특징을 통해 차량 영상 내 차량 검출 및 인식 등의 수행이 가능하며, 차량 검출 및 인식 등의 신뢰도 또는 정확도 등을 높이기 위해 학습이 수행된다. 상기 학습을 위한 차량 영상은 상기 차량 영상에서 상기 차량 번호판의 좌표를 이용하여 추출된 차량 영역을 포함할 수 있다.
상기 장치는 용도에 따라 상기 분류키를 통합 또는 분리하는 재조정을 통해 차종을 분류하는 데이터 베이스부를 포함하는 운영부와 상호 연동될 수 있다. 상기 분류키의 통합, 분리는 앞선 설명을 참조하도록 한다.
또한, 상기 운영부는 차량 번호판 위변조 등의 단속을 위해, 상기 차량 식별 정보에 대응하여 획득한 차량 등록 정보와 상기 차량 영상에서 직접 획득한 차량의 정보가 상이한지 여부를 판단할 수 있고, 상기 직접 획득한 차량의 정보는 상기 학습 처리부에 의해 학습된 데이터를 이용하여 획득될 수 있다.
또한, 상기 운영부는 기 저장된 차량 영상과 분류키 집합들에서, 중복하는 자동차 등록번호가 있는지 여부를 판단할 수 있다. 상기 장치는 상기 차량 영상 및 분류키를 저장하는 저장부를 포함할 수 있으며, 상기 운영부는 저장된 차량 영상 및 분류키를 상기 장치로부터 획득할 수 있거나, 획득한 후에 상기 데이터 베이스부에 저장할 수 있다.
이상의 명세서에서, "장치" 또는 “시스템”과 그에 속한 구성들(영상 획득부(41), 차량 정보 획득부(42), 등록 정보 획득부(43), 제어부(44), 학습 처리부(45) 및/또는 운영부(50) 등)이 해당 방법 또는 절차 등을 수행하는 것으로 설명하였으나, "장치"와 그에 속한 구성들은 명칭일 뿐 권리범위가 그에 종속되는 것은 아니다. 즉, 장치 외에도 시스템 등으로서도 해당 방법 또는 절차가 수행될 수 있으며, 그뿐만 아니라 차량 영상 분석을 위한 소프트웨어 또는 컴퓨터 또는 그 밖의 기계, 장치 등으로 판독가능한 코드에 의해 상기 방법 또는 방식이 수행될 수 있다.
아울러, 본 발명의 또다른 양태(aspect)로서, 앞서 설명한 제안 또는 발명의 동작이 "컴퓨터"(시스템 온 칩(system on chip; SoC) 또는 (마이크로) 프로세서 등을 포함하는 포괄적인 개념)에 의해 구현, 실시 또는 실행될 수 있는 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품(product) 등으로도 제공될 수 있고, 본 발명의 권리범위가 상기 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품으로 확장가능하다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

Claims (11)

  1. 영상 분석을 통한 차량 분류 장치로서,
    차량의 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득부;
    상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하기 위한 차량 정보 획득부;
    상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 등록 정보 획득부;
    상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 제어부; 및
    상기 분류키를 이용하여 상기 차량 영상을 학습하는 학습 처리부를 포함하는 것을 특징으로 하는 차량 분류 장치.
  2. 제1항에 있어서, 상기 차량 등록 정보는:
    자동차 등록번호, 차종, 차명, 형식 및 모델연도, 차대번호, 제원 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 분류 장치.
  3. 제1항에 있어서, 상기 차량 식별 정보는:
    상기 차량에 설치된 통신부의 식별자 또는 MAC(media access control) 주소를 포함하는 것을 특징으로 하는 차량 분류 장치.
  4. 제1항에 있어서, 상기 등록 정보 획득부는 상기 차량 등록 정보에 포함된 차종, 차명, 형식 및 모델 연도, 차대번호 중 적어도 하나를 기초로 차량의 외관 정보를 추가적으로 획득하는 것을 특징으로 하는 차량 분류 장치.
  5. 제1항에 있어서, 상기 제어부는:
    소정의 분류키 또는 자동차 등록번호를 인덱스로 하여 상기 차량 영상을 저장하는 저장부를 포함하는 것을 특징으로 하는 차량 분류 장치.
  6. 제1항에 있어서, 상기 학습 처리부는:
    동일한 분류키에 해당하는 차량 영상을 분석하여 학습 정보를 추출하는 것을 특징으로 하는 차량 분류 장치.
  7. 제1항에 있어서, 상기 학습 처리부에 입력되는 차량 영상은
    상기 차량 영상에서 상기 차량 번호판의 좌표를 이용하여 추출된 차량 영역을 포함하는 것을 특징으로 하는 차량 분류 장치.
  8. 영상 분석을 통한 차량 분류 시스템으로서,
    상기 시스템은 차량 분류 장치 및 운영부를 포함하고,
    상기 차량 분류 장치는:
    차량의 번호판을 포함하는 차량 영상을 획득하기 위한 영상 획득부;
    상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하기 위한 차량 정보 획득부;
    상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 등록 정보 획득부;
    상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 제어부; 및
    상기 분류키를 이용하여 상기 차량 영상을 학습하는 학습 처리부를 포함하고,
    상기 운영부는 용도에 따라 상기 분류키를 통합 또는 분리하는 재조정을 통해 재조정된 분류키를 이용하여 상기 차량의 차종을 분류하는 것을 특징으로 하는 차량 분류 시스템.
  9. 제8항에 있어서, 상기 운영부는:
    상기 차량 식별 정보에 대응하여 획득한 차량 등록 정보와 차량 영상에서 직접 획득한 차량의 정보가 상이한지 여부를 판단하고,
    상기 직접 획득한 차량의 정보는 상기 학습 처리부에 의해 학습된 데이터를 이용하여 획득되는 것을 특징으로 하는 차량 분류 시스템.
  10. 제8항에 있어서, 상기 운영부는:
    기 저장된 차량 영상과 분류키 중에서, 중복하는 자동차 등록번호가 있는지 여부를 판단하는 것을 특징으로 하는 차량 분류 시스템.
  11. 영상 분석을 통한 차량 분류를 위한 방법으로서,
    차량의 번호판을 포함하는 차량 영상을 획득하는 단계;
    상기 획득된 차량 영상으로부터 차량 식별 정보를 추출하는 단계;
    상기 차량 식별 정보에 대응하는 차량 등록 정보를 획득하는 단계;
    상기 차량의 외형적 특징을 나타내는 상기 차량 등록 정보의 적어도 일부를 선택적으로 추출하여 분류키를 할당하고, 상기 분류키에 따라 상기 차량 영상을 분류하는 단계; 및
    상기 분류키를 이용하여 상기 차량 영상을 학습하는 단계를 포함하는 것을 특징으로 하는 방법.
KR1020200114933A 2020-09-08 2020-09-08 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법 KR102240266B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200114933A KR102240266B1 (ko) 2020-09-08 2020-09-08 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법
US18/040,987 US20230306716A1 (en) 2020-09-08 2021-04-12 Vehicle classification device and system using image analysis, and method therefor
CN202180055207.7A CN116075837A (zh) 2020-09-08 2021-04-12 使用图像分析的车辆分类装置和系统及其方法
PCT/KR2021/004546 WO2022055063A1 (ko) 2020-09-08 2021-04-12 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200114933A KR102240266B1 (ko) 2020-09-08 2020-09-08 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법

Publications (1)

Publication Number Publication Date
KR102240266B1 true KR102240266B1 (ko) 2021-04-14

Family

ID=75477779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200114933A KR102240266B1 (ko) 2020-09-08 2020-09-08 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법

Country Status (4)

Country Link
US (1) US20230306716A1 (ko)
KR (1) KR102240266B1 (ko)
CN (1) CN116075837A (ko)
WO (1) WO2022055063A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220142868A (ko) * 2021-04-15 2022-10-24 주식회사 대영아이오티 차량특성정보를 활용한 위조 차량번호판 식별시스템
KR102540323B1 (ko) 2022-11-16 2023-06-07 주식회사 인텔리빅스 영상분석 기반의 차종정보 자동추출장치 및 그 장치의 구동방법
KR20230138391A (ko) * 2022-03-23 2023-10-05 (주)제이엔디 차량 번호판의 위변조 검증 기능을 가지는 보안 강화형 차량 출입관리 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB202013430D0 (en) 2020-08-27 2020-10-14 Q Free Asa Vehicle detection system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093237B1 (ko) * 2017-10-31 2020-03-25 (주)노바코스 비접촉식 자동 차량 감지기를 이용한 차종 분류시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869399B1 (ko) * 2015-04-22 2018-06-20 한국전자통신연구원 차량 번호판 검출 장치 및 방법
KR101694837B1 (ko) * 2015-05-29 2017-01-11 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
KR101894710B1 (ko) * 2016-12-07 2018-09-05 대보정보통신(주) 차종분류장치 및 그 제어방법
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093237B1 (ko) * 2017-10-31 2020-03-25 (주)노바코스 비접촉식 자동 차량 감지기를 이용한 차종 분류시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220142868A (ko) * 2021-04-15 2022-10-24 주식회사 대영아이오티 차량특성정보를 활용한 위조 차량번호판 식별시스템
KR102638715B1 (ko) * 2021-04-15 2024-02-21 주식회사 대영아이오티 차량특성정보를 활용한 위조 차량번호판 식별시스템
KR20230138391A (ko) * 2022-03-23 2023-10-05 (주)제이엔디 차량 번호판의 위변조 검증 기능을 가지는 보안 강화형 차량 출입관리 시스템
KR102662260B1 (ko) * 2022-03-23 2024-04-30 주식회사 제이엔디 차량 번호판의 위변조 검증 기능을 가지는 보안 강화형 차량 출입관리 시스템
KR102540323B1 (ko) 2022-11-16 2023-06-07 주식회사 인텔리빅스 영상분석 기반의 차종정보 자동추출장치 및 그 장치의 구동방법

Also Published As

Publication number Publication date
US20230306716A1 (en) 2023-09-28
CN116075837A (zh) 2023-05-05
WO2022055063A1 (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
KR102240266B1 (ko) 영상 분석을 통한 차량 분류 장치, 시스템 및 이를 위한 방법
CN100409271C (zh) 在观察车辆上自动识别其他车辆牌照号的系统及其方法
Xie et al. A robust license plate detection and character recognition algorithm based on a combined feature extraction model and BPNN
CN110837807A (zh) 一种套牌车辆的识别方法及系统
CN1199137C (zh) 门设备、车载单元、以及车载单元的配置方法
CN103824037B (zh) 车用防跟踪报警装置
KR101756849B1 (ko) 노상 무인정산 주차관제 시스템
CN103778787B (zh) 汽车假套牌识别逻辑判断方法
MX2010005149A (es) Sistemas de seguridad.
CN106127107A (zh) 基于车牌信息和车辆轮廓的多路视频信息融合的车型识别方法
Yousef et al. SIFT based automatic number plate recognition
CN106886987A (zh) 一种列车车牌二值化图像融合方法
CN106710225B (zh) 一种车辆号牌违法的识别方法和监测平台
CN106875697A (zh) 射频识别与视频识别比对方法及系统
JPH05507371A (ja) 自動車照合システム
CN110232827B (zh) 自由流收费车型识别方法、装置及系统
Johnson et al. Number-plate matching for automatic vehicle identification
GB2589766A (en) Vehicle number identification device, vehicle number identification method, and program
Mohandes et al. An intelligent system for vehicle access control using RFID and ALPR technologies
CN113111851A (zh) 车辆全景查验装置、系统及方法
CN109325755A (zh) 基于汽车轮毂的电子计费系统
CN112182294A (zh) 一种视频结构化人车检测算法
Al Nasim et al. An automated approach for the recognition of bengali license plates
CN215182044U (zh) 车辆全景查验装置及系统
CN104408431A (zh) 交通监控下的车款识别方法