KR20190115501A - 차량 인식 시스템 - Google Patents

차량 인식 시스템

Info

Publication number
KR20190115501A
KR20190115501A KR1020180029955A KR20180029955A KR20190115501A KR 20190115501 A KR20190115501 A KR 20190115501A KR 1020180029955 A KR1020180029955 A KR 1020180029955A KR 20180029955 A KR20180029955 A KR 20180029955A KR 20190115501 A KR20190115501 A KR 20190115501A
Authority
KR
South Korea
Prior art keywords
vehicle
image
vector
vehicle recognition
unit
Prior art date
Application number
KR1020180029955A
Other languages
English (en)
Other versions
KR102082254B1 (ko
Inventor
이윤관
전문구
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020180029955A priority Critical patent/KR102082254B1/ko
Publication of KR20190115501A publication Critical patent/KR20190115501A/ko
Application granted granted Critical
Publication of KR102082254B1 publication Critical patent/KR102082254B1/ko

Links

Classifications

    • G06K9/00785—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

차량 인식 시스템이 개시된다. 본 발명의 일 실시 예에 따른 차량 인식 시스템은 교통 감시 영상을 입력받는 이미지 입력부, 상기 이미지 입력부에서 입력받은 이미지로부터 차량을 인식하는 제어부 및 상기 제어부에서 인식한 결과를 출력하는 출력부를 포함하며, 상기 제어부는 입력받은 이미지로부터 특징을 추출하는 특징 추출부, 추출한 특징에 기초하여 경계 박스를 생성하고 이를 보정하는 경계 박스 생성 및 보정부, 경계 박스의 세 면을 하나의 면으로 투영한 이미지를 생성하는 투영면 생성부, 및 상기 투영면 생성부에서 생성된 이미지를 입력으로하여 차량 인식 모델을 통해 차량을 인식하는 모델링부를 포함한다.

Description

차량 인식 시스템{a vehicle recognizing system}
본 발명은 차량 인식 시스템에 관한 것이다. 구체적으로, 검출되는 차량에 대한 경계 박스를 생성하고 이를 딥러닝 기반의 추정 모델에 입력 값으로 사용하여 차량을 인식하는 차량 인식 시스템에 관한 것이다.
최근, 교통안전 및 모니터링을 목적으로 많은 대도시에서 교통 카메라가 급증하고 있다. 따라서, 수많은 카메라의 자동 감시를 위한 컴퓨터 비전 작업을 기반으로 하는 지능형 교통 감시 시스템의 개발이 이루어졌다. 최근 감시 카메라 시장에 채택된 방법들 중 번호판 인식, 차량 감지 및 교통량 측정의 경우, 사람의 감독 없이 스스로 동작하는 자동화된 시스템이 구축되어 있다.
또한, 차량 하위 카테고리 인식 방법은 지능형 교통 감시 시스템에 내장되어야 한다. 과속 또는 도주 차량을 추적할 때 차량 번호판을 모르는 경우 차량 모델을 사용하여 용의자의 차량을 추적하는 것이 가능하다. 차량 제조업체는 특정 모델의 통과 빈도를 확인할 수 도 잇다. 따라서, 다양한 분야에서 차량 모델의 구체적인 인식에 대한 필요성이 제기되고 있다. 그러나, 지금까지 차량 모델을 인식하는 방법은 주로 차량의 크기(소형, 중형, 대형) 또는 차량의 전면에만 집중되었다.
Zeiler, M. D., & Fergus, R. (2014, September). Visualizing and understanding convolutional networks. In European conference on computer vision (pp. 818-833). Springer International Publishing. A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In F. Pereira, C. Burges, L. Bottou, and K. Weinberger, editors, Advances in Neural Information Processing Systems 25, pages 1097??1105. Curran Associates, Inc., 2012. Dubskㅱ, Markㅹta, Adam Herout, and Jakub Sochor. "Automatic Camera Calibration for Traffic Understanding." BMVC. 2014.
본 발명의 일 실시 예에 따른 차량 인식 시스템은 특징 정보에 기초하여 생성되는 경계 박스를 이용하여 차량을 인식하기 위한 것이다.
구체적으로 기존의 차량 인식 시스템에서 인식하지 못하는 하위 카테고리(예를 들어 차량 모델, 연식, 제조사) 정보까지 인식하기 위한 것이다.
본 발명의 일 실시 예에 따른 차량 인식 시스템은 교통 감시 영상을 입력받는 이미지 입력부, 상기 이미지 입력부에서 입력받은 이미지로부터 차량을 인식하는 제어부 및 상기 제어부에서 인식한 결과를 출력하는 출력부를 포함하며, 상기 제어부는 입력받은 이미지로부터 특징을 추출하는 특징 추출부, 추출한 특징에 기초하여 경계 박스를 생성하고 이를 보정하는 경계 박스 생성 및 보정부, 경계 박스의 세 면을 하나의 면으로 투영한 이미지를 생성하는 투영면 생성부, 및 상기 투영면 생성부에서 생성된 이미지를 입력으로하여 차량 인식 모델을 통해 차량을 인식하는 모델링부를 포함한다.
본 발명의 일 실시 예에 다른 차량 인식 시스템은 차량의 하위 계층 정보까지 인식할 수 있다.
또한, 본 발명의 일 실시 예에 따른 차량 인식 시스템은 하위 계층 정보를 인식하기 위해 추가적인 측정 장비를 사용하는 것이 아니고 기존의 영상을 그대로 사용하여 경제성이 있다.
도 1은 평균 특징 맵을 생성하는 단계를 나타낸다.
도 2는 직사각형 커튼이 있는 세가지 테스트 예를 보여준다. 커튼이 각 샘플에 사용될 때 반응 맵의 평균을 나타내는 히트 맵 추출을 보여준다.
도 3은 차량의 중요 부분을 추출한 것을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 차량 인식 알고리즘을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 차량 인식 시스템의 블록도이다.
도 6은 경계 박스 및 투영된 이미지의 일 예를 나타낸다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나 본 발명의 사상은 이하의 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
첨부 도면은 발명의 사상을 이해하기 쉽게 표현하기 위하여 전체적인 구조를 설명함에 있어서는 미소한 부분은 구체적으로 표현하지 않을 수도 있고, 미소한 부분을 설명함에 있어서는 전체적인 구조는 구체적으로 반영되지 않을 수도 있다. 또한, 설치 위치 등 구체적인 부분이 다르더라도 그 작용이 동일한 경우에는 동일한 명칭을 부여함으로써, 이해의 편의를 높일 수 있도록 한다. 또한, 동일한 구성이 복수 개가 있을 때에는 어느 하나의 구성에 대해서만 설명하고 다른 구성에 대해서는 동일한 설명이 적용되는 것으로 하고 그 설명을 생략한다.
상술한 바와 같이, 기존의 문제를 해결하기 위해 본 발명에서는 복원될 실내 구조의 레이아웃을 추정하고, 이를 이용하여 3차원 복원 정확도를 향상시키고자 하였다. 즉, 본 발명에서는 바닥과 천장이 평행하며 벽에 수직하도록 실내 구조를 제약하여 실내를 복원한다.
일반적인 감시 방법에 비해 차량 하위 카테고리 인식 방법은 다른 대상에서 찾을 수 없는 차량의 고유한 특성으로 인해 다른 방법보다 많은 제한이 있다. 첫째, SUV, 트럭 및 세단과 같은 다양한 종류의 클래스 사이에서 차량의 디자인 스타일에는 큰 차이가 없다. 분명하게 각 차량이 다른 제조사 또는 다른 연식임에도 불구하고 언뜻 보면 큰 차이가 없으며 따라서 차량을 인식하기가 어려운 것이 일반적이다. 둘째, 동일한 차량임에도 불구하고 차량은 자세 및 각도에 따라 매우 다른 외관을 만든다. 차량의 앞면과 측면의 모양이 매우 다른바, 다른 시각에서 각 차량의 고유한 특징을 식별하는 것은 어렵다.
인식에 큰 부담이 되는 차량의 독특한 특성에도 불구하고, 차량의 하위 카테고리를 인식하는 발명이 있었다. 그러나, 이러한 기존의 발명은 인식에서의 많은 제약으로 인하여 완벽한 차량 인식 방법이라고 할 수 없다. 전형적인 제약 사항 중 하나는 차량의 하위 카테고리가 차량 앞 부분만으로 인식된다는 것이다. 몰론, 차량의 정면만으로도 인식 성능이 좋다는 것은 사실이다. 그러나, 감시 환경에서의 자동차 외관은 항상 정면만이 있는 것이 아니고, 측면, 후면 및 상단이 감지될 때도 있다. 또한, 기존의 발명은 차량의 모델 이름과 제조업체를 식별할 수 있는 하위 카테고리를 인식하지 못하고 SUV, 트럭, 세단, 버스 등의 상위 카테고리만을 인식할 수 있었다.
본 발명에서는 Convolution Neural Network(CNN) 기반 모델로서, 기존보다 더 강력한 성능을 얻기 위해 차량의 부분별 특징을 추출하고 학습하는 차량 인식 모델을 제안한다.
구체적으로 이하에서는 컨볼루션 레이어를 이해하기 위한 특징 맵의 시각화를 설명하고, 시각화 분석을 통해 차량 인식에 필요한 부분을 자동으로 찾는 방법을 설명한다. 이것은 레이어의 포워드 패스 중 활성화를 시각화하여 수행된다.
도 1은 평균 특징 맵을 생성하는 단계를 나타낸다.
(b)는 각 레이어의 특징 맵의 평균을 의미하며, (c)는 (b)에서 수집된 레이어들의 평균을 나타낸다.
본 발명은 가장 강력한 활성화 기능(선행기술 1)을 갖는 시각화를 기반으로 한다.
본 발명의 일 실시 예에서는 차량의 정면 이미지, 정면 및 사이드 바이 사이드 이미지의 224 * 224 자른 이미지를 동시에 구성하고, 이를 Krizhevsky(선행기술 2) 구조에 넣는다. 본 발명에서는 모든 학습을 마친 후, 네트워크에서 생성된 특징 맵을 확인한다.
Krizhevsky 구조의 각 계층 중 가장 반응성이 높은 특징 중 9가지가 획득된다. 레이어가 깊어짐에 따라 반응한 특징 맵은 학습 과정을 거치면서 더 희귀해지고 지역화된다.
동시에, 드물지만 반응하는 뉴런을 나타내는 특징 맵의 이미지가 인지에 있어서 가장 중요한 부분이다. 따라서 마지막 5개의 풀링 레이어에 의해 활성화된 이미지는 궁극적인 인식에 필요한 최소한의 그리고 확실한 영역이다.
마지막 5개의 레이어에서 모든 특징 맵의 평균 반응 픽셀들이 계산된다. 여기에서 fl i를 l번째 이미지의 다섯번째 풀링 레이어의 i 번째 특징 맵이라 지칭한다. 그리고 난 뒤, 마지막 반응 필드를 형성하기 위해 소위 히트 맵이라 지칭되는 전체 이미지의 특징 맵이 평균화가 다음 수학식 1과 같이 수행된다.
본 발명에서 사용되는 네트워크는 5개의 컨볼루션 레이어를 갖는바, 총 5개가 있다. 이들은 수학식 2와 같이 평균화된다.
여기에서 F가 히트맵(heatmap)이다. 그러므로, 도 1(c)와 같은 평균 히트맵이 획득된다.
도 2는 직사각형 커튼이 있는 세가지 테스트 예를 보여준다. 커튼이 각 샘플에 사용될 때 반응 맵의 평균을 나타내는 히트 맵 추출을 보여준다.
도 2는 차량의 다양한 위치에서 화면을 사용하고 학습이 진행됨에 따라 어느 부분이 가장 중요한지를 시각화하여 보여준다. 각 테스트 이미지에 대한 평균 특징 맵은 차량 분류에서 가장 활동적인 영역을 보여준다. 도 4에 도시된 바와 같이, 차량의 헤드 라이트, 테일 라이트, 및 중앙 엠블럼의 위치가 차량 인식에 있어서 가장 중요한 부분임을 알 수 있다.
도 2의 마지막 예는 유니크 케이스를 보여준다. 이 테스트 이미지는 차량의 앞면에 따라 분류되어, 최종 히트맵 결과가 테일 라이트에 집중되었다. 헤드 라이트와 엠블럼이 보이는 이미지에 비해 반응성이 낮으나, 헤드 라이트, 테일 라이트, 및 엠블렘은 컨볼루션 레이어를 통해 차량 인식 시 가장 중요한 부분임을 알 수 있다. 따라서, 본 발명에서는 인식률을 극대화하고 제조사 및 모델과 같은 차량 하위 카테고리를 구별하기 위해 차량의 라이트와 엠블렘을 주요 인식 특징으로 선정하였다.
이하에서서는 3D 경계 박스(선행기술 3)를 찾는 알고리즘을 기반으로 분류에 필요한 차량을 찾고 감시 환경에서 차량의 특징적인 부분을 찾는 방법을 설명한다. 대부분의 교통 환경에서 차량이 직선 경로로 달리는 것을 가정한다면, 본 발명의 알고리즘은 실제 교통 감시 비디오에 대하여 일반적으로 쉽고 안정적으로 적용할 수 있다.
다른 물체와 달리, 본 발명에서는 보다 정확하고 신뢰할 수 있는 모델을 개발하기 위해 차량의 특정 모양을 고려하는 분류 모델을 구축한다. 구체적으로 경계 박스를 찾아 경계 박스의 각 면인 앞면, 옆면 및 위면을 식별할 수 있다.
본 발명의 일 실시 예에 따른 알고리즘의 첫 번째 단계는 차량 흐름을 통해 확인할 수 있는 3개의 소실점을 결정하고, 이를 통해 카메라 캘리브레이션을 수행하는 것이다. 첫 번째 소실점은 KLT 추적 프로그램에 의해 추적되고 식별되는 특징 점에 대한 방향이다. 두 번째 소실점은 도로의 분할 선에 수직인 방향이다. 세 번째 소실점은 두 개의 소실점의 바깥쪽 방향이다. 이러한 소실점의 점들을 정규화함으로써, 직육면체 형상 차량을 검출하는 것이 가능하다.
두 번째 단계에서 세 개의 소실점의 접점을 찾고, 차량에 대한 직육면체 박스를 만든다. 각 섹션은 앞/뒤(F), 옆(S) 및 위(U)의 세 섹션으로 표시된다. 각 부분은 다음과 같은 행렬 P로 구성된다.
상기의 P 행렬을 통해 각 횡단면의 위치를 찾을 수 있다. 그리고 각 횡단면에 대하여 투영 이미지를 2차원으로 얻을 수 있다.
도 3은 차량의 중요 부분을 추출한 것을 나타낸다.
상술한 바와 같은 방법으로 차량의 앞/뒤, 측면, 및 위쪽으로 나뉘어진 부분을 얻을 수 있다. 그러나 도 3에 도시된 바와 같이, 차량의 F 섹션과 S 섹션을 동시에 보는 경우, 정면이 추출된 섹션에서는 정면이 그대로 유지되지 않는다.
또한, 3개의 소실점으로부터 획득된 F 섹션이 모든 헤드라이트등을 포함하지 않는 경우도 있다. 그러나, 앞에서 본 바와 같이 챠량의 헤드라이트는 차량 인식에 있어서, 중요한 부분임을 인지한 바 있다. 그러나, 앞서 설명한 경계 박스만으로는 헤드라이트/테일라이트 영역을 올바르게 인식하지 못하는 경우가 있을 수 있다. 따라서, 이하에서는 헤드 라이트/테일라이트 영역을 효율적으로 얻을 수 있는 방법을 설명한다.
차량의 정면을 온전히 보기 위해서, 차량의 측면 경계 상자로 인식되나, 차량의 앞 부분에 속하는 영역을 획득하여 전체 전면을 획득할 수 있다. 차량이 앞쪽을 향하고 있다는 가정하에, 차량이 얼마나 멀리에 있는지에 관한 각도를 계산한다. 이를 위해 먼저, 영상에 수평방향으로 평행한 두 선인 수평선(w1과 w2)을 정의한다. 그리고 여기에서 w1은 차량 전면 사각형을 구성하는 네개의 점중 가장 아래에 위치하는 점(도 3에서는 p6)과 접하며, w2는 차량 전면 사각형을 구성하는 네 개의 점 중 가장 위에 위치하는 점(도 3에서는 p2)와 접한다.
그리고, 경계 박스의 측면을 구성하는 사각형에 포함된 차량 진행 방향의 두 선 중 어느 하나와 w1 또는 w2 중 어느 하나가 만나는 점을 b1이라고 한다. 그리고 b1으로부터 출발하는 수평선에 수직인 선과 측면 사각형의 차량 진행 방향 선 중 수평선과 만나지 않은 선이 만나는 점을 b2라고 한다. 결과적으로 아래와 같은 행렬 P가 정의된다.
상기 행렬 P를 통해 차량의 모든 중요한 부분을 포함하는 조정된 전면을 얻을 수 있다. 보정된 정면의 픽셀 좌표 T를 다음과 같이 나타낼 수 있다.
T = (p2 b1 p5 b2)
여기에서, p1, b1, p5, b2는 사각형을 구성한다. 도 3에 도시된 바와 같이, p2, p3, p5, p6로 구성되는 정면 사각형을 위한 행렬 P를 통해 보정된 값을 획득할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 차량 인식 알고리즘을 나타내는 흐름도이다.
본 발명의 일 실시 예에 따른 차량 인식 시스템은 교통 감시 영상을 입력 받는다(S101). 여기에서 입력되는 교통 감시 영상은 일반적인 교통 감시 시스템에서 수집되는 영상으로, 일 예로 고속도로 통행 영상일 수 있다.
차량 인식 시스템은 교통 영상으로부터 차량을 검출한다(S103). 차량 인식 시스템은 교통 영상에서 차량을 검출할 수 있으며, 영상에서 차량을 검출하는 방법을 알려진 알고리즘에 따른다.
차량 인식 시스템은 영상 분석 알고리즘을 통해 영상의 특징 정보를 생성한다(S105). 차량 인식 시스템은 영상 분석 알고리즘을 통해 영상에서 3개의 벡터를 추출한다. 구체적으로 차량 인식 시스템은 차량의 진행방향에 대한 모션 벡터를 구하고, 차량 진행 방향에 수직인 벡터를 구한다. 그리고 차량 인식 시스템은 모션 벡터와 모션 벡터에 수직인 벡터간의 외적 벡터를 구한다. 구체적인 특징 정보 생성의 알고리즘은 앞선 도 3에서 설명한바 여기에서는 상세한 설명을 생략한다.
차량 인식 시스템은 특징 정보에 기초하여 경계 박스를 생성한다(S107). 구체적으로 차량 인식 시스템은 단계 S105에서 획득한 세 개의 벡터를 조합하여 직육면체 형상의 경계 박스를 생성한다. 이때, 경계 박스는 차량의 전방 이미지를 포함하는 전면(또는 전면의 반대면인 후면), 차량의 측방 이미지를 포함하는 측면 및 차량의 상방 이미지를 포함하는 상면의 세 개의 면으로 구성될 수 있다. 예를 들어, 차량의 전방 이미지는 일반적인 상식에서 헤드라이트를 포함하는 이미지로 볼 수 있으며, 차량의 측방 이미지는 도어를 포함하는 이미지로 볼 수 있으며, 차량의 상방 이미지는 차량 천장을 포함하는 이미지로 볼 수 있다.
차량 인식 시스템은 생성된 경계 박스의 세개의 면을 투영하여 한장의 이미지를 획득한다(S109). 경계 박스의 각 면은 일반적으로 차량의 전방, 측방, 상방을 나타내나, 전방을 포함하는 전면이 차량의 전방을 온전히 포함하지 못하는 경우가 있을 수 있다. 따라서, 본 발명의 일 실시 예에 따른 차량 인식 시스템은 경계 박스를 구성하는 면을 보정하고 보정된 면을 투영하여 세개의 면이 모두 표현된 한장의 이미지를 획득한다.
구체적인 실시 예에서, 차량 인식 시스템은 세개의 면 중 차량의 진행 방향 면(경계 박스의 전면 또는 후면)을 보정한다. 구체적인 보정 방법은 도 3에서 설명하였는바, 여기에서는 설명을 생략한다.
차량 인식 시스템은 보정된 면을 포함하는 세개의 면을 투영하여 세개의 면이 한면으로 표현되는 이미지를 획득한다.
차량 인식 시스템은 획득한 이미지를 CNN 모델에 입력한다(S111). 여기에서 사용하는 CNN 모델은 경계 박스의 세개의 면으로 구성된 한장의 이미지를 입력 데이터로 하여 딥러링 방식으로 구현된 모델로서, 방대한 양의 차종 데이터로 구성되는 모델이다.
차량 인식 시스템은 CNN 모델을 통해 차종을 검색하고, 검색된 결과를 출력한다(S113).
도 5는 본 발명의 일 실시 예에 따른 차량 인식 시스템의 블록도이다.
본 발명의 일 실시 예에 따른 차량 인식 시스템(1)은 이미지 입력부(10), 제어부(20), 저장부(30), 및 출력부(40)를 포함할 수 있다. 여기에서 차량 인식 시스템(1)은 하나의 독립된 장치일 수도 있고, 장치의 일 구성일 수도 있고, 복수의 독립된 장치들의 조합일 수도 있고, 프로그램일 수도 있고, 프로그램이 설치되어 실행가능한 장치일 수도 있다.
이미지 입력부(10)는 CCTV와 같은 촬영 장치에서 촬영된 차량 감시 영상을 입력받는다. 여기에서 이미지 입력부(10)는 외부 장치와 연결되는 인터페이스일 수 있으며, 이미지 디코더를 포함하는 구성일 수 있다. 예를 들어 이미지 입력부(10)는 USB 단자 및 특정 압축 방식에 따라 압축된 이미지를 디코딩할 수 있는 디코더를 포함할 수 있다. 더하여, 이미지 입력부(10)는 카메라와 같은 이미지 촬영장치를 더 포함할 수도 있다.
제어부(20)는 차량 인식에 관한 전반적인 동작을 수행한다. 제어부(20)는 하드웨어 프로세서일 수 있다. 제어부(20)는 세부적으로 특징 추출부(21), 경계박스 생성 및 보정부(22), 투영면 생성부(23) 및 모델링부(24)를 포함할 수 있다.
특징 추출부(21)는 이미지 입력부(10)로부터 획득한 차량 감시 영상에서 차량을 검출하고, 특징을 추출한다. 특징 추출부(21)가 추출하는 특징은 상술한 바와 같이 세 개의 벡터이며, 세 개의 벡터를 추출하는 구체적인 방법은 상술한바 여기에서는 상세한 설명을 생략한다.
경계 박스 생성 및 보정부(22)는 특징 추출부(21)에서 추출된 세 개의 벡터에 기초하여 직육면체 형상의 경계 박스를 생성한다. 그리고 경계 박스의 세 면 중 보정이 필요한 면에 대한 보정을 수행한다. 경계 박스 생성 및 보정에 관한 구체적인 동작은 상술한바 여기에서는 상세한 설명을 생략한다. 경계 박스의 생성 예는 도 6의 (a)를 참고할 수 있다.
투영면 생성부(23)는 경계 박스의 세 면을 투영하여 하나의 이미지를 생성한다. 투영면은 차량을 식별하기 위한 차량의 각 면을 하나의 면으로 합친 이미지로서, 생성 예는 도 6의 (b)를 참고할 수 있다.
모델링부(24)는 투영면 생성부(23)에서 생성된 이미지를 구성되어 있는 차량 인식 모델에 입력한다. 여기에서 사용되는 추정 모델은 CNN이 사용될 수 있으며, 다수의 데이터를 수 회 반복학습하여 구성되는 추정 모델일 수 있다. 만약, 투영면 생성부(23)로부터 입력되는 이미지가 기 구성된 모델에서 인식할 수 없는 경우 모델링부(24)는 새로운 이미지를 입력으로 하여 학습을 통해 새로운 모델을 생성할 수 있다.
저장부(30)는 이미지 데이터를 저장한다. 저장부(30)는 내장형 메모리, 외장 저장 장치 또는 서버일 수 있으며, 기타 데이터를 저장 가능한 어떠한 매체도 가능하다. 구체적으로 저장부(30)는 투영면 생성부(23)에서 생성되는 이미지를 저장할 수 있으며, 기존의 차량 인식을 위한 이미지 데이터도 저장할 수 있다. 저장부(30)에 저장되어 있는 데이터는 모델링부(24)에서 추정 모델을 구성하고 업데이트하는데 사용될 수 있다.
출력부(40)는 제어부(20)에서 수행한 차량 인식 결과를 출력한다. 출력부(40)는 예를 들어 디스플레이 장치, 프린터와 같은 출력장치일 수 있다. 출력부(40)는 차량 인식 결과를 출력하는데, 여기에서 출력되는 차량 정보는 차량의 모델명, 제조사, 연식 중 적어도 어느 하나일 수 있다. 기존의 차량 인식 시스템의 경우 차량의 차체와 관련된 등급을 인식하는데 그치나, 본 발명에서는 경계 박스 및 투영면 그리고 딥러닝 기반의 추정 모델을 이용하여 비교적 하위 계층의 차량 정보까지 인식하여 이를 출력할 수 있다.
도 6은 경계 박스 및 투영된 이미지의 일 예를 나타낸다.
(a)는 특징 정보(세 방향 벡터)에 기초하여 생성된 경계 박스 및 경계 박스를 구성하는 세 면의 일 예를 나타낸다.
(b)는 경계 박스의 세 면을 하나의 이미지로 투영한 결과에 관한 일 예를 나타낸다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (8)

  1. 교통 감시 영상을 입력 받는 단계;
    입력 받은 영상으로부터 차량을 검출하는 단계;
    입력 받은 영상에서 검출된 차량을 기준으로 특징 정보를 추출하는 단계;
    추출한 특징 정보에 기초하여 경계 박스를 생성하는 단계;
    상기 경계 박스의 세 면을 하나의 면으로 투영하는 이미지를 생성하는 단계; 및
    상기 투영된 이미지를 차량 인식 모델에 입력하는 단계를 포함하는
    차량 인식 방법.
  2. 제 1 항에 있어서,
    상기 특징 정보는 복수의 벡터를 포함하고,
    복수의 벡터는, 차량 진행 방향에 관한 제1 벡터, 상기 제1 벡터에 수직인 제2 벡터 및 제1 벡터와 제2 벡터의 외적인 제3 벡터를 포함하는
    차량 인식 방법.
  3. 제 2 항에 있어서,
    상기 경계 박스의 세 면을 하나의 면으로 투영하는 이미지를 생성하는 단계는
    상기 경계 박스를 구성하는 면 중 전방 이미지를 포함하는 전면 또는 후방 이미지를 포함하는 후면을 보정하고, 보정한 면을 투영하는 이미지를 생성하는 단계를 포함하는
    차량 인식 방법.
  4. 제 1 항에 있어서,
    차량 인식 모델은 컨볼루션 신경망 네트워크(convolution neural network)인
    차량 인식 방법.
  5. 교통 감시 영상을 입력받는 이미지 입력부;
    상기 이미지 입력부에서 입력받은 이미지로부터 차량을 인식하는 제어부; 및
    상기 제어부에서 인식한 결과를 출력하는 출력부를 포함하며,
    상기 제어부는 입력받은 이미지로부터 특징을 추출하는 특징 추출부, 추출한 특징에 기초하여 경계 박스를 생성하고 이를 보정하는 경계 박스 생성 및 보정부, 경계 박스의 세 면을 하나의 면으로 투영한 이미지를 생성하는 투영면 생성부, 및 상기 투영면 생성부에서 생성된 이미지를 입력으로하여 차량 인식 모델을 통해 차량을 인식하는 모델링부를 포함하는
    차량 인식 시스템.
  6. 제 5 항에 있어서,
    차량 인식 결과를 출력하는 출력부를 더 포함하는
    차량 인식 시스템.
  7. 제 5 항에 있어서,
    상기 투영면 생성부에서 생성된 이미지를 저장하고, 상기 모델링부에 모델 구성을 위한 데이터를 제공하는 저장부를 더 포함하는
    차량 인식 시스템.
  8. 제 5 항에 있어서,
    상기 특징 정보는 복수의 벡터를 포함하고,
    복수의 벡터는, 차량 진행 방향에 관한 제1 벡터, 상기 제1 벡터에 수직인 제2 벡터 및 제1 벡터와 제2 벡터의 외적인 제3 벡터를 포함하는
    차량 인식 시스템.
KR1020180029955A 2018-03-14 2018-03-14 차량 인식 시스템 KR102082254B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180029955A KR102082254B1 (ko) 2018-03-14 2018-03-14 차량 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180029955A KR102082254B1 (ko) 2018-03-14 2018-03-14 차량 인식 시스템

Publications (2)

Publication Number Publication Date
KR20190115501A true KR20190115501A (ko) 2019-10-14
KR102082254B1 KR102082254B1 (ko) 2020-02-27

Family

ID=68171652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180029955A KR102082254B1 (ko) 2018-03-14 2018-03-14 차량 인식 시스템

Country Status (1)

Country Link
KR (1) KR102082254B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311236B1 (ko) * 2021-04-01 2021-10-13 주식회사 젠티 딥러닝 사물 인지 및 추적을 통한 속도 측정 방법 및 그 시스템
KR20220001090A (ko) * 2020-06-29 2022-01-05 주식회사 직트럭 중고화물차 매매를 위한 영상 기반의 차량정보 입력 장치 및 방법
WO2022047456A1 (en) * 2020-08-24 2022-03-03 Snap Inc. Vehicle recognition system
KR20220163626A (ko) 2021-06-03 2022-12-12 한국전자통신연구원 차량 전면 인식을 이용한 차량 인증 장치 및 이를 이용한 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523637B1 (ko) * 2021-05-18 2023-04-20 한국과학기술원 교통 데이터 프로세서, 교통 관제 시스템 및 교통 데이터 처리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269365A (ja) * 1997-03-24 1998-10-09 Omron Corp 特徴抽出方法およびその方法を用いた物体認識装置
KR101282864B1 (ko) * 2013-04-02 2013-07-05 주식회사 스마트비전 적재 불량 차량을 단속하기 위한 시스템 및 그 방법
JP2016175586A (ja) * 2015-03-20 2016-10-06 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269365A (ja) * 1997-03-24 1998-10-09 Omron Corp 特徴抽出方法およびその方法を用いた物体認識装置
KR101282864B1 (ko) * 2013-04-02 2013-07-05 주식회사 스마트비전 적재 불량 차량을 단속하기 위한 시스템 및 그 방법
JP2016175586A (ja) * 2015-03-20 2016-10-06 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視方法、及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In F. Pereira, C. Burges, L. Bottou, and K. Weinberger, editors, Advances in Neural Information Processing Systems 25, pages 1097??1105. Curran Associates, Inc., 2012.
Dubskㅱ, Markㅹta, Adam Herout, and Jakub Sochor. "Automatic Camera Calibration for Traffic Understanding." BMVC. 2014.
Zeiler, M. D., & Fergus, R. (2014, September). Visualizing and understanding convolutional networks. In European conference on computer vision (pp. 818-833). Springer International Publishing.

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220001090A (ko) * 2020-06-29 2022-01-05 주식회사 직트럭 중고화물차 매매를 위한 영상 기반의 차량정보 입력 장치 및 방법
WO2022047456A1 (en) * 2020-08-24 2022-03-03 Snap Inc. Vehicle recognition system
US11620350B2 (en) 2020-08-24 2023-04-04 Snap Inc. Vehicle recognition system
KR102311236B1 (ko) * 2021-04-01 2021-10-13 주식회사 젠티 딥러닝 사물 인지 및 추적을 통한 속도 측정 방법 및 그 시스템
KR20220163626A (ko) 2021-06-03 2022-12-12 한국전자통신연구원 차량 전면 인식을 이용한 차량 인증 장치 및 이를 이용한 방법

Also Published As

Publication number Publication date
KR102082254B1 (ko) 2020-02-27

Similar Documents

Publication Publication Date Title
KR102082254B1 (ko) 차량 인식 시스템
US11461912B2 (en) Gaussian mixture models for temporal depth fusion
US10878288B2 (en) Database construction system for machine-learning
US11620837B2 (en) Systems and methods for augmenting upright object detection
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9076047B2 (en) System and method for recognizing parking space line markings for vehicle
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
EP3159126A1 (en) Device and method for recognizing location of mobile robot by means of edge-based readjustment
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP6910664B2 (ja) 自動駐車システム内のセマンティックセグメンテーションを利用した駐車領域を検出するための方法及び装置
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
CN111105695B (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
KR20200094075A (ko) 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
JP2019530924A (ja) カメラ画像からのオブジェクトの検出
JP5396585B2 (ja) 地物特定方法
US20220171975A1 (en) Method for Determining a Semantic Free Space
US9183748B2 (en) Apparatus for determining available parking space and method thereof
KR101492366B1 (ko) 차량 사고 감지 방법 및 그 장치
Hu et al. Automatic detection and evaluation of 3D pavement defects using 2D and 3D information at the high speed
Bas Road and traffic analysis from video
JP2020027328A (ja) 信号機推定装置、信号機推定方法およびプログラム
Krajewski et al. Drone-based Generation of Sensor Reference and Training Data for Highly Automated Vehicles
KR102142660B1 (ko) 영상데이터의 리플렉션 이미지 제거 장치 및 방법
Karthik et al. Enabling Object Detection and Distance Calculation in AI based Autonomous Driving System

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right