KR102031503B1 - 다중 객체 검출 시스템 및 방법 - Google Patents

다중 객체 검출 시스템 및 방법 Download PDF

Info

Publication number
KR102031503B1
KR102031503B1 KR1020180146198A KR20180146198A KR102031503B1 KR 102031503 B1 KR102031503 B1 KR 102031503B1 KR 1020180146198 A KR1020180146198 A KR 1020180146198A KR 20180146198 A KR20180146198 A KR 20180146198A KR 102031503 B1 KR102031503 B1 KR 102031503B1
Authority
KR
South Korea
Prior art keywords
tracking
recognized
detection
module
value
Prior art date
Application number
KR1020180146198A
Other languages
English (en)
Inventor
정부은
최흥묵
김영규
뉴엔탄하이
Original Assignee
유니셈(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니셈(주) filed Critical 유니셈(주)
Priority to KR1020180146198A priority Critical patent/KR102031503B1/ko
Priority to PCT/KR2018/015219 priority patent/WO2020105780A1/ko
Application granted granted Critical
Publication of KR102031503B1 publication Critical patent/KR102031503B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06K2017/0045—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥 러닝 기반 다중 객체 검출 시스템에 관한 것이다. 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 시스템은 카메라로부터 촬영된 영상을 수신하는 통신모듈, 상기 통신모듈에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 모듈 및 상기 검출 모듈에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식하는 추적 모듈을 포함할 수 있다.

Description

다중 객체 검출 시스템 및 방법{METHOD AND SYSTEM FOR DETECTING MULTI-OBJECT}
본 발명은 딥 러닝 기반 다중 객체 검출 시스템 및 방법에 관한 것이다.
최근 스마트 교통 분야에서 영상인식 기술을 기반으로 실시간으로 교통량을 분석하여 스마트 시티를 위한 도시 계획에 활용하고, 교통 법규 위반 사항 검지, 보안 분야 등에서 연구가 활발히 이루어지고 있다.
기존의 단속 시스템의 경우 위반 사항 검지를 위해 루프 검지기를 사용하고 있으나, 이는 동남아의 교통 환경상 검지기 내에 차량과 모터사이클이 혼재되어 있어 적용이 어려운 상황이다.
또한, 레이저 및 레이다 센서를 이용한 차량의 속도 검지의 경우 크기가 작은 모터 사이클이 자동차와 혼재되어 있어 제대로 인식이 되지 않는 문제점이 있는 실정이다.
본 발명은 딥 러닝 기반의 다중 클래스 객체 검출 엔진에서 소요되는 연산량과 메모리 량을 경량화 하고 객체 검출에 대한 성능의 정확도를 높이기 위한 것이다.
또한, 본 발명은 다중 객체 검출과 다중 객체 추적을 동시에 활용하여 시간에 따라 형태가 변하는 객체에 대해서도 강건한 추적 성능을 보여주기 위한 것이다.
본 발명의 일 측면에 따르면, 다중 객체 검출 시스템은 카메라로부터 촬영된 영상을 수신하는 통신모듈; 상기 통신모듈에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 모듈; 및 상기 검출 모듈에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식하는 추적 모듈을 포함할 수 있다.
또한, 상기 검출 모듈은, n번째 프레임에서, 기 저장된 오브젝트 형식 값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식할 수 있다.
또한, 기 저장된 오브젝트 형식 값은, 자동차, 오토바이의 앞면 및 오토바이의 뒷면 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 추적 모듈은, 상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추적할 수 있다.
또한, 상기 추적 모듈은, n번째 프레임에서, 상기 검출모듈에서 인식한 적어도 하나의 오브젝트와 유사율이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식할 수 있다.
또한, 상기 검출 모듈에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 상기 추적 모듈에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 추적 오브젝트로 결정하는 분류 모듈을 더 포함할 수 있다.
또한, n번째 프레임에서, 상기 검출 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 상기 추적 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정하는 분석 모듈을 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 다중 객체 검출 방법은 카메라로부터 촬영된 영상을 수신하는 단계; 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 단계; 및 상기 오브젝트를 인식하는 단계에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식하는 추적 단계를 포함할 수 있다.
또한, 상기 검출 단계는, n번째 프레임에서, 기 저장된 오브젝트 형식 값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식할 수 있다.
또한, 기 저장된 오브젝트 형식 값은, 자동차, 오토바이의 앞면 및 오토바이의 뒷면 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 추적 단계는, 상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추적할 수 있다.
또한, 상기 추적 단계는, n번째 프레임에서, 상기 검출 단계에서 인식한 적어도 하나의 오브젝트와 유사율이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식할 수 있다.
또한, 상기 추적 단계 이후에, 상기 검출 단계에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 상기 추적 단계에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 추적 오브젝트로 결정하는 분류 단계를 더 포함할 수 있다.
또한, 상기 추적 단계는, n번째 프레임에서, 상기 검출 단계에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 상기 추적 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정하는 분석 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 의하면, 딥 러닝 기반의 다중 클래스 객체 검출 엔진에서 소요되는 연산량과 메모리 량을 경량화 하고 객체 검출에 대한 성능의 정확도를 높일 수 있다.
또한, 본 발명의 일 실시 예에 의하면, 다중 객체 검출과 다중 객체 추적을 동시에 활용하여 시간에 따라 형태가 변하는 객체에 대해서도 강건한 추적 성능을 보여 줄 수 있다.
도 1은 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 시스템의 전체적인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 시스템의 세부적인 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 방법의 순서도이다.
도 4는 도 3의 딥 러닝 기반 다중 객체 검출을 설명하기 위한 예시적인 도면이다.
도 5는 인식한 객체의 속도를 계산하는 방법을 설명하기 위한 순서도이다.
도 6은 도 5의 S20을 설명하기 위한 도면이다.
도 7은 도 5의 S20을 구체적으로 설명하는 순서도이다.
도 8은 번호판 영역 검출 알고리즘을 보여주는 순서도이다.
도 9는 번호판 인식 알고리즘을 보여주는 순서도이다.
도 10은 도 9의 S44의 중심선 알고리즘을 설명하기 위한 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
이하, 본 명세서에 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 딥 러닝(Deep laearning) 기반 다중 객체 검출 시스템(100)의 전체적인 블록도이다.
도 1을 참조하면, 다중 객체 검출 시스템(100)은 오브젝트(20)를 영상 수집 장치(30)로부터 촬영된 영상을 수신한다. 다중 객체 검출 시스템(10)은 영상 수집 장치(30)와 네트워크를 통해 연결된다.
본 발명은 딥 러닝 기반 다중 객체 검출 시스템(100)으로 딥 러닝 기반의 다중 클래스 객체 검출 엔진에서 소요되는 연산량과 메모리 량을 경량화하면서도 객체 검출에 대한 성능의 정확도를 높일 수 있다.
또한, 추정된 객체들의 영역이 생성되면 NMS(non-maximum suppression)기법을 이용하여 서로 겹치는 바운딩 박스 중에서 신뢰도가 낮은 바운딩 박스를 제거함으로써 다중 객체를 검출한다.
도 2는 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 시스템의 세부적인 블록도이다.
도 2를 참조하면, 다중 객체 검출 시스템(100)은 통신 모듈(미도시), 검출 모듈(110), 추적 모듈(120), 분류 모듈(130) 및 분석 모듈(140)을 포함한다.
먼저, 통신 모듈은 카메라로부터 촬영된 영상을 수신하고 오브젝트를 포함하는 하나 이상의 관심 영역(ROI: region of interest)을 검출한다. 통신 모듈은 스틱셀(stixel) 기법을 이용하여 관심 영역을 추출한다. 여기서, 스틱셀 기법은 도로 위에 직립하여 있는 장애 물체들을 동일한 시차 정보를 갖는다는 가정에서 화소 대신에 일정 폭의 스틱(stick)과 같은 그룹으로 영상을 표현하는 방법을 의미하며, 이것을 그룹핑(grouping)하여 관심 영역을 추출할 수 있다.
검출 모듈(110)은 통신 모듈에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식한다. 예를 들면, 검출 모듈(110)은 딥 러닝 기반 다중 객체 분류 기법을 이용하여 검출된 관심 영역 별로 관심 영역 내에 존재하는 각각의 오브젝트를 인식한다.
여기서, 검출 모듈(110)은 딥 러닝 기법을 이용하여 다중 객체의 클래스를 인식하지만, 랜덤 포레스트(Random forest)와 같은 기법을 이용할 수 있다. 여기서, 랜덤 포레스트는 기계 학습(Machine Learning)에서 여러 개의 결정 트리들을 임의적으로 학습하는 방식의 앙상블 방법이다. 랜덤 포레스트 방법은 크게 복수의 결정 트리를 구성하는 학습 단계와 입력 벡터가 들어왔을 때, 분류하거나 예측하는 테스트 단계로 구성되어 있다. 랜덤 포레스트는 검출, 분류, 그리고 회귀 등 다양한 어플리케이션으로 활용되고 있다.
또한, 딥 러닝은 사물이나 데이터를 군집하거나 분류하는데 사용하는 기술이다. 예를 들면, 컴퓨터는 사진만으로 개와 고양이를 구분하지 못하지만 사람은 아주 쉽게 구분할 수 있다. 이를 위해 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 것이 기계 학습 기술이다. 즉, 딥 러닝은 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 한 것이다.
또한, 검출 모듈(110)은 레이블링 저작 도구를 활용하여 학습용 레이블링 데이터를 생성한다. 본 발명에서는 레이블링 저작 도구를 활용하여 오브젝트의 형식값 및 오브젝트의 위치 좌표에 관한 데이터를 생성한다. 오브젝트의 형식값은 자동차, 밴, 버스, 트럭, 오토바이의 앞면, 오토바이의 뒷면, 오토바이의 옆면 등으로 구분될 수 있다. 여기서, 오토바이의 앞면, 뒷면, 옆면을 별도로 구분하는 이유는 자동차는 앞면과 뒷면에 모두 번호판이 있지만 일반적으로 오토바이는 뒷면에 번호판이 있기 때문이다.
추적 모듈(120)은 검출 모듈(110)에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식한다. 여기서, 추적 모듈(120)은 검출된 오브젝트의 형식값을 기초로 오브젝트를 추적한다. 추적 모듈(120)은 상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추정한다. 이러한 추적 기술은 사람과 같이 시간에 따라 형태가 변화하는 객체에 대하여도 강건한 추적 성능을 보여준다.
또한, 객체 추적과 데이터 연관에서는 다중 채널 특징 벡터를 재활용함으로써 각각의 모듈에서 특징 벡터를 추출할 때 소요되는 연산 시간을 최소화 할 수 있다.
추적 모듈(120)에 대한 자세한 내용은 후술하기로 한다.
분류 모듈(130)은 검출 모듈(110)에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 추적 모듈(120)에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 추적 오브젝트로 결정한다.
도 3은 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 방법의 순서도이고, 도 4는 도 3의 딥 러닝 기반 다중 객체 검출을 설명하기 위한 예시적인 도면이다.
먼저 도 3을 참조하면, 본 발명의 딥 러닝 기반 다중 객체 검출 시스템(10)은 아래와 같은 단계로 구성된다.
먼저, 영상수집장치(30)로부터 영상을 수신하고, 시스템 내에서 영상을 인식한다(S100). 이후에, 검출 모듈(110)은 n(n은 2 이상의 정수)번째 프레임에서 기 저장된 오브젝트 형식값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식한다(S200).
또한, 추적 모듈(120)은 n번째 프레임에서 검출 모듈(110)에서 인식한 적어도 하나의 오브젝트와 유사율이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식한다(S300).
예를 들면, 기 검출된 오브젝트는 바운딩 박스 내의 영상을 이미지의 형태로 분류하여 이전에 검출되었던 이미지의 형태와 비교하여 바운딩 박스 내의 영상의 이미지가 기 검출된 영상의 이미지와 매칭이 되면 동일한 오브젝트로 판단할 수 있다. 본 실시 예에서는 이미지에 관한 객체 정보를 사용하여 객체 정보의 매칭 여부를 확인하였지만, 객체 정보는 영상 내의 다양한 정보를 사용할 수도 있다.
마지막으로, n번째 프레임에서 검출 모듈(110)에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 추적 모듈(120)에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정한다.
이후에, 분석 모듈(140)은 n번째 프레임에서 검출 모듈(110)에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 추적 모듈(120)에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정한다(S400).
예를 들면, n번째 프레임에서 인식된 오브젝트의 위치 좌표는 오브젝트의 바운딩 박스의 좌측 상단, 우측 상단, 좌측 하단, 우측 하단의 좌표이다.
본 발명은 첫번째 프레임에서 인식된 오브젝트의 위치 좌표와 세번째 프레임에서 인식된 오브젝트의 위치 좌표의 평균 값으로 두번째 프레임에서 인식된 해당 오브젝트의 위치 좌표를 구할 수 있다. 이러한 방법을 사용하면 오브젝트 검출에서 놓칠 수 있는 데이터를 오브젝트 추적을 이용하여 보완할 수 있다.
본 발명의 일 실시 예에 따르면, 본 발명에서 오브젝트 정보는 오브젝트의 형식 값 및 오브젝트의 위치 좌표 중 적어도 어느 하나에 대한 정보를 포함한다. 오브젝트의 형식 값은 자동차, 오토바이의 앞면, 오토바이의 뒷면 중 적어도 어느 하나에 대한 정보를 포함한다. 여기서, 오토바이의 경우 번호판이 뒷면에만 있기 때문에 교통 분석 및 단속 시스템에 본 기술을 적용하기 위해서 오토바이의 앞면 및 오토바이의 뒷면을 구분하는 것이다.
나아가, 오브젝트의 형식 값은 오토바이의 측면, 헬멧을 착용한 오토바이 운전자, 헬멧을 착용하지 않은 오토바이 운전자, 보행자를 추가로 구분할 수 있다. 현지 교통 사정에 따라 오브젝트의 형식 값은 기계 학습을 통해 어떠한 것이라도 추가할 수 있다.
본 발명의 딥 러닝 기반 다중 객체 인식 시스템(100)은 추적 모듈(120)이 n번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트를 적어도 하나 이상 인식한다. 이후에, n+k번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트를 추적 객체로 결정하고 이후 프레임에서 결정된 추적 오브젝트를 추적한다(k는 1 이상의 정수).
예를 들면, 첫번째 프레임에서 오브젝트의 형식 값이 오토바이의 뒷면인 경우에 3번째 프레임에서 오브젝트의 형식 값이 오토바이의 뒷면인 오브젝트가 있으면, 해당 오브젝트를 추적 오브젝트로 정하고 이후 프레임에서 오브젝트의 형식 값이 오토바이 뒷면인 오브젝트를 연속적으로 추적하는 데이터를 생성한다.
그러나, 도로에는 다수의 차량과 오토바이가 통행을 한다. 그렇기 때문에 다중 객체를 구별하여 추적하는 방법이 필요하다.
나아가, 추적 모듈(120)은 n번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값를 포함하는 객체의 바운딩 박스의 중심점 및 n+k번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스의 중심점을 연결하여 중심선을 결정한다. 이후에, m번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 객체가 복수 개 일 때 m번째 프레임에서 검출된 오브젝트의 바운딩 박스의 중심점에서 중심선까지의 수직 거리가 가장 가까운 오브젝트를 m번째 프레임에서 추적 오브젝트로 결정한다.
더 나아가, 추적 모듈(120)은 n번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스의 영역과 n+k번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스의 영역을 결정한다. 이후에, n번째 프레임에서 결정된 오브젝트의 바운딩 박스의 영역과 n+k번째 프레임에서 결정된 오브젝트의 바운딩 박스의 영역이 기 설정된 비율 이상 중첩되면, n번째 프레임에서 결정된 객체와 n+k번째 프레임에서 결정된 오브젝트를 추적 오브젝트로 결정한다.
이러한 방법은 현재까지 입력된 영상만을 참조하여 영상에서 오브젝트의 위치와 움직임 정보를 추정할 수 있어 실시간 성이 요구되는 영상 분석이나 자율주행 분야에서 활용될 수 있다.
도 5는 인식한 객체의 속도를 계산하는 방법을 설명하기 위한 순서도이다.
본 발명의 번호판 인식 시스템(200)은 루프 검지기 없이 영상수집장치(30)만을 이용하여, 기 설정된 두 개의 경계선 중 첫번째 경계선을 지나는 객체의 이미지를 저장하고 두번째 경계선을 지나는 객체의 이미지를 저장한다. 이후에, 첫번째 경계선을 지나는 객체의 이미지와 두번째 경계선을 지나는 객체의 이미지를 비교하여 객체의 속도를 산출한다.
산출된 객체의 속도가 속도 위반으로 판단되면 기 저장된 첫번째 경계선을 지나는 객체의 이미지를 기초로 번호판을 인식한다. 여기서, 번호판을 인식하는 기초가 되는 객체의 이미지는 첫번째 경계선을 지나는 객체의 이미지와 두번째 경계선을 지나는 객체의 이미지 중 상대적으로 영상처리에 용이한 객체의 이미지로 결정할 수 있다.
다시 도 2를 참조하면, 딥 러닝 기반 번호 인식 시스템(200)은 통신 유닛(미도시), 검출 유닛(210), 처리 유닛(230) 및 인식 유닛(220)을 포함한다. 통신 유닛(미도시)은 카메라로부터 촬영된 영상을 수신하고, 검출 유닛(210)은 통신 유닛(미도시)에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 검출한다. 처리 유닛(230)은 인식한 오브젝트의 속도를 산출한다. 또한, 인식 유닛(220)은 처리 유닛(230)에 의해 수집된 프레임에서 기 설정된 속도를 초과하는 오브젝트를 인식하고 인식된 오브젝트에서 오브젝트의 번호판을 인식하고, 인식된 오브젝트의 번호판에서 오브젝트의 번호를 인식한다.
본 발명의 일 실시 예에 따르면, 검출 유닛(210)은 n번째 프레임에서 기 저장된 오브젝트와 매칭률이 기 설정된 수치 값 이상인 오브젝트를 적어도 하나 검출한다. 이후에, 처리 유닛(230)에서 n번째 프레임에서 인식한 오브젝트가 적어도 하나 이상 있는 경우에 n번째 프레임에서 인식한 오브젝트의 속도를 산출한다.
도 5를 참조하면, n번째 프레임에서 인식된 적어도 하나의 오브젝트의 번호판을 인식하고(S10), n번째 프레임에서 적어도 하나의 오브젝트를 인식하고, 이 중 S10에서 인식한 오브젝트가 있을 때 해당 오브젝트의 속도를 산출한다(S20). S20에 과한 구체적인 설명은 도 6 및 도 7을 참조하여 후술한다.
도 6은 도 5의 S20을 설명하기 위한 도면이고, 도 7은 도 5의 S20을 구체적으로 설명하는 순서도이다.
카메라 화면(Screen)에서 픽셀 A와 픽셀 B의 실제 거리를 구하고 픽셀 A와 픽셀 B를 포함하는 프레임의 촬영 시간과 비교하면, 카메라만 사용하여 오브젝트의 속도를 구할 수 있다.
도 6을 참조하면, 카메라의 촬영 중심에서 지면까지의 거리(카메라가 설치된 높이)는 H, 카메라의 촬영 중심에서 지면의 교점에서 카메라에 의하여 촬영된 이미지 화면상의 하단 부분까지의 실제 거리는 L1, 카메라의 촬영 중심에서 지면의 교점에서 카메라에 의하여 촬영된 이미지 화면상의 상단 부분까지의 실제 거리는 L2라고 한다.
오브젝트가 제 1 지점에 위치할 때에 카메라에 의하여 촬영된 이미지 화면상에 표시되는 지점과 스크린의 중심 사이의 거리가 P이고, 오브젝트가 제 2 지점에 위치할 때에 카메라에 의하여 촬영된 이미지 화면상에 표시되는 지점과 스크린의 중심 사이의 거리가 Q이다.
카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상의 상단 방향과 카메라의 촬영 중심에서 지면으로 향하는 방향에서 이루어지는 각도가 제 1 각도(α)이고, 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상의 상단 방향과 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상의 하단 방향에서 이루어지는 각도가 제 2 각도(θ)이고, 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상에 표시된 지점 A를 향하는 방향과 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지의 화면이 직교하는 지점을 향하는 방향에서 이루어지는 각도가 제 3 각도(αP)이고, 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상에 표시된 지점 B를 향하는 방향과 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지의 화면이 직교하는 지점을 향하는 방향에서 이루어지는 각도가 제 4 각도(αQ)이다.
처리 유닛(230)는 제 1 지점과 제 2 지점 사이의 실제 거리를 구한다. 구체적인 과정은 아래와 같다.
먼저, 각도α를 arctan(L2/H)로 구하고(S21, 수학식 1), 카메라부터 스크린의 아래쪽 부분까지의 거리 D는 H와 L1의 길이를 기초로 피타고라스의 정리를 하면 구할 수 있다(S22, 수학식 2). 각도θ는 각도α에서 arctan(L1/H)로 구하고(S23, 수학식 3), 카메라부터 스크린까지의 거리 C는 D와 cos(θ/2)의 곱으로 구할 수 있다(S24, 수학식 4).
스크린은 sin(θ/2)와 D를 곱하고 2배를 하면 그 길이를 구할 수 있다(S25, 수학식 5). 그 다음에, θP는 각도α에서 θ/2를 빼고 arctan(P/C)를 더해서 구하고, θQ는 각도α에서 θ/2를 빼고 arctan(Q/C)를 빼서 구한다(S26, 수학식 6).
마지막으로, 픽셀 A의 실제 거리는 L2에서 tan(θP)와 H의 곱을 빼면 구할 수 있고, 픽셀 B의 실제 거리는 L2에서 tan(θQ)와 H의 곱을 빼면 구할 수 있다(S27, 수학식 7). 픽셀 A와 픽셀 B의 실제 거리와 영상의 입력 시간을 비교하면 객체의 속도를 구할 수 있다.
Figure 112018117128081-pat00001
Figure 112018117128081-pat00002
Figure 112018117128081-pat00003
Figure 112018117128081-pat00004
Figure 112018117128081-pat00005
Figure 112018117128081-pat00006
Figure 112018117128081-pat00007
처리 유닛(230)은 n번째 프레임에서 검출된 오브젝트가 제 1 지점을 통과한 시간, n번째 프레임에서 검출된 오브젝트가 제 2 지점을 통과한 시간 및 제 1 지점에서 제 2 지점 사이의 거리를 기초로 오브젝트의 제 1 지점과 제 2 지점 사이의 속도를 산출한다.
다시 말하면, 최초의 영상의 프레임에서 픽셀 B를 감지하고, 일정 시간 뒤에 프레임에서 픽셀 A를 감지한다. 해당 객체의 속도를 감지하고 감지된 속도가 위반 속도에 해당하면 최초의 영상의 프레임에서 일정 시간 뒤에 프레임까지의 프레임 중 해당 객체의 번호판을 용이하게 인식할 수 있는 프레임을 선택하여 번호판 인식을 수행한다.
예를 들면, 오토바이의 경우 번호판이 후면에 배치되어 있어 속도를 감지하기 위해서는 먼저 영상을 촬영하고, 이후에 속도 위반이 감지되면 회귀분석을 통해 번호판을 인식하고 위반을 단속해야 한다.
도 8은 번호판 영역 검출 알고리즘을 보여주는 순서도이다.
본 발명에서 처리 유닛(230)은 산출된 오브젝트의 속도가 기 설정된 속도를 초과하는 경우에 기 설정된 속도를 초과하는 오브젝트를 포함하는 프레임을 수집한다.
도 8을 참조하면, 영상수집장치(30)로부터 데이터를 입력 받고(S30), Yolo3기반 Localization 네트워크 모델을 이용하여 오브젝트의 영역 내에서 적어도 하나의 번호판을 인식한다(S31, S32). 적어도 하나 이상의 인식된 번호판이 없다면, 다시 오브젝트의 영역 내에서 적어도 하나의 번호판을 인식한다.
적어도 하나 이상의 번호판을 인식하면, 인식된 번호판의 개수, 번호판의 위치 정보, 번호판의 신뢰도, 번호판의 유형을 인식한다(S34). S34 단계에서 결정된 번호판의 신뢰도가 가장 높은 번호판을 선택한다(S35). 여기서, 번호판의 위치는 번호판을 포함하는 바운딩 박스의 좌측 상단, 좌측 하단, 우측 상단 및 우측 하단 중 적어도 하나의 위치를 말하고, 필요에 따라 바운딩 박스의 중심이 번호판의 위치 일 수도 있다. 번호판의 신뢰도는 오브젝트의 영역 내에서 기 저장된 문자와 비교하여 기 저장된 문자의 인식률에 따라 부여한다. 또한, 번호판의 유형은 개별 국가마다 차량의 유형 및 차량의 출고 시기에 따라 번호판의 유형이 다양하다. 예를 들면, 하나의 행으로 되거나 두개의 행으로 배치된 번호판이 있을 수 있다. 번호판의 인식률을 높이기 위해 번호판 영역을 검출하는 단계에서 번호판의 유형을 결정한다.
본 발명의 일 실시 예에 따르면, 인식 유닛(220)은 오브젝트의 번호판에서 인식된 문자들과 기 저장된 문자들을 비교하여 각각의 문자들의 매칭률의 평균값이 높은 번호판일수록 높은 신뢰도를 부여하고 부여된 신뢰도가 가장 높은 번호판을 선택한다.
도 9는 번호판 인식 알고리즘을 보여주는 순서도이고, 도 10은 도 9의 S44의 중심선 알고리즘을 설명하기 위한 도면이다.
번호판 인식 알고리즘은 선택된 번호판 내의 인식된 문자 영역들 중 적어도 2개 이상의 문자 영역들이 부분적으로 오버랩 되는 경우에 오버랩 되는 상기 적어도 2개 이상의 문자 영역으로부터 인식된 문자들 중 하나의 문자를 결정한다.
결정된 상기 문자는 결정된 상기 문자 신뢰도 값들 중 가장 큰 값에 대응하는 문자이다.
도 9를 참조하면, S35단계에서 선택된 번호판의 문자를 인식한다(S410). 인식된 문자를 기초로 오버랩 문자를 제거한다(S43). 오버랩 문자의 기준은 교차 영역이 70% 이상인 것을 말한다. 오버랩 된 문자 중에서 점수가 더 높은 문자를 선택하고, 선택된 문자를 제외한 문자는 제거한다. 여기서, 점수는 문자 인식률이 높을수록 높게 부여한다.
이후에, 번호판의 종류 및 중심선 알고리즘을 사용하여 문자를 배열하고(S44), 인식된 문자와 번호판을 매칭하고(S45), 결과를 출력한다(S46).
도 10을 참조하면, 중심선 알고리즘은 아래와 같이 수행된다.
먼저, 번호판 영역 내에 인식된 문자 바운딩 박스의 센터 포인트를 결정하고, 각각의 문자 바운딩 박스의 센터 포인트로부터 거리의 합이 최소가 되는 라인을 중심선으로 결정한다. 번호판 인식 시 행 구분이 이루어지지 않으므로, 결정된 중심선을 기준으로 행 구분을 정확히 할 수 있으며, 기울어진 번호판에 대해서도 보정을 통해 번호판 영역 내의 문자 인식의 강건성을 높일 수 있다.
본 발명에 따르면, 처리 유닛(230)은 결정된 상기 문자를 포함하는 문자 영역들의 중심점을 결정하고, 결정된 상기 문자를 포함하는 문자 영역들의 중심점으로부터 거리의 합이 최소가 되는 직선을 중심선으로 결정한다. 상기 중심선을 기준으로 상단에 인식된 문자를 1행의 문자로 하고, 상기 중심선을 기준으로 하단에 인식된 문자를 2행의 문자로 결정한다.
또한, 상기 중심선을 기준으로 상단과 하단에 문자가 인식된 경우에 문자가 2개의 행으로 배열된 제 1 유형의 번호판을 결정하고, 상기 중심선이 인식된 문자 영역을 통과하는 경우에 문자가 1개의 행으로 배열된 제 2 유형의 번호판으로 결정한다. 결정된 번호판의 유형을 기초로 결정된 상기 문자를 포함하는 문자 영역의 중심점의 x좌표를 기준으로 중심점의 x좌표가 작은 순으로 각각의 행에 좌측부터 순서대로 문자를 매칭한다.
예를 들면, 번호판 유형이 2개의 행으로 구분된 번호판으로 결정된 경우 결정된 중심선을 기준으로 위쪽에 위치한 바운딩 박스는 1행에 배열된 문자, 결정된 중심선을 기준으로 아래쪽에 위치한 바운딩 박스는 2행에 배열된 문자로 할 수 있다. 이후에, 각각의 문자의 바운딩 박스의 x좌표 값을 기초로 크기가 작은 순으로 문자를 순서대로 배열하여 번호판의 유형에 따라 문자를 매칭할 수 있다.
다른 예를 들면, 번호판 유형이 1개의 행으로 구분된 번호판은 중심선이 각각의 바운딩 박스의 센터 포인트를 지나는 중심선이 결정될 것이고, 결정된 중심선을 기초로 각각의 문자의 바운딩 박스의 x좌표 값을 기초로 크기가 작은 순으로 문자를 순서대로 배열할 수 있다.
이상에서 설명한 딥 러닝 기반 번호 인식 시스템(200)은 지정한 두 개의 경계선 중 첫번째 경계선을 지나는 오토바이 후면 객체 사진을 찍고 두번째 경계선을 지나는 오토바이의 후면 객체 사진을 기초로 오토바이가 속도 위반으로 판단되면, 이전에 식별 되었던 오토바이 후면 객체 사진을 불러와 보다 선명한 이미지를 가지고 번호판을 인식하는 것이다. 여기서, 이전에 식별된 오토바이 후면 객체 사진을 불러와 번호판을 인식하는 이유는 상대적으로 거리가 가까운 영상에서 얻은 이미지가 선명하여 영상 처리를 하기 용이하기 때문이다.
본 발명의 일 실시 예에 따르면, 카메라로부터 수신된 영상을 기초로 산출된 오브젝트의 속도가 기 설정된 속도를 초과하는 경우에 기 설정된 속도를 초과하는 오브젝트를 식별하여 해당 오브젝트의 번호판 및 번호를 인식한다.
다시 말하면, 본 발명은 카메라로부터 수신된 영상을 기초로 식별된 오브젝트가 기 설정된 조건에 부합하는 경우 식별된 오브젝트의 번호판 및 번호를 인식한다. 예를 들면, 카메라로부터 수신된 영상을 기초로 차선 위반, 신호 위반, 오토바이 헬멧 착용 위반, 오토바이 탑승자 위반, 차선 끼어들기 위반, 교차로 꼬리물기 위반 및 역주행을 포함하는 교통 법규 위반에 해당하는 경우에 교통 법규를 위반하는 오브젝트의 번호판 및 번호를 인식 할 수 있다.
기존에 교통 법규 위반을 판별하는 방법은 차선에 별도로 설치된 하드웨어 센서를 설치하여 오브젝트를 인식하여 교통 법규 위반을 판별하는 방식이다. 그러나, 본 발명을 이용하면 차선에 별도로 설치된 하드웨어 센서없이 영상만으로 교통 법규 위반을 판별할 수 있어 보다 효과적인 지능형 교통 시스템을 구축할 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당 업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 저술한 실시 예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
10 : 다중 객체 검출 및 번호판 인식 시스템
20 : 객체
30 : 영상 수집 장치
100 : 다중 객체 검출 시스템
110 : 검출 모듈
120 : 추적 모듈
130 : 분류 모듈
140 : 분석 모듈
200 : 번호판 인식 시스템
210 : 검출 유닛
220 : 인식 유닛
230 : 처리 유닛

Claims (15)

  1. 카메라로부터 촬영된 영상을 수신하는 통신모듈;
    상기 통신모듈에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 모듈; 및
    상기 검출 모듈에서 인식한 적어도 하나의 오브젝트와 유사도가 특정 수치값 이상인 오브젝트를 적어도 하나 인식하는 추적 모듈을 포함하되,
    상기 추적 모듈은,
    n번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스 중심점과 n+k번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스 중심점을 연결하여 중심선을 결정하고(n은 2 이상의 정수, k는 1 이상의 정수),
    m번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트가 복수 개 인식될 때, m번째 프레임에서 인식된 오브젝트의 바운딩 박스 중심점에서 상기 중심선까지의 수직거리가 가장 가까운 오브젝트를 m번째 프레임의 추적 오브젝트로 결정하고, 이후 프레임에서 상기 결정된 추적 오브젝트를 추적하는 다중 객체 검출 시스템(m은 상기 n+k 보다 큰 정수).
  2. 제 1 항에 있어서, 상기 검출 모듈은,
    n번째 프레임에서, 기 저장된 오브젝트 형식 값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식하는 다중 객체 검출 시스템.
  3. 제 2 항에 있어서, 기 저장된 오브젝트 형식 값은,
    자동차, 오토바이의 앞면 및 오토바이의 뒷면 중 적어도 어느 하나를 포함하는 다중 객체 검출 시스템.
  4. 제 1 항에 있어서, 상기 추적 모듈은,
    상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추적하는 다중 객체 검출 시스템.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 검출 모듈에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 상기 추적 모듈에서 인식한 적어도 하나의 오브젝트와 유사도가 특정 수치 값 이상인 오브젝트를 추적 오브젝트로 결정하는 분류 모듈을 더 포함하는 다중 객체 검출 시스템.
  7. 제 1 항에 있어서,
    n번째 프레임에서, 상기 검출 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 상기 추적 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정하는 분석 모듈을 더 포함하는 다중 객체 검출 시스템.
  8. 카메라로부터 촬영된 영상을 수신하는 단계;
    수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 단계; 및
    상기 오브젝트를 인식하는 단계에서 인식한 적어도 하나의 오브젝트와 유사도가 특정 수치 값 이상인 오브젝트를 적어도 하나 인식하는 추적 단계를 포함하되,
    상기 추적 단계는,
    n번째 프레임에서 기 저장된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스 중심점과 n+k번째 프레임에서 기 저장된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스 중심점을 연결하여 중심선을 결정하는 단계(n은 2 이상의 정수, k는 1 이상의 정수);
    m번째 프레임에서 기 저장된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트가 복수 개 검출될 때, m번째 프레임에서 검출된 오브젝트의 바운딩 박스 중심점에서 상기 중심선까지의 수직거리가 가장 가까운 오브젝트를 m번째 프레임의 추적 오브젝트로 결정하는 단계 및 이후 프레임에서 상기 결정된 추적 오브젝트를 추적하는 단계를 포함하는 다중 객체 검출 방법(m은 상기 n+k 보다 큰 정수).
  9. 제 8 항에 있어서, 상기 검출 단계는,
    n번째 프레임에서, 기 저장된 오브젝트 형식 값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식하는 다중 객체 검출 방법.
  10. 제 9 항에 있어서, 기 저장된 오브젝트 형식 값은,
    자동차, 오토바이의 앞면 및 오토바이의 뒷면 중 적어도 어느 하나를 포함하는 다중 객체 검출 방법.
  11. 제 8 항에 있어서, 상기 추적 단계는,
    상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추적하는 다중 객체 검출 방법.
  12. 삭제
  13. 제 8 항에 있어서, 상기 추적 단계 이후에,
    상기 검출 단계에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 상기 추적 단계에서 인식한 적어도 하나의 오브젝트와 유사도가 특정 수치 값 이상인 오브젝트를 추적 오브젝트로 결정하는 분류 단계를 더 포함하는 다중 객체 검출 방법.
  14. 제 11 항에 있어서, 상기 추적 단계 이후에,
    n번째 프레임에서, 상기 검출 단계에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 상기 추적 단계에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정하는 분석 단계를 더 포함하는 다중 객체 검출 방법.
  15. 삭제
KR1020180146198A 2018-11-23 2018-11-23 다중 객체 검출 시스템 및 방법 KR102031503B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180146198A KR102031503B1 (ko) 2018-11-23 2018-11-23 다중 객체 검출 시스템 및 방법
PCT/KR2018/015219 WO2020105780A1 (ko) 2018-11-23 2018-12-04 다중 객체 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180146198A KR102031503B1 (ko) 2018-11-23 2018-11-23 다중 객체 검출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102031503B1 true KR102031503B1 (ko) 2019-11-08

Family

ID=68542083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180146198A KR102031503B1 (ko) 2018-11-23 2018-11-23 다중 객체 검출 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102031503B1 (ko)
WO (1) WO2020105780A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183450A (zh) * 2020-10-15 2021-01-05 成都思晗科技股份有限公司 一种多目标跟踪方法
CN112699839A (zh) * 2021-01-13 2021-04-23 安徽水天信息科技有限公司 一种动态背景下视频目标自动锁定及跟踪方法
KR20210108600A (ko) * 2020-02-26 2021-09-03 슈어소프트테크주식회사 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치
KR20220077370A (ko) * 2020-12-02 2022-06-09 한국도로공사 정밀도로지도 생성을 위한 교통안전표지 인식/추출 방법 및 시스템
KR102407170B1 (ko) * 2022-01-07 2022-06-10 (주)토페스 이륜차 교통법규 위반 검지 방법 및 그 실행을 위한 시스템
KR20220169312A (ko) * 2021-06-18 2022-12-27 엘아이지넥스원 주식회사 이미지 처리 방법 및 장치
KR102556791B1 (ko) * 2022-11-15 2023-07-18 (주)한국알파시스템 주차관제장치 및 차량 번호판 인식 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018339A (ja) * 2004-06-30 2006-01-19 Hitachi Ltd ナンバープレート認識装置及び方法
JP2009271758A (ja) * 2008-05-08 2009-11-19 Denso Corp 画像認識装置
KR20140013407A (ko) * 2012-07-23 2014-02-05 삼성테크윈 주식회사 객체 추적 장치 및 방법
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템
KR20180105876A (ko) * 2017-03-16 2018-10-01 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852511B2 (en) * 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018339A (ja) * 2004-06-30 2006-01-19 Hitachi Ltd ナンバープレート認識装置及び方法
JP2009271758A (ja) * 2008-05-08 2009-11-19 Denso Corp 画像認識装置
KR20140013407A (ko) * 2012-07-23 2014-02-05 삼성테크윈 주식회사 객체 추적 장치 및 방법
KR20180105876A (ko) * 2017-03-16 2018-10-01 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210108600A (ko) * 2020-02-26 2021-09-03 슈어소프트테크주식회사 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치
KR102337034B1 (ko) * 2020-02-26 2021-12-09 슈어소프트테크주식회사 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치
CN112183450A (zh) * 2020-10-15 2021-01-05 成都思晗科技股份有限公司 一种多目标跟踪方法
CN112183450B (zh) * 2020-10-15 2024-05-28 成都思晗科技股份有限公司 一种多目标跟踪方法
KR20220077370A (ko) * 2020-12-02 2022-06-09 한국도로공사 정밀도로지도 생성을 위한 교통안전표지 인식/추출 방법 및 시스템
KR102482427B1 (ko) * 2020-12-02 2022-12-29 한국도로공사 정밀도로지도 생성을 위한 교통안전표지 인식/추출 방법 및 시스템
CN112699839A (zh) * 2021-01-13 2021-04-23 安徽水天信息科技有限公司 一种动态背景下视频目标自动锁定及跟踪方法
CN112699839B (zh) * 2021-01-13 2024-02-27 安徽水天信息科技有限公司 一种动态背景下视频目标自动锁定及跟踪方法
KR20220169312A (ko) * 2021-06-18 2022-12-27 엘아이지넥스원 주식회사 이미지 처리 방법 및 장치
KR102662230B1 (ko) * 2021-06-18 2024-04-30 엘아이지넥스원 주식회사 이미지 처리 방법 및 장치
KR102407170B1 (ko) * 2022-01-07 2022-06-10 (주)토페스 이륜차 교통법규 위반 검지 방법 및 그 실행을 위한 시스템
KR102556791B1 (ko) * 2022-11-15 2023-07-18 (주)한국알파시스템 주차관제장치 및 차량 번호판 인식 방법

Also Published As

Publication number Publication date
WO2020105780A1 (ko) 2020-05-28

Similar Documents

Publication Publication Date Title
KR102031503B1 (ko) 다중 객체 검출 시스템 및 방법
KR102001002B1 (ko) 딥러닝 기반 번호 인식 시스템
US10984509B2 (en) Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product
KR102041734B1 (ko) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
AU2017302833B2 (en) Database construction system for machine-learning
US7327855B1 (en) Vision-based highway overhead structure detection system
Cho et al. A multi-sensor fusion system for moving object detection and tracking in urban driving environments
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
JP4246766B2 (ja) 車両から対象物を位置測定して追跡する方法および装置
JP6679152B1 (ja) 事故分析装置、事故分析方法及びプログラム
EP2026246A1 (en) Method and apparatus for evaluating an image
EP2575078B1 (en) Front vehicle detecting method and front vehicle detecting apparatus
EP3410416B1 (en) Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program
US20060111841A1 (en) Method and apparatus for obstacle avoidance with camera vision
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
KR20120034352A (ko) 장애물 감지 시스템 및 방법
JP2008507454A (ja) 道路使用弱者保護システム
JP2013225295A (ja) 方位情報を考慮する衝突警告システム
KR20210052031A (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN109421730A (zh) 使用相机的交叉车流检测
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
US11314974B2 (en) Detecting debris in a vehicle path
CN103577790B (zh) 道路转弯类型检测方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant