KR102164950B1 - Method and system for multi-pedestrian tracking using teacher-student random ferns - Google Patents

Method and system for multi-pedestrian tracking using teacher-student random ferns Download PDF

Info

Publication number
KR102164950B1
KR102164950B1 KR1020180129172A KR20180129172A KR102164950B1 KR 102164950 B1 KR102164950 B1 KR 102164950B1 KR 1020180129172 A KR1020180129172 A KR 1020180129172A KR 20180129172 A KR20180129172 A KR 20180129172A KR 102164950 B1 KR102164950 B1 KR 102164950B1
Authority
KR
South Korea
Prior art keywords
pedestrians
teacher
ferns
random
tracking
Prior art date
Application number
KR1020180129172A
Other languages
Korean (ko)
Other versions
KR20200052429A (en
Inventor
고병철
남재열
김상준
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020180129172A priority Critical patent/KR102164950B1/en
Priority to PCT/KR2019/012101 priority patent/WO2020085653A1/en
Publication of KR20200052429A publication Critical patent/KR20200052429A/en
Application granted granted Critical
Publication of KR102164950B1 publication Critical patent/KR102164950B1/en

Links

Images

Classifications

    • G06K9/00362
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K9/46
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에 관한 것으로서, 보다 구체적으로는, 다수의 보행자 추적 방법으로서, (1) 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 단계; (2) 상기 단계 (1)에서 촬영된 영상에서 다수의 보행자를 탐지하는 단계; (3) 상기 단계 (2)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 단계; (4) 상기 단계 (3)에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 단계; 및 (5) 상기 단계 (4)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템(10)에 관한 것으로서, 보다 구체적으로는, 다수의 보행자 추적 시스템(10)으로서, 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 카메라부(100); 상기 카메라부(100)에서 촬영된 영상에서 다수의 보행자를 탐지하는 탐지부(200); 상기 탐지부(200)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 추출부(300); 상기 추출부(300)에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 학습부(400); 및 상기 학습부(400)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 추적부(500)를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템에 따르면, 심층 네트워크의 한 종류인 tiny YOLO를 사용하여 보행자의 특징값을 추출하고, 추출된 특징값을 이용하여 랜덤 펀(Random Ferns)을 학습함으로써, 실시간 학습이 가능하여 보행자의 형태변화, 크기변화로 인한 오-추적을 최소화할 수 있다.
또한, 본 발명에서 제안하고 있는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템에 따르면, 펀(Ferns)의 개수를 줄여 실시간 추적이 가능하도록 하기 위해, 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 사용하여, 빠르고 정확하게 다수의 보행자를 실시간으로 추적할 수 있다.
The present invention relates to a method for tracking a plurality of pedestrians using a teacher-student random fun, and more specifically, as a method for tracking a plurality of pedestrians, (1) photographing an image including a plurality of pedestrians from a camera installed in a moving vehicle. step; (2) detecting a plurality of pedestrians in the image captured in step (1); (3) extracting feature values by inputting an image including a plurality of pedestrians detected in step (2) into a deep network; (4) learning a Teacher-Student Random Ferns using the feature values extracted in step (3); And (5) tracking a plurality of pedestrians using the Teacher-Student Random Ferns learned in step (4).
In addition, the present invention relates to a plurality of pedestrian tracking systems 10 using a teacher-student random fun, and more specifically, as a plurality of pedestrian tracking systems 10, including a plurality of pedestrians in the camera installed in the moving vehicle A camera unit 100 for photographing an image; A detection unit 200 for detecting a plurality of pedestrians in the image captured by the camera unit 100; An extraction unit 300 for extracting a feature value by inputting an image including a plurality of pedestrians detected by the detection unit 200 into a deep network; A learning unit 400 for learning teacher-student random ferns using the feature values extracted by the extraction unit 300; And a tracking unit 500 for tracking a plurality of pedestrians using a teacher-student random fern learned in the learning unit 400.
According to a method and system for tracking a number of pedestrians using a teacher-student random fun proposed in the present invention, feature values of pedestrians are extracted using tiny YOLO, a kind of deep network, and the extracted feature values are used. By learning Random Ferns, real-time learning is possible, and mis-tracking due to changes in shape and size of pedestrians can be minimized.
In addition, according to the method and system for tracking a number of pedestrians using a teacher-student random fun proposed in the present invention, in order to enable real-time tracking by reducing the number of Ferns, a teacher-student random fun (Teacher- Student Random Ferns) can be used to quickly and accurately track large numbers of pedestrians in real time.

Description

교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템{METHOD AND SYSTEM FOR MULTI-PEDESTRIAN TRACKING USING TEACHER-STUDENT RANDOM FERNS}A method and system for tracking multiple pedestrians using teacher-student random fun {METHOD AND SYSTEM FOR MULTI-PEDESTRIAN TRACKING USING TEACHER-STUDENT RANDOM FERNS}

본 발명은 다수의 보행자 추적 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for tracking a plurality of pedestrians, and more particularly, to a method and system for tracking a plurality of pedestrians using a teacher-student random fun.

지능형 교통 시스템(Intelligent Transportation System, ITS)과 첨단 운전자 보조 시스템(Advanced Driver Assistance System, ADAS)에서 보행자와 차량의 충돌을 방지하기 위해, 보행자를 탐지하고 추적하는 기술은 필수적인 기술이다.
In order to prevent collisions between pedestrians and vehicles in Intelligent Transportation System (ITS) and Advanced Driver Assistance System (ADAS), technology for detecting and tracking pedestrians is essential.

능동적인 지능형 교통 시스템의 적절한 수준의 안전을 달성하기 위해, 첨단 운전자 보조 시스템에서는 이동 중인 모든 보행자를 추적하여 사전에 도로에 진입할 위험이 있는 보행자를 식별해야한다.
To achieve the appropriate level of safety in an active intelligent traffic system, advanced driver assistance systems must track all pedestrians on the move to identify pedestrians at risk of entering the road in advance.

보행자를 추적하는 여러 가지 방법 중에 칼만 필터(Kalman filter)를 이용하여 보행자를 추적하는 방법이 있다. 칼만 필터는 잡음이 포함되어 있는 역학적 상태를 추적하는 재귀 필터로서, 시간에 따라 진행한 측정을 기반으로 한다. 칼만 필터는 모션 모델과 측정 모델이 linear할 경우 또는 모션 모델과 측정 모델이 Gaussian 분포를 따를 경우에 상태 예측과 측정 업데이트를 반복적으로 수행하지만, 위의 두 가지 경우에 해당하지 않는다면 사용할 수 없다는 단점이 있다.
Among the various methods of tracking pedestrians, there is a method of tracking pedestrians using a Kalman filter. The Kalman filter is a recursive filter that tracks a mechanical state containing noise, and is based on measurements taken over time. The Kalman filter repeatedly performs state prediction and measurement update when the motion model and measurement model are linear, or when the motion model and measurement model follow Gaussian distribution, but it cannot be used unless the above two cases are applicable. have.

최근에는, 합성 곱 신경망(Convolutional Neural Network, CNN)을 이용하여 보행자를 추적하는 방법이 연구되고 있으나, 합성 곱 신경망을 이용하여 단일 보행자를 추적하기는 쉽지만, 다수의 보행자를 추적하기 위해서는 많은 양의 파라미터들이 필요하고, 처리해야하는 데이터의 양이 많아 실시간 추적 환경에 적합하지 않는 등의 문제점이 있다.
Recently, a method of tracking pedestrians using a convolutional neural network (CNN) has been studied, but it is easy to track a single pedestrian using a synthetic product neural network, but in order to track a large number of pedestrians, a large amount of There is a problem in that parameters are required and the amount of data to be processed is large, so that it is not suitable for a real-time tracking environment.

따라서, 적은 양의 파라미터를 이용하고 실시간 추적 환경에 적합한 다수의 보행자 추적 방법 및 시스템의 개발이 요구된다.
Therefore, it is required to develop a number of pedestrian tracking methods and systems that use a small amount of parameters and are suitable for a real-time tracking environment.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1588648호(발명의 명칭: 지능형 영상 감시를 위한 보행자 검출 및 추적 방법) 등이 개시된 바 있다.Meanwhile, as a prior art related to the present invention, Patent No. 10-1588648 (name of the invention: pedestrian detection and tracking method for intelligent video monitoring) has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 심층 네트워크의 한 종류인 tiny YOLO를 사용하여 보행자의 특징값을 추출하고, 추출된 특징값을 이용하여 랜덤 펀(Random Fern)을 학습함으로써, 실시간 학습이 가능하여 보행자의 형태변화, 크기변화로 인한 오-추적을 최소화할 수 있는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed to solve the above problems of the previously proposed methods, and extracts the feature values of pedestrians using tiny YOLO, a kind of deep network, and uses the extracted feature values to perform random fun ( Random Fern), which enables real-time learning to minimize mis-tracking due to change in shape and size of pedestrians, and to provide a number of pedestrian tracking methods and systems using teacher-student random fun. To do.

또한, 본 발명은, 펀(Ferns)의 개수를 줄여 실시간 추적이 가능하도록 하기 위해, 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 사용하여, 빠르고 정확하게 다수의 보행자를 실시간으로 추적할 수 있는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템을 제공하는 것을 다른 목적으로 한다.In addition, the present invention, in order to enable real-time tracking by reducing the number of Ferns, using a teacher-student random fern (Teacher-Student Random Ferns), it is possible to quickly and accurately track a large number of pedestrians in real time. Another object is to provide a method and system for tracking a number of pedestrians using a teacher-student random fun.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용한 다수의 보행자 추적 방법은,A plurality of pedestrian tracking methods using a teacher-student random fern according to a feature of the present invention for achieving the above object,

다수의 보행자 추적 방법으로서,As a number of pedestrian tracking methods,

(1) 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 단계;(1) taking an image including a plurality of pedestrians from a camera installed in a moving vehicle;

(2) 상기 단계 (1)에서 촬영된 영상에서 다수의 보행자를 탐지하는 단계;(2) detecting a plurality of pedestrians in the image captured in step (1);

(3) 상기 단계 (2)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 단계;(3) extracting feature values by inputting an image including a plurality of pedestrians detected in step (2) into a deep network;

(4) 상기 단계 (3)에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 단계; 및(4) learning a Teacher-Student Random Ferns using the feature values extracted in step (3); And

(5) 상기 단계 (4)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(5) It is characterized in that it comprises the step of tracking a plurality of pedestrians using the teacher-student random fun (Teacher-Student Random Ferns) learned in step (4).

바람직하게는, 상기 단계 (2)는,Preferably, the step (2),

(2-1) 상기 단계 (1)에서 촬영된 영상에서 보행자와 비-보행자를 구분하는 단계; 및(2-1) distinguishing between pedestrians and non-pedestrians in the image captured in step (1); And

(2-2) 상기 단계 (2-1)에서 구분된 보행자를 상기 다수의 보행자로 탐지하는 단계를 포함할 수 있다.
(2-2) It may include the step of detecting the pedestrians identified in step (2-1) as the plurality of pedestrians.

바람직하게는, 상기 단계 (3)에서의 심층 네트워크는,Preferably, the deep network in step (3),

합성 곱 신경망일 수 있다.
It can be a synthetic product neural network.

더욱 바람직하게는, 상기 합성 곱 신경망은, tiny YOLO일 수 있다.
More preferably, the synthetic product neural network may be tiny YOLO.

더더욱 바람직하게는, 상기 tiny YOLO는,Even more preferably, the tiny YOLO,

9개의 콘볼루션 레이어(Convolution layers), 6개의 맥스 풀링 레이어(Max pooling layers) 및 1개의 완전 연결 레이어(fully connected layers)로 구성될 수 있다.
It may consist of 9 convolution layers, 6 max pooling layers, and 1 fully connected layer.

바람직하게는, 상기 단계 (3)에서는,Preferably, in step (3),

상기 단계 (2)에서 탐지된 다수의 보행자별로 특징값을 추출할 수 있다.
Feature values may be extracted for each of the plurality of pedestrians detected in step (2).

바람직하게는, 상기 단계 (4)는,Preferably, the step (4),

(4-1) 상기 단계 (3)에서 추출된 특징값을 이용하여 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 단계; 및(4-1) learning Teacher Random Ferns using the feature values extracted in step (3); And

(4-2) 상기 단계 (4-1)에서 학습된 교사 랜덤 펀(Teacher Random Fern)을 이용하여 학생 랜덤 펀(Student Random Fern)을 학습하는 단계를 포함할 수 있다.
(4-2) It may include the step of learning a Student Random Fern using the Teacher Random Fern learned in step (4-1).

더욱 바람직하게는, 상기 교사 랜덤 펀(Teacher Random Ferns)은,More preferably, the teacher random fern (Teacher Random Ferns),

복수개의 펀(Fern)을 가질 수 있다.
You can have a plurality of Ferns.

더욱 바람직하게는, 상기 학생 랜덤 펀(Student Random Ferns)은,More preferably, the Student Random Ferns,

상기 교사 랜덤 펀(Teacher Random Ferns)보다 펀(Fern)의 개수가 적을 수 있다.
The number of Ferns may be smaller than that of the Teacher Random Ferns.

바람직하게는, 상기 단계 (5)에서는,Preferably, in step (5),

상기 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 펀(Fern)의 개수를 줄여 다수의 보행자를 추적할 수 있다.
By using the learned teacher-student random ferns, the number of ferns may be reduced to track a plurality of pedestrians.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템은,A plurality of pedestrian tracking systems using a teacher-student random fun according to a feature of the present invention for achieving the above object,

다수의 보행자 추적 시스템으로서,As a multiple pedestrian tracking system,

움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 카메라부;A camera unit for photographing an image including a plurality of pedestrians from a camera installed in a moving vehicle;

상기 카메라부에서 촬영된 영상에서 다수의 보행자를 탐지하는 탐지부;A detection unit for detecting a plurality of pedestrians in the image captured by the camera unit;

상기 탐지부에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 추출부;An extraction unit for extracting a feature value by inputting an image including a plurality of pedestrians detected by the detection unit into a deep network;

상기 추출부에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 학습부; 및A learning unit for learning teacher-student random ferns using the feature values extracted from the extraction unit; And

상기 학습부에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 추적부를 포함하는 것을 그 구성상의 특징으로 한다.
It is characterized in that it comprises a tracking unit for tracking a plurality of pedestrians using the teacher-student random fern (Teacher-Student Random Ferns) learned in the learning unit.

바람직하게는, 상기 탐지부는,Preferably, the detection unit,

상기 카메라부에서 촬영된 영상에서 보행자와 비-보행자를 구분하는 구분 모듈; 및A classification module for distinguishing pedestrians and non-pedestrians from the image captured by the camera unit; And

상기 구분 모듈에서 구분된 보행자를 상기 다수의 보행자로 탐지하는 탐지 모듈을 포함할 수 있다.
It may include a detection module for detecting the pedestrians classified by the classification module as the plurality of pedestrians.

바람직하게는, 상기 심층 네트워크는, 합성 곱 신경망일 수 있다.
Preferably, the deep network may be a synthetic product neural network.

더욱 바람직하게는, 상기 합성 곱 신경망은, tiny YOLO일 수 있다.
More preferably, the synthetic product neural network may be tiny YOLO.

더더욱 바람직하게는, 상기 tiny YOLO는,Even more preferably, the tiny YOLO,

9개의 콘볼루션 레이어(Convolution layers), 6개의 맥스 풀링 레이어(Max pooling layers) 및 1개의 완전 연결 레이어(fully connected layers)로 구성될 수 있다.
It may consist of 9 convolution layers, 6 max pooling layers, and 1 fully connected layer.

바람직하게는, 상기 추출부는,Preferably, the extraction unit,

상기 탐지부에서 탐지된 다수의 보행자별로 특징값을 추출할 수 있다.
A feature value may be extracted for each of a plurality of pedestrians detected by the detector.

바람직하게는, 상기 학습부는,Preferably, the learning unit,

상기 추출부에서 추출된 특징값을 이용하여 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 제1 학습 모듈; 및A first learning module for learning teacher random ferns using feature values extracted from the extraction unit; And

상기 제1 학습 모듈에서 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여 학생 랜덤 펀(Student Random Ferns)을 학습하는 제2 학습 모듈을 포함할 수 있다.
A second learning module for learning Student Random Ferns by using Teacher Random Ferns learned in the first learning module may be included.

더욱 바람직하게는, 상기 교사 랜덤 펀(Teacher Random Ferns)은,More preferably, the teacher random fern (Teacher Random Ferns),

복수개의 펀(Fern)을 가질 수 있다.
You can have a plurality of Ferns.

더욱 바람직하게는, 상기 학생 랜덤 펀(Student Random Ferns)은,More preferably, the Student Random Ferns,

상기 교사 랜덤 펀(Teacher Random Ferns)보다 펀(Fern)의 개수가 적을 수 있다.
The number of Ferns may be smaller than that of the Teacher Random Ferns.

바람직하게는, 상기 추적부는,Preferably, the tracking unit,

상기 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 펀(Fern)의 개수를 줄여 다수의 보행자를 추적할 수 있다.By using the learned teacher-student random ferns, the number of ferns may be reduced to track a plurality of pedestrians.

본 발명에서 제안하고 있는 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템에 따르면, 심층 네트워크의 한 종류인 tiny YOLO를 사용하여 보행자의 특징값을 추출하고, 추출된 특징값을 이용하여 랜덤 펀(Random Ferns)을 학습함으로써, 실시간 학습이 가능하여 보행자의 형태변화, 크기변화로 인한 오-추적을 최소화할 수 있다.
According to the method and system for tracking a number of pedestrians using a teacher-student random fun proposed in the present invention, feature values of pedestrians are extracted using tiny YOLO, a kind of deep network, and randomized using the extracted feature values. By learning random ferns, real-time learning is possible, thus minimizing mis-tracking caused by changes in shape and size of pedestrians.

또한, 본 발명에서 제안하고 있는 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템에 따르면, 펀(Ferns)의 개수를 줄여 실시간 추적이 가능하도록 하기 위해, 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 사용하여, 빠르고 정확하게 다수의 보행자를 실시간으로 추적할 수 있다.In addition, according to the method and system for tracking a number of pedestrians using a teacher-student random fun proposed in the present invention, in order to enable real-time tracking by reducing the number of Ferns, a teacher-student random fun (Teacher-Student) Random Ferns) can be used to quickly and accurately track a large number of pedestrians in real time.

도 1은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 흐름도를 도시한 도면.
도 2는 심층 네트워크 중 MLP(Multi-Layer Perceptron) 네트워크를 설명하기 위해 도시한 도면.
도 3은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 단계 S210을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 단계 S300을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 전체적인 과정을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서 학생 랜덤 펀(Student Random Ferns)을 학습하는 알고리즘을 도시한 도면.
도 9는 (a) QuadMOT를 이용하여 다수의 보행자를 추적한 모습과 (b) 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법을 이용하여 다수의 보행자를 추적한 모습을 비교하기 위해 도시한 도면.
도 10은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템의 구성을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템에 있어서 탐지부의 세부적인 구성을 도시한 도면.
도 12는 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템에 있어서 학습부의 세부적인 구성을 도시한 도면.
1 is a view showing a flowchart of a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention.
2 is a diagram illustrating a multi-layer perceptron (MLP) network among deep networks.
3 is a diagram showing a detailed flow of step S200 in a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention.
4 is a diagram illustrating a step S210 of a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention.
5 is a diagram illustrating a step S300 of a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention.
6 is a diagram showing a detailed flow of step S400 in a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention.
7 is a diagram illustrating an overall process of learning a teacher random fern in a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating an algorithm for learning student random ferns in a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention.
9 is (a) a state of tracking a number of pedestrians using QuadMOT and (b) tracking a number of pedestrians using a method of tracking a number of pedestrians using a teacher-student random fun according to an embodiment of the present invention. A drawing shown for comparison.
10 is a diagram showing the configuration of a plurality of pedestrian tracking systems using a teacher-student random fun according to an embodiment of the present invention.
11 is a diagram showing a detailed configuration of a detection unit in a plurality of pedestrian tracking systems using a teacher-student random fun according to an embodiment of the present invention.
12 is a diagram showing a detailed configuration of a learning unit in a plurality of pedestrian tracking systems using a teacher-student random fun according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the same or similar reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is said to be'connected' to another part, it is not only'directly connected', but also'indirectly connected' with another element in the middle. Include. In addition, "including" a certain component means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 각각의 단계는 컴퓨터 장치에 의해 수행될 수 있다. 이하에서는 설명의 편의를 위해 각각의 단계에서 수행 주체가 생략될 수도 있다.
Each step of the method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention may be performed by a computer device. Hereinafter, for convenience of description, the performing subject may be omitted in each step.

도 1은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 흐름도를 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법은, 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 단계(S100), 단계 S100에서 촬영된 영상에서 다수의 보행자를 탐지하는 단계(S200), 단계 S200에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 단계(S300), 단계 S300에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 단계(S400), 및 단계 S400에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 단계(S500)를 포함하여 구현될 수 있다.
1 is a view showing a flowchart of a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention. As shown in Figure 1, the method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention, the step of photographing an image including a plurality of pedestrians from a camera installed in a moving vehicle (S100) , The step of detecting a plurality of pedestrians from the image captured in step S100 (S200), the step of extracting a feature value by inputting the image including the plurality of pedestrians detected in step S200 into the deep network (S300), in step S300 Using the extracted feature values, learning a teacher-student random ferns (S400), and using a teacher-student random ferns learned in step S400 It may be implemented including the step (S500) of tracking a pedestrian.

이하에서는 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 각 단계에 대해 설명하기 전에, 본 발명에서 사용되는 심층 네트워크 및 랜덤 펀(Random Ferns)에 대하여 먼저 상세히 설명하도록 한다.
Hereinafter, before describing each step of a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention, a deep network and a random fern used in the present invention will be first described in detail. Do it.

인공신경망(Artificial Neural Network, ANN)은 기계학습과 인지과학에서 사용되며, 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 네트워크 전반을 가리킨다. 좁은 의미에서는 오차역전파법을 이용한 다층 퍼셉트론을 가리키는 경우도 있지만, 이것은 잘못된 용법으로, 인공신경망은 이에 국한되지 않는다.
Artificial Neural Network (ANN) is used in machine learning and cognitive science, and is a statistical learning algorithm inspired by biological neural networks (especially the brain among animals' central nervous systems). The artificial neural network refers to the overall network having problem-solving ability by changing the strength of synaptic bonding through learning by artificial neurons (nodes) that form a network through synaptic bonding. In a narrow sense, it may refer to a multilayer perceptron using error backpropagation, but this is an incorrect usage, and artificial neural networks are not limited thereto.

심층 네트워크 또는 심층 신경망(Deep Neural Network, DNN)은, 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이루어진 인공신경망이다. 심층 네트워크는 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 예를 들어, 물체 식별 모델을 위한 심층 네트워크 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있는데, 이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다. 심층 네트워크의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛들만으로도 복잡한 데이터를 모델링할 수 있게 해준다.
A deep network or a deep neural network (DNN) is an artificial neural network composed of several hidden layers between an input layer and an output layer. Deep networks, like general artificial neural networks, can model complex non-linear relationships. For example, in a deep network structure for an object identification model, each object may be represented as a hierarchical structure of basic elements of an image, and in this case, additional layers may aggregate features of progressively gathered lower layers. This feature of deep networks makes it possible to model complex data with fewer units than similarly performed artificial neural networks.

도 2는 심층 네트워크 중 MLP(Multi-Layer Perceptron) 네트워크를 설명하기 위해 도시한 도면이다. 도 2에 도시된 바와 같이, MLP 네트워크는 입력층과 출력층 사이에 하나 이상의 중간층이 존재하는 신경망으로, 입력층과 출력층 사이에 중간층을 은닉층(hidden layer) 이라고 부른다. 네트워크는 입력층, 은닉층, 출력층 방향으로 연결되어 있으며, 각 층 내의 연결과 출력층에서 입력층으로의 직접적인 연결은 존재하지 않는 전방향(Feedforward) 네트워크이다.
FIG. 2 is a diagram illustrating a multi-layer perceptron (MLP) network among deep networks. As shown in FIG. 2, the MLP network is a neural network in which at least one intermediate layer exists between an input layer and an output layer, and an intermediate layer between the input layer and the output layer is called a hidden layer. The network is connected in the direction of the input layer, the hidden layer, and the output layer, and there is no connection within each layer and a direct connection from the output layer to the input layer, which is a feedforward network.

MLP 네트워크는, 단층 perceptron과 유사한 구조를 가지고 있지만 중간층과 각 unit의 입출력 특성을 비선형으로 함으로써, 네트워크의 능력을 향상시켜 단층 perceptron의 여러 가지 단점을 극복하였다. MLP 네트워크는 층의 개수가 증가할수록 perceptron이 형성하는 결정 구역의 특성은 더욱 고급화된다. 보다 구체적으로는, 단층일 경우 패턴공간을 두 구역으로 나누어주고, 2층인 경우 볼록한(convex) 개구역 또는 오목한 폐구역을 형성하며, 3층인 경우에는 이론상 어떠한 형태의 구역도 형성할 수 있다.
The MLP network has a structure similar to that of a single-layer perceptron, but by making the input/output characteristics of the intermediate layer and each unit nonlinear, the network's capability is improved and various disadvantages of the single-layer perceptron have been overcome. In the MLP network, as the number of layers increases, the characteristics of the crystal regions formed by the perceptron become more advanced. More specifically, in the case of a single layer, the pattern space is divided into two areas, a convex open area or a concave closed area is formed in the case of the second layer, and in the case of the third layer, any type of area can theoretically be formed.

일반적으로, 입력층의 각 unit에 입력 데이터를 제시하면, 이 신호는 각 unit에서 변환되어 중간층에 전달되고, 최종적으로 출력층으로 출력되게 되는데, 이 출력값과 원하는 출력값을 비교하여 그 차이를 감소시키는 방향으로 연결강도를 조절하여 MLP 네트워크를 학습시킬 수 있다.
In general, when input data is presented to each unit of the input layer, this signal is converted in each unit, transmitted to the intermediate layer, and finally output to the output layer. The direction of reducing the difference by comparing this output value with the desired output value The MLP network can be trained by adjusting the connection strength.

합성 곱 신경망(Convolutional Neural Network, CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 MLP 네트워크의 한 종류이다. 합성 곱 신경망은, 하나 또는 여러 개의 콘볼루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전 연결 계층(fully connected layer)들로 구성된 신경망으로서, 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전파 알고리즘(Backpropagation algorithm)을 통해 훈련될 수 있어, 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용될 수 있다.
The convolutional neural network (CNN) is a type of MLP network designed to use minimal preprocessing. A composite product neural network is a neural network composed of one or several convolutional layers, a pooling layer, and a fully connected layer, and has a structure suitable for learning 2D data. Since it can be trained through a backpropagation algorithm, it can be widely used in various application fields such as object classification and object detection in images.

콘볼루션 계층은, 입력 데이터로부터 특징을 추출하는 역할을 할 수 있다. 콘볼루션 계층은 특징을 추출하는 기능을 하는 필터(filter)와, 필터에서 추출된 값을 비선형 값으로 바꾸어주는 액티베이션 함수(activation function)로 이루어질 수 있다.
The convolutional layer may serve to extract features from input data. The convolutional layer may consist of a filter that extracts features and an activation function that converts a value extracted from the filter into a nonlinear value.

합성 곱 신경망은, 경사하강법(gradient descent)과 역전파(backpropagation) 알고리즘을 통해 학습시킬 수 있다. 이때, 경사하강법은 1차 근사값 발견용 최적화 알고리즘으로서, 함수의 기울기(경사)를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값에 이를 때까지 반복시키는 방법이고, 역전파 알고리즘은, 다층 퍼셉트론 학습에 사용되는 통계적 기법을 의미하는 것으로서, 동일 입력층에 대해 원하는 값이 출력되도록 개개의 가중치(weight)를 조정하는 방법이다.
Synthetic product neural networks can be trained through gradient descent and backpropagation algorithms. At this time, the gradient descent method is an optimization algorithm for finding a first-order approximation, and it is a method of obtaining the slope of the function (inclination) and continuously moving it toward the lower slope until it reaches the extreme value. It refers to a statistical technique that is used, and is a method of adjusting individual weights so that a desired value is output for the same input layer.

랜덤 펀(Random Ferns)는 2007년 Ozuysal가 제안한 방법으로서, Bayes 이론을 변형한 방법이다. 랜덤 펀(Random Ferns)은 특징 함수들 간의 상관관계를 고려하여 Bayes 이론의 한계를 극복하였다. 또한, 두 픽셀간의 차이를 이용한 특징 함수를 구현하여 간단하면서 빠른 연산을 할 수 있다. 랜덤 펀(Random Ferns)의 성능은 랜덤 트리(Random Tree)보다 우수한 분류 성능을 가지며, SIFT의 물체 인식률과 동일한 성능과 SIFT보다 빠른 연산속도를 가진다.
Random Ferns, a method proposed by Ozuysal in 2007, is a modification of Bayes' theory. Random Ferns overcomes the limitations of Bayes' theory by considering the correlation between feature functions. In addition, a simple and fast calculation can be performed by implementing a feature function using the difference between two pixels. The performance of Random Ferns has better classification performance than that of Random Tree, and has the same performance as the object recognition rate of SIFT and faster operation speed than SIFT.

랜덤 펀(Random Ferns)은 다음과 같은 과정을 통해 정의될 수 있다.
Random Ferns can be defined through the following process.

H개의 다중 클래스를 cz, z = 1,…,H 로 정의하고, N개의 특징 추출 함수를 fj, j = 1,…,K 로 정의했을 때, 클래스를 확률로 분류하면 다음 수학식 1과 같이 정의할 수 있다.H multiple classes c z , z = 1,... ,H, and N feature extraction functions f j , j = 1,... When ,K is defined, class is classified by probability, and can be defined as in Equation 1 below.

Figure 112018106205254-pat00001
Figure 112018106205254-pat00001

Bayes 정의를 이용하여 수학식 1을 다음 수학식 2와 같이 정의할 수 있다.Equation 1 may be defined as in Equation 2 below using Bayes definition.

Figure 112018106205254-pat00002
Figure 112018106205254-pat00002

수학식 2에서 P(C)와 P(f1,f2,…,fk)를 정해진 확률값으로 가정하면, 다중 클래스 cz는 다음 수학식 3과 같이 정의될 수 있다.Assuming that P(C) and P(f 1 ,f 2 ,...,f k ) in Equation 2 are predetermined probability values, the multi-class c z may be defined as in Equation 3 below.

Figure 112018106205254-pat00003
Figure 112018106205254-pat00003

수학식 3에서 P(f1,f2,…,fk|C=cz)를 구하기 위해 각 특징 추출 함수들을 독립적으로 생각한다면, 다음 수학식 4와 같이 계산할 수 있다.If each feature extraction function is independently considered to obtain P(f 1 ,f 2 ,...,f k |C=c z ) in Equation 3, it can be calculated as in Equation 4 below.

Figure 112018106205254-pat00004
Figure 112018106205254-pat00004

하지만, 일반적으로 몇몇 특징 추출 함수들끼리 의존적인 특징을 보이기 때문에 이를 고려하기 위해, 랜덤 펀(Random Ferns)은 특징 추출 함수들 사이에 상관관계가 있다고 가정하고, 상관관계가 있는 특징 추출 함수들을 묶어 하나의 펀(fern)이라고 지칭한다. 랜덤 펀(Random Ferns)을 이용하면 수학식 4를 다음 수학식 5와 같이 수정할 수 있다.However, in general, since some feature extraction functions show dependent features, in order to consider this, Random Ferns assumes that there is a correlation between feature extraction functions, and combines the feature extraction functions with correlations. It is referred to as a fern. When using random ferns, Equation 4 can be modified as shown in Equation 5 below.

Figure 112018106205254-pat00005
Figure 112018106205254-pat00005

수학식 5에서 Fk = {fa(k,1),fa(k,2),…,fa(k,S)} = 1,…,M 는 k번째 펀(ferns)을 나타내는데 내부에 S개의 특징 추출 함수를 포함하고 있다. a(k,j)는 범위가 1,…,N 인 랜덤 순열 함수로 S개의 특징 추출 함수가 임의로 선택된다. 이를 통해, 랜덤 펀(Random Ferns)은 M개의 펀(fern)의 결과를 이용하여 분류를 수행한다.
In Equation 5, F k = (f a(k,1) ,f a(k,2) ,... ,f a(k,S) } = 1,… ,M denotes the k-th ferns, and contains S feature extraction functions. a(k,j) has a range of 1,... As a random permutation function of ,N, S feature extraction functions are randomly selected. Through this, random ferns perform classification using the results of M ferns.

이하에서는, 전술한 바와 같은 심층 네트워크 및 랜덤 펀(Random Ferns)을 이용하는, 본 발명에서 제안하고 있는 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 각각의 단계에 대해 상세히 설명하기로 한다.
Hereinafter, each step of a method for tracking a plurality of pedestrians using a teacher-student random fun proposed in the present invention using the above-described deep network and random ferns will be described in detail.

단계 S100에서는, 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영할 수 있다. 능동적인 지능형 교통 시스템이 적절한 수준의 안전을 달성하기 위해서는, 첨단 운전자 보조 시스템에서 이동 중인 모든 보행자를 추적하여 사전에 도로에 진입할 위험이 있는 보행자를 식별하여야 하므로, 단계 S100에서는, 움직이는 자동차에 설치된 카메라를 통해 다수의 보행자가 포함된 영상을 촬영할 수 있다.
In step S100, an image including a plurality of pedestrians may be captured by a camera installed in a moving vehicle. In order for an active intelligent traffic system to achieve an appropriate level of safety, the advanced driver assistance system must track all pedestrians in motion and identify pedestrians who are at risk of entering the road in advance. It is possible to take an image including a number of pedestrians through the camera.

단계 S200에서는, 단계 S100에서 촬영된 영상에서 다수의 보행자를 탐지할 수 있다. 도 3은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 단계 S200은, 단계 S100에서 촬영된 영상에서 보행자와 비-보행자를 구분하는 단계(S210), 및 단계 S210에서 구분된 보행자를 다수의 보행자로 탐지하는 단계(S220)를 포함하여 구현될 수 있다.
In step S200, a plurality of pedestrians may be detected in the image captured in step S100. 3 is a diagram showing a detailed flow of step S200 in a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention. As shown in Figure 3, step S200 of the method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention, the step of distinguishing a pedestrian and a non-pedestrian in the image taken in step S100 ( S210), and detecting a pedestrian identified in step S210 as a plurality of pedestrians (S220).

도 4는 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 단계 S210을 설명하기 위해 도시한 도면이다. 도 4에 도시된 바와 같이, 단계 S210에서는 단계 S100에서 촬영된 영상에서 보행자와 비-보행자를 구분할 수 있다. 이때, 보행자는 사람이 될 수 있으며, 비-보행자는 전봇대, 나무, 건물 등이 될 수 있다.
4 is a diagram illustrating a step S210 of a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention. As shown in FIG. 4, in step S210, pedestrians and non-pedestrians may be distinguished from the image captured in step S100. At this time, the pedestrian can be a person, and the non-pedestrian can be a power pole, a tree, or a building.

단계 S220에서는, 단계 S210에서 구분된 보행자를 다수의 보행자로 탐지할 수 있다. 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서는, 다수의 보행자를 탐지하여 이를 심층 네트워크에 입력하여 각각의 보행자들의 특징값을 추출해야 하므로, 단계 S220에서는, 단계 S210에서 구분된 보행자를 다수의 보행자로 탐지하여, 이하에서 설명하는 단계 S300의 심층 네트워크에 입력하여 각각의 보행자들의 특징값을 추출하도록 할 수 있다.
In step S220, the pedestrian identified in step S210 may be detected as a plurality of pedestrians. In the method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention, since the feature values of each pedestrian must be extracted by detecting a plurality of pedestrians and inputting them to a deep network, in step S220, A pedestrian identified in S210 may be detected as a plurality of pedestrians, and the feature values of each pedestrian may be extracted by inputting it into the deep network of step S300 described below.

도 5는 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 단계 S300을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 단계 S300에서는, 단계 S200에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출할 수 있다.
5 is a diagram illustrating a step S300 of a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention. As shown in FIG. 5, in step S300 of a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention, an image including a plurality of pedestrians detected in step S200 is input to a deep network. Thus, the feature value can be extracted.

보다 구체적으로는, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 단계 S300에서는, 심층 네트워크로서, 합성 곱 신경망의 한 종류인 tiny YOLO를 사용하여, 단계 S200에서 탐지된 다수의 보행자가 포함된 영상에서 보행자별로 특징값을 추출할 수 있다.
More specifically, in step S300 of the method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention, tiny YOLO, a kind of synthetic multiplication neural network, is used as a deep network, in step S200. A feature value for each pedestrian may be extracted from an image including a plurality of detected pedestrians.

tiny YOLO는, 9개의 콘볼루션 레이어(Convolution layers), 6개의 맥스 풀링 레이어(Max pooling layers) 및 1개의 완전 연결 레이어(fully connected layers)로 구성될 수 있다. 이때, 보행자의 특징값은 tiny YOLO의 마지막 레이어인 완전 연결 레이어를 통해 추출할 수 있다.
Tiny YOLO may be composed of 9 convolution layers, 6 max pooling layers, and 1 fully connected layer. At this time, the characteristic value of the pedestrian can be extracted through the fully connected layer, which is the last layer of tiny YOLO.

단계 S400에서는, 단계 S300에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습할 수 있다. 도 6은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서, 단계 S400의 세부적인 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 단계 S400은, 단계 S300에서 추출된 특징값을 이용하여 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 단계(S410), 및 단계 S410에서 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여 학생 랜덤 펀(Student Random Ferns)을 학습하는 단계(S420)를 포함하여 구현될 수 있다.
In step S400, a teacher-student random ferns may be learned using the feature values extracted in step S300. 6 is a diagram showing a detailed flow of step S400 in a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention. As shown in FIG. 6, step S400 of the method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention includes a teacher random fun using the feature values extracted in step S300. ) Learning (S410), and learning a Student Random Ferns using the Teacher Random Ferns learned in step S410 (S420).

교사-학생 랜덤 펀(Teacher-Student Random Ferns)은 랜덤 펀(Random Ferns)으로 구성된 추적기이다. 교사 랜덤 펀(Teacher Random Ferns)은, 많은 양의 학습 데이터를 기반으로 구성되기 때문에, 높은 추적 성능을 갖지만, 추적 속도가 느려 실시간으로 보행자를 추적하기는 어려울 수 있다. 따라서, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법은, 학생 랜덤 펀(Student Random Ferns)을 사용하여 교사 랜덤 펀(Teacher Random Ferns)의 추적 성능은 유지하면서 펀(Ferns)의 개수를 줄여 이전보다 빠르고 정확하게 보행자를 추적할 수 있다.
Teacher-Student Random Ferns is a tracker made up of Random Ferns. Teacher Random Ferns, because it is constructed based on a large amount of learning data, has high tracking performance, but it may be difficult to track pedestrians in real time due to a slow tracking speed. Accordingly, a method for tracking a number of pedestrians using a teacher-student random fun according to an embodiment of the present invention is a fun method while maintaining the tracking performance of a teacher random fern using a student random fern (Student Random Ferns). By reducing the number of (Ferns), pedestrians can be tracked faster and more accurately than before.

도 7은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 전체적인 과정을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서 교사 랜덤 펀(Teacher Random Ferns)은, 단계 S200에서 다수의 보행자를 탐지하고, 탐지된 다수의 보행자가 포함된 영상을 단계 S300에서 심층 네트워크에 입력하여 추출된 특징값을 이용하여 학습될 수 있다. 이때, 교사 랜덤 펀(Teacher Random Ferns)은 복수개의 펀(Fern)을 가질 수 있으며, 예를 들어, 1부터 L까지(L은 자연수) L개의 펀(Fern)을 가질 수 있다.
FIG. 7 is a diagram illustrating an overall process of learning a teacher random fern in a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention. As shown in FIG. 7, in a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention, a Teacher Random Ferns detects and detects a plurality of pedestrians in step S200. An image including a plurality of pedestrians may be input to the deep network in step S300 and learned using the extracted feature values. In this case, the Teacher Random Ferns may have a plurality of Ferns, for example, 1 to L (L is a natural number) and L Ferns.

단계 S410에서는, 단계 S300에서 추출된 특징값을 이용하여 교사 랜덤 펀(Teacher Random Ferns)을 학습할 수 있다. 보다 구체적으로, 단계 S300에서 추출된 보행자의 특징값과 합성 곱 신경망 중의 한 종류인 tiny YOLO를 이용하여 교사 랜덤 펀(Teacher Random Ferns)을 학습할 수 있다.
In step S410, teacher random ferns may be learned using the feature values extracted in step S300. More specifically, teacher random ferns may be trained using tiny YOLO, one of the characteristic values of the pedestrians extracted in step S300 and the synthetic product neural network.

단계 S420에서는, 단계 S410에서 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여 학생 랜덤 펀(Student Random Ferns)을 학습할 수 있다. 보다 구체적으로는, 단계 S410을 통해 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여, 보행자가 처음 또는 두 번 이상 등장하였는지 경우를 나누어서 학습할 수 있습니다.
In step S420, student random ferns may be learned using the teacher random ferns learned in step S410. More specifically, using the Teacher Random Ferns learned through step S410, it is possible to learn by dividing whether a pedestrian appears first or more than once.

도 8은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서 학생 랜덤 펀(Student Random Ferns)을 학습하는 알고리즘을 도시한 도면이다. 도 8의 알고리즘을 통해, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서 보행자가 처음 등장한 경우의 학생 랜덤 펀(Student Random Ferns)을 학습할 수 있다. 이때, 단계 S200을 통하여 탐지된 보행자의 숫자만큼 위의 알고리즘을 반복하여 학생 랜덤 펀(Student Random Ferns)을 학습할 수 있다.
FIG. 8 is a diagram illustrating an algorithm for learning a student random fern in a method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention. Through the algorithm of FIG. 8, in the method for tracking a number of pedestrians using a teacher-student random fun according to an embodiment of the present invention, a student random fern when a pedestrian first appears can be learned. At this time, the above algorithm may be repeated as many as the number of pedestrians detected through step S200 to learn Student Random Ferns.

보행자가 두 번 이상 등장한 경우에는, 현재 프레임에서 탐지된 보행자와 이전 프레임의 학생 랜덤 펀(Student Random Ferns)이 학습한 보행자가 일치한다면, 두 프레임 사이에 데이터 연결이 수행되어, 학생 랜덤 펀(Student Random Ferns)이 새롭게 업데이트되어 학습할 수 있다.
When a pedestrian appears more than once, if the pedestrian detected in the current frame and the pedestrian learned by the Student Random Ferns in the previous frame match, data connection is performed between the two frames, and the Student Random Ferns Random Ferns) has been updated and can be learned.

도 8의 알고리즘의 마지막 부분에 도시된 바와 같이, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에서 학생 랜덤 펀(Student Random Ferns)에서 펀(Fern)의 개수는 교사 랜덤 펀(Teacher Random Ferns)보다 적을 수 있다.
As shown in the last part of the algorithm of FIG. 8, the number of Ferns in Student Random Ferns in a plurality of pedestrian tracking methods using a teacher-student random fun according to an embodiment of the present invention is May be less than Teacher Random Ferns.

단계 S500에 있어서, 단계 S400에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적할 수 있다. 보다 구체적으로는, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법의 단계 S500에서는, 단계 S400에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 펀(Fern)의 개수를 줄여 다수의 보행자를 추적할 수 있다.
In step S500, a plurality of pedestrians may be tracked using a teacher-student random fern learned in step S400. More specifically, in step S500 of the method for tracking a plurality of pedestrians using a teacher-student random fun according to an embodiment of the present invention, a teacher-student random fern learned in step S400 is used. You can track a large number of pedestrians by reducing the number of ferns.

도 9는 (a) QuadMOT를 이용하여 다수의 보행자를 추적한 모습과 (b) 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법을 이용하여 다수의 보행자를 추적한 모습을 비교하기 위해 도시한 도면이다. 이때, 뒤의 프레임에서 학생 랜덤 펀(Student Random Ferns)이 동일한 보행자로 판단할 경우, 동일한 색상의 상자로 표시된다. 도 9의 (a)를 살펴보면, QuadMOT를 이용하여 다수의 보행자를 추적한 경우에는 카메라의 움직임이 크거나 보행자들이 서로 겹치는 현상이 발생하게 된다면, 보행자 추적이 누락되거나(네 번째 영상의 노란색 화살표), 다른 보행자를 추적하는 문제가 있다(세 번째 영상의 빨간색 화살표).
9 is (a) a state of tracking a number of pedestrians using QuadMOT and (b) tracking a number of pedestrians using a method of tracking a number of pedestrians using a teacher-student random fun according to an embodiment of the present invention. It is a drawing shown to compare appearances. At this time, if the student random ferns are determined to be the same pedestrians in the subsequent frame, they are displayed as boxes of the same color. Referring to (a) of FIG. 9, when a number of pedestrians are tracked using QuadMOT, if the camera movement is large or pedestrians overlap each other, the pedestrian tracking is omitted (yellow arrow in the fourth image). , There is a problem tracking other pedestrians (red arrow in the third video).

하지만, 도 9의 (b)를 살펴보면, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법을 이용하여 보행자를 추적한 경우에는, 학생 랜덤 펀(Student Random Ferns)이 새롭게 업데이트하여 학습함으로써, 보행자 추적이 누락되거나, 중간에 다른 보행자를 추적하는 현상이 발생하지 않는다.
However, looking at (b) of FIG. 9, in the case of tracking pedestrians using a plurality of pedestrian tracking methods using a teacher-student random fun according to an embodiment of the present invention, a student random fun (Student Random Ferns) is By newly updating and learning, the phenomenon of missing pedestrian tracking or tracking other pedestrians in the middle does not occur.

도 10은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템(10)의 구성을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템(10)은, 카메라부(100), 탐지부(200), 추출부(300), 학습부(400) 및 추적부(500)를 포함하여 구성될 수 있다.
10 is a diagram showing the configuration of a plurality of pedestrian tracking system 10 using a teacher-student random fun according to an embodiment of the present invention. As shown in FIG. 10, a plurality of pedestrian tracking systems 10 using a teacher-student random fun according to an embodiment of the present invention includes a camera unit 100, a detection unit 200, and an extraction unit 300 , It may be configured to include a learning unit 400 and a tracking unit 500.

보다 구체적으로는, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템(10)은, 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 카메라부(100), 카메라부(100)에서 촬영된 영상에서 다수의 보행자를 탐지하는 탐지부(200), 탐지부(200)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 추출부(300), 추출부(300)에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 학습부(400), 및 학습부(400)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 추적부(500)를 포함하여 구성될 수 있다.
More specifically, a plurality of pedestrian tracking systems 10 using a teacher-student random fun according to an embodiment of the present invention, a camera unit 100 for photographing an image including a plurality of pedestrians from a camera installed in a moving vehicle. ), a detection unit 200 that detects a plurality of pedestrians from an image captured by the camera unit 100, an image including a plurality of pedestrians detected by the detection unit 200 is input to a deep network to extract feature values The extraction unit 300, the learning unit 400 for learning teacher-student random ferns using the feature values extracted from the extraction unit 300, and the teacher learned in the learning unit 400 -It may be configured to include a tracking unit 500 for tracking a plurality of pedestrians using a student random fun (Teacher-Student Random Ferns).

도 11은 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템(10)에 있어서 탐지부의 세부적인 구성을 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템에(10) 있어서 탐지부(200)는, 카메라부(100)에서 촬영된 영상에서 보행자와 비-보행자를 구분하는 구분 모듈(210), 및 구분 모듈(210)에서 구분된 보행자를 상기 다수의 보행자로 탐지하는 탐지 모듈(220)을 포함하여 구성될 수 있다.
11 is a diagram showing a detailed configuration of a detection unit in a plurality of pedestrian tracking system 10 using a teacher-student random fun according to an embodiment of the present invention. As shown in FIG. 11, in the plurality of pedestrian tracking systems 10 using a teacher-student random fun according to an embodiment of the present invention, the detection unit 200 is in the image captured by the camera unit 100 It may be configured to include a classification module 210 that distinguishes between pedestrians and non-pedestrians, and a detection module 220 that detects pedestrians separated by the classification module 210 as the plurality of pedestrians.

도 12는 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템(10)에 있어서 학습부(400)의 세부적인 구성을 도시한 도면이다. 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템(10)에 있어서 학습부(400)는, 추출부(300)에서 추출된 특징값을 이용하여 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 제1 학습 모듈(410), 및 제1 학습 모듈(410)에서 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여 학생 랜덤 펀(Student Random Ferns)을 학습하는 제2 학습 모듈(420)을 포함하여 구성될 수 있다.
12 is a diagram showing a detailed configuration of the learning unit 400 in a plurality of pedestrian tracking system 10 using a teacher-student random fun according to an embodiment of the present invention. As shown in FIG. 12, in a plurality of pedestrian tracking systems 10 using a teacher-student random fun according to an embodiment of the present invention, the learning unit 400 includes feature values extracted from the extraction unit 300 Using the first learning module 410 for learning Teacher Random Ferns, and the Teacher Random Ferns learned in the first learning module 410, Student Random Ferns Ferns) may be configured to include a second learning module 420 for learning.

본 발명의 일실시예에 따른 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템(10)에 대해서는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
For a plurality of pedestrian tracking systems 10 using a teacher-student random fun according to an embodiment of the present invention, since it has been sufficiently described in relation to a method for tracking a plurality of pedestrians using a teacher-student random fun, detailed description will be omitted. To

상술한 바와 같이, 본 발명에서 제안하고 있는 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템(10)에 따르면, 심층 네트워크의 한 종류인 tiny YOLO를 사용하여 보행자의 특징값을 추출하고, 추출된 특징값을 이용하여 랜덤 펀(Random Ferns)을 학습함으로써, 실시간 학습이 가능하여 보행자의 형태변화, 크기변화로 인한 오-추적을 최소화할 수 있다. 또한, 본 발명에 따르면, 펀(Ferns)의 개수를 줄여 실시간 추적이 가능하도록 하기 위해, 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 사용하여, 빠르고 정확하게 다수의 보행자를 실시간으로 추적할 수 있다.
As described above, according to the method and system 10 for tracking a number of pedestrians using a teacher-student random fun proposed in the present invention, feature values of pedestrians are extracted using tiny YOLO, a type of deep network, By learning Random Ferns using the extracted feature values, real-time learning is possible, and mis-tracking due to change in shape and size of pedestrians can be minimized. In addition, according to the present invention, in order to enable real-time tracking by reducing the number of Ferns, a number of pedestrians can be quickly and accurately tracked in real time by using a Teacher-Student Random Ferns. have.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those of ordinary skill in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be determined by the following claims.

10: 다수의 보행자 추적 시스템
100: 카메라부
200: 탐지부
210: 구분 모듈
220: 탐지 모듈
300: 추출부
400: 학습부
410: 제1 학습 모듈
420: 제2 학습 모듈
500: 추적부
S100: 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 단계
S200: 단계 S100에서 촬영된 영상에서 다수의 보행자를 탐지하는 단계
S210: 단계 S100에서 촬영된 영상에서 보행자와 비-보행자를 구분하는 단계
S220: 단계 S210에서 구분된 보행자를 다수의 보행자로 탐지하는 단계
S300: 단계 S200에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 단계
S400: 단계 S300에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 단계
S410: 단계 S300에서 추출된 특징값을 이용하여 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 단계
S420: 단계 S410에서 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여 학생 랜덤 펀(Student Random Ferns)을 학습하는 단계
S500: 단계 S400에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 단계
10: Multiple pedestrian tracking system
100: camera unit
200: detection unit
210: division module
220: detection module
300: extraction unit
400: learning department
410: first learning module
420: second learning module
500: tracking unit
S100: Step of capturing an image including a plurality of pedestrians from a camera installed in a moving vehicle
S200: detecting a plurality of pedestrians in the image captured in step S100
S210: Step of distinguishing a pedestrian and a non-pedestrian in the image taken in step S100
S220: Step of detecting a pedestrian identified in step S210 as a plurality of pedestrians
S300: Step of extracting feature values by inputting an image including a plurality of pedestrians detected in step S200 into a deep network
S400: Learning a Teacher-Student Random Ferns using the feature values extracted in step S300
S410: Learning a Teacher Random Ferns using the feature values extracted in step S300
S420: Learning a Student Random Ferns using the Teacher Random Ferns learned in Step S410
S500: Step of tracking a number of pedestrians using the teacher-student random ferns learned in step S400

Claims (20)

다수의 보행자 추적 방법으로서,
(1) 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 단계;
(2) 상기 단계 (1)에서 촬영된 영상에서 다수의 보행자를 탐지하는 단계;
(3) 상기 단계 (2)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 단계;
(4) 상기 단계 (3)에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 단계; 및
(5) 상기 단계 (4)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 단계를 포함하며,
상기 단계 (3)에서는,
상기 단계 (2)에서 탐지된 다수의 보행자별로 특징값을 추출하고,
상기 단계 (4)는,
(4-1) 상기 단계 (3)에서 추출된 특징값을 이용하여 복수개의 펀(Fern)을 가진 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 단계; 및
(4-2) 상기 단계 (4-1)에서 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여, 상기 교사 랜덤 펀(Teacher Random Ferns)보다 펀(Fern)의 개수가 적은 학생 랜덤 펀(Student Random Ferns)을 학습하는 단계를 포함하며,
상기 단계 (4-2)에서는,
상기 단계 (4-1)을 통해 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여, 보행자가 처음 또는 두 번 이상 등장하였는지 경우를 나누어서 학습하며,
보행자가 두 번 이상 등장한 경우에는, 현재 프레임에서 탐지된 보행자와 이전 프레임의 학생 랜덤 펀(Student Random Ferns)이 학습한 보행자가 일치한다면, 두 프레임 사이에 데이터 연결이 수행되어, 학생 랜덤 펀(Student Random Ferns)을 새롭게 업데이트되어 학습하며,
상기 학생 랜덤 펀(Student Random Ferns)을 사용하여 교사 랜덤 펀(Teacher Random Ferns)의 추적 성능은 유지하면서 펀(Ferns)의 개수를 줄여 이전보다 빠르고 정확하게 보행자를 추적할 수 있으며,
상기 단계 (5)에서는,
상기 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 펀(Fern)의 개수를 줄여 다수의 보행자를 추적하는 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법.
As a number of pedestrian tracking methods,
(1) taking an image including a plurality of pedestrians from a camera installed in a moving vehicle;
(2) detecting a plurality of pedestrians in the image captured in step (1);
(3) extracting feature values by inputting an image including a plurality of pedestrians detected in step (2) into a deep network;
(4) learning a Teacher-Student Random Ferns using the feature values extracted in step (3); And
(5) including the step of tracking a plurality of pedestrians using the teacher-student random ferns learned in step (4),
In step (3),
Extracting feature values for each of the plurality of pedestrians detected in step (2),
The step (4),
(4-1) learning a Teacher Random Ferns having a plurality of Ferns by using the feature values extracted in Step (3); And
(4-2) Using the Teacher Random Ferns learned in step (4-1), the Student Random Ferns with a smaller number of Ferns than the Teacher Random Ferns Random Ferns),
In step (4-2),
Using the Teacher Random Ferns learned through the above step (4-1), the case of the pedestrian appearing first or more than once is divided and learned,
When a pedestrian appears more than once, if the pedestrian detected in the current frame and the pedestrian learned by the Student Random Ferns in the previous frame match, data connection is performed between the two frames, and the Student Random Ferns Random Ferns) is newly updated and learned,
Using the Student Random Ferns, it is possible to track pedestrians faster and more accurately than before by reducing the number of Ferns while maintaining the tracking performance of the Teacher Random Ferns.
In step (5),
Using the learned teacher-student random fun (Teacher-Student Random Ferns), characterized in that to track a plurality of pedestrians by reducing the number of ferns, a number of pedestrian tracking method using a teacher-student random fun.
제1항에 있어서, 상기 단계 (2)는,
(2-1) 상기 단계 (1)에서 촬영된 영상에서 보행자와 비-보행자를 구분하는 단계; 및
(2-2) 상기 단계 (2-1)에서 구분된 보행자를 상기 다수의 보행자로 탐지하는 단계를 포함하는 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법.
The method of claim 1, wherein the step (2),
(2-1) distinguishing between pedestrians and non-pedestrians in the image captured in step (1); And
(2-2) A method of tracking a plurality of pedestrians using a teacher-student random fun, comprising the step of detecting the pedestrians identified in step (2-1) as the plurality of pedestrians.
제1항에 있어서, 상기 단계 (3)에서의 심층 네트워크는,
합성 곱 신경망인 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법.
The method of claim 1, wherein the deep network in step (3),
A method of tracking multiple pedestrians using a teacher-student random fun, characterized in that it is a synthetic product neural network.
제3항에 있어서, 상기 합성 곱 신경망은,
tiny YOLO인 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법.
The method of claim 3, wherein the composite product neural network,
Tiny YOLO, characterized in that, a number of pedestrian tracking method using a teacher-student random fun.
제4항에 있어서, 상기 tiny YOLO는,
9개의 콘볼루션 레이어(Convolution layers), 6개의 맥스 풀링 레이어(Max pooling layers) 및 1개의 완전 연결 레이어(fully connected layers)로 구성된 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법.
The method of claim 4, wherein the tiny YOLO,
A method for tracking multiple pedestrians using a teacher-student random fun, characterized by consisting of 9 convolution layers, 6 max pooling layers, and 1 fully connected layer .
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 다수의 보행자 추적 시스템(10)으로서,
움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 카메라부(100);
상기 카메라부(100)에서 촬영된 영상에서 다수의 보행자를 탐지하는 탐지부(200);
상기 탐지부(200)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 추출부(300);
상기 학습부(400)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 추적부(500)를 포함하며,
상기 추출부(300)는,
상기 탐지부(200)에서 탐지된 다수의 보행자별로 특징값을 추출하고,
상기 학습부(400)는,
상기 추출부(300)에서 추출된 특징값을 이용하여 복수개의 펀(Fern)을 가진 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 제1 학습 모듈(410); 및
상기 제1 학습 모듈(410)에서 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여, 상기 교사 랜덤 펀(Teacher Random Ferns)보다 펀(Fern)의 개수가 적은 학생 랜덤 펀(Student Random Ferns)을 학습하는 제2 학습 모듈(420)을 포함하며,
상기 제2 학습 모듈(420)은,
상기 제1 학습 모듈(410)을 통해 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여, 보행자가 처음 등장한 경우와 두 번 이상 등장한 경우를 나누어서 학습하되,
보행자가 두 번 이상 등장한 경우에는, 현재 프레임에서 탐지된 보행자와 이전 프레임의 학생 랜덤 펀(Student Random Ferns)이 학습한 보행자가 일치한다면, 두 프레임 사이에 데이터 연결이 수행되어, 학생 랜덤 펀(Student Random Ferns)을 새롭게 업데이트되어 학습하며,
상기 학생 랜덤 펀(Student Random Ferns)을 사용하여 교사 랜덤 펀(Teacher Random Ferns)의 추적 성능은 유지하면서 펀(Ferns)의 개수를 줄여 이전보다 빠르고 정확하게 보행자를 추적할 수 있으며,
상기 추적부(500)는,
상기 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 펀(Fern)의 개수를 줄여 다수의 보행자를 추적하는 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템.
As a plurality of pedestrian tracking system 10,
A camera unit 100 for capturing an image including a plurality of pedestrians from a camera installed in a moving vehicle;
A detection unit 200 for detecting a plurality of pedestrians in the image captured by the camera unit 100;
An extraction unit 300 for extracting a feature value by inputting an image including a plurality of pedestrians detected by the detection unit 200 into a deep network;
Including a tracking unit 500 for tracking a plurality of pedestrians using the teacher-student random fun (Teacher-Student Random Ferns) learned in the learning unit 400,
The extraction unit 300,
Extracting feature values for each of the plurality of pedestrians detected by the detection unit 200,
The learning unit 400,
A first learning module 410 for learning teacher random ferns having a plurality of ferns using the feature values extracted by the extraction unit 300; And
Using Teacher Random Ferns learned in the first learning module 410, a Student Random Ferns with a smaller number of Ferns than the Teacher Random Ferns Including a second learning module 420 to learn,
The second learning module 420,
Using the teacher random ferns learned through the first learning module 410, the first appearance of the pedestrian and the case of appearing more than two times are divided and learned,
When a pedestrian appears more than once, if the pedestrian detected in the current frame and the pedestrian learned by the Student Random Ferns in the previous frame match, data connection is performed between the two frames, and the Student Random Ferns Random Ferns) is newly updated and learned,
Using the Student Random Ferns, it is possible to track pedestrians faster and more accurately than before by reducing the number of Ferns while maintaining the tracking performance of the Teacher Random Ferns.
The tracking unit 500,
Using the learned teacher-student random fun (Teacher-Student Random Ferns), characterized in that to track a plurality of pedestrians by reducing the number of ferns, a plurality of pedestrian tracking system using a teacher-student random fun.
제11항에 있어서, 상기 탐지부(200)는,
상기 카메라부(100)에서 촬영된 영상에서 보행자와 비-보행자를 구분하는 구분 모듈(210); 및
상기 구분 모듈(210)에서 구분된 보행자를 상기 다수의 보행자로 탐지하는 탐지 모듈(220)을 포함하는 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템.
The method of claim 11, wherein the detection unit 200,
A classification module 210 that distinguishes between pedestrians and non-pedestrians in the image captured by the camera unit 100; And
A plurality of pedestrian tracking systems using a teacher-student random fun, characterized in that it comprises a detection module 220 that detects the pedestrians classified by the classification module 210 as the plurality of pedestrians.
제11항에 있어서, 상기 심층 네트워크는,
합성 곱 신경망인 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템.
The method of claim 11, wherein the deep network,
A plurality of pedestrian tracking systems using a teacher-student random fun, characterized in that the synthetic product neural network.
제13항에 있어서, 상기 합성 곱 신경망은,
tiny YOLO인 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템.
The method of claim 13, wherein the composite product neural network,
Tiny YOLO, characterized in that, a number of pedestrian tracking system using a teacher-student random fun.
제14항에 있어서, 상기 tiny YOLO는,
9개의 콘볼루션 레이어(Convolution layers), 6개의 맥스 풀링 레이어(Max pooling layers) 및 1개의 완전 연결 레이어(fully connected layers)로 구성된 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템.
The method of claim 14, wherein the tiny YOLO,
Multiple pedestrian tracking system using teacher-student random fun, characterized by consisting of 9 convolution layers, 6 max pooling layers, and 1 fully connected layer .
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020180129172A 2018-10-26 2018-10-26 Method and system for multi-pedestrian tracking using teacher-student random ferns KR102164950B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180129172A KR102164950B1 (en) 2018-10-26 2018-10-26 Method and system for multi-pedestrian tracking using teacher-student random ferns
PCT/KR2019/012101 WO2020085653A1 (en) 2018-10-26 2019-09-18 Multiple-pedestrian tracking method and system using teacher-student random fern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180129172A KR102164950B1 (en) 2018-10-26 2018-10-26 Method and system for multi-pedestrian tracking using teacher-student random ferns

Publications (2)

Publication Number Publication Date
KR20200052429A KR20200052429A (en) 2020-05-15
KR102164950B1 true KR102164950B1 (en) 2020-10-13

Family

ID=70330343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180129172A KR102164950B1 (en) 2018-10-26 2018-10-26 Method and system for multi-pedestrian tracking using teacher-student random ferns

Country Status (2)

Country Link
KR (1) KR102164950B1 (en)
WO (1) WO2020085653A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668487B (en) * 2020-12-29 2022-05-27 杭州晨安科技股份有限公司 Teacher tracking method based on fusion of body fitness and human similarity
CN113158897A (en) * 2021-04-21 2021-07-23 新疆大学 Pedestrian detection system based on embedded YOLOv3 algorithm
CN113392754B (en) * 2021-06-11 2022-06-28 成都掌中全景信息技术有限公司 Method for reducing false pedestrian detection rate based on yolov5 pedestrian detection algorithm
KR102684915B1 (en) * 2021-10-07 2024-07-12 중앙대학교 산학협력단 An Efficient Gait Recognition System using of Known and Unknown Covariate Conditions and the method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101771146B1 (en) * 2017-03-22 2017-08-24 광운대학교 산학협력단 Method and apparatus for detecting pedestrian and vehicle based on convolutional neural network using stereo camera
JP2018060511A (en) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ Simulation system, simulation program, and simulation method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697161B1 (en) * 2015-05-11 2017-01-17 계명대학교 산학협력단 Device and method for tracking pedestrian in thermal image using an online random fern learning
KR101980360B1 (en) * 2015-09-04 2019-08-28 한국전자통신연구원 Apparatus and method for object recognition with convolution neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060511A (en) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ Simulation system, simulation program, and simulation method
KR101771146B1 (en) * 2017-03-22 2017-08-24 광운대학교 산학협력단 Method and apparatus for detecting pedestrian and vehicle based on convolutional neural network using stereo camera

Also Published As

Publication number Publication date
KR20200052429A (en) 2020-05-15
WO2020085653A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
KR102164950B1 (en) Method and system for multi-pedestrian tracking using teacher-student random ferns
Azimjonov et al. A real-time vehicle detection and a novel vehicle tracking systems for estimating and monitoring traffic flow on highways
AU2019101133A4 (en) Fast vehicle detection using augmented dataset based on RetinaNet
US10902615B2 (en) Hybrid and self-aware long-term object tracking
Dewangan et al. RCNet: road classification convolutional neural networks for intelligent vehicle system
Yan et al. Driving posture recognition by convolutional neural networks
Kurniawan et al. Traffic congestion detection: learning from CCTV monitoring images using convolutional neural network
Majdi et al. Drive-net: Convolutional network for driver distraction detection
Fernando et al. Going deeper: Autonomous steering with neural memory networks
US20170236027A1 (en) Intelligent biomorphic system for pattern recognition with autonomous visual feature extraction
US11216727B2 (en) System and method for teaching compositionality to convolutional neural networks
US20190108399A1 (en) Video action localization from proposal-attention
CN108431826A (en) Object in automatic detection video image
WO2019234175A1 (en) Image segmentation
CN108563977A (en) A kind of the pedestrian's method for early warning and system of expressway entrance and exit
CN112464930A (en) Target detection network construction method, target detection method, device and storage medium
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
Marmanis et al. Deep neural networks for above-ground detection in very high spatial resolution digital elevation models
Siddique et al. Analysis of real-time hostile activitiy detection from spatiotemporal features using time distributed deep CNNs, RNNs and attention-based mechanisms
Hegde et al. Vehicle trajectory prediction using gan
Balachandran et al. Moving scene-based video segmentation using fast convolutional neural network integration of VGG-16 net deep learning architecture
Berlin et al. R-STDP based spiking neural network for human action recognition
Jeong et al. Driving Scene Understanding Using Hybrid Deep Neural Network
Suresh et al. Intelligent vehicle license plate recognition by deploying deep learning model for smart cities
Kodieswari et al. Statistical AI Model in an Intelligent Transportation System

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant