KR20190100518A - 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템 - Google Patents

소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템 Download PDF

Info

Publication number
KR20190100518A
KR20190100518A KR1020180015343A KR20180015343A KR20190100518A KR 20190100518 A KR20190100518 A KR 20190100518A KR 1020180015343 A KR1020180015343 A KR 1020180015343A KR 20180015343 A KR20180015343 A KR 20180015343A KR 20190100518 A KR20190100518 A KR 20190100518A
Authority
KR
South Korea
Prior art keywords
random forest
pedestrian
soft target
target learning
feature
Prior art date
Application number
KR1020180015343A
Other languages
English (en)
Other versions
KR102036182B1 (ko
Inventor
고병철
남재열
정미라
김상준
허두영
김광주
김병근
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020180015343A priority Critical patent/KR102036182B1/ko
Publication of KR20190100518A publication Critical patent/KR20190100518A/ko
Application granted granted Critical
Publication of KR102036182B1 publication Critical patent/KR102036182B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G06K9/46—
    • G06K9/6282—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에 관한 것으로서, 보다 구체적으로는 보행자 검출 방법으로서, (1) 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 단계; (2) 상기 단계 (1)에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 상기 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 단계; (3) 상기 단계 (2)에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출하는 단계; (4) 상기 단계 (3)에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단하는 단계; 및 (5) 상기 단계 (4)에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템에 관한 것으로서, 보다 구체적으로는 보행자 검출 시스템으로서, (A) 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 보행자 후보 영역 검출 모듈; (B) 상기 보행자 후보 영역 검출 모듈에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 상기 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 관심 영역 추정 모듈; (C) 상기 관심 영역 추정 모듈에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출하는 Harr-Like 특징 및 OCS-LBP 특징 추출 모듈; (D) 상기 Harr-Like 특징 및 OCS-LBP 특징 추출 모듈에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단하는 보행자 여부 판단 모듈; 및 (E) 상기 보행자 여부 판단 모듈에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정하는 최종 보행자 영역 결정 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템에 따르면, 실시간으로 입력되는 카메라 영상으로부터 보행자를 검출함에 있어서, 소프트 타겟 학습 기법에 의해 랜덤 포레스트의 성능은 유지하면서도 랜덤 포레스트의 트리의 수를 줄여 처리 시간 및 메모리양을 대폭 줄일 수 있는 경량화된 랜덤 포레스트 분류 방법을 이용하여 보행자를 검출함으로써, 보다 적은 처리 시간 및 메모리양을 이용하여 효율적으로 보행자를 검출할 수 있다.

Description

소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템{METHOD AND SYSTEM FOR DETECTION OF PEDESTRIAN CROSSING USING A METHOD OF LIGHT WEIGHTED RANDOM FOREST CLASSIFICATION BY A SOFT TARGET LEARNING METHOD}
본 발명은 보행자 검출 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템에 관한 것이다.
2001년 911 테러 이후 사회적으로 테러나 범죄의 위험성이 증가되면서 적은 수의 사람으로 여러 곳을 동시에 감시 할 수 있는 감시 시스템에 대한 중요성 및 수요가 증가하였다. 전통적인 감시 시스템은 사람의 눈을 대신하여 단순하게 영상을 기록하는 기능이며, 현재 사용되고 있는 대부분의 감지 시스템은 특이한 상황이 발생 되었는지를 감시하기 위해 관리자가 24시간 비디오로 전송된 화면을 모니터링 해야 하거나 녹화된 비디오를 순차적으로 일일이 눈으로 확인해야 하는 등 인력의 낭비가 심할 뿐만 아니라 유지비용이 많이 드는 단점이 있다. 따라서, 비효율적인 감시 시스템을 자동화하여 비디오로부터 입력된 영상에서 다수의 사람을 검출하고, 이들을 자동으로 카운팅 해 줄 수 있는 자동화된 피플 카운팅 시스템이 필요하다. 이를 위해서는, 실시간으로 입력되는 카메라 영상으로부터 보행자를 검출할 수 있는 방법 및 시스템에 대한 개발이 우선적으로 요구된다.
보행자 검출과 관련된 선행기술로서, 웨이블릿 기반의 중심대칭-국부이진 패턴과 계층적 랜덤 포레스트를 이용한 사람 검출 방법이 개시된 바 있다(등록특허 제10-1178333호).
한편, 기계 학습(Machine Learning)에서의 랜덤 포레스트(Random Forest)는 분류, 회귀 분석 등에 사용되는 앙상블 학습 방법의 일종으로서, 훈련 과정에서 구성한 다수의 결정 트리로부터 부류(분류) 또는 평균 예측치(회귀 분석)를 출력함으로써 동작한다. 랜덤 포레스트는 여러 개의 결정 트리들을 임의적으로 학습하는 방식의 앙상블 방법이다. 랜덤 포레스트 방법은 크게 다수의 결정 트리를 구성하는 학습 단계와, 입력 벡터가 들어왔을 때 분류하거나 예측하는 테스트 단계로 구성되어 있다. 랜덤 포레스트는 검출, 분류, 그리고 회귀 등 다양한 애플리케이션으로 활용되고 있다. 도 1은 일반적인 랜덤 포레스트 분류 방법의 플로차트를 도시한 도면이다.
랜덤 포레스트의 가장 핵심적인 특징은 임의성(randomness)에 의해 서로 조금씩 다른 특성을 갖는 트리들로 구성된다는 점이다. 이 특징은 각각의 트리들의 예측(prediction)들이 비상관화(decorrelation) 되게 하며, 결과적으로 일반화(generalization) 성능을 향상시킨다. 또한, 임의화(randomization)는 포레스트가 노이즈가 포함된 데이터에 대해서도 강인하게 만들어 준다. 임의화는 각각의 트리들의 훈련 과정에서 진행되며, 가장 널리 쓰이는 두 가지 방법으로는 임의 학습 데이터 추출 방법을 이용한 앙상블 학습법인 배깅(bagging)과 임의 노드 최적화(randomized node optimization)가 있다. 이 두 가지 방법은 서로 동시에 사용되어 임의화 특성을 더욱 증진시킬 수 있다.
랜덤 포레스트에서 가장 큰 영향을 미치는 매개변수들은 포레스트의 크기(트리의 개수)와 최대 허용 깊이 등이다. 이 중, 포레스트의 크기(트리의 개수)는, 총 포레스트를 몇 개의 트리로 구성할지를 결정하는 매개변수이다. 포레스트의 크기가 작으면, 즉 트리의 개수가 적으면 트리들을 구성하고 테스트하는데 걸리는 시간이 짧은 대신, 일반화 능력이 떨어져 임의의 입력 데이터 포인트에 대해 틀린 결과를 내놓을 확률이 높다. 반면에, 포레스트의 크기가 크면, 즉 트리의 개수가 많으면 높은 성능을 보장하지만, 훈련과 테스트 시간이 길어지고 메모리양이 증가하는 단점이 있다. 따라서, 높은 성능은 보장하면서도, 처리 시간 및 메모리양을 줄일 수 있는 개선된 랜덤 포레스트 방법을 개발할 필요성이 있다.
랜덤 포레스트 분류 방법과 관련된 선행특허로서는, 특허 제10-1237089호(발명의 명칭: 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법)와 특허 제10-1697183호(발명의 명칭: 인공위성 영상과 랜덤포레스트 분류기 결합을 이용한 자동 하천 검출 시스템 및 방법) 등이 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 실시간으로 입력되는 카메라 영상으로부터 보행자를 검출함에 있어서, 소프트 타겟 학습 기법에 의해 랜덤 포레스트의 성능은 유지하면서도 랜덤 포레스트의 트리의 수를 줄여 처리 시간 및 메모리양을 대폭 줄일 수 있는 경량화된 랜덤 포레스트 분류 방법을 이용하여 보행자를 검출함으로써, 보다 적은 처리 시간 및 메모리양을 이용하여 효율적으로 보행자를 검출할 수 있는 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법은,
보행자 검출 방법으로서,
(1) 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 단계;
(2) 상기 단계 (1)에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 상기 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 단계;
(3) 상기 단계 (2)에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출하는 단계;
(4) 상기 단계 (3)에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단하는 단계; 및
(5) 상기 단계 (4)에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (1)에서의 Flow Map은,
상기 입력된 영상에 대하여, 현재 프레임과 이전 프레임들 간의 차영상들을 구하고, 상기 구해진 차영상들을 가중치 결합하여 생성될 수 있다.
더욱 바람직하게는,
상기 가중치 결합에서의 가중치는, 현재 프레임에 가까운 프레임에 대해서는 높은 가중치를 두고, 현재 프레임에서 멀어질수록 낮은 가중치를 부여할 수 있다.
바람직하게는, 상기 단계 (2)에서의 허프 윈도우 맵은,
상기 단계 (1)에서 검출된 보행자 후보 영역에 대하여, 다양한 크기의 영상에서 각 사이즈별로 검출되는 보행자의 영역들을 조사하여 구성될 수 있다.
바람직하게는, 상기 단계 (4)에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법은,
(4-1) 데이트 세트 A를 이용하여, 기존의 랜덤 포레스트 학습 방법을 적용하여 Teacher 랜덤 포레스트를 학습시키는 단계;
(4-2) 상기 단계 (4-1)에서 학습시켜진 Teacher 랜덤 포레스트를 이용하여, Student 랜덤 포레스트를 위한 데이터 세트 B를 구성하는 각각의 클래스의 확률값을 추출하는 단계; 및
(4-3) 상기 단계 (4-2)에서 각각의 클래스의 확률값이 추출된 데이터 세트 B를 이용하여, Student 랜덤 포레스트를 학습시키는 단계를 통해 학습시켜진 Student 랜덤 포레스트를 이용한 분류 방법일 수 있다.
더욱 바람직하게는, 상기 Student 랜덤 포레스트는,
상기 Teacher 랜덤 포레스트의 트리의 수보다 작은 값의 트리의 수를 가질 수 있다.
더욱 바람직하게는,
상기 단계 (4-1)에서, 상기 데이트 세트 A는 클래스 레이블이 포함되며,
상기 단계 (4-2)에서, 상기 데이트 세트 B는 클래스 레이블이 포함되지 않을 수 있다.
더욱 바람직하게는, 상기 단계 (4-3)은,
(4-3-1) 상기 단계 (4-2)에서 각각의 클래스의 확률값이 추출된 데이터 세트 B에서, 임의의 데이터를 선택하여 서브 세트를 구성하는 단계;
(4-3-2) 상기 단계 (4-3-1)에서 구성된 서브 세트에 대하여, 각각의 내부 노드는 특징 벡터 x에서 파라미터 θi를 무작위로 선택하고, 그 중에서 가장 높은 성능을 갖는 분할 함수 f와 θ를 결정한 후, f(θ, x)를 사용하여 트리를 left(Sl), right(Sr)로 분할하는 과정을, 최대 허용 깊이까지 반복하여 트리를 생성하는 단계; 및
(4-3-3) 상기 단계 (4-3-2)에서 생성된 트리에 대하여, 평가 기준을 만족하는 트리를 찾는 과정을, 트리의 개수까지 반복하여 수행하는 단계를 포함할 수 있다.
더욱더 바람직하게는, 상기 단계 (4-3-2)에서,
성능 평가 기준은, 상기 Teacher 랜덤 포레스트에 의해 추출된 클래스 확률 값을 이용하여 계산되는, 분할 함수 f에 대한 엔트로피 값을 이용할 수 있다.
더더욱 바람직하게는, 상기 단계 (4-3-2)에서,
상기 성능 평가 기준은, 다음 수학식을 이용할 수 있다.
Figure pat00001
상기 수학식에서, ΔE는 엔트로피의 합, Sn은 n번째 노드에 도달하는 데이터의 집합, Sl, Sr은 각각 n번째 노드에서 왼쪽 혹은 오른쪽의 자식 노드로 들어가는 데이터의 집합, | |은 데이터 집합에 속한 데이터의 개수를 나타내며, E(S)는 다음 수학식으로 계산될 수 있다.
Figure pat00002
상기 수학식에서, P(Ci)는 각각의 클래스에 대한 확률 질량 함수를 나타낸다.
더욱더 바람직하게는, 상기 단계 (4-3-3)에서,
상기 성능 평가 기준은, 상기 Teacher 랜덤 포레스트와 상기 Student 랜덤 포레스트에 의해 각각 추출된 클래스 확률값의 교차-엔트로피(cross-entropy)를 이용할 수 있다.
더더욱 바람직하게는, 상기 단계 (4-3-3)에서,
상기 성능 평가 기준은, 다음 수학식을 이용할 수 있다.
Figure pat00003
상기 수학식에서, PT(Ci|x(n)), PS(Ci|x(n))는 각각 상기 Teacher 랜덤 포레스트와 상기 Student 랜덤 포레스트 대한, 특징 벡터 x(n)에서의 각각의 클래스에 대한 확률 질량 함수를 나타낸다.
더욱더 더 바람직하게는, 상기 단계 (4-3-3)에서,
상기 계산된 교차-엔트로피(cross-entropy)가 미리 지정된 임계값보다 작을 경우 해당 트리를 사용하되, 그렇지 않을 경우 트리를 재생성할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템은,
보행자 검출 시스템으로서,
(A) 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 보행자 후보 영역 검출 모듈;
(B) 상기 보행자 후보 영역 검출 모듈에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 상기 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 관심 영역 추정 모듈;
(C) 상기 관심 영역 추정 모듈에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출하는 Harr-Like 특징 및 OCS-LBP 특징 추출 모듈;
(D) 상기 Harr-Like 특징 및 OCS-LBP 특징 추출 모듈에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단하는 보행자 여부 판단 모듈; 및
(E) 상기 보행자 여부 판단 모듈에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정하는 최종 보행자 영역 결정 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
상기 보행자 후보 영역 검출 모듈에서의 Flow Map은, 상기 입력된 영상에 대하여, 현재 프레임과 이전 프레임들 간의 차영상들을 구하고, 상기 구해진 차영상들을 가중치 결합하여 생성되며,
상기 가중치 결합에서의 가중치는, 현재 프레임에 가까운 프레임에 대해서는 높은 가중치를 두고, 현재 프레임에서 멀어질수록 낮은 가중치를 부여할 수 있다.
바람직하게는, 상기 관심 영역 추정 모듈에서의 허프 윈도우 맵은,
상기 단계 (1)에서 검출된 보행자 후보 영역에 대하여, 다양한 크기의 영상에서 각 사이즈별로 검출되는 보행자의 영역들을 조사하여 구성될 수 있다.
바람직하게는, 상기 보행자 여부 판단 모듈에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법은,
(4-1) 데이트 세트 A를 이용하여, 기존의 랜덤 포레스트 학습 방법을 적용하여 Teacher 랜덤 포레스트를 학습시키는 단계;
(4-2) 상기 단계 (4-1)에서 학습시켜진 Teacher 랜덤 포레스트를 이용하여, Student 랜덤 포레스트를 위한 데이터 세트 B를 구성하는 각각의 클래스의 확률값을 추출하는 단계; 및
(4-3) 상기 단계 (4-2)에서 각각의 클래스의 확률값이 추출된 데이터 세트 B를 이용하여, Student 랜덤 포레스트를 학습시키는 단계를 통해 학습시켜진 Student 랜덤 포레스트를 이용한 분류 방법일 수 있다.
바람직하게는,
상기 Student 랜덤 포레스트는, 상기 Teacher 랜덤 포레스트의 트리의 수보다 작은 값의 트리의 수를 가지고,
상기 단계 (4-1)에서, 상기 데이트 세트 A는 클래스 레이블이 포함되며,
상기 단계 (4-2)에서, 상기 데이트 세트 B는 클래스 레이블이 포함되지 않을 수 있다.
더욱 바람직하게는, 상기 단계 (4-3)은,
(4-3-1) 상기 단계 (4-2)에서 각각의 클래스의 확률값이 추출된 데이터 세트 B에서, 임의의 데이터를 선택하여 서브 세트를 구성하는 단계;
(4-3-2) 상기 단계 (4-3-1)에서 구성된 서브 세트에 대하여, 각각의 내부 노드는 특징 벡터 x에서 파라미터 θi를 무작위로 선택하고, 그 중에서 가장 높은 성능을 갖는 분할 함수 f와 θ를 결정한 후, f(θ, x)를 사용하여 트리를 left(Sl), right(Sr)로 분할하는 과정을, 최대 허용 깊이까지 반복하여 트리를 생성하는 단계; 및
(4-3-3) 상기 단계 (4-3-2)에서 생성된 트리에 대하여, 평가 기준을 만족하는 트리를 찾는 과정을, 트리의 개수까지 반복하여 수행하는 단계를 포함할 수 있다.
더욱더 바람직하게는,
상기 단계 (4-3-2)에서, 상기 성능 평가 기준은, 다음 수학식을 이용하며,
Figure pat00004
(상기 수학식에서, ΔE는 엔트로피의 합, Sn은 n번째 노드에 도달하는 데이터의 집합, Sl, Sr은 각각 n번째 노드에서 왼쪽 혹은 오른쪽의 자식 노드로 들어가는 데이터의 집합, | |은 데이터 집합에 속한 데이터의 개수를 나타내며, E(S)는 다음 수학식으로 계산됨.
Figure pat00005
상기 수학식에서, P(Ci)는 각각의 클래스에 대한 확률 질량 함수를 나타냄.)
상기 단계 (4-3-3)에서, 상기 성능 평가 기준은, 다음 수학식을 이용할 수 있다.
Figure pat00006
(상기 수학식에서, PT(Ci|x(n)), PS(Ci|x(n))는 각각 상기 Teacher 랜덤 포레스트와 상기 Student 랜덤 포레스트 대한, 특징 벡터 x(n)에서의 각각의 클래스에 대한 확률 질량 함수를 나타냄.)
본 발명에서 제안하고 있는 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템에 따르면, 실시간으로 입력되는 카메라 영상으로부터 보행자를 검출함에 있어서, 소프트 타겟 학습 기법에 의해 랜덤 포레스트의 성능은 유지하면서도 랜덤 포레스트의 트리의 수를 줄여 처리 시간 및 메모리양을 대폭 줄일 수 있는 경량화된 랜덤 포레스트 분류 방법을 이용하여 보행자를 검출함으로써, 보다 적은 처리 시간 및 메모리양을 이용하여 효율적으로 보행자를 검출할 수 있다.
도 1은 일반적인 랜덤 포레스트 분류 방법의 플로차트를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법의 구성을 개략적으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 단계(S100)를 나타내는 도면.
도 5는 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S100에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 단계(S200)를 나타내는 도면.
도 6은 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법의 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법의 단계 S430의 세부구성을 도시한 도면.
도 8은, 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 알고리즘으로 구현한 것을 나타내는 도면.
도 9 및 도 10은 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법에 대한 전체적인 과정을 그림으로 표현한 것으로서, 도 9는 Teacher 랜덤 포레스트의 학습 과정을 그림으로 표현한 도면이며, 도 10은 Student 랜덤 포레스트의 학습 과정을 그림으로 표현한 도면.
도 11은, 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템(10)의 구성을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 2는 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법의 구성을 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법의 구성을 개략적으로 도시한 도면이다. 도 2 및 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법은, 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 단계(S100); 단계 S100에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 단계(S200); 단계 S200에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출하는 단계(S300); 단계 S300에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단하는 단계(S400); 및 단계 S400에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정하는 단계(S500)를 포함하여 구성될 수 있다.
단계 S100에서는, 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출한다. 본 단계는, 보행자를 검출하기 전, 먼저 전처리 과정으로서 보행자 후보 영역을 검출함으로써 처리시간을 줄이기 위한 단계이다. 영상에 존재하는 모션정보를 추출하고, 이를 기반으로 보행자 검출을 수행한다. 영상에 존재하는 모션정보를 추출하기 위해서 Flow Map을 정의하여 사용하는데, 본 단계에서의 Flow Map은, 입력된 영상에 대하여, 현재 프레임과 이전 프레임들 간의 차영상들을 구하고, 구해진 차영상들을 가중치 결합하여 생성될 수 있다. 이때, 가중치 결합에서의 가중치는, 현재 프레임에 가까운 프레임에 대해서는 높은 가중치를 두고, 현재 프레임에서 멀어질수록 낮은 가중치를 부여할 수 있다. 현재 프레임에서 멀어질수록 높은 가중치를 부여하는 이유는, 모션의 크기가 작은 사람에 대해서도 보행자 검출 후보영역으로 설정하기 위함이다. 도 4는 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 단계(S100)를 나타내는 도면이다.
단계 S200에서는, 단계 S100에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정한다. 영상에는 다양한 크기의 보행자를 포함하고 있으므로, 윈도우 검색 기반의 보행자 검출 방법에서는 다양한 보행자를 검출하기 위해서 다양한 윈도우 크기를 이용하여 보행자를 검출하거나, 다양한 영상 스케일링을 통해서 다양한 크기의 보행자를 검출하고 있다. 본 발명에서는, 다양한 크기의 보행자를 검출하기 위해서 기존의 보행자 검출 방법에서 사용한 여러 크기의 영상 사이즈를 이용하여 다양한 크기의 보행자를 검출한다. 다만, 여러 크기의 영상 사이즈에서 전체 영역을 탐색하면서 보행자를 검출하는 것은 수행 시간이 많이 소요되는 문제점을 가지고 있으므로 실시간 시스템에는 적합하지 않기 때문에, 본 발명에서는 이를 해결할 수 있는 방법을 제안한다.
카메라로 촬영된 보행자 영상의 경우, 카메라의 각도와 카메라와 보행자간의 거리에 따라서 카메라로부터 멀리 존재할수록 영상에서의 보행자 크기는 작아지고, 카메라와 가까이에 존재하는 보행자일수록 영상에서의 보행자의 크기는 커지는 특징을 가진다. 이러한 특징을 이용하여 본 발명에서는 여러 크기 영상 사이즈의 전체 영역을 검색하면서 보행자를 판단하는 방법 대신에, 다양한 크기의 영상에서 각 사이즈별로 검출되는 보행자의 영역들을 조사하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 이를 기반으로 하여 최적의 스케일링 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하여 테스트 시 해당 영역에서만 보행자 검출 알고리즘을 적용함으로써 처리시간을 단축시킬 수 있도록 한다. 도 5는 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S100에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 단계(S200)를 나타내는 도면이다.
단계 S300에서는, 단계 S200에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출한다. 전통적으로 사람 검출을 위해서는, 사람의 전체 영역을 Histogram of oriented gradient(HOG) 등의 특징 패턴으로 모델링하여 영상으로부터 동일한 패턴을 갖는 영역을 보행자 영역으로 검출하는 방법이 연구되어 왔다. 그러나, 보행자 검출은 카메라 시점에 따른 객체의 크기변환, 보행자의 자세변환으로 인한 형태변화, 배경의 복잡성, 부분 혹은 전체 가려짐에 의해 검출이 어려운 문제점이 존재한다. 이와 같은 문제점을 해결하기 위하여, 본 발명에서는, 보행자 윈도우와 비보행자 윈도우를 판단하기 위해서, Haar-Like 특징과 OCS-LBP(Oriented center symmetric local binary pattern) 특징을 사용하여 랜덤 포레스트(Random Forest) 분류 방법에 적용한다. Harr-Like 특징은 다양한 패턴 조합과 간단한 차연산으로 매우 빠른 처리 속도를 보이며, OCS-LBP특징은 방향과 질감 정보를 기술하는 특징으로 조명 변화에 덜 민감하고 저차원의 특징 벡터로 빠른 수행 속도를 가지고 있기 때문에 다양한 환경에서의 강건한 보행자 영역을 검출할 수 있다.
단계 S400에서는, 단계 S300에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단한다.
도 6은 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법의 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법은, 데이트 세트 A를 이용하여, 기존의 랜덤 포레스트 학습 방법을 적용하여 Teacher 랜덤 포레스트를 학습시키는 단계(S410); 단계 S410에서 학습시켜진 Teacher 랜덤 포레스트를 이용하여, Student 랜덤 포레스트를 위한 데이터 세트 B를 구성하는 각각의 클래스의 확률값을 추출하는 단계(S420); 및 단계 S420에서 각각의 클래스의 확률값이 추출된 데이터 세트 B를 이용하여, Student 랜덤 포레스트를 학습시키는 단계(S430)를 통해 학습시켜진 Student 랜덤 포레스트를 이용한 분류 방법일 수 있다.
이때, Student 랜덤 포레스트는, Teacher 랜덤 포레스트의 트리의 수보다 작은 값의 트리의 수를 가지도록 함으로써, 랜덤 포레스트의 경량화를 달성할 수 있다. 또한, 단계 S410에서 Teacher 랜덤 포레스트를 학습시키는데 사용되는 데이터 세트 A는 클래스 레이블이 포함되도록 설정하고, 단계 S420 및 단계 S430에서 Student 랜덤 포레스트를 학습시키는데 사용되는 데이터 세트 B는 클래스 레이블이 포함되지 않도록 설정할 수 있다.
단계 S410에서는, 데이트 세트 A를 이용하여, 기존의 랜덤 포레스트 학습 방법을 적용하여 Teacher 랜덤 포레스트를 학습시킨다. 본 단계에서는, 기존의 랜덤 포레스트 학습 방법을 적용함으로써, 종래와 동일한 방식의 랜덤 포레스트가 적용된 일반적인 랜덤 포레스트를 얻게 된다. 본 단계는 사전 처리가 가능한 학습 단계로서, 실질적인 분류 단계의 처리 시간과 무관하므로, 기존의 랜덤 포레스트 학습 방법을 적용한, 충분한 트리의 수를 갖는 랜덤 포레스트를 생성하는 것이 바람직하다. 한편, 데이터 세트 A는, 앞서 언급한 바와 같이, 클래스 레이블이 포함되도록 설정할 수 있다.
단계 S420에서는, 단계 S410에서 학습시켜진 Teacher 랜덤 포레스트를 이용하여, Student 랜덤 포레스트를 위한 데이터 세트 B를 구성하는 각각의 클래스의 확률값을 추출한다. 본 단계에서는, 충분한 트리의 수를 갖도록 생성된 Teacher 랜덤 포레스트를 이용하여, 실질적인 분류 단계에서 사용될 Student 랜덤 포레스트를 학습시키는데 사용될 데이터 세트 B를 구성하는 각각의 클래스의 확률값을 추출하게 된다. 데이터 세트 B는, 앞서 언급한 바와 같이, 클래스 레이블이 포함되지 않도록 설정되며, 그 결과 각각의 클래스의 확률값이 추출될 수 있다.
단계 S430에서는, 단계 S420에서 각각의 클래스의 확률값이 추출된 데이터 세트 B를 이용하여, Student 랜덤 포레스트를 학습시킨다. 본 단계에서는, Teacher 랜덤 포레스트를 이용하여 각각의 클래스의 확률값이 추출된 데이터 세트 B를 이용하여, Student 랜덤 포레스트를 학습시키게 된다.
도 7은 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법의 단계 S430의 세부구성을 도시한 도면이다. 도 7에 도시된 바와 같이, 단계 S430은, 단계 S420에서 각각의 클래스의 확률값이 추출된 데이터 세트 B에서, 임의의 데이터를 선택하여 서브 세트를 구성하는 단계(S431); 단계 S431에서 구성된 서브 세트에 대하여, 각각의 내부 노드는 특징 벡터 x에서 파라미터 θi를 무작위로 선택하고, 그 중에서 가장 높은 성능을 갖는 분할 함수 f와 θ를 결정한 후, f(θ, x)를 사용하여 트리를 left(Sl), right(Sr)로 분할하는 과정을, 최대 허용 깊이까지 반복하여 트리를 생성하는 단계(S432); 및 단계 S432에서 생성된 트리에 대하여, 평가 기준을 만족하는 트리를 찾는 과정을, 트리의 개수까지 반복하여 수행하는 단계(S433)를 포함하여 구성될 수 있다.
단계 S432에서는, 성능 평가 기준으로서, Teacher 랜덤 포레스트에 의해 추출된 클래스 확률 값을 이용하여 계산되는, 분할 함수 f에 대한 엔트로피 값을 이용할 수 있으며, 이는 다음 수학식 1과 같이 계산될 수 있다.
Figure pat00007
상기 수학식 1에서, ΔE는 엔트로피의 합, Sn은 n번째 노드에 도달하는 데이터의 집합, Sl, Sr은 각각 n번째 노드에서 왼쪽 혹은 오른쪽의 자식 노드로 들어가는 데이터의 집합, | |은 데이터 집합에 속한 데이터의 개수를 각각 나타내며, E(S)는 다음 수학식 2와 같이 계산될 수 있다.
Figure pat00008
상기 수학식 2에서, P(Ci)는 각각의 클래스에 대한 확률 질량 함수를 나타낸다. 여기서, 확률 질량 함수(probability mass function, pmf)는, 이산 확률 변수에서 특정 값에 대한 확률을 나타내는 함수로서, 연속 확률 변수에서의 확률 밀도 함수와 대응된다.
단계 S433에서는, 성능 평가 기준으로서, Teacher 랜덤 포레스트와 Student 랜덤 포레스트에 의해 각각 추출된 클래스 확률값의 교차-엔트로피(cross-entropy)를 이용할 수 있으며, 이는 다음 수학식 3과 같이 계산될 수 있다.
Figure pat00009
상기 수학식 3에서, PT(Ci|x(n)), PS(Ci|x(n))는 각각 Teacher 랜덤 포레스트와 Student 랜덤 포레스트 대한, 특징 벡터 x(n)에서의 각각의 클래스에 대한 확률 질량 함수를 나타낸다.
단계 S433에서는, 이렇게 수학식 3을 통해 계산된 교차-엔트로피(cross-entropy)가 미리 지정된 임계값보다 작을 경우 해당 트리를 사용하되, 그렇지 않을 경우 트리를 재생성할 수 있다.
도 8은, 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 알고리즘으로 구현한 것을 나타내는 도면이다. 도 8을 통해, 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 어떠한 방식으로 알고리즘으로 구현할 수 있는지 확인할 수 있다.
도 9 및 도 10은 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에서, 단계 S400에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법에 대한 전체적인 과정을 그림으로 표현한 것으로서, 도 9는 Teacher 랜덤 포레스트의 학습 과정을 그림으로 표현한 도면이며, 도 10은 Student 랜덤 포레스트의 학습 과정을 그림으로 표현한 도면이다.
단계 S500에서는, 단계 S400에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정한다.
도 11은, 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템(10)의 구성을 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템(10)은, 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 보행자 후보 영역 검출 모듈(100); 보행자 후보 영역 검출 모듈(100)에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 관심 영역 추정 모듈(200); 관심 영역 추정 모듈(200)에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출하는 Harr-Like 특징 및 OCS-LBP 특징 추출 모듈(300); Harr-Like 특징 및 OCS-LBP 특징 추출 모듈(300)에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단하는 보행자 여부 판단 모듈(400); 및 보행자 여부 판단 모듈(400)에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정하는 최종 보행자 영역 결정 모듈(500)을 포함하여 구성될 수 있다.
본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템(10)을 구성하는 각각의 구성요소들, 즉 보행자 후보 영역 검출 모듈(100), 관심 영역 추정 모듈(200), Harr-Like 특징 및 OCS-LBP 특징 추출 모듈(300), 보행자 여부 판단 모듈(400), 및 최종 보행자 영역 결정 모듈(500)의 구체적인 역할 및 구성에 대해서는, 도 2 내지 도 10을 통해 이루어진, 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법에 대한 설명에서 충분히 확인할 수 있으므로, 상세한 설명은 생략하도록 한다.
상술한 바와 같이, 본 발명에서 제안하고 있는 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템에 따르면, 실시간으로 입력되는 카메라 영상으로부터 보행자를 검출함에 있어서, 소프트 타겟 학습 기법에 의해 랜덤 포레스트의 성능은 유지하면서도 랜덤 포레스트의 트리의 수를 줄여 처리 시간 및 메모리양을 대폭 줄일 수 있는 경량화된 랜덤 포레스트 분류 방법을 이용하여 보행자를 검출함으로써, 보다 적은 처리 시간 및 메모리양을 이용하여 효율적으로 보행자를 검출할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 본 발명의 일실시예에 따른 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템
100: 보행자 후보 영역 검출 모듈
200: 관심 영역 추정 모듈
300: Harr-Like 특징 및 OCS-LBP 특징 추출 모듈
400: 보행자 여부 판단 모듈
500: 최종 보행자 영역 결정 모듈
S100: 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 단계
S200: 단계 S100에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 단계
S300: 단계 S200에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출하는 단계
S400: 단계 S300에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단하는 단계
S410: 데이트 세트 A를 이용하여, 기존의 랜덤 포레스트 학습 방법을 적용하여 Teacher 랜덤 포레스트를 학습시키는 단계
S420: 단계 S410에서 학습시켜진 Teacher 랜덤 포레스트를 이용하여, Student 랜덤 포레스트를 위한 데이터 세트 B를 구성하는 각각의 클래스의 확률값을 추출하는 단계
S430: 단계 S420에서 각각의 클래스의 확률값이 추출된 데이터 세트 B를 이용하여, Student 랜덤 포레스트를 학습시키는 단계
S431: 단계 S420에서 각각의 클래스의 확률값이 추출된 데이터 세트 B에서, 임의의 데이터를 선택하여 서브 세트를 구성하는 단계
S432: 단계 S431에서 구성된 서브 세트에 대하여, 각각의 내부 노드는 특징 벡터 x에서 파라미터 θi를 무작위로 선택하고, 그 중에서 가장 높은 성능을 갖는 분할 함수 f와 θ를 결정한 후, f(θ, x)를 사용하여 트리를 left(Sl), right(Sr)로 분할하는 과정을, 최대 허용 깊이까지 반복하여 트리를 생성하는 단계
S433: 단계 S432에서 생성된 트리에 대하여, 평가 기준을 만족하는 트리를 찾는 과정을, 트리의 개수까지 반복하여 수행하는 단계
S500: 단계 S400에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정하는 단계

Claims (20)

  1. 보행자 검출 방법으로서,
    (1) 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 단계;
    (2) 상기 단계 (1)에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 상기 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 단계;
    (3) 상기 단계 (2)에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출하는 단계;
    (4) 상기 단계 (3)에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단하는 단계; 및
    (5) 상기 단계 (4)에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정하는 단계를 포함하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  2. 제1항에 있어서, 상기 단계 (1)에서의 Flow Map은,
    상기 입력된 영상에 대하여, 현재 프레임과 이전 프레임들 간의 차영상들을 구하고, 상기 구해진 차영상들을 가중치 결합하여 생성되는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  3. 제2항에 있어서,
    상기 가중치 결합에서의 가중치는, 현재 프레임에 가까운 프레임에 대해서는 높은 가중치를 두고, 현재 프레임에서 멀어질수록 낮은 가중치를 부여하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  4. 제1항에 있어서, 상기 단계 (2)에서의 허프 윈도우 맵은,
    상기 단계 (1)에서 검출된 보행자 후보 영역에 대하여, 다양한 크기의 영상에서 각 사이즈별로 검출되는 보행자의 영역들을 조사하여 구성되는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  5. 제1항에 있어서, 상기 단계 (4)에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법은,
    (4-1) 데이트 세트 A를 이용하여, 기존의 랜덤 포레스트 학습 방법을 적용하여 Teacher 랜덤 포레스트를 학습시키는 단계;
    (4-2) 상기 단계 (4-1)에서 학습시켜진 Teacher 랜덤 포레스트를 이용하여, Student 랜덤 포레스트를 위한 데이터 세트 B를 구성하는 각각의 클래스의 확률값을 추출하는 단계; 및
    (4-3) 상기 단계 (4-2)에서 각각의 클래스의 확률값이 추출된 데이터 세트 B를 이용하여, Student 랜덤 포레스트를 학습시키는 단계를 통해 학습시켜진 Student 랜덤 포레스트를 이용한 분류 방법인 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  6. 제5항에 있어서, 상기 Student 랜덤 포레스트는,
    상기 Teacher 랜덤 포레스트의 트리의 수보다 작은 값의 트리의 수를 갖는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  7. 제5항에 있어서,
    상기 단계 (4-1)에서, 상기 데이트 세트 A는 클래스 레이블이 포함되며,
    상기 단계 (4-2)에서, 상기 데이트 세트 B는 클래스 레이블이 포함되지 않는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  8. 제5항에 있어서, 상기 단계 (4-3)은,
    (4-3-1) 상기 단계 (4-2)에서 각각의 클래스의 확률값이 추출된 데이터 세트 B에서, 임의의 데이터를 선택하여 서브 세트를 구성하는 단계;
    (4-3-2) 상기 단계 (4-3-1)에서 구성된 서브 세트에 대하여, 각각의 내부 노드는 특징 벡터 x에서 파라미터 θi를 무작위로 선택하고, 그 중에서 가장 높은 성능을 갖는 분할 함수 f와 θ를 결정한 후, f(θ, x)를 사용하여 트리를 left(Sl), right(Sr)로 분할하는 과정을, 최대 허용 깊이까지 반복하여 트리를 생성하는 단계; 및
    (4-3-3) 상기 단계 (4-3-2)에서 생성된 트리에 대하여, 평가 기준을 만족하는 트리를 찾는 과정을, 트리의 개수까지 반복하여 수행하는 단계를 포함하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  9. 제8항에 있어서, 상기 단계 (4-3-2)에서,
    성능 평가 기준은, 상기 Teacher 랜덤 포레스트에 의해 추출된 클래스 확률 값을 이용하여 계산되는, 분할 함수 f에 대한 엔트로피 값을 이용하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  10. 제9항에 있어서, 상기 단계 (4-3-2)에서,
    상기 성능 평가 기준은, 다음 수학식을 이용하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
    Figure pat00010

    상기 수학식에서, ΔE는 엔트로피의 합, Sn은 n번째 노드에 도달하는 데이터의 집합, Sl, Sr은 각각 n번째 노드에서 왼쪽 혹은 오른쪽의 자식 노드로 들어가는 데이터의 집합, | |은 데이터 집합에 속한 데이터의 개수를 나타내며, E(S)는 다음 수학식으로 계산됨.
    Figure pat00011

    상기 수학식에서, P(Ci)는 각각의 클래스에 대한 확률 질량 함수를 나타냄.
  11. 제8항에 있어서, 상기 단계 (4-3-3)에서,
    상기 성능 평가 기준은, 상기 Teacher 랜덤 포레스트와 상기 Student 랜덤 포레스트에 의해 각각 추출된 클래스 확률값의 교차-엔트로피(cross-entropy)를 이용하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  12. 제11항에 있어서, 상기 단계 (4-3-3)에서,
    상기 성능 평가 기준은, 다음 수학식을 이용하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
    Figure pat00012

    상기 수학식에서, PT(Ci|x(n)), PS(Ci|x(n))는 각각 상기 Teacher 랜덤 포레스트와 상기 Student 랜덤 포레스트 대한, 특징 벡터 x(n)에서의 각각의 클래스에 대한 확률 질량 함수를 나타냄.
  13. 제12항에 있어서, 상기 단계 (4-3-3)에서,
    상기 계산된 교차-엔트로피(cross-entropy)가 미리 지정된 임계값보다 작을 경우 해당 트리를 사용하되, 그렇지 않을 경우 트리를 재생성하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법.
  14. 보행자 검출 시스템으로서,
    (A) 입력된 영상에 대하여, Flow Map을 이용하여 보행자 후보 영역을 검출하는 보행자 후보 영역 검출 모듈;
    (B) 상기 보행자 후보 영역 검출 모듈에서 검출된 보행자 후보 영역에 대하여 허프 윈도우 맵(Hough Window Map)을 구성하고, 상기 구성된 허프 윈도우 맵에 기초하여 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역(Region Of Interest)을 추정하는 관심 영역 추정 모듈;
    (C) 상기 관심 영역 추정 모듈에서 추정된 최적의 스케일링 영상 비율과 해당 스케일링 영상에서의 관심 영역에 대하여, Harr-Like 특징과 OCS-LBP(Oriented Center Symmetric Local Binary Pattern) 특징을 추출하는 Harr-Like 특징 및 OCS-LBP 특징 추출 모듈;
    (D) 상기 Harr-Like 특징 및 OCS-LBP 특징 추출 모듈에서 추출된 Harr-Like 특징과 OCS-LBP 특징에 대하여, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용하여 해당 관심 영역에 대한 보행자 여부를 판단하는 보행자 여부 판단 모듈; 및
    (E) 상기 보행자 여부 판단 모듈에서 보행자로 판단된 관심 영역에 대하여 Non-Maximum Suppression 알고리즘을 적용하여 최종 보행자 영역을 결정하는 최종 보행자 영역 결정 모듈을 포함하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템.
  15. 제14항에 있어서,
    상기 보행자 후보 영역 검출 모듈에서의 Flow Map은, 상기 입력된 영상에 대하여, 현재 프레임과 이전 프레임들 간의 차영상들을 구하고, 상기 구해진 차영상들을 가중치 결합하여 생성되며,
    상기 가중치 결합에서의 가중치는, 현재 프레임에 가까운 프레임에 대해서는 높은 가중치를 두고, 현재 프레임에서 멀어질수록 낮은 가중치를 부여하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템.
  16. 제14항에 있어서, 상기 관심 영역 추정 모듈에서의 허프 윈도우 맵은,
    상기 단계 (1)에서 검출된 보행자 후보 영역에 대하여, 다양한 크기의 영상에서 각 사이즈별로 검출되는 보행자의 영역들을 조사하여 구성되는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템.
  17. 제14항에 있어서, 상기 보행자 여부 판단 모듈에서의 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법은,
    (4-1) 데이트 세트 A를 이용하여, 기존의 랜덤 포레스트 학습 방법을 적용하여 Teacher 랜덤 포레스트를 학습시키는 단계;
    (4-2) 상기 단계 (4-1)에서 학습시켜진 Teacher 랜덤 포레스트를 이용하여, Student 랜덤 포레스트를 위한 데이터 세트 B를 구성하는 각각의 클래스의 확률값을 추출하는 단계; 및
    (4-3) 상기 단계 (4-2)에서 각각의 클래스의 확률값이 추출된 데이터 세트 B를 이용하여, Student 랜덤 포레스트를 학습시키는 단계를 통해 학습시켜진 Student 랜덤 포레스트를 이용한 분류 방법인 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템.
  18. 제17항에 있어서,
    상기 Student 랜덤 포레스트는, 상기 Teacher 랜덤 포레스트의 트리의 수보다 작은 값의 트리의 수를 가지고,
    상기 단계 (4-1)에서, 상기 데이트 세트 A는 클래스 레이블이 포함되며,
    상기 단계 (4-2)에서, 상기 데이트 세트 B는 클래스 레이블이 포함되지 않는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템.
  19. 제17항에 있어서, 상기 단계 (4-3)은,
    (4-3-1) 상기 단계 (4-2)에서 각각의 클래스의 확률값이 추출된 데이터 세트 B에서, 임의의 데이터를 선택하여 서브 세트를 구성하는 단계;
    (4-3-2) 상기 단계 (4-3-1)에서 구성된 서브 세트에 대하여, 각각의 내부 노드는 특징 벡터 x에서 파라미터 θi를 무작위로 선택하고, 그 중에서 가장 높은 성능을 갖는 분할 함수 f와 θ를 결정한 후, f(θ, x)를 사용하여 트리를 left(Sl), right(Sr)로 분할하는 과정을, 최대 허용 깊이까지 반복하여 트리를 생성하는 단계; 및
    (4-3-3) 상기 단계 (4-3-2)에서 생성된 트리에 대하여, 평가 기준을 만족하는 트리를 찾는 과정을, 트리의 개수까지 반복하여 수행하는 단계를 포함하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템.
  20. 제19항에 있어서,
    상기 단계 (4-3-2)에서, 상기 성능 평가 기준은, 다음 수학식을 이용하며,
    Figure pat00013

    (상기 수학식에서, ΔE는 엔트로피의 합, Sn은 n번째 노드에 도달하는 데이터의 집합, Sl, Sr은 각각 n번째 노드에서 왼쪽 혹은 오른쪽의 자식 노드로 들어가는 데이터의 집합, | |은 데이터 집합에 속한 데이터의 개수를 나타내며, E(S)는 다음 수학식으로 계산됨.
    Figure pat00014

    상기 수학식에서, P(Ci)는 각각의 클래스에 대한 확률 질량 함수를 나타냄.)
    상기 단계 (4-3-3)에서,
    상기 성능 평가 기준은, 다음 수학식을 이용하는 것을 특징으로 하는, 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 시스템.
    Figure pat00015

    (상기 수학식에서, PT(Ci|x(n)), PS(Ci|x(n))는 각각 상기 Teacher 랜덤 포레스트와 상기 Student 랜덤 포레스트 대한, 특징 벡터 x(n)에서의 각각의 클래스에 대한 확률 질량 함수를 나타냄.)
KR1020180015343A 2018-02-07 2018-02-07 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템 KR102036182B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180015343A KR102036182B1 (ko) 2018-02-07 2018-02-07 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180015343A KR102036182B1 (ko) 2018-02-07 2018-02-07 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190100518A true KR20190100518A (ko) 2019-08-29
KR102036182B1 KR102036182B1 (ko) 2019-10-25

Family

ID=67776042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180015343A KR102036182B1 (ko) 2018-02-07 2018-02-07 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102036182B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880014A (zh) * 2019-10-11 2020-03-13 中国平安财产保险股份有限公司 数据处理方法、装置、计算机设备及存储介质
KR20220105453A (ko) * 2021-01-20 2022-07-27 서강대학교산학협력단 메모리 프로파일링 장치 및 그의 동작 방법
CN115100555A (zh) * 2022-07-27 2022-09-23 南京理工大学 云雾环境下基于多运动特征的森林火灾烟雾检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025508A (ko) * 2013-08-30 2015-03-10 계명대학교 산학협력단 공유 지역 특징을 이용한 다시점 객체 검출 방법
KR20160132731A (ko) * 2015-05-11 2016-11-21 계명대학교 산학협력단 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025508A (ko) * 2013-08-30 2015-03-10 계명대학교 산학협력단 공유 지역 특징을 이용한 다시점 객체 검출 방법
KR20160132731A (ko) * 2015-05-11 2016-11-21 계명대학교 산학협력단 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김상준 외 4명, 소프트 타겟 학습 기법을 활용한 랜덤 포레스트 경량화와 이를 이용한 보행자 검출, 한국소프트웨어종합학술대회 논문집, pp.811~813, (2017.12) 1부.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880014A (zh) * 2019-10-11 2020-03-13 中国平安财产保险股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN110880014B (zh) * 2019-10-11 2023-09-05 中国平安财产保险股份有限公司 数据处理方法、装置、计算机设备及存储介质
KR20220105453A (ko) * 2021-01-20 2022-07-27 서강대학교산학협력단 메모리 프로파일링 장치 및 그의 동작 방법
CN115100555A (zh) * 2022-07-27 2022-09-23 南京理工大学 云雾环境下基于多运动特征的森林火灾烟雾检测方法
CN115100555B (zh) * 2022-07-27 2022-11-15 南京理工大学 云雾环境下基于多运动特征的森林火灾烟雾检测方法

Also Published As

Publication number Publication date
KR102036182B1 (ko) 2019-10-25

Similar Documents

Publication Publication Date Title
CN109670446B (zh) 基于线性动态系统和深度网络的异常行为检测方法
US7310442B2 (en) Scene analysis surveillance system
JP4767595B2 (ja) 対象物検出装置及びその学習装置
US20200012923A1 (en) Computer device for training a deep neural network
Janakiramaiah et al. RETRACTED ARTICLE: Automatic alert generation in a surveillance systems for smart city environment using deep learning algorithm
WO2013101460A2 (en) Clustering-based object classification
Islam et al. Performance prediction of tomato leaf disease by a series of parallel convolutional neural networks
Park et al. Wildfire smoke detection using spatiotemporal bag-of-features of smoke
KR102036182B1 (ko) 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템
KR102418596B1 (ko) 소규모 학습 데이터 셋 기반 딥러닝 시스템과 이를 이용한 딥러닝 학습방법
KR101720781B1 (ko) 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
Suvarnam et al. Combination of CNN-GRU model to recognize characters of a license plate number without segmentation
Rahman et al. Unmanned aerial vehicle assisted forest fire detection using deep convolutional neural network
WO2020088763A1 (en) Device and method for recognizing activity in videos
Lippert et al. Face mask detector
Dung et al. Algorithm for fire detection using a camera surveillance system
Filippidis et al. Fusion of intelligent agents for the detection of aircraft in SAR images
CN115393802A (zh) 一种基于小样本学习的铁路场景不常见入侵目标识别方法
KR101467307B1 (ko) 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치
Touazi et al. A k-nearest neighbor approach to improve change detection from remote sensing: Application to optical aerial images
CN114943873B (zh) 一种工地人员异常行为分类方法及装置
KR20210079922A (ko) 영상에 포함된 객체를 분류하는 장치, 방법 및 컴퓨터 프로그램
Waddenkery et al. An efficient convolutional neural network for detecting the crime of stealing in videos
Teršek et al. Re-evaluation of the CNN-based state-of-the-art crowd-counting methods with enhancements
Shafique et al. Dilated Convolution and Residual Network based Convolutional Neural Network for Recognition of Disastrous Events

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180207

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190429

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191015

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191018

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191021

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221013

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230926

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee