KR101612779B1 - 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치 - Google Patents

부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치 Download PDF

Info

Publication number
KR101612779B1
KR101612779B1 KR1020140151621A KR20140151621A KR101612779B1 KR 101612779 B1 KR101612779 B1 KR 101612779B1 KR 1020140151621 A KR1020140151621 A KR 1020140151621A KR 20140151621 A KR20140151621 A KR 20140151621A KR 101612779 B1 KR101612779 B1 KR 101612779B1
Authority
KR
South Korea
Prior art keywords
partial
random forest
basis
static images
person
Prior art date
Application number
KR1020140151621A
Other languages
English (en)
Inventor
고병철
손정은
남재열
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020140151621A priority Critical patent/KR101612779B1/ko
Application granted granted Critical
Publication of KR101612779B1 publication Critical patent/KR101612779B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치에 관한 것으로서, 보다 구체적으로는 (1) 분할정복 알고리즘 및 스케일 히스토그램을 사용하여 상기 정적 이미지들에 대한 이미지 스케일링 레벨을 결정하는 단계; (2) 상기 정적 이미지들의 복수의 시점에 대해 신체의 3분할 이미지들로부터 부분 영역들의 랜덤(random)한 집합을 가우시안 분포로 생성하는 단계; (3) 데이터 학습 및 랜덤 포레스트를 사용하여 상기 복수의 시점에 대한 상기 부분 영역들의 분류자를 생성하는 단계; (4) 각각의 시점 클래스에서의 상기 부분 영역들의 위치에서, 상기 학습된 랜덤 포레스트에 기초한 부분 영역 감지자들의 확률적 투표에 따라 부분 벡터들(part vectors)을 생성하는 단계; (5) 상기 각각의 시점 클래스에 대한 부분 벡터들을 군집 분류하여 부분 기저들(part bases)을 생성하고, 상기 부분 기저들의 각각의 성분에 대해 가중치를 부여하는 단계; 및 (6) 상기 부분 영역 감지자들을 사용하여 상기 부분 벡터들을 근사하고, 각각의 부분 벡터를 상기 각각의 시점 클래스에 대한 부분 기저에 적용하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 장치에 따르면, 정면-후면 시점, 좌측면 시점 및 우측면 시점의 3개 시점으로부터 부분 영역들을 추출하고, 신체의 상부, 중앙 및 하부 이미지로부터 부분 영역들의 랜덤 집합을 가우시안 분포로 추출하며, 3개의 시점에 대해 부분 영역들 전체에 대한 랜덤 포레스트를 사용하여 개별 부분 분류자를 생성하고, 각각의 시점 클래스에서의 부분 영역의 위치로부터 부분 벡터들을 생성하며, 가중치가 부여된 부분 벡터들을 군집 분류(clustering)하여 부분 기저들을 생성하고, 각 시점 클래스에서 학습된 부분 기저에 대해 학습된 부분 감지자들을 측정하여 각각의 시점에 대한 부분 벡터를 측정하며, 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 영역을 사람으로 감지함으로써, 복수의 정적 이미지들에서 사람을 감지하는데 소요되는 계산 부하 및 비용을 절감하면서도 감지 성능을 향상시킬 수 있다.

Description

부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치{METHOD OF DETECTING VIEW-INVARIANT, PARTIALLY OCCLUDED HUMAN IN A PLURALITY OF STILL IMAGES USING PART BASES AND RANDOM FOREST AND A COMPUTING DEVICE PERFORMING THE METHOD}
본 발명은 정적 이미지에서 사람을 감지하는 방법 및 이를 수행하는 컴퓨팅 장치에 관한 것으로서, 보다 구체적으로는 부분 기저(part bases) 및 랜덤 포레스트(random forest)를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치에 관한 것이다.
컴퓨터 비전(computer vision)에서 사람을 감지하는 기술은 예컨대, 사람 추적, 제스처 인식, 이벤트 인식, 감시, 사전(advance) 운전 보조 등과 같은 여러 인식 응용프로그램의 기본이 된다. 그에 따라, 종래에는 잘 정리된 이미지들(well-formed images)에 대해 사람을 감지하는 기술이 상당한 발전을 해왔다. 그럼에도 불구하고 여전히, 경계 간의 또는 경계 내에서의 가림(occlusion), 시야, 조명, 그림자뿐만 아니라 포즈(pose), 옷, 색상 등에서 발생하는 내적 변화들은 사람을 감지하는데 큰 장애가 되고 있다.
종래기술에 따른 사람 감지 방법은, 인간 모델로서 신체 전부를 사용하는 알고리즘으로 개발되어 왔다. 일례로, 동적 객체 클래스들의 성분들에 대한 중요 정보를 획득하는 Haar 웨이블릿(wavelet)의 과도 완성된 사전에 기초한 표현을 사용하는 방법의 경우, 추출된 특징들을 인간 감지를 위한 지지 벡터 머신(support vector machine, SVM)에 적용시켰다(C. Papageorgiou, T. Poggio, A trainable system for object detection, International Journal of Computer Vision, 38(1) (2000), 1533). 다른 일례로, 신체 전 영역의 밀도 높은(dense) 중첩 영역으로부터 기울기 히스토그램(histogram of oriented gradients, HOG)을 추출하여 국소 정규화된 HOG 히스토그램을 추출하는 방법도 제시된 바 있다(N. Dalal, B. Triggs, Histograms of oriented gradients for human detection, in: IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2005, pp. 886893). 또 다른 일례로, 국소 이진 패턴(local binary pattern, LBP) 기술자에 기초한 개인 앨범에 대한 사람 감지 시스템의 경우, 이미지 다양체의 국소 구조에 대해 이진 패턴들이 더 많은 정보를 획득하기 때문에, 기울기에 기반한 특징보다 더 나은 인식도를 제공할 수 있다.
이러한 방법 이외에, 캐스케이드 분류자(cascade classifier)를 이용한 접근법 또한 개발되어 왔다. 캐스케이드 분류자를 이용하는 경우, 위에 언급된 방법들보다 계산 속도가 향상되는 장점이 있으나, 포즈(pose)가 변함에 따라 어느 한 사람의 신체 부위에 대한 캐스케이드 분류자가 다른 사람이나 다른 신체 부위에 의해 가려지는 경우, 사람들을 놓치는 문제가 있다.
이처럼, 사람의 신체가 가려지거나 변형될 경우 발생하는 문제에 대해서는 하나의 단일 모델보다 사람 감지 성능이 보다 정확해지므로, 부분 기반 모델(part-based model) 및 국소 특징 기반(local feature-based) 접근을 함께 사용하는 기술들이 제안되어 왔다.
한편, 광역(global) 및 부분 기반(part-based) 인간 모델에서와 다르게, 시점(view-point)이 변하는 경우에도, 사람 감지의 정확도가 영향을 받을 수 있다. 종래기술에서 사용하는 많은 인간 모델의 경우, 단순히 어느 한 사람의 전면 시야 또는 후면 시야와 같은, 단일 시야를 찾기 위한 접근이 주로 이루어져왔다.
그러나 부분 시야(part-view) 또는 다중 시야(multi-view)에 기반한 사람 감지 방법은, 서로 다른 스케일의 이미지 피라미드(image pyramid) 및 각각의 이미지 스케일에서의 밀도 높은 미끄럼 창(sliding windows)을 실행하기 위해 막대한 계산 비용이 소요되는 문제가 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 정면-후면 시점, 좌측면 시점 및 우측면 시점의 3개 시점으로부터 부분 영역들을 추출하고, 신체의 상부, 중앙 및 하부 이미지로부터 부분 영역들의 랜덤 집합을 가우시안 분포로 추출하며, 3개의 시점에 대해 부분 영역들 전체에 대한 랜덤 포레스트를 사용하여 개별 부분 분류자를 생성하고, 각각의 시점 클래스에서의 부분 영역의 위치로부터 부분 벡터들을 생성하며, 가중치가 부여된 부분 벡터들을 군집 분류(clustering)하여 부분 기저들을 생성하고, 각 시점 클래스에서 학습된 부분 기저에 대해 학습된 부분 감지자들을 측정하여 각각의 시점에 대한 부분 벡터를 측정하며, 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 영역을 사람으로 감지함으로써, 복수의 정적 이미지들에서 사람을 감지하는데 소요되는 계산 부하 및 비용을 절감하면서도 감지 성능을 향상시킬 수 있는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법은,
복수의 정적 이미지들에서 사람을 감지하기 위한 방법으로서,
(1) 분할정복 알고리즘 및 스케일 히스토그램을 사용하여 상기 정적 이미지들에 대한 이미지 스케일링 레벨을 결정하는 단계;
(2) 상기 정적 이미지들의 복수의 시점에 대해 신체의 3분할 이미지들로부터 부분 영역들의 랜덤(random)한 집합을 가우시안 분포로 생성하는 단계;
(3) 데이터 학습 및 랜덤 포레스트를 사용하여 상기 복수의 시점에 대한 상기 부분 영역들의 분류자를 생성하는 단계;
(4) 각각의 시점 클래스에서의 상기 부분 영역들의 위치에서, 상기 학습된 랜덤 포레스트에 기초한 부분 영역 감지자들의 확률적 투표에 따라 부분 벡터들(part vectors)을 생성하는 단계;
(5) 상기 각각의 시점 클래스에 대한 부분 벡터들을 군집 분류하여 부분 기저들(part bases)을 생성하고, 상기 부분 기저들의 각각의 성분에 대해 가중치를 부여하는 단계; 및
(6) 상기 부분 영역 감지자들을 사용하여 상기 부분 벡터들을 근사하고, 각각의 부분 벡터를 상기 각각의 시점 클래스에 대한 부분 기저에 적용하는 단계를 포함하여 구성될 수 있다.
바람직하게는,
(7) 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 하나의 시점 클래스를 사람 영역으로 선택하는 단계를 더 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (2)에서,
상기 신체의 3분할 이미지는, 상부 이미지, 중앙 이미지 및 하부 이미지를 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (2)에서,
상기 랜덤한 집합들은 서로 다른 3개의 시점으로부터 생성되도록 구성될 수 있다.
더욱 바람직하게는,
상기 서로 다른 3개의 시점은 정면-후면 시점, 좌측면 시점 및 우측면 시점을 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (2)에서,
상기 부분 영역들은 상기 신체의 3분할 이미지들 각각으로부터 균등한 개수로 생성되도록 구성될 수 있다.
바람직하게는, 상기 단계 (5)에서,
상기 부분 벡터들은 K-means 클러스터링을 사용하여 군집 분류되고, K값은 부분 기저의 크기와 동일하도록 구성될 수 있다.
바람직하게는, 상기 단계 (6)에서,
상기 부분 벡터들은 상기 각각의 시점 클래스에 대한 부분 기저 및 상기 가중치를 이용하여 근사되도록 구성될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 수행하는 컴퓨팅 장치는,
복수의 정적 이미지들을 저장하는 메모리; 및
상기 정적 이미지들의 데이터를 이용하여 소정의 연산을 수행하는 연산부를 포함하되,
상기 연산부는,
(1) 분할정복 알고리즘 및 스케일 히스토그램을 사용하여 상기 정적 이미지들에 대한 이미지 스케일링 레벨을 결정하는 단계;
(2) 상기 정적 이미지들의 복수의 시점에 대해 신체의 3분할 이미지들로부터 부분 영역들의 랜덤(random)한 집합을 가우시안 분포로 생성하는 단계;
(3) 데이터 학습 및 랜덤 포레스트를 사용하여 상기 복수의 시점에 대한 상기 부분 영역들의 분류자를 생성하는 단계;
(4) 각각의 시점 클래스에서의 상기 부분 영역들의 위치에서, 상기 학습된 랜덤 포레스트에 기초한 부분 영역 감지자들의 확률적 투표에 따라 부분 벡터들(part vectors)을 생성하는 단계;
(5) 상기 각각의 시점 클래스에 대한 부분 벡터들을 군집 분류하여 부분 기저들(part bases)을 생성하고, 상기 부분 기저들의 각각의 성분에 대해 가중치를 부여하는 단계; 및
(6) 상기 부분 영역 감지자들을 사용하여 상기 부분 벡터들을 근사하고, 각각의 부분 벡터를 상기 각각의 시점 클래스에 대한 부분 기저에 적용하는 단계를 포함하여, 상기 정적 이미지들에 포함된 사람 영역을 감지하도록 구성되는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 연산부는,
(7) 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 하나의 시점 클래스를 사람 영역으로 선택하는 단계를 더 포함하여 상기 사람 영역을 감지하도록 구성될 수 있다.
바람직하게는,
상기 신체의 3분할 이미지는, 상부 이미지, 중앙 이미지 및 하부 이미지를 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (2)에서,
상기 랜덤한 집합들은 서로 다른 3개의 시점으로부터 생성되도록 구성될 수 있다.
더욱 바람직하게는,
상기 서로 다른 3개의 시점은 정면-후면 시점, 좌측면 시점 및 우측면 시점을 포함하여 구성될 수 있다.
바람직하게는, 상기 단계 (2)에서,
상기 부분 영역들은 상기 신체의 3분할 이미지들 각각으로부터 균등한 개수로 생성되도록 구성될 수 있다.
바람직하게는, 상기 단계 (5)에서,
상기 부분 벡터들은 K-means 클러스터링을 사용하여 군집 분류되고, K값은 부분 기저의 크기와 동일하도록 구성될 수 있다.
바람직하게는, 상기 단계 (6)에서,
상기 부분 벡터들은 상기 각각의 시점 클래스에 대한 부분 기저 및 상기 가중치를 이용하여 근사되도록 구성될 수 있다.
본 발명에서 제안하고 있는 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 장치에 따르면, 정면-후면 시점, 좌측면 시점 및 우측면 시점의 3개 시점으로부터 부분 영역들을 추출하고, 신체의 상부, 중앙 및 하부 이미지로부터 부분 영역들의 랜덤 집합을 가우시안 분포로 추출하며, 3개의 시점에 대해 부분 영역들 전체에 대한 랜덤 포레스트를 사용하여 개별 부분 분류자를 생성하고, 각각의 시점 클래스에서의 부분 영역의 위치로부터 부분 벡터들을 생성하며, 가중치가 부여된 부분 벡터들을 군집 분류(clustering)하여 부분 기저들을 생성하고, 각 시점 클래스에서 학습된 부분 기저에 대해 학습된 부분 감지자들을 측정하여 각각의 시점에 대한 부분 벡터를 측정하며, 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 영역을 사람으로 감지함으로써, 복수의 정적 이미지들에서 사람을 감지하는데 소요되는 계산 부하 및 비용을 절감하면서도 감지 성능을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 흐름을 도시한 도면.
도 2 및 도 3은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 단계 S110에서 결정될 수 있는 이미지 스케일링 레벨의 스케일링 비율을 적용한 도면들.
도 4, 도 5 및 도 6은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 단계 S120에서 사용될 수 있는 신체의 3분할 이미지들을 도시한 도면들.
도 7은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 흐름을 개념적으로 도시한 도면.
도 8은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 단계 S120에서 신체 분할 이미지들로부터 추출될 수 있는 부분 영역들의 최적 개수를 평가하여 도시한 도면.
도 9는 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 단계 S150에서 형성될 수 있는 부분 기저들의 최적 개수를 평가하여 도시한 도면.
도 10 및 도 11은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법에 따른 사람 감지 정확도를 종래기술에 의한 사람 감지 방법의 감지 정확도와 비교하여 도시한 도면들.
도 12 및 도 13은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 서로 다른 조건에서 적용한 경우의 사람 감지 정확도를 평가하여 도시한 도면들.
도 14 및 도 15는 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 적용하여 사람을 감지한 테스트 이미지들을 도시한 도면들.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성성분을 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성성분을 제외하는 것이 아니라 다른 구성성분을 더 포함할 수 있다는 것을 의미한다.
이하에서, 본 발명의 실시예들에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법은, 소정의 이미지들을 저장하는 메모리와 상기 이미지들에 대한 연산을 수행하기 위한 연산 유닛을 포함하는 제어부를 갖는 장치에서 수행될 수 있다. 이러한 장치는 예를 들어, 컴퓨터, 노트북, 스마트폰, 태블릿, PDA, 웨어러블 컴퓨터, 스마트 와치 등을 포함할 수 있다. 예를 들어, 본 발명의 실시예들에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법은, 16GB 의 RAM 및 인텔코어2 쿼드 프로세서를 포함하는 컴퓨터의 마이크로소프트의 Windows8운영체제 상에서 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 흐름을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법은 분할정복 알고리즘 및 스케일 히스토그램을 사용하여 정적 이미지들에 대한 이미지 스케일링 레벨을 결정하는 단계(S110), 정적 이미지들의 복수의 시점에 대해 신체의 3분할 이미지들로부터 부분 영역들의 랜덤한 집합을 가우시안 분포로 생성하는 단계(S120), 데이터 학습 및 랜덤 포레스트를 사용하여 복수의 시점에 대한 부분 영역들의 분류자를 생성하는 단계(S130), 각각의 시점 클래스에서의 부분 영역들의 위치에서, 학습된 랜덤 포레스트에 기초한 부분 영역 감지자들의 확률적 투표에 따라 부분 벡터들(part vectors)을 생성하는 단계(S140), 각각의 시점 클래스에 대한 부분 벡터들을 군집 분류하여 부분 기저들(part bases)을 생성하고, 부분 기저들의 각각의 성분에 대해 가중치를 부여하는 단계(S150) 및 부분 영역 감지자들을 사용하여 부분 벡터들을 근사하고, 각각의 부분 벡터를 각각의 시점 클래스에 대한 부분 기저에 적용하는 단계(S160)를 포함하여 구성될 수 있으며, 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 하나의 시점 클래스를 사람 영역으로 선택하는 단계(S170)를 더 포함하여 구성될 수 있다. 이하에서는 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 각각의 구성에 대해 상세히 설명하도록 한다.
단계 S110에서는, 분할정복 알고리즘 및 스케일 히스토그램을 사용하여 정적 이미지들에 대한 이미지 스케일링 레벨(scaling level)이 결정될 수 있다. 이미지에서 사람을 감지하는데 중요한 문제 중 하나는 이미지 샘플링의 스케일(scale)이 달라서 각각의 스케일링 레벨에서의 윈도 스캐닝(window scanning)에 대한 계산 비용이 크게 증가하는 점이다. 이를 극복하기 위해, 본 발명자들은 조밀하게 샘플링된 이미지 피라미드에 N. Dalal, B. Triggs, Histograms of oriented gradients for human detection, in: IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2005, pp. 886893에서 제안하고 있는 나이브(naive) 사람 감지 알고리즘을 적용하고, 스케일 히스토그램에 대해 감지 빈도를 투표하는 방법을 적용하였다.
특히, 본 발명의 실시예들에 따른 사람 감지 방법의 목적 중 하나는, 통상적인 디지털 카메라를 사용하여 획득된 자연 사진에서 사람을 감지하는 방법을 제공하는 것으로서, 이러한 자연 사진에서 감지 가능한 사람의 스케일링 레벨을 전제로 하였다.
도 2 및 도 3은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 단계 S110에서 결정될 수 있는 이미지 스케일링 레벨의 스케일링 비율을 적용한 도면들이다. 도 2 및 도 3에 도시된 바와 같이, 이미지에 포함된 사람의 크기가 2배로 업 샘플(도 2의 경우)되거나, 1/2로 다운 샘플(도 3의 경우) 될 수 있는데, 그에 따라 이러한 이미지 스케일링 레벨은 1:0.5 내지 1:2.0 의 범위에서 결정될 수 있다.
최적의 이미지 스케일 레벨을 결정하기 위하여, 본 발명자들은 스케일 히스토그램(scale histogram) 및 분할정복 알고리즘(divided-and-conquer algorith)을 함께 적용하였다. 이렇게 적용되는 알고리즘은 하기의 [알고리즘 1]과 같이 적용될 수 있다.
[알고리즘 1]
R: 스케일링 레벨의 셋트
SH: 스케일 히스토그램(SH의 bin 레벨들은 N개의 스케일링 레벨들을 의미함)
경계값 Tl = 0.2 × (SH의 투표 빈도의 합)
1-1. N개의 스케일링 레벨을 테스트 이미지에 적용한다. 이때, 스케일링 비율은 0.1 단위로 1:0.5 로부터 1:2.0까지 조밀하게 증가시킨다.
1-2. N개의 스케일링 이미지들에서 조밀한(dense) 사람 감지를 수행한다.
1-3. SH에 대해 스케일링 레벨 i 의 감지 빈도의 투표를 적용한다.
1-4. SH는 분할정복 알고리즘을 사용하여 SHleft 및 SHright로 동등하게 분할된다.
1-5. 의사코드의 일례는 다음과 같다.
//call recursive function
Divide_Conquer_function(SHLeft);
//call recursive function
Divide_Conquer _function(SHRight);
//recursive function
Divide_Conquer_function (R, SH) {
Find the maximum voting level i from SH;
If( maximum voting of level i < T1 ) { //stop dividing
Assign a scaling level i to R;
Return;
}
Else{
Divide SH into SHLeft and SHRight;
Divide_Conquer_function (R, SHLeft)
Divide_Conquer_function(R, SHRight);
}
}
본 발명자들은, 상기 알고리즘 1 및 INRIA dataset을 사용하여 초기 11개의 레벨들로부터 5개의 스케일링 레벨을 결정하였다. 구체적으로, 업 샘플링 비율은 1:1.3이고, 다운샘플링 비율은 1:0.5, 1:0.7, 1:0.8 및 1:0.9로 결정되었다.
단계 S120에서는, 정적 이미지들의 복수의 시점에 대한 신체의 3분할 이미지들로부터 부분 영역들의 랜덤한 집합이 가우시안 분포로 생성될 수 있다.
부분 기저 모델(Part-based model)은 부분 영역들의 집합을 사용한 객체를 표현하는데, 이러한 부분 영역들은 변형 가능한 구조(deformable configuration)에 배열될 수 있다. 부분 영역들의 개수를 증가시킬수록 감지 정확도가 높아지지만, 계산 복잡도, 학습 및 테스트 시간이 선형적으로 증가하게 되는 단점이 있다.
부분 영역들의 최적의 개수를 선택하기 위해, 본 발명자들은 이미지에 포함된 신체를 3개의 분할 이미지들로 나누었다. 예를 들어, 신체의 이미지는 상부 이미지, 중앙 이미지 및 하부 이미지로 3분할될 수 있다. 각 분할 이미지로부터 부분 영역들(예컨대, 사각 영역들)의 집합이 가우시안 분포로서 랜덤하게 추출될 수 있다. 가우시안 분포로 랜덤 추출하는 이유는, 인간 창(human window)의 경계로부터 부분 영역들이 추출되는 것을 방지하기 위한 이유이다. 이러한 과정은, 복수의 시점에 대하여 동일한 방식으로 수행될 수 있다. 예를 들어, 복수의 시점은, 정면-후면 시점(frontal-rear), 좌측면 시점(left profile) 및 우측면 시점(right profile)의 3개의 시점을 포함할 수 있다.
도 4, 도 5 및 도 6은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 단계 S120에서 사용될 수 있는 신체의 3분할 이미지들을 도시한 도면들이다. 도 4, 도 5 및 도 6에 도시된 바와 같이, 각 도면의 좌측 열에 도시된 신체의 3분할 이미지들로부터 복수의 부분 영역들(적색으로 도시)이 추출될 수 있다. 예시적으로 추출된 부분 영역들의 이미지를 중앙 열 및 우측 열에 도시하였다.
본 발명자들은, 각 시점에 대해 랜덤하게 추출되는 부분 영역들의 개수를 각각의 분할 이미지당 30개씩 총 90개로 설정하였다. 이렇게 각 분할 이미지당 30개의 부분 영역들을 추출함으로써, 후술할 도 8에서와 같이, 계산 시간을 감소시키면서도 감지 정확도를 높일 수 있다. 각 시점마다 추출될 부분 영역들의 적절한 개수는 실시간 응용프로그램에 의해 제어될 수도 있다.
단계 S130에서는, 데이터 학습 및 랜덤 포레스트를 사용하여 복수의 시점에 대한 부분 영역들의 분류자(즉, 부분 분류자)(Part classifier)가 생성될 수 있다.
부분 영역들이 선택된 이후, 본 발명자들은 방향성 중심 대칭 국소이진 패턴(oriented center-symmetric local binary pattern, OCS-LBP)을 추출하였다. 이러한 OCS-LBP를 구성하기 위하여, 이웃하는 반대(opposite) 화소들의 쌍끼리의 거리가 미리 설정된 경계 값을 초과하는 경우, 기울기 방향이 확정될 수 있다. 각각의 화소는 특정한 방향에서 기울기 크기에 영향을 주는데, 이러한 특정 방향은 0도 내지 360도 범위 중 45도 간격마다의 8개 방향으로 구성되었다. 방향이 제k 번째 빈(bin k)에 속하는 모든 기울기들의 크기를 합함으로써, 이러한 8개의 각 방향에 대하여 사용된 OCS-LBP을 얻을 수 있다. 이러한 OCS-LBP에 대해서는 B. C. Ko, J. Y. Kwak, Jae-Yeal Nam, Human tracking in thermal images using adaptive particle filters with online random forest learning, Optical Engineering, 52(11) (2013), 1-14에 개시된 내용을 참조할 수 있다.
본 발명자들은 하나의 부분 영역을 2×2의 서브부분들(sub-parts)로 나누고, 국소 OCS-LBP 기술자(descriptor)의 4가지 타입을 추출하였다. 이때, OCS-LBP 기술자의 전체적인 차원(dimension)은 서브부분들의 기술자들을 연쇄한, 32(=4×8)일 수 있다.
각각의 시점에 대한 부분 영역들의 분류에 대하여, 본 발명자들은 랜덤 포레스트(random forest, RF)를 적용하였다. 학습 단계에서, j번째 시점 이미지로부터 i번째 긍정(positive) 부분 영역
Figure 112014105912041-pat00001
이 추출되었다. 이때, Ii는 OCS-LBP 기술자를 나타내고, ci는 상기 i번째 부분 영역에서의 클래스 레이블(class label)을 나타내며, di는 신체 분할 이미지의 중심으로부터의 2차원 오프셋 벡터(2D offset vector)를 나타낸다.
상기 i번째 부분 영역에 대한 긍정 예(positive example)들은 동일한 위치로부터 동일한 j번째 시점을 갖는 학습 인간 창(traning human window)으로서 샘플링될 수 있다. 또한, 상기 i번째 부분 영역에 대한 부정 예(negative example)들은 시점이나 위치에 관계없이 배경(background)으로부터 샘플링될 수 있다. 즉, 부정 예들의 오프셋 벡터 di는 0(zero)일 수 있다.
랜덤 포레스트(RF)는 각각의 부분 영역들에 대해 상기 j번째 시점의 i번째 부분 영역의 집합에 기초하여 구성될 수 있다. 랜덤 포레스트의 트리(tree)는 몇몇 랜덤 분열 함수(split function)들을 각각의 노드(node)에 적용하고 이러한 분열 함수들의 결과에 기초하여 가지 노드(child node)들로 넘어감으로써, 확장될 수 있다. 트리가 구성된 이후에, 각각의 잎 노드(leaf node)는 상기 j번째 시점의 i번째 부분 영역의 클래스 비율
Figure 112014105912041-pat00002
을 저장할 수 있다. 이때, 클래스 비율
Figure 112014105912041-pat00003
의 값은, 노드 N에 오로지 긍정 부분 영역들이 도달하는 경우 1의 값을 갖고, 오로지 부정 부분 영역들이 도달하는 경우 0(zero)의 값을 가질 수 있다.
본 발명자들의 연구에서는, i번째 부분 영역에 대한 랜덤 포레스트의 각각의 트리는 최대 깊이(depth)가 20이었고, 15개의 트리들이 랜덤 포레스트를 구성하기 위해 사용되었다. j번째 시점의 i번째 부분 영역 분류자에 대해 학습하는 랜덤 포레스트의 전체적인 과정은 하기의 [알고리즘 2]와 같다.
[알고리즘 2]
SP: j번째 시점의 i번째 부분 영역으로부터 수집되는 긍정 데이터 및 배경으로부터 수집되는 부정 데이터를 포함하는 학습 세트
T2: 트리가 자랄 수 있는 최대 개수
T3: 트리가 확대될 수 있는 최대 깊이
2-1. 루프(Loop): 각각의 트리는 의사결정트리의 개수가 T2보다 작을 때까지로 구성된다.
(a) 학습 세트 SP로부터 n개의 새로운 부트스트랩(bootstrap) 샘플들을 선택한다.
(b) 루프: 트리는 의사결정트리의 개수가 T3보다 작을 때까지 확장된다.
b-1) 각각의 내부 노드(internal node)는 OCS-LBP 기술자로부터 랜덤하게 m개의 변수들을 선택하고, 선택된 변수들만을 사용한 최적의 분할 함수를 결정한다.
b-2) 트리의 최대 깊이 내에서 트리를 성장시킨다.
(c) 랜덤 포레스트에 의사결정트리 l을 더한다.
2-2. [수학식 1]을 사용하여 모든 트리들 L=(l1, l2, …, lT)의 각각의 분포를 앙상블(ensemble) 함으로써, j번째 시점의 i번째 부분 영역에 대한 최종 클래스 분포를 생성한다.
Figure 112014105912041-pat00004
여기서,
Figure 112014105912041-pat00005
는 사람 클래스 및 배경 클래스의 2가지 클래스들에 대한 분류 확률을 나타낸다.
단계 S140에서는, 각각의 시점 클래스에서의 부분 영역들의 위치로부터, 학습된 랜덤 포레스트에 기초한 부분 영역 감지자들의 확률적 투표에 따라 부분 벡터들이 생성될 수 있다.
예를 들어, j번째 시점의 i번째 부분 영역에 대한 감지자(detector)들이 학습된 이후에는, 동일한 위치를 갖는 n개의 학습 인간 창(training human window)들로부터 부분 영역들의 예들(examples)이 추출되어, 각각의 학습된 랜덤 포레스트 분류자를 통과시킬 수 있다. 이러한 인간 창의 부분 영역들의 예들은 j번째 부분 벡터 pv(i)의 i번째 인덱스에 대해 확률적인 랜덤 포레스트 점수를 부여할 수 있다. 그러므로 부분 벡터 pv(i)의 i번째 성분은 후술할 도 7의 510에서와 같이, i번째 부분 영역의 타입에 대한 감지 투표들을 갖는다.
도 7은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 흐름을 개념적으로 도시한 도면이다. 도 7의 510에 도시된 바와 같이, 신체의 3분할 이미지들의 부분 영역들에 대해 단계 S130 및 S140에 따른 확률적 투표 결과에 따라 부분 벡터들의 각각의 성분 값이 결정될 수 있다. 이때, 부분 벡터 pv(i)의 차원은 각각의 시점에 대한 랜덤 부분 영역들의 개수와 동일한 차원을 가질 수 있다. 예를 들어, 본 발명자들의 연구에서, 부분 벡터 pv(i)의 차원은 90(=상부 이미지 30 + 중앙 이미지 30 + 하부 이미지 30)을 가질 수 있다.
학습하는 동안의 부분 벡터 pv의 차원이 D인 경우, 이러한 부분 벡터 pv의 세트를
Figure 112014105912041-pat00006
와 같이 나타내도록 정의한다. 이때, 각각의 부분 벡터 pv는 D차원의 실벡터(
Figure 112014105912041-pat00007
)로서, n번째 학습 이미지 및 j번째 시점에 대한 부분 벡터를 나타낸다.
단계 S150에서는, 각각의 시점 클래스에 대한 부분 벡터들을 군집 분류하여 부분 기저들을 생성하고, 부분 기저들의 각 성분에 대해 가중치를 부여할 수 있다.
예를 들어, 학습된 데이터로부터 j번째 시점에 대한 부분 벡터 집합
Figure 112014105912041-pat00008
이 추출된 이후에는 부분 기저(part bases, PB)를 생성할 수 있다. 본 발명자들은 사람 감지를 위해 BoW(bag-of-words) 표현을 사용하여 부분 기저PB를 구성하였다. 코드북(codebook)은 각각의 j번째 시점을 부분 영역들의 집합으로부터 계산된 부분 벡터들
Figure 112014105912041-pat00009
의 순서 없는 집합으로 표현하도록 구성될 수 있다. 부분 벡터
Figure 112014105912041-pat00010
의 모든 성분들
Figure 112014105912041-pat00011
은, K-means 클러스터링(K-means clustering)을 사용하여 군집 분류될 수 있는데, 이때 각각의 군집 중심(cluster center)은 코드 워드(codeword)로 처리될 수 있다. 이러한 코드 워드를 하나의 부분 기저(part basis) pb로 생성한다. 즉, 도 7의 520에 도시된 바와 같이, K개의 코드 워드들로 구성된 코드 북이 부분 기저 PB를 구성할 수 있다. 본 발명자들은 부분 기저 PB의 크기를 K=30으로 설정하였다. 부분 기저 PB의 적절한 크기를 결정하기 위한 실험적 결과는 후술할 도 9를 참조하여 설명하도록 한다.
이때, j번째 시점에 대한 부분 기저 PB를
Figure 112014105912041-pat00012
와 같이 정의하기로 한다. 이때, 각각의 성분 기저들은 K차원 실벡터(
Figure 112014105912041-pat00013
)에 해당한다. 그러므로 j번째 시점의 하나의 부분 벡터는 하기의 [수학식 2]와 같이 근사될 수 있다.
Figure 112014105912041-pat00014
여기서,
Figure 112014105912041-pat00015
는 클래스 j(j∈J)에 대한 기저들의 재구성 계수들을 나타내고,
Figure 112014105912041-pat00016
은 노이즈 벡터를 나타낸다.
상기 [수학식 2]에서 j번째 시점의 부분 벡터 pvj은 계수 벡터 집합
Figure 112014105912041-pat00017
및 의 선형 결합으로 재구성될 수 있다. 이때,
Figure 112014105912041-pat00019
파라미터는 부분 기저 PB의 각각의 성분 pbj의 중요도를 반영할 수 있다. 이러한 계수 벡터
Figure 112014105912041-pat00020
는 개별 부분 기저 pv의 중요도에 따라 서로 다른 가중치를 가질 수 있는데, 이는 하기의 [수학식 3]과 같은 최적화 문제로 결정될 수 있다.
Figure 112014105912041-pat00021
여기서, N은 j번째 시점의 학습 창들의 개수를 나타내고,
Figure 112014105912041-pat00022
는 j번째 시점 클래스에 포함된 i번째 창의 부분 벡터를 나타낸다. 또한, 객체 함수
Figure 112014105912041-pat00023
는
Figure 112014105912041-pat00024
가 실수 집합으로부터 최적의 값을 선택할 때의 최소값들(에러들)을 나타낸다.
동일한 방식으로, j번째 시점 클래스에 대한 부분 기저 집합 및 재구성 계수들
Figure 112014105912041-pat00025
를 구성할 수 있다.
단계 S160에서는 부분 영역 감지자들을 사용하여 부분 벡터들을 측정하고, 각 부분 벡터를 각 시점 클래스에 대한 부분 기저에 적용할 수 있다.
단계 S170에서는 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 하나의 시점 클래스를 사람으로 선택할 수 있다.
각각의 시점에 대해 부분 기저 PB 및 재구성 계수 W가 결정된 이후에는, 테스트 시간에 사람 영역을 포함한 입력 창으로부터 상기 복수의 시점들(예컨대, 3개의 시점들)에 대한 부분 벡터들이 계산될 수 있다. 입력 창의 부분 벡터 pv 및 학습된 포즈 기저들인 재구성 계수
Figure 112014105912041-pat00026
를 갖는
Figure 112014105912041-pat00027
로부터, j번째 시점에 대한 최종 유사도 거리 dis(j)를 하기의 [수학식 4]와 같이 계산할 수 있다.
Figure 112014105912041-pat00028
동일한 방식으로, j번째 시점의 부분 벡터들이 각각 계산되고, 각각의 j 클래스에 대한 유사도 거리 dis(j)가 계산될 수 있다.
j번째 시점 클래스들에 대해 모든 거리들이 계산된 이후에는, 최종 시점 클래스 및 최종 거리들이 하기의 [수학식 5]와 같이 계산될 수 있다.
Figure 112014105912041-pat00029
최종적으로, j번째 시점 클래스의 최종 점수 μ(j)를 사용하여 사람 또는 배경을 하기의 [수학식 6]과 같이 분류할 수 있다.
Figure 112014105912041-pat00030
즉, j번째 시점 클래스의 최종 점수 μ(j)가 최소값 T4보다 작은 경우, 입력 창은 j번째 시점 클래스의 사람 신체로서 분류되고, μ(j)가 최소값 T4보다 크거나 같은 경우, 배경으로 분류될 수 있다.
도 8은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 단계 S120에서 신체 분할 이미지들로부터 추출될 수 있는 부분 영역들의 최적 개수를 평가하여 도시한 도면이다. 도 8에 도시된 바와 같이, 인간 창으로부터 추출되는 최적의 부분 영역들의 개수를 계산하기 위해, 본 발명자들은 긍정 예 600개 및 부정 예 764의 총 1364개의 이미지들과, 정면-후면 시점 50개, 좌측면 시점 50개 및 우측면 시점 50개의 총 150개의 이미지들을 선택하였다. 그에 따라, 평균적인 정확도(precision) 및 추출(recall) 대비 처리 시간(단위: second)을 5개의 테스트 케이스에 대해 수행하였다.
도 8에 도시된 바와 같이, 부분 영역들의 개수(가로축)가 증가할수록 추출 성능이 향상되지만, 처리 시간 또한 증가한다. 그러나 부분 영역들의 개수가 50인 경우, 감지 성능은 0.86으로 가장 우수하지만 처리 시간이 6.51초로 크게 증가한다. 그러므로 감지 성능이 0.85로 향상되면서도 처리 시간이 크게 증가하지 않는 부분 영역들의 개수를 30개로 선택할 수 있었다.
도 9는 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법의 단계 S150에서 형성될 수 있는 부분 기저들의 최적 개수를 평가하여 도시한 도면이다. 도 9에 도시된 바와 같이, 부분 기저 PB의 개수 또한 감지 성능에 중요한 파라미터이다. 본 발명자들은 부분 기저의 적절한 개수를 평가하기 위하여, 도 8에 도시된 성능 테스트에 사용된 시점별 50개씩의 150개의 테스트 이미지를 선택하였다.
도 9에 도시된 바와 같이, 부분 기저의 개수가 50개로 설정된 경우, 감지 성능이 0.85로 가장 향상된 것으로 확인되었다. 그러나 정확도(precision)는 30으로 상대적으로 낮았는데, 이는 과도한 피팅(overfitting) 때문이다. 따라서 부분 기저의 개수를 30개로 설정하는 경우, 감지 성능 및 정확도가 모두 가장 높게 확인되었다. 이러한 평가를 통해, 본 발명자들은 부분 기저의 개수가 증가할수록 전체적인 성능이 향상되기는 하지만, 어느 수준을 넘어 증가하는 경우 오히려 전체적인 성능이 떨어지는 것을 확인할 수 있었다. 본 실시예에서, 본 발명자들은 적절한 부분 기저의 개수를 30으로 설정하였다.
도 10 및 도 11은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법에 따른 사람 감지 정확도를 종래기술에 의한 사람 감지 방법의 감지 정확도와 비교하여 도시한 도면들이다. 도 10 및 도 11에서는, 종래 기술에 의한 사람 감지 방법들과 본 발명의 실시예들에 따른 사람 감지 방법의 성능을 비교하여 도시하였다. 도 10에서는 INRIA dataset을 사용한 결과를 도시하였고, 도 11에서는 TUD-pedestrian dataset을 사용한 결과를 도시하였다.
도 10 및 도 11에서, Method 1은 HOG 및 인간 모델로서 신체 전부를 사용한 사람 감지 방법을 나타내고, Method 2는 상호 일관된 포즈의 활동을 갖는 사람의 다시점 감지 방법을 나타내며, Method 3은 다중 스케일 변형 가능한 부분 모델(deformable part model, DPM)의 혼합에 기초한 사람 감지 방법을 나타내고, Method 4는 작고, 비편향된 부분 영역들의 집합을 이용한 사람 감지 및 사람 포즈 감지 방법을 나타낸다.
도 10에 도시된 바와 같이, INRIA dataset을 사용한 경우, 추출 율(recall rate)이 0.5일 때, 본 발명에 다른 실시예(Proposed)는 0.90의 정확도를 얻는 반면, Method 1 내지 Method 4에 따른 사람 감지 방법들은 그보다 더 낮은 정확도를 나타내는 것으로 확인되었다. 또한, 도 11에 도시된 바와 같이, TUD-pedestrian dataset을 사용한 경우, 추출 율이 0.5일 때, 본 발명에 다른 실시예(Proposed)는 0.93의 정확도를 얻는 반면, Method 1 내지 Method 4에 따른 사람 감지 방법들은 그보다 더 낮은 정확도를 나타내는 것으로 확인되었다.
이렇게 본 발명의 실시예들에 따른 사람 감지 방법이 다른 방법들에 비해 더 우수한 이유는 다음의 4가지 원인으로 분석되었다.
(i) 인간 신체로부터 부분 영역들의 최적의 개수가 균등하게 선택되었고, 무의미한 넓은 배경이 제거되었기 때문이다.
(ⅱ) 앙상블된 랜덤 포레스트를 사용하여 부분 영역들의 분류자들이 적용되었기 때문이다.
(ⅲ) 개별 부분 기저의 중요도에 따라 전체 부분 기저 PB 및 그 가중 벡터들이 계산되었기 때문이다.
(ⅳ) 사람 영역을 결정하기 위해 최소값 계산을 사용했기 때문이다.
한편, 위의 비교예들(Method 1 내지 Method 4) 및 본 발명의 실시예(Proposed)에 대한 계산 시간도 측정되었는데, 이는 하기의 [표 1]에 나타난 바와 같다.
Figure 112014105912041-pat00031
[표 1]에 나타난 바와 같이, 본 발명의 실시예(Proposed)에 따른 방법을 사용할 경우, 1.85초의 계산 시간이 소요되어 다른 방법들과 비교할 경우, 2번째로 빠른 계산 시간을 나타내었다. 다만, Method 1의 성능은 도 10 및 도 11에 도시된 바와 같이, 본 발명의 실시예(Proposed)에 비해 낮은 성능을 보였으며, Method 2 내지 Method 4 의 계산 시간에 비하면, 본 발명의 실시예(Proposed)가 계산 시간도 크게 단축하면서, 성능을 향상시킨 방법인 것을 확인할 수 있다.
도 12 및 도 13은 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 서로 다른 조건에서 적용한 경우의 사람 감지 정확도를 평가하여 도시한 도면들이다. 도 12 및 도 13에 도시된 바와 같이, 본 발명의 실시예에 따른 사람 감지 방법을 적용하여 정면-후면 시점, 좌측면 시점, 우측면 시점, 가림 없는 경우, 부분적으로 가려진 경우의 이미지들의 사람 감지 성능을 평가하였다. 도 12에서는 시점에 따른 성능 비교를 나타내었고, 도 13에서는 가림 유무에 따른 감지 성능 비교를 나타내었다.
도 12 및 도 13에 도시된 바와 같이, 전체적으로 큰 편차 없이 본 발명의 실시예들에 따른 사람 감지 방법의 성능 및 정확도가 우수한 것으로 확인되었고, 특히, 도 13에서와 같이 부분적인 가림 유무에 관계없이 우수한 성능을 나타내는 것으로 확인되었다.
도 14 및 도 15는 본 발명의 일실시예에 따른 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 적용하여 사람을 감지한 테스트 이미지들을 도시한 도면들이다. 도 14 및 도 15에 도시된 바와 같이, 본 발명의 실시예에 따른 사람 감지 방법을 적용하여 테스트 이미지들에서 사람을 감지한 경우, 감지 성능이 우수한 것으로 확인되었다. 도 14는 INRIA dataset을 사용하여 감지한 경우를 나타낸 것이고, 도 15는 TUD-pedestrian dataset을 사용하여 감지한 경우를 나타낸 것이다.
도 14에서 P11 열의 사진들은 정면-후면 시점의 이미지들을 나타내고, P12 열의 사진들은 좌측면 시점의 이미지들을 나타내며, P13 열의 사진들은 우측면 시점의 이미지들을 나타내고, P14 열의 사진들은 신체 일부가 부분적으로 가려지거나 변형된 이미지들을 나타낸다.
도 15에서 P21 열의 사진들은 좌측면 시점의 이미지들을 나타내고, P22 열의 사진들은 우측면 시점의 이미지들을 나타내며, P23 열의 사진들은 신체 일부가 부분적으로 가려진 이미지들을 나타낸다.
이상 설명한 본 발명은 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허 청구범위에 의하여 정해져야 할 것이다.
S110: 분할정복 알고리즘 및 스케일 히스토그램을 사용하여 정적 이미지들에 대한 이미지 스케일링 레벨을 결정하는 단계
S120: 정적 이미지들의 복수의 시점에 대해 신체의 3분할 이미지들로부터 부분 영역들의 랜덤한 집합을 가우시안 분포로 생성하는 단계
S130: 데이터 학습 및 랜덤 포레스트를 사용하여 복수의 시점에 대한 부분 영역들의 분류자를 생성하는 단계
S140: 각각의 시점 클래스에서의 부분 영역들의 위치에서, 학습된 랜덤 포레스트에 기초한 부분 영역 감지자들의 확률적 투표에 따라 부분 벡터들(part vectors)을 생성하는 단계
S150: 각각의 시점 클래스에 대한 부분 벡터들을 군집 분류하여 부분 기저들(part bases)을 생성하고, 부분 기저들의 각각의 성분에 대해 가중치를 부여하는 단계
S160: 부분 영역 감지자들을 사용하여 부분 벡터들을 근사하고, 각각의 부분 벡터를 각각의 시점 클래스에 대한 부분 기저에 적용하는 단계
S170: 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 하나의 시점 클래스를 사람 영역으로 선택하는 단계

Claims (16)

  1. 복수의 정적 이미지들에서 사람을 감지하기 위한 방법으로서,
    (1) 분할정복 알고리즘 및 스케일 히스토그램을 사용하여 상기 정적 이미지들에 대한 이미지 스케일링 레벨을 결정하는 단계;
    (2) 상기 정적 이미지들의 복수의 시점에 대해 신체의 3분할 이미지들로부터 부분 영역들의 랜덤(random)한 집합을 가우시안 분포로 생성하는 단계;
    (3) 데이터 학습 및 랜덤 포레스트를 사용하여 상기 복수의 시점에 대한 상기 부분 영역들의 분류자를 생성하는 단계;
    (4) 각각의 시점 클래스에서의 상기 부분 영역들의 위치에서, 분류자에 대해 학습된 랜덤 포레스트에 기초한 부분 영역 감지자들의 확률적 투표에 따라 부분 벡터들(part vectors)을 생성하는 단계;
    (5) 상기 각각의 시점 클래스에 대한 부분 벡터들을 군집 분류하여 부분 기저들(part bases)을 생성하고, 상기 부분 기저들의 각각의 성분에 대해 가중치를 부여하는 단계; 및
    (6) 상기 부분 영역 감지자들을 사용하여 상기 부분 벡터들을 근사하고, 각각의 부분 벡터를 상기 각각의 시점 클래스에 대한 부분 기저에 적용하는 단계를 포함하는 것을 특징으로 하는 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법.
  2. 제1항에 있어서,
    (7) 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 하나의 시점 클래스를 사람 영역으로 선택하는 단계를 더 포함하는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법.
  3. 제1항에 있어서, 상기 단계 (2)에서,
    상기 신체의 3분할 이미지는, 상부 이미지, 중앙 이미지 및 하부 이미지를 포함하는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법.
  4. 제1항에 있어서, 상기 단계 (2)에서,
    상기 랜덤한 집합들은 서로 다른 3개의 시점으로부터 생성되는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법.
  5. 제4항에 있어서,
    상기 서로 다른 3개의 시점은 정면 또는 후면 시점, 좌측면 시점 및 우측면 시점을 포함하는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법.
  6. 제1항에 있어서, 상기 단계 (2)에서,
    상기 부분 영역들은 상기 신체의 3분할 이미지들 각각으로부터 균등한 개수로 생성되는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법.
  7. 제1항에 있어서, 상기 단계 (5)에서,
    상기 부분 벡터들은 K-means 클러스터링을 사용하여 군집 분류되고, K값은 부분 기저의 크기와 동일한 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법.
  8. 제1항에 있어서, 상기 단계 (6)에서,
    상기 부분 벡터들은 상기 각각의 시점 클래스에 대한 부분 기저 및 상기 가중치를 이용하여 근사되는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법.
  9. 복수의 정적 이미지들을 저장하는 메모리; 및
    상기 정적 이미지들의 데이터를 이용하여 소정의 연산을 수행하는 연산부를 포함하되,
    상기 연산부는,
    (1) 분할정복 알고리즘 및 스케일 히스토그램을 사용하여 상기 정적 이미지들에 대한 이미지 스케일링 레벨을 결정하는 단계;
    (2) 상기 정적 이미지들의 복수의 시점에 대해 신체의 3분할 이미지들로부터 부분 영역들의 랜덤(random)한 집합을 가우시안 분포로 생성하는 단계;
    (3) 데이터 학습 및 랜덤 포레스트를 사용하여 상기 복수의 시점에 대한 상기 부분 영역들의 분류자를 생성하는 단계;
    (4) 각각의 시점 클래스에서의 상기 부분 영역들의 위치에서, 분류자에 대해 학습된 랜덤 포레스트에 기초한 부분 영역 감지자들의 확률적 투표에 따라 부분 벡터들(part vectors)을 생성하는 단계;
    (5) 상기 각각의 시점 클래스에 대한 부분 벡터들을 군집 분류하여 부분 기저들(part bases)을 생성하고, 상기 부분 기저들의 각각의 성분에 대해 가중치를 부여하는 단계; 및
    (6) 상기 부분 영역 감지자들을 사용하여 상기 부분 벡터들을 근사하고, 각각의 부분 벡터를 상기 각각의 시점 클래스에 대한 부분 기저에 적용하는 단계를 포함하여, 상기 정적 이미지들에 포함된 사람 영역을 감지하도록 구성되는 것을 특징으로 하는 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 수행하는 컴퓨팅 장치.
  10. 제9항에 있어서, 상기 연산부는,
    (7) 부분 기저 및 부분 벡터 간의 거리를 계산하여 최소 거리를 갖는 하나의 시점 클래스를 사람 영역으로 선택하는 단계를 더 포함하여 상기 사람 영역을 감지하도록 구성되는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 수행하는 컴퓨팅 장치.
  11. 제9항에 있어서,
    상기 신체의 3분할 이미지는, 상부 이미지, 중앙 이미지 및 하부 이미지를 포함하는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 수행하는 컴퓨팅 장치.
  12. 제9항에 있어서, 상기 단계 (2)에서,
    상기 랜덤한 집합들은 서로 다른 3개의 시점으로부터 생성되는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 수행하는 컴퓨팅 장치.
  13. 제12항에 있어서,
    상기 서로 다른 3개의 시점은 정면 또는 후면 시점, 좌측면 시점 및 우측면 시점을 포함하는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 수행하는 컴퓨팅 장치.
  14. 제9항에 있어서, 상기 단계 (2)에서,
    상기 부분 영역들은 상기 신체의 3분할 이미지들 각각으로부터 균등한 개수로 생성되는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 수행하는 컴퓨팅 장치.
  15. 제9항에 있어서, 상기 단계 (5)에서,
    상기 부분 벡터들은 K-means 클러스터링을 사용하여 군집 분류되고, K값은 부분 기저의 크기와 동일한 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 수행하는 컴퓨팅 장치.
  16. 제9항에 있어서, 상기 단계 (6)에서,
    상기 부분 벡터들은 상기 각각의 시점 클래스에 대한 부분 기저 및 상기 가중치를 이용하여 근사되는 것을 특징으로 하는, 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법을 수행하는 컴퓨팅 장치.
KR1020140151621A 2014-11-03 2014-11-03 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치 KR101612779B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140151621A KR101612779B1 (ko) 2014-11-03 2014-11-03 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140151621A KR101612779B1 (ko) 2014-11-03 2014-11-03 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
KR101612779B1 true KR101612779B1 (ko) 2016-04-15

Family

ID=55801864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140151621A KR101612779B1 (ko) 2014-11-03 2014-11-03 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치

Country Status (1)

Country Link
KR (1) KR101612779B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170137273A (ko) * 2016-06-02 2017-12-13 중앙대학교 산학협력단 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법
KR20190099039A (ko) * 2016-12-27 2019-08-23 오브체스트보 에스 오르가니첸노이 오트베트스트벤노스티쥬 ＂비쯔흐렙스＂ 페어 유사성 척도의 분포를 기반으로 한 심층 신경망의 훈련
WO2020262748A1 (ko) * 2019-06-27 2020-12-30 (주)해피마인드 종합주의력 검사 데이터에 기초하여 주의력 결핍 및 과잉 행동 장애를 분류 및 치료반응을 예측하는 시스템 및 방법
CN116698283A (zh) * 2023-06-09 2023-09-05 浙江加力仓储设备股份有限公司 载荷重心偏移的智能监测系统及其方法
CN117808703A (zh) * 2024-02-29 2024-04-02 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101414670B1 (ko) 2013-01-02 2014-07-04 계명대학교 산학협력단 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101414670B1 (ko) 2013-01-02 2014-07-04 계명대학교 산학협력단 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문1:정보과학회
논문2:BMVC(2013)
논문3:ICCV(2013)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170137273A (ko) * 2016-06-02 2017-12-13 중앙대학교 산학협력단 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법
KR101866381B1 (ko) 2016-06-02 2018-06-12 중앙대학교 산학협력단 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법
KR20190099039A (ko) * 2016-12-27 2019-08-23 오브체스트보 에스 오르가니첸노이 오트베트스트벤노스티쥬 ＂비쯔흐렙스＂ 페어 유사성 척도의 분포를 기반으로 한 심층 신경망의 훈련
KR102216614B1 (ko) 2016-12-27 2021-02-17 오브체스트보 에스 오르가니첸노이 오트베트스트벤노스티쥬 ＂비쯔흐렙스＂ 페어 유사성 척도의 분포를 기반으로 한 심층 신경망의 훈련
WO2020262748A1 (ko) * 2019-06-27 2020-12-30 (주)해피마인드 종합주의력 검사 데이터에 기초하여 주의력 결핍 및 과잉 행동 장애를 분류 및 치료반응을 예측하는 시스템 및 방법
KR20210001145A (ko) * 2019-06-27 2021-01-06 (주)해피마인드 종합주의력 검사 데이터에 기초하여 주의력 결핍 및 과잉 행동 장애를 분류 및 치료반응을 예측하는 시스템 및 방법
KR102248732B1 (ko) * 2019-06-27 2021-05-06 (주)해피마인드 종합주의력 검사 데이터에 기초하여 주의력 결핍 및 과잉 행동 장애를 분류 및 치료반응을 예측하는 시스템 및 방법
CN116698283A (zh) * 2023-06-09 2023-09-05 浙江加力仓储设备股份有限公司 载荷重心偏移的智能监测系统及其方法
CN117808703A (zh) * 2024-02-29 2024-04-02 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法
CN117808703B (zh) * 2024-02-29 2024-05-10 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法

Similar Documents

Publication Publication Date Title
US7853072B2 (en) System and method for detecting still objects in images
Paisitkriangkrai et al. Fast pedestrian detection using a cascade of boosted covariance features
Wu et al. Detection of multiple, partially occluded humans in a single image by bayesian combination of edgelet part detectors
KR101612779B1 (ko) 부분 기저 및 랜덤 포레스트를 이용하여 복수의 정적 이미지에서 부분적으로 가려진 사람을 시점 변화에 관계없이 감지하는 방법 및 이를 수행하는 컴퓨팅 장치
Oliveira et al. On exploration of classifier ensemble synergism in pedestrian detection
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
KR101687217B1 (ko) 인터벌 타입-2 rbf 신경회로망 기반 ct 기법을 이용한 강인한 얼굴 인식 패턴 분류 방법 및 이를 실행하기 위한 시스템
Hua et al. Pedestrian detection by using a spatio-temporal histogram of oriented gradients
Kim Novel and efficient pedestrian detection using bidirectional PCA
CN108280421A (zh) 基于多特征深度运动图的人体行为识别方法
Negri et al. Detecting pedestrians on a movement feature space
Li et al. Robust object tracking via multi-feature adaptive fusion based on stability: contrast analysis
Alphonse et al. A novel maximum and minimum response-based Gabor (MMRG) feature extraction method for facial expression recognition
Wang et al. Face recognition using AMVP and WSRC under variable illumination and pose
Wei et al. Pedestrian sensing using time-of-flight range camera
Bardeh et al. New approach for human detection in images using histograms of oriented gradients
Jiang et al. Combining texture and stereo disparity cues for real-time face detection
Gawande et al. Scale invariant mask r-cnn for pedestrian detection
Lei et al. Convolutional restricted Boltzmann machines learning for robust visual tracking
Lin et al. An object tracking method based on CNN and optical flow
Chae et al. An efficient face detection based on color-filtering and its application to smart devices
Thu et al. A new dataset benchmark for pedestrian detection
Wang et al. Illumination and pose variable face recognition via adaptively weighted ULBP_MHOG and WSRC
Choudhury et al. Human detection using orientation shape histogram and coocurrence textures
Luo et al. Real-time pedestrian detection method based on improved YOLOv3

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 4