KR101503398B1 - 이동물체 분류장치 및 분류방법 - Google Patents

이동물체 분류장치 및 분류방법 Download PDF

Info

Publication number
KR101503398B1
KR101503398B1 KR1020120093300A KR20120093300A KR101503398B1 KR 101503398 B1 KR101503398 B1 KR 101503398B1 KR 1020120093300 A KR1020120093300 A KR 1020120093300A KR 20120093300 A KR20120093300 A KR 20120093300A KR 101503398 B1 KR101503398 B1 KR 101503398B1
Authority
KR
South Korea
Prior art keywords
objects
class classification
class
unit
value
Prior art date
Application number
KR1020120093300A
Other languages
English (en)
Other versions
KR20140026977A (ko
Inventor
김순기
노승인
한준희
곽수하
Original Assignee
삼성테크윈 주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 포항공과대학교 산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020120093300A priority Critical patent/KR101503398B1/ko
Publication of KR20140026977A publication Critical patent/KR20140026977A/ko
Application granted granted Critical
Publication of KR101503398B1 publication Critical patent/KR101503398B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search

Abstract

본 발명은 이동물체를 분류함에 있어 높은 시간 복잡도의 문제를 해결하고, 비디오 영상 내에 다양한 물체를 분류할 수 있는 다중 클래스 분류기에 관한 것이다. 본 발명의 바람직한 일 실시예에서는 이동물체를 분류하고, 물체의 추적 결과와 비교하여 분류결과를 수정하며, 또한 미리 학습된 학습기를 통해 수정한 분류결과를 교정하는 방법을 제시한다.

Description

이동물체 분류장치 및 분류방법{Method and Apparatus for classifying the moving objects in video}
본 발명은 비디오에서 검출된 움직이는 물체들의 분류에 관한 것이다. 보다 상세히, 비디오에서 검출된 이동물체를 다중 클래스로 분류한 후, 분류 결과를 보정하는 방법에 관한 것이다.
이미지를 분류하는 선행문헌의 일 예로는 <CVPR'08> A Discriminatively Trained, Multiscale, Deformable Part Model -IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2008 가 있다. 이상의 논문에서는 입력 이미지가 어떤 클래스의 이미지에 속하는지를 영상 에지 성분의 방향과 정도를 고려하는 histogram of oriented gradient(HOG)를 사용하여 판별한다. 이 기술은 영상 전체를 탐색해야 하는 시간복잡도로 인해 비디오에서 온라인 물체 검출이나 분류에 적용하기 어렵다.
상세히, 슬라이딩 윈도우 기반의 비디오 물체 분류는 전처리를 위한 비디오 분석 시스템(e.g., 움직임 검출 및 추적)의 성능에 종속되지 않는다는 장점이 있지만, 분류기 자체의 높은 시간 복잡도와 더불어 비디오 프레임 전체를 탐색하는 방법론 때문에 빠른 계산을 돕기 위한 물리적 장치의 도움 없이는 온라인 비디오 물체 분류에 적합하지 않다. 이는 물체 분류기와 슬라이딩 윈도우에 기반하는 모든 물체 탐색 및 분류 방법들의 공통된 문제에 해당된다.
또 다른 이동물체 분류에 관한 선행문헌으로는 <AVSS'08> An integrated system for moving object classification in surveillance videos -IEEE International Conference on Advanced Video and Signal-based Surveillance (AVSS), 2008이 있다. 이 기술은 비디오에서 물체를 사람과 자동차로 이진 분류 방법으로 정의하고 있어 비디오에 등장하는 다양한 종류의 물체를 상세히 구별하기 어려운 문제점이 있다.
본 발명의 바람직한 일 실시예에서는, 종래에 이동물체를 분류함에 있어 높은 시간 복잡도의 문제를 해결하고, 비디오 영상 내에 다양한 물체를 분류할 수 있는 다중 클래스 분류기를 제안한다.
본 발명의 또 다른 바람직한 일 실시예에서는, 비디오 영상의 매 프레임의 물체 분류 결과를 개별적으로 사용하는 것이 아니라 물체 추적 결과와 병합을 통해 분류기가 비디오 영상의 매 프레임을 분석시 잡음으로 인한 결과의 오류를 개선하고자 한다.
본 발명의 또 다른 바람직한 일 실시예에서는, ECOC(Error correcting output code) 방식 적용한 결과 클래스 분류값의 정확도가 높은 물체들에 대한 정보를 미리 학습한 학습 분류기에서 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하는 방법을 통해 사용자의 입력이 없이도 비디오의 해상도 및 프레임 크기와 무관하게 클래스 분류 결과를 교정하고자 한다.
본 발명의 바람직한 일 실시예로서, 이동물체 분류장치는 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출한 후, 1차적으로 gentle Adaboost 분류기를 통해 상기 물체들의 클래스를 분류하고, 2차적으로 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 1차적으로 분류한 클래스 분류값의 정확도를 보정하는 클래스분류부; 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 물체추적부; 상기 클래스분류부에서 보정된 클래스 분류값과 상기 물체추적부의 물체 추적결과에 따른 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 오류수정부; 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류수정부에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 회기분석부;를 포함한다.
본 발명의 또 바람직한 일 실시예로서, 이동물체 분류방법은 특징추출부에서 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출하는 단계; gentle Adaboost 분류기에서 상기 추출된 물체들의 특징을 기초로 상기 물체들의 클래스를 분류하여 클래스 분류값을 산출하는 단계; 물체분류보정부에서 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 상기 클래스 분류값의 정확도를 보정하는 단계; 물체추적부에서 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 단계; 상기 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 단계; 및 회기분석부에서 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류가 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예로서, 이동물체 분류장치는 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출하는 특징 추출부; gentle Adaboost 분류기를 통해 상기 물체들의 클래스를 분류하는 물체분류부; 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 상기 클래스 분류값의 정확도를 보정하는 물체분류보정부; 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 물체추적부;상기 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 오류수정부; 및 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류수정부에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 회기분석부;를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예에서 이용하는 MB-LBP는 적분이미지를 통해 빠르게 계산되고, 또한 결정트리 형태의 약한 분류기는 분류 과정을 메모리 접근과 덧셈 연산만으로 수행하게끔 해주기 때문에 시스템의 시간복잡도가 매우 작고 실시간으로 동작함으로 온라인 상에서 비디오 물체 판별이 가능하게 하는 효과가 있다.
본 발명에서는 또한 물체 추적과 물체 분류의 병합을 통해 시간상으로 일관성 있는 분류를 가능케 하며 결과적으로 잡음성 분류 결과를 억제하는 효과가 있다.
본 발명에서는 또한 비모수적 회기분석을 통해 사용자의 어떠한 입력도 없이, 또한 비디오의 해상도 및 프레임 크기에 상관없이 분류 결과를 교정할 수 있는 효과가 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, 이동물체 분류장치의 내부 구성도를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 이동물체 분류장치에서 학습 데이터를 획득하는 일 예를 도시한다.
도 3 내지 4는 MB-LBP 특징 추출의 예를 도시한다.
도 5 는 약한 분류기(weak classifier)들을 추정 및 취합하는 Gentle AdaBoost의 개념도를 도시한다.
도 6은 j번째 특징에 해당하는 약한 분류기에서 학습과정의 일 예를 도시한다.
도 7 은 본 발명의 바람직한 일 실시예로서, 물체분류부의 학습 결과의 예시를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서, ECPC 가설 행렬 및 가설 행렬의 구성요소를 도시한다.
도 9는 본 발명의 바람직한 일 실시예로서, 이동물체 분류방법의 흐름도를 도시한다.
이하, 본 발명의 기술적 사상을 명확화하기 위한 발명의 구성을 본 발명의 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.
도 1 은 본 발명의 바람직한 일 실시예로서, 이동물체 분류장치(100)의 내부 구성도를 도시하고, 도 2 는 본 발명의 바람직한 일 실시예로서, 이동물체 분류장치에서 학습 데이터를 획득하는 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서 이동물체 분류장치(100)는 실시간 비디오 처리가 가능할 정도의 작은 시간 복잡도를 갖으면서도 다양한 물체를 분류할 수 있고, 또한 잡음에 강인한 물체 분류 결과를 얻기 위해 물체 분류 결과를 물체 추적 결과와 병합하며, 온라인으로 얻는 물체들의 정보를 회기분석으로 학습 및 활용한다.
본 발명의 바람직한 일 실시예로서, 이동물체분류장치(100)는 클래스분류부(101)를 통해 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출한 후, 1차적으로 gentle Adaboost 분류기를 통해 상기 물체들의 클래스를 분류하고, 2차적으로 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 1차적으로 분류한 클래스 분류값의 정확도를 보정한다.
상세히, 이동물체분류장치(100)는 입력 비디오 영상의 움직임 영역들은 30×30px2크기로 리사이징한 후, MB-LBP 방식을 통해 움직임 영역들 내의 물체들의 특징을 4900가지로 추출이 가능하다(도 3 내지 4 관련 설명 참고).
그 후, gentle AdaBoost 분류기를 통해 추출된 4900개의 특징 중 일부만을 선택하고, 선택된 특징들에 대해서만 약한 분류기(weak classifier)들을 학습하여 각 물체들이 속하는 클래스를 일차적으로 분류한다(도 5 내지 8 관련 설명 참고).
gentle AdaBoost 분류기는 이진 분류기이므로, 이진 분류기를 조합하여 다중 클래스 분류기를 생성하는 ECOC 방식을 적용하여 일차적으로 분류된 클래스 분류값을 보다 정확하게 보정한다.
이상의 방식을 통해 클래스 분류부(101)에서는 각 프레임 내의 비디오 영상의 물체들의 클래스 분류값을 정확하게 보정을 수행하며, 물체추적부(140)는 비디오 영상의 물체들을 t 개의 프레임 동안 추적하여 t개의 클래스 분류값 히스토리를 생성한다.
오류 수정부(150)에서는 클래스 분류값에서 구해진 개별 프레임의 클래스 분류값을 물체추적부(140)의 t개의 클래스 분류값 히스토리와 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 분류의 오류를 수정한다.
그 후 회기 분석부(160)에서는 사전에 학습된 방법을 통해 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 오류수정부(150)에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정이 필요한 경우 교정을 수행한다.
도 2 를 참고하면, 본 발명의 바람직한 일 실시예에서 이동물체 분류장치(100)는 사전에 미리 학습된 분류기를 이용한다. 도 2 를 참고하여 사전에 분류기에서 학습 데이터를 획득하는 과정을 설명하면 다음과 같다.
이동물체 분류장치(100)에서는 학습에 사용될 감시 비디오 영상(S100)에서 움직임 검출 및 추적을 통해 이동 물체를 검출하고 추적한다(S110). 이 후, 검출된 이동물체들 중 학습에 사용될 이미지들(S111)을 리사이징 한 후(s120), 클래스를 부여한다(s130).
이동물체 분류장치(100)는 기본적으로 사전에 미리 학습된 분류기에 기반한다. 즉, 움직임 검출 및 추적 모듈의 출력(s110)에 기반하여 이동물체를 검출 및 추적하여 30*30px2 크기로 리사이징 된 학습에 사용될 이미지들 내지 물체 영역의 이미지들(s111)에 대해 사람이 직접 어떤 클래스의 비디오 물체인지를 판단하여 학습시킨다.
본원 발명의 바람직한 일 실시예에서 이동물체 분류장치(100)는 비디오에 등장하는 물체의 종류를 사람(person,P), 사람그룹(person group, PG), 이륜차(vehicle 2, V2), 사륜차(vehicle 4, V4),사륜차그룹((vehicle 4 group, V4G) 및 오류(unknown, U)로 정의하여 학습을 위한 데이터를 획득할 수 있다.
도 1 을 참고하면, 본원 발명의 이동물체 분류장치(100)는 특징추출부(110), 물체분류부(120), 물체분류보정부(130), 물체추적부(140), 오류수정부(150) 및 회기분석부(160)를 포함한다.
특징추출부(110)는 비디오의 움직임 영역들을 특정 사이즈로 리사이징 한 후 MB-LBP(Multi-block local binary pattern) 방식으로 상기 움직임 영역들 내의 물체들의 특징을 추출한다. 도 3 내지 4는 MB-LBP 특징 추출의 예를 도시한다. 이하에서 도 3 내지 4를 참고하여 특징추출부(110)에 대해 설명하면 다음과 같다.
본원 발명의 바람직한 일 실시예로서, 입력 비디오 영상의 움직임 영역들은 30×30px2크기로 리사이징 된다. 이 후, MB-LBP 방식을 통해 움직임 영역들 내의 물체들의 특징이 추출된다. 본 발명의 바람직한 일 실시예서는 MB-LBP 방식은 30×30px2크기의 이미지에서 4900가지의 템플릿을 정의한다. 따라서 본 발명의 바람직한 일 실시예에 따른 MB-LBP 방식은 4900가지의 MB-LBP 특징값이 존재한다.
본 발명의 바람직한 일 실시예에서 MB-LBP 방식은 리사이징된 이미지 상에서 다양한 위치와 크기, 종횡비를 갖는 3*3의 정규화된 블럭들로 이루어진 템플릿을 배치시킨 후(410, 420), 각 블럭에서의 픽셀값의 평균을 비교하여 이진수를 생성한다.
상세히, 템플릿의 블럭들이 포함하는 픽셀값들의 평균을 취한 후(411.421), 가운데 블럭을 기준으로 대소관계를 가려 이진화 한 후(412,422), 이를 십진수로 변환(413, 423)하면 대응하는 MB-LBP를 얻는다.
물체분류부(120)는 특징추출부(110)에서 비디오 움직임 영역들 내의 물체들로부터 추출된 특징을 기초로 gentle AdaBoost 분류기를 통해 1차적으로 각 물체들이 속하는 클래스를 분류한다.
본 발명의 바람직한 일 실시예로서, 물체분류부(120)는 비디오에 등장하는 물체의 종류를 사람(person,P), 사람그룹(person group, PG), 이륜차(vehicle 2, V2), 사륜차(vehicle 4, V4),사륜차그룹(vehicle 4 group, V4G) 및 오류(unknown, U)로 정의하고, 1차적으로 온라인으로 비디오 물체의 클래스를 판별한다.
물체분류부(120)에서 이용하는 gentle AdaBoost 분류기의 상세 설명을 위해 도 5 내지 7을 참고하여 설명하면 다음과 같다.
도 5 는 약한 분류기(weak classifier)들을 추정 및 취합하는 Gentle AdaBoost의 개념도를 도시하고, 수학식 1 내지 3은 약한 분류기의 결정트리를 계산하는 방법 및 약한 분류기의 출력값을 계산하는 방법을, 도 7은 약한 분류기를 학습하는 과정의 일 예를 도시한다.
도 5를 참고하면, 물체분류부(120)에서 이용하는 gentle adaboost는 여러 약한 분류기들의 집합으로 구성되며, 각 약한 분류기들은 4900가지의 특징 중 하나에 대해 그 값을 받아 이진 분류를 수행한다.
먼저 모든 4900가지의 특징들에 대해 약한 분류기를 학습한 다음, 그중 가장 작은 오차제곱을 갖는 약한 분류기를 선택하여 해당 이진 분류기에 추가한다(S510, S520). 또한 추가된 약한 분류기를 이용해 학습 데이터셋을 분류해보고 잘못 분류된 학습 데이터에 더 큰 가중치를 준다(S530). 수정된 가중치를 이용하여 앞의 과정을 반복하면서 약한 분류기들을 학습 및 추가한다. 본 발명의 바람직한 일 실시예에서는 약한 분류기를 500개까지 학습한다.
다시 말해, 본 발명의 바람직한 일 실시예에서 약한 분류기는 특징추출부(110)에서 MB-LBP 방식을 통해 추출한 4900가지의 특징 중 하나의 값을 수신하여 이진 분류를 수행한다.
하나의 약한 분류기는 MB-LBP 방식을 통해 추출한 4900가지의 특징 중 하나의 값에 집중하며, 각 특징들은 학습 데이터마다 0에서부터 255 사이의 정수값 중 하나를 취한다. 그 후, 약한 분류기는 256가지의 모든 경우에 대해서 이진 레이블에 대한 신뢰도를 출력하는, 256개의 가지(branch)를 가지는 결정트리 (decision tree)의 형태를 가진다.
예를 들어, 4900가지의 특징 중 j번째 특징에 해당하는 약한 분류기의 결정트리 계산방식은 수학식 1 및 2를, 약한 분류기의 출력값은 수학식 3과 같다.
Figure 112012068432448-pat00001
수학식 1에서 i는 학습데이터의 인덱스를 가리키고, j는 특징의 인덱스를 가리키며 xi j 는 i번째 학습데이터의 j번째 특징을 의미하고, wi는 i번째 학습데이터의 가중치를 나타내며, yi는 i번째 학습데이터의 실제 레이블을 나타내고, fj는 j번째 특징에 해당하는 약한 분류기를 의미한다.
결과적으로 ε(fj)는 j번째 약한 분류기인 fj 가 학습 데이터셋에 적용되었을 때의 가중오차제곱합을 의미한다.
Figure 112012068432448-pat00002
Figure 112012068432448-pat00003
는 가중오차제곱합을 최소로 하는 j번째 약한 분류기를 나타낸다.
수학식 1내지 2를 통해 약한 분류기의 오차제곱을 최소화 한 후, j번째 약한 분류기가 k∈[0,255](이 경우 k는 입력되는 특징값을 나타낸다)를 입력으로 받았을 때, 출력값
Figure 112012068432448-pat00004
은 수학식 3과 같다.
Figure 112012068432448-pat00005
수학식 3에서 wi는 i번째 학습데이터의 가중치를, δ은 Kronecker delta 함수를, xi j 는 i번째 학습데이터의 j번째 특징을, k는 약한 분류기로의 임의의 입력을 나타낸다.
도 6은 j번째 특징에 해당하는 약한 분류기에서 학습과정의 일 예를 도시한다.
도 7 은 본 발명의 바람직한 일 실시예로서, 물체분류부(120)의 학습 결과의 예시를 도시한다. 상세히, 약한 분류기의 조합을 통해 강한 이진 분류기 하나를 생성하는 예를 도시한다.
도 7에서 F(x)는 강한 이진 분류기의 ~~값을, f1(x), f2(x), f3(x)...는 각각 약한 분류기의 출력값을 나타낸다. 각 출력값은 실수 범위 내에 있으며, 출력값의 부호는 클래스를, 출력값의 절대값은 분류의 신뢰도를 의미한다.
물체분류보정부(130)는 물체분류부(120)에서 ECOC(Error correcting output code) 방식을 적용하여 물체분류부(120)에서 분류한 클래스 분류값, 즉 클래스 분류 정확도를 보정한다. 도 8 은 본 발명의 바람직한 일 실시예로서, ECOC 방식을 이용하는 가설 행렬(E) 및 가설행렬의 구성 요소를 도시한다.
ECOC는 다양한 클래스의 조합으로 여러 이진 분류기들을 학습한 후, 실제 적용 시 여러 이진 분류기들의 출력값들을 조합하여 클래스를 부여하는 방법이다. 본 발명의 바람직한 일 실시예에서, 이진 분류기들을 학습하기 위한 클래스의 조합 구성은 가설 행렬 E를 통해 표현된다.
도 8 에서 가상 행렬 E의 각 행은 ECOC를 구성하는 각 이진 분류기를 의미하며, 각 열을 정의된 클래스를 의미한다. 본 발명의 바람직한 일 실시예에서는 사람(person,P), 사람그룹(person group, PG), 이륜차(vehicle 2, V2), 사륜차(vehicle 4, V4),사륜차그룹(vehicle 4 group, V4G) 및 오류(unknown, U)의 6가지 클래스를 분류하기 위해 16가지의 이진 분류기를 학습하여 활용한다.
또한 가상 행렬 E의 각 요소들은 해당 이진 분류기가 어떤 클래스들과 어떤 클래스들을 구분하는지를 의미한다. 예를 들면, 도 8에서의 9번째 이진 분류기(F 9 )의 경우 사람(P)과 사람그룹(PG)을 나머지 클래스들과 구분는 방향으로 학습된다 (P = 1, PG = 1, V2 = -1, V4 = -1, V4G = -1, U = -1). 즉, 이진 분류기 F9는 P와 PG 클래스에 해당하는 데이터들의 레이블을 1로 두고 나머지 클래스에 해당하는 데이터들의 레이블을 -1로 설정하여 학습을 수행하도록 구현된다.
본원 발명의 바람직한 일 실시예로서, 이동물체 분류장치(100)는 특징 추출부(110)를 통해 전처리 모듈이 입력되는 비디오로부터 도출한 물체의 주요 특징을 추출하고, 물체 분류부(120)에서 추출한 특징을 기초로 각 물체가 어떤 클래스에 속하는지 분류값을 일차적으로 분류하며, 이후 물체분류보정부(130)를 통해 물체 분류부(120)에서 분류된 클래스 분류값을 보정하여 정확도를 향상시킨다.
이와 같이 본 발명의 바람직한 일 실시예로서 이동물체 분류장치(100)는 각 프레임에 대해서 물체 검출을 수행할 뿐만 아니라, 이하에서 설명하는 물체 추적부(140)를 통해 t(t는 자연수) 프레임동안 추적하고 있는 물체의 영역 이미지에서 추출된 물체의 특징들의 히스토리를 기반으로 오류수정부(150)에서 현재 검출된 물체의 클래스 분류가 적합한지 수정이 가능하다.
일 예로, 제 7 프레임에서 추출된 움직임 영역 내의 물체의 특징이 사람으로 파악되어 클래스가 P(person)으로 분류되었으나, 제 1 프레임 내지 제 6 프레임의 물체 추적 결과가 사람 그룹 PG(person group)이었던 경우, 제 7 프레임에서 추출된 움직임 영역 내의 물체의 클래스 분류를 정정이 가능하다. 이로써 추적되고 있는 물체에 대한 클래스 분류가 일부 프레임에서 잘못 추론되는 경우에도 나머지 프레임들의 클래스 분류 결과를 통해 오류를 수정하거나 보상할 수 있다.
상세히 설명하면, 물체추적부(140)는 비디오의 움직임 영역들 내의 물체들을 t 프레임 동안 추적하여 특징추출부(110), 물체분류부(120) 및 물체분류보정부(130)를 통해 t 개의 프레임동안 추적하고 있는 물체의 영역 이미지 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적한다.
t 프레임동안 추적하고 있는 물체의 영역 이미지에서 추출된 특징들의 집합을 xt라 하자. 미리 학습해놓은 물체분류보정부(130)의 16개 이진 분류기의 출력을 F1(xt),F2(xt),...,F16(xt)와 같이 표시한다.
이 후, 도 8 의 실시예와 같이 가상 행렬 E의 각 열은 하나의 클래스에 대응하는 16차원의 코드가 되며, 16 개의 출력들이 ECOC 가설 행렬 E의 각 열과 얼마나 흡사한지를 기준으로 다중 클래스 분류를 수행하도록 구현된다. 이 경우, Hamming 거리에 기반하여 각 클래스 코드와의 유사도를 측정하며, 수학식 4와 같이 16개의 출력값과의 거리가 가장 작은 코드에 해당하는 클래스를 부여한다.
Figure 112012068432448-pat00006
수학식 4에서
Figure 112012068432448-pat00007
는 입력 xt에 부여되는 클래스를, Ec,j는 가설 행렬상의 [c,j]원소를, Fj(xt)는 j번째 이진 분류기의 출력을 나타낸다.
본 발명의 바람직한 일 실시예에서는 물체분류보정부(130)에서 각 프레임에 대한 클래스 분류값의 독립적인 분류 결과만이 아니라, 물체 추적부(140)에서 t개의 프레임에 대해 추적한 클래스 분류값을 함께 병합함으로써 시간상으로 일관성 있는 분류 결과를 유도할 수 있다. 즉, 추적되고 있는 물체에 대한 클래스가 일부 프레임에서 잘못 추론되어도 나머지 프레임들의 분류 결과를 통해 오류를 보상할 수 있다.
본 발명의 바람직한 일 실시예에서, 물체 추적부(140)의 추적결과를 병합하는 방법 내지 물체추적부(140)에서 병합한 추적결과를 기초로 오류를 수정하는 방법은 수학식 5 내지 6을 참고한다.
Figure 112012068432448-pat00008
수학식 5에서, S(xt)는 t 프레임에서 각 클래스에 대한 적합도를, F1(xt),F2(xt),...,F16(xt)은 이진 분류기의 출력을 나타낸다.
Figure 112012068432448-pat00009
수학식 6에서
Figure 112012068432448-pat00010
은 해당 물체x에게 부여된 클래스를 의미한다.
본 발명의 바람직한 일 실시예에서, 개별 프레임에서의 물체 분류는 부정확한 결과를 일부 포함할 수 있으나, 물체 추적 모듈과의 병합을 통해 시간상으로 일관성 있는 분류를 가능케 하며 결과적으로 잡음성 분류 결과를 억할 수 있다.
이를 위해, 물체 추적부(140)에서는 추적결과를 병합하기 위하여 t 프레임에서 각 클래스에 대한 적합도 S(xt)를 수학식 5와 같이 가설행렬과 물체분류보정부(130)의 16개 이진 분류기의 출력값을 내적하여 유도한다.
오류수정부(150)에서는 비디오 움직임 영역들의 각 프레임에 대해 물체분류보정부(130)에서 보정된 클래스 분류값과 물체추적부(140)의 물체 추적결과에 따른 t 개의 클래스 분류값 히스토리를 비교하여 각 프레임 내의 물체에 대해 일관성 있는 클래스를 부여한다. 이 경우, 오류수정부(150)에서 물체에 대해 일관성 있는 클래스를 부여하는 방식은 수학식 6과 같은 방식의 추론을 기반한다.
수학식 6에 기술된 바와 같이 수학식 5에서 추론된 적합도와 이전 프레임들에서의 적합도들을 누적하여, 해당 물체의 클래스를 추론할 수 있다.
수학식 7 내지 11은 본 발명의 바람직한 일 실시예로서 회기분석부에서 GPR(Gaussian Process regression) 회기함수를 온라인으로 학습하는 방법을 나타낸다.
회기분석부(160)는 이상에서 기술한 ECOC(Error correcting output code) 방식에 따라 클래스 분류값의 정확도가 높은 물체들의 정보를 미리 학습한 학습분류기를 이용한다. 학습분류기의 일 예로는 이상에서 기술한 다중 클래스 분류기가 있다.
회기분석부(160)는 다중 클래스 분류기 통해 비디오 움직임 영역 내의 물체들을 분류하고, 분류의 신뢰도가 높은 비디오 물체들을 따로 모아 회기함수 학습에 이용한다.
수학식 7은 비디오 영상 내의 물체 x 에 대한 다중 클래스 분류 신뢰도 b(x)를 구하는 수식을 도시한다.
Figure 112012068432448-pat00011
수학식 7에서 다중 클래스 분류 신뢰도 b(x)는 해당 물체에 대한 클래스 적합도들 중 가장 큰 값 s1(x)과 그 다음으로 큰 값 s2(x)의 차이에 비례한다.
수학식 7에서 s1(x)과 s2(x)은 각각 다음과 같이표현이 가능하고, 이 경우 s1(x)는 여섯가지 클래스 적합도들 중 가장 큰 값을, s2(x)는 두번째로 큰 값을 나타내고, sc(x)는 c번째 클래스에 대한 적합도를 의미한다.
Figure 112012068432448-pat00012
Figure 112012068432448-pat00013

즉, 특정 클래스에 대한 적합도가 높고 다른 클래스에 대한 적합도들은 낮을수록 다중 클래스 분류의 신뢰도가 높다.
Figure 112012068432448-pat00014
수학식 8에서 회기함수의 학습에 사용되는 비디오 물체들의 집합을 X라 할 경우, 비디오 영상 내의 특정 물체(x)의 클래스 분류 신뢰도(b(x))가 기설정된 임계치(θe)보다 크다면 집합 X에 해당 물체(x)를 포함시킨다.
Figure 112012068432448-pat00015
수학식 9를 참고하면, 회기분석부(160)에서는 온라인으로 획득한 비디오 영상 내의 물체들의 집합 X로부터 클래스 개수만큼 회기함수를 학습한다.
구체적으로, 온라인으로 획득한 비디오 영상 내의 물체들의 집합 X에 속하는 각 물체 x의 위치, 크기 및 속도를 회귀함수의 공통 입력(z)으로 추출한다.
각 학습 데이터의 출력값은(yc) ECOC 다중 클래스 분류기에 의해 부여된 클래스 적합도에 기반한다. 구체적으로, c 클래스(c=1,2,...,6)를 위한 학습 데이터셋 Dc은 도 12(c)에 도시된 바와 같이{{z1, y1 c},{z2, y2 c}, ...,{zM, yM c}} 같이 구축된다. 여기서, M은 온라인으로 획득한, 회기함수 학습에 사용되는 비디오 물체들의 개수이다 (M=|X|).
본 발명의 바람직한 일 실시예로서, 회기분석부(160)에서 각 클래스를 위한 회기함수는 GPR(Gaussian Process regression)([Rasmussen and Williams, 2006] [Bishop, 2006])을 통해 비모수적 방법으로 학습된다.
본 발명의 바람직한 일 실시예에서, GPR을 정의하기 위해서 RBF(radial basis function ) 커널(kernel)을 이용한다.
Figure 112012068432448-pat00016
수학식 10을 참고하면, RBF 커널 k(zi, zj)은 두 입력 벡터들(zi, zj) 사이의 거리에 대한 지수함수로 표현된다.
본 발명의 바람직한 일 실시예에서, 클래스 적합도를 나타내는 각 학습 데이터의 출력값은(yc) 평균이 0인 가우시안 정규분포를 따르는 것으로 가정한다. 베이즈 규칙(Bayes'rule)에 의해 해당 정규 분포는 수학식 11과 같이 유도된다.
또한, 정규 분포의 공분산행렬(C c)은 정의된 커널(k)과 학습데이터의 출력들(y c)에 대한 신뢰도(σ)로 표현되고, 공분산행렬(C c)의 [i,j] 원소는 수학식 11과 같이 유도된다.
Figure 112012068432448-pat00017
수학식 12 내지 15는 본 발명의 바람직한 일 실시예에서 회귀분석부(160)가 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여 각 물체에 대한 클래스 분류값을 교정하는 방법을 도시한다.
Figure 112012068432448-pat00018
수학식 12는 입력된 비디오 물체에(x') 대한 각 여섯가지 클래스들의 적합도를 나타낸다.
본 발명의 바람직한 일 실시예로서 이동물체 분류장치(도 1, 100)의 입력으로 들어오는 비디오 영상에서 물체들을 분류하고, 분류된 물체들의 신뢰도가 높은 경우 회기분석부(160)에서는 해당 결과를 그대로 사용한다.
회기분석부(160)에서는 분류 신뢰도가 낮은 경우, 수학식 7 내지 11에서학습된 회기함수를 이용하여 분류된 결과를 교정한다. 교정이 필요한 비디오 영상에서 분류된 물체 x'에 대한 크기, 위치, 속도를 추정한 결과를 z'라고 하는 경우, z'의 클래스 분류 결과를 추정하는 방법은 다음과 같다.
Figure 112012068432448-pat00019
새로운 입력 z'이 클래스 c에 속할 조건부 확률은 수학식 13의 정규분포 수식을 기초로 유도가 가능하다. 수학식 13에서 yc는 각 학습 데이터의 출력값, y c (z')은 온라인 학습 데이터로부터 유도한 새로운 입력 z'의 c번째 클래스에 대한 적합도를,
Figure 112012068432448-pat00020
는 i번째 온라인 학습 데이터의 c번째 클래스에 대한 가중치(수학식 14로 부터 도출)를, zi, zj 는 두 입력 벡터들을 나타내고, k(zi, zj)은 RBF 커널을 나타낸다. 수학식 14에서는
Figure 112012068432448-pat00021
를 통해 M개의 온라인 학습 데이터 각각의 c번째 클래스에 대한 가중치들을 계산한다.
Figure 112012068432448-pat00022
Figure 112012068432448-pat00023
수학식 15는 본 발명의 바람직한 일 실시예로서, 회기분석부(160)에서 회기함수를 이용하여 분류된 결과를 교정한 것을 나타낸다. 수학식 15를 통해 분류된 결과를 교정하는 방법은 다음과 같다.
먼저, 수학식 12에서 ECOC 다중 클래스 분류기를 통해 입력 물체의(x') 클래스 신뢰도들을 계산한 결과를 도출하고, 그 결과의 신뢰도가 기설정된 임계치(θe) 이상인 경우 해당 결과값을 분류를 위해 사용한다.
그러나, 해당 결과가 기설정된 임계치(θe) 이하인 경우 수학식 13을 통해 온라인으로 취득한 학습 데이터로부터 각 클래스의 적합도 y c (z')를 추가로 계산한 후, 이를 수학식 12의 각 클래스 적합도와 곱해 새로운 클래스 적합도를 계산한다.
도 9는 본 발명의 바람직한 일 실시예로서, 이동물체 분류방법의 흐름도를 도시한다.
본 발명의 바람직한 일 실시예에서는 움직임 검출 및 추적 시스템에 기반한 비디오 물체 분류 시스템에서 이동물체를 분류하는 방법을 개시한다.
비디오 물체 분류 시스템에서는 주어진 비디오에서 움직임 영역을 검출하고 추적한 뒤, 해당 영역 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출한다(S910).
이후 gentle Adaboost 분류기에서 추출된 물체들의 특징을 기초로 물체들의 클래스를 분류하여 클래스 분류값을 산출한다(S920). 이 후,ECOC(Error correcting output code) 방식을 적용하여 산출된 클래스 분류값의 정확도를 보정한다(S930).
물체추적부에서 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하한다(S940). 이 후, 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정한다(S950).
이 후, 회기분석부에서 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 오류가 수정된 각 물체에 대한 클래스 분류값에 대해 추가로 교정이 요구되는 경우 교정을 수행한다(S960).
이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (7)

  1. 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출한 후, 1차적으로 gentle Adaboost 분류기를 통해 상기 물체들의 클래스를 분류하고, 2차적으로 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 1차적으로 분류한 클래스 분류값의 정확도를 보정하는 클래스분류부;
    상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 물체추적부;
    상기 클래스분류부에서 보정된 클래스 분류값과 상기 물체추적부의 물체 추적결과에 따른 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 오류수정부;
    상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류수정부에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 회기분석부;를 포함하는 것을 특징으로 하는 이동물체 분류장치.
  2. 청구항 2은(는) 설정등록료 납부시 포기되었습니다.
    제 1 항에 있어서, 상기 물체추적부는
    개별프레임마다 상기 클래스분류부를 통해 물체들의 클래스를 분류하고, 분류된 클래스 분류값의 정확도를 보정하며, 이상의 과정을 t개의 프레임에 대하여 수행하여 상기 t 개의 클래스 분류값 히스토리를 생성하는 것을 특징으로 하는 이동물체 분류장치.
  3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.
    제 1 항에 있어서, 상기 회기분석부는
    상기 ECOC(Error correcting output code) 방식 적용시 클래스 분류값의 신뢰도가 기설정된 임계치(θe)보다 높은 물체들의 정보를 미리 학습하는 것을 특징으로 하는 이동물체 분류장치.
  4. 특징추출부에서 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출하는 단계;
    gentle Adaboost 분류기에서 상기 추출된 물체들의 특징을 기초로 상기 물체들의 클래스를 분류하여 클래스 분류값을 산출하는 단계;
    물체분류보정부에서 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 상기 클래스 분류값의 정확도를 보정하는 단계;
    물체추적부에서 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 단계;
    상기 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 단계; 및
    회기분석부에서 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류가 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 단계;를 포함하는 것을 특징으로 하는 이동물체 분류방법.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제 4 항에 있어서, 상기 MB-LBP 방식은
    30*30 px2크기에서 4900 가지 템플릿 정의하는 것을 특징으로 하는 이동물체 분류방법.
  6. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.
    제 4 항에 있어서, 상기 회기분석부는
    상기 ECOC(Error correcting output code) 방식 적용시 클래스 분류값의 신뢰도가 기설정된 임계치(θe)보다 높은 물체들의 정보를 미리 학습하는 것을 특징으로 하는 이동물체 분류방법.
  7. 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출하는 특징 추출부;
    gentle Adaboost 분류기를 통해 상기 물체들의 클래스를 분류하는 물체분류부;
    상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 상기 클래스 분류값의 정확도를 보정하는 물체분류보정부;
    상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 물체추적부;
    상기 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 오류수정부; 및
    상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류수정부에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 회기분석부;를 포함하는 것을 특징으로 하는 이동물체 분류장치.
KR1020120093300A 2012-08-24 2012-08-24 이동물체 분류장치 및 분류방법 KR101503398B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120093300A KR101503398B1 (ko) 2012-08-24 2012-08-24 이동물체 분류장치 및 분류방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120093300A KR101503398B1 (ko) 2012-08-24 2012-08-24 이동물체 분류장치 및 분류방법

Publications (2)

Publication Number Publication Date
KR20140026977A KR20140026977A (ko) 2014-03-06
KR101503398B1 true KR101503398B1 (ko) 2015-03-18

Family

ID=50641325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120093300A KR101503398B1 (ko) 2012-08-24 2012-08-24 이동물체 분류장치 및 분류방법

Country Status (1)

Country Link
KR (1) KR101503398B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102002812B1 (ko) * 2018-10-10 2019-07-23 에스케이 텔레콤주식회사 객체 검출을 위한 영상분석 서버장치 및 방법
KR102422962B1 (ko) * 2021-07-26 2022-07-20 주식회사 크라우드웍스 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120170805A1 (en) 2011-01-05 2012-07-05 International Business Machines Corporation Object detection in crowded scenes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120170805A1 (en) 2011-01-05 2012-07-05 International Business Machines Corporation Object detection in crowded scenes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhang, Lun, et al. "Real-time object classification in video surveillance based on appearance learning." Computer Vision and Pattern Recognition, 2007. CVPR'07. IEEE Conference on. IEEE, 2007. *

Also Published As

Publication number Publication date
KR20140026977A (ko) 2014-03-06

Similar Documents

Publication Publication Date Title
CN108470332B (zh) 一种多目标跟踪方法及装置
Najibi et al. G-cnn: an iterative grid based object detector
CN107563345B (zh) 一种基于时空显著性区域检测的人体行为分析方法
US10204283B2 (en) Image recognizing apparatus, image recognizing method, and storage medium
US20170364742A1 (en) Lip-reading recognition method and apparatus based on projection extreme learning machine
Roy et al. An efficient sign language recognition (SLR) system using Camshift tracker and hidden Markov model (hmm)
US11915500B2 (en) Neural network based scene text recognition
US20100034464A1 (en) Apparatus and method for tracking image
CN103593672A (zh) Adaboost分类器在线学习方法及系统
CN103793926A (zh) 基于样本重选择的目标跟踪方法
Wang et al. Video object matching across multiple non-overlapping camera views based on multi-feature fusion and incremental learning
CN108898623A (zh) 目标跟踪方法及设备
Blum et al. Modular sensor fusion for semantic segmentation
CN110503090B (zh) 基于受限注意力模型的字符检测网络训练方法、字符检测方法和字符检测器
CN111985333A (zh) 一种基于图结构信息交互增强的行为检测方法及电子装置
KR101503398B1 (ko) 이동물체 분류장치 및 분류방법
Javed et al. Human movement recognition using euclidean distance: a tricky approach
Bardeh et al. New approach for human detection in images using histograms of oriented gradients
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN113706580B (zh) 一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质
Liang et al. Pedestrian detection based on sparse coding and transfer learning
Le et al. Detection and classification of vehicle types from moving backgrounds
CN112348011B (zh) 一种车辆定损方法、装置及存储介质
CN114943873A (zh) 一种工地人员异常行为分类方法及装置
Pramanik et al. Finding the optimum classifier: Classification of segmentable components in offline handwritten Devanagari words

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 6