KR20160087740A - 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치 - Google Patents

동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20160087740A
KR20160087740A KR1020150178354A KR20150178354A KR20160087740A KR 20160087740 A KR20160087740 A KR 20160087740A KR 1020150178354 A KR1020150178354 A KR 1020150178354A KR 20150178354 A KR20150178354 A KR 20150178354A KR 20160087740 A KR20160087740 A KR 20160087740A
Authority
KR
South Korea
Prior art keywords
motion
motion trajectory
feature
unit
type
Prior art date
Application number
KR1020150178354A
Other languages
English (en)
Other versions
KR102185979B1 (ko
Inventor
관홍 수
야 루
칠란 후
홍웨이 장
한재준
김원준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/995,633 priority Critical patent/US10163000B2/en
Publication of KR20160087740A publication Critical patent/KR20160087740A/ko
Application granted granted Critical
Publication of KR102185979B1 publication Critical patent/KR102185979B1/ko

Links

Images

Classifications

    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

입력 동영상의 객체의 운동 유형을 결정하는 방법 및 장치가 개시된다. 입력 동영상의 객체의 운동 유형을 결정하는 방법은 상기 입력 동영상으로부터 상기 객체의 운동 궤적 특징을 추출하는 단계, 상기 추출된 운동 궤적 특징을 코딩하는 단계 및 상기 코딩된 운동 궤적 특징으로부터 객체의 운동 유형을 결정하는 단계를 포함할 수 있다.

Description

동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING TYPE OF MOVEMENT OF OBJECT IN VIDEO}
아래의 설명은 객체의 운동 유형을 결정하는 영상 처리 기술에 관한 것이다.
위미디어(we media) 및 모바일 인터넷이 발달함에 따라 동영상의 공유가 활발해지고 있다. 수많은 동영상 데이터가 공유됨으로써 이를 자동으로 분류하고 처리해야 하는 필요성이 대두되고 있다. 특히, 개인의 동영상 촬영과 공유가 증가함에 따라 동영상 내의 사람 또는 사람의 행위를 자동으로 식별하고 처리하는 기술이 필요해졌다.
이러한 기술 중의 하나로 층 나누기에 기초한 방법(hierarchical approaches)이 있다. 이는 비디오를 시간적으로 연결된 작은 세그먼트로 나누고 각 세그먼트는 하나의 서브 동작을 대표하며 각 서브 동작을 모델링하는 단계를 거친다. 이 기술은 행위 상이의 상호 작용을 표현하는 것에 효과적이지만, 모든 상황을 포함하기 어렵기 때문에 식별 정확도가 비교적 낮다.
다른 기술로는 싱글 프레임에 기초한 방법(single-layered approach)이 있다. 이는 비디오의 각 프레임의 이미지와 인접한 프레임 사이의 관계를 통하여 사람의 행위를 식별한다. 이 기술은 자동으로 특징을 학습하는 방법(ISA, deep learnig)을 사용하여 비디오 내의 사람의 행위의 특징을 학습한다. 하지만, 특징을 학습할 때 행위와 장면이 포함된 전체를 학습하기 때문에 식별의 정확도가 비교적 낮다.
싱글 프레임에 기초한 방법 중 운동 궤적(trajectories)의 특징에 기초한 방법은 행위와 장면이 포함된 전체를 학습하는 문제가 없어 식별의 정확도가 비교적 높다. 하지만 운동 궤적 특징의 데이터량이 크기고 사용되는 모델이 요구하는 메모리가 크기 때문에 모바일의 동영상 처리에서 운동 유형의 실시간 식별에 적합하지 못하다는 문제가 있다.
일실시예에 의하면, 운동 궤적 특징에 기초한 방법을 사용함으로써 높은 식별 정확도를 가지는 방법 및 장치를 제공한다.
일실시예에 의하면, 효과적인 샘플링 단계를 포함함으로써 운동 궤적 특징의 데이터량을 줄이고 트레이닝된 모델의 크기를 줄일 수 있는 방법 및 장치를 제공한다.
일실시예에 의하면, 서로 다른 코딩 모델을 함께 사용하거나 서로 다른 정규화 방식을 함께 사용함으로써 높은 식별 정확도를 가지는 방법 및 장치를 제공한다.
일실시예에 따른 입력 동영상의 객체의 운동 유형 결정 방법은 상기 입력 동영상으로부터 상기 객체의 운동 궤적 특징을 추출하는 단계, 상기 운동 궤적 특징을 코딩하는 단계 및 상기 코딩된 운동 궤적 특징으로부터 객체의 운동 유형을 결정하는 단계를 포함할 수 있다.
상기 객체의 운동 궤적 특징을 추출하는 단계는 상기 입력 동영상에 포함된 복수의 프레임 각각에 대하여 복수의 서로 다른 스케일로 각각의 프레임을 변환하는 단계, 상기 각각의 스케일에 대응하는 상기 복수의 변환된 프레임으로부터 운동 포인트들을 추적하여 상기 각각의 스케일에 대응하는 절대 운동 궤적을 획득하는 단계 및 상기 절대 운동 궤적으로부터 운동 궤적 특징을 추출하는 단계를 포함할 수 있다.
상기 운동 궤적 특징을 추출하는 단계는 상기 각각의 절대 운동 궤적을 원래의 스케일로 변환하는 단계, 상기 변환된 절대 운동 궤적을 매칭하여 상대 운동 궤적을 획득하는 단계 및 상기 상대 운동 궤적으로부터 궤적 기술자를 획득하는 단계를 포함하고, 상기 운동 궤적 특징은 상기 운동 궤적 및 상기 궤적 기술자를 포함할 수 있다.
상기 입력 동영상의 객체의 운동 유형 결정 방법은 입력 동영상을 촬영한 장치의 상기 운동 궤적 특징에 대한 영향을 상기 운동 궤적 특징으로부터 제거하는 단계를 더 포함할 수 있다.
상기 운동 궤적 특징을 코딩하는 단계는 상기 운동 궤적 특징의 차원을 줄이는 단계, 상기 차원이 줄어든 운동 궤적 특징을 클러스터링하는 단계, 다른 코딩 모델을 통하여 상기 클러스터링된 운동 궤적 특징을 코딩하는 단계, 상기 코딩된 운동 궤적 특징 각각을 정규화하는 단계 및 상기 서로 다른 코딩 모델을 통하여 코딩되고 정규화된 운동 궤적 특징을 병합하고 정규화하는 단계를 포함할 수 있다.
상기 차원을 줄이는 단계는 직교 변환을 사용하여 상기 운동 궤적 특징의 선형 연관성을 줄일 수 있다.
상기 클러스터링하는 단계는 상기 차원이 줄어든 운동 궤적 특징의 확률 밀도 함수를 가정함으로써 클러스터링하거나, 상기 차원이 줄어든 운동 궤적 특징의 데이터 간의 거리를 기초로 클러스터링할 수 있다.
상기 코딩 모델은 상기 클러스터링된 운동 궤적 특징의 지역성(locality)에 기초하여 상기 클러스터링된 운동 궤적 특징을 코딩할 수 있다.
상기 결정하는 단계는 상기 코딩된 운동 궤적 특징의 독립 성분을 샘플링하는 단계 및 상기 샘플링된 독립 성분으로부터 상기 객체의 운동 유형을 결정하는 단계를 포함할 수 있다.
상기 샘플링된 독립 성분으로부터 상기 객체의 운동 유형을 결정하는 단계는 상기 샘플링된 독립 성분을 분류 모델의 선형 분류 노드에 입력하는 단계, 상기 독립 성분이 도달하는 상기 분류 모델의 리프 노드를 식별하는 단계, 상기 식별된 리프 노드에 기초하여 상기 객체의 운동 유형을 결정하는 단계를 포함할 수 있다.
일실시예에 따른 동영상의 객체의 운동 유형을 결정하기 위한 트레이닝 방법은 샘플 동영상의 객체의 운동 궤적 특징을 샘플링하는 단계, 상기 샘플링된 운동 궤적 특징을 사용하여 차원 감소 모델을 트레이닝하는 단계, 상기 트레이닝된 차원 감소 모델을 통하여 클러스터링 모델을 트레이닝하는 단계 및 상기 트레이닝된 클러스터링 모델을 통하여 분류 모델을 트레이닝하는 단계를 포함할 수 있다.
상기 샘플링하는 단계는 상기 샘플 동영상의 객체의 운동 궤적 특징을 추출하는 단계 및 상기 추출된 운동 궤적 특징을 샘플링하는 단계를 포함할 수 있다.
상기 차원 감소 모델은 직교 변환을 사용하여 상기 운동 궤적 특징의 선형 연관성을 줄이는 방식을 사용할 수 있다.
상기 클러스터링 모델을 트레이닝하는 단계는 상기 트레이닝된 차원 감소 모델을 통하여 상기 샘플링된 운동 궤적 특징의 차원을 줄이는 단계, 상기 차원이 줄어든 운동 궤적 특징을 화이트닝하는(whitening) 단계 및 상기 화이트닝된 운동 궤적 특징을 사용하여 클러스터링 모델을 트레이닝하는 단계를 포함할 수 있다.
상기 클러스터링 모델은 상기 운동 궤적 특징의 확률 밀도 함수를 가정함으로써 클러스터링하거나, 상기 운동 궤적 특징의 데이터 간의 거리를 기초로 클러스터링할 수 있다.
상기 분류 모델을 트레이닝하는 단계는 상기 트레이닝된 차원 감소 모델을 통하여 상기 샘플링된 운동 궤적 특징의 차원을 줄이는 단계, 상기 트레이닝된 클러스터링 모델을 통하여 상기 차원이 줄어든 운동 궤적 특징을 클러스터링하는 단계, 서로 다른 코딩 모델을 통하여 상기 클러스터링된 운동 궤적 특징을 코딩하는 단계 및 상기 코딩된 운동 궤적 특징을 사용하여 분류 모델을 트레이닝하는 단계를 포함할 수 있다.
일실시예에 따른 입력 동영상의 객체의 운동 유형 결정 장치는 상기 입력 동영상으로부터 상기 객체의 운동 궤적 특징을 추출하는 추출부, 상기 운동 궤적 특징을 코딩하는 코딩부 및 상기 코딩된 운동 궤적 특징으로부터 객체의 운동 유형을 결정하는 결정부를 포함할 수 있다.
상기 추출부는 상기 입력 동영상에 포함된 복수의 프레임 각각에 대하여 복수의 서로 다른 스케일로 각각의 프레임을 변환하는 스케일 변환부, 상기 각각의 스케일에 대응하는 상기 복수의 변환된 프레임으로부터 운동 포인트들을 추적하여 상기 각각의 스케일에 대응하는 절대 운동 궤적을 획득하는 운동 포인트 추적부 및 상기 절대 운동 궤적으로부터 운동 궤적 특징을 추출하는 운동 궤적 특징 추출부를 포함할 수 있다.
상기 추출부는 상기 입력 동영상을 촬영한 장치의 상기 운동 궤적 특징에 대한 영향을 상기 운동 궤적 특징으로부터 제거하는 촬영 장치 영향 제거부를 더 포함할 수 있다.
상기 코딩부는 상기 운동 궤적 특징의 차원을 줄이는 차원 감소부, 상기 차원이 줄어든 운동 궤적 특징을 클러스터링하는 클러스터링부, 서로 다른 코딩 모델을 통하여 상기 클러스터링된 운동 궤적 특징을 코딩하는 운동 궤적 특징 코딩부, 상기 코딩된 운동 궤적 특징 각각을 정규화하는 정규화부 및 상기 서로 다른 코딩 모델을 통하여 코딩되고 정규화된 운동 궤적 특징을 병합하고 정규화하는 병합부를 포함할 수 있다.
상기 결정부는 상기 코딩된 운동 궤적 특징의 독립 성분을 샘플링하는 독립 성분 샘플링부 및 상기 샘플링된 독립 성분으로부터 상기 객체의 운동 유형을 결정하는 운동 유형 결정부를 포함할 수 있다.
일실시예에 의하면, 운동 궤적 특징에 기초한 방법을 사용함으로써 비교적 높은 식별 정확도를 얻을 수 있다.
일실시예에 의하면, 효과적인 샘플링 단계를 포함함으로써 운동 궤적 특징의 데이터량을 줄이고 트레이닝된 모델의 크기를 줄일 수 있다.
일실시예에 의하면, 서로 다른 코딩 모델을 함께 사용하거나 서로 다른 정규화 방식을 함께 사용함으로써 비교적 높은 식별 정확도를 얻을 수 있다.
도 1은 일실시예에 따른 객체의 운동 유형 결정 장치를 나타낸 도면이다.
도 2는 일실시예에 따른 객체의 운동 유형 결정 방법을 나타낸 순서도이다.
도 3은 일실시예에 따른 객체의 운동 궤적 특징을 추출하는 단계를 나타낸 도면이다.
도 4는 일실시예에 따른 PCA 모델을 이용하여 운동 궤적 특징의 차원을 줄이는 단계를 나타낸 도면이다.
도 5는 일실시예에 따른 결정 랜덤 트리 모델을 이용하여 운동 궤적 특징으로부터 객체의 운동 유형을 결정하는 단계를 나타낸 도면이다.
도 6은 일실시예에 따른 객체의 운동 유형을 결정하기 위한 트레이닝 장치를 나타낸 도면이다.
도 7은 일실시예에 따른 객체의 운동 유형을 결정하기 위한 트레이닝 방법을 나타낸 순서도이다.
도 8은 일실시예에 따른 트레이닝된 객체의 운동 유형 결정 모델을 테스트하는 방법을 나타낸 순서도이다.
아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 특허출원의 범위가 본 명세서에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 설명한 분야에 속하는 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 본 명세서에서 "일 실시예" 또는 "실시예"에 대한 언급은 그 실시예와 관련하여 설명되는 특정한 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미하며, "일 실시예" 또는 "실시예"에 대한 언급이 모두 동일한 실시예를 지칭하는 것이라고 이해되어서는 안된다.
본 명세서에 개시되어 있는 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 명세서에 개시되어 있는 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 명세서의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본원의 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 설명될 실시예들은 동영상 안에 포함된 객체의 움직임을 식별하고 그 유형을 결정하는데 적용될 수 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일실시예에 따른 객체의 운동 유형 결정 장치를 나타낸 도면이다.
일실시예에 따르면, 객체의 운동 유형 결정 장치(100)는 동영상 내의 복수의 프레임으로부터 운동 궤적 특징을 추출할 수 있다. 객체의 운동 유형 결정 장치(100)는 추출된 운동 궤적 특징을 서로 다른 코딩 모델을 통해 코딩한 후 코딩된 운동 궤적 특징을 통해 객체의 운동 유형을 결정할 수 있다. 운동 궤적에 기초한 식별 방법을 택함으로써 식별의 정확도가 보다 향상될 수 있다.
여기서 객체는 사람을 의미할 수 있고, 객체의 운동은 사람의 행위를 의미할 수 있다. 입력 동영상은 촬영 장치를 통해 촬영된 동영상을 의미하며 비디오로 지칭될 수 있다. 촬영 장치는 예를 들어 카메라일 수 있다.
운동 궤적 특징은 상대 운동 궤적과 궤적 기술자를 의미할 수 있다. 궤적 기술자는 HOG(histogram of gradient), HOF (histogram of flow)과 MBH(motion boundary histogram)을 포함할 수 있다. 궤적 기술자는 상대 운동 궤적으로부터 도출될 수 있고, 상대 운동 궤적은 절대 운동 궤적으로부터 도출될 수 있다. 절대 운동 궤적은 운동 포인트의 추적을 통해 도출될 수 있다.
운동 궤적은 하나의 함수를 통하여 표시될 수 있다. 예를 들어 현재의 프레임의 운동 궤적의 좌표 및 그 전의 프레임의 운동 궤적의 좌표 사이의 함수로 표시될 수 있다. 궤적 기술자는 운동 궤적을 더욱 구체적으로 설명하여 운동 궤적 특징을 더욱 풍부하고 정확하게 설명할 수 있다.
서로 다른 종류의 운동 유형은 각각 특유의 운동 궤적 특징을 나타내기 때문에 코딩된 운동 궤적 특징을 분석함으로써 이에 대응되는 운동 유형이 결정될 수 있다.
객체의 운동 유형 결정 장치(100)는 추출부(110), 코딩부(120), 결정부(130) 및 메모리(140)를 포함할 수 있다.
추출부(110)는 입력 동영상으로부터 객체의 운동 궤적 특징을 추출할 수 있다. 구체적으로, 추출부(110)는 스케일 변환부(111), 운동 포인트 추적부(112), 운동 궤적 특징 추출부(113) 및 선택적으로 촬영 장치 영향 제거부(114)를 포함할 수 있다.
스케일 변환부(111)는 입력 동영상에 포함된 복수의 프레임 각각에 대하여 복수의 서로 다른 스케일로 각각의 프레임을 변환할 수 있다. 여기서 스케일은 크기 또는 사이즈로 지칭될 수 있다.
운동 포인트 추적부(112)는 각각의 스케일에 대응하는 상기 복수의 변환된 프레임으로부터 운동 포인트들을 추적하여 각각의 스케일에 대응하는 절대 운동 궤적을 획득할 수 있다. 운동 포인트의 추적은 옵티컬 플로우(optical flow)의 계산과 특정 타겟 함수에 기초하여 수행될 수 있다.
운동 궤적 특징 추출부(113)는 절대 운동 궤적으로부터 운동 궤적 특징을 추출할 수 있다. 운동 궤적 특징은 물체의 운동에 대한 풍부한 정보를 가지고 있기 때문에 이를 통해 운동 유형을 결정함으로써 운동 유형의 식별에 대한 정확도가 향상될 수 있다.
촬영 장치 영향 제거부(114)는 특정 기법으로 입력 동영상을 촬영한 장치의 운동 궤적 특징에 대한 영향을 운동 궤적 특징으로부터 제거할 수 있다. 이를 통해 운동 유형의 식별에 대한 정확도가 향상될 수 있다.
코딩부(120)는 추출된 운동 궤적 특징을 서로 다른 코딩 모델로 코딩할 수 있다. 코딩부(120)는 차원 감소부(121), 클러스터링부(122), 궤적특징 코딩부(123), 정규화부(124) 및 병합부(125)를 포함할 수 있다.
차원 감소부(121)는 추출된 운동 궤적 특징의 차원을 줄일 수 있다. 운동 궤적 특징의 차원이 감소하면 처리해야 할 데이터량이 줄어들 수 있다. 이를 통해 운동 유형을 결정하는 속도가 향상될 수 있다.
클러스터링부(122)는 차원이 줄어든 운동 궤적 특징을 클러스터링할 수 있다. 클러스터링을 통해 성격이 비슷한 운동 궤적 특징을 군집화할 수 있다. 궤적특징 코딩부(123)는 서로 다른 클러스터링 모델을 통하여 클러스터링된 운동 궤적 특징을 코딩할 수 있다. 일실시예에 따르면 코딩부(123)는 복수의 상이한 코딩 모델을 제공할 수 있다.
궤적 특징에 대한 코딩은 특정 규칙으로 특징의 공간과 시간 등의 분포상황을 설명할 수 있다. 하나의 코딩 방식을 사용하는 경우 하나의 규칙에 의해서만 분포상황을 설명할 수 있다. 하지만 객체의 운동 유형 결정 장치(100)는 여러 종류의 코딩 방식을 사용함으로써 운동 궤적 특징의 분포상황을 더욱 효과적으로 설명하고 식별의 정확도를 향상시킬 수 있다.
정규화부(124)는 코딩된 운동 궤적 특징 각각을 정규화할 수 있다. 병합부(125)는 정규화된 운동 궤적 특징을 병합한 후 다시 정규화할 수 있다. 정규화를 통해 운동 유형을 결정하는 식별의 정확도가 향상될 수 있다.
결정부(130)는 코딩된 운동 궤적 특징으로부터 객체의 운동 유형을 결정할 수 있다. 결정부(130)는 독립 성분 샘플링부(131) 및 운동 유형 결정부(132)를 포함할 수 있다.
독립 성분 샘플링부(131)는 운동 궤적 특징의 독립 성분을 샘플링할 수 있다. 독립 성분 샘플링부(131)는 랜덤 샘플링 방식으로 운동 궤적 특징의 독립 성분을 샘플링함으로써 이후 처리되는 데이터량을 줄일 수 있다.
운동 유형 결정부(132)는 미리 트레이닝된 분류 모델을 통하여 운동 유형을 결정할 수 있다. 분류 모델은 입력 변수를 바탕으로 목표 변수의 값을 예측하는 모델일 수 있다. 이를 통해 SVM(support vector machine)과 비교할 때, 객체의 운동 유형 결정 장치(100)는 유사한 식별의 정확도를 유지하면서도 SVM보다 99% 작은 메모리 공간을 요구할 수 있다.
도 2는 일실시예에 따른 객체의 운동 유형 결정 방법을 나타낸 순서도이다.
단계(210)에서 추출부(110)는 입력 동영상으로부터 객체의 운동 궤적 특징을 추출할 수 있다.
단계(211)에서 스케일 변환부(111)는 입력 동영상에 포함된 복수의 프레임 각각에 대하여 복수의 서로 다른 스케일로 각각의 프레임을 변환할 수 있다.
입력 동영상은 시간의 흐름에 따라 복수의 프레임으로 구성될 수 있다. 각각의 프레임은 스케일 변환부(111)에 의해 특정 변환 방식에 따라 스케일이 확정되거나 축소됨으로써 변환될 수 있다. 변환 방식은 예를 들어 라플라스 피라미드 변환일 수 있다.
단계(212)에서 운동 포인트 추적부(112)는 각각의 스케일에 대응하는 상기 복수의 변환된 프레임으로부터 운동 포인트들을 추적하여 상기 각각의 스케일에 대응하는 절대 운동 궤적을 획득할 수 있다.
운동 포인트 추적부(112)는 동일한 스케일을 가지는 복수의 프레임으로부터 운동 포인트들을 추적할 수 있다. 동일한 스케일을 가지는 복수의 프레임은 시간의 흐름에 따라 정렬될 수 있다. 운동 포인트 추적부(112)는 시간의 흐름에 따라 복수의 프레임으로부터 옵티컬 플로우(optical flow)를 계산할 수 있다. 운동 포인트 추적부(112)는 옵티컬 플로우를 샘플링할 수 있다.
운동 포인트 추적부(112)는 특정 타겟 함수를 통하여 샘플링된 옵티컬 플로우로부터 운동 포인트들을 추적할 수 있다. 운동 포인트 추적부(112)는 추적된 운동 포인트로부터 특징점 추출 기법을 사용하여 절대 운동 궤적을 추출할 수 있다.
단계(213)에서 운동 궤적 특징 추출부(113)는 절대 운동 궤적으로부터 운동 궤적 특징을 추출할 수 있다. 운동 궤적 특징 추출부(113)는 특징 매칭 방법을 사용하여 절대 운동 궤적으로부터 상대 운동 궤적을 도출할 수 있다.
운동 궤적 특징 추출부(113)는 상대 운동 궤적으로부터 상대 운동 궤적을 포함하는 임의의 구역으로부터 궤적 기술자를 추출할 수 있다. 궤적 기술자는 HOG, HOF과 MBH을 포함할 수 있다. 일실시예에 따르면, 객체의 운동 유형 결정 장치(100)는 운동 궤적(trajectories)의 특징에 기초한 방법을 사용함으로써 운동에 대해 보다 많은 정보를 전달할 수 있고, 따라서 보다 높은 식별의 정확도를 달성할 수 있다.
단계(214)에서 촬영 장치 영향 제거부(114)는 특정 기법으로 입력 동영상을 촬영한 장치의 운동 궤적 특징에 대한 영향을 운동 궤적 특징으로부터 제거할 수 있다. 상기 기법은 거짓 정보를 포함하는 데이터 집합으로부터 수학적 모델의 인자들을 반복적인 방법으로 예측하는 기법일 수 있다. 상기 기법은 비결정적 알고리즘(non-deterministic algorithm)일 수 있고, 예를 들어 RANSAC(random sample consensus) 기법일 수 있다.
단계(220)에서 코딩부(120)는 운동 궤적 특징을 코딩할 수 있다.
단계(221)에서 차원 감소부(121)는 운동 궤적 특징의 차원을 줄일 수 있다. 동영상 내의 운동 궤적은 통상적으로 복잡하기 때문에 추출된 운동 궤적 특징은 통상적으로 차원이 높은 벡터일 수 있다. 따라서 차원 감소부(121)는 코딩이 진행되기 전에 차원 감소 모델을 통하여 운동 궤적 특징의 차원을 줄여 후속 코딩 과정의 계산량을 줄일 수 있다.
차원 감소부(121)는 운동 궤적 특징을 구성하는 상대 운동 궤적과 궤적 기술자 각각에 대하여 차원을 줄일 수 있다. 차원 감소부(121)는 직교 변환을 사용하여 운동 궤적 특징의 선형 연관성을 줄이는 차원 감소 모델을 통해 운동 궤적 특징의 차원을 줄일 수 있다. 예를 들어, 상기 기법은 주성분 분석(Principal component analysis, PCA)일 수 있다. 이를 통해, 객체의 운동 유형 결정 장치(100)는 운동 궤적 특징의 데이터량을 축소할 수 있고, 노이즈를 줄일 수 있다.
주성분 분석은 통상적으로 낮은 차원의(하위, low order) 주성분은 유지하고 높은 차원의(상위, high order) 주성분은 차원 감소를 진행한다. 하위 주성분이 통상적으로 데이터의 가장 중요한 측면을 보유하기 때문에 하위 주성분을 그대로 유지하는 것이다. 한편 상위 주성분은 통상적으로 데이터의 덜 중요한 측면을 보유하기 때문에 차원 감소를 진행하여 전체 데이터량을 줄이는 것이다. 다시 말하면 미리 트레이닝된 PCA모델을 통하여 운동 궤적 특징에 대한 차원 감소가 진행되는 경우 전체 특징 데이터의 차원이 감소되는 동시에 특징 데이터의 중요한 측면은 유지된다. 또는 절대 부분의 유효 특징 정보가 유지된다고 지칭될 수 있다.
일실시예에 따르면, 차원 감소 모델은 도 6의 트레이닝 장치(600)를 통해 미리 트레이닝될 수 있다.
단계(222)에서 클러스터링부(122)는 클러스터링 모델을 통하여 차원이 줄어든 운동 궤적 특징을 클러스터링할 수 있다. 일실시예에 따르면, 클러스터링부(122)는 차원이 줄어든 운동 궤적 특징의 확률 밀도 함수를 가정함으로써 클러스터링할 수 있다. 예를 들어, 클러스터링부(122)는 가우시안 혼합 모델(Gaussian mixture model, GMM)을 사용할 수 있다. 일실시예에 따르면, 클러스터링부(122)는 차원이 줄어든 운동 궤적 특징의 데이터 간의 거리를 기초로 클러스터링할 수 있다. 예를 들어, 클러스터링부(122)는 K 평균 모델 (K-means model)을 통하여 클러스터링할 수 있다. 일실시예에 따르면, 클러스터링부(122)는 서로 다른 클러스터링 모델을 통하여 차원이 줄어든 운동 궤적 특징을 클러스터링 할 수 있다.
일실시예에 따르면, 클러스터링 모델은 도 6의 트레이닝 장치(600)를 통해 미리 트레이닝될 수 있다.
단계(223)에서 궤적특징 코딩부(123)는 서로 다른 코딩 모델을 통하여 상기 클러스터링된 운동 궤적 특징을 코딩할 수 있다. 코딩 모델은 상기 클러스터링된 운동 궤적 특징의 지역성(locality)에 기초하여 상기 클러스터링된 운동 궤적 특징을 코딩하는 방식일 수 있다. 예를 들어, 코딩 모델은 피셔 벡터(fisher vector) 코딩 모델 또는 로컬 취합 기술자 벡터(Vector of local aggregated descriptor, VLAD) 코딩 모델일 수 있다. 객체의 운동 유형 결정 장치(100)는 복수의 코딩 모델을 연합함으로써 더욱 효과적인 코딩 결과를 획득할 수 있다. 다만, 코딩 모델은 이에 한정되지 않으며, 예를 들면 BoF(Bag of Features) 코딩 방식을 통하여 코딩될 수 있다.
일실시예에 따르면, 운동 궤적 특징은 상대 운동 궤적, HOG, HOF 및 MBH를 포함할 수 있다. 따라서 궤적특징 코딩부(123)는 서로 다른 코딩 모델을 통하여 상대 운동 궤적, HOG, HOF 및 BMH를 코딩할 수 있다.
단계(223)에서 정규화부(124)는 코딩된 운동 궤적 특징 각각을 정규화할 수 있다. 정규화부(124)는 복수의 정규화 방식을 결합하여 사용함으로써 코딩된 운동 궤적 특징 각각을 정규화할 수 있다. 코딩된 운동 궤적 특징 각각에 적용되는 정규화 방식은 상이할 수 있다.
일실시예에 따르면, 정규화부(124)는 L2 정규화 방식 또는 내부(intra) 정규화 방식을 결합하여 코딩된 운동 궤적 특징을 정규화할 수 있다. 예를 들어, 정규화부(124) 제1 정규화 방식으로서 L2 정규화 방식, 내부 정규화 방식 및 L2 정규화 방식을 결합하는 방식을 사용할 수 있다. 예를 들어, 정규화부(124)는 제2 정규화 방식으로서 내부 정규화 방식 및 L2 정규화 방식을 결합하는 방식을 사용할 수 있다.
L2 정규화 방식은 다음 식을 이용한다.
Figure pat00001
여기서 xkmn은 제m번째의 서브 성분의 n개 값을 나타낸다.
내부 정규화 방식은 다음 식을 이용한다.
Figure pat00002
내부 정규화 방식은 각 서브 성분에 대하여 L2 정규화 방식으로 정규화하는 것을 의미한다.
단계(224)에서 병합부(125)는 서로 다른 코딩 모델을 통하여 코딩되고 정규화된 운동 궤적 특징을 병합할 수 있다. 정규화부(124)는 L2 정규화 방식 또는 내부(intra) 정규화 방식으로 병합된 운동 궤적 특징을 다시 정규화할 수 있다.
예를 들어, 객체의 운동 유형 결정 장치(100)는 가우시안 혼합 모델, 피셔 벡터 코딩 모델 및 제1 정규화 방식을 통해 단계(222)와 단계(223)를 수행할 수 있다. 또한 객체의 운동 유형 결정 장치(100)는 K 평균 모델, VLAD 코딩 모델 및 제2 정규화 방식을 통해 단계(222)와 단계(223)를 수행할 수 있다. 객체의 운동 유형 결정 장치(100)는 상기 각각의 결과를 병합한 후 다시 정규화할 수 있다.
코딩된 운동 궤적 특징에 대해 정규화함으로써 코딩된 운동 궤적 특징 중의 강한 성분(strong component)이 단계(230)에서의 분류 결과에 미치는 영향을 효과적으로 완화할 수 있으며, 이는 운동 유형 결정의 정확률을 높일 수 있다.
단계(230)에서 결정부(130)는 코딩된 운동 궤적 특징으로부터 객체의 운동 유형을 결정할 수 있다.
단계(231)에서 독립 성분 샘플링부(131)는 코딩된 운동 궤적 특징의 독립 성분을 샘플링할 수 있다. 코딩된 운동 궤적 특징은 복수의 독립 성분을 포함하는 벡터 데이터일 수 있다. 샘플링 방식은 랜덤 샘플링 방식일 수 있다. 샘플링을 통해 운동 유형 결정부(132)에서 처리되는 데이터 량은 감소될 수 있다.
코딩된 운동 궤적 특징을 통해 운동 유형의 결정이 진행될 때, 우선 운동 궤적 특징의 독립 성분에 대하여 랜덤 샘플링이 진행되어 랜덤으로 하나 이상의 독립 성분이 획득될 수 있다. 구체적으로 샘플링될 독립 성분의 수는 사용자의 실제 상황에 근거하여 자체적으로 설정될 수 있다. 본원에서는 샘플링될 독립 성분의 수가 한정되지 않는다.
단계(232)에서 운동 유형 결정부(132)는 샘플링된 독립 성분으로부터 객체의 운동 유형을 결정할 수 있다. 일실시예에 따르면, 운동 유형 결정부(132)는 입력 변수를 바탕으로 목표 변수의 값을 예측하는 분류 모델을 통해 객체의 운동 유형을 결정할 수 있다. 예를 들어, 결정 랜덤 트리(discriminative random tree, DRT) 모델이 사용될 수 있다.
일실시예에 따르면, 분류 모델은 도 6의 트레이닝 장치(600)를 통해 미리 트레이닝될 수 있다.
도 3은 일실시예에 따른 객체의 운동 궤적 특징을 추출하는 단계를 나타낸 도면이다.
단계(211)에서 스케일 변환부(111)는 입력 동영상 내의 복수의 프레임 각각에 대하여 라플라스 피라미드 변환을 수행할 수 있다. 스케일 변환부(111)는 라플라스 피라미드 변환을 통해 프레임을 원래의 스케일과 상이한 복수의 스케일로 변환할 수 있다. 구체적으로, 스케일 변환부(111)는 일정한 비율 또는 일정한 차이로 프레임의 스케일을 변환할 수 있다.
단계(212)에서 운동 포인트 추적부(112)는 동일한 스케일을 가지는 복수의 프레임으로부터 운동 포인트들을 추적할 수 있다. 운동 포인트 추적부(112)는 시간의 흐름에 따라 정렬된 복수의 프레임으로부터 하나 이상의 옵티컬 플로우를 추출할 수 있다.
운동 포인트 추적부(112)는 공간적 근접성에 기초하여 옵티컬 플로우를 샘플링할 수 있다. 일실시예에 따르면, 운동 포인트 추적부(112)는 추출된 하나 이상의 옵티컬 플로우를 덴스 샘플링(dense sampling)할 수 있다.
운동 포인트 추적부(112)는 특정 타겟 함수를 통하여 샘플링된 옵티컬 플로우로부터 운동 포인트를 추적할 수 있다. 타겟 함수는 예를 들어 다음 식일 수 있다.
Figure pat00003
Pt+1 = (xt +1, yt + 1)은 특정 스케일에서 다음 프레임의 궤적의 좌표를 나타낼 수 있고, (xt, yt)은 동일한 스케일에서의 현재 프레임의 좌표를 나타낼 수 있다. M은 중앙값 필터(median filter)의 핵함수(kernel function)를 나타낼 수 있고, ω는 옵티컬 플로우일 수 있다.
Figure pat00004
는 운동 궤적의 좌표의 평균값을 나타낼 수 있다.
운동 포인트 추적부(112)는 추적된 운동 포인트로부터 특징점 추출 기법을 통하여 절대 운동 궤적을 추출할 수 있다. 예를 들어, 운동 포인트 추적부(112)는 추적된 운동 포인트로부터 SURF 기법을 사용하여 절대 운동 궤적을 추출할 수 있다.
단계(213)에서 운동 궤적 특징 추출부(113)는 특징 매칭 방법을 사용하여 절대 운동 궤적으로부터 상대 운동 궤적을 도출할 수 있다. 구체적으로, 운동 궤적 특징 추출부(113)는 각각의 절대 운동 궤적을 원래의 스케일로 변환할 수 있다. 운동 궤적 특징 추출부(113)는 변환된 절대 운동 궤적을 매칭하여 상대 운동 궤적을 획득할 수 있다.
운동 궤적 특징 추출부(113)는 상대 운동 궤적을 포함하는 임의의 구역에서 상대 운동 궤적으로부터 궤적 기술자를 추출할 수 있다. 궤적 기술자는 HOG, HOF과 MBH을 포함할 수 있다.
도 4는 일실시예에 따른 PCA 모델을 이용하여 운동 궤적 특징의 차원을 줄이는 단계를 나타낸 도면이다.
차원 감소부(121)는 PCA 모델을 사용하여 운동 궤적 특징의 차원을 줄일 수 있다. 구체적으로, 차원 감소부(121)는 PCA 모델을 사용하여 각 운동 궤적 특징의 선형 연관성을 줄임으로써 각 운동 궤적 특징의 차원을 줄일 수 있다. 운동 궤적 특징은 상대 운동 궤적, HOF, HOG 및 MBH일 수 있다. 운동 궤적 특징의 차원을 줄임으로써 처리할 데이터량은 감소될 수 있다.
도 5는 일실시예에 따른 결정 랜덤 트리 모델을 이용하여 운동 궤적 특징으로부터 객체의 운동 유형을 결정하는 단계를 나타낸 도면이다.
결정 랜덤 트리는 N개의 독립적인 결정 트리(Decision Tree)를 포함할 수 있다. 각각의 트리는 선형 분류 노드와 리프 노드로 구성될 수 있다. 선형 분류 노드는 선형 분류기 역할을 수행할 수 있다. 선형 분류 노드는 강분류기로 구성될 수 있다. 강분류기는 약분류기가 케스케이드(cascade) 방식으로 연결된 형태일 수 있다. 예를 들어, 선형 분류 노드는 SVM(Support Vector Machine)일 수 있다. 리프 노드는 각각 객체의 운동 유형에 대응할 수 있다.
운동 유형 결정부(132)는 샘플링된 독립 성분을 결정 랜덤 트리 내의 각 결정 트리의 선형 분류 노드에 입력할 수 있다. 각 독립 성분은 레이어 별로 식별되며 최종적으로 리프 노드에 도달할 수 있다.
운동 유형 결정부(132)는 각 결정 트리에서 샘플링된 독립 성분이 도달한 리프 노드를 식별할 수 있다. 운동 유형 결정부(132)는 식별된 결과를 종합하여 가장 많이 식별된 리프 노드에 대응하는 운동 유형을 결정할 수 있다. 다시 말하면, 운동 유형 결정부(132)는 식별된 리프 노드에 기초하여 상기 객체의 운동 유형을 결정할 수 있다.
도 6은 일실시예에 따른 객체의 운동 유형을 결정하기 위한 트레이닝 장치를 나타낸 도면이다.
트레이닝 장치(600)는 객체의 운동 유형 결정 장치(100)에서 사용되는 차원 감소 모델, 클러스터링 모델 및 분류 모델을 트레이닝할 수 있다. 다양한 샘플을 사용하여 이러한 모델들이 미리 트레이닝됨으로써 실시 단계에서 식별의 정확도가 향상될 수 있다. 트레이닝 장치(600)는 샘플링부(610), 차원 감소 모델 트레이닝부(620), 클러스터링 모델 트레이닝부(630) 및 분류 모델 트레이닝부(640)를 포함할 수 있다.
샘플링부(610)는 운동 궤적 특징을 샘플링할 수 있다. 샘플링부(610)는 비균형 샘플링을 통해 운동 궤적 특징의 분포를 더 잘 표현하면서도 데이터 량을 줄이는 효과를 도출할 수 있다.
차원 감소 모델 트레이닝부(620), 클러스터링 모델 트레이닝부(630) 및 분류 모델 트레이닝부(640)는 미리 유형이 분류된 샘플을 모델에 입력하고 그 식별의 정확도가 일정 수준 미만이면 모델을 수정할 수 있다. 차원 감소 모델 트레이닝부(620), 클러스터링 모델 트레이닝부(630) 및 분류 모델 트레이닝부(640)는 이러한 과정을 반복함으로써 모델의 식별의 정확도를 향상시킬 수 있다.
도 7은 일실시예에 따른 객체의 운동 유형을 결정하기 위한 트레이닝 방법을 나타낸 순서도이다.
단계(710)에서 샘플링부(610)는 샘플 동영상의 객체의 운동 궤적 특징을 샘플링할 수 있다. 객체의 운동 유형 결정 장치(100)는 샘플 뱅크로부터 샘플 동영상을 받아 트레이닝을 수행할 수 있다. 샘플 뱅크는 복수의 샘플 동영상을 저장하는 저장 공간을 지칭할 수 있다. 샘플 뱅크 내에는 대량의 동영상이 포함될 수 있으며 동영상 내에는 다양한 인체 행위가 포함될 수 있다. 예를 들어 샘플 뱅크는 국제공개 데이터베이스 UCF101일 수 있다.
단계(711)에서 샘플링부(610)는 샘플 동영상의 객체의 운동 궤적 특징을 추출할 수 있다. 샘플링부(610)는 운동 포인트을 추적하여 절대 운동 궤적을 도출할 수 있다. 샘플링부(610)는 절대 운동 궤적을 원래의 스케일로 변환하고 매칭하여 상대 운동 궤적을 획득할 수 있다. 샘플링부(610)는 상대 운동 궤적으로부터 궤적 기술자를 계산할 수 있다.
단계(712)에서 샘플링부(610)는 추출된 운동 궤적 특징을 샘플링할 수 있다. 샘플링부(610)는 운동 궤적수에 기초한 샘플링 방식에 의해 추출된 운동 궤적 특징을 샘플링할 수 있다. 운동 궤적수에 기초한 샘플링 방식은 비균형 샘플링 방식일 수 있다. 비균형 샘플링 방식은 희소 샘플링 방식으로 지칭될 수 있다. 운동 궤적수는 샘플 동영상에 대응하는 추출된 운동 궤적 특징의 수를 지칭할 수 있다. 비균형 샘플링 방식은 다음 식을 이용할 수 있다.
Figure pat00005
여기서, Ni는 제i 번째 샘플의 샘플링된 운동 궤적수를 표시하고, Nall는 미리 설정한 총 운동 궤적수를 표시하며 Ntr _i는 제i 번째 샘플의 운동 궤적수를 나타내고 Ntr _all는 모든 샘플의 운동 궤적수를 나타낸다. 다시 말하면, 샘플링부(610)는 전체 샘플이 가지는 운동 궤적수에 대한 제i 번째 샘플의 운동 궤적수의 비에 비례하여 미리 설정한 총 운동 궤적수로부터 샘플링할 수 있다.
단계(720)에서 차원 감소 모델 트레이닝부(620)는 샘플링된 운동 궤적 특징을 사용하여 차원 감소 모델을 트레이닝할 수 있다. 일실시예에 따르면, 차원 감소 모델은 직교 변환을 사용하여 운동 궤적 특징의 선형 연관성을 줄이는 방식을 사용할 수 있다. 예를 들어, 차원 감소 모델은 주성분 분석 모델일 수 있다.
단계(730)에서 클러스터링 모델 트레이닝부(630)는 트레이닝된 차원 감소 모델을 통하여 클러스터링 모델을 트레이닝할 수 있다. 클러스터링 모델 트레이닝부(630)는 클러스터링 모델을 트레이닝하기 전에 트레이닝에 사용될 샘플을 준비할 수 있다. 구체적으로, 단계(731)에서 클러스터링 모델 트레이닝부(630)는 트레이닝된 차원 감소 모델을 통하여 샘플링된 운동 궤적 특징의 차원을 줄일 수 있다. 단계(732)에서 클러스터링 모델 트레이닝부(630)는 차원이 줄어든 운동 궤적 특징을 화이트닝할(whitening) 수 있다. 클러스터링 모델 트레이닝부(630)는 화이트닝을 통해 차원이 줄어든 운동 궤적 특징의 상관도를 줄여줌으로써 처리해야 하는 데이터량을 줄일 수 있다.
단계(733)에서 클러스터링 모델 트레이닝부(630)는 화이트닝된 운동 궤적 특징을 사용하여 클러스터링 모델을 트레이닝할 수 있다. 일실시예에 따르면, 클러스터링 모델은 운동 궤적 특징의 확률 밀도 함수를 가정함으로써 클러스터링하거나, 운동 궤적 특징의 데이터 간의 거리를 기초로 클러스터링하는 방식을 사용할 수 있다. 예를 들어, 클러스터링 모델은 가우시안 혼합 모델 또는 K 평균 모델일 수 있다.
단계(740)에서 분류 모델 트레이닝부(640)는 트레이닝된 클러스터링 모델을 통하여 분류 모델을 트레이닝할 수 있다. 분류 모델 트레이닝부(640)는 분류 모델을 트레이닝하기 전에 트레이닝에 사용될 샘플을 준비할 수 있다. 단계(741), 단계(742) 및 단계(743)가 이에 해당된다.
구체적으로, 단계(741)에서 분류 모델 트레이닝부(640)는 트레이닝된 차원 감소 모델을 통하여 상기 샘플링된 운동 궤적 특징의 차원을 줄일 수 있다. 단계(742)에서 분류 모델 트레이닝부(640)는 트레이닝된 클러스터링 모델을 통하여 상기 차원이 줄어든 운동 궤적 특징을 클러스터링할 수 있다. 단계(743)에서 분류 모델 트레이닝부(640)는 서로 다른 코딩 모델을 통하여 상기 클러스터링된 운동 궤적 특징을 코딩하고 정규화할 수 있다. 이후에, 분류 모델 트레이닝부(640)는 서로 다른 코딩 모델을 통해 코딩된 운동 궤적 특징을 병합할 수 있다.
예를 들어, 분류 모델 트레이닝부(640)는 주성분 분석 모델을 통하여 단계(741)를 수행할 수 있다. 예를 들어, 분류 모델 트레이닝부(640)는 가우시안 혼합 모델, 피셔 벡터 코딩 모델 및 제1 정규화 방식을 통해 단계(742)와 단계(743)를 수행할 수 있다. 예를 들어, 분류 모델 트레이닝부(640)는 K 평균 모델, VLAD 코딩 모델 및 제2 정규화 방식을 통해 단계(742)와 단계(743)를 수행할 수 있다.
단계(744)에서 분류 모델 트레이닝부(640)는 코딩된 운동 궤적 특징을 사용하여 분류 모델을 트레이닝할 수 있다. 일실시예에 따르면, 분류 모델은 입력 변수를 바탕으로 목표 변수의 값을 예측하는 모델일 수 있다. 예를 들어, 분류 모델은 결정 랜덤 트리 모델일 수 있다.
도 8은 일실시예에 따른 트레이닝된 객체의 운동 유형 결정 모델을 테스트하는 방법을 나타낸 순서도이다. 동영상의 객체의 운동 유형을 결정하기 위한 테스트 장치는 도 7을 통해 트레이닝된 차원 감소 모델과 분류 모델을 테스트할 수 있다.
단계(810)에서 차원 감소 모델을 테스트하기 위한 준비 단계로서 테스트 장치는 샘플 동영상의 운동 궤적 특징을 추출할 수 있다. 일실시예에 따르면, 운동 궤적 특징의 추출 방법은 도 2의 단계(210)에서 설명된 방법과 같을 수 있다. 단계(820)에서 테스트 장치는 추출된 운동 궤적 특징을 사용하여 이미 트레이닝된 차원 감소 모델을 테스트할 수 있다.
단계(830)에서 테스트 장치는 차원 감소된 운동 궤적 특징을 사용하여 분류 모델을 테스트하기 위한 샘플을 준비할 수 있다. 구체적으로, 테스트 장치는 차원 감소된 운동 궤적 특징을 화이트닝할 수 있다. 이후 테스트 장치는 화이트닝된 운동 궤적 특징을 코딩하고 정규화한 후 병합할 수 있다.
일실시예에 따르면, 단계(850)에서 테스트 장치는 서로 다른 코딩 모델 및 정규화 방식으로 코딩과 정규화를 수행할 수 있다. 예를 들어, 테스트 장치는 피셔 벡터 코딩 모델 및 제1 정규화 방식을 통해 코딩 및 정규화를 수행할 수 있다. 예를 들어, 테스트 장치는 VLAD 코딩 모델 및 제2 정규화 방식을 통해 코딩 및 정규화를 수행할 수 있다. 여기서 제1 정규화 방식은 L2 정규화 방식, 내부 정규화 방식 및 L2 정규화 방식을 결합하는 방식일 수 있다. 제2 정규화 방식은 내부 정규화 방식 및 L2 정규화 방식을 결합하는 방식일 수 있다.
단계(860)에서 테스트 장치는 서로 다른 코딩 모델 및 정규화 방시긍로 모딩과 정규화가 수행된 운동 궤적 특징을 병합할 수 있다. 단계(870)에서 테스트 장치는 병합된 운동 궤적 특징을 사용하여 분류 모델을 테스트할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 객체의 운동 유형 결정 장치
110: 추출부
111: 스케일 변환부
112: 운동 포인트 추적부
113: 운동 궤적 특징 추출부
114: 촬영 장치 영향 제거부
120: 코딩부
121: 차원 감소부
122: 클러스터링부
123: 운동 궤적 특징 코딩부
124: 정규화부
125: 병합부
130: 결정부
131: 독립 성분 샘플링부
132: 운동 유형 결정부
140: 메모리

Claims (21)

  1. 입력 동영상의 객체의 운동 유형 결정 방법에 있어서,
    상기 입력 동영상으로부터 상기 객체의 운동 궤적 특징을 추출하는 단계;
    상기 추출된 운동 궤적 특징을 코딩하는 단계; 및
    상기 코딩된 운동 궤적 특징으로부터 객체의 운동 유형을 결정하는 단계
    를 포함하는 객체의 운동 유형 결정 방법.
  2. 제1항에 있어서,
    상기 객체의 운동 궤적 특징을 추출하는 단계는,
    상기 입력 동영상에 포함된 복수의 프레임 각각에 대하여 복수의 서로 다른 스케일로 각각의 프레임을 변환하는 단계;
    상기 각각의 스케일에 대응하는 상기 복수의 변환된 프레임으로부터 운동 포인트들을 추적하여 상기 각각의 스케일에 대응하는 절대 운동 궤적을 획득하는 단계; 및
    상기 절대 운동 궤적으로부터 운동 궤적 특징을 추출하는 단계
    를 포함하는 객체의 운동 유형 결정 방법.
  3. 제2항에 있어서,
    상기 절대 운동 궤적으로부터 운동 궤적 특징을 추출하는 단계는,
    상기 각각의 절대 운동 궤적을 원래의 스케일로 변환하는 단계;
    상기 변환된 절대 운동 궤적을 매칭하여 상대 운동 궤적을 획득하는 단계; 및
    상기 상대 운동 궤적으로부터 궤적 기술자를 획득하는 단계를 포함하고,
    상기 운동 궤적 특징은 상기 상대 운동 궤적 및 상기 궤적 기술자를 포함하는
    객체의 운동 유형 결정 방법.
  4. 제1항에 있어서,
    상기 입력 동영상을 촬영한 장치의 상기 운동 궤적 특징에 대한 영향을 상기 운동 궤적 특징으로부터 제거하는 단계를 더 포함하는
    객체의 운동 유형 결정 방법.
  5. 제1항에 있어서,
    상기 추출된 운동 궤적 특징을 코딩하는 단계는,
    상기 추출된 운동 궤적 특징의 차원을 줄이는 단계;
    상기 차원이 줄어든 운동 궤적 특징을 클러스터링하는 단계;
    서로 다른 코딩 모델을 통하여 상기 클러스터링된 운동 궤적 특징을 코딩하는 단계;
    상기 코딩된 운동 궤적 특징 각각을 정규화하는 단계; 및
    상기 서로 다른 코딩 모델을 통하여 코딩되고 정규화된 운동 궤적 특징을 병합하고 정규화하는 단계를 포함하는
    객체의 운동 유형 결정 방법.
  6. 제5항에 있어서,
    상기 차원을 줄이는 단계는,
    직교 변환을 사용하여 상기 운동 궤적 특징의 선형 연관성을 줄이는
    객체의 운동 유형 결정 방법.
  7. 제5항에 있어서,
    상기 클러스터링하는 단계는,
    상기 차원이 줄어든 운동 궤적 특징의 확률 밀도 함수를 가정함으로써 클러스터링하거나, 상기 차원이 줄어든 운동 궤적 특징의 데이터 간의 거리를 기초로 클러스터링하는
    객체의 운동 유형 결정 방법.
  8. 제5항에 있어서,
    상기 코딩 모델은 상기 클러스터링된 운동 궤적 특징의 지역성(locality)에 기초하여 상기 클러스터링된 운동 궤적 특징을 코딩하는
    객체의 운동 유형 결정 방법.
  9. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 코딩된 운동 궤적 특징의 독립 성분을 샘플링하는 단계; 및
    상기 샘플링된 독립 성분으로부터 상기 객체의 운동 유형을 결정하는 단계를 포함하는
    객체의 운동 유형 결정 방법.
  10. 제9항에 있어서,
    상기 샘플링된 독립 성분으로부터 상기 객체의 운동 유형을 결정하는 단계는,
    상기 샘플링된 독립 성분을 분류 모델의 선형 분류 노드에 입력하는 단계;
    상기 독립 성분이 도달하는 상기 분류 모델의 리프 노드를 식별하는 단계; 및
    상기 식별된 리프 노드에 기초하여 상기 객체의 운동 유형을 결정하는 단계를 포함하는
    객체의 운동 유형 결정 방법.
  11. 동영상의 객체의 운동 유형을 결정하기 위한 트레이닝 방법에 있어서,
    샘플 동영상의 객체의 운동 궤적 특징을 샘플링하는 단계;
    상기 샘플링된 운동 궤적 특징을 사용하여 차원 감소 모델을 트레이닝하는 단계;
    상기 트레이닝된 차원 감소 모델을 통하여 클러스터링 모델을 트레이닝하는 단계; 및
    상기 트레이닝된 클러스터링 모델을 통하여 분류 모델을 트레이닝하는 단계를 포함하는
    트레이닝 방법.
  12. 제11항에 있어서,
    상기 샘플링하는 단계는,
    상기 샘플 동영상의 객체의 운동 궤적 특징을 추출하는 단계; 및
    상기 추출된 운동 궤적 특징을 샘플링하는 단계를 포함하는
    트레이닝 방법.
  13. 제11항에 있어서,
    상기 차원 감소 모델은 직교 변환을 사용하여 상기 운동 궤적 특징의 선형 연관성을 줄이는
    트레이닝 방법.
  14. 제11항에 있어서,
    상기 클러스터링 모델을 트레이닝하는 단계는,
    상기 트레이닝된 차원 감소 모델을 통하여 상기 샘플링된 운동 궤적 특징의 차원을 줄이는 단계;
    상기 차원이 줄어든 운동 궤적 특징을 화이트닝하는(whitening) 단계; 및
    상기 화이트닝된 운동 궤적 특징을 사용하여 클러스터링 모델을 트레이닝하는 단계를 포함하는
    트레이닝 방법.
  15. 제11항에 있어서,
    상기 클러스터링 모델은 상기 운동 궤적 특징의 확률 밀도 함수를 가정함으로써 클러스터링하거나, 상기 운동 궤적 특징의 데이터 간의 거리를 기초로 클러스터링하는
    트레이닝 방법.
  16. 제11항에 있어서,
    상기 분류 모델을 트레이닝하는 단계는,
    상기 트레이닝된 차원 감소 모델을 통하여 상기 샘플링된 운동 궤적 특징의 차원을 줄이는 단계;
    상기 트레이닝된 클러스터링 모델을 통하여 상기 차원이 줄어든 운동 궤적 특징을 클러스터링하는 단계;
    서로 다른 코딩 모델을 통하여 상기 클러스터링된 운동 궤적 특징을 코딩하는 단계; 및
    상기 코딩된 운동 궤적 특징을 사용하여 분류 모델을 트레이닝하는 단계를 포함하는
    트레이닝 방법.
  17. 입력 동영상의 객체의 운동 유형 결정 장치에 있어서,
    상기 입력 동영상으로부터 상기 객체의 운동 궤적 특징을 추출하는 추출부;
    상기 운동 궤적 특징을 코딩하는 코딩부; 및
    상기 코딩된 운동 궤적 특징으로부터 객체의 운동 유형을 결정하는 결정부
    를 포함하는 객체의 운동 유형 결정 장치.
  18. 제17항에 있어서,
    상기 추출부는,
    상기 입력 동영상에 포함된 복수의 프레임 각각에 대하여 복수의 서로 다른 스케일로 각각의 프레임을 변환하는 스케일 변환부;
    상기 각각의 스케일에 대응하는 상기 복수의 변환된 프레임으로부터 운동 포인트들을 추적하여 상기 각각의 스케일에 대응하는 절대 운동 궤적을 획득하는 운동 포인트 추적부; 및
    상기 절대 운동 궤적으로부터 운동 궤적 특징을 추출하는 운동 궤적 특징 추출부를 포함하는
    객체의 운동 유형 결정 장치.
  19. 제18항에 있어서,
    상기 추출부는,
    상기 입력 동영상을 촬영한 장치의 상기 운동 궤적 특징에 대한 영향을 상기 운동 궤적 특징으로부터 제거하는 촬영 장치 영향 제거부를 더 포함하는
    객체의 운동 유형 결정 장치.
  20. 제17항에 있어서,
    상기 코딩부는,
    상기 운동 궤적 특징의 차원을 줄이는 차원 감소부;
    상기 차원이 줄어든 운동 궤적 특징을 클러스터링하는 클러스터링부;
    서로 다른 코딩 모델을 통하여 상기 클러스터링된 운동 궤적 특징을 코딩하는 운동 궤적 특징 코딩부;
    상기 코딩된 운동 궤적 특징 각각을 정규화하는 정규화부; 및
    상기 서로 다른 코딩 모델을 통하여 코딩되고 정규화된 운동 궤적 특징을 병합하고 정규화하는 병합부를 포함하는
    객체의 운동 유형 결정 장치.
  21. 제17항에 있어서,
    상기 결정부는,
    상기 코딩된 운동 궤적 특징의 독립 성분을 샘플링하는 독립 성분 샘플링부; 및
    상기 샘플링된 독립 성분으로부터 상기 객체의 운동 유형을 결정하는 운동 유형 결정부를 포함하는
    객체의 운동 유형 결정 장치.
KR1020150178354A 2015-01-14 2015-12-14 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치 KR102185979B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/995,633 US10163000B2 (en) 2015-01-14 2016-01-14 Method and apparatus for determining type of movement of object in video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510017736.4 2015-01-14
CN201510017736.4A CN105844204B (zh) 2015-01-14 2015-01-14 人体行为识别方法和装置

Publications (2)

Publication Number Publication Date
KR20160087740A true KR20160087740A (ko) 2016-07-22
KR102185979B1 KR102185979B1 (ko) 2020-12-02

Family

ID=56579802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150178354A KR102185979B1 (ko) 2015-01-14 2015-12-14 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102185979B1 (ko)
CN (1) CN105844204B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529544A (zh) * 2016-10-31 2017-03-22 中山大学 一种基于无监督机器学习的织物平整度客评定方法及装置
CN107643826A (zh) * 2017-08-28 2018-01-30 天津大学 一种基于计算机视觉及深度学习的无人机人机交互方法
CN108921047B (zh) * 2018-06-12 2021-11-26 江西理工大学 一种基于跨层融合的多模型投票均值动作识别方法
CN110163250B (zh) * 2019-04-10 2023-10-24 创新先进技术有限公司 基于分布式调度的图像脱敏处理系统、方法以及装置
CN110163144A (zh) * 2019-05-17 2019-08-23 成都信息工程大学 一种从视频中自动识别人体行为的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014092A (ko) * 2008-07-31 2010-02-10 삼성전자주식회사 오브젝트 궤적에 기반한 모션 검출 시스템 및 방법
WO2011080900A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 移動体検出装置および移動体検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521740A (zh) * 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100014092A (ko) * 2008-07-31 2010-02-10 삼성전자주식회사 오브젝트 궤적에 기반한 모션 검출 시스템 및 방법
WO2011080900A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 移動体検出装置および移動体検出方法

Also Published As

Publication number Publication date
CN105844204A (zh) 2016-08-10
CN105844204B (zh) 2020-03-17
KR102185979B1 (ko) 2020-12-02

Similar Documents

Publication Publication Date Title
Ganokratanaa et al. Unsupervised anomaly detection and localization based on deep spatiotemporal translation network
Richard et al. Weakly supervised action learning with rnn based fine-to-coarse modeling
Hanson et al. Bidirectional convolutional lstm for the detection of violence in videos
Khan et al. Automatic shadow detection and removal from a single image
Jaiswal et al. Deep learning the dynamic appearance and shape of facial action units
Hou et al. Saliency detection: A spectral residual approach
Mei et al. Robust multitask multiview tracking in videos
Wu et al. Enhancing sound texture in CNN-based acoustic scene classification
KR102036955B1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
KR20160087740A (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
CN109598231A (zh) 一种视频水印的识别方法、装置、设备及存储介质
Xian et al. Evaluation of low-level features for real-world surveillance event detection
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10163000B2 (en) Method and apparatus for determining type of movement of object in video
CN110991278A (zh) 计算机视觉系统的视频中人体动作识别方法和装置
Al-Dhabi et al. Deepfake video detection by combining convolutional neural network (cnn) and recurrent neural network (rnn)
Huang et al. Deepfake mnist+: a deepfake facial animation dataset
Zhao et al. SAI-YOLO: a lightweight network for real-time detection of driver mask-wearing specification on resource-constrained devices
KR20230038086A (ko) 영상 데이터에 포함된 얼굴 및 신체 비식별화 방법 및 이를 수행하기 위한 장치
Li et al. ET-YOLOv5s: toward deep identification of students’ in-class behaviors
Vainstein et al. Modeling video activity with dynamic phrases and its application to action recognition in tennis videos
Liu et al. Visual object tracking with partition loss schemes
Khan et al. Review on moving object detection in video surveillance
Lan et al. Temporal extension of scale pyramid and spatial pyramid matching for action recognition
CN111753583A (zh) 一种识别方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant