KR20180020376A - 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법 - Google Patents

행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법 Download PDF

Info

Publication number
KR20180020376A
KR20180020376A KR1020160104595A KR20160104595A KR20180020376A KR 20180020376 A KR20180020376 A KR 20180020376A KR 1020160104595 A KR1020160104595 A KR 1020160104595A KR 20160104595 A KR20160104595 A KR 20160104595A KR 20180020376 A KR20180020376 A KR 20180020376A
Authority
KR
South Korea
Prior art keywords
image data
behavior pattern
density
covariance matrix
behavior
Prior art date
Application number
KR1020160104595A
Other languages
English (en)
Other versions
KR101872811B1 (ko
Inventor
이성환
이상준
이동규
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020160104595A priority Critical patent/KR101872811B1/ko
Publication of KR20180020376A publication Critical patent/KR20180020376A/ko
Application granted granted Critical
Publication of KR101872811B1 publication Critical patent/KR101872811B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06F15/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G06K9/00335—
    • G06K9/4642—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Abstract

본 발명은 객체에 대한 행동 패턴 인식 장치는 객체의 행동 패턴 인식 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고, 프로세서는 프로그램의 실행에 따라, 객체에 대한 영상 데이터로부터 밀도 궤적 특징을 추출하고, 밀도 궤적 특징에 기초하여 객체에 대한 밀도 궤적 공분산 행렬을 산출하고, 행동 패턴 분류기 및 객체에 대한 밀도 궤적 공분산 행렬에 기초하여 객체에 대한 행동 패턴을 분류한다. 이때, 영상 데이터는 객체에 대응하는 하나 이상의 시점의 영상 데이터이며, 행동 패턴 분류기는 학습 영상 데이터에 기초하여 생성된 것으로, 밀도 궤적 공분산 행렬을 통과시켜 하나 이상의 행동 패턴으로 분류하는 것이며, 학습 영상 데이터는 복수의 행동 패턴에 대하여 각각 수집된 하나 이상의 시점의 영상 데이터이다.

Description

행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법{APPARATUS AND METHOD FOR ACTION PATTERN RECOGNITION, AND METHOD FOR GENERATING OF ACTION PATTERN CLASSIFIER}
본 발명은 객체에 대한 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법에 관한 것이다.
행동 인식(action recognition) 기술은 동영상 또는 카메라를 통하여 관측된 영상 데이터를 이용하여 사람, 동물 및 사물에 대한 행동을 인식하고, 분류하는 기술이다. 이 기술은 주로 영상 데이터에서 추출 가능한 시각적 특징(visual feature)을 이용하여, 특정한 행동 패턴을 인식하고, 행동을 분류한다. 그러므로 행동 인식 기술은 감시 시스템, 사람-컴퓨터 상호 작용 및 엔터테이먼트 등의 다양한 분야에서 활용되고 있다.
그러나 종래의 영상 정보에 기반한 행동 인식 기술은 임의의 시점에서 복잡한 행동을 정확하게 인식하는데 한계가 있다. 특히, 행동의 패턴이 복잡하고, 시점이 다양한 인간을 대상으로 하는 경우 인식 정확도가 낮아지는 문제는 더욱 심화될 수 있다.
이러한 문제를 해결하기 위한 종래의 기술에는 3차원 재구성 기반의 행동 인식 기술이 있다. 3차원 재구성 기반의 행동 인식 기술은 스테레오 매칭 기반의 깊이 정보가 필요하므로, 이를 위한 고가의 장비가 필요하다.
이와 관련되어, 한국 공개특허공보 제10-2014-0187541호(발명의 명칭: "다중시점의 동작의 세기와 방향에 대한 히스토그램을 이용한 행동 패턴 인식 방법")는 다중시점의 동작의 세기와 방향에 대한 히스토그램을 이용하여 인간의 행동 패턴을 인식하는 방법을 개시하고 있다. 구체적으로 이 발명은 다중 시점의 이미지를 공간 및 시간에 대한 정규화를 수행하여 움직임 방향 및 움직임 강도의 히스토그램을 생성하고, 이를 이용하여 인간 행동패턴을 인식한다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 영상 데이터에 포함된 특징 간의 상관 관계에 기초하여, 영상 데이터로부터 객체의 행동 패턴을 인식하는 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 객체에 대한 행동 패턴 인식 장치는 객체의 행동 패턴 인식 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고, 프로세서는 프로그램의 실행에 따라, 객체에 대한 영상 데이터로부터 밀도 궤적 특징을 추출하고, 밀도 궤적 특징에 기초하여 객체에 대한 밀도 궤적 공분산 행렬을 산출하고, 행동 패턴 분류기 및 객체에 대한 밀도 궤적 공분산 행렬에 기초하여 객체에 대한 행동 패턴을 분류한다. 이때, 영상 데이터는 객체에 대응하는 하나 이상의 시점의 영상 데이터이며, 행동 패턴 분류기는 학습 영상 데이터에 기초하여 생성된 것으로, 밀도 궤적 공분산 행렬을 통과시켜 하나 이상의 행동 패턴으로 분류하는 것이며, 학습 영상 데이터는 복수의 행동 패턴에 대하여 각각 수집된 하나 이상의 시점의 영상 데이터이다.
또한, 본 발명의 제 2 측면에 따른 행동 패턴 인식 장치의 객체에 대한 행동 패턴 인식 방법은 객체에 대한 영상 데이터로부터 밀도 궤적 특징을 추출하는 단계; 밀도 궤적 특징에 기초하여 객체에 대한 밀도 궤적 공분산 행렬을 산출하는 단계; 및 행동 패턴 분류기 및 객체에 대한 밀도 궤적 공분산 행렬에 기초하여 객체에 대한 행동 패턴을 분류하는 단계를 포함한다. 이때, 영상 데이터는 객체에 대응하는 하나 이상의 시점의 영상 데이터이며, 행동 패턴 분류기는 학습 영상 데이터에 기초하여 생성된 것으로, 밀도 궤적 공분산 행렬에 기초하여 복수의 행동 패턴 중 어느 하나로 분류하는 것이며, 학습 영상 데이터는 복수의 행동 패턴에 대하여 각각 수집된 하나 이상의 시점의 영상 데이터이다.
그리고 본 발명의 제 3 측면에 따른 행동 패턴 인식 장치의 행동 패턴 분류기 생성 방법은 학습 영상 데이터로부터 밀도 궤적 특징을 추출하는 단계; 학습 영상 데이터로부터 추출된 밀도 궤적 특징에 기초하여 학습 영상 데이터에 대한 밀도 궤적 공분산 행렬을 산출하는 단계 및 영상 데이터에 대한 밀도 궤적 공분산 행렬에 기초하여 행동 패턴 분류기를 생성하는 단계를 포함한다. 이때, 행동 패턴 분류기는 밀도 궤적 공분산 행렬에 기초하여 복수의 행동 패턴 중 어느 하나로 분류하는 것이며, 학습 영상 데이터는 복수의 행동 패턴에 대하여 각각 수집된 하나 이상의 시점의 영상 데이터이다.
본 발명은 영상 데이터로부터 추출한 밀도 궤적에 대한 공분산 행렬에 기초하여 객체의 행동 패턴을 분류할 수 있다. 또한, 본 발명은 객체의 행동에 대한 시간적인 상관관계 정보를 사용할 수 있다.
그러므로 본 발명은 학습 영상 데이터에 포함되지 않은 시점에 대한 행동 패턴 인식이 가능하다. 또한, 본 발명은 학습 영상 데이터가 충분하지 않은 상황에서 행동 인식 정확도 등의 성능을 향상시킬 수 있다. 이를 통하여 본 발명은 실생활에 적용이 용이하다.
도 1은 본 발명의 일 실시예에 따른 객체에 대한 행동 패턴 인식 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 하나 이상의 시점의 영상 데이터에 대한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 행동 패턴 인식 장치에 대한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 밀도 궤적 특징의 잡음 제거에 대한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 학습 영상 데이터의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 행동 패턴 분류기 학습에 대한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 행동 패턴 인식 장치의 객체에 대한 행동 패턴 인식 방법의 순서도이다.
도 8은 본 발명의 일 실시예에 따른 동 패턴 인식 장치의 행동 패턴 분류기 생성 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
다음은 도 1 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 객체(150)에 대한 행동 패턴 인식 장치(100)를 설명한다.
도 1은 본 발명의 일 실시예에 따른 객체(150)에 대한 행동 패턴 인식 장치(100)의 블록도이다.
객체(150)에 대한 행동 패턴 인식 장치(100)는 영상 데이터로부터 객체(150)에 대한 행동 패턴을 인식한다. 이때, 객체(150)에 대한 행동 패턴 인식 장치(100)는 메모리 및 프로세서(120)를 포함한다. 또한, 행동 패턴 인식 장치(100)는 영상 데이터를 수집하는 카메라(130)를 더 포함할 수 있다.
메모리(110)는 행동 패턴 인식 프로그램이 저장된다. 이때, 메모리(110)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
프로세서(120)는 메모리(110)에 저장된 행동 패턴 인식 프로그램을 실행한다. 즉, 프로세서(120)는 행동 패턴 인식 프로그램에 기초하여 객체(150)에 대한 영상 데이터로부터 객체(150)의 행동 패턴을 인식할 수 있다.
이때, 객체(150)는 영상 데이터로부터 움직임 정보를 추출하여 행동 패턴을 인식할 수 있는 사람, 동물 또는 사물이 될 수 있다. 이하에서는 사람을 예로 들어 객체(150)를 설명하나, 이에 한정된 것은 아니다.
또한, 영상 데이터는 행동 패턴을 인식하고자 하는 객체(150)가 포함된 정지영상 또는 동영상일 수 있다. 그리고 영상 데이터는 하나 이상의 시점에서 객체(150)가 포함되도록 수집된 것일 수 있다. 영상 데이터는 도 2를 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 하나 이상의 시점의 영상 데이터에 대한 예시도이다.
예를 들어, 하나 이상의 시점에서 수집된 영상 데이터는 객체(150)의 움직임을 감지할 수 있는 위치에 배치되는 카메라(130)를 통하여 수집된 것일 수 있다. 이때, 카메라(130)는 단일 카메라 또는 복수의 카메라일 수 있다.
예를 들어, 카메라는 CCTV(closed-circuit television) 카메라일 수 있으나, 이에 한정되는 것은 아니다.
단일 카메라를 이용하는 경우, 단일 카메라는 일정한 시간 간격을 가지고 객체(150)를 서로 다른 방향에서 연속적으로 촬영하여 영상 데이터를 생성할 수 있다. 이때, 일정한 시간 간격은 객체(150)의 행동 패턴이 변화하지 않을 만큼 짧은 시간이 될 수 있다.
또한, 복수의 카메라를 이용하는 경우, 복수의 카메라는 서로 다른 방향에서 객체(150)를 촬영하는 각도로 배치된 것일 수 있다. 그러므로 복수의 카메라는 동시에 서로 다른 방향의 영상 데이터를 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 행동 패턴 인식 장치(100)에 대한 예시도이다.
도 3을 참조하면, 프로세서(120)는 다중 시점에 대하여 수집된 영상 데이터로부터 객체(150)에 대한 밀도 궤적(dense trajectory) 특징을 추출한다. 이때, 밀도 궤적 특징은 동영상 데이터에 포함된 미리 정해진 개수의 프레임 또는 미리 정해진 개수의 정지 영상 데이터에 대하여 추출된 것일 수 있다.
예를 들어, 미리 정해진 개수가 16개이라면, 프로세서(120)는 영상 데이터의 각각의 시점으로부터 16개의 프레임을 추출할 수 있다. 그리고 프로세서(120)는 각각의 시점으로부터 추출된 16개의 프레임에 기초하여 밀도 궤적 특징을 추출할 수 있다.
한편, 프로세서(120)는 밀도 궤적 특징을 추출하기 전에 객체(150)에 대한 영상데이터의 전처리를 수행할 수 있다.
구체적으로 프로세서(120)는 객체(150)에 대한 영상 데이터를 그레이스케일(grayscale)로 변환할 수 있다. 프로세서(120)는 그레이스케일로 변환된 영상 데이터에서 일정 이상 밝기의 변화가 발생한 영역을 추출할 수 있다. 그리고 프로세서(120)는 추출된 영역에 기초하여 전경 영역을 추출할 수 있다.
예를 들어 프로세서(120)는 [수학식 1]을 통하여 객체(150)에 대한 영상 데이터로부터 전경 영역을 추출할 수 있다.
Figure pat00001
[수학식 1]에서, R은 전경 영역을 의미한다. 또한, [수학식 1]에서 I는 그레이스케일로 변환된 프레임을 의미하며, t는 프레임 번호를 의미한다. 그리고 θ는 미리 정해진 임계값을 의미한다.
프로세서(120)는 추출한 전경 영역에 기초하여 밀도 궤적에 대한 전처리를 수행할 수 있다. 즉, 프로세서(120)는 전경 영역에 기초하여 밀도 궤적에 포함된 잡음을 제거할 수 있다.
도 4는 본 발명의 일 실시예에 따른 밀도 궤적 특징의 잡음 제거에 대한 예시도이다.
프로세서(120)는 영상 데이터로부터 밀도 궤적을 추출할 수 있다. 도 4의 (a)를 참조하면, 밀도 궤적은 이미지 상의 점으로 표시될 수 있다. 예를 들어, 밀도 궤적은 붉은 색 점 또는 초록색 점으로 표시할 수 있다. 이때, 붉은 색 점은 고정된 객체 또는 전경을 의미하는 것일 수 있다. 또한, 초록색 점은 움직임 객체를 의미하는 것일 수 있다.
그리고 프로세서(120)는 추출된 밀도 궤적으로부터 밀도 궤적 특징을 추출할 수 있다. 이때, 도 4의 (b)를 참조하면, 밀도 궤적은 행동 패턴 인식 대상이 되는 움직임 객체와 함께, 고정된 객체 또는 배경이 포함될 수 있다.
또한, 프로세서(120)는 밀도 궤적 특징으로부터 고정된 객체 또는 배경을 제거하기 위한 전경 영역을 추출할 수 있다. 이때, 추출된 전경 영역은 도 4의 (c)와 같다.
프로세서(120)는 추출된 밀도 궤적 특징 및 전경 영역에 기초하여 전처리를 수행할 수 있다. 예를 들어, 도 4의 (d)와 같이, 프로세서(120)는 추출된 밀도 궤적 특징으로부터 전경 영역을 제거하여, 밀도 궤적 특징에 포함된 잡음을 제거하는 전처리를 수행할 수 있다.
한편, 프로세서(120)는 잡음이 제거된 영상 데이터로부터 밀도 궤적 특징을 추출할 수 있다. 이때, 밀도 궤적 특징은 영상 데이터로부터 추출할 수 있는 영상 특징(image feature)이 될 수 있다. 또한, 밀도 궤적 특징은 객체(150)에 대한 주변 외형 정보 및 주변 움직임 정보를 포함할 수 있다.
예를 들어, 주변 외형 정보는 객체(150)로부터 추출된 HOG(histogram of oriented gradient) 특징을 포함할 수 있다. 또한, 주변 움직임 정보는 객체(150)로부터 추출된 HOF(histogram of optical flow) 특징 및 MBH(motion boundary histogram) 특징을 포함할 수 있으나, 이에 한정된 것은 아니다.
이때, HOG 특징은 영상 데이터에서 기울기의 크기가 일정 값 이상인 엣지(edge) 픽셀의 방향에 기초하여 산출될 수 있다. 또한, HOF는 영상 데이터 내의 각 프레임 내의 옵티컬 플로우(optical flow)에 기초하여 추출될 수 있다. MBH 특징은 영상 데이터에 포함된 객체(150)의 움직임 경계선의 기울기 정보에 기초하여 추출될 수 있다.
또한, 프로세서(120)는 밀도 궤적 특징을 이용하여 밀도 궤적 공분산 행렬(dense trajectories covariance matrix)을 생성할 수 있다.
예를 들어, 프로세서(120)는 밀도 궤적 특징에 포함된 각각의 특징에 대한 공분산 행렬(covariance matrix)을 생성할 수 있다. 즉, 프로세서(120)는 HOG 특징을 이용하여 HOG 특징 공분산 행렬을 생성할 수 있다. 그리고 프로세서(120)는 HOF 특징을 이용하여 HOF 특징 공분산 행렬을 생성하고, MBH 특징을 이용하여 MBH 특징 공분산 행렬을 생성할 수 있다.
이때, 밀도 궤적 특징에 대한 밀도 궤적 공분산 행렬을 산출하는 식은 [수학식 2]와 같다.
Figure pat00002
[수학식 2]에서 k는 밀도 궤적 특징의 인덱스 이다. 또한, [수학식 2]에서 E()는 기댓값 함수이며, x i k 는 i번째 궤적 정보의 k번째 특징 값을 의미한다. d는 각 특징의 차원을 의미한다.
예를 들어, 밀도 궤적 특징이 앞에서 설명한 바와 같이 HOF 특징, HOG 특징 및 MBH 특징을 포함한다면, k는 HOF 특징, HOG 특징 및 MBH 특징 중 어느 하나를 의미하는 것이다. 또한, 특징의 차원 d는 해당하는 특징이 HOF 특징, HOG 특징 및 MBH 특징 중 어떤 것인지에 따라 정해질 수 있다.
프로세서(120)는 밀도 궤적 공분산 행렬에 대하여 [수학식 3] 내지 [수학식 5]와 같이, 고유값 분해에 기초하여 밀도 궤적 로그 공분산 행렬을 산출할 수 있다.
먼저, 프로세서(120)는 [수학식 3]과 같이, 밀도 궤적 공분산 행렬에 대한 고유값 분해를 수행할 수 있다. 이때, V는 고유벡터 집합인 행렬을 의미한다.
Figure pat00003
그리고 프로세서(120)는 고유값 분해를 통하여, 산출된 고유값 행렬(D)을 [수학식 4]와 같이 로그 값으로 변환할 수 있다.
Figure pat00004
프로세서(120)는 [수학식 5]와 같이, 로그 고유값 행렬을 고유 벡터 행렬과 재결합하여, 밀도 궤적 로그 공분산 행렬
Figure pat00005
을 생성할 수 있다.
Figure pat00006
프로세서(120)는 밀도 궤적 로그 공분산 행렬을 이용하여 해당 객체(150)에 대한 행동 기술자를 생성한다.
구체적으로 프로세서(120)는 밀도 궤적 로그 공분산 행렬에 포함된 각 특징에 대한 상삼각행렬(upper triangular matrix) 성분을 추출할 수 있다. 그리고 프로세서(120)는 각 특징의 상삼각행렬 성분에 기초하여 하나의 벡터 형태의 행동 기술자를 생성할 수 있다.
예를 들어, 밀도 궤적 특징에 포함된 HOF 특징, HOG 특징 및 MBH 특징에 대하여 추출된 행동 기술자는 [수학식 6]과 같을 수 있다. [수학식 6]에서 tu()는 각 특징에 대한 행렬 내의 상삼각행렬을 의미한다.
Figure pat00007
프로세서(120)는 객체(150)에 대하여 추출된 행동 기술자와 행동 패턴 분류기에 기초하여 객체(150)의 행동 패턴을 분류할 수 있다.
행동 패턴 분류기는 학습 영상 데이터에 기초하여 생성된 것일 수 있다.
이때, 행동 패턴 분류기는 행동 패턴 인식 장치(100)에서 생성된 것일 수 있다. 또한, 행동 패턴 분류기는 행동 패턴 인식 장치(100)와 상이한 타 행동 패턴 인식 장치 또는 별도의 행동 패턴 분류기 생성 장치를 통하여 생성된 후 행동 패턴 인식 장치로 전달된 것일 수 있다. 그러므로 이하에서는 행동 패턴 인식 장치(100)를 통하여, 행동 패턴 분류기를 생성하는 과정을 설명하나, 이에 한정된 것은 아니다.
행동 패턴 분류기 생성 과정은 도 5 및 도 6을 참조하여 설명한다.
도 5는 본 발명의 일 실시예에 따른 학습 영상 데이터의 예시도이다.
프로세서(120)는 행동 패턴 분류기를 학습하기 위한 학습 영상 데이터를 수집할 수 있다. 이때, 학습 영상 데이터는 분류하고자 하는 행동 패턴에 기초하여 수집된 것일 수 있다. 또한, 학습 영상 데이터는 각각 해당하는 행동 패턴이 레이블링된 것일 수 있다.
구체적으로 프로세서(120)는 카메라(150)를 통하여 분류기를 생성하고자 하는 행동 패턴에 대응하는 영상 데이터를 수집할 수 있다. 또는, 프로세서(120)는 데이터베이스(미도시)에 저장된 영상 데이터를 활용할 수 있다.
예를 들어, 행동 패턴 분류기가 제 1 행동 패턴 및 제 2 행동 패턴을 분류하는 행동 패턴 분류기를 학습하고자 하는 경우, 프로세서(120)는 제 1 행동 패턴 및 제 2 행동 패턴에 대한 학습 영상 데이터를 수집할 수 있다.
도 5를 참조하면, 수집된 학습 영상 데이터는 제 1 행동 패턴에 대한 4개의 시점의 영상 데이터 및 제 2 행동 패턴에 대한 4개의 시점의 영상 데이터가 될 수 있다.
이때, 프로세서(120)는 행동 패턴 분류기의 분류 정확도를 향상시키고, 신뢰성을 증가시키기 위하여 행동 패턴에 대하여 다양한 학습 영상 데이터를 수집할 수 있다. 예를 들어, 프로세서(120)는 복수의 객체에 대하여, 제 1 행동 패턴의 영상 데이터 및 제 2 행동 패턴의 영상 데이터를 수집할 수 있다.
도 6은 본 발명의 일 실시예에 따른 행동 패턴 분류기 학습에 대한 예시도이다.
그리고 프로세서(120)는 수집된 학습 영상 데이터 및 학습 알고리즘을 이용하여 행동 패턴 분류기를 학습할 수 있다.
구체적으로 프로세서(120)는 수집된 학습 영상 데이터 각각에 대하여 밀도 궤적 특징을 추출하고, 추출된 밀도 궤적 특징에 기초하여 밀도 궤적 공분산 행렬을 산출할 수 있다. 이때, 밀도 궤적 특징을 추출하고, 밀도 궤적 공분산 행렬을 산출하는 과정은 앞에서 설명한 행동 패턴 인식 대상 객체(150)에 대한 밀도 궤적 특징을 추출하는 과정과 동일할 수 있다.
그리고 프로세서(120)는 학습 영상 데이터에 대한 밀도 궤적 공분산 행렬 및 학습 알고리즘을 이용하여 행동 패턴 분류기를 학습할 수 있다. 이때, 학습 알고리즘은 알려진 통계적 분류(statistical classification) 알고리즘, 기계 학습(machine learning) 알고리즘 및 영상 처리(image processing) 알고리즘 중 어느 하나 이상이 될 수 있으나, 이에 한정된 것은 아니다. 예를 들어, 학습 알고리즘은 지지 벡터 머신(support vector machine; SVM) 알고리즘이 될 수 있다.
프로세서(120)는 행동 패턴 분류기가 학습 되면 학습 된 행동 패턴 분류기를 행동 패턴 인식 장치(100)에 포함된 메모리(110), 스토리지 모듈(미도시) 또는 데이터베이스(미도시) 등에 저장할 수 있다.
그러므로 프로세서(120)는 행동 패턴 인식 대상 객체에 대응하여 추출된 행동 기술자를 학습된 행동 패턴 분류기에 통과시켜, 대상 객체에 대응하는 행동 패턴을 분류할 수 있다.
이때, 행동 패턴 인식 대상 객체(150)의 영상 데이터와 행동 패턴 분류기를 학습하기 위한 복수의 객체의 영상 데이터의 시점 방향 및 시점의 개수는 서로 동일할 수도 있으며, 서로 상이할 수도 있다.
다음은 도 7을 참조하여, 본 발명의 일 실시예에 따른 행동 패턴 인식 장치(100)의 객체(150)에 대한 행동 패턴 인식 방법을 설명한다.
도 7은 본 발명의 일 실시예에 따른 행동 패턴 인식 장치(100)의 객체(150)에 대한 행동 패턴 인식 방법의 순서도이다.
행동 패턴 인식 장치(100)는 객체(150)에 대한 영상 데이터로부터 밀도 궤적 특징을 추출한다(S700). 이때, 영상 데이터는 객체(150)에 대응하는 하나 이상의 시점의 영상 데이터이다.
그리고 행동 패턴 인식 장치(100)는 밀도 궤적 특징에 기초하여 객체(150)에 대한 밀도 궤적 공분산 행렬을 산출한다(S710).
이때, 행동 패턴 인식 장치(100)는 밀도 궤적 특징에 기초하여 객체(150)에 대한 주변 외형 정보 및 주변 움직임 정보를 추출할 수 있다. 주변 외형 정보는 객체(150)로부터 추출된 HOG(histogram of oriented gradient)을 포함할 수 있다. 그리고 주변 움직임 정보는 객체(150)로부터 추출된 HOF(histogram of optical flow) 및 MBH(motion boundary histogram) 중 적어도 하나를 포함할 수 있다.
그리고 행동 패턴 인식 장치(100)는 주변 외형 정보 및 주변 움직임 정보에 기초하여 객체(150)에 대한 밀도 궤적 공분산 행렬을 산출할 수 있다.
행동 패턴 인식 장치(100)는 산출된 밀도 궤적 공분산 행렬 및 행동 패턴 분류기에 기초하여 객체(150)에 대한 행동 패턴을 분류한다(S720). 이때, 행동 패턴 분류기는 학습 영상 데이터에 기초하여 생성된 것이다. 그리고 학습 영상 데이터는 복수의 행동 패턴에 대하여 각각 수집된 하나 이상의 시점에 대한 복수의 영상 데이터이다.
한편, 행동 패턴 인식 장치(100)는 복수의 카메라를 통하여, 영상 데이터를 수집할 수 있다. 이때, 복수의 카메라는 각각 서로 다른 방향에서 객체(150)를 촬영하도록 배치되어 영상 데이터를 수집할 수 있다.
그러므로 행동 패턴 인식 장치(100)는 복수의 카메라를 이용하여 수집된 객체(150)에 대한 영상 데이터로부터 밀도 궤적 특징을 추출하는 것일 수 있다.
다음은 도 8을 참조하여, 본 발명의 일 실시예에 따른 행동 패턴 인식 장치(100)의 행동 패턴 분류기 생성 방법을 설명한다.
도 8은 본 발명의 일 실시예에 따른 행동 패턴 인식 장치의 행동 패턴 분류기 생성 방법의 순서도이다.
행동 패턴 인식 장치(100)는 학습 영상 데이터로부터 밀도 궤적 특징을 추출한다(S800). 이때, 학습 영상 데이터는 복수의 행동 패턴에 대하여 각각 수집된 하나 이상의 영상 데이터이다.
행동 패턴 인식 장치(100)는 학습 영상 데이터로부터 추출된 밀도 궤적 특징에 기초하여 학습 영상 데이터에 대한 밀도 궤적 공분산 행렬을 산출한다(S810).
그리고 행동 패턴 인식 장치(100)가 영상 데이터에 대한 밀도 궤적 공분산 행렬에 기초하여 행동 패턴 분류기를 생성한다(S820).
본 발명의 일 실시예에 따른 행동 패턴 인식 장치(100), 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법은 영상 데이터로부터 추출한 밀도 궤적에 대한 공분산 행렬에 기초하여 객체의 행동 패턴을 분류할 수 있다. 또한, 행동 패턴 인식 장치(100), 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법은 객체의 행동에 대한 시간적인 상관관계 정보를 사용할 수 있다.
그러므로 행동 패턴 인식 장치(100), 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법은 학습 영상 데이터에 포함되지 않은 시점에 대한 행동 패턴 인식이 가능하다. 또한, 행동 패턴 인식 장치(100), 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법은 학습 영상 데이터가 충분하지 않은 상황에서 행동 인식 정확도 등의 성능을 향상시킬 수 있다. 이를 통하여 행동 패턴 인식 장치(100), 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법은 실생활에 적용이 용이하다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 행동 패턴 인식 장치
110: 메모리
120: 프로세서
130: 카메라
150: 객체

Claims (15)

  1. 객체에 대한 행동 패턴 인식 장치에 있어서,
    객체의 행동 패턴 인식 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 프로그램의 실행에 따라, 상기 객체에 대한 영상 데이터로부터 밀도 궤적 특징을 추출하고,
    상기 밀도 궤적 특징에 기초하여 상기 객체에 대한 밀도 궤적 공분산 행렬을 산출하고,
    행동 패턴 분류기 및 상기 객체에 대한 밀도 궤적 공분산 행렬에 기초하여 상기 객체에 대한 행동 패턴을 분류하되,
    상기 영상 데이터는 상기 객체에 대응하는 하나 이상의 시점의 영상 데이터이며,
    상기 행동 패턴 분류기는 학습 영상 데이터에 기초하여 생성된 것으로, 밀도 궤적 공분산 행렬에 기초하여 복수의 행동 패턴 중 어느 하나로 분류하는 것이며,
    상기 학습 영상 데이터는 상기 복수의 행동 패턴에 대하여 각각 수집된 하나 이상의 시점의 영상 데이터인, 객체에 대한 행동 패턴 인식 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 밀도 궤적 특징에 기초하여 상기 객체에 대한 주변 외형 정보 및 주변 움직임 정보를 추출하고,
    상기 주변 외형 정보 및 상기 주변 움직임 정보에 기초하여 상기 객체에 대한 밀도 궤적 공분산 행렬을 산출하는 것인, 객체에 대한 행동 패턴 인식 장치.
  3. 제 2 항에 있어서,
    상기 주변 외형 정보는 상기 객체로부터 추출된 HOG(histogram of oriented gradient) 특징을 포함하고,
    상기 주변 움직임 정보는 상기 객체로부터 추출된 HOF(histogram of optical flow) 특징 및 MBH(motion boundary histogram) 특징 중 적어도 하나 이상을 포함하는, 객체에 대한 행동 패턴 인식 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 객체에 대한 영상 데이터로부터 전경 영상을 추출하고, 상기 전경 영상을 이용하여 상기 밀도 궤적 특징으로부터 잡음을 제거하는 전처리를 수행하는 것인, 객체에 대한 행동 패턴 인식 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 객체에 대한 밀도 궤적 공분산 행렬에 기초하여 행동 기술자를 추출하고,
    상기 행동 기술자 및 상기 행동 패턴 분류기에 기초하여 상기 객체에 대한 행동 패턴을 분류하는 것인, 객체에 대한 행동 패턴 인식 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는 상기 객체에 대한 밀도 궤적 공분산 행렬에 기초하여 밀도 궤적 로그 공분산 행렬을 산출하고,
    상기 밀도 궤적 로그 공분산 행렬에 기초하여 상기 행동 기술자를 추출하는 것인, 객체에 대한 행동 패턴 인식 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는 상기 학습 영상 데이터로부터 밀도 궤적 특징을 추출하고,
    상기 학습 영상 데이터로부터 추출된 밀도 궤적 특징에 기초하여 상기 학습 영상 데이터에 대한 밀도 궤적 공분산 행렬을 산출하고,
    상기 영상 데이터에 대한 밀도 궤적 공분산 행렬에 기초하여 상기 행동 패턴 분류기를 생성하는 것인, 객체에 대한 행동 패턴 인식 장치.
  8. 제 7 항에 있어서,
    상기 프로세서는 상기 학습 영상 데이터에 대한 밀도 궤적 공분산 행렬 및 지지 벡터 머신 알고리즘에 기초하여 상기 행동 패턴 분류기를 생성하는 것인, 객체에 대한 행동 패턴 인식 장치.
  9. 제 1 항에 있어서,
    하나 이상의 시점에서 상기 객체에 대한 영상 데이터를 수집하는 복수의 카메라를 더 포함하되,
    상기 프로세서는 상기 복수의 카메라로부터 수집된 하나 이상의 시점의 영상 데이터에 기초하여 상기 밀도 궤적 특징을 추출하는 것이며,
    상기 복수의 카메라는 각각 서로 다른 방향에서 상기 객체를 촬영하도록 배치된 것인, 객체에 대한 행동 패턴 인식 장치.
  10. 행동 패턴 인식 장치의 객체에 대한 행동 패턴 인식 방법에 있어서,
    객체에 대한 영상 데이터로부터 밀도 궤적 특징을 추출하는 단계;
    상기 밀도 궤적 특징에 기초하여 상기 객체에 대한 밀도 궤적 공분산 행렬을 산출하는 단계; 및
    행동 패턴 분류기 및 상기 객체에 대한 밀도 궤적 공분산 행렬에 기초하여 상기 객체에 대한 행동 패턴을 분류하는 단계를 포함하되,
    상기 영상 데이터는 상기 객체에 대응하는 하나 이상의 시점의 영상 데이터이며,
    상기 행동 패턴 분류기는 학습 영상 데이터에 기초하여 생성된 것으로, 밀도 궤적 공분산 행렬에 기초하여 복수의 행동 패턴 중 어느 하나로 분류하는 것이며,
    상기 학습 영상 데이터는 상기 복수의 행동 패턴에 대하여 각각 수집된 하나 이상의 시점의 영상 데이터인, 객체에 대한 행동 패턴 인식 방법.
  11. 제 10 항에 있어서,
    상기 밀도 궤적 특징에 기초하여 상기 객체에 대한 밀도 궤적 공분산 행렬을 산출하는 단계는,
    상기 밀도 궤적 특징에 기초하여 상기 객체에 대한 주변 외형 정보 및 주변 움직임 정보를 추출하는 단계; 및
    상기 주변 외형 정보 및 상기 주변 움직임 정보에 기초하여 상기 객체에 대한 밀도 궤적 공분산 행렬을 산출하는 단계를 포함하는, 객체에 대한 행동 패턴 인식 방법.
  12. 제 11 항에 있어서,
    상기 주변 외형 정보는 상기 객체로부터 추출된 HOG(histogram of oriented gradient) 특징을 포함하고,
    상기 주변 움직임 정보는 상기 객체로부터 추출된 HOF(histogram of optical flow) 특징 및 MBH(motion boundary histogram) 특징 중 적어도 하나를 포함하는, 객체에 대한 행동 패턴 인식 방법.
  13. 제 10 항에 있어서,
    상기 객체에 대한 영상 데이터로부터 밀도 궤적 특징을 추출하는 단계는,
    복수의 카메라를 이용하여 수집된 상기 객체에 대한 영상 데이터로부터 밀도 궤적 특징을 추출하는 것이되,
    상기 복수의 카메라는 각각 서로 다른 방향에서 상기 객체를 촬영하도록 배치되어 영상 데이터를 수집하는 것인, 객체에 대한 행동 패턴 인식 방법.
  14. 행동 패턴 인식 장치의 행동 패턴 분류기 생성 방법에 있어서,
    학습 영상 데이터로부터 밀도 궤적 특징을 추출하는 단계;
    상기 학습 영상 데이터로부터 추출된 밀도 궤적 특징에 기초하여 상기 학습 영상 데이터에 대한 밀도 궤적 공분산 행렬을 산출하는 단계 및
    상기 영상 데이터에 대한 밀도 궤적 공분산 행렬에 기초하여 상기 행동 패턴 분류기를 생성하는 단계를 포함하되,
    상기 행동 패턴 분류기는 밀도 궤적 공분산 행렬에 기초하여 복수의 행동 패턴 중 어느 하나로 분류하는 것이며,
    상기 학습 영상 데이터는 상기 복수의 행동 패턴에 대하여 각각 수집된 하나 이상의 시점의 영상 데이터인, 행동 패턴 분류기 생성 방법.
  15. 제 10 항 내지 제 14 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020160104595A 2016-08-18 2016-08-18 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법 KR101872811B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160104595A KR101872811B1 (ko) 2016-08-18 2016-08-18 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160104595A KR101872811B1 (ko) 2016-08-18 2016-08-18 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법

Publications (2)

Publication Number Publication Date
KR20180020376A true KR20180020376A (ko) 2018-02-28
KR101872811B1 KR101872811B1 (ko) 2018-06-29

Family

ID=61401076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160104595A KR101872811B1 (ko) 2016-08-18 2016-08-18 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법

Country Status (1)

Country Link
KR (1) KR101872811B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325292A (zh) * 2020-03-11 2020-06-23 中国电子工程设计院有限公司 一种对象行为的识别方法及装置
KR20200093970A (ko) 2019-01-29 2020-08-06 중앙대학교 산학협력단 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법
KR20210098640A (ko) 2020-02-03 2021-08-11 한국생산기술연구원 딥러닝 기반 행동인식 시스템 및 방법
KR102477479B1 (ko) 2021-12-29 2022-12-14 광주과학기술원 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738070A (zh) * 2018-07-02 2020-01-31 中国科学院深圳先进技术研究院 基于视频的行为识别方法、行为识别装置及终端设备
KR102125349B1 (ko) 2018-11-30 2020-06-22 연세대학교 산학협력단 행동 패턴 추론 장치 및 방법
KR102367181B1 (ko) 2019-11-28 2022-02-25 숭실대학교산학협력단 행렬 인수분해 기법에 기초한 데이터 확대 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150100141A (ko) * 2014-02-24 2015-09-02 주식회사 케이티 행동패턴 분석 장치 및 방법
KR101575857B1 (ko) * 2014-12-23 2015-12-08 영남대학교 산학협력단 다중시점의 동작의 세기와 방향에 대한 히스토그램을 이용한 행동패턴 인식방법
KR101631694B1 (ko) * 2015-08-24 2016-06-21 수원대학교산학협력단 HOG-PCA 특징과 RBFNNs 패턴분류기를 이용한 보행자 검출 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150100141A (ko) * 2014-02-24 2015-09-02 주식회사 케이티 행동패턴 분석 장치 및 방법
KR101575857B1 (ko) * 2014-12-23 2015-12-08 영남대학교 산학협력단 다중시점의 동작의 세기와 방향에 대한 히스토그램을 이용한 행동패턴 인식방법
KR101631694B1 (ko) * 2015-08-24 2016-06-21 수원대학교산학협력단 HOG-PCA 특징과 RBFNNs 패턴분류기를 이용한 보행자 검출 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093970A (ko) 2019-01-29 2020-08-06 중앙대학교 산학협력단 양의 정부호 행렬 위에서의 리만 서브 매니폴드 프레임워크를 이용한 로그 유클리디안 메트릭 러닝 장치 및 방법
KR20210098640A (ko) 2020-02-03 2021-08-11 한국생산기술연구원 딥러닝 기반 행동인식 시스템 및 방법
CN111325292A (zh) * 2020-03-11 2020-06-23 中国电子工程设计院有限公司 一种对象行为的识别方法及装置
CN111325292B (zh) * 2020-03-11 2023-05-02 中国电子工程设计院有限公司 一种对象行为的识别方法及装置
KR102477479B1 (ko) 2021-12-29 2022-12-14 광주과학기술원 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법

Also Published As

Publication number Publication date
KR101872811B1 (ko) 2018-06-29

Similar Documents

Publication Publication Date Title
KR101872811B1 (ko) 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
US20200364443A1 (en) Method for acquiring motion track and device thereof, storage medium, and terminal
US10248860B2 (en) System and method for object re-identification
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
KR100608595B1 (ko) 얼굴 인식 방법 및 장치
US8855363B2 (en) Efficient method for tracking people
JP2015207280A (ja) 目標識別方法及び目標識別装置
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
Wilber et al. Animal recognition in the mojave desert: Vision tools for field biologists
CN106295583B (zh) 一种提醒用户驾驶方式的方法及装置
GB2547760A (en) Method of image processing
Gualdi et al. Contextual information and covariance descriptors for people surveillance: an application for safety of construction workers
Liu et al. Spatial-temporal motion information integration for action detection and recognition in non-static background
Khan et al. Dimension invariant model for human head detection
US20160140395A1 (en) Adaptive sampling for efficient analysis of ego-centric videos
Alletto et al. Head pose estimation in first-person camera views
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
Woeber et al. A principal component analysis based object detection for thermal infra-red images
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
Kimura et al. Single sensor-based multi-quality multi-modal biometric score database and its performance evaluation
Bertini et al. Scene and crowd behaviour analysis with local space-time descriptors
Ahuja et al. Object Detection and classification for Autonomous Drones
Wang et al. Pedestrian detection in highly crowded scenes using “online” dictionary learning for occlusion handling
KR102224218B1 (ko) 비디오 시간 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant