KR101762010B1 - 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법 - Google Patents

스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법 Download PDF

Info

Publication number
KR101762010B1
KR101762010B1 KR1020150122086A KR20150122086A KR101762010B1 KR 101762010 B1 KR101762010 B1 KR 101762010B1 KR 1020150122086 A KR1020150122086 A KR 1020150122086A KR 20150122086 A KR20150122086 A KR 20150122086A KR 101762010 B1 KR101762010 B1 KR 101762010B1
Authority
KR
South Korea
Prior art keywords
mutual
data set
features
modeling
rti
Prior art date
Application number
KR1020150122086A
Other languages
English (en)
Other versions
KR20170025535A (ko
Inventor
이승룡
윤용익
티엔현더
Original Assignee
경희대학교 산학협력단
숙명여자대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단, 숙명여자대학교산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020150122086A priority Critical patent/KR101762010B1/ko
Publication of KR20170025535A publication Critical patent/KR20170025535A/ko
Application granted granted Critical
Publication of KR101762010B1 publication Critical patent/KR101762010B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00342—

Abstract

본 발명은 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법에 관한 것으로서, 일실시예에 따른 상호 활동 모델링 방법은 비디오로부터 추출한 2차원 스켈레톤 위치의 데이터 세트를 입력받는 단계, 상기 입력된 데이터 세트로부터 오브젝트의 위치 좌표들을 연산하는 단계, 상기 연산된 오브젝트의 위치 좌표들로부터 상기 오브젝트의 움직임 속도 및 움직임 방향을 포함하는 트래킹 특징들을 계산하는 단계, 상기 오브젝트에 대응되는 상호 존과 상기 계산된 트래킹 특징들에 기초하여 상호 오브젝트를 결정하는 단계, 상기 결정된 상호 오브젝트에 대한 스켈레톤의 데이터 세트로부터 특징들을 계산하는 단계, 및 상기 계산된 특징들을 싱글 휴먼 액션들의 토픽들과 상호 그룹 활동들에 모델링하는 단계를 포함한다.

Description

스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법{METHOD OF MODELING A VIDEO-BASED INTERACTIVE ACTIVITY USING THE SKELETON POSTURE DATSET}
스켈레톤 자세 데이터세트를 이용하여 비디오 기반하여 상호 활동 모델을 생성하는 기술에 관한 것이다.
최근 수십 년간 컴퓨터 비전과 인공 지능 커뮤니티에서 더 많은 관심을 받고 있지만, 인간 활동의 인식은 여전히 외관의 변화, 상호 폐색, 다중 객체의 상호 작용 등에 의한 도전 문제가 남아있다.
이전 기술들에서는 인체 구성요소들의 동작을 입력 특징으로 이용하여 인간 활동 인식에 노력을 기울인 반면, 근래의 기술들에서는 로우레벨 특징들을 수집하는 기술에 집중하고 있다. 예를 들어, 이미지 처리 기술들의 한계로 인해 스켈레톤과 같이 인체를 표현하는 기술 대신 위치 공간적-시간적 특징과 같은 로우레벨 특징들을 수집하는 기술에 집중하는 추세이다.
미국 특허등록공보 US 7,366,645(발명의 명칭: method of recognition of human motion, vector sequences and speech)
Y. Yang and D. Ramanan, "Articulated human detection with flexible mixtures of parts", Pattern Analysis and Machine Learning, IEEE Transaction on, vol. 36, no. 9, pp. 1775-1788, Sept 2014. W. Yang, Y. Wang, and G. Mori, "Recognizing Human Actions from Still Images with Latent Poses", in Computer Vision and Pattern Recognition (CVPR), 2010 International Conference on. San Francisco, USA, IEEE, 2010, pp. 2030-2037
감시 카메라들로부터 캡쳐한 비디오로부터 휴먼 상호액션을 표현하는 기술이 제시된다.
그룹 내 또는 그룹들 상호 간에 있어, 상호 휴먼 객체 간 상호액션을 모델링하는 기술이 제시된다.
비-상호작용 오브젝트(non-interacted objects)를 생략함으로써, 계산 비용을 줄이는 것을 목적으로 한다.
특이 값이 데이터 집합에 포함되지 않기 때문에 기능의 훈련 데이터 세트의 품질을 향상시키는 것을 목적으로 한다.
싱글 오브젝트 액션 인식(single object action recognition)과 상호작용 그룹 활동 인식(interactive group activity recognition)을 구분하는데 있어, 분류의 정확도를 향상시키는 것을 목적으로 한다.
일실시예에 따른 상호 활동 모델링 방법은 비디오로부터 추출한 2차원 스켈레톤 위치의 데이터 세트를 입력받는 단계, 상기 입력된 데이터 세트로부터 오브젝트의 위치 좌표들을 연산하는 단계, 상기 연산된 오브젝트의 위치 좌표들로부터 상기 오브젝트의 움직임 속도 및 움직임 방향을 포함하는 트래킹 특징들을 계산하는 단계, 상기 오브젝트에 대응되는 상호 존과 상기 계산된 트래킹 특징들에 기초하여 상호 오브젝트를 결정하는 단계, 상기 결정된 상호 오브젝트에 대한 스켈레톤의 데이터 세트로부터 특징들을 계산하는 단계, 및 상기 계산된 특징들을 싱글 휴먼 액션들의 토픽들과 상호 그룹 활동들에 모델링하는 단계를 포함한다.
일실시예에 따른 상기 오브젝트의 위치 좌표들을 연산하는 단계는, 상기 입력된 데이터 세트로부터 몸통의 4조인트를 이용해서 상기 오브젝트에 대한 위치 좌표들을 검출하는 단계를 포함한다.
일실시예에 따른 상기 상호 오브젝트 및 상기 상호 오브젝트에 상응하는 비상호 오브젝트들은 상호 포텐셜 존과 상기 트래킹 특징들을 통해 결정된다.
일실시예에 따른 상기 오브젝트의 움직임 속도 및 움직임 방향을 포함하는 트래킹 특징들을 계산하는 단계는, 상기 오브젝트의 공간적-시간적 조인트 거리와 휴먼 오브젝트들 간에 상기 움직임 방향을 추출하되, 상기 스켈레톤의 위치 데이터세트로부터 추출하는 단계를 포함한다.
일실시예에 따른 상기 모델링하는 단계는, 모델링 알고리즘을 이용해서 상기 싱글 휴먼 액션들을 위한 확률 모델 및 상기 상호 그룹 활동들을 생성하는 단계를 포함한다.
일실시예에 따른 상호 오브젝트 식별 방법은 오브젝트의 위치 좌표들을 입력받는 단계, 상기 입력된 오브젝트의 위치 좌표들에 기초하여 상기 오브젝트로부터 미리 지정된 범위 내에 위치하는 싱글 상호 포텐셜 존들을 결정하는 단계, 상기 결정된 싱글 상호 포텐셜 존들에 기초하여 각 오브젝트에 대한 중첩 영역의 비율을 계산하는 단계, 및 각 오브젝트에 대한 그룹 아이디에 할당된 임계값과 상기 계산된 비율을 비교하여 상기 오브젝트를 식별하는 단계를 포함한다.
일실시예에 따른 상기 싱글 상호 포텐셜 존들을 결정하는 단계는, 상기 오브젝트의 위치 좌표와 원의 반지름에 기초하여 상기 싱글 상호 포텐셜 존들을 결정하는 단계를 포함한다.
일실시예에 따른 상기 비율은 각 오브젝트의 그룹 아이디를 결정하기 위한 임계값에 대비된다.
일실시예에 따른 특징 데이터 세트의 구성 방법은 그룹 아이디를 입력 받는 단계, 상기 그룹 아이디에 해당하는 각 그룹에 대한 오브젝트의 수를 비교하는 단계, 상기 비교된 오브젝트의 수를 고려하여
Figure 112015083964785-pat00001
및
Figure 112015083964785-pat00002
중에서 적어도 하나 이상의 좌표에 대한 특징들을 추출하는 단계, 상기 추출된 특징들에 상응하는 데이터세트를 인식하는 단계, 및 상기 인식된 데이터세트에 기초하여 인트라 오브젝트 데이터 세트와 인터 오브젝트 특징 데이터세트를 획득하는 단계를 포함한다.
일실시예에 따른 상기 특징들을 추출하는 단계는, 상기 그룹 내에 하나의 오브젝트가 있는 경우, x=y 좌표에 대한 특징들을 추출하는 단계를 포함한다.
일실시예에 따른 상기 특징들을 추출하는 단계는, 상기 그룹 내에 한 개 이상이 오브젝트가 있다면,
Figure 112015083964785-pat00003
및
Figure 112015083964785-pat00004
의 좌표에 대한 특징들을 추출하는 단계를 포함한다.
일실시예에 따른 특징 데이터 세트의 구성 방법은 상기 오브젝트의 수의 비교 결과를 고려하여, 상기 오브젝트를 비상호 오브젝트와 상호 오브젝트의 두 그룹으로 분류하는 단계를 더 포함한다.
일실시예에 따른 상기 오브젝트를 비상호 오브젝트와 상호 오브젝트의 두 그룹으로 분류하는 단계는, 상기 오브젝트에 대한 공간적-시간적 조인트 거리와 움직임 방향 특징들은 추출하는 단계를 포함한다.
일실시예에 따른 상기 특징들을 추출하는 단계는, 싱글 액션 인식을 위한 인트라 오브젝트 특징 및 상호 활동 인식을 위한 데이터 세트와 인터 오브젝트 특징 중에서 적어도 하나 이상의 특징을 추출하는 단계를 포함한다.
일실시예에 따른 확률 모델 생성 방법은 특징 데이터세트를 입력받는 단계, K-평균 클러스터링 알고리즘을 적용하여 상기 특징 데이터세트들 내의 특징들을 코드워드들로 클러스터링하는 단계, 상기 클러스터링에 따른 인트라 오브젝트 특징들과 인터 오브젝트 특징들을 액션들과 활동들의 코드워드 히스토그램들로 맵핑하는 단계, 상기 맵핑된 히스토그램에 기반하는 계층 모델(hierarchical model)을 이용해서 워드들을 인코딩하는 단계, 및 상기 인코딩된 워드들을 이용해서 확률 모델을 출력하는 단계를 포함한다.
일실시예에 따른 상기 확률 모델을 출력하는 단계는, 계측 모델을 기반으로 하는 토픽 모델링에 기초하여 상기 확률 모델을 생성하는 단계를 포함한다.
일실시예에 따른 상호 활동 모델링 프로그램은 비디오로부터 추출한 2차원 스켈레톤 위치의 데이터 세트를 입력받는 명령어 세트, 상기 입력된 데이터 세트로부터 오브젝트의 위치 좌표들을 연산하는 명령어 세트, 상기 연산된 오브젝트의 위치 좌표들로부터 상기 오브젝트의 움직임 속도 및 움직임 방향을 포함하는 트래킹 특징들을 계산하는 명령어 세트, 상기 오브젝트에 대응되는 상호 존과 상기 계산된 트래킹 특징들에 기초하여 상호 오브젝트를 결정하는 명령어 세트, 상기 결정된 상호 오브젝트에 대한 스켈레톤의 데이터 세트로부터 특징들을 계산하는 명령어 세트, 및 상기 계산된 특징들을 싱글 휴먼 액션들의 토픽들과 상호 그룹 활동들에 모델링하는 명령어 세트를 포함한다.
실시예들에 따르면, 감시 카메라들로부터 캡쳐한 비디오로부터 휴먼 상호액션을 표현할 수 있다.
실시예들에 따르면, 그룹 내 또는 그룹들 상호 간에 있어, 상호 휴먼 객체 간 상호액션을 모델링할 수 있다.
실시예들에 따르면, 비-상호작용 오브젝트(non-interacted objects)를 생략함으로써, 계산 비용을 줄일 수 있다.
실시예들에 따르면, 특이 값이 데이터 집합에 포함되지 않기 때문에 기능의 훈련 데이터 세트의 품질을 향상시킬 수 있다.
실시예들에 따르면, 싱글 오브젝트 액션 인식(single object action recognition)과 상호작용 그룹 활동 인식(interactive group activity recognition)을 구분하는데 있어, 분류의 정확도를 향상시킬 수 있다.
도 1은 싱글 액션과 상호 활동 인식을 위한 모델링 방법에 대한 흐름도이다.
도 2는 14-조인트 휴먼 자세, 중심점의 결정, 오브젝트의 거리와 움직임 방향을 표현하는 도면이다.
도 3은 상호 작용 존 결정과 오브젝트 그룹 설립을 설명하는 도면이다.
도 4는 조인트 위치 정보를 이용해서 4특징들의 결정을 설명하는 도면이다.
도 5는 상호 작용 존 식별과 오브젝트 그룹 생성의 프로세스를 보여준다.
도 6은 인트라 오브젝트 특징 데이터세트와 인터 오브젝트 특징 데이터세트로 구분되는 두 특징 데이터세트들의 구성 프로세스를 나타낸다.
도 7은 두 특징 데이터세트를 위한 코드북 생성과 토픽 모델링의 프로세스를 도시한다.
도 8은 하나의 특징 벡터를 코드워드의 히스토그램으로 맵핑하는 실시예를 설명하는 도면이다.
도 9는 4-레벨 구조의 토픽 모델을 위한 계층 모델을 디스플레이 하는 도면이다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 권리범위가 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 싱글 액션과 상호 활동 인식을 위한 모델링 방법에 대한 흐름도이다.
일실시예에 따른 상호 활동 모델링 방법은 비디오로부터 추출한 2차원 스켈레톤 위치의 데이터 세트를 입력 받는다(단계 101).
입력 데이터는 조인트 위치 정보와 함께 휴먼 오브젝트 스켈레톤을 포함한다.
입력 데이터에 상응하는 출력은 분류기(classifier)를 서포트 하기 위한 필요한 싱글 오브젝트 액션들과 상호 작용 그룹 활동들에 기반하는 확률 모델이다. 이를 위해, 일실시예에 따른 상호 활동 모델링 방법은 입력된 데이터 세트로부터 오브젝트의 위치 좌표들을 연산한다(단계 102). 즉, 자세 추정을 위해서는 조인트의 위치를 결정해야만 하는데, 이를 위해 단계 102를 통해 오브젝트의 위치 좌표들을 연산한다.
예를 들어, 상호 활동 모델링 방법은 오브젝트의 위치 좌표들을 연산하기 위해 입력된 데이터 세트로부터 몸통의 4관절을 이용해서 오브젝트에 대한 위치 좌표들을 검출할 수 있다.
Yang의 연구 등에 따르면, 각 휴먼의 자세는 14 조인트 요소를 포함한다.
14 조인트 요소는 이후 도 2를 통해 구체적으로 설명한다.
다음으로, 일실시예에 따른 상호 활동 모델링 방법은 연산된 오브젝트의 위치 좌표들로부터 상기 오브젝트의 움직임 속도 및 움직임 방향을 포함하는 트래킹 특징들을 계산한다(단계 103). 또한, 일실시예에 따른 상호 활동 모델링 방법은 오브젝트에 대응되는 상호 존과 상기 계산된 트래킹 특징들에 기초하여 상호 오브젝트를 결정하고(단계 104), 결정된 상호 오브젝트에 대한 스켈레톤의 데이터 세트로부터 특징들을 계산한다(단계 105).
일례로, 트래킹 특징들을 계산하기 위해 일실시예에 따른 상호 활동 모델링 방법은 오브젝트의 공간적-시간적 조인트 거리와 휴먼 오브젝트들 간에 움직임 방향을 추출하되, 스켈레톤의 위치 데이터세트로부터 추출할 수 있다.
일실시예에 따른 상호 활동 모델링 방법은 계산된 특징들을 싱글 휴먼 액션들의 토픽들과 상호 그룹 활동들에 모델링하고(단계 106), 모델링 결과를 이용해서 확률 모델을 생성한다(단계 107).
예를 들어, 상호 활동 모델링 방법은 상호 그룹 활동들에 모델링 하기 위해 모델링 알고리즘을 이용해서 싱글 휴먼 액션들을 위한 확률 모델 및 상호 그룹 활동들을 생성할 수 있다.
도 2는 14-조인트 휴먼 자세, 중심점의 결정, 오브젝트의 거리와 움직임 방향을 표현하는 도면이다.
도 2에서 보는 바와 같이, 휴먼의 자세(201)는 14 조인트 요소를 포함한다. 또한, 오브젝트의 좌표를 지역화(localize) 하기 위해서는, 몸통(202)의 4 조인트들을 사용하여 중심점을 결정해야 한다.
구체적으로, 도 2에 도시된 각 포인트들은 오브젝트의 좌표로서, [수학식 1]에 의해 계산될 수 있다.
[수학식 1]
Figure 112015083964785-pat00005
여기서,
Figure 112015083964785-pat00006
는
Figure 112015083964785-pat00007
번째 프레임에 나타나는 휴먼 오브젝트(x)의 몸통에 대한 조인트 위치 좌표들이다.
트래킹 알고리즘은 도 2의 도면부호 203에서 표현된 대한 움직임 속도
Figure 112015083964785-pat00008
와 방향
Figure 112015083964785-pat00009
을 가정한다.
Figure 112015083964785-pat00010
와
Figure 112015083964785-pat00011
프레임에 상응하는
Figure 112015083964785-pat00012
와
Figure 112015083964785-pat00013
로부터의 트래킹 특징들은 아래 [수학식 2] 및 [수학식 3]의 오브젝트 좌표들로부터 계산될 수 있다.
[수학식 2]
Figure 112015083964785-pat00014
[수학식 3]
Figure 112015083964785-pat00015
상호 작용 표현에 있어 중요한 것은 현재 장면에서 다른 오브젝트들과 상호 동작하는 오브젝트를 어떻게 식별하냐는 것이다.
검출된 모든 오브젝트들로부터 추출된 특징들을 계산하는 대신에, 특징 추출 스텝을 진행하기에 앞서 식별 처리를 수행하면 다음의 장점을 얻을 수 있다.
비-상호작용 오브젝트(non-interacted objects)를 생략함으로써, 계산 비용을 줄일 수 있다.
특이 값이 데이터 집합에 포함되지 않기 때문에 기능의 훈련 데이터 세트의 품질을 향상시킬 수 있다. 이것은 단일 객체들을 상호 작용에 따른 검출과 인식을 고려하지 않는 것을 의미한다.
싱글 오브젝트 액션 인식(single object action recognition)과 상호작용 그룹 활동 인식(interactive group activity recognition)을 구분하는데 있어, 분류의 정확도를 향상시킬 수 있다.
본 발명에서, IPZ(Interaction Potential Zone) 알고리즘을 사용할 수 있다.
IPZ(Interaction Potential Zone) 알고리즘은 도 3을 통해 상세히 설명한다.
도 3은 상호 작용 존 결정과 오브젝트 그룹 설립을 설명하는 도면이다.
도 3에 개시된 바와 같이, IPZ(Interaction Potential Zone) 알고리즘은 Group Interaction Zone (GIZ)을 검출하는데 필요한 기본 유닛이다
각 오브젝트는 오퍼레이팅 존을 갖고 있다. 오퍼레이팅 존은 오브젝트의 주변에 위치하고, 반지름
Figure 112015083964785-pat00016
을 갖는 서클로 정의된다.
따라서, 오브젝트 중심 좌표(501)에 기반하여, 이 영역은 반지름
Figure 112015083964785-pat00017
로 식별된다.
다음으로, 도 3의 도면부호 301과 같이 계산된 IPZ들간 중첩 영역의 비율(503)이 계산된다. 이 때의 비율(503)은 상호작용 휴먼 오브젝트들에 의하여 커버되는 전체 영역에 대한 중첩 영역의 비율로서, [수학식 4]에 의해서 산출될 수 있다.
[수학식 4]
Figure 112015083964785-pat00018
여기서,
Figure 112015083964785-pat00019
Figure 112015083964785-pat00020
는
Figure 112015083964785-pat00021
휴먼 오브젝트의 IPZ이다.
Figure 112015083964785-pat00022
Figure 112015083964785-pat00023
는 중첩되는 IPZ들을 갖는 사람 수이다.
만약,
Figure 112015083964785-pat00024
이면, 도 3의 도면부호 301과 같이 홀로 서있는 단 하나의 오브젝트가 있는 경우이고, 이 때의
Figure 112015083964785-pat00025
은 이러한 파라미터의 결과이다.
휴먼 오브젝트의 세트는 [수학식 5]에 의해 수행될 수 있는 비교 연산을 통해서 할당되는 상호 작용들을 갖는다.
[수학식 5]
Figure 112015083964785-pat00026
여기서
Figure 112015083964785-pat00027
는 휴먼 오브젝트들의 세트가 같은 그룹에 놓일 가능성이 얼마나 되는지의 경향을 제어하는 임계 값이다.
그룹 할당은 아래 세가지 상황으로 설명될 수 있다.
현재 오브젝트가
Figure 112015083964785-pat00028
에 상응하여, 중복 영역 없이 홀로 서있는 경우라면, 새로운 그룹 식별자(GID, GroupID)가 할당된다.
만약, 현재 오브젝트와 다른 오브젝트가
Figure 112015083964785-pat00029
에 따라 작은 면적에서 중첩되는 경우, 이 두 오브젝트들은 새로운 다른 그룹 식별자(GID, GroupID)가 할당된다.
만약, 두 오브젝트가 현재 중첩되는 영역이
Figure 112015083964785-pat00030
의 상태를 만족하는 경우, 이 두 오브젝트는 같은 그룹 식별자(GID, GroupID)가 할당된다.
출력은 오브젝트의 그룹 식별자(GID, GroupID)에 대한 세트이다.
그러나, 그룹 식별자(GID, GroupID)를 할당하는 데는 특별한 케이스들이 있다.
예를 들어, 도 3의 도면부호 301에서 보는 바와 같이, GID=A의 오브젝트는 GID=B의 오브젝트 그룹 방향의 그룹으로 이동하는 경향을 나타낸다.
이러한 상황을 위해, 그룹 식별자(GID, GroupID)의 할당이 필요하다.
이러한 상황에서는 동적 객체에 대한 고려, 즉 F_v ^ X (T-1, T) ≥δ는 δ와 현재 개체를 식별하기 위해 속도 임계 값을 이동 또는 비 운동 상태인 점이 고려 되어야 한다.
현재 위치로부터의 움직임의 속도와 방향에 있어, 오브젝트의 위치는 [수학식 6]과 같이 다음 시간(next time (t+1))에서 계산된다.
[수학식 6]
Figure 112015083964785-pat00031
만약, 다음 위치 값이 다른 그룹의 IPZ 내에 있다면, 오브젝트의 그룹 식별자(GID, GroupID),
Figure 112015083964785-pat00032
는 [수학식 7]과 같이
Figure 112015083964785-pat00033
로 식별되는 다음 목적지 그룹(next destination group)의 그룹 식별자(GID, GroupID)로 변경된다.
[수학식 7]
Figure 112015083964785-pat00034
도면부호 302에 나타난 경우는 도 3에서 보는 바와 같다.
만약, 다음 위치 값이 다른 그룹의 IPZ의 외부라면,
Figure 112015083964785-pat00035
로 식별되는 오브젝트의 그룹 식별자는 [수학식 8]과 같이 새로운 그룹 식별자로 변경된다. 이때의 새로운 그룹 식별자는 이미 존재하는 GID들(
Figure 112015083964785-pat00036
로 표시)과 중첩되지 않는다.
[수학식 8]
Figure 112015083964785-pat00037
도 3의 도면부호 302에 나타난 상황에 적용될 수 있다.
싱글 오브젝트 액션 인식을 위한 오브젝트의 조인트들의 관계와, 상호 작용을 하는 그룹 활동 인식을 위한 두 오브젝트들의 조인트들 간 관계를 설명하기 위해, 본 발명에서는 공간-시간 차원(space-time dimension)에서 조인트 구성들 간 거리와 방향을 추출한다.
도 4는 조인트 위치 정보를 이용해서 4특징들의 결정을 설명하는 도면이다.
구체적으로, 공간-시간 조인트 특징들은 도면부호 401 내지 404에서 보는 바와 같이 스켈레톤 위치에 기반해서 계산된다.
공간 조인트 거리(401)는 프레임 내의 두 사람들 사이에 대한 모든 조인트들이 쌍 간 유클리디안 거리로 정의 될 수 있다. 즉, 공간 조인트 거리(401)는 상호 작용 자세와 두 조인트들 간 거리를 [수학식 9]를 이용해서 캡쳐한다.
[수학식 9]
Figure 112015083964785-pat00038
여기서,
Figure 112015083964785-pat00039
과
Figure 112015083964785-pat00040
는
Figure 112015083964785-pat00041
에 상응하는 시간
Figure 112015083964785-pat00042
에서의 휴먼 오브젝트
Figure 112015083964785-pat00043
와
Figure 112015083964785-pat00044
의 조인트 i와 j에 대한 2D 위치 좌표이다.
이는 한 사람(
Figure 112015083964785-pat00045
인 경우나 사람들 간
Figure 112015083964785-pat00046
에 측정될 수 있다.
임시 조인트 거리(Temporal joint distance)는 서로 다른 프레임들에 포함된 두 사람의 조인트들의 모든 쌍 간 유클리디안 거리(Euclidean distance)로 정의된다. 즉, 임시 조인트 거리(Temporal joint distance)는 [수학식 10]에 기반해서,
Figure 112015083964785-pat00047
과
Figure 112015083964785-pat00048
의 프레임에 상응하는 time
Figure 112015083964785-pat00049
와
Figure 112015083964785-pat00050
에서의 상호 작용의 사지 쌍 간 거리를 측정한다.
[수학식 10]
Figure 112015083964785-pat00051
이는 한 사람
Figure 112015083964785-pat00052
또는 두 사람 간
Figure 112015083964785-pat00053
에 측정될 수 있다.
공간 조인트 운동(Spatial joint motion)(403)은 상호 작용 자세에 있어 두 조인트들 사이의 각도를 캡쳐하고, 이는 [수학식 11]에 기반하여 산출될 수 있다.
[수학식 11]
Figure 112015083964785-pat00054
이는 한 사람
Figure 112015083964785-pat00055
또는 두 사람 간
Figure 112015083964785-pat00056
에 측정될 수 있다.
시간 조인트 모션(404)의 경우, 조인트 들의 모든 쌍 사이에서 정의될 수 있는데, 상호 작용의 수족 쌍에 대한 각도를
Figure 112015083964785-pat00057
와
Figure 112015083964785-pat00058
에 해당하는 프레임의
Figure 112015083964785-pat00059
과
Figure 112015083964785-pat00060
에서 측정될 수 있다. 예를 들면, [수학식 12]를 통해 상호 작용의 수족 쌍에 대한 각도를 측정할 수 있다.
[수학식 12]
Figure 112015083964785-pat00061
상호 작용의 수족 쌍에 대한 각도는 한 사람일 때
Figure 112015083964785-pat00062
또는 두 사람 사이인 경우
Figure 112015083964785-pat00063
에서 모두 측정될 수 있다.
도 5는 상호 작용 존 식별과 오브젝트 그룹 생성의 프로세스를 보여준다.
도 5는 오브젝트 중심 좌표를 수집한다(단계 501). 상호 오브젝트 식별하기 위해서는 오브젝트의 위치 좌표들을 입력 받는다.
다음으로, 상호 작용 존 식별과 오브젝트 그룹을 생성하기 위해서는, 싱글 오브젝트 영역을 설립하고(단계 502), 중첩 비율을 계산할 수 있다(단계 503).
또한, 오브젝트에 대한 그룹 아이디에 할당된 임계값과 계산된 비율을 비교하여 오브젝트를 식별할 수 있다. 일례로, 싱글 상호 포텐셜 존들과 상기 중첩 영역의 비율은, 각각의 오브젝트에 대해서 식별될 수 있다.
또한, 오브젝트에 대한 그룹 아이디에 할당된 임계값과 계산된 비율을 비교하여 오브젝트를 식별할 수 있다. 일례로, 싱글 상호 포텐셜 존들과 상기 중첩 영역의 비율은, 각각의 오브젝트에 대해서 식별될 수 있고, 이때의 비율은 각 오브젝트의 그룹 아이디를 결정하기 위한 임계값에 대비될 수 있다.
다음으로, 상호 작용 존 식별과 오브젝트 그룹을 생성하기 위해서는 단계 504에서 반지름을 고려할 수 있다(단계 504).
각 오브젝트는 오퍼레이팅 존을 갖고 있다. 오퍼레이팅 존은 오브젝트의 주변에 위치하고, 반지름
Figure 112015083964785-pat00064
을 갖는 서클로 정의된다.
따라서, 오브젝트 중심 좌표에 기반하여, 이 영역은 반지름
Figure 112015083964785-pat00065
로 식별될 수 있다.
계산된 IPZ들간 중첩 영역의 비율(503)은 상호작용 휴먼 오브젝트들에 의하여 커버되는 전체 영역에 대한 중첩 영역의 비율이다.
현재 오브젝트가
Figure 112015083964785-pat00066
에 상응하여, 중복 영역 없이 홀로 서있는 경우라면, 새로운 그룹 식별자(GID, GroupID)가 할당된다(단계 506).
만약, 현재 오브젝트와 다른 오브젝트가
Figure 112015083964785-pat00067
에 따라 작은 면적에서 중첩되는 경우, 이 두 오브젝트들은 새로운 다른 그룹 식별자(GID, GroupID)가 할당된다(단계 505).
만약, 두 오브젝트가 현재 중첩되는 영역이
Figure 112015083964785-pat00068
의 상태를 만족하는 경우, 단계 506을 통해 같은 그룹 식별자(GID, GroupID)가 할당된다.
출력은 오브젝트의 그룹 식별자(GID, GroupID)에 대한 세트이다(단계 507).
그러나, 그룹 식별자(GID, GroupID)를 할당하는 데는 특별한 케이스들이 있다.
예를 들어, 도 3의 도면부호 301에서 보는 바와 같이, GID=A의 오브젝트는 GIDB의 오브젝트 그룹 방향의 그룹으로 이동하는 경향을 나타낸다.
이러한 상황을 위해, 그룹 식별자(GID, GroupID)의 할당이 필요하다.
도 6은 인트라 오브젝트 특징 데이터세트와 인터 오브젝트 특징 데이터세트로 구분되는 두 특징 데이터세트들의 구성 프로세스를 나타낸다.
도 6에서는 도 1의 단계 105의 특징 추출 과정을 구체적으로 설명한다.
일실시예에 따른 특징 데이터 세트의 구성 방법은 먼저, 그룹 아이디를 입력 받을 수 있다(단계 601).
즉, 특징 데이터세트를 추출하기 위해서는, 그룹 아이디에 기초해서 오브젝트를 두 개 그룹으로 구별 해야 한다. 예를 들어, 그룹 아이디에 기초해서 오브젝트를 비상호 오브젝트와 상호 오브젝트의 두 그룹으로 분류해야 하고, 이에 기초하여 오브젝트에 대한 공간적-시간적 조인트 거리와 움직임 방향 특징들이 추출해야 한다. 또한, 이를 위해, 싱글 액션 인식을 위한 인트라 오브젝트 특징 및 상호 활동 인식을 위한 데이터 세트와 인터 오브젝트 특징 중에서 적어도 하나 이상의 특징을 추출한다.
다음으로, 일실시예에 따른 특징 데이터 세트의 구성 방법은 상기 그룹 아이디에 해당하는 각 그룹에 대한 오브젝트의 수를 비교하여 오브젝트의 수가 2 이상인지 여부를 판단할 수 있다(단계 602).
일실시예에 따른 특징 데이터 세트의 구성 방법은 비교된 오브젝트의 수를 고려하여
Figure 112015083964785-pat00069
및
Figure 112015083964785-pat00070
중에서 적어도 하나 이상의 좌표에 대한 특징들을 추출할 수 있다.
이를 위해, 단계 602의 판단 결과 오브젝트의 수가 2 이상인 경우, 특징 데이터 세트의 구성 방법은 그룹 내에 하나의 오브젝트가 있는 경우, x=y 좌표에 대한 특징들을 추출한다(단계 603).
일실시예에 따른 특징 데이터 세트의 구성 방법은 단계 602의 판단 결과 오브젝트의 수가 2 이상이 아닌 경우, 그룹 내에 한 개 이상이 오브젝트가 있다면,
Figure 112015083964785-pat00071
및
Figure 112015083964785-pat00072
의 좌표에 대한 특징들을 추출할 수 있다(단계 604).
일실시예에 따른 특징 데이터 세트의 구성 방법은 추출된 특징들에 상응하는 데이터세트를 인식할 수 있다(단계 605).
특징들은 다른 오브젝트들과의 상호 작용을 시험하지 않고 싱글 동작을 인식하는데 이용될 수 있다.
만약, 현재 오브젝트가 다른 오브젝트들과 같은 그룹 아이디를 갖는 다면, 그룹들이 더 많은 오브젝트들로 구성됨을 의미한다. 이의 특징들은 단계 603, 604에서와 같이
Figure 112015083964785-pat00073
와
Figure 112015083964785-pat00074
의 컨디션에서 계산될 수 있다.
구체적으로, 하나의 오브젝트만이 그룹 내에 있다면, 특징들은
Figure 112015083964785-pat00075
의 조건에서 계산되어야 한다.
또한, 상기 인식된 데이터세트에 기초하여 인트라 오브젝트 특징 데이터세트(단계 606)와 인터 오브젝트 특징 데이터세트를 획득(단계 607)할 수 있다.
추출된 특징들은 인트라 오브젝트 특징 데이터세트는 공간 조인트 거리 특징 서브셋(Spatial joint distance feature subset), 임시 조인트 거리 특징 서브셋(Temporal joint distance feature subset), 공간 조인트 모션 특징 서브셋(Spatial joint motion feature subset), 임시 조인트 모션 특징 서브셋(Temporal joint motion feature subset)을 포함한다.
먼저, 공간 조인트 거리 특징 서브셋(Spatial joint distance feature subset)은
Figure 112015083964785-pat00076
으로 표현될 수 있다.
임시 조인트 거리 특징 서브셋(Temporal joint distance feature subset)은
Figure 112015083964785-pat00077
으로 표현될 수 있고, 공간 조인트 모션 특징 서브셋(Spatial joint motion feature subset)은
Figure 112015083964785-pat00078
으로 표현될 수 있다.
임시 조인트 모션 특징 서브셋(Temporal joint motion feature subset)은
Figure 112015083964785-pat00079
으로 표현될 수 있다.
싱글 휴먼 오브젝트로부터 추출된 특징을 표현하기 위한 벡터는 다음과 같이 표현될 수 있다.
Figure 112015083964785-pat00080
또한, 인터 오브젝트 특징 데이터세트는 다음의 구성요소를 포함할 수 있다.
공간 조인트 거리(Spatial joint distance)으로서,
Figure 112015083964785-pat00081
, 임시 조인트 거리(Temporal joint distance)으로서
Figure 112015083964785-pat00082
, 공간 조인트 모션(Spatial joint motion)으로서
Figure 112015083964785-pat00083
, 임시 조인트 모션(Temporal joint motion)으로서
Figure 112015083964785-pat00084
를 포함한다.
상호 작용 휴먼 오브젝트로부터 추출된 특징을 표현하기 위해서는, 벡터 특징을 아래와 같이 표현할 수 있다.
Figure 112015083964785-pat00085
두 특징 데이터세트들은 입력되는 비디오들과 2차원 매트리스에 따라서 프레임별로 수집된다. 두 특징 데이터세트들 중에서 하나는 인트라 오브젝트 특징 데이터세트와 다른 하나는 인터 오브젝트 특징 데이터세트에 대한 것이다.
도 7은 두 특징 데이터세트를 위한 코드북 생성과 토픽 모델링의 프로세스를 도시한다.
도 7에서는 도 1의 단계 106의 모델링 과정을 구체적으로 설명한다.
인트라 오브젝트 특징 데이터세트(701)와 인터 오브젝트 특징 데이터세트(702)를 포함하는 듀얼 구조 모델이 확률 모델을 생성하는데 이용될 수 있다.
모델은 "bag-of-words"방식, 즉, 파칭코 배분 모형의 가정에 기초하여 개발된다.
통계 분석은 워드들의 동시발생에 의한 히스토그램에 기반하는 분석될 수 있고, 이 모델을 지원하기 위해, 코드북은 단계 703에서와 같이 K-평균 클러스터링이 수행될 수 있다. 즉, 확률 모델 생성 방법은 K-평균 클러스터링 알고리즘을 적용하여 상기 특징 데이터세트들 내의 특징들을 코드워드들로 클러스터링을 수행할 수 있다(단계 703).
다음으로, 확률 모델 생성 방법은 클러스터링에 따른 인트라 오브젝트 특징들(704)과 인터 오브젝트 특징들(705)을 액션들과 활동들의 코드워드 히스토그램들로 맵핑할 수 있다.
다음으로, 확률 모델 생성 방법은 맵핑된 히스토그램에 기반하는 계층 모델(hierarchical model)을 이용해서 워드들을 인코딩한다(단계 706).
이후, 확률 모델 생성 방법은 인코딩된 워드들을 이용해서 확률 모델을 출력한다. 구체적으로, 액션(action)을 위한 확률 모델을 출력하거나(단계 707), 활동(activity)을 위한 확률 모델을 출력할 수 있다(단계 708).
확률 모델 생성 방법은 확률 모델을 출력하기 위해 계측 모델을 기반으로 하는 토픽 모델링에 기초하여 확률 모델을 생성할 수 있다.
도 8은 하나의 특징 벡터를 코드워드의 히스토그램으로 맵핑하는 실시예를 설명하는 도면이다.
인트라 오브젝트 벡터를 히스토그램에 맵핑하는 실시예에 해당한다.
즉,
Figure 112015083964785-pat00086
에 해당하는 인트라 오브젝트 벡터를 워드들의 수로 표현되는 히스토그램에 맵핑할 수 있다.
도 9는 4-레벨 구조의 토픽 모델을 위한 계층 모델을 디스플레이 하는 도면이다.
"bag-of-words" 모델에 기반해서 학습하고 인식하기 위해서는, Pachinko Allocation Model (Li et al. 2006)과 같이 유연하고, 표현력있는 Latent Dirichlet Allocation (LDA)로부터 개발되어야 한다.
도 9에서는 버텀(bottom) 레벨에서 N 액션 워드들 또는 M 상호작용 워드들로 구성되고, 1번째 레벨에서 n1 액션 서브 토픽들, m1 상호작용 서브 토픽들로 구성되며, 2번째 레벨에서 n2 액션 서브 토픽들, m2 상호작용 서브 토픽들로 구성되며, 탑 레벨에서는 하나의 루트로 구성되는 4레벨의 계측적 구조를 나타낸다.
이 모델에 대한 전체 보고서는 Li(2006)에서 설명하고 있다.
결국, 본 발명을 이용하면 비-상호작용 오브젝트(non-interacted objects)를 생략함으로써, 계산 비용을 줄일 수 있다. 또한, 특이 값이 데이터 집합에 포함되지 않기 때문에 기능의 훈련 데이터 세트의 품질을 향상시킬 수 있으며, 싱글 오브젝트 액션 인식(single object action recognition)과 상호작용 그룹 활동 인식(interactive group activity recognition)을 구분하는데 있어, 분류의 정확도를 향상시킬 수 있다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (19)

  1. 컴퓨터에 의해 적어도 일시적으로 구현되는 상호 활동 모델링 방법에 있어서,
    비디오로부터 추출한 2차원 스켈레톤 위치의 데이터 세트를 입력받는 단계;
    상기 입력된 데이터 세트로부터 오브젝트의 위치 좌표들을 연산하는 단계;
    상기 연산된 오브젝트의 위치 좌표들로부터 상기 오브젝트의 움직임 속도 및 움직임 방향을 포함하는 트래킹 특징들을 계산하는 단계;
    상기 오브젝트에 대응되는 상호 존과 상기 계산된 트래킹 특징들에 기초하여 상호 오브젝트를 결정하는 단계;
    상기 결정된 상호 오브젝트에 대한 스켈레톤의 데이터 세트로부터 특징들을 계산하는 단계; 및
    상기 계산된 특징들을 싱글 휴먼 액션들의 토픽들과 상호 그룹 활동들에 모델링하는 단계
    를 포함하는 상호 활동 모델링 방법.
  2. 제1항에 있어서,
    상기 오브젝트의 위치 좌표들을 연산하는 단계는,
    상기 입력된 데이터 세트로부터 몸통의 4조인트를 이용해서 상기 오브젝트에 대한 위치 좌표들을 검출하는 단계
    를 포함하는 상호 활동 모델링 방법.
  3. 제1항에 있어서,
    상기 상호 오브젝트 및 상기 상호 오브젝트에 상응하는 비상호 오브젝트들은 상호 포텐셜 존과 상기 트래킹 특징들을 통해 결정되는 상호 활동 모델링 방법.
  4. 제1항에 있어서,
    상기 오브젝트의 움직임 속도 및 움직임 방향을 포함하는 트래킹 특징들을 계산하는 단계는,
    상기 오브젝트의 공간적-시간적 조인트 거리와 휴먼 오브젝트들 간에 상기 움직임 방향을 추출하되, 상기 스켈레톤의 위치 데이터세트로부터 추출하는 단계
    를 포함하는 상호 활동 모델링 방법.
  5. 제1항에 있어서,
    상기 모델링하는 단계는,
    모델링 알고리즘을 이용해서 상기 싱글 휴먼 액션들을 위한 확률 모델 및 상기 상호 그룹 활동들을 생성하는 단계
    를 포함하는 상호 활동 모델링 방법.
  6. 컴퓨터에 의해 적어도 일시적으로 구현되는 상호 오브젝트 식별 방법에 있어서,
    오브젝트의 위치 좌표들을 입력받는 단계;
    상기 입력된 오브젝트의 위치 좌표들에 기초하여 상기 오브젝트로부터 미리 지정된 범위 내에 위치하는 싱글 상호 포텐셜 존들을 결정하는 단계;
    상기 결정된 싱글 상호 포텐셜 존들에 기초하여 각 오브젝트에 대한 중첩 영역의 비율을 계산하는 단계; 및
    각 오브젝트에 대한 그룹 아이디에 할당된 임계값과 상기 계산된 비율을 비교하여 상기 오브젝트를 식별하는 단계
    를 포함하는 상호 오브젝트 식별 방법.
  7. 제6항에 있어서,
    상기 싱글 상호 포텐셜 존들을 결정하는 단계는,
    상기 오브젝트의 위치 좌표와 원의 반지름에 기초하여 상기 싱글 상호 포텐셜 존들을 결정하는 단계
    를 포함하는 상호 오브젝트 식별 방법.
  8. 제6항에 있어서,
    상기 싱글 상호 포텐셜 존들과 상기 중첩 영역의 비율은, 각각의 오브젝트에 대해서 식별되는 상호 오브젝트 식별 방법.
  9. 삭제
  10. 컴퓨터에 의해 적어도 일시적으로 구현되는 특징 데이터 세트의 구성 방법에 있어서,
    그룹 아이디를 입력 받는 단계;
    상기 그룹 아이디에 해당하는 각 그룹에 대한 오브젝트의 수를 비교하는 단계;
    상기 비교된 오브젝트의 수를 고려하여
    Figure 112015083964785-pat00087
    및
    Figure 112015083964785-pat00088
    중에서 적어도 하나 이상의 좌표에 대한 특징들을 추출하는 단계;
    상기 추출된 특징들에 상응하는 데이터세트를 인식하는 단계; 및
    상기 인식된 데이터세트에 기초하여 인트라 오브젝트 데이터 세트와 인터 오브젝트 특징 데이터세트를 획득하는 단계
    를 포함하는 특징 데이터 세트의 구성 방법.
  11. 제10항에 있어서,
    상기 특징들을 추출하는 단계는,
    상기 그룹 내에 하나의 오브젝트가 있는 경우, x=y 좌표에 대한 특징들을 추출하는 단계
    를 포함하는 특징 데이터 세트의 구성 방법.
  12. 제10항에 있어서,
    상기 특징들을 추출하는 단계는,
    상기 그룹 내에 한 개 이상이 오브젝트가 있다면,
    Figure 112015083964785-pat00089
    및
    Figure 112015083964785-pat00090
    의 좌표에 대한 특징들을 추출하는 단계
    를 포함하는 특징 데이터 세트의 구성 방법.
  13. 제10항에 있어서,
    상기 오브젝트의 수의 비교 결과를 고려하여, 상기 오브젝트를 비상호 오브젝트와 상호 오브젝트의 두 그룹으로 분류하는 단계
    를 더 포함하는 특징 데이터 세트의 구성 방법.
  14. 제13항에 있어서,
    상기 오브젝트를 비상호 오브젝트와 상호 오브젝트의 두 그룹으로 분류하는 단계는,
    상기 오브젝트에 대한 공간적-시간적 조인트 거리와 움직임 방향 특징들은 추출하는 단계
    를 포함하는 특징 데이터 세트의 구성 방법.
  15. 제10항에 있어서,
    상기 특징들을 추출하는 단계는,
    싱글 액션 인식을 위한 인트라 오브젝트 특징 및 상호 활동 인식을 위한 데이터 세트와 인터 오브젝트 특징 중에서 적어도 하나 이상의 특징을 추출하는 단계
    를 포함하는 특징 데이터 세트의 구성 방법.
  16. 컴퓨터에 의해 적어도 일시적으로 구현되는 확률 모델 생성 방법에 있어서,
    특징 데이터세트를 입력받는 단계;
    K-평균 클러스터링 알고리즘을 적용하여 상기 특징 데이터세트들 내의 특징들을 코드워드들로 클러스터링하는 단계;
    상기 클러스터링에 따른 인트라 오브젝트 특징들과 인터 오브젝트 특징들을 액션들과 활동들의 코드워드 히스토그램들로 맵핑하는 단계;
    상기 맵핑된 히스토그램에 기반하는 계층 모델(hierarchical model)을 이용해서 워드들을 인코딩하는 단계; 및
    상기 인코딩된 워드들을 이용해서 확률 모델을 출력하는 단계
    를 포함하는 확률 모델 생성 방법.
  17. 제16항에 있어서,
    상기 확률 모델을 출력하는 단계는,
    계측 모델을 기반으로 하는 토픽 모델링에 기초하여 상기 확률 모델을 생성하는 단계
    를 포함하는 확률 모델 생성 방법.
  18. 제1항 내지 제8항 및 제10항 내지 제17항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  19. 기록매체에 저장되는 상호 활동 모델링 프로그램으로서, 상기 프로그램은 컴퓨팅 시스템에서 실행되는:
    비디오로부터 추출한 2차원 스켈레톤 위치의 데이터 세트를 입력받는 명령어 세트;
    상기 입력된 데이터 세트로부터 오브젝트의 위치 좌표들을 연산하는 명령어 세트;
    상기 연산된 오브젝트의 위치 좌표들로부터 상기 오브젝트의 움직임 속도 및 움직임 방향을 포함하는 트래킹 특징들을 계산하는 명령어 세트;
    상기 오브젝트에 대응되는 상호 존과 상기 계산된 트래킹 특징들에 기초하여 상호 오브젝트를 결정하는 명령어 세트;
    상기 결정된 상호 오브젝트에 대한 스켈레톤의 데이터 세트로부터 특징들을 계산하는 명령어 세트; 및
    상기 계산된 특징들을 싱글 휴먼 액션들의 토픽들과 상호 그룹 활동들에 모델링하는 명령어 세트
    를 포함하는 상호 활동 모델링 프로그램.
KR1020150122086A 2015-08-28 2015-08-28 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법 KR101762010B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150122086A KR101762010B1 (ko) 2015-08-28 2015-08-28 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150122086A KR101762010B1 (ko) 2015-08-28 2015-08-28 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법

Publications (2)

Publication Number Publication Date
KR20170025535A KR20170025535A (ko) 2017-03-08
KR101762010B1 true KR101762010B1 (ko) 2017-07-28

Family

ID=58403728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150122086A KR101762010B1 (ko) 2015-08-28 2015-08-28 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법

Country Status (1)

Country Link
KR (1) KR101762010B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101969230B1 (ko) * 2017-10-20 2019-04-15 연세대학교 산학협력단 학습을 이용한 모션 인식 장치 및 방법과 이에 대한 기록 매체
KR20200056602A (ko) 2018-11-15 2020-05-25 송응열 객체 움직임 인식 방법 및 장치
KR20220090248A (ko) 2020-12-22 2022-06-29 주식회사 네오펙트 연속되는 이미지 프레임에 대한 스켈레톤 분석에 기초한 동일객체 식별장치 및 식별방법
KR20220170544A (ko) 2021-06-23 2022-12-30 하대수 운동 보조를 위한 객체 움직임 인식 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093301B (zh) * 2019-12-14 2022-02-25 安琦道尔(上海)环境规划建筑设计咨询有限公司 一种灯光控制方法及其系统
KR102338486B1 (ko) * 2019-12-20 2021-12-13 한국전자기술연구원 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052006A1 (en) 2009-08-13 2011-03-03 Primesense Ltd. Extraction of skeletons from 3d maps

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366645B2 (en) 2002-05-06 2008-04-29 Jezekiel Ben-Arie Method of recognition of human motion, vector sequences and speech

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052006A1 (en) 2009-08-13 2011-03-03 Primesense Ltd. Extraction of skeletons from 3d maps

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101969230B1 (ko) * 2017-10-20 2019-04-15 연세대학교 산학협력단 학습을 이용한 모션 인식 장치 및 방법과 이에 대한 기록 매체
KR20200056602A (ko) 2018-11-15 2020-05-25 송응열 객체 움직임 인식 방법 및 장치
KR20220090248A (ko) 2020-12-22 2022-06-29 주식회사 네오펙트 연속되는 이미지 프레임에 대한 스켈레톤 분석에 기초한 동일객체 식별장치 및 식별방법
KR20220170544A (ko) 2021-06-23 2022-12-30 하대수 운동 보조를 위한 객체 움직임 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR20170025535A (ko) 2017-03-08

Similar Documents

Publication Publication Date Title
US11188783B2 (en) Reverse neural network for object re-identification
KR101762010B1 (ko) 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법
Jalal et al. Robust human activity recognition from depth video using spatiotemporal multi-fused features
Jalal et al. Shape and motion features approach for activity tracking and recognition from kinect video camera
Soomro et al. Predicting the where and what of actors and actions through online action localization
Ni et al. Multilevel depth and image fusion for human activity detection
Chattopadhyay et al. Pose Depth Volume extraction from RGB-D streams for frontal gait recognition
CN104599287B (zh) 对象跟踪方法和装置、对象识别方法和装置
US20130028517A1 (en) Apparatus, method, and medium detecting object pose
Singh et al. Action recognition in cluttered dynamic scenes using pose-specific part models
Liciotti et al. People detection and tracking from an RGB-D camera in top-view configuration: review of challenges and applications
Tran et al. Social cues in group formation and local interactions for collective activity analysis
Ma et al. A survey of human action recognition and posture prediction
Park et al. 2D human pose estimation based on object detection using RGB-D information.
Waheed et al. A novel deep learning model for understanding two-person interactions using depth sensors
Wilson et al. Avot: Audio-visual object tracking of multiple objects for robotics
KR102371127B1 (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
Ali et al. Deep Learning Algorithms for Human Fighting Action Recognition.
JP6103765B2 (ja) 行動認識装置、方法及びプログラム並びに認識器構築装置
Jean et al. Body tracking in human walk from monocular video sequences
Kamiński et al. Human activity recognition using standard descriptors of MPEG CDVS
Wang et al. Hand motion and posture recognition in a network of calibrated cameras
Liang et al. Action recognition using local joints structure and histograms of 3d joints
Mademlis et al. Exploiting stereoscopic disparity for augmenting human activity recognition performance
Hayashi et al. Upper body pose estimation for team sports videos using a poselet-regressor of spine pose and body orientation classifiers conditioned by the spine angle prior

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant