KR20100087512A - 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 - Google Patents

은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20100087512A
KR20100087512A KR1020090006554A KR20090006554A KR20100087512A KR 20100087512 A KR20100087512 A KR 20100087512A KR 1020090006554 A KR1020090006554 A KR 1020090006554A KR 20090006554 A KR20090006554 A KR 20090006554A KR 20100087512 A KR20100087512 A KR 20100087512A
Authority
KR
South Korea
Prior art keywords
motion
symbol
user
symbol sequence
normal
Prior art date
Application number
KR1020090006554A
Other languages
English (en)
Other versions
KR101017449B1 (ko
Inventor
김태영
김종호
임철수
Original Assignee
서경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서경대학교 산학협력단 filed Critical 서경대학교 산학협력단
Priority to KR1020090006554A priority Critical patent/KR101017449B1/ko
Publication of KR20100087512A publication Critical patent/KR20100087512A/ko
Application granted granted Critical
Publication of KR101017449B1 publication Critical patent/KR101017449B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Image Analysis (AREA)

Abstract

본 발명은 (a) 정규 동작의 특징점들의 시간에 따른 위치 변화를 기초로 정규 동작 기호 시퀀스를 생성하는 단계와, (b) 상기 정규 동작 기호 시퀀스에 대해서 은닉 마르코프 모델을 사용하여 동작 패턴 모델링을 수행하는 단계와, (c) 사용자 동작의 특징점들의 시간에 따른 위치 변화를 기초로 사용자 동작 기호 시퀀스를 추출하는 단계와, (d) 상기 사용자 동작 기호 시퀀스를 상기 단계 (b)에서의 상기 동작 패턴 모델링을 비교하여 상기 사용자 동작을 인식하는 단계를 포함하는 은닉 마르코프 모델 기반 동작 인식 방법에 관한 것이다.
본 발명에 따르면, 동작의 특징점들을 추출하고 동작의 특징점들의 시간에 따른 위치 변화를 은닉 마르코프 모델을 이용하여 동작 패턴 모델링을 수행한 후 동작 패턴 모델링과 사용자 동작을 비교하여 동작 인식 및 동작 유사도를 추출할 수 있다.
은닉 마르코프, 정규 동작 기호 시퀀스, 사용자 동작 기호 시퀀스, 동작 패턴 모델링, 동작 유사도

Description

은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체{METHOD FOR RECOGNIZING MOTION BASED ON HIDDEN MARKOV MODEL AND COMPUTER-READABLE MEDIUM HAVING THEREON PROGRAM PERFORMING FUNCTION EMBODYING THE SAME}
본 발명은 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 관한 것으로, 더욱 구체적으로는 동작의 특징점들을 추출하고 동작의 특징점들의 시간에 따른 위치 변화를 은닉 마르코프 모델을 이용하여 동작 패턴 모델링을 수행한 후 동작 패턴 모델링과 사용자 동작을 비교하여 동작 인식 및 동작 유사도를 추출하는 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.
최근 유비쿼터스 기술과 가상현실 기반 기술들이 발전함에 따라 동작 인식 처리 기술들이 연구되고 있다. 동작 인식 처리 기술은 예컨대 손 동작을 이용한 전자 기기와 컴퓨터 제어에 관한 HCI(Human-Computer Interface) 관련 기술, 사람에게 부착한 센서를 통해 전달되는 데이터를 이용해 움직임을 인식하여 컴퓨터 애니 메이션 등에 활용하는 기술 등이 있다.
동작 인식 처리 기술은 카메라를 통해 입력되는 이미지를 분석하여 동작을 인식하거나 추적하는 시스템 기술이나, 보안 또는 감시를 필요로 하는 장소에서 위험한 동작들을 자동적으로 찾아내는 감시 시스템 기술 등 다양한 분야에 응용이 가능하다. 또한 동작 인식 처리 기술을 이용하면 게임이나 오락분야에서는 사용자들이 자신의 신체를 이용하여 가상의 기구나 장비들을 제어할 수 있으며, 운동 자체에 의미를 두는 자세 교정이나 재활 훈련과 같은 치료 분야에서도 동작 인식 처리 기술이 이용될 수 있다.
종래 동작 인식 기술에 따르면, 동작을 인식하기 위해서는 연속된 프레임에서 사용자의 신체 특징을 추출하는 과정에서 많은 연산이 필요하고 추출된 특징 벡터에서 작업의 패턴을 인식하는 과정이 필요하다. 동작의 패턴 인식은 주로 제스쳐 인식을 사용한다. 제스쳐 인식은 인체 각 부위가 시간 축에 대해 어떠한 형상 변화를 가지는가를 추출하는 것을 의미한다. 그러나 인체는 매우 복잡한 3차원 관절 구조를 지니고 있으므로 제스처를 인식하는 것은 매우 어렵다. 따라서 제스처 인식은 인간의 손, 팔 등이 기계에 의해서 측정될 수 있어야 한다는 점을 요구한다.
손의 제스처나 몸의 움직임 같은 사람의 구체적 동작을 인식하기 위해서 비전(vision) 기반으로 비디오 시퀀스 영상에 대한 연구가 활발하게 진행 중이다.
비전 기반의 영상 정보를 이용한 동작 인식 방법은 비접촉식 인식 방법으로 인간의 신체에 어떤 장치도 부착하지 않고 카메라를 통해 얻어진 영상을 이용하여 외관의 특징을 기반으로 제스처를 인식하는 방법이다. 비전 기반의 동작 인식 방법 에서 동작에 대한 분류나 구분을 하기 위해서는 동작을 모델들과 비교하는 과정을 거치며, 비교를 위해서 다양한 특징 정보들이 이용된다. 이러한 특징 정보들에는 기하학적 특징, 통계적 특징, 시간 변화에서 추출된 특징 등이 있다.
첫 번째 기하학적 특징을 이용하는 방법은 에지, 코너 등을 구하여 정규 모델에 대한 데이터를 준비하고 인식할 동작에 대해서도 같은 방식으로 구한 데이터와 비교하는 방법이다. 기하학적 특징을 이용하면 여러 가지 복잡한 동작에 대한 특징 추출이 어렵고 많은 전처리 과정이 필요하게 되어 인식 속도와 인식률이 떨어지게 된다.
두 번째 통계적 특징을 이용하는 방법은 전처리 과정으로 많은 영상 집합에 대해 통계적으로 높은 확률 값을 가지는 밝기 정보와 위치 정보를 분석하여 매칭을 시도하는 방법이다. 비교적 좋은 인식율을 가지며 실시간 적용에도 효과적이다.
세 번째로 시간의 변화에 따른 영상의 특징점 추출 정보를 이용하는 방법은 동작이 이루어지는 대상에 대해 시간의 흐름에 따른 동작의 패턴을 분석하여 패턴에 따른 동작을 구분하거나 분류하는 방법이다. 특징점 추출 정보를 이용하는 방법은 일반적인 환경에서도 동작성을 쉽게 추출할 수 있는 장점이 있지만 수많은 영상들을 이용하여 학습시키고 적당한 패턴을 모델화하여야하는 단점이 있다.
본 발명의 목적은 동작의 특징점들을 추출하고 동작의 특징점들의 시간에 따른 위치 변화를 은닉 마르코프 모델을 이용하여 동작 패턴 모델링을 수행한 후 동작 패턴 모델링과 사용자 동작을 비교하여 동작 인식 및 동작 유사도를 추출하는 은닉 마르코프 모델 기반 동작 인식 방법을 제공하는 데 있다.
본 발명의 다른 목적은 상기 은닉 마르코프 모델 기반 동작 인식 방법의 각 단계를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명은 (a) 정규 동작의 특징점들의 시간에 따른 위치 변화를 기초로 정규 동작 기호 시퀀스를 생성하는 단계와, (b) 상기 정규 동작 기호 시퀀스에 대해서 은닉 마르코프 모델을 사용하여 동작 패턴 모델링을 수행하는 단계와, (c) 사용자 동작의 특징점들의 시간에 따른 위치 변화를 기초로 사용자 동작 기호 시퀀스를 추출하는 단계와, (d) 상기 사용자 동작 기호 시퀀스를 상기 단계 (b)에서의 상기 동작 패턴 모델링을 비교하여 상기 사용자 동작을 인식하는 단계를 포함하는 은닉 마르코프 모델 기반 동작 인식 방법을 제공한다.
본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상기 단계 (a)는, (a-1) 상기 정규 동작의 특징점들의 시간에 따른 위치 변화의 방향 벡터 가 포함되는 공간에 따라서 상기 정규 동작 기호 시퀀스를 생성하는 단계를 포함하는 것이고, 상기 단계 (c)는, (c-1) 상기 사용자 동작의 특징점들의 시간에 따른 위치 변화의 방향 벡터가 포함되는 공간에 따라서 상기 사용자 동작 기호 시퀀스를 생성하는 단계를 포함하는 것일 수 있다.
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상기 단계 (a-1)는, (a-2) 상기 정규 동작의 초기 특징점들의 무게 중심과 상기 정규 동작의 초기 특징점들 사이의 방향 벡터가 포함되는 공간에 따라서 상기 정규 동작 기호 시퀀스의 초기 값을 결정하는 단계를 포함하는 것이고, 상기 단계 (c-1)는, (c-2) 상기 사용자 동작의 초기 특징점들의 무게 중심과 상기 사용자 동작의 초기 특징점들 사이의 방향 벡터가 포함되는 공간에 따라서 상기 사용자 동작 기호 시퀀스의 초기 값을 결정하는 단계를 포함하는 것일 수 있다.
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상기 단계 (b)는, (b-1) 상기 동작 패턴 모델링을 구성하는 상태의 전이 확률 a ij 와 관측 확률 b jk 를 초기화하는 단계와, (b-2) 전체 길이 T 이하의 z에 대해서 a ij (z)와 a ij (z-1), b jk (z)와 b jk (z-1)의 차이가 기준값 ε 이하인 경우 다음 수학식을 이용하여 추정값
Figure 112009005183796-PAT00001
및
Figure 112009005183796-PAT00002
를 반복적으로 추출하는 단계와,
Figure 112009005183796-PAT00003
,
Figure 112009005183796-PAT00004
[
Figure 112009005183796-PAT00005
는 상태 w i (t-1)에서 상태 w j (t)로의 전이 기대 확률, v k 는 정규 동작 기호 시퀀스 내의 기호를 나타냄] (b-3) 최종적으로 추출한
Figure 112009005183796-PAT00006
및
Figure 112009005183796-PAT00007
를 전이 확률 a ij 와 관측 확률 b jk 로 지정하는 단계를 포함하는 것일 수 있다.
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상기 단계 (d)는, (d-1) 상기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스 각각의 매칭 확률을 상기 동작 패턴 모델링을 기초로 추출하는 단계와, (d-2) 상기 매칭 확률의 차이가 미리 지정한 기준값 이하일 때 상기 사용자 동작을 상기 정규 동작으로 인식하는 단계를 포함하는 것일 수 있다.
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, (e) 상기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스를 비교하여 상기 사용자 동작과 상기 정규 동작의 동작 유사도를 추출하는 단계를 더 포함할 수 있다.
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상기 단계 (e)는, (e-1) 미리 지정된 기준값에서 상기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스를 일치시키는데 발생하는 비용을 감산한 값을 상기 동작 유사도로 추출하는 단계를 포함하는 것일 수 있다.
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상 기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스는 공백을 포함하는 것일 수 있다.
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상기 비용(Acost)은,
Figure 112009005183796-PAT00008
을 기초로 추출될수 있다.
[단 S1'(i)와 S2'(i)는 공백을 포함하는 상기 정규 동작 기호 시퀀스와 상기 사용자 동작 기호 시퀀스의 i번째 기호를 각각 나타내며, s(S1'(i), S2'(i))는 상기 정규 동작 기호 시퀀스와 상기 사용자 동작 기호 시퀀스의 i번째 기호를 정렬하는 비용값을 출력하는 함수를 나타내며, l은 정렬 길이를 나타냄]
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상기 s(S1'(i), S2'(i))는, 상기 정규 동작 기호 시퀀스의 i번째 기호가 공백이 아니고 상기 사용자 동작 기호 시퀀스의 i번째 기호가 공백일 때 발생하는 삽입 비용과, 상기 정규 동작 기호 시퀀스의 i번째 기호가 공백이고 상기 사용자 동작 기호 시퀀스의 i번째 기호가 공백이 아닐 때 발생하는 삭제 비용과, 상기 정규 동작 기호 시퀀스의 i번째 기호와 상기 사용자 동작 기호 시퀀스의 i번째 기호가 모두 공백이 아닐 때 발생하는 교체 비용과, 상기 정규 동작 기호 시퀀스의 i번째 기호와 상기 사용자 동작 기호 시퀀스의 i번째 기호가 일치하는 경우 발생하는 정합 비용 중 어느 하나를 출력하는 것일 수 있다.
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상 기 단계 (e)는, (e-2) 상기 사용자 동작 기호 시퀀스 또는 상기 정규 동작 기호 시퀀스 내에 동일한 기호가 반복되는 경우 상기 반복되는 기호를 한번만 표시하도록 변환한 후 비교하여 상기 사용자 동작과 상기 정규 동작의 동작 유사도를 추출하는 단계를 포함하는 것일 수 있다.
또한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 상기 단계 (e)는, (e-3) 상기 사용자 동작이 부분 동작인 경우 상기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스를 비교하여 상기 사용자 동작과 상기 정규 동작의 부분 동작 유사도를 추출하는 단계를 포함하는 것일 수 있다.
또한 본 발명은 전술한 은닉 마르코프 모델 기반 동작 인식 방법의 각 단계를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공한다.
본 발명에 따르면 동작의 특징점들을 추출하고 동작의 특징점들의 시간에 따른 위치 변화를 은닉 마르코프 모델을 이용하여 동작 패턴 모델링을 수행한 후 동작 패턴 모델링과 사용자 동작을 비교하여 동작 인식 및 동작 유사도를 추출할 수 있다.
이하, 본 발명의 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체의 실시예를 첨부한 도면을 참조로 보다 구체적으로 설명한다.
도 1은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법의 예시적인 흐름도이다.
우선 정규 동작의 특징점들의 시간에 따른 위치 변화를 기초로 정규 동작 기호 시퀀스를 생성한다(S110).
정규 동작 기호 시퀀스의 생성은 다음과 같이 수행할 수 있다.
우선 인체의 팔, 다리와 같은 인체 부위 특징점을 추출한다.
예컨대 적외선 LED 및 영상 처리를 이용하여 머리, 양 손목, 양 발목의 5개 부분에 대하여 위치 좌표를 추출한다.
이후 추출한 각 위치 좌표에 대해서 시간 변화에 따른 위치 변화를 미리 지정된 개수의 구간, 예컨대 8개의 구간으로 분류한다.
도 2 내지 도 3은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 특징점의 위치 및 시간에 따른 위치 변화를 이용하여 정규 동작 기호 시퀀스를 생성하는 예를 나타내는 도면이다.
도 2를 참조하면, 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 특징점의 시간에 따른 위치 변화, 즉 기준점에서 변화점으로의 위치 변화는 방향 벡터로 표현할 수 있다. 정규 동작의 특징점들의 시간에 따른 위치 변화의 방향 벡터가 포함되는 공간을 기준으로 정규 동작 기호 시퀀스를 생성할 수 있다.
예컨대 도 2를 참조하면, 방향 벡터는 8개의 구간으로 구분된 공간 중 어느 하나에 배치되며, 시간에 따른 운동 벡터가 포함되는 구간을 해당 방향 벡터의 기 호로 지정한다. 여기서 방향 벡터의 기호는 계산 편의를 위하여 8개의 구간으로 구분된 공간에 대응하여 1 내지 8 사이의 숫자로 표시한다.
도 3을 참조하면, t=0인 위치에서 t=1인 위치로의 변화는 도 2의 8 구간에 대응한다. 따라서 해당 변화에 대한 기호는 8로 설정할 수 있다. 또한 t=1인 위치에서 t=2인 위치로의 변화는 도 2의 7 구간에 대응한다. 따라서 해당 변화에 대한 기호는 7로 설정할 수 있다.
한편 처음 시작 위치에 대한 기호는 위치 변화가 없는 상태이므로 공간 구분을 통하여 생성되지 않는다.
따라서 처음 시작 위치에 대한 기호는 모든 특징점들을 컨벡스 헐(Convex Hull) 기법을 이용하여 다각형을 생성한 후 다각형의 무게 중심을 구한 후 무게 중심점을 기준점으로 하는 공간에 특징점들을 재배치하여 해당 특징점이 속하는 구간의 기호가 시작 위치에 대한 기호가 되도록 지정할 수 있다.
도 2 및 도 3을 참조하면, t=0인 위치에서 특징점이 2구간에 있다고 가정하면, 처음 시작 위치에 대한 기호는 2로 설정할 수 있다.
따라서 도 3의 상황에 대한 정규 동작 기호 시퀀스는 {2, 8, 7}로 나타낼 수 있다.
도 2 내지 도 3을 참조로 설명한 방식을 통하여 생성되는 시간 변화에 따른 위치 변화 집합, 즉 정규 동작 기호 시퀀스는 동작에 대한 패턴 데이터로서 사용할 수 있다.
이후 S110에서 생성한 정규 동작 기호 시퀀스에 대해서 은닉 마르코프 모델 을 사용하여 동작 패턴 모델링을 수행한다(S130).
동작을 인식하기 위해서는 동작 고유의 데이터를 패턴화하고 이러한 패턴화된 데이터를 사용 목적에 맞게 구조화하는 동작 패턴 모델링이 필요하다.
동작 패턴 모델링 기법은 일반적으로 확률적 접근 방법을 사용한다. 동작 패턴 모델링을 위하여 본원 발명에서는 음성 인식, 손 제스처 인식 등에 사용하는 은닉 마르코프 모델을 사용하였다. 은닉 마르코프 모델은 모델링하기 어려운 패턴의 확률론적 구조를 명확하게 표현 가능한 기호들을 통하여 모델링하는 이중 확률론적 구조의 모델이다. 은닉 마르코프 모델은 패턴을 유한 상태 오토마타[Probabilistic finite state automata] 구조로 표현하며, 패턴의 유한 상태들은 시간 전후에 따른 결합 확률[Joint probability]로 표현할 수 있다.
따라서 모델링을 위한 기호 집합은 패턴의 고유 특징과 시간 변화에 대하여 전후 관계성을 포함하는 형식이 되어야 한다. 본원 발명에서는 이러한 모델링 가능한 기호들, 즉 고유 데이터로서 시간 변화에 따른 위치 변화 집합, 즉 전술한 정규 동작 기호 시퀀스를 사용하였다.
먼저 패턴 데이터와 시간과의 관계를 표현하기 위하여 패턴의 유한 상태들을 시간 t에 대하여 나타내고, 행동을 완료하는 순간 t n 까지 전개되는 과정을 모델링하기 위하여 t+1의 상태를 t상태의 영향력으로 표현한다. t에서의 상태를 w(t)라 하면, 전체 길이 T의 상태 시퀀스에서의 특정 상태 w i 는 다음 수학식 1과 같이 표현할 수 있다.
Figure 112009005183796-PAT00009
시간 t일때의 상태 w i (t)에 대해서 시간 t+1일때의 상태 w j (t+1)가 될 확률은 다음 수학식 2와 같이 전이 확률[Transition Probability] a ij 로 표시할 수 있다.
Figure 112009005183796-PAT00010
a ij 의 전체 집합 모델 θ와 전체 길이 T의 상태 시퀀스가 있다면, 모델 θ가 이 상태 시퀀스를 생성할 확률은 일련의 상태들 간의 전이 확률을 곱하는 것으로 나타낼 수 있다.
시간 t에서의 기호를 v(t)라 하면, 전체 길이 T의 기호 시퀀스에서 특정 기호 v k 는 다음 수학식 3과 같이 나타낼 수 있다.
Figure 112009005183796-PAT00011
상태 w j 에서 관측될 수 있는 기호, 즉 동작의 운동 벡터 정보에 대한 기호를v k 라 하면, 시간 t의 어떤 상태 w j (t)에서 기호 v k (t)가 발생할 확률은 P(v k (t)|w j (t))이다.
즉, 전체 길이 T에 대한 기호 집합이 주어졌을 때 시간 t에 대한 기호 v k (t)가 발생할 확률이 높은 상태 w j (t)를 찾아감으로서 전체 상태 시퀀스를 모델링할 수 있다.
모델의 상태와 기호의 개수에 따른 상태 전이 확률 분포(A)와 각 상태에서의 기호 발생 확률 분포(B)를 정리하면 다음 수학식 4와 같다.
Figure 112009005183796-PAT00012
Figure 112009005183796-PAT00013
수학식 4에서 c는 상태의 개수이며, k는 기호의 개수를 의미하며, W T 는 상태 시퀀스, V T 는 기호 시퀀스이며, 모든 i에 대해서
Figure 112009005183796-PAT00014
을 만족하고, 모든 j에 대해서
Figure 112009005183796-PAT00015
를 만족한다. 또한 WT는 T개의 원소를 가질 수 있으며, VT도 T개의 원소를 가질 수 있다.
정리된 수학식 4를 기초로 동작 모델 θ에 대한 파라미터 집합 A, B, 즉 상태 전이 확률 분포(A)와 각 상태에서의 기호 발생 확률 분포(B)의 값은 모델링할 동작의 기호 시퀀스를 이용한 학습 과정을 통하여 구할 수 있다.
파라미터 값 계산은 다음과 같은 역방향 알고리즘을 사용한다.
모델 θ가 상태 w i (t)에 있을 때 t까지의 상태 시퀀스 생성 확률을 α i (t)라하고 t+1→T 까지의 나머지 상태 시퀀스 생성확률을 β i (t)라 한다면 다음 수학식 5와 같이 표현할 수 있다.
Figure 112009005183796-PAT00016
수학식 5를 이용하여 β i (T-1)을 구하면 수학식 6으로 표시할 수 있다.
Figure 112009005183796-PAT00017
수학식 6을 통하여 구해진 β i (T-1)를 이용하여 β i (T-2)를 구할 수 있으며, 역방향으로 이와 같은 과정을 반복해서 β i (t)를 구할 수 있다.
도 4는 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 β i (t)를 구하는 예를 나타내는 도면이다.
도 4를 참조하면, 각 상태에 대해서 전체 길이 T를 기초로 β i (t)를 구하며, 해당 시점에서의 최대값, 즉 β MAX (1) 내지 β MAX (T)가 도시된다.
수학식 6에서 결정되어야 하는 전이 확률 a ij 와 관측 확률 b jk 의 추정 값
Figure 112009005183796-PAT00018
,
Figure 112009005183796-PAT00019
은 학습을 위한 기호 시퀀스 V T 를 통하여 구할 수 있다.
상태 w i (t-1)에서 상태 w j (t)로의 전이 기대 확률을
Figure 112009005183796-PAT00020
라 하면,
Figure 112009005183796-PAT00021
는 다음 수학식 7과 같이 나타낼 수 있다.
Figure 112009005183796-PAT00022
상태 w i (t-1)에서 상태 w j (t)로의 전이 기대 수는
Figure 112009005183796-PAT00023
로 나타낼 수 있으며, w i 로부터의 임의의 전이 전체 기대 수는
Figure 112009005183796-PAT00024
로 나타낼 수 있다.
따라서 추정
Figure 112009005183796-PAT00025
는 w i 에서 w j 로의 전이 기대 수와 w i 로부터의 임의의 전이의 대한 전체 기대 수간의 비율로 찾아 낼 수 있으며, 같은 방법으로 상태 w j 에서 특정 v k 가 관측되는 빈도와 임의의 기호에 대한 빈도 간의 비율을 계산하여 추정
Figure 112009005183796-PAT00026
를 구할 수 있다.
수학식 8 내지 수학식 9는 전이 확률 a ij 와 관측 확률 b jk 의 추정 값,
Figure 112009005183796-PAT00027
및
Figure 112009005183796-PAT00028
를 각각 나타낸다.
Figure 112009005183796-PAT00029
Figure 112009005183796-PAT00030
수학식 8과 수학식 9를 이용하면, 동작 모델 θ에 대한 파라미터 집합 A, B, 즉 상태 전이 확률 분포(A)와 각 상태에서의 기호 발생 확률 분포(B)의 값을 구할 수 있다.
도 5는 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서, 추정값을 이용하여 상태 전이 확률 분포(A)와 각 상태에서의 기호 발생 확률 분포(B)를 추출하는 알고리즘의 예를 나타내는 도면이다.
도 5를 참조하면, 학습 알고리즘을 이용하여 상태 전이 확률 분포(A)와 각 상태에서의 기호 발생 확률 분포(B)를 추출할 수 있다.
우선 전이 확률 a ij 와 관측 확률 b jk 를 초기화하고 학습 시퀀스, 즉 기호 시퀀스 VT를 학습한다. a ij (z)와 a ij (z-1), b jk (z)와 b jk (z-1)의 차이가 기준값인 ε이하 인 경우 동안 수학식 8과 수학식 9를 이용하여
Figure 112009005183796-PAT00031
및
Figure 112009005183796-PAT00032
를 반복적으로 구한다.
이후 최종적으로 추출한
Figure 112009005183796-PAT00033
및
Figure 112009005183796-PAT00034
를 전이 확률 a ij 와 관측 확률 b jk 로 지정하는 것에 의해서 상태 전이 확률 분포(A)와 각 상태에서의 기호 발생 확률 분포(B)를 구할 수 있다.
전술한 과정을 통하여 동작 패턴 모델링이 완료된다.
이후 사용자 동작의 특징점들의 시간에 따른 위치 변화를 기초로 사용자 동작 기호 시퀀스를 추출한다(S150).
사용자 동작 기호 시퀀스는 도 2 내지 도 3을 참조로 설명한 정규 동작 기호 시퀀스의 추출과 동일하므로 상세한 설명을 생략한다.
이후 단계 S150에서 추출한 사용자 동작 기호 시퀀스를 단계 S130에서의 동작 패턴 모델링을 비교하여 사용자 동작을 인식한다(S170).
단계 S130에서의 동작 패턴 모델링 과정을 통하면, 동작 패턴 모델 θ는 구해진 파라미터 집합 A, B로 표현할 수 있다.
본원 발명에서는 동작을 인식하기 위해서 학습 과정을 통해 구해진 모델 θ에 대하여 사용자 동작 기호 시퀀스와 학습에 이용하였던 정규 동작 기호 시퀀스를 이용하여 각각의 매칭 확률을 구한 후, 두 확률의 차가 일정 이하일 때 해당 동작 모델과 유사한 동작을 행동한 것으로 지정하는 방식을 사용한다.
모델에 대한 매칭 확률을 계산하는 방법은 모델링 시에 사용하였던 기호 시퀀스와 상태 시퀀스의 관계성을 이용하여 최적의 상태 시퀀스를 생성하고, 이러한 상태 시퀀스를 이용하여 전체 길이 T에 대하여 상태 전이 확률과 기호 시퀀스의 발생 확률을 곱하는 방식을 사용할 수 있다.
즉 사용자 동작 기호 시퀀스 V T 를 통하여 정규 모델 θ에서의 상태 전이 경로(Path)를 구하고, t→T의 경로값(전이 확률 값)의 합 Sum(X1=APath)과 모델링 시에 사용한 정규 동작 기호 시퀀스로 구할 수 있는 Sum(X2=APath) 값의 차이로 가장 가까운 동작을 인식할 수 있다.
상태 전이 경로의 탐색은 다음과 같이 수행될 수 있다.
도 6은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 최적 경로를 검색하는 알고리즘의 예를 나타내는 도면이다.
도 6을 참조하면, T 이하의 t에 대해서, 모델 θ가 상태 w i (t)에 있을 때 t까지의 상태 시퀀스 생성 확률 α j (t)을 연산한 후 해당 시점에서의 α j (t)가 최대값을 가지는 경우를 경로에 추가한다. 이와 같은 동작을 T까지 반복하여 최적 경로를 탐색할 수 있다.
도 7은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 도 6의 알고리즘을 이용하여 생성된 최적 경로를 예시적으로 나타내는 도면이다.
도 7을 참조하면, 해당 시점에서의 α j (t)가 최대값을 가지는 경우 즉 α MAX (1) 내지 α MAX (T)를 이용하여 최적 경로가 탐색된다.
최적 경로는 T까지의 경로 값의 합이 가장 큰 경로이므로 경로 검색은 지역 탐색이 아닌 전역 탐색을 사용하여야 한다.
이와 같은 과정을 통하여 사용자 동작을 인식할 수 있다.
한편 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법은 사용자 동작 기호 시퀀스와 정규 동작 기호 시퀀스를 비교하여 사용자 동작과 정규 동작의 동작 유사도를 추출하는 단계를 더 포함할 수 있다.
동작 유사도는 비교 대상이 되는 두 개의 동작에 대한 단계별 일치 정도를 나타내는 척도이다. 그러나 은닉 마르코프 모델은 확률적으로 접근을 수행하므로 비교 대상이 되는 두 개의 동작에 대해서 전체 시간 T에 대한 매칭 확률을 계산하여 두 개의 동작에 대한 매칭 확률을 추출하기 때문에 단계별 동작 일치에 대한 동작 유사도를 나타내지 못하는 단점이 있다.
본원 발명에서는, 기호 시퀀스를 사용하여 부분 동작에 대한 동작 유사도를 추출한다.
학습에 사용되었던 정규 동작의 기호 시퀀스를 S1이라고 하고, 사용자 동작의 기호 시퀀스를 S2라 할 때, 두 시퀀스가 완전 일치 했을 시의 기준값에서 점수 행렬(Score Matrix)을 이용하여 두 시퀀스 S1과 S2를 일치 시키는데 발생하는 비용(Cost)의 합을 감산하는 방식으로 동작 유사도를 추출할 수 있다.
좀 더 구체적으로, S1과 S2에 포함되는 시퀀스 집합을 Λ라 하고 Λ에 공백이 추가된 집합을 Λ'라 할 때, Λ'에 있는 임의의 원소 x와 y를 정렬할 때 발생하는 비용을 추출하는 함수를 s(x, y)로 가정한다.
이 경우 S1과 S2의 두 시퀀스를 일치 시키는데 발생하는 전체 비용은 다음 수학식 10과 같이 표현할 수 있다.
Figure 112009005183796-PAT00035
여기에서, S1'(i), S2'(i)는 공백을 고려한 S1과 S2의 i번째 기호를 나타내며, l은 정렬의 길이를 나타낸다.
한편 s(S1'(i), S2'(i))는 다음과 같은 값을 가질 수 있다.
삽입비용(insCost)은 S1'(i)가 공백이 아니고 S2'(i)가 공백일 때 발생하는 비용이다. 본 발명에서 삽입 비용은 예컨대 5로 지정할 수 있다.
삭제비용(delCost)은 S1'(i)가 공백이고, S2'(i)가 공백이 아닐 때 발생하는 비용이다. 본 발명에서 삭제 비용은 예컨대 5로 지정할 수 있다.
교체비용(ChangeCost)는 S1'(i)와 S2'(i)가 모두 공백이 아니고, 같지 않을 때 발생하는 비용이다. 본 발명에서 교체 비용은 예컨대 7로 지정할 수 있다.
한편 S1'(i)와 S2'(i)가 동일할 때는 s(S1'(i), S2'(i))는 정합 비용, 예컨대 0으로 값을 지정할 수 있다.
S1 = {6, 2, 7, 6, 3, 6}, S2 = {6, 2, 3, 2, 3, 7}이라고 가정하면, Λ = {2, 3, 6, 7}로 나타낼 수 있다.
한편 공백을 고려하여 S1'이 {6, 2, 7, -, 6, 3, 6}이고, S2'가 {6, 2, 3, 2, -, 3, 7}로 가정하자,('-'는 공백을 나타냄).
이 경우 Λ'의 점수 행렬은 다음 표 1을 기초로 설정될 수 있다.
S 2 3 6 7 -
2 0 7 7 7 5
3 0 7 7 5
6 0 7 5
7 0 5
- 0
점수행렬에서는 x, y가 매칭되면 s(x,y)는 0이고, 매칭되지 않으면 s(x, y)는 0보다 큰 값을 가지게 한다. 매칭되지 않는 경우의 값은 전술한 삽입 비용, 삭제 비용 및 교체 비용으로 설정하였으며, 표 1에서 삽입 비용은 5, 삭제 비용은 5, 교체 비용은 7을 사용하였다.
이 경우 수학식 10을 이용하여 전체 비용을 계산하면 다음과 같다.
S1'의 첫번째 기호는 S2'의 첫번째 기호와 일치하므로 s(S1'(1), S2'(1))은 0이다.
S1'의 두번째 기호는 S2'의 두번째 기호와 일치하므로 s(S1'(2), S2'(2))은 0이다.
S1'의 세번째 기호는 S2'의 세번째 기호와 일치하지 않으며, s(S1'(3), S2'(3))은 교체 비용인 7의 값을 가진다.
S1'의 네번째 기호는 공백이므로 s(S1'(4), S2'(4))은 삭제 비용인 5의 값을 가진다.
S1'의 다섯번째 기호는 공백이 아니고 S2'의 다섯번째 기호는 공백이므로 s(S1'(5), S2'(5))은 삽입 비용인 5의 값을 가진다.
S1'의 여섯번째 기호는 S2'의 여섯번째 기호와 일치하므로 s(S1'(6), S2'(6))은 0이다.
S1'의 일곱번째 기호는 S2'의 일곱번째 기호와 일치하지 않으며, s(S1'(7), S2'(7))은 교체 비용인 7의 값을 가진다.
전체 비용은 각 비용의 합인 24를 가진다.
따라서 기준값을 예컨대 100으로 가정하면, 동작 유사도는 기준값에서 전체 비용을 감산한 76의 값을 가진다.
한편 전술한 기호 시퀀스 S1과 S2는 단위 시간당 운동 벡터로 표현되는 방향 정보 형식을 가진다. 기호 시퀀스를 시간 축에 독립적으로 변환하기 위하여 동일한 기호가 반복되는 경우 반복되는 기호를 하나로 줄일 수 있다. 반복성이 제거된 기호 시퀀스의 형태는 시간 간격에 대한 정보가 제거됨과 동시에 동작의 형태를 나타내는 데이터 형식을 가지게 된다. 전술한 동작 유사도의 측정을 위해서 반복성이 제거된 기호 시퀀스를 사용하여 연산 량을 최소화할 수도 있다.
특히 부분 동작의 동작 유사도를 추출하기 위하여, 전술한 점수행렬을 사용하여 가능한 가장 작은 값을 가지는 전체 비용을 추출하고, 기준값에서 추출된 전체 비용을 감산하여 동작 유사도를 추출할 수 있다.
한편 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법의 실험을 위하여 영상 처리, 동작 인식 등 연산 처리를 위한 호스트 컴퓨터 1대와 사용자 디스플레이를 위한 컴퓨터 1대를 이용하여 시스템을 구성하고 실험을 수행하였다.
실험 방법은 첫번째로 3개의 샘플 동작에 대하여 각각 2, 3m 정도 거리에서 10회, 20회, 30회 반복 실험에 의한 동작 인식율을 산출하고, 두번째로 한 동작을 2~5구간으로 구분하여 각 구간에 대한 부분 동작 실험으로 동작 유사도를 추출하였다.
샘플 동작은 다음 표 2와 같다.
구분 동 작 특 징
A 의자에 앉아 양손을 번갈아 들어올리기 팔의 움직임, 몸을 중심으로 팔의 반원 움직임
B 의자에서 일어나기 상하 움직임
C 좌로 3걸음 이동하기 다리의 움직임, 좌우 움직임
추출된 동작 인식률은 다음 표 3과 같다.
구분 10회 20회 30회
2m 3m 2m 3m 2m 3m
A 100% 100% 95% 95% 95% 95%
B 95% 95% 95% 90% 90% 90%
C 90% 90% 90% 90% 93% 93%
실험 결과, 카메라 위치를 기준으로 정면 운동에 대해서는 대해서는 95% 이상의 인식율을 보였으며, 거리에 따른 인식율 차이는 크지 않았다. 또한 샘플 동작 C에 대해서는 옆으로 이동할 시에 사용자의 행동에서 이동 시 마다 무게 중심이 이동되면서 정규 동작 보다 무게 중심이 심하게 이동하면서 이동한 경우에서 인식에 오차가 발생하였다.
한편 부분 동작에 대한 동작 유사도의 실험을 위해서 샘플 동작 A에 대해서 5 단계로 동작을 구분하고 전체 동작을 수행하지 않고 일부 단계 동작만을 행동하였을 때 동작 유사도 결과를 실험해 보았다.
도 8은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 부분 동작의 동작 유사도 추출을 위한 단계 동작을 나타내는 도면이다.
도 8을 참조하면, 샘플 A의 동작을 (a)왼손 들어올리기 (b)오른손 들어올리기 (c)양손 내리기 (d)양손 들어올리기 (e)양손 내리기로 구분하였다.
표 4는 추출된 부분 동작에 대한 동작 유사도를 나타낸다.
구분 2m 3m
a~e 100 100
a~d 72 70
a~c 51 51
d~e 55 52
d 10 0
부분 동작에 대한 동작 유사도 추출 결과, 부분 단계 동작들을 모두 수행하였을 경우에는 거리에 관계없이 정규 동작과 사용자 동작이 정확하게 일치했음을 보였고, 부분 단계 동작들의 일부 단계를 수행하였을 경우 전체 동작에 비례한 동작 유사도를 나타냈다. 특히 동작의 처음 시작을 다르게 하였을 경우, 예컨대 d~e 또는 d만을 수행한 경우에 대해서도 부분적인 동작 유사도를 측정할 수 있다.
본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법은 다양한 분야에 적용이 가능하다. 예컨대 동작 인식 기반 게임, 동작의 반복 훈련 및 훈련 달성 정도 측정, 동작 인식을 이용한 포스쳐 인식 등에 활용이 가능하다. 또한 부분 동작에 대한 유사도를 측정할 수 있으므로 정규 동작과의 비교 측정을 통하여 장애인 재활 훈련에 사용할 수 도 있다.
또한 본 발명은 전술한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법의 각 단계를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공한다.
컴퓨터로 판독 가능한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 데이터, 즉 코드 또는 프로그램 형태의 데이터가 저장되는 모든 종류의 기록 장치를 지칭한다. 이러한 컴퓨터로 판독 가능한 기록 매체는 예컨대 ROM, RAM 등의 메모리와, CD-ROM, DVD-ROM 등의 저장 매체, 자기 테이프, 플로피 디스크 등의 자기 저장 매체, 광 데이터 저장 장치 등이며, 예컨대 인터넷을 통한 전송 형태로 구현되는 경우도 포함한다. 또한 이러한 컴퓨터로 판독 가능한 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 판독 가능한 데이터가 저장되고 실행될 수 있다.
그러나 이러한 컴퓨터로 판독 가능한 기록 매체에 대한 상세한 설명은 도 1내지 도 8을 참조로 설명한 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법과 중복되므로 생략한다.
비록 본 발명의 구성이 구체적으로 설명되었지만 이는 단지 본 발명을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 변형이 가능할 것이다.
따라서 본 명세서에 개시된 실시예들은 본 발명을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 사상과 범위가 한정되는 것은 아니다. 본 발명의 범위는 아래의 청구범위에 의해 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상 설명한 바와 같이, 본 발명에 따르면 동작의 특징점들을 추출하고 동작의 특징점들의 시간에 따른 위치 변화를 은닉 마르코프 모델을 이용하여 동작 패턴 모델링을 수행한 후 동작 패턴 모델링과 사용자 동작을 비교하여 동작 인식 및 동작 유사도를 추출할 수 있다. 예컨대 동작 인식 기반 게임, 동작의 반복 훈련 및 훈련 달성 정도 측정, 동작 인식을 이용한 포스쳐 인식 등에 활용이 가능하다. 또한 부분 동작에 대한 유사도를 측정할 수 있으므로 정규 동작과의 비교 측정을 통하여 장애인 재활 훈련에 사용할 수 도 있다.
도 1은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법의 예시적인 흐름도.
도 2 내지 도 3은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 특징점의 위치 및 시간에 따른 위치 변화를 이용하여 정규 동작 기호 시퀀스를 생성하는 예를 나타내는 도면.
도 4는 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 β i (t)를 구하는 예를 나타내는 도면.
도 5는 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 추정값을 이용하여 상태 전이 확률 분포(A)와 각 상태에서의 기호 발생 확률 분포(B)를 추출하는 알고리즘의 예를 나타내는 도면.
도 6은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 최적 경로를 검색하는 알고리즘의 예를 나타내는 도면.
도 7은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 도 6의 알고리즘을 이용하여 생성된 최적 경로를 예시적으로 나타내는 도면.
도 8은 본 발명에 따른 은닉 마르코프 모델 기반 동작 인식 방법에 있어서 부분 동작의 동작 유사도 추출을 위한 단계 동작을 나타내는 도면.

Claims (13)

  1. (a) 정규 동작의 특징점들의 시간에 따른 위치 변화를 기초로 정규 동작 기호 시퀀스를 생성하는 단계와,
    (b) 상기 정규 동작 기호 시퀀스에 대해서 은닉 마르코프 모델을 사용하여 동작 패턴 모델링을 수행하는 단계와,
    (c) 사용자 동작의 특징점들의 시간에 따른 위치 변화를 기초로 사용자 동작 기호 시퀀스를 추출하는 단계와,
    (d) 상기 사용자 동작 기호 시퀀스를 상기 단계 (b)에서의 상기 동작 패턴 모델링을 비교하여 상기 사용자 동작을 인식하는 단계
    를 포함하는 은닉 마르코프 모델 기반 동작 인식 방법.
  2. 제1항에 있어서,
    상기 단계 (a)는, (a-1) 상기 정규 동작의 특징점들의 시간에 따른 위치 변화의 방향 벡터가 포함되는 공간에 따라서 상기 정규 동작 기호 시퀀스를 생성하는 단계를 포함하는 것이고,
    상기 단계 (c)는, (c-1) 상기 사용자 동작의 특징점들의 시간에 따른 위치 변화의 방향 벡터가 포함되는 공간에 따라서 상기 사용자 동작 기호 시퀀스를 생성하는 단계를 포함하는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  3. 제2항에 있어서,
    상기 단계 (a-1)는, (a-2) 상기 정규 동작의 초기 특징점들의 무게 중심과 상기 정규 동작의 초기 특징점들 사이의 방향 벡터가 포함되는 공간에 따라서 상기 정규 동작 기호 시퀀스의 초기 값을 결정하는 단계를 포함하는 것이고,
    상기 단계 (c-1)는, (c-2) 상기 사용자 동작의 초기 특징점들의 무게 중심과 상기 사용자 동작의 초기 특징점들 사이의 방향 벡터가 포함되는 공간에 따라서 상기 사용자 동작 기호 시퀀스의 초기 값을 결정하는 단계를 포함하는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  4. 제1항에 있어서, 상기 단계 (b)는,
    (b-1) 상기 동작 패턴 모델링을 구성하는 상태의 전이 확률 a ij 와 관측 확률 b jk 를 초기화하는 단계와,
    (b-2) 전체 길이 T 이하의 z에 대해서 a ij (z)와 a ij (z-1), b jk (z)와 b jk (z-1)의 차이가 기준값 ε 이하인 경우 다음 수학식을 이용하여 추정값
    Figure 112009005183796-PAT00036
    및
    Figure 112009005183796-PAT00037
    를 반복적으로 추출하는 단계와,
    Figure 112009005183796-PAT00038
    ,
    Figure 112009005183796-PAT00039
    [
    Figure 112009005183796-PAT00040
    는 상태 w i (t-1)에서 상태 w j (t)로의 전이 기대 확률, v k 는 정규 동작 기호 시퀀스 내의 기호를 나타냄]
    (b-3) 최종적으로 추출한
    Figure 112009005183796-PAT00041
    및
    Figure 112009005183796-PAT00042
    를 전이 확률 a ij 와 관측 확률 b jk 로 지정하는 단계
    를 포함하는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  5. 제1항에 있어서, 상기 단계 (d)는,
    (d-1) 상기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스 각각의 매칭 확률을 상기 동작 패턴 모델링을 기초로 추출하는 단계와,
    (d-2) 상기 매칭 확률의 차이가 미리 지정한 기준값 이하일 때 상기 사용자 동작을 상기 정규 동작으로 인식하는 단계
    를 포함하는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  6. 제1항에 있어서,
    (e) 상기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스를 비교하여 상기 사용자 동작과 상기 정규 동작의 동작 유사도를 추출하는 단계
    를 더 포함하는 은닉 마르코프 모델 기반 동작 인식 방법.
  7. 제6항에 있어서,
    상기 단계 (e)는, (e-1) 미리 지정된 기준값에서 상기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스를 일치시키는데 발생하는 비용을 감산한 값을 상기 동작 유사도로 추출하는 단계
    를 포함하는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  8. 제6항에 있어서,
    상기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스는 공백을 포함하는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  9. 제8항에 있어서,
    상기 비용(Acost)은,
    Figure 112009005183796-PAT00043
    [단 S1'(i)와 S2'(i)는 공백을 포함하는 상기 정규 동작 기호 시퀀스와 상기 사용자 동작 기호 시퀀스의 i번째 기호를 각각 나타내며, s(S1'(i), S2'(i))는 상기 정규 동작 기호 시퀀스와 상기 사용자 동작 기호 시퀀스의 i번째 기호를 정렬하는 비용값을 출력하는 함수를 나타내며, l은 정렬 길이를 나타냄]
    을 기초로 추출되는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  10. 제9항에 있어서,
    상기 s(S1'(i), S2'(i))는,
    상기 정규 동작 기호 시퀀스의 i번째 기호가 공백이 아니고 상기 사용자 동작 기호 시퀀스의 i번째 기호가 공백일 때 발생하는 삽입 비용과, 상기 정규 동작 기호 시퀀스의 i번째 기호가 공백이고 상기 사용자 동작 기호 시퀀스의 i번째 기호가 공백이 아닐 때 발생하는 삭제 비용과, 상기 정규 동작 기호 시퀀스의 i번째 기호와 상기 사용자 동작 기호 시퀀스의 i번째 기호가 모두 공백이 아닐 때 발생하는 교체 비용과, 상기 정규 동작 기호 시퀀스의 i번째 기호와 상기 사용자 동작 기호 시퀀스의 i번째 기호가 일치하는 경우 발생하는 정합 비용 중 어느 하나를 출력하는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  11. 제6항에 있어서,
    상기 단계 (e)는, (e-2) 상기 사용자 동작 기호 시퀀스 또는 상기 정규 동작 기호 시퀀스 내에 동일한 기호가 반복되는 경우 상기 반복되는 기호를 한번만 표시하도록 변환한 후 비교하여 상기 사용자 동작과 상기 정규 동작의 동작 유사도를 추출하는 단계
    를 포함하는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  12. 제6항에 있어서,
    상기 단계 (e)는, (e-3) 상기 사용자 동작이 부분 동작인 경우 상기 사용자 동작 기호 시퀀스와 상기 정규 동작 기호 시퀀스를 비교하여 상기 사용자 동작과 상기 정규 동작의 부분 동작 유사도를 추출하는 단계
    를 포함하는 것인 은닉 마르코프 모델 기반 동작 인식 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 따른 은닉 마르코프 모델 기반 동작 인식 방법의 각 단계를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020090006554A 2009-01-28 2009-01-28 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 KR101017449B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090006554A KR101017449B1 (ko) 2009-01-28 2009-01-28 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090006554A KR101017449B1 (ko) 2009-01-28 2009-01-28 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20100087512A true KR20100087512A (ko) 2010-08-05
KR101017449B1 KR101017449B1 (ko) 2011-02-25

Family

ID=42754040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090006554A KR101017449B1 (ko) 2009-01-28 2009-01-28 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR101017449B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101417310B1 (ko) * 2012-08-06 2014-07-08 제주대학교 산학협력단 아그배나무 가지 추출물, 분획물 또는 화합물을 포함하는 화장료 조성물
KR20150128006A (ko) 2014-05-08 2015-11-18 한양대학교 산학협력단 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치
CN113610124A (zh) * 2021-07-23 2021-11-05 中国地质大学（武汉） 基于马尔可夫链蒙特卡洛的人手轨迹生成方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000039192A (ko) * 1998-12-11 2000-07-05 정선종 극좌표 상의 궤적분석에 의한 동적 제스쳐 인식 시스템 및 방법
JP2007087089A (ja) * 2005-09-21 2007-04-05 Fujitsu Ltd ジェスチャ認識装置、ジェスチャ認識プログラムおよびジェスチャ認識方法
JP2007280219A (ja) 2006-04-10 2007-10-25 Nippon Telegr & Teleph Corp <Ntt> 動きパターン認識装置、動きパターン認識方法及び動きパターン認識プログラム
JP4822280B2 (ja) 2007-03-12 2011-11-24 三菱電機株式会社 移動体行動解析装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101417310B1 (ko) * 2012-08-06 2014-07-08 제주대학교 산학협력단 아그배나무 가지 추출물, 분획물 또는 화합물을 포함하는 화장료 조성물
KR20150128006A (ko) 2014-05-08 2015-11-18 한양대학교 산학협력단 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치
CN113610124A (zh) * 2021-07-23 2021-11-05 中国地质大学（武汉） 基于马尔可夫链蒙特卡洛的人手轨迹生成方法和系统
CN113610124B (zh) * 2021-07-23 2024-04-19 中国地质大学（武汉） 基于马尔可夫链蒙特卡洛的人手轨迹生成方法和系统

Also Published As

Publication number Publication date
KR101017449B1 (ko) 2011-02-25

Similar Documents

Publication Publication Date Title
Shum et al. Real-time posture reconstruction for microsoft kinect
Green et al. Quantifying and recognizing human movement patterns from monocular video images-part i: a new framework for modeling human motion
Yang et al. Gesture spotting and recognition for human–robot interaction
Kaur et al. A review: Study of various techniques of Hand gesture recognition
Li et al. Category-blind human action recognition: A practical recognition system
CN102222431A (zh) 基于机器的手语翻译器
CN114967937B (zh) 一种虚拟人运动生成方法与系统
Aran et al. Sign language tutoring tool
EP2786312A1 (en) A gesture recognition method, an apparatus and a computer program for the same
KR101017449B1 (ko) 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
Hassanpour et al. Visionbased hand gesture recognition for human computer interaction: A review
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
El-Sawah et al. A framework for 3D hand tracking and gesture recognition using elements of genetic programming
Chang et al. Vision-based tracking and interpretation of human leg movement for virtual reality applications
Kahol et al. Documenting motion sequences with a personalized annotation system
Holden Visual recognition of hand motion
Liu et al. Motion improvisation: 3d human motion synthesis with a transformer
Otberdout et al. Hand pose estimation based on deep learning depth map for hand gesture recognition
Chen et al. Human? Computer interaction for smart environment applications using hand gestures and facial expressions
CN113807280A (zh) 一种基于Kinect的虚拟船舶机舱系统与方法
Caridakis et al. Automatic sign language recognition: vision based feature extraction and probabilistic recognition scheme from multiple cues
Birdal et al. Region based hand gesture recognition
Shin et al. Deep Learning-based Hand Pose Estimation from 2D Image
Heckenberg Performance evaluation of vision-based high dof human movement tracking: A survey and human computer interaction perspective
KR20130097293A (ko) 방향정보와 위치정보를 이용한 실시간 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161207

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190307

Year of fee payment: 9